-
Die
Erfindung betrifft eine Vorrichtung zum Überwachen von Bildern für spezielle
Typen von Mustern durch Analysieren eines Videos, beispielsweise
von Fernsehbildern; spezieller betrifft die Erfindung eine Vorrichtung,
ein Verfahren und ein Aufzeichnungsmedium zur Videoüberwachung,
die geeignet ist zum Detektieren von Bildern, die periodische Muster
von hohem Kontrast enthalten, beispielsweise Streifenmuster, Karomuster,
konzentrische Muster, radiale Muster oder Wirbelmuster, die mehr
als einen vorbestimmten Bereich abdecken.
-
Es
ist bekannt, dass Bilder, die periodische Muster enthalten, beispielsweise
Streifenmuster, Karomuster, konzentrische Muster, radiale Muster
oder Wirbelmuster mit hohem Kontrast Anfälle hervorrufen können, wenn
sie von einer fotosensitiven Person betrachtet werden.
-
Um
Bilder (Videoframes), die derartige Muster enthalten, beispielsweise
Streifenmuster, Karomuster, konzentrische Muster, radiale Muster
oder Wirbelmuster, aus einer Videosequenz zu detektieren, muss ein Prüfer visuell
das gegenwärtige
Video, das auf einer Anzeigenvorrichtung (einem Monitor) angezeigt
wird, prüfen,
oder visuell eine Anzeige auf einem Wellenformmonitor prüfen.
-
Das
Detektieren von Bildern, die derartige Muster enthalten, wie oben
beschrieben, durch visuelles Überprüfen benötigt viel
Zeit. Der/die Prüfer
kann/können
auch durch das Betrachten eines Videos, welches den Typ von Musterformen,
wie oben genannt, enthält,
möglicherweise
in seiner/ihrer Gesundheit beeinträchtigt werden. Darüber hinaus
kann dies ein Problem dahingehend verursachen, dass verschiedene
Prüfer
verschiedene Beurteilungen bezüglich
des gleichen Gegenstandes haben, aufgrund der Natur von persönlichen Fehlern
oder Abweichungen.
-
Die
US 5,636,296 offenbart ein
Videobildanalysesystem, das eine Mehrzahl von Prozessoren verwendet,
um entweder eine Mehrzahl von Eingangsbildframes gleichzeitig zu
verarbeiten, oder eine Mehrzahl von Verarbeitungsdatenstücken für einen
einzelnen Eingangsframe.
-
Die
US 5,191,413 offenbart ein
Bildanzeigesystem zum Identifizieren und Eliminieren unerwünschter Bewegungserschütterungen
von sich schnell bewegenden Bildkomponenten. Um zuerst einen Bereich
einer Bewegungserschütterung
zu identifizieren scannt ein digitaler Prozessor Zwischenfelddifferenzen,
die sich vertikal und kohärent über mehrere
Pixel erstrecken, die größer als
ein Intrafelddetail sind. In den Bereichen der detektierten Bewegung
enthält
nur ein Feld Pixel, die von ihrem ursprünglich erfassten Zustand unverändert sind.
Bezüglich
der verbleibenden Felder kann ein Benutzer jedes der Pixel gemäß den Lehren
dieser Referenz modifizieren.
-
Eine
Aufgabe der vorliegenden Erfindung ist die Schaffung einer Vorrichtung,
eines Verfahrens und eines Aufzeichnungsmediums für die Videoüberwachung,
die in der Lage sind automatisch in Videobildern Bilder mit hohem
Kontrast zu detektieren, die spezifische Muster aufweisen.
-
Diese
Aufgabe wird durch die Videoüberwachungsvorrichtung
gemäß Anspruch
1, das Videoüberwachungsverfahren
gemäß Anspruch
9 und das Aufzeichnungsmedium gemäß Anspruch 17 gelöst.
-
Weiterentwicklungen
der Erfindung sind in den Unteransprüchen angegeben.
-
Gemäß der Erfindung
können
Bilder mit Mustern, die eine spezifische Form aufweisen, die eine
betrachtende Personen beeinträchtigen
kann, automatisch aus einem Videostream detektiert werden, indem
eine Bildanalyse für
jedes Bild in einem Frame in einem zu untersuchenden Videosubjekt
untersucht wird bezüglich Kontrast
und Raumfrequenz, und indem Frames detektiert werden, die einen
großen
angezeigten Bildbereich aufweisen, in welchem die Intensität des Kontrasts
und der Frequenzbereich der Peakwerte der Raumfrequenz jeweils außerhalb
erlaubter Toleranzbereiche liegen.
-
Gemäß der Erfindung
können
die bestimmten Ergebnisse des Entscheidungsmittels, also die Angabe des
Vorhandenseins oder des Fehlens einer spezifischen Klasse von Bildmustern
ausgegeben werden, wodurch die spezifische Klasse von Bildmustern
mittels eines Bildeditors gemäß der Ergebnisausgabe
editiert oder entfernt werden kann.
-
Gemäß der vorliegenden
Erfindung, wenn Bilder einer spezifischen Klasse, die zu detektieren
sind, durch das Entscheidungsmittel (oder den Entscheidungsschritt)
detektiert werden, können
die Bilder automatisch durch andere Bilder, die vorher vorbereitet
worden sind, ersetzt wer den, so dass keine Anwesenheit einer Person
erforderlich ist, um irgendwelche möglicherweise anregende Bilder
zu prüfen.
Folglich werden nicht nur Zuschauer sondern auch das Videoproduktionsteam
vor möglicherweise
gesundheitsgefährdenden
Bildern geschützt.
-
Gemäß der vorliegenden
Erfindung, wenn Bilder der spezifischen Klasse, die zu detektieren
sind, durch das Entscheidungsmittel (Schritt) detektiert werden,
werden der Zuschauer sowie Videoproduktionsmitarbeiter geschützt.
-
Gemäß der Erfindung
kann das ausgegebene Video von einer Videoanzeigevorrichtung, Videowiedergabegerät und TV-Spielmaschine
untersucht werden.
-
Gemäß der Erfindung
wird die Verarbeitungszeit verkürzt,
indem eine Bildanalyse Block für
Block durchgeführt
wird, verglichen mit der Bildanalyse des gesamten Frames auf einmal.
-
Gemäß der vorliegenden
Erfindung wird die Wahrscheinlichkeit eines Anfalls von fotosensitiven
Attacken unter Zuschauern minimiert, indem Bildmuster in dem Video überwacht
werden, von denen bekannt ist, dass sie fotosensitive Attacken verursachen,
bevor ein Programm ausgestrahlt wird.
-
Ferner
werden diese potentiellen gesundheitsgefährdenden Bildmuster automatisch überprüft ohne Anwesenheit
einer Person, was eine schnelle und raschere Überwachung erlaubt, als die Überwachung
gemäß dem Stand
der Technik durch menschliche Prüfer,
sowie keine Abweichung einer Überprüfungsgenauigkeit
aufgrund eines persönlichen
Abweichungsfehlers. Noch wichtiger, die vorliegende Erfindung erfordert nicht
die Anwesenheit eines Prüfers
bei der Überprüfung, wodurch
gleichzeitig die Produktionskosten reduziert und Arbeiter vor einem
potentiell gesundheitsschädlichen
Video geschützt
werden können.
Wenn die Videoüberwachungsvorrichtung
in handelsüblich
verfügbaren
Videoerzeugungsvorrichtungen, beispielsweise Videobandrekordern
und TV-Spielmaschinen angebracht oder integriert wird, ermöglicht die
Videoüberwachungsvorrichtung
gemäß der Erfindung
die Überprüfung und
Warnung vor möglichen
gesundheitsgefährdenden
Bildern, die unter Zuschauern fotosensitive Anfälle hervorrufen können.
-
Die
obige und andere Aufgaben, Wirkungen, Merkmale und Vorteile der
vorliegenden Erfindung werden durch die folgende Beschreibung von
Ausführungsbeispielen
unter Bezugnahme auf die beigefügten Zeichnungen
klarer.
-
Die
vorliegende Erfindung wird vollständig verstanden durch genaues
Lesen der folgenden detaillierten Beschreibung von bevorzugten Ausführungsbeispielen
der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen. Es zeigen:
-
1A–1D schematische
Diagramme, die Bildmuster zeigen, die typisch sind für solche,
die bei empfindlichen Personen fotosensitive Anfälle verursachen können;
-
2 ein
schematisches Blockdiagramm, das eine Systemarchitektur gemäß dem ersten
bevorzugten Ausführungsbeispiel
gemäß der Erfindung
zeigt;
-
3 ein
schematisches Blockdiagramm, das eine Systemarchitektur des zweiten
bevorzugten Ausführungsbeispiels
gemäß der Erfindung
zeigt; und
-
4 ein
Flussdiagramm, das das Verfahren des zweiten bevorzugten Ausführungsbeispiels
gemäß der Erfindung
verdeutlicht.
-
Die
bevorzugten Ausführungsbeispiele
der Erfindung werden genauer im Folgenden unter Bezugnahme auf die
beigefügten
Zeichnungen beschrieben.
-
[Erstes Ausführungsbeispiel]
-
Einige
Beispiele von Musterformen, die in Bildern zu detektieren sind,
sind in den 1A–1D gezeigt. 1A zeigt
ein vertikales Streifenmuster. 1B zeigt
ein Karomuster. 1C zeigt ein konzentrisches
Muster; und 1D zeigt ein Windungsmuster.
All diese Muster sind lokal periodisch (wiederholend) in mindestens
einer Richtung. Die Erfinder der Erfindung haben herausgefunden,
dass, wenn eine Frequenzanalyse durchgeführt wird, beispielsweise durch
die Fast Fourier Transformation (FFT), ein scharfer Spitzenwert in
diesem Bereich bei einer bestimmten Raumfrequenz vorliegt (erste
Bedingung). Die Erfinder haben auch herausgefunden, dass ein Hochkontrastbild
charakterisiert ist durch stark wechselnde augenblickliche Energie (zweite
Bedingung). Basierend auf diesen Erkenntnissen wird in diesem bevorzugten
Ausführungsbeispiel
ein Gesamtbild in eine Mehrzahl von kleinen Blöcken unterteilt, dann wird
bestimmt, ob das Bild in jedem Block die zwei Bedingungen, wie oben
beschrieben, erfüllt.
Anschließend
wird beurteilt, dass das Bild zu der spezifizierten Klasse von Bildern
gehört,
wenn das Verhältnis
zwischen dem Bereich, der von den Blöcken besetzt wird, die beide,
die erste und die zweite Bedingung erfüllen, wie oben beschrieben,
und dem Bereich des Gesamtbildes einen vorbestimmten Wert überschreitet.
-
Eine
Systemarchitektur der Videoüberwachungsvorrichtung,
die ein derartiges Videoüberwachungsverfahren,
wie oben beschrieben, verwendet, ist in 2 gezeigt.
In 2 bezeichnet das Bezugszeichen 1 einen
Analog/Digital (A/D)-Wandler zur Analog-zu-Digital Umwandlung. Das
Bezugszeichen 2 bezeichnet einen Framepuffer für ein vorübergehendes
Speichern eines Bildes (Frame) voll von Bilddaten (Helligkeitsdaten in
diesem Ausführungsbeispiel).
Das Bezugszeichen 3 bezeichnet einen Kontrastdetektor zum
Analysieren der Bilddaten, um zu bestimmen, ob ihr Kontrast innerhalb
eines erlaubten Toleranzbereichs liegt oder nicht.
-
Das
Bezugszeichen 4 bezeichnet einen Frequenzanalysierer, der
die Frequenz innerhalb jedes geteilten Blocks gemäß den Bilddaten,
die in dem Framepuffer 2 gespeichert sind, analysiert,
wenn das Ergebnis von dem Kontrastdetektor 3 außerhalb
des Bereich liegt. Das Bezugszeichen 5 bezeichnet einen
Peaksucher, der bestimmt, ob der Peak, der durch die Frequenzanalyseergebnisse
jedes Blocks angegeben wird, in ein vordefiniertes Frequenzband
fällt,
welches die Klasse von Bildmustern, die zu detektieren sind, charakterisiert. Das
Bezugszeichen 6 bezeichnet eine Entscheidungsschaltung
zum Summieren, basierend auf Ergebnissen jedes Blocks, die von dem
Peaksucher 5 gewonnen werden, des Bereichs (oder der Nummer)
von Blöcken, die
einen scharfen Peak enthalten (Blöcke, die von dem Peaksucher 5 bestimmt
worden sind, in welchen der Peakwert innerhalb eines vordefinierten
Frequenzbandes liegt), um das Verhältnis zu berechnen zwischen dem
summierten Bereich und der Bildgröße (oder das Verhältnis zwischen
der Anzahl an Blöcken,
die einen Peak aufweisen, und der Gesamtanzahl von Blöcken, die
das Vollbild bilden). Wenn dieses Verhältnis außerhalb des Bereichs liegt,
wird das Bild, das durch die Bilddaten in dem Framepuffer 2 dargestellt
ist, bestimmt als zu der Klasse von Bildern, die zu detektieren
sind, gehörend.
-
Die
Ergebnisausgabeschaltung 7 gibt das Ergebnis von der Entscheidungsschaltung 6 aus.
Verschiedene Ausgabemodi, beispielsweise ein einfacher Lichtalarm,
die Anzeige von Zeichen nachrichten, die Ausgabe der Rahmennummer
zusammen mit dem Ergebnis durch einen Drucker, usw., können verwendet
werden.
-
Das
Bezugszeichen 8 zeigt eine Rahmenverzögerung, die das Eingangsvideosignal
verzögert,
um es mit dem Bildverarbeitungssystem zu synchronisieren, welches
aus den Schaltungen 1 bis 6 besteht. Das Bezugszeichen 9 ist
ein Ersatzmustergenerator, der Bildmuster zur Ersetzung erzeugt.
Ein nicht flüchtiger
Speicher, beispielsweise ein Nur-Lese-Speicher (ROM) kann für den Ersatzmustergenerator 9 verwendet
werden.
-
Das
Bezugszeichen 10 kennzeichnet einen Schalter, der Bildsignale
des Bildmusters ausgibt, welches von dem Ersatzmustergenerator 9 erzeugt
worden ist, an Stelle der Ausgangsvideosignale, die hergeleitet
worden sind aus der Frameverzögerung 8,
also dem zu überwachenden
Bild, in dem Fall, bei dem die Entscheidungsschaltung 6 eines
der Musterformen, wie in den 1A–1D beispielsweise
gezeigt, detektiert, um die Muster, wie beispielsweise in 1A–1D gezeigt,
die in dem Videosignal enthalten sind, mit einem Ersatzbildmuster
zu ersetzen. Wenn das Signal von der Entscheidungsschaltung 6,
welches das Vorhandensein von einer der Musterklassen angibt, nicht
erzeugt wird, werden Videosignale von der Frameverzögerung 8 ausgegeben.
-
Man
beachte, dass das oben genannte System alternativ verkörpert werden
kann, indem beispielsweise ein Bildprozessor oder ein Personalcomputer
verwendet wird. In einem derartigen Fall kann der Prozess, der in
dem Kontrastdetektor 3, dem Frequenzanalysierer 4,
dem Peaksucher 5, der Entscheidungsschaltung 6,
der Frameverzögerung 8 und
dem Schalter 10 durchgeführt wird, als Softwareprogramm
geschrieben sein, um durch eine CPU ausgeführt zu werden, um die Funktionalität der oben
genannten Schaltung bereitzustellen. Für einen Fachmann auf diesem
Gebiet ist es offensichtlich, dass die obige Schaltung auch mit
digitalen Schaltungen aufgebaut werden kann.
-
Die
Detektion spezifischer Typen eines Bildmusters, die durch das obige
System durchgeführt
wird, wird jetzt im Folgenden näher
beschrieben.
-
Videosignale
werden in die Vorrichtung durch ein Videoeingabemittel, beispielsweise
einen Verbinder (nicht gezeigt) in der Form von analogen Signalen,
die aus Rahmen von Bildern bestehen, beispielsweise als NTSC-Signale
eingegeben. Der A/D-Wandler 1 wandelt die analogen Eingangsvideosignale
in digitale Videosignale für
die Eingabe in das Framepuffer 2. Gemäß diesem Ausführungsbeispiel
wird ein Gesamtbild (Frame) in kleine Blöcke von M (in Abszissenachsenrichtung)
durch N (in Ordinatenrichtung) geteilt. Folglich werden die Blöcke nacheinander
verarbeitet, und der nächste
Frame wird zu dem Zeitpunkt erfasst, wenn alle Verarbeitungsvorgänge für jeden
Block in einem Frame abgeschlossen sind.
-
In
dem Kontrastdetektor
3 wird die Varianz σ
2 der
Helligkeit aller Pixel (Bildelemente) in einem kleinen Block bestimmt,
indem der folgende Ausdruck verwendet wird:
wobei
I
ij die Helligkeit eines Pixels betrifft,
welches an der Stelle (i, j) in diesem Block ist. Dies entspricht
der Gesamtenergie von wechselnden augenblicklichen Komponenten des
Bildes in diesem Block. Wenn dieser Wert einen vordefinierten Schwellenwert θ1 überschreitet,
also wenn dieser Wert außerhalb
eines erlaubten Toleranzbereichs liegt, dann bestimmt der Kontrastdetektor
3,
dass dieser kleine Block ein Hochkontrastblock ist, und sendet die
Bilddaten für
diesen Block an die nachfolgende Stufe, den Frequenzanalysierer
4.
-
Als
ein anderes Mittel zum Erhalten der Funktionalität des Kontrastdetektors 3 kann
die Summe der Randintensitäten,
die durch Verlaufen durch eine Differentialfilter, beispielsweise
ein Sobelfilter gewonnen werden, durch die Anzahl an Pixeln geteilt
werden, die Ränder
bilden, um eine „Durchschnittsrandintensität" zu erhalten, für einen
Vergleich mit einem Schwellenwert.
-
In
dem Frequenzanalysierer 4 werden die Bilddaten, die von
dem Kontrastdetektor übermittelt
werden einer Fourier Transformation unterworfen, die diese in Raumfrequenzkomponenten
auflöst,
um eine Energie für
jede Raumfrequenz herzuleiten.
-
Das
Ergebnis Fμν der
Fourier Transformation der Bilddaten jedes Blocks besteht aus einem
realen Teil R{Fμν} und
einem imaginären
Teil I{Fμν},
wobei μ und ν jeweils
die Raumfrequenzen in der horizontalen Richtung und vertikalen Richtung
angeben.
-
Die
Energie Eμν jeder
Frequenzkomponente kann wie folgt ausgedrückt werden: Eμν =
(R{Fμν})2 + (I{Fμν})2 (2)
-
In
dem Peaksucher 5 wird das Raumfrequenzspektrum in jedem
entsprechenden Block untersucht, um zu bestimmen, ob es einen scharfen
Peak in dem vordefinierten Frequenzbereich f1–f2 enthält. Ein Peak ist als scharf
definiert, wenn entweder eine oder beide der folgenden Bedingungen
erfüllt
sind:
- 1. ein Maximumwert, der anders für die „direct
current" Komponente
ist, wird in einem Block detektiert, und der Wert davon überschreitet
einen vordefinierten Wert θ2
bezüglich
der gesamten wechselnden augenblicklichen Energie in diesem Block;
und/oder
- 2. ein Maximumwert überschreitet
einen vordefinierten Wert θ3,
wenn Additionswerte von acht Nachbarkomponenten, die den einen umgeben,
ein Maximum haben, obwohl das Maximum, das in diesem Block detektiert
worden ist, nicht die obige Bedingung (1) erfüllt.
-
In
der Entscheidungsschaltung 6 wird der Gesamtbereich der
Blöcke,
der einen scharfen Peak aufweist, bestimmt. Wenn das Verhältnis zwischen
dem Gesamtbereich dieser Blöcke
und dem Bereich des kompletten Bildes (Frames) einen vordefinierten
Schwellenwert θ4 überschreitet,
dann wird dieses Bild als ein Bild bestimmt, welches eine der Klasse
von entsprechenden Mustern, die zu identifizieren sind (Musterformen,
wie beispielsweise in den 1A–1D gezeigt)
enthält.
-
Die
Ergebnisausgabeschaltung 7 zeigt den Status der Detektion
gemäß den Ergebnissen
der Entscheidungsschaltung 6 an, also ein Bildmuster der
Klasse, welche zu identifizieren ist, ist detektiert worden.
-
Ein
Ein/Aus-Signal, das die Existenz oder das Fehlen der Klasse von
Mustern, die zu detektieren sind, angibt, veranlasst den Schalter 10 den
Anschluss zu ändern.
Wenn ein Bildmuster der zu detektierenden Klasse als vorhanden bestimmt
wird, wird das durch den Ersatzmustergenerator 9 erzeugte
Ersatzmusterbild ausgegeben, um die detektierten Musterbilder, wie
beispielsweise die in den 1A–1D,
zu ersetzen. Da die Videosignale (Framebilder) durch den Frameverzögerer 8 um
mindestens eine Zeitperiode, die notwendig ist von der Eingabe bis
zur Entscheidung, verzögert
sind, kann das Ersetzen der Musterbilder zum Zeitpunkt der Detektion
ausgeführt
werden.
-
In
dem Frequenzanalysierer 4 ist, wenn ein Originalbild um
1/2, 1/4, 1/8 ... geschrumpft wird, und darauf die Fourier Transformation
angewendet wird, der Raumfrequenzbereich, der untersucht werden
kann, änderbar.
Darüber
hinaus kann die Fourier Transformation in einer kürzeren Zeit
berechnet werden, aufgrund der reduzierten Anzahl an Bilddaten,
die zu verarbeiten sind. Für
die Frequenzanalyse können
Bildanalyseverfahren, beispielsweise Wavelet Transformation, Multiple
Resolution Fourier Transformation, oder Hough Transformation an
Stelle der Fourier Transformation verwendet werden.
-
Die
Schwellenwerte θ1, θ2, θ3, θ4, f1 und
f2, wie oben erwähnt,
die Bedingungen für
die Musterdetektion sind, beispielsweise die Kontrastintensität, können beispielsweise
fest sein. Alternativ können
diese Schwellenwerte einstellbar durch manuelle Eingabe von Parameterdaten über eine
Eingabevorrichtung (nicht gezeigt), beispielsweise ein Zifferntastenfeld,
eingestellt werden.
-
[Zweites Ausführungsbeispiel]
-
Das
zweite Ausführungsbeispiel
der Erfindung, welches die visuelle Überwachungsvorrichtung implementiert
durch eine Bildverarbeitungsvorrichtung, wird im Folgenden näher beschrieben.
Die Systemanordnung gemäß dem zweiten
Ausführungsbeispiel
der Erfindung ist in 3 gezeigt. Gut bekannte Informationsverarbeitungsvorrichtungen,
beispielsweise Personalcomputer, können für die Bildverarbeitungsvorrichtung verwendet
werden. Es sei erwähnt,
dass die Verarbeitungsprozedur (Softwareprogramm, siehe 4)
von der obigen verschieden ist. Das Softwareprogramm für die Videoüberwachung
ist in einer von einem Computer lesbaren Spra che geschrieben, und
wird über
ein Aufzeichnungsmedium, beispielsweise eine Diskette oder eine
CD-ROM in der Bildverarbeitungsvorrichtung installiert.
-
In 3 sind
eine CPU 100, eine Schnittstelle (I/O) 101, eine
Festplatte (HDD) 102, ein Diskettenlaufwert (FDD) 103,
ein Video RAM 104, eine Eingabevorrichtung 106 und
ein Systemspeicher 107 mit einem Bus verbunden. Die CPU 100 steuert
das gesamte System unter der Steuerung durch das Betriebssystem
(OS), welches in dem Systemspeicher 107 und der Festplatte 102 gespeichert
ist. Die Schnittstelle 101 ist ebenfalls bekannt als Grafikkarte,
die sequentiell Videosignale in der Form des NTSC-Standards auf
einer Frame-für-Frame
Basis erfasst zur Umwandlung in digitale Signale, die von der CPU 100 verarbeitet
werden können.
Verschiedene Videosignalgeneratoren, beispielsweise Fernsehempfangseinheiten,
Videokameras, Videokassettenrekorder und TV-Spielmaschinen können verwendet
werden.
-
Das
Festplattenlaufwerk 102 speichert zusätzlich zu dem Betriebssystem
einige Softwareprogramme für
die Videoüberwachung
gemäß der Erfindung,
und einige Softwareprogramme zum Erzeugen und zum Editieren von
bewegten Bildern.
-
Das
Diskettenlaufwerk 103 akzeptiert eine Diskette, und liest
ein darauf gespeichertes Softwareprogramm für eine Videoüberwachung,
wie oben erwähnt,
unter der Steuerung durch die CPU 100. Das Video RAM 104 speichert
einen Frame von Bilddaten. Das Schreiben der Bilddaten in dem Video
RAM 104 erfolgt durch die CPU 100, Bilddaten werden
daraus durch eine Steuerung (nicht gezeigt) in eine Anzeige 105 ausgelesen
zur Anzeige auf dem Schirm der Anzeige 105.
-
Die
Eingabevorrichtung 106 enthält eine Maus und eine Tastatur.
Die Eingabevorrichtung 106 wird verwendet zur Eingabe verschiedener
Befehle an die CPU 100 und verschiedener Information zum
Ausführen
der Softwareprogramme.
-
Der
Systemspeicher 107 enthält
ein ROM und RAM. Der Systemspeicher 107 wird verwendet
als Speicher zum Speichern eines Teils des OS, sowie als Arbeitsraum
zum Speichern von Daten, die von dem OS und von Softwareprogrammen
benötigt
werden, und zum Speichern von Programmen, die von der CPU 100 ausgeführt werden.
-
Der
Videoüberwachungsprozess,
der in dieser Systemanordnung ausgeführt wird, wird jetzt unter
Bezugnahme auf 4 näher beschrieben. Der in 4 gezeigte
Prozess ist in einer Programmiersprache geschrieben, die durch die
CPU 100 ausführbar
ist, und auf dem Festplattenlaufwerk 102 installiert. Durch
eine Anweisung über
die Eingabevorrichtung 106 wird der Prozess in den Systemspeicher 107 geladen
und von der CPU 100 ausgeführt. Für den Zweck der Erklärung der
Erfindung ist das Softwareprogramm, das in 4 gezeigt
ist, in verschiedene Prozessroutinen in bekannter Weise zerlegt.
Es sei erwähnt,
dass ein Fachmann auf diesem Gebiet ein derartiges Softwareprogramm
mit oder ohne exaktem Sourcecode in einer bestimmten Programmiersprache
schreiben kann. Wenn über
die Eingabevorrichtung 106 der Start der Ausführung des
in 4 gezeigten Prozesses angewiesen wird, erfasst
die CPU 100 ein Framebild (Bilddaten eines vollen Schirms)
von der I/O 101, um es in den Systemspeicher 107 zu
schreiben (Schritt S100).
-
Die
CPU 100 teilt dann das in dem Systemspeicher 107 gespeicherte
Bild beispielsweise in acht Blöcke.
Die CPU 100 nimmt den ersten Block der Bilddaten, um die
Kontrastintensität
gemäß dem Ausdruck
(1) zu berechnen. Es wird bestimmt, ob die Kontrastintensität innerhalb
eines erlaubten Toleranzbereichs liegt (Schritt S130). Wenn der
Kontrast außerhalb
des Bereichs liegt, geht der Prozess von Schritt S130 zu Schritt S140,
um die Frequenzanalyse durchzuführen.
-
Wenn
der Kontrast in den Bereich fällt,
geht der Prozess von Schritt S130 über S170 zu S110, um die Kontrastberechnung
des zweiten Blocks durchzuführen.
-
In
der Frequenzanalyse in Schritt S140 wird der erste Block von Bilddaten
für die
Frequenzanalyse verwendet. Es wird bestimmt, ob der Peak-Energiewert,
der durch den Ausdruck (2) gewonnen wird, in den Frequenzbereich
(Toleranzbereich) fällt,
der kennzeichnend ist für
die Klasse von Bildmustern, die beispielsweise in den 1A–1D gezeigt
sind.
-
Wenn
der Peak in den Bereich fällt,
dann geht der Prozess von Schritt S150 über S170 zu S110, um die Kontrastberechnung
des zweiten Blocks durchzuführen.
Wenn nicht, wird für
den Frame, der überwacht wird,
bestimmt, dass er Teil einer der Bildmusterklassen ist, die beispielsweise
in den 1A–1D gezeigt sind.
Dann wird der Bereich des ersten Blocks in dem Systemspeicher 107 zur
Akkumulation (Summation) von Bereichen gespeichert (Schritt S160).
-
Als
Nächstes
geht der Prozess von Schritt S170 zu S110, um eine Kontrastüberwachung
und Frequenzüberwachung
des zweiten Blocks durchzuführen.
Wenn bei beiden Überwachungen
bestimmt wird, dass der zweite Block außerhalb des Bereichs liegt,
wird der Bereich akkumuliert. Dann wiederholt der Prozess diese
Schritte für
die Videoüberwachung
für alle
verbleibenden Blöcke
(JA Entscheidung in Schritt S170), die CPU 100 berechnet
das Verhältnis
zwischen dem akkumulierten Flächenbereich
und dem Framebereich, um zu bestimmen, ob das Verhältnis innerhalb
eines Toleranzbereichs liegt (Schritt S180). Wenn das Verhältnis außerhalb
des Bereichs ist, also wenn für
das Framesubjekt, das zu überwachen
ist, bestimmt wird, dass es irgendeine der Bildmusterklassen, wie
beispielsweise in den 1A–1D gezeigt,
enthält,
modifiziert die CPU 100 das in dem Systemspeicher 107 gespeicherte
Framebild (Framebild, das von der I/O 101 geladen worden
ist). Die Modifikation kann entweder eine Ersetzung durch ein vorher
erzeugtes und auf der HDD 102 gespeichertes Bildmuster
sein, oder eine Ersetzung mit einer Framewarnung, die angibt, dass
eine der Bildmusterklassen, wie beispielsweise in den 1A–1D gezeigt,
in diesem Rahmen liegt, oder eine Elimination des Eingangsframebildes
in I/O 101.
-
Das
modifizierte Framebild wird dann auf der HDD 102 beispielsweise
in dem MPEG (Motion Picture Expert Group) Dateiformat für bewegtes
Video gespeichert. Wenn für
das Framebild, das überwacht
wird, nicht bestimmt wird, dass es irgendeine der Bildmusterklassen,
wie beispielsweise in den 1A–1D gezeigt, enthält (also
JA Entscheidung in Schritt S180), wird das Framebild, das von der
I/O 101 geladen und in dem Systemspeicher 107 gespeichert
ist, auf die HDD 102 geschrieben. Durch Wiederholen des
obigen Prozesses bis zum Ende des eingegebenen Videos (eine Schleife
von Schritt S100 zu S210), können
Videos (bewegte Bilder), die aus einer Mehrzahl von Frames (Standbilder)
bestehen, überwacht
werden.
-
In
dieser Ausführung
des bevorzugten Ausführungsbeispiels
kann das überwachte
Video an externe Vorrichtungen mittels einer Diskette, magnetoptischen
Platten (MO-Disks) oder einer Kommunikationsschnittstelle (nicht
gezeigt) ausgegeben werden, wenn dies erwünscht ist, da Bilder in dem
System gespeichert sind.
-
Optional
können
folgende Ausführungsbeispiele
zusätzlich
oder an Stelle des oben genannten bevorzugten Ausführungsbeispiels
der Erfindung erhalten werden.
- 1). An Stelle
der Frameverzögerung 8 in 2 können Framepuffer
verwendet werden.
- 2). Das Videosubjekt, das durch die Videoüberwachungsvorrichtung gemäß 2 zu überwachen
ist, ist nicht auf ein Fernsehvideo beschränkt, verschiedene Videos, beispielsweise
ein Video, das von einem VCR ausgegeben wird, ein Video, das auf
einem Computer erzeugt worden ist (sogenannte Movies) können behandelt
werden. Beispielsweise ist der A/D-Wandler 1, wie in 2 gezeigt,
nicht notwendig, wenn ein digitales Video zu behandeln ist.
- 3). Die Videoüberwachungsvorrichtung
gemäß 2 kann
entfernbar mittels Signalverdrahtungen mit einer Videoerzeugungsvorrichtung
verbunden sein (beispielsweise mit einer Videobildanzeige, wie etwa
ein Fernsehempfänger,
Videospieler, wie etwa ein Videokassettenrekorder, 8 mm Videokamera,
TV Spielmaschine, proprietäre
Spielmaschinen, und dergleichen), um Ausgangsbilder von der Videoerzeugungsvorrichtung
zu akzeptieren, oder alternativ kann sie in eine Videoerzeugungsvorrichtung
integriert sein, um ein zu untersuchendes Videosignalsubjekt innerhalb
von der Videoerzeugungsvorrichtung zu empfangen.
- 4). In dem obigen bevorzugten Ausführungsbeispiel werden Bildmuster,
wie beispielsweise die in den 1 gezeigten,
bei einer Detektion mit einem Ersatzbildmuster ersetzt. Es kann
jedoch möglich
sein einfach nur zu warnen, wenn ein derartiges Bildmuster detektiert
wird. Alternativ ist es möglich
nur eine Ersatzfunktionalität
(der Ersatzmustergenerator 9) bereitzustellen ohne die
Ergebnisausgabeschaltung 7. Das Substitutions-Merkmal und
das Warnausgabe-Merkmal können
beliebig gemäß der entsprechenden
Anwendung hinzugefügt
werden.
- 5). In dem oben genannten bevorzugten Ausführungsbeispiel, obwohl Bildmuster,
die beispielsweise in den 1A–1D gezeigt
sind, durch ein Ersatzbildmuster ersetzt werden, sobald sie detektiert
werden, erlaubt das System gemäß 2 ein
Entfernen der detektieren Bildmus ter aus einem eingegebenen Video. In
einem derartigen Fall ist der Ersatzmustergenerator 9 nicht
bereitgestellt. Wenn irgendeiner der in den 1A–1D gezeigten
Mustertypen detektiert wird, wird der Schalter 1 von der
Frameverzögerung 8 unterbrochen
(ausgeschalten), um nicht verzögerte
Bilder in der Frameverzögerung 8 extern
auszugeben. Zu dem Zeitpunkt, wenn ein neues Framebild ankommt,
wird der Schalter 10 mit der Frameverzögerung 8 verbunden
(eingeschalten), so dass die Framebilder, die andere sind als die
beispielsweise in den 1A–1D gezeigten, über den
Schalter 10 ausgegeben werden.
-
Obwohl
die vorliegende Erfindung beispielhaft durch ihr bevorzugtes Ausführungsbeispiel
beschrieben wurde, sind die obigen Ausführungsbeispiele nur beispielhaft
und nicht einschränkend.
Es soll verstanden sein, dass ein Fachmann auf diesem Gebiet irgendwelche Änderungen,
eine Modifikation und eine Abweichung im Licht der obigen Lehren
vornehmen kann, ohne den Schutzbereich der Erfindung zu verlassen,
und dass der Schutzbereich der Erfindung folglich nur durch die
folgenden Ansprüche
bestimmt ist.
