DE19753296A1

DE19753296A1 - Verfahren und System zum Verarbeiten von Textdaten in einem Videosignal

Info

Publication number: DE19753296A1
Application number: DE19753296A
Authority: DE
Inventors: William S Herz
Original assignee: S3 Inc
Current assignee: S3 Graphics Co Ltd
Priority date: 1996-12-03
Filing date: 1997-12-01
Publication date: 1998-06-04
Anticipated expiration: 2017-12-02
Also published as: US5914719A; DE19753296B4; JP4074698B2; JPH10224748A

Description

Der Gegenstand dieser Anmeldung ist verwandt mit dem Gegen stand der US-Patentanmeldung Nr. 08/676,527 mit dem Titel "Closed Captioning Processing Architecture", die am 9. Juli 1996 von William S. Herz und Sunil S. Mahajan eingereicht wurde.

Die vorliegende Erfindung betrifft die Verarbeitung von Closed-Caption-Daten in einem Grafiksystem und spezieller die Indexierung und Speicherung von Closed-Caption-Daten aus den vertikalen Austastlücken. Der Begriff Closed-Caption wird in den US-amerikanischen und anderen Fernsehnormen für die Bezeichnung von Daten verwendet, die in die verti kale Austastlücke (während der Zeit, in der der Elektro nenstrahl vom unteren zum oberen Rand des Bildschirms läuft) eingefügt und zusammen mit dem normalen Fernsehsignal über mittelt werden. Closed-Caption-Daten können von dem Fern sehempfänger extrahiert und als Text auf dem Bildschirm dar gestellt werden. Closed-Caption-Daten werden bei der Fern sehübertragung z. B. dazu verwendet, Untertitel zusammen mit dem eigentlichen Videosignal zu übertragen.

Bilddaten enthalten häufig Daten, wie Closed-Caption-Text daten, die während der vertikalen Austastlücke (VBI = Ver tical Blanking Interval) übertragen werden. Die Closed-Cap tion-Textdaten werden üblicherweise während der Zeil 21 entweder des ungeraden oder des geraden Halbbildes des Video-Einzelbildes (Frame) im NTSC-Format (NTSC = National Television Standards Committee) übertragen. Closed-Caption- Decoder isolieren die Textdaten von dem Videosignal, deco dieren die Textdaten und Formatieren die Daten neu, um sie simultan mit den Videodaten auf einem Fernsehschirm anzu zeigen. Solche Closed-Caption-Decoder verarbeiten die Text daten getrennt von einem Videosignal. Die Closed-Caption- Daten werden im wesentlichen in Echtzeit angezeigt.

Es ist wünschenswert, ein Multimediasystem vorzusehen, wel ches sowohl Grafik als auch Bilddaten und VBI -Daten digital verarbeitet und anzeigt. Die GUI-Beschleunigungsvorrichtung (GUI = Graphical User Interface = Grafikbenutzer-Schnitt stelle) soll die Closed-Caption-Daten vorzugsweise ähnlich verarbeiten und speichern wie bei der Verarbeitung und Spei cherung der Bilddaten. Ferner wird ein Verfahren zum Index ieren, Sortieren und Verknüpfen von verarbeiteten Bilddaten mit den Closed-Caption-Daten gewünscht.

Das Verfahren gemäß der vorliegenden Erfindung verarbeitet Textdaten in einem Videosignal. Das Verfahren umfaßt die folgenden Verfahrensschritte: Extrahieren der Textdaten aus einem Videosignal; Addieren eines Identifikators zu den Textdaten; und Speichern der Textdaten. Gleichzeitig mit den Additions- und Speicherschritten umfaßt das Verfahren auch die Addition des Identifikators zu den Bild- und Audiodaten (Video- und Audiodaten) und das Speichern der Bild- und Ton daten. Der zu den Bild- und Tondaten addierte Identifikator verbindet die zugehörigen Textdaten mit den Bild- und Ton daten.

Die gespeicherten Textdaten werden nach Textdaten abgefragt, welche zu einer von einem Benutzer ausgewählten Eingabe pas sen. Die zu der Benutzereingabe passenden Textdaten werden wiedergewonnen.

Die Bild- und Tondaten, die einen Identifikator aufweisen, der mit dem Identifikator der wiedergewonnenen Textdaten übereinstimmt, werden ebenfalls wiedergewonnen. Die wieder gewonnenen Bilddaten werden angezeigt und die Tondaten wer den abgespielt. Die wiedergewonnenen Textdaten können gedruckt werden.

Der Identifikator gibt die verstrichene Zeit der Textdaten, eines Abschnitts (Clip), einer Bezeichnung (Label) oder ei nes Benutzerkommentars im Verhältnis zu einer Bezugszeit an.

Gemäß der vorliegenden Erfindung wird auch ein System vor gesehen, das Textdaten in einem Videosignal verarbeitet und anzeigt. Eine Decoderschaltung extrahiert die Textdaten aus dem Videosignal und addiert einen Identifikator zu den Text daten, wobei gleichzeitig mit dieser Addition das System den Identifikator auch zu den Bild- und Tondaten addiert. Eine Speicherstruktur, wie eine Festplatte, speichert die Textda ten sowie die Bild- und Tondaten.

Ein Hostprozessor empfängt eine vom Benutzer ausgewählte Eingabe und sucht die Festplatte nach den gespeicherten Textdaten ab, welche zu der Benutzereingabe passen, und er ruft die zu der Benutzereingabe passenden Textdaten auf.

Der Hostprozessor gewinnt ferner die Bild- und Tondaten von der Festplatte wieder, welche einen zu dem Identifikator der wiedergewonnenen Textdaten passenden Identifikator haben. Eine Anzeige zeigt die wiedergewonnenen Bilddaten an, und die wiedergewonnenen Tondaten werden abgespielt. Der Host prozessor liefert die wiedergewonnenen Textdaten an ein ex ternes Druckgerät. Der Identifikator kann die verstrichene Zeit der Textdaten, eines Abschnitts, einer Bezeichnung oder eines Benutzerkommentars im Verhältnis zu einer Bezugszeit angeben.

Die Erfindung ist im folgenden anhand bevorzugter Ausfüh rungsformen mit Bezug auf die Zeichnung näher erläutert. In den Figuren zeigt:

Fig. 1 ein Blockdiagramm eines Grafikanzeigesystems;

Fig. 2 zeigt ein Blockdiagramm der Speicherstruktur zum Speichern der VBI-Daten;

Fig. 3 zeigt ein Flußdiagramm der Speicheroperation für die VBI-Daten auf einer Festplatte des Grafikanzeigesy stems der Fig. 1;

Fig. 4 zeigt ein Flußdiagramm der Datenwiedergewinnungs operation des Grafikanzeigesystems der Fig. 1;

Fig. 5a und 5b zeigen Flußdiagramme der Suchroutine der Daten wiedergewinnungsoperation der Fig. 4;

Fig. 6 zeigt ein Flußdiagramm der Umsetzungsgenerator routine der Datenwiedergewinnungsoperation der Fig. 4; und

Fig. 7 zeigt ein Blockdiagramm der Digitalisier- und Deco dierschaltung des Grafikanzeigesystems der Fig. 1.

In Fig. 1 ist ein Blockdiagramm gezeigt, welches ein Grafik anzeigesystem 100 wiedergibt, das eine Digitalisier- und Decodierschaltung 102, einen Benutzerschnittstellen-Grafik- Beschleuniger 104 (GUI-Beschleuniger; GUI = Graphical User Interface), einen Digital-Analog-Wandler 106 (DAC), eine Grafikanzeige 108, ein Einzelbildpuffer 110, einen Bus 112, eine Festplatte 114, einen Hostprozessor 116, einen I²C-Bus 118 und einen Pixelbus 120 aufweist. Anstelle der Festplatte 114 kann selbstverständlich auch ein anderer beschreibbarer, nicht-flüchtiger Speicher verwendet werden. Der Bus 112 kann z. B. ein PCI-Bus (PCI = Peripheral Components Interconnec tion; Bus zum Anschließen von Peripheriekomponenten) sein. Das Grafikanzeigesystem 100 verarbeitet Videosignale und gewinnt Textdaten oder Closed-Caption-Daten aus den Video signalen und verarbeitet diese. Der Einfachheit und Klarheit halber ist das Grafikanzeigesystem 100 hier in Bezug auf die Verarbeitung von Closed-Caption-Daten beschrieben. Die An forderungen für Closed-Caption-Daten sind in dem United States Closed Captioning Standard niedergelegt, der von der Federal Communications Commission definiert wird. Das System 100 kann jedoch auch Textdaten in den Videosignalen oder der vertikalen Austastlücke (VBI = Vertical Blanking Interval) verarbeiten. Das Grafikanzeigesystem 100 kann z. B. Teil eines Rechners sein, wie eines Personal Computers oder eines Rechners, der eine Schnittstelle zu einem globalen Daten übertragungsnetz bildet, z. B. eine Schnittstelle zu dem In ternet.

In einem ersten Betriebsmodus werden die decodierten Closed- Caption-Daten in einem Register (Register 728 in Fig. 7) in der Digitalisier- und Decodierschaltung 102 gespeichert, und der GUI-Beschleuniger 104 liest die gespeicherten Closed- Caption-Daten über den I²C-Bus 118, der eine bidirektionale Verbindung zwischen dem GUI-Beschleuniger 104 und der Digi talisier- und Decodierschaltung 102 bildet. Der I²C-Bus 118 ist ein Bus, der mit einem allgemein bekannten Protokoll von Philips arbeitet. Der GUI-Beschleuniger 104 dient als ein I²C-Bus-Master. Dieser erste Betriebsmodus ist gut bekannt und wird vom Fachmann verstanden werden. In einem zweiten Betriebsmodus steuert der Hostprozessor 116 den GUI-Be schleuniger 104, um die Closed-Caption-Daten mit dem Einzel bildpuffer 110 einzufangen.

Im zweiten Betriebsmodus extrahiert die Digitalisier- und Decodierschaltung 102 die Textdaten aus dem Videosignal. Das Videosignal wird im übrigen auf herkömmliche Weise verar beitet und formatiert, wobei eine Skalierung oder eine an dere Datenmanipulation vorgenommen werden kann. Die Digita lisier- und Decodierschaltung 102 speichert die Textdaten für das aktuelle Einzelbild und liefert die Textdaten für das vorhergehende Einzelbild an den GUI-Beschleuniger 104 über den Pixelbus 120. Die Digitalisier- und Decodierschal tung 102 formatiert die Textdaten, so daß der GUI-Beschleu niger 104 die Textdaten zusammen mit dem Videosignal über trägt, ohne durch die Videofilterung einen Teil des Inhalts zu verlieren. Die Digitalisier- und Decodierschaltung 102 umfaßt auch einen Identifikator, der anzeigt, ob Textdaten von der Platte abgerufen oder auf der Anzeige angezeigt wer den sollen. Der Identifikator ist vorzugsweise entweder ein Abruf-Gültig-Bit oder ein Anzeige-Gültig-Bit. Die Digitali sier- und Decodierschaltung 102 kann z. B. wie die Digitali sier- und Decodierschaltung aufgebaut sein, die in der US- Patentanmeldung Nr. 08/676,527 mit dem Titel "Closed Captio ning Processing Architecture" beschrieben ist, die am 9. Juli 1996 von William S. Herz und Sunil S. Mahajan einge reicht wurde, und auf deren Gegenstand hier Bezug genommen wird, der im wesentlichen auch in Verbindung mit Fig. 7 un ten beschrieben ist.

Abhängig von vielen Befehlen von dem Hostprozessor 116 emp fängt der GUI-Beschleuniger 104 Video- und Textdaten von der Digitalisier- und Decodierschaltung 102 über den Pixelbus 120, speichert die Daten in dem Einzelbildpuffer 110 und erzeugt Grafikdaten aus den Daten von der Digitalisier- und Decodierschaltung 102 oder von dem Einzelbildpuffer 110. Der Hostprozessor 116 kann z. B. ein Pentium -Prozessor sein, der von der Intel Corporation aus Santa Clara, Californien, USA, hergestellt wird. Der GUI-Beschleuniger 104 kann z. B. ein herkömmlicher GUI-Beschleuniger mit einem Video-Pixelbus- Eingang sein, wie das GUI-Beschleunigermodell 86C968, der von der S3, Inc. aus Santa Clara, Californien, USA, herge stellt wird. Der Einzelbildpuffer 110 kann z. B. ein herkömm licher Video-Direktzugriffsspeicher (VRAM = Video Random Access Memory) sein. Die Größe des Einzelbildpuffers 110 hängt von der Auflösung und dem Format sowohl der Videodaten als auch der Grafikdaten ab.

Der GUI-Beschleuniger 104 erzeugt eine vertikale Synchroni sationsunterbrechung (Vsync-Unterbrechung) abhängig von dem vertikalen Synchronisationssignal (Vsync-Signal) in dem Videosignal, das von der Digitalisier- und Decodierschaltung 102 empfangen wird. Der Hostprozessor 116 bedient die Vsync- Unterbrechung durch Ausführen einer Unterbrechungs-Service routine, die unten beschrieben ist. Der Hostprozessor 116 verwendet die Vsync-Unterbrechung zum Ermitteln des Zeit punktes der Zeile, welche die Closed-Caption-Daten enthält, und liest dann diese Zeile aus dem Einzelbildpuffer 110. In dieser Beschreibung ist die Zeile, welche die Closed-Cap tion-Daten enthält, die Zeile 21. Die vorliegende Erfindung ist jedoch nicht auf die Zeile 21 beschränkt. Zusätzlich können die Daten Textdaten oder andere digitale Daten sein, die auf anderen Videozeilen codiert sind.

Die Latenzzeit der Serviceroutine für die Vsync-Unterbre chung ist nicht vorhersagbar. Insbesondere die Zeitdifferenz zwischen der Vsync-Unterbrechung, dem Auftreten der Closed- Caption-Daten auf der Zeile 21 und der Beendigung der Ser viceroutine kann von dem Hostprozessor 116, der die Closed- Caption-Daten aus dem Einzelbildpuffer 110 liest, nicht im mer im voraus ermittelt werden. Um sicherzustellen, daß der Hostprozessor 116 die richtigen Daten liest, puffert die Digitalisier- und Decodierschaltung 102 die Daten für ein Halbbild und sendet die Closed-Caption-Daten im nächsten Halbbild erneut. Zusätzlich umfassen die Daten von der Digi talisier- und Decodierschaltung 102 ein Gültig-Bit, das an gibt, ob die in dem Einzelbildpuffer 110 gespeicherten Daten der Zeile 21 gültige Closed-Caption-Daten sind, die nicht vorher schon während der Ausführung einer Unterbrechung (In terrupt) gelesen wurden. Der Hostprozessor 116 setzt auch das Gültig-Bit über den I²C-Bus 118 zurück, nachdem die Textdaten verarbeitet worden sind.

Der Digital-Analog-Wandler 106 transformiert die digitalen Daten von dem GUI-Beschleuniger 104 in ein Anzeigeformat für die Darstellung auf der Anzeige 108. Der Digital-Analog- Wandler 106 kann z. B. ein DAC485 sein, der von Booktree her gestellt wird. Die Anzeige 108 ist eine herkömmliche Anzei ge.

In Fig. 2 ist ein Blockdiagramm wiedergegeben, das die Speicherstruktur zum Speichern der VBI-Daten zeigt. Die Speicherstruktur umfaßt einen Textdatenspeicher 202, einen Bild- und Tondatenspeicher 204, ein Suchmodul 206, eine Video/Audio-Steuereinrichtung 208, einen Umsetzungsgenerator 210, und eine Such-Treffer-Tabelle 212. Der Textdatenspei cher 202 und der Bild- und Tondatenspeicher 204 können z. B. Teil der Festplatte 114 sein. Der Textdatenspeicher 202 speichert die Textdaten 214 und einen Identifikator 216, den er vom Hostprozessor 116 empfängt. Die Textdaten werden für die Wiedergewinnung auf der Platte 114 gespeichert und für die Anzeige in dem Einzelbildpuffer 110 abgelegt. Der Iden tifikator 216 kann z. B. eine Zeitmarke sein, wie ein SMPTE- Zeitcode. Die Textdaten 214 können in einem ASCII-Format gespeichert sein.

Der Bild- und Tondatenspeicher 204 speichert die Bilddaten 218 und die Tondaten 220 aus dem Videosignal und einen Iden tifikator 222. Der Identifikator 222 kann äquivalent zu dem Identifikator der Textdaten sein, oder er kann eine Verbin dung zwischen den Bild- und Tondaten zu den zugehörigen Textdaten schaffen, wie ein SMPTE-Zeitcode oder ein Einzel bildzähler.

Das Suchmodul 206 ist ein Programm zum Absuchen des Textda tenspeichers 202 nach Textdaten 214, welche mit vom Benutzer ausgewählten Daten übereinstimmen. Die Video/Audio-Steuer einrichtung 208 ist ein Programm, das Bild- und Tondaten von dem Bild- und Tondatenspeicher 204 speichert und wiederge winnt. Die Such-Treffer-Tabelle 212 speichert die Identifi katoren 202 der Textdaten, welche die Suchanforderungen er füllen. Der Umsetzungsgenerator 210 ist ein Programm, das eine Umsetzung der Textdaten erzeugt, die nahe bei den vom Benutzer ausgewählten Begriffen liegen.

In Fig. 3 ist ein Flußdiagramm gezeigt, welches den Ablauf beim Speichern der VBI-Daten in dem Speicher des Grafikan zeigesystems 100 wiedergibt. Die Digitalisier- und Decodier schaltung 102 extrahiert 302 die Textdaten aus dem empfan genen Videosignal. Der GUI-Beschleuniger 104 addiert 304 einen Identifikator 216 zu den Textdaten und speichert 306 die Textdaten in dem Textdatenspeicher 202.

Gleichzeitig mit der Extraktion 302, der Addition 304 und der Speicherung 306 addiert 308 die Digitalisier- und Deco dierschaltung 102 einen Identifikator 222 zu den Bild- und Tondaten. Der Identifikator 216 verbindet die Bild- und Ton daten mit den zugehörigen Textdaten über den Identifikator 222. Der GUI-Beschleuniger 104 speichert 310 die Bild- und Tondaten in dem Bild- und Tondatenspeicher 204. Die Text daten können unabhängig von den Bilddaten gespeichert wer den, so daß die Textdaten unverändert bleiben können und unabhängig von irgendwelchen Skalierungen, die mit den Videodaten durchgeführt werden, verwendet werden können.

Die Textdaten können während mehrerer Einzelbilder der Videodaten auftreten. Die Digitalisier- und Decodierschal tung 102 verwendet daher mehrere Einzelbilder zum Erfassen der Textdaten. Die Digitalisier- und Decodierschaltung 102 richtet die Textdaten mit den Videodaten mit Hilfe der Iden tifikatoren 216 und 222 aus.

Die Textdaten können komprimiert werden, wobei die Daten dann vor der Speicherung codiert werden. Bei einem MPEG-Sys tem kann der Datenkanal verschlüsselt und entschlüsselt wer den.

In Fig. 4 ist ein Flußdiagramm des Betriebs der Datenwieder gewinnung des Grafikanzeigesystems der Fig. 1 gezeigt. Das Grafikanzeigesystem 100 liefert die Textdaten in Echtzeit, kann die Textdaten für die spätere Wiedergewinnung speichern und kann eine Umsetzung (Transskript) ausgewählter Teile der Textdaten vorsehen.

Der Hostprozessor 116 empfängt 402 einen vom Benutzer aus gewählten Befehl und führt abhängig davon ein Programm aus. Wenn 404 der vom Benutzer ausgewählte Befehl z. B. ein An zeigebefehl ist, fordert der Benutzer an, daß das Grafikan zeigesystem 100 die Textdaten in Echtzeit anzeigt. Abhängig von dem Anzeigebefehl weist der Hostprozessor 116 den GUI- Beschleuniger 104 an, die Textdaten in Echtzeit an den Digi tal-Analog-Wandler 106 für die Anzeige durch das Grafiksy stem 108 zu liefern. Der GUI-Beschleuniger 104 umfaßt einen üblichen digitalen Videodecoder (nicht gezeigt), der aus der analogen Darstellung die digitalen Daten oder die digitale Darstellung der digitalen Daten abstrahiert und diese Daten in ASCII-Zeichen umwandelt, um sie nach Bedarf anzuzeigen oder zu verschlüsseln. Selbstverständlich kann der GUI-Be schleuniger 104 auch die Textdaten zusammen mit der Echt zeit-Anzeige in dem Einzelbild-Puffer 110 speichern.

Wenn 408 der von dem Benutzer ausgewählte Befehl ein Such befehl ist, führt der Hostprozessor 116 eine Suchroutine aus 410, die unten in Verbindung mit den Fig. 5a-5b beschrieben ist.

Wenn 412 der von dem Benutzer ausgewählte Befehl ein Umset zungsbefehl ist, führt der Hostprozessor 116 eine Umset zungs-Erzeugungsroutine aus 414, die unten in Verbindung mit Fig. 6 beschrieben ist. Selbstverständlich kann der Hostpro zessor 116 sowohl die Suchroutine als auch die Umsetzungser zeugung ausführen.

In den Fig. 5a und 5b sind Flußdiagramme gezeigt, welche die Suchroutine der Daten-Wiedergewinnungsoperationen der Fig. 4 zeigen. Der Hostprozessor 116 zeigt eine Anforderung nach Suchbegriffen an 502. Der Hostprozessor 116 empfängt 504 die vom Benutzer ausgewählten Suchbegriffe. Der Hostprozessor 116 sucht Textaufzeichnungen nach Aufzeichnungen ab 506, welche zu den Suchbegriffen passen. Wenn ein Treffer auf tritt 508, speichert 510 der Hostprozessor 116 einen Identi fikator für den Treffertext in einer Such-Treffer-Tabelle (muß in der Zeichnung hinzugefügt werden). Das Absuchen wird fortgesetzt, bis die letzte Aufzeichnung abgesucht (oder gescannt) wurde 512. Bei einer alternativen Vorgehensweise kann der Hostprozessor 116 das Absuchen nach dem ersten Treffer beenden.

Der Hostprozessor 116 zeigt die Suchergebnisse an 514, die eine Einzelbildnummer, einen SMPTE-Zeitcode, einen Ab schnittsnamen, Benutzerkommentare oder dergleichen umfassen können. Der Hostprozessor 116 empfängt 516 eine Benutzeraus wahl, welche die von dem Benutzer ausgewählte Textaufzeich nung angibt. Diese Auswahl kann auf verschiedene Arten durchgeführt werden, z. B. durch Bewegen eines Cursors und Auswählen der angezeigten Aufzeichnung mittels des Cursors oder durch Eingeben einer Zahl, die der Aufzeichnung ent spricht.

Der Hostprozessor 116 ruft die Textdaten, Bilddaten und Ton daten ab 518, die der Auswahl des Benutzers entsprechen. Die wiedergewonnenen Daten können z. B. Daten sein, die innerhalb eines vorgegebenen Bereiches oder eines vom Benutzer ausge wählten Bereiches des ausgewählten Treffertextes liegen. Der Text kann z. B. Text sein, der zwischen 5 Sekunden vor und 20 Sekunden nach dem ausgewählten Treffertext auftritt. Der Hostprozessor 116 zeigt die Textdaten und Bilddaten an 520 und spielt die Tondaten ab.

In Fig. 6 ist ein Flußdiagramm gezeigt, das die Umsetzungs- Erzeugungsroutine der Datenwiedergewinnungsoperationen der Fig. 4 darstellt. Der Hostprozessor 116 empfängt 602 vom Benutzer ausgewählte Begriffe. Der Hostprozessor 116 sucht den Speicher nach Textaufzeichnungen ab 604, die zu den vom Benutzer ausgewählten Begriffen passen. Der Hostprozessor 116 liefert die wiedergewonnenen Textaufzeichnungen für das Anzeigen 606 der ausgewählten Textaufzeichnungen an die An zeige. Der Hostprozessor 116 empfängt 608 eine Benutzeraus wahl, die eine der angezeigten Textaufzeichnungen angibt. Der Hostprozessor 116 liefert 610 die ausgewählten Textauf zeichnungen an ein externes Gerät (nicht gezeigt), wie einen Drucker zum Drucken der ausgewählten Textaufzeichnungen, um eine Umsetzung (Transkript) des ausgewählten Teils der Text daten vorzusehen. Alternativ kann die Umsetzung auf der An zeige 106 angezeigt werden.

Eine von dem Hostprozessor 116 ausgeführte Datenverwaltungs- Softwareroutine fügt den Identifikator hinzu, wenn die Text daten auf die Platte 114 geschrieben werden. Um den Text anzuzeigen, extrahiert der GUI-Beschleuniger 104 den ASCII- Text aus den Closed-Caption-Daten und bildet den ASCII-Text auf Buchstaben ab, die verschlüsselt und dem Videosignal überlagert werden.

Fig. 7 zeigt ein Blockdiagramm der Digitalisier- und Deco dierschaltung 102, die eine automatische Verstärkungsregel- (AGC = Automatic Gain Control) und Begrenzungsschaltung 702, einen Closed-Caption-Decoder 704, einen Closed-Caption-Pro zessor 706, einen Videosignalprozessor 708 und einen Aus gangsprozessor 710 umfaßt. Das analoge Videosignal wird an die automatische Verstärkungsregel- und Begrenzungsschaltung 702 angelegt, welche eine übliche automatische Verstärkungs regelung und Begrenzung (Clamping) mit dem empfangenen ana logen Videosignal durchführt, um ein modifiziertes Videosi gnal zu erzeugen. Dieses modifizierte Videosignal wird so wohl an den Closed-Caption-Decoder 704 als auch den Video signalprozessor 708 angelegt.

Der Closed-Caption-Decoder 704 für extrahiert die Closed- Caption-Daten aus dem modifizierten Videosignal. Der Closed- Caption-Decoder 704 umfaßt eine Vergleicherschaltung 712, eine phasenstarre Schleife 714, einen Zeile 21-Detektor und Zeitgeber 716, ein Signalfreischalt-UND-Gatter 718, ein Ein gangsfreischalt-UND-Gatter 719 und ein Seriell-Parallel- Schieberegister 720. Die Vergleicherschaltung 712 vergleicht das modifizierte Videosignal mit vorgegebenen Werten, um die Textdaten in dem modifizierten Videosignal in einen digita len Textdatenstrom umzuwandeln, der an das Schieberegister 720 geliefert wird. Bei der NTSC-Norm sind die digitalen Daten amplitudenmoduliert, so daß eine logische "1" eine Amplitude zwischen 50 und 100 IRE hat, und eine logische "0" hat eine Amplitude von weniger als 20 IRE. Die Vergleicher schaltung 712 liefert ein digitales Signal mit einem ersten Logikzustand (z. B. "1"), wenn die Amplitude größer als ein vorgegebener Schwellwert (z. B. 50 IRE) ist, und sie liefert ein digitales Signal mit einem zweiten Logikzustand (z. B. "0"), wenn die Amplitude geringer als der vorgegebene Schwellwert ist. Die Digitalisier- und Decodierschaltung 102 hat eine Abtastrate, welche das Nyquist-Kriterium für die Abtastung der Closed-Caption-Daten erfüllen muß, so daß die Schaltung 102 auch bei der längeren Datendauer der Closed- Caption-Daten die Daten richtig abtastet. Die Closed-Cap tion-Daten haben z. B. eine Rate von ungefähr 500 kHz oder 2 µs, und die Abtastrate der Schaltung 102 beträgt ungefähr 13,5 MHz.

Der Zeile 21-Detektor und Zeitgeber 716 überwacht das modi fizierte Videosignal und ermittelt den Anfang und das Ende der Zeile 21 jedes Video-Halbbildes (Videofeld). Zum Zweck der Erläuterung ist der Detektor und Zeitgeber 716 im Zusam menhang mit der Erfassung der Zeile 21 beschrieben. Alter nativ kann der Detektor und Zeitgeber 716 auch eine andere Zeile oder mehrere Zeilen eines Halbbildes erfassen. Am An fang der Zeile 21 liefert der Zeile 21-Detektor und Zeit geber 716 ein Zeile 21-Indikatorsignal um das Eingangsfrei gabe-UND-Gatter 719 zu aktivieren, um das modifizierte Videosignal an die phasenstarre Schleife 214 zu übergeben. Der Zeile 21-Detektor und Zeitgeber 716 aktiviert auch das Signalfreigabe-UND-Gatter 718. Am Ende der Zeile 21, ent fernt der Zeile 21-Detektor und Zeitgeber 716 das Zeile 21- Indikatorsignal, um das Eingangsfreigabe-UND-Gatter 719 zu sperren. Bei Aktivierung synchronisiert die phasenstarre Schleife 716 den Takt mit dem Videosignal (Lock-in) und liefert dieses synchronisierte Taktsignal an das UND-Gatter 718, das dann, wenn es freigegeben ist, ein Taktsignal an das Schieberegister 720 liefert. Abhängig von dem Taktsignal verschiebt das Schieberegister 720 die digitalen Textdaten seriell und liefert die Daten parallel an den Closed-Cap tion-Prozessor 706.

Der Closed-Caption-Prozessor 706 puffert die Closed-Caption- Daten während eines ersten Halbbildes und sendet die Daten während des nächsten Halbbildes. Der Closed-Caption-Prozes sor 706 umfaßt einen Ping-Puffer 722, einen Pong-Puffer 724, einen Multiplexer 726, ein I²C-Schieberegister 728 und ein Zustandsregister 729. Der Closed-Caption-Prozessor 706 spei chert die Textdaten in dem Ping-Puffer 722 für das erste Halbbild und sendet die Daten während des nächsten Halbbil des. Ahnlich speichert der Closed-Caption-Prozessor 706 die Textdaten in dem Pong-Puffer 724 in einem Halbbild und sen det die Daten dann während des nächsten Halbbildes. Somit wechselt der Closed-Caption-Prozessor zwischen dem Ping-Puf fer 722 und dem Pong-Puffer 724 bei jedem ungeraden oder geraden Halbbild. Der Multiplexer 726 wird bei jedem Halb bild ungeschaltet, um abwechselnd die Textdaten in den Ping- Puffer und den Pong-Puffer 722 bzw. 724 zu liefern. Alter nativ liefert das I²C-Schieberegister 728 die Textdaten an den GUI-Beschleuniger 106. Das Zustandsregister 729 hat ein Bit, das anzeigt, daß die Digitalisier- und die Decodier schaltung 102 Closed-Caption-Text verarbeiten soll, und es hat ein Bit, das anzeigt, ob das ungerade oder das gerade Halbbild der Bilddaten den Closed-Caption-Text enthält. Ein Benutzer kann auswählen, ob die Digitalisier- und Decodier schaltung 102 den Closed-Caption-Text verarbeiten soll. Diese Auswahl setzt ein zugehöriges Bit in dem Zustandsre gister 729. Die Ermittlung, ob Closed-Caption-Daten in dem ungeraden oder dem geraden Halbbild sind, kann vom Benutzer bestimmt oder von einer automatischen Erfassungsschaltung (nicht gezeigt) automatisiert durchgeführt werden. Diese An gabe wird in dem zugehörigen Bit des Zustandsregisters 729 gespeichert.

Der Videosignalprozessor 708 liefert übliche Luminanz- und Chrominanzkomponenten des Videosignals. Der Videosignalpro zessor 708 umfaßt einen Luminanzprozessor 730 zum Liefern einer Luminazkomponente des Videosignals und eine Chromi nanzprozessor 732 zum Liefern einer Chrominanzkomponente des Videosignals. Der Videosignalprozessor 708 liefert Video daten in einem vorgegebenen Format, wie RGB oder YUV. Als Format für die Videodaten ist im folgenden ein YUV-Format beschrieben. Der Luminanzprozessor 730 liefert die Y-Kom ponente der Videodaten. Ebenso liefert der Chrominanzprozes sor 732 die UV-Komponenten der Videodaten. Die Closed-Cap tion-Daten liegen nur auf dem Y-Bus.

Der Ausgangsprozessor 710 formatiert die Videodaten von dem Closed-Caption-Prozessor 706 und dem Videosignalprozessor 708 und liefert die formatierten Videodaten an den Pixelbus 120. In einem YUV-Format umfaßt der Pixelbus 120 ein Y-Bus (nicht gezeigt) und einen UV-Bus (nicht gezeigt). Der Aus gangsprozessor 710 umfaßt einen Formatierprozessor 734 und einen Ausgangsspeicher 736. Der Ausgangsspeicher 736 kann z. B. ein herkömmlicher FIFO-Speicher sein (FIFO = first in, first out). Der Formatierprozessor 734 liefert Videodaten in dem Datenformat des GUI-Beschleunigers 104 an das Ausgangs- FIFO 736, welches Video- und Textdaten an den GUI-Beschleu niger 104 liefert. Dieses Format kann z. B. RGB oder YUV sein. Der Formatierprozessor 734 liefert auch den Closed- Caption-Text in demselben Format wie die Videodaten an das Ausgangs-FIFO 736. In diesem Format verarbeitet der GUI-Be schleuniger 104 die Textdaten ohne Verringerung (Decimation) der Daten und unter Bewahrung der Skalierbarkeit der Daten. Der GUI-Beschleuniger 104 kann die Berechtigung haben, die über den Pixelbus 120 empfangenen Daten zu skalieren. Wäh rend der Skalierung führt der GUI-Beschleuniger 104 eine Interpolation mit den Videodaten durch, die in unterschied lichen Bits empfangen werden. Durch diese Skalierung erzeugt der GUI-Beschleuniger 104 die Videosignale für die Anzeige in dem richtigen Format. Ferner führt der GUI-Beschleuniger 104 diese Skalierung auch mit den Closed-Caption-Daten durch. Das unten beschriebene Format der Closed-Caption- Daten ermöglicht es dem GUI-Beschleuniger 104, die Closed- Caption-Daten zu skalieren und die Closed-Caption-Daten er neut im richtigen Format zu erzeugen. Eine horizontale Skalierung erzeugt die Closed-Caption-Daten in ihrem ur sprünglichen Format neu, weil vor der Speicherung oder An zeige die Closed-Caption-Daten auf eine eindeutige Weise redundant strukturiert wurden.

Die vorliegende Erfindung sieht eine gleichzeitige Verar beitung und Speicherung von Textdaten und Bilddaten und durch Verknüpfen der Daten mit Identifikatoren vor. Die Textdaten können nach dem Erfassen abgesucht und sortiert werden. Ausgewählter Text kann zusammen mit zugehörigen Video- und Audiodaten wiedergewonnen und angezeigt werden. Der Text kann abgesucht werden, und ausgewählte Teile können gedruckt werden.

Die in der vorstehenden Beschreibung, den Ansprüchen und der Zeichnung offenbarten Merkmale können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung der Erfindungen in ihren verschiedenen Ausgestaltungen von Be deutung sein.

Claims

1. Verfahren zum Verarbeiten von Textdaten in einem Video signal mit folgenden Verfahrensschritten:

(a) Extrahieren der Textdaten aus einem Videosignal;
(b) Addieren eines Identifikators zu den Textdaten;
(c) Speichern der Textdaten; gleichzeitig mit den Schritten (b) und (c):
(d) Addieren eines Identifikators zu Video- und Audiodaten, wodurch die Video- und Audiodaten mit den Textdaten verbunden werden;
(e) Speichern der Video- und Audiodaten.

2. Verfahren nach Anspruch 1, mit den weiteren Verfahrens schritten:
Absuchen der gespeicherten Textdaten nach Textdaten, die mit einer von Benutzer ausgewählten Eingabe über einstimmen;
und
Wiedergewinnen der Textdaten, die zu der vom Benutzer ausgewählten Eingabe passen.

3. Verfahren nach Anspruch 2, mit dem weiteren Verfahrens schritt:
Wiedergewinnen der Video- und Audiodaten mit einem Identifikator, der zu dem Identifikator der wieder gewonnen Textdaten paßt.

4. Verfahren nach Anspruch 3, bei dem die wiedergewonnen Videodaten angezeigt und die wiedergewonnen Audiodaten abgespielt werden.

5. Verfahren nach Anspruch 4, bei dem die Textdaten gleichzeitig mit den wiedergewonnen Videodaten an gezeigt werden.

6. Verfahren nach Anspruch 2, bei dem die wiedergewonnen Textdaten gedruckt werden.

7. Verfahren nach einem der vorangehenden Ansprüche, bei dem der Identifikator die verstrichene Zeit der Textda ten relativ zu einer Bezugszeit anzeigt.

8. Verfahren nach einem der vorangehenden Ansprüche, bei dem die Textdaten unabhängig von den Videodaten ge speichert werden, um unabhängig von einer Skalierung unveränderte Textdaten vorzusehen.

9. Verfahren nach einem der vorangehenden Ansprüche, bei dem die Textdaten in Echtzeit angezeigt werden.

10. System zum Verarbeiten und Anzeigen von Textdaten, die in einem Videosignal enthalten sind, mit folgenden Merkmalen:
eine Decodierschaltung (102) zum Extrahieren von Textdaten aus einem Videosignal und zum Addieren eines Identifikators zu den Textdaten sowie zum Addieren des Identifikators zu Video- und Audiodaten gleichzeitig mit der Addition des Identifikors zu den Textdaten; und ein Speicher (114) zum Speichern der Textdaten und der Video- und Audiodaten.

11. System nach Anspruch 10, mit einem Host-Prozessor (116), der einen Eingang zum Empfang einer vom Benutzer ausgewählten Eingabe hat und mit einem Speicher verbunden ist, um die gespeicherten Textdaten nach Textdaten abzusuchen, die zu einer von einem Benutzer ausgewählten Eingabe passen, und zum Wiedergewinnen der Textdaten, die zu der von dem Benut zer ausgewählten Eingabe passen.

12. System nach Anspruch 11, bei dem der Host-Prozessor (116) aus dem Speicher (114) die Video- und Audiodaten wiedergewinnt, die einen Identifikor haben, der zu dem Identifikator der wiedergewonnen Textdaten paßt.

13. System nach Anspruch 12, mit einer Anzeige (108), die mit dem Speicher (114) verbunden ist, um die wieder gewonnenen Videodaten anzuzeigen und die wiedergewon nenen Audiodaten abzuspielen.

14. System nach einem der Ansprüche 11 bis 13, bei dem der Host-Prozessor (116) die wiedergewonnen Textdaten zum Drucken an ein externes Gerät liefert.

15. System nach einem der Ansprüche 10 bis 14, bei dem der Identifikator die verstrichene Zeit der Textdaten rela tiv zu einer Bezugszeit anzeigt.

16. System nach einem der Ansprüche 10 bis 15, bei dem die Decodierschaltung (102) und der Speicher (114) in einem Rechner vorgesehen sind.