DE69836742T2

DE69836742T2 - Multimedia-anzeigesystem

Info

Publication number: DE69836742T2
Application number: DE69836742T
Authority: DE
Inventors: Kagenori Zama-shi NAGAO
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 1997-08-12
Filing date: 1998-08-11
Publication date: 2007-04-26
Anticipated expiration: 2018-08-12
Also published as: EP1002266B1; CN1266511A; JPH1175151A; WO1999008180A1; EP1002266A1; DE69836742D1; KR20010022769A; CN1126026C

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf Anzeigesysteme zum Spielen von Multimediastücken und insbesondere auf ein Tonverarbeitungssystem, das eine Tonspur ansprechend auf das Beschneiden eines Bilds, das der Tonspur zugeordnet ist, verändert.
Hintergrund der Erfindung
Multimediastücke bzw. -werke, die aus Standbildern oder Laufbildern mit Erzählung, Hintergrundtönen und Hintergrundmusik bestehen, werden häufiger. Derartige Stücke sind unter Umständen im Internet oder auf CD-ROM zu finden. Systeme zum Anzeigen von Laufbildern bzw. Filmen mit Ton auf Computern und anderen Datenverarbeitungssystemen verwenden außerdem häufig Programme, wie z. B. VIDEO FOR WINDOWS, um das Stück auf Computern zu reproduzieren. Ferner kann ein dreidimensionales Tonmodellieren in VRML 2.0 spezifiziert sein. In einem VRML 2.0-konformen Browser wird der Ton, der durch die Komponenten einer Szene erzeugt wird, durch Bereitstellen separater Tonspuren für jede Tonquelle gemeinsam mit dem Ort dieser Tonquelle in der Szene spezifiziert. Der Ton, der durch einen Zuhörer wahrgenommen wird, der in eine beliebige Richtung an einer beliebigen Position relativ zu der Tonquelle schaut, kann dann durch ein Kombinieren der einzelnen Tonquellen reproduziert werden.
Im Gegensatz zu Festanzeigesystemen erlauben es Anzeigesysteme auf Computerbasis dem Betrachter, einen Abschnitt eines digitalen Bildes zu beschneiden, zu vergrößern und anzuzeigen, in dem vergrößerten Bild zu blättern und das vergrößerte Bild in einem weiteren Schnittrahmen anzuzei gen. Für entweder ein Standbild oder ein Laufbild jedoch verändern Audiodatenverarbeitungssysteme des Stands der Technik die Tonspuren nicht ansprechend auf die Veränderungen an dem gerade angezeigten Bild. Allgemein werden die gleichen Töne unabhängig von dem Schnittrahmen, die durch den Benutzer ausgewählt wird, reproduziert. VIDEO FOR WINDOWS schafft nicht die Fähigkeit, das Filmbild zu beschneiden und das beschnittene Bild auf dem Bildschirm anzuzeigen. Aus diesem Grund umfasst eine herkömmliche AVI-Datei, die eine Film- bzw. Laufbilddatei ist, die durch VIDEO FOR WINDOWS verwendet wird, allgemein keine Daten zum Steuern mehrerer Audioströme ansprechend auf die Position eines Schnittrahmens in dem Filmbild. Deshalb fehlt, wenn der Videostrom mehreren Audioströmen zugeordnet ist, einem herkömmlichen Programm, wie z. B. VIDEO FOR WINDOWS, die Fähigkeit einer Steuerung der Audiosignale, die von den mehreren Audioströmen decodiert werden, ansprechend darauf, dass der Benutzer die Position eines Schnittrahmens in dem Filmbild definiert.
Während VRML 2.0 die Daten bereitstellt, die zur Erzeugung einer Tonspur erforderlich sind, die dem Standpunkt des Benutzers entspricht, wodurch ein dreidimensionales Tonbild erzeugt wird, das ansprechend auf ein Beschneiden, usw. verändert werden kann, verändern Systeme, die VRML 2.0 implementieren, das „Tonbild" nicht ansprechend auf Veränderungen an dem visuellen Bild. Ferner ist das Tonmodell, das durch VRML 2.0 implementiert wird, kundenspezifisch angepasst, um dreidimensionale Toneffekte zu implementieren, und ist schlecht für Anwendungen geeignet, die Audiodaten verarbeiten, die mit zweidimensionalen Bildern verbunden sind. Deshalb kann keines der existierenden Programme automatisch das Audio steuern, um mit der Definition eines Benutzers eines Schnittrahmens in dem Filmbild zusammenzupassen.
Die Offenbarung EP-A-0 563 929 offenbart eine Tonbildsteuervorrichtung zur Verwendung in einer Tonerzeugervorrich tung, einer Computer- oder Videospielvorrichtung, Videoplatten- oder CD-I-Vorrichtung, bei der eine Steuerung des Tonbildes durch Mischen, Filtern und Verzögern von Einkanaltonquellen gemäß einer Position von Videospielzeichen oder -Objekten oder Videoplattenszenenauswahlen ausgeführt wird.
Breit gesprochen besteht die Aufgabe der vorliegenden Erfindung darin, ein verbessertes Audioverarbeitungssystem zur Verwendung mit Multimediastücken bereitzustellen.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein Audioverarbeitungssystem bereitzustellen, das das Audioabspielen ansprechend auf Veränderungen an der durch den Benutzer ausgewählten Szene verändert.
Diese und weitere Aufgaben der vorliegenden Erfindung werden für Fachleute auf dem Gebiet aus der folgenden detaillierten Beschreibung der Erfindung und den beigefügten Zeichnungen ersichtlich werden.
Zusammenfassung der Erfindung
Ein Aspekt der Erfindung ist eine Anzeigevorrichtung, wie im unabhängigen Anspruch 1 definiert ist. Ein weiterer Aspekt der Erfindung ist ein Verfahren zum Betreiben eines Anzeigesystems, wie im unabhängigen Anspruch 9 definiert ist. Weitere Ausführungsbeispiele der Erfindung sind in den jeweiligen beigefügten abhängigen Ansprüchen spezifiziert.
Die vorliegende Erfindung betrifft ein Anzeigesystem zum Vorführen eines Multimediastücks, das Bilddaten, die in Standbild oder Laufbild darstellen, sowie Tondaten, die den Bilddaten zugeordnet sind, umfasst. Das System umfasst eine Anzeige zum Anzeigen eines Bilds, das aus den Bilddaten hergeleitet ist, ein Audioabspielsystem zum Kombinieren und Spielen einer ersten und einer zweiten Audiospur, die mit dem Bild verbunden sind, und ein Zeigesystem zum Auswählen einer Region des Bilds auf der Anzeige ansprechend auf Befehle von einem Benutzer des Anzeigesystems. Das System umfasst außerdem einen Abspielprozessor zum Verändern der Kombination der ersten und der zweiten Audiospur, die durch das Audioabspielsystem gespielt werden, ansprechend darauf, dass das Zeigesystem eine neue Region des Bildes auswählt. Der Abspielprozessor verändert außerdem die Anzeige derart, dass der Abschnitt des Bilds, der durch das Zeigesystem ausgewählt ist, mittig in der Anzeige ist. Bei einem Ausführungsbeispiel der Erfindung umfassen die erste und die zweite Audiospur Tonspuren, die vor einem Abspielen gemischt werden sollen. Bei diesem Ausführungsbeispiel umfasst das Bild Daten, die Gewinne spezifizieren, die bei dem Mischen für die Tonspuren verwendet werden sollen, wenn die ausgewählte Region der Anzeige mittig an vorbestimmten Orten in dem Bild ist. Wenn die vorbestimmten Orte nicht die Mitte der ausgewählten Region umfassen, interpoliert das Abspielsystem die Daten für die vorbestimmten Orte, um die Gewinne bereitzustellen, die beim Mischen der Tonspuren verwendet werden sollen. Bei einem weiteren Ausführungsbeispiel der Erfindung umfasst das Multimediastück Daten zum Spezifizieren von Bilder mit mehreren Auflösungen. Bei diesem Ausführungsbeispiel wählt das Zeigesystem ferner eine der Auflösungen ansprechend auf eine Eingabe von dem Benutzer aus. Der Abspielprozessor verändert dann die Kombination der ersten und der zweiten Audiospur, die durch das Audioabspielsystem gespielt werden, ansprechend auf sowohl die ausgewählte Region als auch die ausgewählte Auflösung.
Die Erfindung betrifft außerdem ein Verfahren zum Betreiben eines Datenverarbeitungssystems während des Abspielens eines Multimediastücks, das Bilddaten und Tondaten aufweist, die den Bilddaten zugeordnet sind. Bei dem Verfahren wird ein Bild, das aus den Bilddaten hergeleitet wird, angezeigt. Eine erste und eine zweite Audiospur, die mit dem Bild verbunden sind, werden kombiniert und gespielt. Daten werden von einem Benutzer, der eine Region des ange zeigten Bilds auswählt, empfangen. Ansprechend auf die empfangene Daten wird die ausgewählte Region des angezeigten Bildes mittig angezeigt und die Kombination der ersten und der zweiten Audiospur wird verändert.
Kurze Beschreibung der Zeichnungen
1 stellt eine einfache Multimediaanzeige dar.
2 ist eine schematische Zeichnung eines Bildanzeigesystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
3 ist ein Blockdiagram eines Ton- und Bildverarbeitungssystems gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung.
4 stellt die Interpolation der Tonverarbeitungsparameter, die für ausgewählte Pixel in einem Bild gespeichert sind, um neue Tonverarbeitungsparameter zu erhalten, dar.
Detaillierte Beschreibung der Erfindung
Die Art und Weise, in der die vorliegende Erfindung ihre Vorteile erzielt, ist unter Bezugnahme auf 1, die eine einfache Multimediaanzeige darstellt, leichter zu verstehen. Die Anzeige besteht aus einem Bild 11 eines Klaviers 15 und eines Basses 16 und einer Tonspur eines Musikstücks, das durch die beiden Instrumente erzeugt wird. Die Tonspur wird durch ein Stereotonsystem, das aus Lautsprechern 17 und 18 besteht, gespielt. Die Stereotonspur ist aus zwei Audiospuren aufgebaut, einer für das Klavier und einer für den Bass. Jede Audiospur weist eine rechte und linke Komponente auf, die gemischt werden, um die Signale, die an die Lautsprecher 17 und 18 gesendet werden, zu erzeugen. Das Mischen der Signale konsistent mit dem Bild 11 erzeugt ein „akustisches Bild", in dem das Klavier näher an dem Lautsprecher 17 zu sein scheint und der Bass näher an dem Lautsprecher 18 zu sein scheint.
Viele Abspielsysteme erlauben es dem Benutzer, in verschiedene Abschnitte der Anzeige zu zoomen, indem ein Schnittrahmen um den erwünschten Abschnitt herum definiert wird. Das beschnittene Bild wird dann wieder in seinem eigenen Rahmen angezeigt. Bei einigen Systemen ist das beschnittene Bild vergrößert, um den ursprünglichen Rahmen zu füllen. Wie oben angemerkt wurde, verändern Systeme des Stands der Technik nicht das akustische Bild, um das neue visuelle Bild zu berücksichtigen. Als ein Ergebnis würde das beschnittene Bild, das in einem Schnittrahmen 12 gezeigt ist, ein akustisches Bild aufweisen, bei dem das Klavier 15 noch immer an der gleichen Position in dem Schnittrahmen zu sein scheint, die es in dem ursprünglichen Rahmen einnahm. Dies bedeutet, dass das Klavier 15 noch immer näher an dem Lautsprecher 17 zu sein scheint, obwohl es nun in der Mitte des neuen Rahmens ist. Diese Inkonsistenz bei dem akustischen und dem visuellen Bild ist für menschliche Betrachter störend.
Die vorliegende Erfindung überwindet dieses Problem bei Anzeigen des Stands der Technik durch Verändern des akustischen Bildes ansprechend auf das Beschneiden des ursprünglichen Bildes. So werden bei der vorliegenden Erfindung, wenn der Benutzer einen Schnittrahmen, wie z. B. einen Rahmen 14, definiert, die Tonspuren derart neu gemischt, dass die sichtbaren Tonquellen ebenso positionsmäßig in dem akustischen Bild verschoben werden. Entsprechend würde bei der vorliegenden Erfindung der Ton des Basses derart bewegt werden, dass er in gleicher Entfernung zwischen den Lautsprechern 17 und 18 wäre, wenn der Betrachtungsrahmen von dem ursprünglichen Rahmen 11 zu dem umgeschaltet wird, der in dem Schnittrahmen 14 gezeigt ist.
Nun wird Bezug auf 2 genommen, die eine schematische Zeichnung eines Bildanzeigesystems 50 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist. Bei diesem Ausführungsbeispiel spezifiziert der Benutzer einen Schnittrahmen unter Verwendung von z. B. einem Zeiger 65, der auf Bilddaten 57 angewendet wird, die auf einer Anzeige 70 angezeigt werden. Die Schnittbildgrenze wird über eine Schnittsteuerung 51 eingegeben, die die Grenzen des neuen Rahmens an die geeignete Schnittroutine 52 in dem Anzeigesystem sendet. Die neuen Bildgrenzen werden außerdem an eine Gewinnsteuerung 53 gesendet, die das Mischen der rechten und der linken Lautsprechersignalkomponente, die für jede Audiospur erzeugt werden, steuert. Bei diesem Ausführungsbeispiel der Erfindung werden die Audiospuren separat verarbeitet und dann in dem Abspielsystem 66 über Summenverstärker 58 und 59 gemischt, um das letztendliche linke und rechte Signal bereitzustellen, die an den rechten und den linken Audiokanal 61 und 62 des Stereosystems gesendet werden. Exemplarische Audiospuren sind bei 54 bis 56 gezeigt. Jede Audiospur umfasst eine linke und eine rechte Komponente, deren relativer Gewinn durch die Gewinneinstellungen bestimmt ist, die auf ein entsprechendes Paar von Verstärkern angewendet werden. Die Verstärker, die der Audiospur 54 entsprechen, sind bei 63 und 64 gezeigt. Durch ein Einstellen der relativen Gewinne der linken und der rechten Audiospur kann der sichtbare Ort des akustischen Bildes für diese Spur innerhalb des Rahmens von einer Seite zu einer anderen bewegt werden. Bei dem in 2 gezeigten Ausführungsbeispiel gibt es N derartige Audiospuren, die N akustischen Quellen innerhalb der Szene entsprechen.
In dem einfachen in 1 gezeigten Bild sind nur zwei dieser Audiospuren vorhanden, eine für das Klavier und eine für den Bass. Es wird das Bild in dem Schnittrahmen 12 betrachtet. Da das Klavierbild nahe der Mitte angezeigt wird und das Bassbild auf der rechten Seite angezeigt wird, muss die Stereoausrichtung der Töne beider Instrumente derart verändert werden, dass die Klaviertöne von einem Ort nahe der Mitte zu kommen scheinen und die Basstöne von einem Ort ganz rechts zu kommen scheinen. Deshalb werden (R1, L1) und (R2, L2) in 2 durch die Gewinnsteuerung derart gesteuert, dass z. B. die relativen Gewinne des linken und des rechten Kanals nun (R1, L1) = (0,5, 0,5) und (R2, L2) = (1, 0, 0, 0) sind.
Wenn die Anzeigeposition des Bildes durch Instruktionen von dem Benutzer zu dem Schnittrahmen 14 verändert wird, wird das Klavierbild nun auf der linken Seite angezeigt und der Bass nahe der Mitte des Bildes. Entsprechend muss die Gewinnsteuerung die relativen Gewinne derart verschieben, dass z. B. (R1, L1) = (0, 0, 1, 0) und (R2, L2) = (0, 5, 0, 5) gilt.
Bei diesem Ausführungsbeispiel der vorliegenden Erfindung sind die Tonspurattribute jeder Quelle für jedes Pixel an einer Position (x, y) in dem Bild spezifiziert. Die für jedes Pixel gespeicherten Informationen P(x, y) z. B. könnten den linken und den rechten Kanalgewinn für jede Audiospur zusätzlich zu dem Bildpixelwert v umfassen, d. h.: P(x, y) = (v, R1, L1, R2, L2) (1)
Wenn das Bild derart beschnitten wird, dass die Mitte des Schnittbildes sich von derjenigen des nicht beschnittenen Bildes unterscheidet, können die Daten aus der Gleichung (1) für das Pixel, das nun in der Mitte der Anzeige ist, verwendet werden, um die Audioattribute neu zu berechnen, indem das relative Mischen jeder Tonspur gemäß einem Ort der Tonquelle für diese Tonspur innerhalb des neuen Rahmens, der durch ein Beschneiden des alten Rahmens erzeugt wird, verändert wird.
Die Lehren der vorliegenden Erfindung könnten auch auf Mehrauflösungsbilder angewendet werden. Zu Zwecken dieser Beschreibung ist ein Mehrauflösungsbild als ein Bild defi niert, das mit zwei oder mehr unterschiedlichen Vergrößerungen betrachtet werden kann. Ein derartiges Bild könnte durch eine Zoom-Einstellung spezifiziert sein. Um in das Bild hinein zu zoomen, d. h. die Vergrößerung zu erhöhen, kann der Benutzer auf einen spezifischen Ort in dem Bild zeigen. Das Anzeigesystem wählt dann die Region, die mittig an der neuen Position ist, an dem nächst höheren Auflösungspegel, um den Anzeigebereich zu füllen. Tatsächlich beschneidet das Anzeigesystem das nächst höhere Auflösungsbild an den Grenzen des Anzeigefensters. Eine Zoomoperation könnte die effektive Position des Betrachters in Bezug auf das Bild in Bezug auf sowohl die Links-Rechts-Ausrichtung als auch Entfernung verändern. Hier müssen sowohl die Lautstärke der verschiedenen Audiospuren als auch die relativen Gewinne des rechten und des linken Kanals eingestellt werden, um eine realistische Tonspur bereitzustellen, wenn das Bild gezoomt wird. Die zur Neuberechnung des Links-Rechts-Gleichgewichts und der Amplitude für jede Audioquelle erforderlichen Daten könnten durch ein Spezifizieren der Gewinne für jeden der Links-Rechts-Verstärker bei den verschiedenen Auflösungen spezifiziert werden. Dies bedeutet, dass das Attribut P(x, y, r) der Pixel in der Auflösungsschicht r und der Position (x, y) definiert ist, um die Kanalverstärkungen zu umfassen, die verwendet werden sollen, wenn das Pixel bei (x, y) die Mitte der Szene wird, d. h.: P(x, y, r) = (v, R1, L1, R2, L2, ..., Rn, Ln) (2)
Wieder Bezug nehmend auf das Beispiel in 1 ist, wenn der Schnittrahmen auf den Rahmen 14 gesetzt ist und das Bild wieder in dem ursprünglichen Rahmen angezeigt wird, der Bassabschnitt vergrößert, sowie zu der Mitte des Rahmens bewegt. In diesem Fall wird der Ton des Basses wesentlich erhöht. Wenn der neue Rahmen das Klavier vollständig beseitigt hat, würde bei einigen Ausführungsbeispielen der vorliegenden Erfindung nur der Ton der Bassaudiospur gespielt werden. Dies bedeutet, dass die Klavieraudiospur auf Null gedämpft würde. Es ist jedoch für Fachleute auf dem Gebiet aus der vorstehenden Erläuterung offensichtlich, dass Ausführungsbeispiele, bei denen die Pianospur noch auf einem gedämpften Pegel vorhanden ist, ebenso praktiziert werden könnte, ohne von den Lehren der vorliegenden Erfindung abzuweichen.
Die Lehren der vorliegenden Erfindung könnten auch auf Laufbilder angewendet werden. In diesem Fall umfasst das Multimediastück Bilddaten, die ein Laufbild darstellen, dass eine Sequenz von Rahmen umfasst. Die oben beschriebenen Verfahren könnten Rahmen für Rahmen angewendet werden, indem die Tonwerte für jedes Pixel in jedem Rahmen des Films beinhaltet sind, so dass die Audiospuren eingestellt werden können, wenn dieses Pixel die Mitte des Rahmens wird, d. h. für das Pixel bei (x, y) in dem Rahmen f: P(x, y, f) = (v, R1, L1, R2, L2, ..., Rn, Ln) (3)
Hier ist v der Bildpixelwert für das relevante Pixel in dem Bild und R1, L1, R2, L2, ..., Rn und Ln sind der linke und der rechte Kanalgewinn für jeweilige Audioquellen 1 bis n. Entsprechend kann die Stereoausrichtung über die Zeit ansprechend auf eine Veränderung an dem Sichtbereich verändert werden.
In dem Fall eines Mehrauflösungsfilms könnten Audiokanalamplituden für die verschiedenen Auflösungsschichten für jeden Rahmen gespeichert sein, um es zu erlauben, dass die relativen Lautstärken der Audioquellen zeitmäßig mit Veränderungen an dem visuellen Sichtfeld eingestellt werden, das durch Herein- oder Herauszoomen spezifiziert wird. In diesem Fall gilt: P (x, y, f, r) = (v, R1, L1, R2, L2, ..., Rn, Ln) (3-1)
Während die oben beschriebenen Ausführungsbeispiele der vorliegenden Erfindung Verstärker zur Verarbeitung der Audiospuren verwendet haben, ist für Fachleute auf dem Gebiet aus der vorstehenden Erläuterung offensichtlich, dass andere Prozessoren genutzt werden könnten. Es ist auch bei der Tonbildverarbeitungstechnik bekannt, dass der sichtbare Ort einer Tonquelle in einem Tonbild durch Filtern der digitalisierten Tonspuren verändert werden kann. Es wird nun Bezug auf 3 genommen, die ein Blockdiagramm eines Ton- und Bildverarbeitungssystems 150 gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung ist. Um die folgende Erläuterung zu vereinfachen, wurden Elementen des Systems 150, die analogen Funktionen dienen wie in 2 gezeigte Elemente, Bezugszeichen gegeben, die sich von denjenigen, die für die analoger Funktionselemente in 2 verwendet werden, um 100 unterscheiden. In dem System 150 spezifiziert der Benutzer wieder eine Region des Bildes zum Beschneiden oder Zoomen. Die Informationen über die neue Szene werden durch eine Filtersteuerung 153 in einen Satz von Filterkoeffizienten umgewandelt, die durch digitale Filter auf die relevanten Tonspuren angewendet werden. Exemplarische digitale Filter sind bei 163 und 164 gezeigt. Jeder digitale Filterkoeffizient verändert sich in Bezug auf die (x, y)-Koordinaten der Mitte der Schnittregion, die Auflösungsschicht r und den Rahmen und die Position des Laufbilds.
Durch ein Verwenden digitaler Filter können komplexere Veränderungen an den Tonspuren erzielt werden. Die Musikspuren in einer Szene einer Konzerthalle z. B. können verwendet werden, um Echos zu umfassen, die sich verändern, wenn die Szene heran- oder weggezoomt wird, wodurch eine realistischere Tonspur erzeugt wird. Ferner kann die Verarbeitung für entweder binaurale Aufzeichnung, bei der der Ton durch Kopfhörer abgespielt wird, oder transaurales Abspielen, bei dem der Ton durch Stereolautsprecher, jedoch nicht Kopfhörer abgespielt wird, spezifisch angepasst werden. In beiden Fällen wird die Quelle des Tons modifiziert, um dem korrekten Ort in der modifizierten Anzeige, die durch den Benutzer ausgewählt wurde, zu entsprechen.
Die oben beschriebenen Ausführungsbeispiele der vorliegenden Erfindung haben Multimediadaten verwendet, bei denen alle Tonattribute für alle Pixel geliefert wurden, so dass auf die korrekten Tonattribute zugegriffen werden konnte, als ein bestimmtes Pixel die Mitte der Anzeige wurde. Es ist jedoch für Fachleute auf dem Gebiet aus der vorstehenden Erläuterung ersichtlich, dass Systeme die Tondaten, die verwendet werden sollen, wenn ein spezifisches Pixel die Mitte der Anzeige wird, aus den Tondaten für einen Teilsatz der Pixel berechne könnten.
Wenn der linke und der rechte Kanalgewinn aller Audiodaten z. B. als die oben beschriebenen P(x, y)-Elemente gegeben sind, wenn die Koordinate in der Mitte der Schnittregion (x, y) für spezifische Punkte ist, wie in 4 bei 201 bis 204 gezeigt ist, könnten der linke und der rechte Kanalgewinn für einen Schnittrahmen, der eine Mitte aufweist, wie bei 205 gezeigt ist, aus Werten erhalten werden, die für Punkte 201 bis 204 gespeichert sind, indem die für die Punkte 201 bis 204 gezeigten Werte interpoliert werden. (Ri (xc, yc), Li (xc, yc)) = (1 – A) (1 – B) (RiO, LiO) + A (1 – B) (Ri1, Li1) + AB (Ri2, Li2) + (1 – A) B (Ri3, Li3) (4)wobei (R_i (x_c, y_c), L_i (x_c, y_c)) der linke und der rechte Kanalgewinn für die i-te Tonspur sind, wenn die Mittelposition der Bildschnittregion bei (x_c, y_c) liegt, und (R_ij, L_ij) der linke und der rechte Kanalgewinn des i-ten Elements der Tonspurdaten sind, wenn die Mittelposition der Bildschnittregion an dem j-ten Referenzpunkt ist. Hier sind A und B die Verhältnisse der Mittelposition der Bildschnittregion, intern geteilt durch die Breite und Höhe der rechteckigen Region, die durch die vier in 4 gezeigten Referenzpunkte definiert ist, d. h. 0 ≤ A, B ≤ 1.
Während das in 4 gezeigte Beispiel vier Referenzpunkte verwendet, ist für Fachleute auf dem Gebiet aus der vorste henden Erläuterung zu erkennen, dass andere Anzahlen von Referenzpunkten eingesetzt werden könnten. Wenn z. B. nur eine Korrektur an der Links- und Rechtspositionierung der Tonbilder durchgeführt werden soll, sind nur zwei Referenzpunkte nötig. Ähnlich könnte eine größere Anzahl von Referenzpunkten beinhaltet sein, wenn die Ergebnisse der einfachen linearen Interpolation, die oben erläutert wurde, nicht zufriedenstellend sind. In diesem Fall wird der Teilsatz der Referenzpunkte, der am nächsten an der neuen Mittelposition ist, interpoliert. Alternativ könnten die zusätzlichen Referenzpunkte mit einem Interpolationsalgorithmus höherer Ordnung verwendet werden.
Die oben beschriebenen Interpolationsverfahren wurden in Bezug auf ein sich nicht bewegendes Bild mit fester Auflösung beschrieben. Es ist für Fachleute auf dem Gebiet aus der vorstehenden Erläuterung jedoch zu erkennen, dass ähnliche Verfahren auf Mehrauflösungsbilder und Laufbilder angewendet werden können, da diese Typen von Bildern als eine Sammlung sich nicht bewegender Bilder mit einer Auflösung betrachtet werden könnten. So können, wenn Referenzpunkte in jedem der Bilder mit einer Auflösung beinhaltet sind, die relevanten Daten auf der Ebene eines sich nicht bewegenden Bildes mit einer Auflösung interpoliert werden. Es ist ebenso zu erkennen, dass in dem Fall eines Films Referenzpunkte für einige Rahmen insgesamt weggelassen werden könnten. In diesem Fall könnten die Referenzpunkte für die fehlenden Rahmen durch ein Interpolieren der Referenzpunkte, die für spezifische Rahmen auf jeder Seite des in Frage kommenden Rahmens bereitgestellt werden, erhalten werden.
Während die vorliegende Erfindung in Bezug auf ein Anzeigesystem beschrieben wurde, ist für Fachleute auf dem Gebiet aus der vorstehenden Erläuterung klar, dass die vorliegende Erfindung auf einem beliebigen Universal-Datenverarbeitungssystem praktiziert werden könnte, das ausgerüstet ist, um ein Multimediastück abzuspielen. In diesem Fall kann die vorliegende Erfindung durch ein Verändern der Abspielroutinen implementiert sein, um die verschiedenen Benutzereingabefunktionen und Mischfunktionen, die oben unter Bezugnahme auf die Anzeigesystemausführungsbeispiele der Erfindung beschrieben wurde, bereitzustellen.
Verschiedene Modifizierungen an der vorliegenden Erfindung sind für Fachleute auf dem Gebiet aus der vorstehenden Beschreibung und den beigefügten Zeichnungen ersichtlich. Entsprechend soll die vorliegende Erfindung lediglich durch den Schutzbereich der folgenden Ansprüche eingeschränkt sein.

Claims

Ein Anzeigesystem (50, 150) zum Spielen eines Multimediastücks, das Bilddaten und Tondaten, die den Bilddaten zugeordnet sind, aufweist, wobei das System folgende Merkmale aufweist: eine Anzeige (70) zum Anzeigen eines Bilds, das aus den Bilddaten hergeleitet ist; ein Audioabspielsystem (66, 166) zum Kombinieren und Spielen einer ersten und einer zweiten Audiospur (54, 55, 154, 155), die mit dem Bild verbunden sind; gekennzeichnet durch ein Zeigesystem (65, 165) zum Auswählen einer Region des Bilds auf der Anzeige (70), wobei die ausgewählte Region durch Befehle von einem Benutzer des Anzeigesystems (50, 150) spezifiziert ist; und einen Abspielprozessor (53, 63, 64, 153, 163, 164) zum Verändern der Kombination der ersten und der zweiten Audiospur (54, 55, 154, 155), die durch das Audioabspielsystem (66, 166) abgespielt werden, ansprechend darauf, dass das Zeigesystem (65, 165) eine neue Region auf der Anzeige (70) auswählt, und zum Anzeigen der neuen Region mittig in der Anzeige (70).
Das Anzeigesystem (50, 150) gemäß Anspruch 1, bei dem die erste und die zweite Audiospur (54, 55, 154, 155) Tonspuren aufweisen, die vor einem Abspielen gemischt werden sollen, und bei dem das Bild Daten umfasst, die Gewinne spezifizieren, die bei dem Mischen verwendet werden sollen, wenn die ausgewählte Region der Anzeige (70) mittig an vorbestimmten Orten in dem Bild ist.
Das Anzeigesystem (50, 150) gemäß Anspruch 2, bei dem der Abspielprozessor (53, 63, 64, 153, 163, 164) einen Interpolationsprozessor zum Interpolieren der Daten für die vorbestimmten Orte aufweist, um Gewinne für die Tonspuren bereitzustellen, wenn die ausgewählte Region mittig an einem Punkt ist, der sich von den vorbestimmten Orten unterscheidet.
Das Anzeigesystem (50, 150) gemäß Anspruch 3, bei dem das Multimediastück Daten zum Spezifizieren von Bildern mit mehreren Auflösungen aufweist, wobei das Zeigesystem (65, 165) ferner eine der Auflösungen ansprechend auf eine Eingabe von dem Benutzer auswählt, und bei dem der Abspielprozessor (53, 63, 64, 153, 163, 164) die Kombination der ersten und der zweiten Audiospur (54, 55, 154, 155), die durch das Audioabspielsystem (66, 166) abgespielt werden, ansprechend auf sowohl die ausgewählte Region als auch die ausgewählte Auflösung verändert.
Das Anzeigesystem (50, 150) gemäß Anspruch 4, bei dem das Bild Daten umfasst, die Gewinne spezifizieren, die beim Mischen für die Tonspuren verwendet werden sollen, wenn die ausgewählte Region der Anzeige (70) mittig an vorbestimmten Orten in dem Bild und bei vorbestimmten Auflösungen ist.
Das Anzeigesystem (50, 150) gemäß Anspruch 5, bei dem der Interpolationsprozessor die Daten für die vorbestimmten Orte und Auflösungen interpoliert, um Gewinne für die Tonspuren bereitzustellen, wenn die ausgewählte Region an einem Punkt mittig ist, der sich von den vorbestimmten Orten und Auflösungen unterscheidet.
Das Anzeigesystem (50, 150) gemäß Anspruch 1, bei dem der Abspielprozessor (53, 63, 64) einen Verstärker (63, 64) mit variablem Gewinn für jede der Audiospuren (54, 55) aufweist, wobei der Gewinn des Verstärkers (63, 64) ansprechend auf eine Veränderung an der ausgewählten Region des Bilds gesetzt ist.
Das Anzeigesystem (50, 150) gemäß Anspruch 1, bei dem der Abspielprozessor (163, 164) ein Filter (163, 164) für jede der Audiospuren (153, 154) aufweist, wobei jedes der Filter (163, 164) durch Filterkoeffizienten, die in dieselben eingegeben werden, gesteuert wird, und bei dem der Abspielprozessor (53, 63, 64, 153, 163, 164) die Filterkoeffizienten ansprechend auf eine Veränderung an der ausgewählten Region verändert.
Ein Verfahren zum Betreiben eines Anzeigesystems während des Abspielens eines Multimediastücks, das Bilddaten und Tondaten, die den Bilddaten zugeordnet sind, aufweist, wobei das Verfahren folgende Schritte aufweist: Anzeigen eines Bilds, das aus den Bilddaten hergeleitet wird; Kombinieren und Spielen einer ersten und einer zweiten Audiospur (54, 55, 154, 155), die mit dem Bild verbunden sind; gekennzeichnet durch folgende Schritte: Empfangen von Daten von einem Zeigesystem, das eine Region des angezeigten Bilds auswählt; wobei die ausgewählte Region durch Befehle von einem Benutzer des Anzeigesystems spezifiziert wird, und mittiges Anzeigen der ausgewählten Region und Verändern der Kombination der ersten und der zweiten Audiospur (54, 55, 154, 155) ansprechend auf die empfangenen Daten.
Das Verfahren gemäß Anspruch 9, bei dem die erste und die zweite Audiospur (54, 55, 154, 155) Tonspuren auf weisen, die vor einem Abspielen gemischt werden sollen, und bei dem das Bild Daten umfasst, die Gewinne spezifizieren, die bei dem Mischen verwendet werden sollen, wenn die ausgewählte Region der Anzeige (70) mittig an vorbestimmten Orten in dem Bild ist.
Das Verfahren gemäß Anspruch 10, bei dem das Verändern der Kombination der ersten und der zweiten Audiospur ein Interpolieren der Daten für die vorbestimmten Orte aufweist, um Gewinne für die Tonspuren bereitzustellen, wenn die ausgewählte Region an einem Punkt mittig ist, der sich von den vorbestimmten Orten unterscheidet.
Das Verfahren gemäß Anspruch 11, bei dem das Multimediastück Daten zum Spezifizieren von Bildern mit mehreren Auflösungen aufweist, wobei die empfangenen Daten ferner eine der Auflösungen spezifizieren, und bei dem die Kombination der ersten und der zweiten Audiospur (54, 55, 154, 155) von sowohl der ausgewählten Region als auch der ausgewählten Auflösung abhängt.
Das Verfahren gemäß Anspruch 12, bei dem das Bild Daten umfasst, die Gewinne spezifizieren, die bei dem Mischen für die Tonspuren verwendet werden sollen, wenn die ausgewählte Region mittig an vorbestimmten Orten in dem Bild und bei vorbestimmten Auflösungen ist.
Das Verfahren gemäß Anspruch 13, das ferner den Schritt eines Interpolierens der Daten für die vorbestimmten Orte und Auflösungen aufweist, um Gewinne für die Tonspuren (54, 55, 154, 155) bereitzustellen, wenn die ausgewählte Region an einem Punkt mittig ist, der sich von den vorbestimmten Orten und Auflösungen unterscheidet.
Das Verfahren gemäß Anspruch 9, bei dem der Schritt des Kombinierens der Audiospuren (54, 55, 154, 155) ein Verändern des Gewinns für jede der Audiospuren (54, 55, 154, 155) aufweist, wobei der Gewinn der Audiospuren ansprechend auf eine Veränderung an der ausgewählten Region des Bilds gesetzt wird.
Das Verfahren gemäß Anspruch 9, bei dem der Schritt des Kombinierens der Audiospuren (154, 155) ein Anwenden eines Filters (163, 164) auf jede der Audiospuren (154, 155) aufweist, wobei jedes der Filter (163, 164) durch Filterkoeffizienten gesteuert wird, die sich ansprechend auf eine Veränderung an der ausgewählten Region verändern.