DE69026443T2

DE69026443T2 - Vorrichtung zur Überlagerung von Bildern

Info

Publication number: DE69026443T2
Application number: DE69026443T
Authority: DE
Inventors: Masakazu Yamaguchi
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1989-08-23
Filing date: 1990-08-22
Publication date: 1996-09-26
Anticipated expiration: 2010-08-23
Also published as: EP0414222B1; DE69026443D1; EP0414222A2; US5130801A; EP0414222A3; CA2023304C; JP2771858B2; JPH0380678A; CA2023304A1

Description

Die vorliegende Erfindung betrifft im allgemeinen Bildüberlagerungsvorrichtungen, und insbesondere eine Bildüberlagerungsvorrichtung, welche eine Vielzahl von Bildern in ein Bild zur Anzeige überlagert, wie offenbart im Oberbegriff des Anspruchs 1 und bekannt aus der EP-A-0 249 696 oder DE-A-36 01 919 A1.
Beispielsweise bei einem Videokonferenzsystem wird ein sogenanntes Zwischenrahmen-Differentialsystem benutzt zum Übertragen des Bildes. Gemäß dem Zwischenrahmen- Differentialsystem werden Differentialdaten erhalten von Differentialkomponenten zwischen Rahmen des Bildes und werden übertragen. Das ursprüngliche Bild wird reproduziert und angezeigt aus den Differentialdaten.
Das Zwischenrahmen-Differentialsystem wird beschrieben werden in Verbindung mit Figuren 1A und 1B. Wie in Figur 1A gezeigt, ist die Bildüberlagerungsvorrichtung versehen mit zwei Rahmenspeichern 10 und 11 und einer Betriebsschaltung 13. Die Betriebsschaltung 13 fügt die Rahmendaten, die ausgelesen werden von dem Rahmenspeicher 10, der die Bilddaten zuführt zur Anzeige auf einer Anzeigevorrichtung (nicht gezeigt) und die Differentialdaten, welche über ein Endgerät 12 empfangen werden, zusammen. Die Bilddaten, welche durch die Addition erhalten werden und sich auf den nächsten Rahmen beziehen, werden in den Rahmenspeicher 11 eingeschrieben. Als nächstes werden, wie in Figur lB gezeigt, die von dem Rahmenspeicher 11 ausgelesenen Bilddaten zugeführt an die Anzeigevorrichtung zur Anzeige, und die Bilddaten, welche sich auf den nächsten Rahmen beziehen und erhalten werden in der Betriebsschaltung 13, werden ähnlich wie oben beschrieben, in den Rahmenspeicher 10 geschrieben.
Herkömmlicherweise trennt das Videokonferenzsystem das Porträtbild, welches sich auf eine Person bezieht und eine große Bewegung beinhaltet, und das Hintergrundbild, welches sich auf den Hintergrund bezieht, wie z.B. den Konferenzraum, und eine kleine Bewegung enthält. Die zwei Arten von Bildern werden übertragen durch Nehmen der Zwischenrahmen- Differentialkomponenten mit einer Periode abhängig von der in den Bildern beinhalteten Bewegung. Figur 2 zeigt ein Beispiel für eine herkömmliche Bildüberlagerungsrichtung, die benutzt wird zum Überlagern der zwei Arten von Bildern.
In Figur 2 werden die Bilddaten, welche erhalten werden in einer Betriebsschaltung 13a, basierend auf den Differentialdaten des Hintergrundbildes, empfangen von einem Endgerät 12a, und die Bilddaten, die sich auf den vorliegenden Rahmen beziehen, alternierender Weise eingeschrieben in den Rahmenspeicher 10a und 11a. In ähnlicher Weise werden die Bilddaten, welche erhalten werden in einer Betriebsschaltung 13b, basierend auf dem Differentialdaten des Porträtbildes, empfangen von einem Endgerät 12b, und die Buddaten, die sich auf dem gegenwärtigen Rahmen beziehen, alternierender Weise in Rahmenspeicher 10b und 11b eingeschrieben.
Die Bilddaten, die synchron miteinander ausgelesen werden von den Rahmenspeichern 11a und 10b, werden überlagert in einer Überlagerungsschaltung 15 und zugeführt in einer Anzeigevorrichtung 16. Daher wird ein Bild, in dem ein Porträtbild 16b überlagert ist mit einem Hintergrundbild 16a, auf der Anzeigevorrichtung 16 angezeigt.
Gemäß der herkömmlichen Bildüberlagerungsvorrichtung ist es jedoch notwendig, zwei Rahmenspeicher vorzusehen für jedes Bild, welches einem anderen Bild zu überlagern ist. Beispielsweise sind sechs Rahmenspeicher erforderlich beim Überlagern von drei Bildern. Aus diesem Grund gibt es insofern ein Problem, als daß die Anzahl von Rahmenspeichern, die erforderlich sind, ansteigt, wenn die Anzahl von zu überlagernden Bildern ansteigt.
Falls andererseits die Bilder auf der Übertragungsseite zu überlagern wären und übertragen würden, würde die Empfangsseite nur zwei Rahmenspeicher erfordern, und zwar unabhängig von der Anzahl von Bildern, welche zu überlagern sind. Jedoch ist es in diesem Fall unmöglich, sich auf die Übertragung von nur dem Porträtbild zu konzentrieren, welches eine große Bewegung enthält. Zusätzlich ist es in diesem Fall unmöglich, die Bilder zu überlagern, welche von verschiedenen Orten eines Vielpunkt-Videokonferenzsystems empfangen werden, in ein Bild zur Anzeige.
Dementsprechend ist es allgemeine Aufgabe der vorliegenden Erfindung, eine neue und nützliche Bildüberlagerungsvorrichtung zu schaffen, bei der die oben beschriebenen Probleme eliminiert sind.
Diese Aufgabe wird gemäß Anspruch 1 gelöst.
Bevorzugte Ausführungsformen sind in den abhängigen Ansprüchen aufgeführt.
Gemäß der Bildüberlagerungsvorrichtung nach der vorliegenden Erfindung ist es möglich, jedes Bild abhängig von der darin beinhalteten Bewegung zu übertragen. Weiterhin ist es möglich, eine große Anzahl von Bildern unter Benutzung der Speichereinrichtung zu überlagern, welche nur eine Minimalspeicherkapazität von Rahmen haben kann. Daraus resultierend hat die Bildüberlagerungsvorrichtung eine einfache Schaltungsstruktur und ist billig.
Weitere Aufgaben und weitere Merkmale der vorliegenden Erfindung werden klarer erscheinen aus der folgenden detaillierten Beschreibung, im Zusammenhang gelesen mit der begleitenden Zeichnung. Die Figuren zeigen im einzelnen:
Figur 1A und lB Systemblockdiagramme zum Erklären des Zwischenrahmen-Differentialsystems;
Figur 2 ein Systemblockdiagramm zum Zeigen eines Beispiels einer herkömmlichen Bildüberlagerungsvorrichtung;
Figur 3 ein Systemblockdiagramm zum Zeigen einer Ausführungsform einer Bildüberlagerungsvorrichtung nach der vorliegenden Erfindung;
Figur 4 ein Diagramm zum Erklären einer Banktabelle und der Benutzung der Bänke; und
Figur 5 einen Flußplan zum Erklären eines Betriebs eines Schreibekontrollers der in Figur 3 gezeigt ist.
Figur 3 zeigt eine Ausführungsform eines Bildüberlagerungssystems gemäß der vorliegenden Erfindüng. Das Bildüberlagerungssystem beinhaltet im allgemeinen einen Bildspeicherteil 20, einen Anzeigekontroller 23, einen Anzeigeadressengenerator 25, einen Bankkontroller 26, einen Schreibkontroller 30 und eine Betriebsschaltung 31. Der Bildspeicherteil 20 besteht aus zwei Bänken 20 und 22. Der Anzeigekontroller 23 beinhaltet eine Anzeigebereichstabelle und der Bankkontroller 26 beinhaltet eine Banktabelle 27. Die Bildüberlagerungsvorrichtung ist an eine Anzeigevorrichtung 28 gekoppelt.
Die Bänke 21 und 22 des Bildspeicherteils 20 haben jeweils eine Speicherkapazität, die ausreicht zum Speichern von Bilddaten, welche einen Rahmen betragen. Bänke 21 und 22 sind jeweils bezeichnet durch eine Ein-Bit-Bankzahl, und eine n- Bit-Adresse bezeichnet die Adressen der Bilddaten innerhalb jeder Bank.
Ein Zugriff wird durchgeführt auf die Anzeigebereichstabelle 24 des Anzeigekontrollers 23 durch eine n-Bit-Adresse, in ähnlicher Weise wie im Fall der Bänke 21 und 22. Bei jeder Adresse dieser Anzeigebereichstabelle 24 ist eine Anzeigebildnummer gespeichert, welche das Bild bezeichnet, daß in dem Bereich anzuzeigen ist.
Der Anzeigeadressengenerator 25 erzeugt sukzessivermaßen eine n-Bit-Anzeigeadresse zum Auslesen der Bilddaten aus der Bank 21 oder 22 zum Anzeigen des Bildes auf der Anzeigevorrichtung 28. Diese n-Bit-Anzeigeadresse von dem Anzeigeadressengenerator 25 wird zugeführt an sowohl dem Bildspeicherteil 21 als auch den Anzeigekontroller 23. Die Anzeigebildnummer, welche von der Anzeigebereichstabelle 24 basierend auf der n-Anzeigeadresse ausgelesen wird, wird an den Bankkontroller 26 zugeführt.
Die Tabellenelemente, die die Banktabelle 27 des Bankkontrollers 26 ausmachen, entsprechen den Anzeigebildnummern. Jedes Tabellenelement speichert eine Ein- Bit-Banknummer "0" oder "1", welche bezeichnet, ob die Bilddaten, welche gegenwärtig angezeigt werden, ausgelesen werden von der Bank 21 oder 22. Die Banknummer, welche ausgeleen wird von dem Tabellenelement entsprechend der Anzeigezildnummer, die von dem Anzeigekontroller 23 empfangen wird, wird zugeführt an den Bildspeicherteil 20.
Der Zugriff auf den Bildspeicherteil 20 wird basierend auf der Banknummer durchgeführt, die empfangen wird von dem Bankkontroller 26, und der Anzeigenadresse, die empfangen wird vo dem Anzeigeadressengenerator 25, und die Bilddaten, die von der bezeichneten Bank 21 oder 22 des Bildspeicherteils 20 ausgelesen werden, werden zugeführt an die Anzeigevorrichtung 28, um darauf angezeigt zu werden.
In Figur 3 ist das Bild, das auf der Anzeigevorrichtung 28 angezeigt wird, geteilt in vier Bereiche 24a bis 24d auf der Anzeigebereichstabelle 24, welche jeweils den Anzeigebildnummern (1) bis (4) entsprechen. Die Banknummern, die gespeichert sind in den Tabellenelementen 27a bis 27d der Banktabelle 27 in jeweils den Anzeigebildnummern (1) bis (4) entsprechen, sind "0", "1", "1" und "0". Daher wird das Bild angezeigt auf eine anzeigevorrichtung 28 basierend auf den Bilddaten, die ausgelesen werden von den Bereichen 21a und 21b der Bank 21, angedeutet durch die Schraffierungen und Bereiche 22d und 22c der Bank 22 angedeutet durch die Schraffierungen.
Der Schreibkontroller 30 überschreibt die Anzeigebildnummer der Anzeigebereichstabelle 24 und überschreibt ebenfalls die Bank, in jedem Tabellenelement der Banktabelle 27. Das Überschreiben der Banknummer wird ausgeführt bezüglich des Tabellenelements entsprechend der Anzeigebildnummer, wenn die Differentialbilddaten des Bildes entsprechend dieser Anzeigebildnummer empfangen werden von einem Endgerät 32. Der Überschreibkontroller 30 wird informiert vom Empfang der Differentialbilddaten des Bildes entsprechend einer Anzeigezildnummer am Endgerät 32 basierend auf einem Signal, welche von der Betriebsschaltung 31 empfangen wird. Zusätzlich führt der Schreibkontroller 30 zum Bildspeicherteil 20 die Überschreibadresse der Bilddaten, welche zu überschreiben sind innerhalb des Bildspeicherteils 20, wenn die Differentialbilddaten von dem Endgerät 32 empfangen werden. Dementsprechend werden die Bilddaten, die ausgelesen werden von der Überschreibadresse von einem der Bereiche 21b, 21c, 22a und 22d in den Bänken 21 und 22 des Speicherteils 20, zugeführt an die Betriebsschaltung 31, und die Bilddaten addiert werden mit den Differentialbilddaten von dem Endgerät 32 um neue Bilddaten zu erzeugen. Diese neuen Bilddaten werden überschrieben in die Übnerschreibadresse von einem der Bereiche 21b, 21c, 22a und 22d in den Bänken 21 und 22 des Bildspeicherteils 20. Mit anderen Worten werden die Bilddaten, die von dem Bildspeicherteil 20 ausgelesen werden, zugeführt an die Betriebsschaltung 31 als die Bilddaten bezüglich des vorliegenden Rahmens, und die neuen Bilddaten von der Betriebsschaltung 31 werden geschrieben in dem Bildspeicherteil 20 als die Bilddaten, die sich auf den nächsten Rahmen beziehen.
Beim Ausführen des Überschreibens des Bildes entsprechend der Anzeigebildnummer (2) im Anzeigebildzustand, wie gezeigt in Figur 3, überschreibt der Überschreibkontroller 30 die Banknummer des Tabellenelements 27b auf "0", wie in Figur 4 gezeigt. Daraus resultierend werden die Bilddaten in den Bereichen 21a, 21b, 22c und 21d der Bänke 21 und 22 angezeigt durch die Schraffierungen von Figur 4 sukzessivermaßen ausgelesen und angezeigt auf der Anzeigevorrichtung 28.
Figur 5 ist ein Flußplan zum Erklären des Betriebs des Überschreibkontrollers 30. In Figur 5 schreibt ein Schritt S1 die Anzeigebildnummern in die Anzeigebereichstabelle 24 des Anzeigekontrollers 24. Ein Schritt S2 bezeichnet die anfänglichen Banknummern in der Banktabelle 27 des Bankkontrollers 27. Ein Schritt S2 beurteilt, ob oder ob nicht die Banknummer entsprechend der Anzeigebildnummer (1) zugeführt wird an den Bildspeicherteil 20. Wenn das Beurteilungsresultat im Schritt S3 JA ist, überschreibt ein Schritt S4 die Banknummer in der Banktabelle 27 entsprechend der Anzeigebildnummer (1). Wenn das Beurteilungsresultat in Schritt S3 NEIN ist oder nach dem Schritt S4, beurteilt ein Schritt S5, ob oder ob nicht die Banknummer entsprechend der Anzeigebildnummer (2) an den Bildspeicherteil 20 zugeführt wird. Wenn das Beurteilungsresultat im Schritt S5 JA ist, überschreibt ein Schritt S6 die Banknummer in der Banktabelle 27 entsprechend der Anzeigebildnummer (2). Schritte ähnlich den Schritten S3 und S4 werden danach ausgeführt für alle Anzeigebildnummern, d.h. bis zur Anzeigebildnummer (4) bei dieser Ausführungsform Nach dem Überschreiben der Banknummer in der Banktabelle 25 entsprechend derer, wo die Anzeigebildnummer (4) endet, springt der Prozess zurück zu Bild 52.
Deshalb wird gemäß dieser Ausführungsform der Zugriff auf die Anzeigebereichstabelle 24 durchgeführt durch die Anzeigeadresse, um somit die Anzeigebildnummer zu erhalten, und diese Anzeigebildnummer wird benutzt zum Halten der Banknummer von der Banktabelle 27, um somit zu bestimmen, ob die Bilddaten auszulesen sind von der Bank 21 oder 22. Zwischen den zwei Bänken 21 und 22 mit jeweils der Speicherkapazität, die mindestens einen Rahmen oder weniger als zwei Rahmen beträgt, ist es möglich, die Bilddaten von dem Bereich auszulesen, wo kein Überschreiben der Bilddaten ausgeführt wird, beim Überlagern einer Vielzahl von Bildern zur Anzeige auf der Anzeigevorrichtung 28. Zusätzlich kann jedes Bild übertragen werden abhängig von dem Bewegungsgrad darin, und geschrieben werden in dem entsprechenden Bereich von einem der zwei Bänke 21 und 22. Dementsprechend ist es möglich, in ein Bild die Bilder zu überlagern, die empfangen werden von einer Vielzahl von Orten eines Vielpunktvideokonferenzsystems, beispielsweise unter Benutzung von nur zwei Bänken 21 und 22, welche zusammen eines Speicherkapazität haben, die ein Minimum von 2 Rahmen beträgt, und zwar unabhängig von der Anzahl von Bildern, welche zu überlagern sind.
Natürlich ist die vorliegende Erfindung nicht beschränkt auf die Anwendung auf das Vielüunktvideokonerenzsystem und ist ähnlicher Weise anwendbar auf weitere Systeme, welche eine Überlagerung von Bildern erfordern. Ein Beispiel solcher weiteren Systeme ist das Sicherheitssystem, welches eine Überwachungsstation hat zum Überwachen von Bildern, welche empfangen werden von einer Vielzahl von Videokamerars, die an verschiedenen Punkten lokalisiert sind. In diesem Fall kann die vorliegende Erfindung benutzt werden zum Überlagern der Bilder von den Videokameras in ein Bild, um somit den Überwachungsprozess zu erleichtern.
Weiterhin ist die vorliegende Erfindung nicht auf diese Ausführungsformen beschränkt sondern viele Variationen und Modifikationen können durchgeführt werden ohne vom Umfang der vorliegenden Erfindung abzuweichen.
Bezugszeichen in den Patentansprüchen sind zum besseren Verständnis beabsichtigt und sollen den Schutzumfang nicht beschränken.

Claims

1. Bildüberlagerungsvorrichtung zum Überlagern einer Vielzahl von Bildern in einen Rahmen zur Anzeige, umfassend:

eine Speichereinrichtung (20) mit ersten und zweiten Bänken (21, 22; jeweils mit einer Speicherkapazität zum Speichern von zumindest einem Rahmen des einen Bildes;

eine Adressenerzeugungseinrichtung (25), die mit der speichereinrichtung (25) verbunden ist, zum Erzeugen einer Anzeigeadresse, die benutzt wird zum Erzeugen eines Zugriffs auf die erste und zweite Bank (21,22) beim Lesen von Bilddaten zur Anzeige;

eine Anzeigesteuereinrichtung (23), die mit der Adressenerzeugungseinrichtung (25) verbunden ist, zum Speichern von Anzeigebildnummern, welche die Vielzahl von Bildern in Übereinstimmung mit Bereichen der ersten und zweiten Bänke (21, 22) unterscheiden, wobei die Anzeigesteuereinrichtung (23) eine Anzeigebildnummer ausgibt ansprechend auf die Anzeigeadresse von der Adressenerzeugungseinrichtung (25); und

eine Banksteuereinrichtung (26), die mit der Anzeigesteuereinrichtung (23) verbunden ist, zum Speichern von Banknummern der ersten und zweiten Bänke (21, 22) in Übereinstimmung mit den Anzeigebildnummern zum Anzeigen der Bank, von der die Bilddaten gegenwärtig zur Anzeige ausgelesen werden, wobei die Banksteuereinrichtung (26) eine Banknummer ansprechend auf die Anzeigebildnummer von der Anzeigesteuereinrichtung (23) ausgibt, wobei die Anzeigeadresse von der Adressenerzeugungseinrichtung (25) und die Banknummer der Banksteuereinrichtung (26) eine der ersten und zweiten Bänke und ihren Bereich, von dem die Bilddaten zur Anzeige auszulesen sind, bezeichnen;

gekennzeichnet durch

eine Betriebseinrichtung (31), die mit der Speichereinrichtung (20) verbunden ist, zum Erhalten von Bilddaten bezüglich eines nächsten Rahmens, basierend auf Bilddaten bezüglich eines gegenwärtigen Rahmens, und Differentialbilddaten zwischen zwei Rahmen des einen Bildes;

wobei die Betriebseinrichtung (31) die Bilddaten, die von der Speichereinrichtung (20) ausgelesen werden, als die Bilddaten bezüglich des vorliegenden Rahmens empfängt, und die Bilddaten bezüglich des nächsten Rahmens an die Speichereinrichtung (20) zuführt.

2. Bildüberlagerungsvorrichtung nachanspruch 1, dadurch gekennzeichnet, daß weiterhin eine Überschreibkontrollereinrichtung (30) vorgesehen ist, die mit der Betriebseinrichtung (31) verbunden ist, zum Überschreiben der Banknummer in der Banksteuernummer (26) entsprechend der Anzeigebildnummer von der Anzeigesteuereinrichtung (23), wenn die Differentialbilddaten des Bildes entsprechend der Anzeigebildnummer empfangen werden durch die Betriebseinrichtung (31), wobei die Überschreibkontrollereinrichtung (30) informiert wird vom Empfang der Differentialbilddaten des Bildes entsprechend der Anzeigebildnummer von der Anzeigesteuereinrichtung (23) basierend auf einem Signal, das von der Betriebseinrichtung (31) empfangen wird.

3. Bildüberlagerungsvorrichtung nach Anspruch 2, dadurch gekennzeichnet, daß die Überschreibkontrollereinrichtung (30) an die speichereinrichtung (20) eine Überschreibadresse der Bilddaten zuführt, welche zu überschreiben ist innerhalb der Speichereinrichtung (20), wenn die Differentialbilddaten empfangen werden durch die Betriebseinrichtung (31), so daß die ausgelesenen Bilddaten von der Überschreibadresse von einer der ersten und zweiten Bänke (21, 22) der Speichereinrichtung (20) zugeführt werden an die Betriebseinrichtung (31), wo die Bilddaten addiert werden mit den Differentialbilddaten zum Erzeugen der Bilddaten bezüglich des nächsten Rahmens, wobei die Bilddaten des nächsten Rahmens überschrieben werden in die Überschreibadresse der einen der ersten und zweiten Bänke (21, 22) der Speichereinrichtung, wobei die Überschreibadresse einen Bereich der Speichereinrichtung (20) bezeichnet, der verschieden ist von einem Bereich, von dem die Bilddaten zur Anzeige ausgelesen werden.

4. Bildüberlagerungsvorrichtung nach Anspruch 2 oder 3, dadurch gekennzeichnet, daß die Überschreibkontrollereinrichtung (30) anfänglich die Anzeigebildnummern in die Anzeigesteuereinrichtung (23) schreibt.

5. Bildüberlagerungsvorrichtung nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, daß die Überschreibkontrollereinrichtung (30) die Banknummern in die Banksteuereinrichtung (26) schreibt.

6. Bildübertragungsvorrichtung nach einem der Ansprüch 1 bis 5, daduch gekennzeichnet, daß die Anzeigesteuereinrichtung (23) eine Anzeigebereichstabelle (24) beinhaltet, welche die Anzeigebildnummern in Form einer Tabelle speichert, auf welche durch die Anzeigeadresse zugegriffen werden kann.

7. Bildüberlagerungsvorrichtung nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die Banksteuereinrichtung (26) einer Banktabelle (27) beinhaltet, welche die Banknummern in Form einer Welle speichert, auf die durch die Anzeigebildnummer zugegriffen werden kann.

8. Bildüberlagerungsvorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß weiterhin eine Anzeigeeinrichtung (28) vorgesehen ist, die mit der Speichereinrichtung (20) verbunden ist zum Anzeigen der Bilddaten, die von der Speichereinrichtung ausgelesen werden, so daß ein Bild enthaltend eine Vielzahl von überlagerten Bildern angezeigt wird.

9. Bildüberlagerungsvorrichtung nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß die Banksteuereinrichtung (26) die Banknummern als 1-Bit-Daten speichert.

10. Bildüberlagerungsvorrichtung nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß die ersten und zweiten Bänke (21, 22) der Speichereinrichtung (20) jeweils eine Speicherkapazität, betragend zumindest einen Rahmen, aber weniger als zwei Rahmen, aufweisen.