-
Die Erfindung betrifft ein Verfahren
zum Einblenden eines Nebenbildes in ein Hauptbild bei elektronisch
dargestellten Bildern, wie beispielsweise Videobildern.
-
Viele Fernsehgeräte, Bildtelefone und andere
Geräte
mit hochauflösenden
Bildanzeigevorrichtungen weisen häufig die Zusatzfunktion auf,
dass in ein gerade angezeigtes Hauptbild ein weiteres, kleineres
Bild eingeblendet werden kann. Diese Bild-in-Bild-Einblendung (picture-in-picture)
ermöglicht
es beispielsweise einem Fernsehzuschauer, dass er das Programm eines
ersten Senders betrachtet und zeitgleich über das eingeblendete Bild das
Programm eines weiteren Senders verfolgt. Das eingeblendete Bild
kann auch von einer anderen Videoquelle stammen, beispielsweise
von einem Videorekorder oder einer Überwachungskamera. Die Ein- und
Ausblendung des zusätzlichen
Bildes erfolgt üblicherweise über die
Fernbedienung des Fernsehgerätes.
Nachteilig bei den Bild-in-Bild-Einblendungen ist, dass der Darstellungsbereich
des Hauptbildes durch die Überdeckung
mit dem einzufügenden
Bild beeinträchtigt
wird. Um diese Beeinträchtigung
gering zu halten, wird das Zusatzbild in der Regel in einer Ecke
des Hauptbildes eingeblendet. Da sich beispielsweise bei Fernsehsendungen
das Hauptgeschehen nicht immer in der Mitte des Fernsehbildschirmes
abspielt, ist diese Lösung
nicht zufriedenstellend. In der
JP 5-268543(A) wird vorgeschlagen, das Zusatzbild
in einem Bereich des Hauptbildes mit geringerer Bewegung zu verschieben.
Ein ähnliches Verfahren
beschreibt die
JP
09037169(A) . Da sich die Bewegung im Hauptbild üblicherweise
oft ändert, wechselt
auch häufig
die Position des Zusatzbildes, was einen unruhigen Bildeindruck
vermittelt. Auch die permanent durchsichtige Darstellung des Zusatzbildes,
auch α-Blending
genannt, bei der unter dem Zusatzbild der sonst verdeckte Be reich
des Hauptbildes mit geringerer Auflösung noch sichtbar ist, wird von
den Betrachtern häufig
als störend
empfunden.
-
Aufgabe der vorliegenden Erfindung
ist es daher, ein Verfahren zum Einblenden eines Zusatzbildes in
ein Hauptbild anzugeben, bei dem die erwähnte Beeinträchtigung
des Hauptbildes durch das Zusatzbild bei gutem Bildeindruck verringert
wird.
-
Gelöst wird diese Aufgabe durch
ein Verfahren mit den Merkmalen des Patentanspruches 1 und ein Verfahren
mit den Merkmalen des Patentanspruches 5.
-
Die Erfindung hat den Vorteil, dass
durch die Berücksichtigung
des Bewegungsgehaltes des Hauptbildes eine automatische Anpassung
an die jeweils auf dem Bildschirm dargestellte Bildfolge stattfindet.
Bei eher ruhigen Bildern, wie sie beispielsweise bei Ansagen vorkommen,
wird die Größe des Nebenbildes
nur geringfügig
verändert
werden.
-
Gewöhnlich tritt die meiste Information
bei Bildsequenzen in den bewegten Bildausschnitten auf. Bei der
Bildtelephonie stellt beispielsweise die Bewegung des Kopfes des
Sprechers eine wichtige Information dar. Weniger bedeutende Bildausschnitte sind
oft diejenigen mit ruhendem Hintergrund. Durch die Berücksichtigung
der Bewegung im Bildinhalt des Hauptbildes wird erreicht, dass die
Bildausschnitte mit dem Hauptgeschehen nicht durch ein großes Nebenbild
verdeckt werden.
-
Ein weiterer Vorteil ist, dass bei
digitalen Kodierungsverfahren wie MPEG oder Codec Informationen über den
Bewegungsgehalt der Videobilder mit enthalten sind und nicht zusätzlich ermittelt
werden müssen.
-
Bei einer Ausführungsform wird die Größe des Nebenbildes
so bestimmt, dass bei Hauptbildern, bei denen die Bewegung auf die
Bildmitte konzentriert ist, das Nebenbild von der Auswer tungsvorrichtung
größer gewählt wird,
als bei den Hauptbildern, bei denen größere Bewegungen im Bildinhalt
auch in den Randbereichen des Hauptbildes auftritt. Die Größe des Nebenbildes
wird also dynamisch an die Bewegung im Bildinhalt des Hauptbildes
angepasst. Zusätzlich
zur Veränderung
der Größe des Nebenbildes kann
auch seine Position in Abhängigkeit
von der Bewegung im Bildinhalt des Hauptbildes verändert werden.
-
Um ein zappelndes Nebenbild, das
ununterbrochen seine Größe ändert, zu
vermeiden, wird zweckmäßigerweise
eine Hysterese vorgesehen. Danach wird die Größe des Nebenbildes ausgehend von
einem ersten Hauptbild innerhalb einer Sequenz von Einzelbildern
des Hauptbildes erst dann verändert,
wenn die Bewegung im Bildinhalt einer zuvor festgelegten Anzahl
nachfolgender Einzelbildern des Hauptbildes einen vorgegebenen Grenzwert überschreitet.
Diese Veränderung
wird erst zurückgenommen,
also der ursprüngliche
Zustand wieder hergestellt, wenn die Bewegung im Bildinhalt einer
weiteren zuvor festgelegten Anzahl von Einzelbildern des Hauptbildes
einen weiteren zuvor festgelegten Anzahl von Einzelbildern des Hauptbildes
einen weiteren vorbestimmten Grenzwert unterschreitet, der kleiner
als der erste Grenzwert ist.
-
Bei einer weiteren Ausführungsform
wird das Nebenbild in Abhängigkeit
von der Bewegung im Bildinhalt des Hauptbildes teilausgeblendet.
Das teilausgeblendete Nebenbild erscheint auf dem Bildschirm transparent.
Der Bildinhalt des Ausschnittes des Hauptbildes, der sich mit dem
Nebenbild örtlich deckt,
wird vom Nebenbild nicht vollständig überdeckt,
sondern ist, wenn auch mit beschränkter Auflösung, weiterhin sichtbar. Diese
Durchsichtigkeit des Hauptbildes durch das Nebenbild wird als α-Blending bezeichnet.
Der Effekt der Transparenz wird dadurch erzielt, dass von zwei auf
dem Bildschirm benachbarten Bildpunkte einer zum Hauptbild und einer
zum Nebenbild gehört.
Anders ausgedrückt,
wird zwischen zwei Bildpunkten, die zu dem Hauptbild gehören, ein
dazwischenliegender Bildpunkt angezeigt, der zum Nebenbild gehört.
-
Die Veränderung der Position und der
Größe des Nebenbildes
kann mit der Teilausblendung des Nebenbildes kombiniert werden.
-
Weitere vorteilhafte Aus- und Weiterbildungen
sind in Unteransprüchen
gekennzeichnet.
-
Die Erfindung wird nachfolgend anhand
von in den Figuren der Zeichnung dargestellten Ausführungsbeispielen
näher erläutert. Es
zeigen:
-
1 eine
Darstellung eines Hauptbildes mit einem eingeblendeten Nebenbild
und
-
2 das
Hauptbild mit verschiedenen Möglichkeiten
der Positionierungen oder Beschaffenheit des Nebenbildes.
-
Statt ein Nebenbild 1 unabhängig von
seinem Bildinhalt 3, 4 stets auf gleiche Weise
in ein Hauptbild 2, also an einer gleichen örtlichen
Position innerhalb des Hauptbildes 2 und mit der gleichen Größe, einzublenden,
sieht die Erfindung vor, dass die Größe des Nebenbildes 1 oder
die Beschaffenheit des in das Hauptbild 2 einzublendenden
Nebenbildes 1 von einer Auswertungsvorrichtung in Abhängigkeit
von einer Bewegung im Bildinhalt des Hauptbildes bestimmt wird.
Es kann auch vorgesehen werden, dass sowohl die Position als auch
die Beschaffenheit des Nebenbildes 1 von der Auswertungsvorrichtung
in Abhängigkeit
von einer Bewegung im Bildinhalt des Hauptbildes bestimmt werden.
-
In 1 ist
ein Beispiel für
das Hauptbild 2 mit einer Person 3 und einem Motiv 4 gezeigt.
Die Person 3 und das Motiv 4 stellen den wesentlichen Bildinhalt
des Hauptbildes 2 dar. Beispielsweise in Nachrichtensendungen
treten Bilder mit prinzipiell ähnlichem
Bildinhalt wie das Hauptbild 2 nach 1 auf.
-
In das Hauptbild 2 ist das
Nebenbild 1 in die rechte obere Ecke des Hauptbildes 2 eingeblendet. Durch
das Nebenbild 1 wird ein Teil des Hauptbildes 2,
der der Größe des Nebenbildes 1 entspricht, überdeckt.
Vom wesentlichen Bildinhalt des Hauptbildes 2 wird die
Person 3 überdeckt.
Von einem Betrachter des Hauptbildes 2 kann es als störend empfunden werden,
dass von der Person 3 nur ein Teil sichtbar ist.
-
Im Weiteren wird als Beispiel davon
ausgegangen, dass die Person 3 Bewegungen ausführt, wohingegen
das Motiv 4 im Verhältnis
zur Person 3 nur in größeren Zeitabständen verändert. Von
der Auswertungsvorrichtung wird nun die Bewegung im Bildinhalt des
Hauptbildes 2 bestimmt. Im einfachsten Fall wird dazu das
Hauptbild 2 in zwei gleich große Bildhälften unterteilt, so dass man
eine erste (beispielsweise linke) Bildhälfte und eine zweite (beispielsweise
rechte) Bildhälfte
erhält.
Die Auswertungsvorrichtung ermittelt für jede Bildhälfte ein
Bewegungsmaß und
vergleicht die beiden Bewegungsmaße miteinander. Ist das Bewegungsmaß in der zweiten
Bildhälfte
größer als
das Bewegungsmaß in der
ersten Bildhälfte,
gibt die Auswertungsvorrichtung entsprechende Steuerbefehle an eine
Bildeinblendungseinheit, die Bildschirmansteueranweisungen an einen
Bildschirm weiterleitet, so dass das Nebenbild 1 an einer
zuvor festgelegten Position der ersten Bildhälfte eingeblendet wird. Dies
ist in 2A gezeigt. Das
Nebenbild 1 überdeckt
nun das Motiv 4 in der ersten Bildhälfte des Hauptbildes 2.
Da das Motiv 4 und damit auch die erste Bildhälfte nur
eine geringe Bewegung aufweisen, wird die Überblendung des Motivs 4 weniger
störend
empfunden als die Überblendung
der Person 3.
-
Soll das Nebenbild 1 nicht
irgendwo innerhalb der ersten oder zweiten Bildhälfte eingeblendet werden, sondern
in der linken oberen Ecke der ersten Bildhälfte oder der rechten oberen
Ecke der zweiten Bildhälfte,
genügt
es, nur die Bewegung im Bildinhalt der jeweiligen Ecken des Hauptbildes 2 zur
Entscheidung, in welcher Ecke das Nebenbild 1 eingeblendet wer den
soll, heranzuziehen. Die Ecken stellen dabei jeweils einen Teil
des Hauptbildes 2 dar, der nicht mit der Größe des Nebenbildes 1 übereinstimmen
muss.
-
Dem Fachmann ist klar, dass diese
Vorgehensweise auf alle vier Ecken des Hauptbildes 2 ausgeweitet
werden kann.
-
Bei einer Weiterbildung des Verfahrens
wird ein Schwellenwert vorgesehen, der fest vorgegeben wird. Die
Veränderung
der Position des Nebenbildes 1 wird von der Auswertungsvorrichtung
erst dann veranlasst, wenn das Bewegungsmaß einer bestimmten Anzahl von
Einzelbildern des Hauptbildes diesen Schwellenwert überschreitet.
Wie hoch diese Anzahl zu wählen
ist, hängt
davon ab, ob die Änderung
des Nebenbildes schnell ansprechen soll oder erst, wenn eine längere Sequenz
von Einzelbildern des Hauptbildes ein Bewegungsmaß aufweist,
das jeweils über dem
Schwellenwert liegt.
-
Um zu verhindern, dass das Nebenbild 1 ständig zwischen
zwei Positionen, z.B. zwischen der linken oberen und rechten oberen
Ecke des Hauptbildes 2, hin- und herspringt, kann eine
weitere Anzahl von Einzelbildern des Hauptbildes vorgesehen werden.
Nach einer Änderung
der Position des Nebenbildes 1 nimmt dieses die ursprüngliche
Position nicht wieder ein, wenn die bestimmte Anzahl von Einzelbildern
des Hauptbildes, bei denen das Bewegungsmaß den Schwellenwert überschreitet,
die bestimmte Anzahl von Einzelbildern unterschreitet, sondern erst,
wenn die weitere Anzahl von Einzelbildern, die kleiner als die bestimmte
Anzahl ist, für
Hauptbilder, deren Bewegungsmaß unter
dem Schwellenwert liegt, erreicht wird. Dadurch wird ein Hystereseverhalten
erzielt.
-
Bei einem weiteren Ausführungsbeispiel
ist die Position des Nebenbildes 1 nicht nur auf die Ecken
beschränkt,
sondern das Nebenbild 1 kann an irgendeiner Stelle des
Hauptbildes 2 eingeblendet werden. Es ist vorgesehen, dass
das Nebenbild 1 in einem Bereich des Hauptbildes 2 eingeblendet
wird, der im Vergleich zu den übrigen
Bereichen des Hauptbildes 2 die geringste Bewegung aufweist.
Das Hauptbild 2 wird in mehrere Bereiche unterteilt, und für jeden
einzelnen Bereich wird das Bewegungsmaß von der Auswertungsvorrichtung
ermittelt. Das Bewegungsmaß gibt
den Grad der Bewegung im Bildinhalt des jeweiligen Bereiches an.
Ist das Bewegungsmaß eines
der Bereiche, der mindestens einen Teil des einzublendenden Nebenbildes 1 umfasst,
größer als
der Schwellenwert, so wird die Position des Nebenbildes 1 verändert. Vorzugsweise
wird die neue Position in einem der Bereiche gewählt, der das kleinste Bewegungsmaß aufweist.
Das Nebenbild 1 wird also stets in dem Bereich des Hauptbildes 2 eingeblendet,
der die geringste Bewegung im Bildinhalt zeigt.
-
Das Bewegungsmaß erhält man beispielsweise, wenn
aus einer horizontalen und vertikalen Verschiebung von Bildbereichen
von einem Bild zu einem nächstfolgenden
Bild innerhalb einer Bildsequenz Bewegungsvektoren gebildet werden.
Das Bewegungsmaß wird
beispielsweise als arithmetisches Mittel aus den vier größten Beträgen der
Komponenten dieser Bewegungsvektoren berechnet. Die Komponenten
beschreiben die horizontale und vertikale Bewegung des Bildinhaltes
der jeweiligen Bereiche des Hauptbildes 2. Ein Komparator
dient zum Vergleich des Bewegungsmaßes mit dem ersten oder zweiten
Schwellenwert.
-
Neben der Veränderung der Position des Nebenbildes 1 oder
dazu zusätzlich
kann die Beschaffenheit des Nebenbildes 1 in Abhängigkeit
von der Bewegung im Bildinhalt des Hauptbildes 2 bestimmt werden.
So kann beispielsweise das Nebenbild 1 bei Einblendung
in einen Bereich des Hauptbildes 2 mit großem Bewegungsmaß transparent
dargestellt werden, wie es in 2B gezeigt
ist. Bei der transparenten Darstellung ist der Teil des Hauptbildes 2,
der bei gewöhnlicher
Einblendung vom Nebenbild 1 verdeckt wäre, ebenfalls sichtbar. Das
Nebenbild 1 und das Hauptbild 2 teilen sich in
dem Bereich, der dem Nebenbild 1 entspricht, die zur Verfügung stehenden Bildpunkte
auf einem Bildschirm. Sowohl der Bildinhalt des Nebenbildes 1 als
auch der Bildinhalt des entsprechenden Bereiches des Halbbildes 2 können erkannt
werden, wenngleich die Auflösung
jeweils verringert ist.
-
In 2C wird
die Beschaffenheit des Nebenbildes 1 durch Verkleinerung
des Nebenbildes geändert.
Im Bereich der Person 3 wird die größte Bewegung festgestellt werden,
da in der Regel der Hintergrund statischer ist. Werden die bewegten
Bereiche, die von der Person 3 bestimmt sind, ermittelt, kann
die Größe des Nebenbildes 1 so
festgelegt werden, dass es außerhalb
der bewegten Bereiche liegt. Die Größe des Nebenbildes 1 wird
bei sich veränderndem
Bildinhalt des Hauptbildes 2 angepasst.
-
Um ein ständiges An- und Abschwellen
des Nebenbildes 1 zu verhindern, kann auch hier eine Hysterese
vorgesehen werden. Ausgehend von einer ursprünglichen Größe des Nebenbildes 1,
wird dieses erst dann verkleinert, wenn die Anzahl der Einzelbilder
des Hauptbildes, deren Bewegungsmaß über dem Schwellenwert liegt,
die bestimmte Anzahl von Einzelbildern überschreitet.
-
Die ursprüngliche Größe des Nebenbildes 1 wird
wieder hergestellt, wenn das Bewegungsmaß bei der weiteren Anzahl von
Einzelbildern des Hauptbildes den Schwellenwert unterschreitet.
Dazu kann ein Zähler
verwendet werden, der seinen Zählerstand
erhöht,
wenn das Bewegungsmaß in
einem bestimmten Bereich den Schwellenwert überschreitet, und den augenblicklichen
Zählerstand
erniedrigt, wenn das Bewegungsmaß unter diesem Schwellenwert
liegt. Die Änderung
der Position oder der Beschaffenheit des Nebenbildes 1 wird
von der Auswertungsvorrichtung veranlasst, wenn der Zähler einen zuvor
festgelegten Zählerstand
als bestimmte Anzahl von Einzelbildern erreicht. Das ursprüngliche
Nebenbild 1 wird wieder hergestellt, wenn der Zähler unter einen
weiteren Zählerstand,
der der weiteren Anzahl von Einzelbildern entspricht und der niedriger
als der erste Zählerstand
ist, fällt.
Der Zähler
zählt dabei
im Rhythmus einer Bildfrequenz der Abfolge von Bildern.
-
Schließlich kann das Nebenbild 1,
z.B. bei Hauptbildern mit einem Bildinhalt, der in weiten Bereichen
sehr bewegt ist, völlig
ausgeblendet werden.
-
In 2D ist
das Hauptbild 2, bei dem das Nebenbild 1 ausgeblendet
wurde, gezeigt.
-
Das Verfahren kann so weitergebildet
werden, dass die Größe und/oder
die Beschaffenheit des Nebenbildes 1 nur während einer
vorgebbaren Zeitdauer T in Abhängigkeit
von der Bewegung im Bildinhalt des Hauptbildes 2 bestimmt
werden. Nach Ablauf dieser Zeitdauer T behält das Nebenbild seine Position
und/oder Beschaffenheit bei, bis das Verfahren erneut aufgerufen
wird.
-
Wird das Verfahren beispielsweise
in einem Fernsehgerät
benutzt, kann vorgesehen werden, dass ein Fernsehbediener den Vorgang
der Positionierung und/oder Änderung
der Beschaffenheit über eine
Taste auf einer Fernbedienung des Gerätes starten kann. Während der
Zeitdauer T wird in Abhängigkeit
von der Bewegung im Bildinhalt des Hauptbildes 2 das Nebenbild 1 bestimmt.
Der Vorgang kann so lange andauern, wie eine Taste der Fernbedienung mit
entsprechender Funktion gedrückt
wird. Es ist auch vorstellbar, dass nach einem kurzen Druck auf diese
Taste der Vorgang für
die Zeitdauer T, die von einer Zeitgeberschaltung vorgegeben wird,
abläuft.
-
Das Verfahren lässt sich auch bei Einblendungen
mit mehreren Nebenbildern anwenden.