Die Erfindung betrifft ein Verfahren zum Einblenden eines Ne
benbildes in ein Hauptbild bei elektronisch dargestellten
Bildern, wie beispielsweise Videobildern.
Viele Fernsehgeräte, Bildtelefone und andere Geräte mit
hochauflösenden Bildanzeigevorrichtungen weisen häufig die
Zusatzfunktion auf, daß in ein gerade angezeigtes Hauptbild
ein weiteres, kleineres Bild eingeblendet werden kann. Diese
Bild-in-Bild-Einblendung (picture-in-picture) ermöglicht es
beispielsweise einem Fernsehzuschauer, daß er das Programm
eines ersten Senders betrachtet und zeitgleich über das ein
geblendete Bild das Programm eines weiteren Senders verfolgt.
Das eingeblendete Bild kann auch von einer anderen Videoquel
le stammen, beispielsweise von einem Videorekorder oder ei
ner Überwachungskamera. Die Ein- und Ausblendung des zusätz
lichen Bildes erfolgt üblicherweise über die Fernbedienung
des Fernsehgerätes. Nachteilig bei den Bild-in-Bild-
Einblendungen ist, daß der Darstellungsbereich des Hauptbil
des durch die Überdeckung mit dem einzufügenden Bild beein
trächtigt wird. Um diese Beeinträchtigung gering zu halten,
wird das Zusatzbild in der Regel in einer Ecke des Hauptbil
des eingeblendet. Da sich beispielsweise bei Fernsehsendungen
das Hauptgeschehen nicht immer in der Mitte des Fernsehbild
schirmes abspielt, ist diese Lösung nicht zufriedenstellend.
Auch die durchsichtige Darstellung des Zusatzbildes, auch α-
Blending genannt, bei der unter dem Zusatzbild der sonst ver
deckte Bereich des Hauptbildes mit geringerer Auflösung noch
sichtbar ist, wird von den Betrachtern häufig als störend
empfunden.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfah
ren zum Einblenden eines Zusatzbildes in ein Hauptbild anzu
geben, bei dem die erwähnte Beeinträchtigung des Hauptbildes
durch das Zusatzbild in hohem Maße verringert wird.
Gelöst wird diese Aufgabe durch ein Verfahren mit den Merkma
len des Patentanspruches 1.
Die Erfindung hat den Vorteil, daß durch die Berücksichtigung
des Bewegungsgehaltes des Hauptbildes eine automatische An
passung an die jeweils auf dem Bildschirm dargestellte Bild
folge stattfindet. Bei eher ruhigen Bildern, wie sie bei
spielsweise bei Ansagen vorkommen, wird die Position des Ne
benbildes nur geringfügig verändert werden.
Gewöhnlich tritt die meiste Information bei Bildsequenzen in
den bewegten Bildausschnitten auf. Bei der Bildtelephonie
stellt beispielsweise die Bewegung des Kopfes des Sprechers
eine wichtige Information dar. Weniger bedeutende Bildaus
schnitte sind oft diejenigen mit ruhendem Hintergrund. Durch
die Berücksichtigung der Bewegung im Bildinhalt des Hauptbil
des wird erreicht, daß die Bildausschnitte mit dem Hauptge
schehen nicht durch das Nebenbild überdeckt werden.
Ein weiterer Vorteil ist, daß bei digitalen Kodierungsverfah
ren wie MPEG oder Codec Informationen über den Bewegungsge
halt der Videobilder mitenthalten sind und nicht zusätzlich
ermittelt werden müssen.
Vorzugsweise wird das Nebenbild in eine Ecke des Hauptbildes
eingeblendet, da in diesen Randbereichen der Informationsge
halt der Videobilder geringer ist als in den Bereichen um die
Bildmitte. Von den 4 Ecken des Hauptbildes wird diejenige von
der Auswertungsvorrichtung ausgewählt, die bezogen auf einen
Ausschnitt, der der Größe des Nebenbildes entspricht, die ge
ringste Bewegung aufweist. Das heißt, in jeder Ecke des
Hauptbildes wird ein Ausschnitt mit der Größe des Nebenbildes
auf Bewegung im Bildinhalt des jeweiligen Ausschnittes unter
sucht. Die Bewegung wird dabei von der Auswertungsvorrichtung
selbst ermittelt oder aus Bewegungsinformationen, die mit dem
Videosignal übertragen werden, gewonnen. Die Bewegungsmaße,
die man auf den untersuchten Ausschnitten erhält, werden mit
einander verglichen. In dem Ausschnitt des Hauptbildes, der
das geringste Bewegungsmaß aufweist, wird das Nebenbild ein
geblendet.
Bei einer bevorzugten Ausführungsform wird die Größe des Ne
benbildes so bestimmt, daß bei Hauptbildern, bei denen die
Bewegung auf die Bildmitte konzentriert ist, das Nebenbild
von der Auswertungsvorrichtung größer gewählt wird, als bei
Hauptbildern, bei denen größere Bewegungen im Bildinhalt auch
in den Randbereichen des Hauptbildes auftritt. Die Größe des
Nebenbildes wird also dynamisch an die Bewegung im Bildinhalt
des Hauptbildes angepaßt. Zusätzlich zur Veränderung der Grö
ße des Nebenbildes kann auch seine Position in Abhängigkeit
von der Bewegung im Bildinhalt des Hauptbildes verändert wer
den.
Um ein zappelndes Nebenbild, das permanent auf dem Bildschirm
herumspringt oder ununterbrochen seine Größe ändert, zu ver
meiden, wird zweckmäßigerweise eine Hysterese vorgesehen. Da
nach wird die Position und/oder Beschaffenheit des Nebenbil
des ausgehend von einem ersten Hauptbild innerhalb einer Se
quenz von Hauptbildern erst dann verändert, wenn die Bewegung
im Bildinhalt einer zuvor festgelegten Anzahl nachfolgender
Hauptbilder einen vorgegebenen Grenzwert überschreitet. Diese
Veränderung wird erst zurückgenommen, also der ursprüngliche
Zustand wieder hergestellt, wenn die Bewegung im Bildinhalt
einer weiteren zuvor festgelegten Anzahl von Hauptbildern ei
nen weiteren vorbestimmten Grenzwert unterschreitet, der
kleiner als der erste Grenzwert ist.
Bei einer weiteren bevorzugten Ausführungsform wird das Ne
benbild in Abhängigkeit von der Bewegung im Bildinhalt des
Hauptbildes ganz ausgeblendet oder teilausgeblendet. Das
teilausgeblendete Nebenbild erscheint auf dem Bildschirm
transparent. Der Bildinhalt des Ausschnittes des Hauptbildes,
der sich mit dem Nebenbild örtlich deckt, wird vom Nebenbild
nicht vollständig überdeckt, sondern ist, wenn auch mit be
schränkter Auflösung, weiterhin sichtbar. Diese Durchsichtig
keit des Hauptbildes durch das Nebenbild wird als α-Blending
bezeichnet. Der Effekt der Transparenz wird dadurch erzielt,
daß von zwei auf dem Bildschirm benachbarten Bildpunkte einer
zum Hauptbild und einer zum Nebenbild gehört. Anders ausge
drückt, wird zwischen zwei Bildpunkten, die zu dem Hauptbild
gehören, ein dazwischenliegender Bildpunkt angezeigt, der zu
dem Nebenbild gehört.
Die Veränderung der Position und der Größe des Nebenbildes
kann mit der Teilausblendung des Nebenbildes kombiniert wer
den.
Weitere vorteilhafte Aus- und Weiterbildungen sind in Un
teransprüchen gekennzeichnet.
Die Erfindung wird nachfolgend anhand von in den Figuren der
Zeichnung dargestellten Ausführungsbeispielen näher erläu
tert. Es zeigen:
Fig. 1 eine Darstellung eines Hauptbildes mit einem einge
blendeten Nebenbild und
Fig. 2 das Hauptbild mit verschiedenen Möglichkeiten der Po
sitionierungen oder Beschaffenheiten des Nebenbildes.
Statt ein Nebenbild 1 unabhängig von seinem Bildinhalt 3, 4
stets auf die gleiche Weise in ein Hauptbild 2, also an einer
gleichen örtlichen Position innerhalb des Hauptbildes 2 und
mit der gleichen Größe, einzublenden, sieht die Erfindung
vor, daß die Position des Nebenbildes 1 innerhalb des Haupt
bildes 2 oder eine Beschaffenheit des in das Hauptbild 2 ein
zublendenden Nebenbildes 1 von einer Auswertungsvorrichtung
in Abhängigkeit von einer Bewegung im Bildinhalt des Haupt
bildes bestimmt wird. Es ist auch vorgesehen, daß sowohl die
Position als auch die Beschaffenheit es Nebenbildes 1 von der
Auswertungsvorrichtung in Abhängigkeit von einer Bewegung im
Bildinhalt des Hauptbildes 2 bestimmt werden.
In Fig. 1 ist ein Beispiel für das Hauptbild 2 mit einer
Person 3 und einem Motiv 4 gezeigt. Die Person 3 und das Mo
tiv 4 stellen den wesentlichen Bildinhalt des Hauptbildes 2
dar. Beispielsweise in Nachrichtensendungen treten Bilder mit
prinzipiell ähnlichem Bildinhalt wie das Hauptbild 2 nach
Fig. 1 auf.
In das Hauptbild 2 ist das Nebenbild 1 in die rechte obere
Ecke des Hauptbildes 2 eingeblendet. Durch das Nebenbild 1
wird ein Teil des Hauptbildes 2, der der Größe des Nebenbil
des 1 entspricht, überdeckt. Vom wesentlichen Bildinhalt des
Hauptbildes 2 wird die Person 3 überdeckt. Von einem Betrach
ter des Hauptbildes 2 kann es als störend empfunden werden,
daß von der Person 3 nur ein Teil sichtbar ist.
Im Weiteren wird als Beispiel davon ausgegangen, daß die Per
son 3 Bewegungen ausführt, wohingegen das Motiv 4 im Verhält
nis zur Person 3 nur in größeren Zeitabständen verändert.
Von der Auswertungsvorrichtung wird nun die Bewegung im Bild
inhalt des Hauptbildes 2 bestimmt. Im einfachsten Fall wird
dazu das Hauptbild 2 in zwei gleich große Bildhälften unter
teilt, so daß man eine erste Bildhälfte 5 und eine zweite
Bildhälfte 6 erhält. Die Auswertungsvorrichtung ermittelt für
jede Bildhälfte 5, 6 ein Bewegungsmaß und vergleicht die bei
den Bewegungsmaße miteinander. Ist das Bewegungsmaß in der
zweiten Bildhälfte 6 größer als das Bewegungsmaß in der er
sten Bildhälfte 5, gibt die Auswertungsvorrichtung entspre
chende Steuerbefehle an eine Bildeinblendungseinheit, die
Bildschirmansteueranweisungen an einen Bildschirm weiterlei
tet, so daß das Nebenbild 1 an einer zuvor festgelegten Posi
tion der ersten Bildhälfte 5 eingeblendet wird. Dies ist in
Fig. 2A gezeigt. Das Nebenbild 1 überdeckt nun das Motiv 4
in der ersten Bildhälfte 5 des Hauptbildes 2. Da das Motiv 4
und damit auch die erste Bildhälfte 5 nur eine geringe Bewe
gung aufweisen, wird die Überblendung des Motivs 4 weniger
störend empfunden als die Überblendung der Person 3.
Soll das Nebenbild 1 nicht irgendwo innerhalb der ersten oder
zweiten Bildhälfte 5, 6 eingeblendet werden, sondern in der
linken oberen Ecke der ersten Bildhälfte 5 oder der rechten
oberen Ecke der zweiten Bildhälfte 6, genügt es, nur die Be
wegung im Bildinhalt der jeweiligen Ecken des Hauptbildes 2
zur Entscheidung, in welcher Ecke das Nebenbild 1 eingeblen
det werden soll, heranzuziehen. Die Ecken stellen dabei je
weils einen Teil des Hauptbildes 2 dar, der nicht mit der Grö
ße des Nebenbildes 1 übereinstimmen muß.
Dem Fachmann ist klar, daß diese Vorgehensweise auf alle 4
Ecken des Hauptbildes 2 ausgeweitet werden kann.
Bei einer Weiterbildung des Verfahrens wird ein Schwellenwert
vorgesehen, der fest vorgegeben wird. Die Veränderung der Po
sition des Nebenbildes 1 wird von der Auswertungsvorrichtung
erst dann veranlaßt, wenn das Bewegungsmaß einer bestimmten
Bildanzahl von Hauptbildern diesen Schwellenwert überschrei
tet. Wie hoch diese Anzahl zu wählen ist, hängt davon ab, die
Änderung des Nebenbildes schnell ansprechen soll oder erst,
wenn eine längere Sequenz von Hauptbildern ein Bewegungsmaß
aufweist, das jeweils über dem Schwellenwert liegt.
Um zu verhindern, daß das Nebenbild 1 ständig zwischen 2 Po
sitionen, z. B. zwischen der linken oberen und rechten oberen
Ecke des Hauptbildes 2, hin- und herspringt, kann eine weite
re Bildanzahl vorgesehen werden. Nach einer Änderung der Po
sition des Nebenbildes 1 nimmt dieses die ursprüngliche Posi
tion nicht wieder ein, wenn die bestimmte Bildanzahl von
Hauptbildern, bei denen das Bewegungsmaß den Schwellenwert
überschreitet, die bestimmte Bildanzahl unterschreitet,
sondern erst, wenn die weitere Bildanzahl, die kleiner als
die bestimmte Bildanzahl ist, für Hauptbilder, deren Bewe
gungsmaß unter dem Schwellenwert liegt, erreicht wird. Da
durch wird ein Hystereseverhalten erzielt.
Bei einem weiteren Ausführungsbeispiel ist die Position des
Nebenbildes 1 nicht nur auf die Ecken beschränkt, sondern das
Nebenbild 1 kann an irgendeiner Stelle des Hauptbildes 2 ein
geblendet werden. Erfindungsgemäß ist vorgesehen, daß das Ne
benbild 1 in einem Bereich des Hauptbildes 2 eingeblendet
wird, der im Vergleich zu den übrigen Bereichen des Hauptbil
des 2 die geringste Bewegung aufweist. Das Hauptbild 2 wird
in mehrere Bereiche unterteilt, und für jeden einzelnen Be
reich wird das Bewegungsmaß von der Auswertungsvorrichtung
ermittelt. Das Bewegungsmaß gibt den Grad der Bewegung im
Bildinhalt des jeweiligen Bereiches an. Ist das Bewegungsmaß
eines der Bereiche, der mindestens einen Teil des einzublen
denden Nebenbildes 1 umfaßt, größer als der Schwellenwert, so
wird die Position des Nebenbildes 1 verändert. Vorzugsweise
wird die neue Position in einem der Bereiche gewählt, der das
kleinste Bewegungsmaß aufweist. Das Nebenbild 1 wird also
stets in dem Bereich des Hauptbildes 2 eingeblendet, der die
geringste Bewegung im Bildinhalt zeigt.
Das Bewegungsmaß erhält man beispielsweise, wenn aus einer
horizontalen und vertikalen Verschiebung von Bildbereichen
von einem Bild zu einem nächstfolgenden Bild innerhalb einer
Bildsequenz Bewegungsvektoren gebildet werden. Das Bewegungs
maß wird beispielsweise als arithmetisches Mittel aus den 4
größten Beträgen der Komponenten dieser Bewegungsvektoren be
rechnet. Die Komponenten beschreiben die horizontale und ver
tikale Bewegung des Bildinhaltes der jeweiligen Bereiche des
Hauptbildes 2. Ein Komparator dient zum Vergleich des Bewe
gungsmaßes mit dem ersten oder zweiten Schwellenwert.
Neben der Veränderung der Position des Nebenbildes 1 oder da
zu zusätzlich kann die Beschaffenheit des Nebenbildes 1 in
Abhängigkeit von der Bewegung im Bildinhalt des Hauptbildes 2
bestimmt werden. So kann beispielsweise das Nebenbild 1 bei
Einblendung in einen Bereich des Hauptbildes 2 mit großem Be
wegungsmaß transparent dargestellt werden, wie es in Fig. 2B
gezeigt ist. Bei der transparenten Darstellung ist der Teil
des Hauptbildes 2, der bei gewöhnlicher Einblendung von Ne
benbild 1 verdeckt wäre, ebenfalls sichtbar. Das Nebenbild 1
und das Hauptbild 2 teilen sich in dem Bereich, der dem Ne
benbild 1 entspricht, die zur Verfügung stehenden Bildpunkte
auf einem Bildschirm. Sowohl der Bildinhalt des Nebenbildes 1
als auch der Bildinhalt des entsprechenden Bereiches des
Halbbildes 2 können erkannt werden, wenngleich die Auflösung
jeweils verringert ist.
In Fig. 2C wird die Beschaffenheit des Nebenbildes 1 durch
Verkleinerung des Nebenbildes geändert. Im Bereich der Person
3 wird die größte Bewegung festgestellt werden, da in der Re
gel der Hintergrund statischer ist. Werden die bewegten Be
reiche, die von der Person 3 bestimmt sind, ermittelt, kann
die Größe des Nebenbildes 1 so festgelegt werden, daß es au
ßerhalb der bewegten Bereiche liegt. Die Größe des Nebenbil
des 1 wird bei sich veränderndem Bildinhalt des Hauptbildes 2
angepaßt.
Um ein ständiges An- und Abschwellen des Nebenbildes 1 zu
verhindern, kann auch hier eine Hysterese vorgesehen werden.
Ausgehend von einer ursprünglichen Größe des Nebenbildes 1,
wird dieses erst dann verkleinert, wenn die Zahl der Haupbil
der, deren Bewegungsmaß über dem Schwellenwert liegt, die be
stimmte Bildanzahl überschreitet.
Die ursprüngliche Größe des Nebenbildes 1 wird wieder herge
stellt, wenn das Bewegungsmaß bei der weiteren Bildanzahl von
Haupbildern den Schwellenwert unterschreitet. Dazu kann ein
Zähler verwendet werden, der seinen Zählerstand erhöht, wenn
das Bewegungsmaß in einem bestimmten Bereich den Schwellen
wert überschreitet, und den augenblicklichen Zählerstand er
niedrigt, wenn das Bewegungsmaß unter diesem Schwellenwert
liegt. Die Änderung der Position oder der Beschaffenheit des
Nebenbildes 1 wird von der Auswertungsvorrichtung veranlaßt,
wenn der Zähler einen zuvor festgelegten Zählerstand als be
stimmte Bildanzahl erreicht. Das ursprüngliche Nebenbild 1
wird wieder hergestellt, wenn der Zähler unter einen weiteren
Zählerstand, der der weiteren Bildanzahl entspricht und der
niedriger als der erste Zählerstand ist, fällt. Der Zähler
zählt dabei im Rhythmus einer Bildfrequenz der Abfolge von
Bildern.
Schließlich kann das Nebenbild 1, z. B. bei Hauptbildern mit
einem Bildinhalt, der in weiten Bereichen sehr bewegt ist,
völlig ausgeblendet werden.
In Fig. 2D ist das Hauptbild 2, bei dem das Nebenbild 1 aus
geblendet wurde, gezeigt.
Das Verfahren kann so weitergebildet werden, daß die Position
und/oder die Beschaffenheit des Nebenbildes 1 nur während ei
ner vorgebbaren Zeitdauer T in Abhängigkeit von der Bewegung
im Bildinhalt des Hauptbildes 2 bestimmt werden. Nach Ablauf
dieser Zeitdauer T behält das Nebenbild seine Position
und/oder. Beschaffenheit bei, bis das Verfahren erneut aufge
rufen wird.
Wird das Verfahren beispielsweise in einem Fernsehgerät be
nutzt, kann vorgesehen werden, daß ein Fernsehbediener den
Vorgang der Positionierung und/oder Änderung der Beschaffen
heit über eine Taste auf einer Fernbedienung des Gerätes
starten kann. Während der Zeitdauer T wird in Abhängigkeit
von der Bewegung im Bildinhalt des Haupbildes 2 das Nebenbild
1 bestimmt. Der Vorgang kann so lange andauern, wie eine Ta
ste der Fernbedienung mit entsprechender Funktion gedrückt
wird. Es ist auch vorstellbar, daß nach einem kurzen Druck
auf diese Taste der Vorgang für die Zeitdauer T, die von ei
ner Zeitgeberschaltung vorgegeben wird, abläuft.
Das Verfahren läßt sich auch bei Einblendungen mit mehreren
Nebenbildern anwenden.