-
Die
vorliegende Erfindung betrifft die Übertragung von Bildern oder
Zeichnungen auf Endgeräte mit
geringem Anzeigevermögen
und insbesondere auf Mobiltelefone.
-
Der
elektronische Datenaustausch über
das Internet vervielfältigt
sich in verschiedensten Formen über
digitale Endgeräte
zur Anzeige dieser Mitteilungen. So ist es beispielsweise möglich, Daten,
die Zeichnungen oder Bilder enthalten, über Mittel zu übertragen,
die mit WAP (Wireless Application Protocol), SMS (Short Messaging
Service) oder sonstigen Mitteln für derartige Datenaustauschvorgänge arbeiten.
Auf diese Weise ist es z.B. möglich,
Eltern und/oder Freunden, die mobiltelefonartige Endgeräte besitzen,
die mit einem Bildschirm ausgestattet sind, humorvolle Zeichnungen
zuzusenden, die von Textmitteilungen begleitet werden, die auf den
Humor oder auf die momentane Lage derjenigen abgestimmt sind, die
die Mitteilungen an einem Endgerät empfangen
(z.B. Fun Mail Service, veröffentlicht
im Web unter der Internet-Adresse http://www.wapland.com/art/375.html).
Die Darstellung von Zeichnungen oder Bildern, die Text enthalten,
der eine große
Zahl von Zeichen umfasst, stellt an Bildschirmen von Endgeräten mit
geringem Anzeigevermögen
immer noch ein Problem dar, insbesondere an Bildschirmen von Mobiltelefonen.
Die Engeräte
lassen im Allgemeinen die Darstellung von Zeichnungen oder Bildern
in zufriedenstellender Form nicht zu, und bei den kleinsten dieser
Endgeräte,
beispielsweise den Mobiltelefonen, die zudem die zahlreichsten sind,
ist der Text für
den Benutzer nicht ausreichend lesbar.
-
US-A-4,996,707
beschreibt eine Vorrichtung, die eine Reihe von grafischen Bildern
aus Textmaterial, das als ein Satz aus Pixeln dargestellt ist, wobei jedes
Pixel selbst in Binärcode
dargestellt sein kann, in ASCII-codierte Dateien aus Textmaterial
umwandelt, wobei das ASCII-codierte Textmaterial schließlich in
gesprochene Worte umgewandelt wird. Die Vorrichtung besteht aus
einem Computer zur Manipulation von Datenfolgen und Speichervorrichtungen zur
Speicherung einer Reihe von grafischen Bildern in binärer Form,
wobei mindestens einige der grafischen Bilder geschriebene Wörter darstellen.
Die Vorrichtung umfasst einen Text-Sprache-Wandler zur Umwandlung
von Gruppen aus codierten Zeichen in gesprochene Wörter.
-
Die
Beschreibung von Lin J-H mit dem Titel „Mixed-mode alphanumeric/fax
messaging", MOTOROLA
TECHNICAL DEVELOPMENTS, Motorola Inc. Schaumburg, Illinois, US,
Band 22, 1. Juni 1994 (1994-06-01), Seite 121–123, XP000456749, löst das Problem,
alphanumerische Nachrichten an ein Funkrufendgerät zu senden. Die vorgeschlagene
Lösung
kombiniert die Handschriftenerkennung mit der Komprimierung des
binären
Bildes.
-
Es
besteht daher Bedarf, Daten, die Zeichnungen, Bilder oder Auszüge von Tafeln
mit Zeichnungen oder Bildern enthalten, zusammen mit Text an Endgeräte mit geringem
Anzeigevermögen
senden zu können,
und zwar in einem guten Zustand, d.h. unter Beibehaltung einer guten
Bildqualität,
und ohne dass der Sender zusätzliche
umständliche
Manipulationen durchführen
muss.
-
Das
erfindungsgemäße Verfahren
ermöglicht
die Lösung
dieses Problems. Die Erfindung betrifft ein Übertragungsverfahren, das das Übertragen von
Daten an Endgeräte
mit geringem Anzeigevermögen
umfasst. Die Daten umfassen Bilder, die ein Bildfeld und mindestens
eine Textzone innerhalb des Bildfeldes enthalten. Das Verfahren
ermöglicht
die Auswahl und das Senden dieser Daten in Form isolierter Zeichnungen
oder Bilder oder in Form von Streifen aus Zeichnungen oder Bildern
(beispielsweise Bilder in Form von „Comicstreifen" d.h. Bildgeschichten,
denen der gewünschte
Text beigefügt
ist, an diese Endgeräte
mit geringem Anzeigevermögen.
-
Die
Endgeräte
können
selbst als Zwischenstationen dienen, um die Daten an andere Endgeräte mit geringem
Anzeigevermögen
zu senden. Das erfindungsgemäße Verfahren
ermöglicht
das Senden der Bilder, während
eine gute Anzeigequalität
für den Benutzer
des Endgeräts
erhalten bleibt, beispielsweise für Mobiltelefone oder PDA-Endgeräte (Personal Digital
Assistant). Der Sendevorgang wird durchgeführt, ohne das Bild oder die
Bildtafel manuell neu definieren oder neu aufbauen zu müssen, während eine gute
Bildqualität
an der Anzeige erhalten bleibt. Das erfindungsgemäße Verfahren
ermöglicht
es, Text aus dem Bild zu entfernen, indem automatisch der Text extrahiert
wird, der in seiner Ausgangsversion im grafischen Betrieb an einem
Bildschirm mit geringem Anzeigevermögen nicht lesbar wäre. Anschließend werden
die Ressourcen der Endgeräte
verwendet, um die Bildanzeige und die Textanzeige im Textmodus zu
erzeugen.
-
Das
erfindungsgemäße Verfahren
betrifft die Übertragung
von Daten, die eine oder mehrere Bildeinheiten enthalten. Eine Bildeinheit
ist durch zwei Zonen definiert: eine Bildzone, die die zu sendende
Zeichnung oder das zu sendende Bild umfasst, und eine Textzone,
die zum Empfang einer oder mehrerer alphanumerischer Zeichenfolgen
vorgesehen ist, die einer oder mehreren Zeichenfolgen des Originalbildes
entsprechen. Gestützt
auf eine Benutzeranforderung ermöglicht
das erfindungsgemäße Verfahren
die automatische Übertragung
einer Bildeinheit, die aus mindestens einer Textzone besteht, an
ein Endgerät
mit geringem Anzeigevermögen,
wobei das Verfahren folgende Schritte umfasst:
Suchen nach
den Textzonen innerhalb des Bildfeldes des Originalbildes;
Erkennen
einer jeden einzelnen Textzone;
Zuordnen einer eindeutigen
Kennzeichnung zu jeder einzelnen Textzone;
im Originalbild
Ersetzen einer jeden Zeichenfolge durch die ihr zugeordnete, eindeutige
Kennzeichnung, um ein modifiziertes Bild zu erhalten; und
in
einer Bildeinheit Zusammenführen
des modifizierten Bildes mit jeder Zeichenfolge, der ihre eindeutige Kennzeichnung
vorangestellt ist, wodurch eine Textzone in einer Darstellung entsteht,
in der sich die Textzone außerhalb
des Bildfeldes des modifizierten Bildes befindet, damit das modifizierte
Bild mit einem ersten Vergrößerungskoeffizienten
und die Textzonen mit mindestens einem Vergrößerungskoeffizienten angezeigt
werden, der sich von dem für
das modifizierte Bild verwendeten Koeffizienten unterscheidet.
-
Das
erfindungsgemäße Verfahren
ermöglicht
zudem die automatische Übertragung
von Daten, die mehrere Originalbilder umfassen, von denen mindestens
eines von einem Text begleitet wird, der sich innerhalb dessen Bildfeldes
befindet. Die Daten werden in so viele einzelne Bildfelder zerteilt,
wie Originalbilder vorhanden sind, und die Schritte des zuvor genannten
Verfahrens werden angewandt, wobei die Schritte die automatische Übertragung
der Daten betreffen, die von einem Originalbild stammen.
-
Die
vorliegende Erfindung betrifft somit ein Verfahren zum automatischen Übertragen
von Bildern an ein Endgerät
mit geringem Anzeigevermögen,
wobei mindestens zwei der Bilder mindestens eine Textzone mit einer
Zeichenfolge umfassen. Das Verfahren umfasst folgende Schritte:
Suchen nach den Textzonen innerhalb des Bildfeldes des Originalbildes;
Erkennen einer jeden einzelnen Textzone mit einer einzelnen Zeichenfolge;
Zuordnen einer eindeutigen Kennzeichnung zu jeder einzelnen Textzone;
im Originalbild Ersetzen einer jeden Zeichenfolge durch die ihr
zugeordnete, eindeutige Kennzeichnung, um ein modifiziertes Bild
zu erhalten; und in einer Bildeinheit Vereinen des modifizierten
Bildes mit jeder Zeichenfolge, der ihre eindeutige Kennzeichnung
vorangestellt ist, wodurch eine Textzone in einer Darstellung entsteht,
in der sich die Textzone außerhalb
des Bildfeldes des modifizierten Bildes befindet, damit das modifizierte
Bild mit einem ersten Vergrößerungskoeffizienten
und die Textzonen mit mindestens einem Vergrößerungskoeffizienten angezeigt
werden, der sich von dem für
das modifizierte Bild verwendeten Koeffizienten unterscheidet.
-
Weitere
Merkmale und Vorteile der Erfindung werden in der nachstehenden
Beschreibung unter Bezug auf die Zeichnungen, die die Erfindung
veranschaulichen, dargelegt.
-
Die
Erfindung wird im folgenden anhand in der Zeichnung dargestellter
Ausführungsbeispiele näher erläutert.
-
Es
zeigen:
-
1 in
schematischer Form einen Streifen aus Bildern mit Text;
-
2A–2D in
schematischer Form die Verarbeitung zur Modifikation eines ersten
Bildes des Ausgangsstreifens;
-
3 in
schematischer Form ein zweites modifiziertes Bild desselben Ausgangsstreifens;
-
4 in
schematischer Form ein Bild, das keinen Text umfasst; und
-
5 in
schematischer Form Beispiele elektronischer Datenaustauschvorgänge.
-
Die
vorliegende Erfindung ist beispielsweise für einen Benutzer eines Endgeräts 50, 80 mit
geringem Anzeigevermögen
verwendbar, wie in 5 gezeigt, der Daten empfangen
möchte,
die in einer Speichereinheit 90 eines Servers 70 gespeichert sind;
wobei diese Daten in Form von Zeichnungen oder Bildern zusammen
mit Text vorliegen. Das Endgerät 50 ist
beispielsweise ein Mobiltelefon, und das Endgerät 80 ist beispielsweise
ein PDA (Personal Digital Assistant) oder eine andere drahtlose
Internet-Vorrichtung, die das http-Protokoll unterstützt. Leitung 55 stellt
eine WAP-Protokollleitung dar, Leitungen 65, 75 stellen
http-Leitungen dar. In 5 wird eine herkömmliche
Weise zur Nutzung des WAP-Standards durch die Leitungen 55 und 65 über ein
WAP-Gateway 60 dargestellt. Dies ermöglicht das Senden und Empfangen
der Daten; der Benutzer kann beispielsweise über eine SMS-Meldung benachrichtigt
werden, dass ein oder mehrere bestimmte Bilder oder Zeichnungen,
die von einer Tageszeitung veröffentlicht
wurden, vorhanden sind. Der Benutzer kann dann an seinem Endgerät die Zeichnungen
oder Bilder suchen und abrufen, indem er über eine ihm bekannte URL (Universal
Resource Locator) des Typs „http://wap..." im Internet eine
Anfrage absetzt. 5 stellt zudem einen direkten
Austausch zwischen dem Server 70 und anderen Vorrichtungen dar,
bei denen es sich um Endgeräte
mit Bildschirmen mit niedriger Auflösung handelt, beispielsweise um
das Endgerät 80.
Der Benutzer kann sich zudem in eine Abonnentenliste für einen
besonderen Service eintragen lassen, der diese Art von Mitteilung routinemäßig ausstrahlt,
beispielsweise täglich,
um die Zeichnungen oder Bilder an seinem Endgerät direkt über das Netz, mittels SMS und
einer Sonderanwendung sowie ohne Umweg über das Internet abrufen zu
können.
-
Konkret
gesagt, gibt es bereits Dienste, die das Abrufen von Zeichnungen
per E-Mail ermöglichen.
Allerdings ermöglichen
die derzeitigen Endgeräte
nicht die Anzeige aller Zeichnungen einer Tafel in für den Benutzer
zufriedenstellender Anzeigebeschaffenheit, wobei für die kleinsten
Endgeräte,
die gleichzeitig die zahlreichsten sind, wie beispielsweise Mobiltelefone,
der in diesen Zeichnungen oder Bildern enthaltene Text nahezu nicht
lesbar ist, auch wenn diese Zeichnungen oder Bilder deutlich sind.
-
Das
erfindungsgemäße Verfahren
ermöglicht
das Abrufen oder Anzeigen dieser Zeichnungen oder Bilder an Endgeräten mit
geringem Anzeigevermögen
in bester Anzeigebeschaffenheit durch deren Umwandlung mittels Bildanalyse
und ohne dass seitens des Autors oder Verlegers der Originalzeichnungen,
Originalbilder oder Tafeln aus Zeichnungen oder Bildern zusätzliche
Arbeitsschritte erforderlich sind. Die Originale werden automatisch
in ein Format umgeschrieben, das von einem Endgerät mit geringem Anzeigevermögen zugänglich ist,
beispielsweise einem mobilen Endgerät nach Art eines Mobiltelefons.
-
Das
erfindungsgemäße Verfahren
wird veranschaulicht, indem zunächst
Bezug genommen wird auf 1, die einen Streifen 1 aus
einem Satz von Zeichnungen oder Bildern 2, 3, 4 zeigt,
die Teil eines Comicstreifens sind, der Personen in einer Unterhaltung
zeigt. Der Streifen aus Zeichnungen 1 ist in dem Dateiformat
in einer Speichereinheit zugänglich,
bei der es sich um eine Festplatte, einen optischen Scannerausgang
usw. handeln kann. Die Dateien sind Bilddateien, z.B. JPEG, TIFF
oder BMP, die die Standards der digitalen Codierung und Bildkomprimierung
erfüllen,
die den Austausch von Schwarzweiß- und Farbbildern ermöglichen.
In einem ersten Ausführungsbeispiel
wählt ein
Endgerät 50, 80 (5)
eines Benutzers, das über
das Internet mit einem Server 70 verbunden ist, auf dem
sich diese Dateien befinden, die Daten, d.h. eine oder mehrere Zeichnungen,
Bilder mit Text oder Streifen von Zeichnungen oder Bildern, die
Text enthalten, aus allen gespeicherten digitalen Zeichnungen oder
Bilddateien aus. In anderen Ausführungsbeispielen
kann die Datenauswahl beispielsweise auf einer Website über ein
Endgerät
mit geringem Anzeigevermögen erfolgen;
diese Auswahl kann beispielsweise auf Basis einer routinemäßigen täglichen
Datenübertragung
erfolgen, wobei der Benutzer über
den Empfang dieser Daten an seinem Endgerät mittels einer über WAP
empfangenen SMS informiert wird. Der Benutzer kann die Daten dann
wie erforderlich über WAP
an einen anderen Benutzer eines mobilen Endgeräts mit geringem Anzeigevermögen senden.
-
Der
Satz aus einer oder mehreren Zeichnungen oder Bildern mit Text ist
beispielsweise eine Seite eines Comicstreifens. Dieser Satz kann
auch eine Untermenge von Bildern sein, die von einer Seite eines
Comicstreifens ausgewählt
werden. Anhand des erfindungsgemäßen Verfahrens
und auf der Grundlage eines Streifens aus „n" Bildern (Bildern, die aus einem Satz
von Bildern der gleichen Art, die einem Comicstreifen entstammen,
entnommen sind), die beispielsweise durch drei Bilder 2, 3, 4 (n
= 3) in der Zeichnung aus 1 dargestellt
werden, und unter Verwendung des Bildanalyseprinzips zur Wiedergabe
an einem Bildschirm mit geringem Anzeigevermögen, wird Streifen 1 in
einzelne Bilder 2, 3, 4 geschnitten oder
getrennt. Das erfindungsgemäße Verfahren läuft in dem
Server 70 ab, wenn die Bilder oder Bilder mit Texten, die
in der Speichereinheit 90 gespeichert sind, angefordert
werden. Das Ausschneiden oder Trennen erfolgt nach einem Bildanalysealgorithmus, der
eine optimale Definition, je nach verwendetem Endgerät, der Bildfelder 20, 30, 40 von
jedem der Bilder 2, 3, 4 ermöglicht,
die den Streifen aus „n" Bildern ausmachen,
während
die Eigenschaften der einzelnen Bilder, die den Streifen ausmachen,
erhalten bleiben, insbesondere der Bildhintergrund. Beispielsweise
kann für
das Ausschneiden das geodätische Umrissverfahren
verwendet werden. In einem bevorzugten Ausführungsbeispiel wird nach dem
Schneiden der Text, der in jedem der ausgeschnittenen Bilder angeordnet
ist, die Text enthalten, z.B. 9 für das Bild 2 in 2A,
durchsucht und extrahiert, und zwar einerseits mit einem ersten
Algorithmus, der die Erkennung der Dichte der Punkte auf dem analysierten Bild
ermöglicht,
und andererseits mit einem zweiten Algorithmus der optischen Zeichenerkennung,
der die Ermittlung des Rechtecks 5 des Bildes 2 (2B) ermöglicht,
das den Text einschließt,
um die von diesem Recht eck umrahmte Zone als eine Folge aus alphanumerischen
Zeichen 6 zu erkennen, die sämtliche in verschiedenen Sprachen
vorhandenen Zeichen umfasst, einschließlich der Interpunktion. Der
in den Bildern enthaltene Text muss in einer Schriftart geschrieben
sein, die von der Zeichenerkennungsmaschine erkannt werden kann.
-
In
einem anderen Ausführungsbeispiel
können
die Schritte des Suchens, der Extraktion und der Erkennung gleichzeitig
mit einem einzelnen Algorithmus ausgeführt werden, aber gemäß dem zuvor
beschriebenen bevorzugten Ausführungsbeispiel
wird es bevorzugt, zunächst
zu suchen und dann zu extrahieren, d.h. eine Textzone zunächst zu
isolieren und dann den isolierten Text in einem zweiten Schritt
zu erkennen; dies ermöglicht
eine Verbesserung der Stabilität
des Verfahrens, ebenso wie eine Verbesserung der gesamten Berechnungszeit.
Selbstverständlich
werden die Schritte des Suchens, der Extraktion und der Zeichenerkennung
auf jede extrahierte Textzone angewandt, beispielsweise auf Zone 9 in
Bild 2, wobei dies für
jedes von „n" Bildern 2, 3, 4 des
Streifens erfolgt.
-
Ein
Zuordnungsalgorithmus ermöglicht
es, die Inhalte jeder Textzone jedes Originalbildes durch eine oder
mehrere Kennzeichnungen zu ersetzen, beispielsweise durch ein einzelnes
Zeichen „A" für die erste
Textzone des ersten Bildes, „B" für die zweite
Textzone desselben ersten Bildes, „A" für
die erste und einzige Textzone des zweiten Bildes, „A" für die erste
Textzone des dritten Bildes, „B" für die zweite Textzone
des dritten Bildes usw. In der Darstellung der Zeichnungen aus 2A–2D werden
die Inhalte der einzigen Textzone 9 des Bildes 2 durch
eine eindeutige Kennzeichnung A (2C) ersetzt.
Die Zuordnung erfolgt auf diese Weise bis zum „n-ten" Bild. Der von dem Bild 2 plus
der Kennzeichnung A gebildete Satz bildet eine Bildzone gemäß dem modifizierten
Bild 11.
-
Der
Zuordnungsalgorithmus ermöglicht
die Anzeige des modifizierten Bildes 11 mit einem gegebenen
Bildvergrößerungskoeffizienten
an den Bildschirmen der Endgeräte 50, 80 mit
geringem Anzeigevermögen.
Dieser Vergrößerungskoeffizient
ist eine Funktion des Bildanalysealgorithmus und ermöglicht die
Einpassung des Bildfeldes 20, 30, 40 entsprechend
dem Bildschirm des Endgeräts 50, 80, von
dem die Anfrage erfolgt. Der Vergrößerungskoeffizient ist durch
das geometrische Verhältnis
zwischen der Größe des an
dem Bildschirm des Endgeräts 50, 80 modifizierten
Bildes 11 und der Größe des entsprechenden
Originalbildes 2, 3, 4 definiert. Analog
dazu stellt das Verhältnis
zwischen den angezeigten Zeichen 12 an dem Bildschirm dieses
Endgeräts und
der Größe der Zeichen
in dem Text 9, 8, 14, 15 der
Originalbilder 2, 3, 4 den Vergrößerungskoeffizienten
der Textzone dar. Diese jeweiligen, das Bild und den Text betreffenden
Vergrößerungskoeffizienten
sind gleich oder verschieden, und zwar je nach dem verwendeten Endgerät 50, 80 und
je nach dem Inhalt des Bildes und des Textes.
-
In
einem bevorzugten Ausführungsbeispiel ist
die hinter der Kennzeichnung A verwendete Hintergrundfarbe 7 (2C)
beispielsweise eine helle Farbe, wenn die Hintergrundfarbe des Bildes 2 dunkel
ist, und umgekehrt ist die Hintergrundfarbe 7, die hinter
der Kennzeichnung A verwendet wird, dunkel, wenn die Hintergrundfarbe
des Bildes 2 hell ist. Somit stehen modifizierte Bilder 11 und
so viele Zeichenfolgen 12 im Textmodus zur Verfügung, die
eine Textzone 8 je Bild bilden; die Textzone 8 je
Bild umfasst so viele Zeichenfolgen 12 (2D)
wie Kennzeichnungen in dem Bild oder in der modifizierten Bildzone 11 vorhanden
sind. In der Darstellung der Zeichnung aus 2D entspricht
die Zeichenfolge 12, die im Textmodus geschrieben ist,
der Kennzeichnung A des Ausgangstextes 9. In der Darstellung
der Zeichnung aus 3 entspricht die Zeichenfolge 12,
die im Textmodus geschrieben ist, den Kennzeichnungen A und B der
Ausgangstexte 14 und 15. Für jedes analysierte Bild erzeugt
die Zusammenführung
jeder Textzone 8 mit jeder entsprechenden Bildzone 11 eine
Bildeinheit 10. Die zuvor gewählten Bildeinheiten 10 können dann
an Endgeräte
mit geringem Anzeigevermögen
gesendet werden (Flow). In einem bevorzugten Ausführungsbeispiel
ist die aus den Zeichenfolgen 12 gebildete Textzone 8 unterhalb
der Bildzone 11 angeordnet, und zwar gemäß den 2A–2D und 3 der
Zeichnungen. Es ist jedoch auch möglich, dass sich die Textzone 8 über der
Bildzone 11 befindet oder sogar in jeder anderen weniger üblichen
Position in Bezug zur Bildzone 11.
-
In
einem weiter entwickelten Ausführungsbeispiel
kann der Text jedes Bildes von einem Sprachsynthesesystem vorteilhafterweise
ersetzt oder begleitet werden, indem sich auf der Serverseite oder,
sofern der Benutzerclient des Endgeräts selbst mit einem Synthesizer
ausgestattet ist, auf der Clientseite ein Text-Sprache-Synthesizer
befindet. Wenn sich der Synthesizer 95 auf der Serverseite
befindet, ermöglicht
die Anwendung das Senden des Satzes aus Klang-, Bild- und Textdateien
an das Endgerät mit
geringem Anzeigevermögen;
wenn der Client mit einem Text-Sprache-Synthesizermodul 85 ausgestattet
ist, ermöglicht
die Anwendung das Senden von Bild- und Textdateien an das Endgerät 80 mit
geringem Anzeigevermögen,
worauf die Sprachsynthese an dem Endgerät durchgeführt wird. Sie ermöglicht zudem
die Erzeugung einer bestimmten Stimmlage für jede in einem Bild erkannte
und einer eindeutigen Kennzeichnung zugeordneten Zeichenfolge.
-
In
einem weiteren Ausführungsbeispiel
kann der Text, beispielsweise manuell unter Verwendung der Zeichenfolge
der Ausgangssprache, in die Sprache des Endgerätebenutzers übersetzt werden;
die Übersetzung
kann beispielsweise von einer Mitteilung erfolgen, die von dem Benutzer
von seinem Erdgerät
an den Server übertragen
wurde; oder die Übersetzung
in die Sprache des Benutzers erfolgt automatisch, wenn er den entsprechenden
Dienst abonniert, worauf die Daten in der bei Abschluss des Abonnements
gewählten
Sprache gesendet werden.