DE10336320A1

DE10336320A1 - Information extraction method e.g. for telecommunication system, involves acquiring information from picture or sequence of pictures on mobile equipment such as camera

Info

Publication number: DE10336320A1
Application number: DE10336320A
Authority: DE
Inventors: Marian Trinkel; Christel Müller; Jin Liu
Original assignee: Deutsche Telekom AG
Current assignee: Deutsche Telekom AG
Priority date: 2003-08-05
Filing date: 2003-08-05
Publication date: 2005-03-03

Abstract

The method involves acquiring information from a picture or a sequence of pictures on mobile equipment such as a camera. A digital admission is provided, where part of the information is transferred via wireless data communication of the equipment into a communications network such as a telephone network and or the Internet. The information is accessible over the network to a computer where it can be interpreted. An independent claim is included for a system.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erlangung von Information aus einer Aufnahme, die ein einzelnes Bild oder eine Sequenz von Bildern aufweist, wobei mittels eines insbesondere mobilen mit einer Kamera und/oder einem Digitalisierer versehenen Gerätes eine digitale Aufnahme erstellt wird, wobei zumindest ein Teil der Aufnahme via drahtloser Datenübertragung von dem Gerät in ein Kommunikationsnetz, insbesondere ein Telephonnetz und/oder das Internet, versendet wird und wobei die Aufnahme an einen an das Netz angeschlossenen Computer adressiert wird. Die Erfindung betrifft ebenfalls ein System zur Umsetzung des Verfahrens.The The present invention relates to a method for obtaining information from a shot that is a single image or a sequence of Having images, wherein by means of a particular mobile with a Camera and / or digitizer provided a device digital recording is created, taking at least part of the recording via wireless data transmission from the device in a communication network, in particular a telephone network and / or the internet, is sent and taking the recording to an the network connected computer is addressed. The invention also relates to a system for implementing the method.

Derartige Verfahren werden realisiert bei der Versendung von Bildern, die mit der Kamera eines Mobiltelephons (Handys) aufgenommen und über ein Netzwerk, insbesondere mit MMS-Technologie („Multimedia Massaging Services") zum Mobiltelephon, zum PDA („Private Digital Assistent") oder zum Computer eines Gesprächspartners übermittelt werden. In dieser bekannten Art der Übermittlung erlangt der Adressat aus dem Inhalt der erhaltenen Aufnahme eine gewisse Information vom Absender. Dabei kommt es bei dieser Art der Versendung von Bildern weniger auf die Übertragung von nutzbarer Inhaltsinformation als auf die Übertragung des Bildes an sich an.such Procedures are realized when sending pictures that taken with the camera of a mobile phone (mobile phones) and over a network, in particular with MMS technology ("Multimedia Massaging Services") to the mobile phone, to PDA ("Private Digital Assistant ") or to the computer of a conversation partner become. In this known type of transmission, the addressee obtains from the content of the received recording some information from the sender. It comes with this way of sending pictures less on the transmission of usable content information than the transmission of the image itself.

Nachteilig an den bekannten Verfahren ist somit, dass sich aus der Versendung der Aufnahmen nur ein begrenzter Nutzen für den Anwender ergibt. Für ihn ist es lediglich ein komfortabler Weg, Bilder, beispielsweise zur Weiterbearbeitung oder zur Archivierung, zu versenden. Der Nutzer sieht somit derzeit wenig Grund dafür, Geräte zu erwerben, die, wie moderne Handys oder PDA's, die Funktion der Bildversendung unterstützen. Für den Netzbetreiber ergibt sich somit der Nachteil, dass seine Netzkapazitäten nur unzureichend genutzt werden. Diese Nachteile gewinnen in Zukunft an Bedeutung, wenn die vergleichsweise großen Kapazitäten der UMTS Netze zur Verfügung stehen und möglichst weitgehend ausgenutzt werden sollen.adversely The known method is thus that from the shipment the footage gives only a limited benefit to the user. For him is It's just a comfortable way, pictures, for example, for further processing or for archiving. The user currently sees little The reason for this, equipment which, like modern cell phones or PDAs, support the image-sending function. For the network operator Thus, there is the disadvantage that its network capacity only be used insufficiently. These disadvantages will gain in the future important if the comparatively large capacities of UMTS networks are available and as possible should be widely exploited.

Ganz allgemein spielt die mobile Kommunikation in den letzten Jahren eine immer wichtigere Rolle im Telekommunikationsbusiness. Die rasante Entwicklung neuer mobiler Endgeräte, wie UMTS- und internetfähigen Handys und PDAs, ermöglicht einerseits einen schnellen und breitbandigen Daten- und Informationszugang zu verschiedensten Daten. Andererseits werden immer höhere Anforderungen an Serviceanbieter gestellt, die deren Dienste nutzungsfreundlich, komfortabel, überall und zu jeder Zeit anbieten möchten. "Ubiquitous Services" sind solche Dienste, die zuverlässig und leicht zugänglich sind und von Kunden intuitiv und einfach benutzt werden können.All In general, mobile communication has been playing in recent years an increasingly important role in the telecommunications business. The rapid development new mobile devices, like UMTS and internet enabled Cell phones and PDAs on the one hand a fast and broadband data and information access to different data. On the other hand, ever increasing demands Service providers who make their services easy to use, comfortable, everywhere and want to offer at any time. "Ubiquitous services" are such services the reliable and are easily accessible and can be used intuitively and easily by customers.

Aufgabe der vorliegenden Erfindung ist es nunmehr, ein solches Verfahren derart weiterzuentwickeln, dass es bei einfacher und kostengünstiger Umsetzung dem Nutzer einen beachtlichen Mehrwert seines Gerätes sowie eine höhere Güte der Information bietet und das in Folge dessen zu einer erhöhten Nachfrage und Ausnutzung von Netzkapazitäten führt. Aufgabe ist es zudem, ein System zur Umsetzung des Verfahrens zu schaffen.task Now, the present invention is such a method develop so that it is simple and inexpensive implementation the user a considerable added value of his device as well a higher one Goodness of Information offers and consequently an increased demand and utilization of network capacities. task it is also to create a system for implementing the procedure.

Diese Aufgaben werden durch das Verfahren mit den kennzeichnenden Merkmalen des Anspruch 1 und das System mit den kennzeichnenden Merkmalen des Anspruch 11 gelöst.These Tasks are performed by the method with the characteristic features of claim 1 and the system having the characterizing features of claim 11 solved.

Der erfindungsgemäße Grundgedanke liegt darin, die Aufnahmen zu interpretieren und die aus der Interpretation gewonnene Inhaltsinformation zur Verfügung zu stellen. Dabei wird der Begriff „Aufnahme" allgemein verwendet und kann sein ein per photographischer Kamera aufgenommenes Bild oder Bildsequenz oder ein auf dem sensitiven Touchscreen eines Digitalisierers erstelltes Bild, wobei die jeweilige Aufnahme im Speicher eines Gerätes insbesondere des Computers (Servers) abgelegt wird. Über den Computer ist sie dann zugänglich und kann einer Analyse im Hinblick auf ihren Bildinhalt unterzogen werden. Diese ganz allgemeine Analyse kann eine erste Untersuchung der Aufnahme nach rein technischen Merkmalen sein und/oder auch schon in dieser frühen Phase bildbearbeitende Elemente enthalten. In einer solchen ersten Bildbearbeitung kann eine Bildsequenz in einzelne Bilder oder ein Einzelbild in mehrere Bestandteile aufgeteilt werden. Es ist auch denkbar, im Rahmen der Analyse erkennbare Details aus der Aufnahme für die spätere Bearbeitung herauszugreifen. In einer anderen Form kann die Analyse aber auch schon eine Bildinterpretation beinhalten. Nachdem dann zumindest ein Teil des Inhaltes der Aufnahme interpretiert, respektive erkannt, wurde, wird diese Interpretation als Inhaltsinformation ausgegeben.Of the inventive idea lies in interpreting the recordings and interpretations to provide obtained content information. It will the term "recording" is commonly used and may be an image taken by a photographic camera or image sequence or on the sensitive touchscreen of a digitizer created image, wherein the respective recording in the memory of a equipment in particular the computer (server) is stored. On the Computer is then accessible and can be analyzed for image content become. This very general analysis may be a first investigation be recording for purely technical features and / or also already in this early Phase image-editing elements included. In such a first Image editing can be a picture sequence in single images or a Single image can be divided into several components. It is also conceivable, in the analysis recognizable details from the recording for the latter To pick out processing. In another form, the analysis but also already include a picture interpretation. After then interpreted at least part of the content of the recording, respectively was recognized, this interpretation is as content information output.

Dabei ist es vorteilhaft, wenn die Bilderkennung automatisch mittels bekannter Algorithmen für die Bilderkennung oder durch einen Vergleich mit in Datenbanken abgelegten Bildern bewerkstelligt wird. Es ist in einer besonders einfachen Form des erfindungsgemäßen Verfahrens aber auch möglich, dass die Interpretation durch Personal, beispielsweise vom Personal eines Call-Centers, vorgenommen wird, das die Information dann zur Weiterbenutzung zur Verfügung stellt. Ein besonderer Vorteil der Erfindung liegt erkennbar darin, dass die Bilddaten zentral durch den Server ausgewertet werden. Dem zentralen Server stehen wesentlich größere Datenbanken zur Verfügung, als sie auf den einzelnen Geräten realisiert werden könnten.It is advantageous if the image recognition is accomplished automatically by means of known algorithms for image recognition or by comparison with images stored in databases. However, in a particularly simple form of the method according to the invention, it is also possible for the interpretation to be carried out by personnel, for example by the staff of a call center, who then makes the information available for further use. A particular advantage of the invention is recognizable in that the image data centrally be evaluated by the server. The central server has much larger databases available than could be realized on the individual devices.

Wie dargestellt, kann das erfindungsgemäße Verfahren eingesetzt werden für die Interpretation digital aufgenommener Einzelbilder oder für Sequenzen, beispielsweise bei Videosequenzen. Vorteilhafterweise werden die Bilddaten vom mobilen Gerät zu dem adressierten Computer via eines Kommunikationsnetzes insbesondere via Mobilfunk übertragen. Um eine globale Versendung zu ermöglichen, ist es zudem vorteilhaft, die Daten vom Mobilfunknetz in das Internet einzuspeisen, an das der Server angeschlossen ist.As represented, the inventive method can be used for the Interpretation of digitally captured frames or sequences, for example, in video sequences. Advantageously, the Image data from the mobile device to the addressed computer via a communication network in particular transmitted via mobile phone. Around to enable a global shipment It is also advantageous to transfer the data from the mobile network to the Internet feed to which the server is connected.

Es gibt verschiedene Möglichkeiten, das erfindungsgemäße Verfahren vorteilhaft einzusetzen: Eine besonders interessante Form ist die des „Ubiquitous^„-Service, wobei „ubiquitous" gleichbedeutend ist mit „überall". In dieser Anwendungsform können Personen überall und jederzeit gezielt mit Information versorgt werden. Dazu setzt der Benutzer ein kleines mobiles Gerät mit Kamera ein, das er unmittelbar bei sich führt und mit dem er bei Bedarf die Aufnahme durch Betätigung eines Auslösers auslöst. Mit diesem Gerät kann er zum Beispiel auf eine Hinweistafel fokussieren, deren inhaltliche Bedeutung er nicht versteht. Das Bild der Hinweistafel kann dann über insbesondere drahtlose Netze wie GSM und über Internet zu einem Server gesendet werden, auf dem ein Bilderkennungs- und Interpretationsprogramm realisiert ist. Nachdem der Inhalt der Hinweistafel in eine dem Nutzer zugängliche Information „übersetzt" wurde, wird sie als digitale Daten insbesondere auf dem gleichen Weg via Kommunikationsnetz und drahtloser Datenübertragung an das die Kamera aufweisende Gerät zurück übermittelt. Dann kann die Information über einen Lautsprecher oder einen Bildschirm des Gerätes für den Nutzer verständlich ausgegeben werden. Auf diese Weise kann sich eine Person in einer ihr fremden Umgebung orientieren. Die Inhaltsinformation wird also zurück an den Benutzer, der die Aufnahme initiiert hat, übermittelt, wobei ihm die Inhaltsinformation hier als Sprachinformation über ein entsprechendes Ausgabemittel dargeboten werden kann.There are several ways to use the inventive method advantageous: A particularly interesting form is that of the "ubiquitous ^" service, where "ubiquitous" is synonymous with "everywhere". In this application form, people can be supplied with information anywhere, anytime. For this purpose, the user uses a small mobile device with a camera, which he leads directly to him and with which he triggers recording if necessary by pressing a trigger. With this device, for example, he can focus on a billboard whose meaning he does not understand. The image of the billboard can then be sent via particular wireless networks such as GSM and the Internet to a server on which an image recognition and interpretation program is realized. After the content of the billboard has been "translated" into user-accessible information, it is transmitted back as digital data, in particular in the same way via communication network and wireless data transmission to the device having the camera, and then the information can be transmitted via a speaker or a screen In this way, a person can orient themselves in a foreign environment, ie, the content information is transmitted back to the user who initiated the recording, whereby the content information is communicated to him as language information about a corresponding user Issue means can be presented.

Die beschriebene Anwendung ist typisch für Ubiquitous Services. Sie macht deutlich, dass Kunden der Ubiquitous Services vor allem Mobilgeräteanwender (Nutzer von Handys, PDAs oder Car Navigators) sind, die unterwegs mit aktuellen und erwünschten Informationen, beispielsweise mit E-Mails, mit einem Kalender oder mit Verkehrsmeldungen, versorgt werden möchten und/oder die dringend nach Hilfe, wie einem Stadtplan, einem Übersetzer oder einer Weganweisung suchen.The described application is typical of ubiquitous services. she makes it clear that customers of ubiquitous services mainly mobile device users (Users of cell phones, PDAs or Car Navigators) are on the go with current and desired Information, for example, with emails, with a calendar or with traffic news, want to be supplied and / or urgent for help, such as a city map, a translator or a road instruction search.

In der Art der Umsetzung sind verschiedene Varianten möglich. Vorteilhafterweise wird zunächst durch einen an dem Gerät befindlichen Auslöser, wie bei einem Photoapparat, das Erstellen und Versenden der Aufnahme initiiert. Dabei wird der Auslöser vom Benutzer insbesondere durch mechanische Beaufschlagung, also beispielsweise durch Fingerdruck, oder aber durch einen einfachen Sprachbefehl betätigt. Eine solch einfache Handhabung bietet dem Nutzer ein Höchstmaß an Komfort.In the type of implementation, various variants are possible. advantageously, is going through first one on the device located trigger, as with a camera, creating and sending the recording initiated. This is the trigger of the Users in particular by mechanical action, so for example operated by finger pressure, or by a simple voice command. A Such ease of use offers the user the highest level of comfort.

Auf der einen Seite ist es möglich, die von dem Gerät erstellte Aufnahme als ganzes zu versenden. Auf der anderen Seite ist es aber im Hinblick auf einen möglichst schonenden Umgang mit den Ressourcen sinnvoll, die Aufnahme mit einem in dem mobilen Gerät realisierten Programm einer Vorbearbeitung zu unterziehen. Dabei kann, wie schon erwähnt, die Datenmenge beispielsweise durch das Ausschneiden interessanter Objekte reduziert werden. Es ist aber auch möglich, die Daten der kompletten Aufnahme mit Hilfe einer der bekannten Algorithmen zu komprimieren. Die Übertragung einer so vorbereiteten Aufnahme ist dann wegen der reduzierten Datenmenge besonders schnell, so dass der Nutzer umgehend mit der gewünschten Information versorgt werden kann.On one side it is possible the one from the device to send created recording as a whole. On the other hand but it is with regard to the most gentle way of dealing with resources, recording with a mobile device Program to undergo a pre-processing. It can, as already mentioned that Amount of data, for example, by cutting interesting objects be reduced. It is also possible to record the complete recording using one of the known algorithms to compress. The transfer such a prepared recording is then because of the reduced amount of data especially fast, allowing the user to promptly with the desired Information can be supplied.

Die Vorbereitung der Aufnahme im Hinblick auf eine Reduzierung der Bilddaten, z.B. im Sinne einer Informationsauswahl, kann auch dadurch bewerkstelligt werden, dass vom Benutzer ein Bildbestandteil oder ein Objekt der Aufnahme, beispielsweise durch gezielte Beaufschlagung eines Touch-Screens, ausgewählt wird, bevor sie zur Interpretation versendet wird. Die Reduzierung findet in diesem Fall somit durch eine bewusste Selektion durch den Nutzer statt.The Preparation of the recording with a view to reducing the image data, e.g. in the sense of an information selection, can also be accomplished thereby be that of the user an image component or an object of Recording, for example by targeted exposure to a touch screen, selected is sent before being sent for interpretation. The reduction takes place in this case by a conscious selection the user instead.

In einer ganz anderen Art der Umsetzung wird das mobile Gerät von dem Nutzer nicht aktuell und spontan gehandhabt, sondern es wird stattdessen mit einem Fahrzeug fest verbunden, von wo aus es automatisch in Zyklen oder kontinuierlich Bilder generiert. Diese Aufnahmen werden dann vom Fahrzeug automatisch über das Netz an den Computer versendet. Eine solche Anwendung ist beispielsweise im Straßenverkehr denkbar, wo eine Vielzahl von Autos jeweils mit mindestens einer Kamera ausgerüstet werden, mit der ständig die Verkehrssituation aufgenommen wird, wobei die Daten an eine Zentrale gesendet werden. Die so erzeugten Bilder werden automatisch nach signifikanten Situationen, wie Verkehrsvergehen, Verkehrsunfällen oder Staus, abgesucht, wobei das Auftreten einer solchen Situation registriert wird. Dann setzt ein Automatismus ein, in dem ein Signal ausgegeben und/oder das interessante Bildmaterial dauerhaft gespeichert wird. In dieser vorteilhaften Ausführungsform geschieht die Interpretation der Aufnahmen automatisch und die Inhaltsinformation wird erst weitergegeben, wenn ein für den Nutzer oder den Auswerfer bemerkenswertes Ereignis festgestellt wurde. Die Inhaltsinformation wird dabei vorteilhafterweise nicht an den Nutzer, also den Fahrer des Wagens, sondern an einen Dritten, insbesondere die Verkehrswacht, ausgegeben.In a completely different way of implementation, the mobile device is not handled up-to-date and spontaneously by the user, but instead is firmly connected to a vehicle, from where it automatically generates images in cycles or continuously. These recordings are then automatically sent by the vehicle to the computer via the network. Such an application is conceivable, for example, in road traffic, where a plurality of cars are each equipped with at least one camera, with which the traffic situation is constantly recorded, the data being sent to a control center. The images thus generated are searched automatically for significant situations such as traffic offenses, traffic accidents or traffic jams, and the occurrence of such a situation is registered. Then an automatism begins in which a signal is output and / or the interesting image material is stored permanently. In this advantageous embodiment, the interpretation of the recordings is done automatically and the In Information will not be passed on until an event notable to the user or the ejector has been detected. The content information is advantageously not to the user, so the driver of the car, but to a third party, in particular the traffic guard issued.

Es kann auf der anderen Seite aber auch in dieser Ausführungsform vorteilhaft sein, die Bildinformation dem Nutzer zur Verfügung zu stellen. So könnte durch die Kamera der Zustand des Fahrers, insbesondere seine Blickrichtung, kontrolliert werden. Sollte er Zeichen der Ermüdung zeigen, so könnte automatisch ein Warnsignal ertönen. Eine solche Fahrerkontrolle könnte auch insofern mit der Steuerung für den Airbag gekoppelt werden, als dieser nur auslöst, wenn Fahrer und Beifahrer ihren Kopf möglichst nach geradeaus gerichtet haben. Damit könnten schwere Schädigungen im Halswirbelbereich durch seitliches Auftreffen des explodierenden Airbags auf den Kopf vermieden werden.It on the other hand but also in this embodiment be advantageous to the image information available to the user put. So could through the camera the condition of the driver, in particular his line of sight, to be controlled. Should he show signs of fatigue, it could automatically sound a warning signal. Such a driver control could also be coupled with the control for the airbag in this respect, when this one just triggers, if the driver and front passenger head as far as possible straight ahead to have. With that could severe damage in the cervical region by lateral impact of the exploding airbag be avoided upside down.

Nachfolgend werden Ausführungsformen der Erfindung anhand der 1 und 2 näher erläutert. Es zeigen:Hereinafter, embodiments of the invention with reference to 1 and 2 explained in more detail. Show it:

1 eine besondere Anwendung der Erfindung und 1 a particular application of the invention and

2 ein Flussdiagramm, das den Ablauf des Verfahrens veranschaulicht. 2 a flow chart illustrating the flow of the process.

Die Figur zeigt eine typische Anwendung. Der Nutzer 1 befindet sich in der ihm fremden Stadt. Er sieht ein Verkehrszeichen 2 und versteht nicht, was es bedeutet. Mit Hilfe seines UMTS-fähigen Mobilfunkgeräts oder seines PDA 3 mit eingebauter Kamera 6, Mikrofon 7 und Lautsprecher 8 nimmt er das fremdsprachige Verkehrszeichen 2 auf. Dabei kann die Kamera 6 per Sprache oder per Tastendruck bedient und die Aufnahme initiiert werden. Er sendet die Aufnahme per drahtloser Funkübertragung 14 an einen Zugang zum Internet 4, an das ein Übersetzungsdienst mit Server 5 angeschlossen ist. Dort wird der Text automatisch extrahiert in die vom Nutzer gewünschte Sprache übersetzt. Der Nutzer 1 hört den übersetzten Text per Sprachausgabe, wobei dieser über eine „Text-to-Speech"- Funktion in Sprache umgesetzt wurde. Er kann sich wahlweise den übersetzten Text auch auf dem Display anzeigen lassen.The figure shows a typical application. The user 1 is located in the strange city. He sees a traffic sign 2 and does not understand what it means. With the help of his UMTS-enabled mobile device or his PDA 3 with built-in camera 6 , Microphone 7 and speakers 8th he takes the foreign language traffic sign 2 on. This can be the camera 6 operated by voice or by pressing a button and the recording be initiated. He sends the recording via wireless radio transmission 14 to an internet access 4 to which a translation service with server 5 connected. There, the text is automatically extracted and translated into the language desired by the user. The user 1 hears the translated text by voice, which has been translated into speech via a "text-to-speech" function, and can optionally display the translated text on the display as well.

Nach dem Schaubild in 2 wird erfindungsgemäß zunächst das Objekt respektive die Situation mittels der Kamera des Gerätes 9 aufgenommen. Nachfolgend (Punkt 10) geschieht eine Selektion des Zielobjektes auf manuellem, sprachlichem oder gänzlich automatisiertem Wege, bevor die Daten drahtlos über ein Netz (Punkt 11) auf einen Server 12 übertragen werden. Dort werden die Daten bearbeitet, d.h. die Aufnahme interpretiert, und der Bildinhalt über den Weg 13 zum Gerät 9 zum Zwecke der Informationsausgabe übergeben, wobei dieser „Rück"-Weg dem „Hin"-Weg entsprechen kann aber nicht zwangsläugfig muss.After the diagram in 2 According to the invention, first the object or the situation by means of the camera of the device 9 added. Below (point 10 ) is done a selection of the target object in a manual, linguistic or fully automated way, before the data wirelessly over a network (point 11 ) on a server 12 be transmitted. There, the data is edited, ie the recording interpreted, and the image content on the way 13 to the device 9 for the purpose of the information output passed, this "return" way can correspond to the "way" way but does not have to be compulsory.

In einer besonderen Form weist das System folgende Komponenten auf und erfüllt damit entsprechende Anforderungen. Wichtig ist zunächst das User-Interface am Endgerät: So weisen die meisten mobilen Endgeräte kleine Displays und Tastaturen auf, wobei neben den Tastaturen und Touchscreens die Sprache das natürlichste Kommunikationsmittel für den Informationsaustausch ist. Eine Kombination von multimodalen Zugangsmöglichkeiten zu den Services, z. B. per Sprache, Griffel und/oder Tastatur, und die multimediale Wiedergabe der komplexeren Informationen, insbesondere per Sprache, Text, Grafik und/oder Video, erhöhen die Nutzungsakzeptanz und die Kundenzufriedenheit. So kann auch statt einer Spracheingabe, wie „Übersetze mir diese Verkehrszeichen" auch der fremde Text per Griffel auf dem Screen eines Digitalisierers abgeschrieben werden.In In a special form, the system has the following components and fulfilled with corresponding requirements. Important is first the user interface on the terminal: So wise most mobile devices small displays and keyboards on, in addition to the keyboards and Touchscreens the language the most natural Means of communication for the information exchange is. A combination of multimodal access to the services, eg B. by voice, stylus and / or keyboard, and the multimedia presentation of the more complex information, in particular by language, text, graphics and / or video, increase the acceptance of use and the customer satisfaction. Thus, instead of a voice input, like "Translate me these traffic signs "too the foreign text per stylus on the screen of a digitizer be written off.

Es sind mit dem erfindungsgemäßen Verfahren auch verteilte Client-Server-Dienste möglich: So kann das oben beschriebene komplexe Anwendungsszenario gleichzeitig mehrere Dienste, wie den Sprach- oder Texterkennungsdienst, den Übersetzungsdienst und/oder den Sprachsynthesedienst in Anspruch nehmen. Einige dieser Dienste können lokal auf dem Endgerät laufen, wenn es sich dabei um ein Rich-Endgerät wie z. B. einen Car-Navigator handelt. Die komplexeren Dienste laufen jedoch verteilt auf mehreren Servern. Effektive Client-Server-Architekturen können geschaffen werden, die einen plattformübergreifenden Zugriff aus unterschiedlichsten mobilen Endgeräten ermöglichen.It are with the inventive method also distributed client-server services possible: Thus, the complex application scenario described above can be simultaneous several services, such as the voice or text recognition service, the translation service and / or use the speech synthesis service. Some of these Services can locally on the terminal run, if this is a rich end device such. B. a car navigator is. The more complex services, however, are spread over several Servers. Effective client-server architectures can created a cross-platform access from a variety of mobile terminals enable.

Die erfindungsgemäßen ubiquitous Services können Zugriffe von verschiedenen Endgeräten erlauben und somit den Kunden die Dienste in beliebiger Form an beliebigen Ort (Endgerät) liefern. Wenn z. B. ein PDA nur mit einer Kamera, nicht aber mit einem Mikrofon und einem Lautsprecher ausgerüstet ist, kann der User in dem oben genannten Beispiel die Szene per PDA aufnehmen und sich den übersetzten Text dann auf seinem Handy per Sprache ausgeben lassen. Insofern können die Multi-Endgeräte synchronisiert sein.The ubiquitous according to the invention Services can Allow access from different devices and thus the Provide customers with the services in any form to any location (terminal). If z. B. a PDA only with a camera, but not with a microphone and a speaker is equipped, In the above example, the user can record the scene via PDA and translated Text can then be output on his mobile phone by voice. insofar can the multi-terminals be synchronized.

Für die einzelnen Dienste, wie die Spracherkennung, die Sprachsynthese und die Texterkennung, kann auf kommerzielle Produkte zugegriffen werden. Für die System- und Serviceintegration sind entsprechende Entwicklungsumgebungen vorhanden.For the individual Services such as speech recognition, speech synthesis and text recognition, can be accessed on commercial products. For the system and service integration are appropriate development environments available.

Ein System zur Durchführung des Verfahrens kann aufweisen zur Erzeugung digitaler Aufnahmen ein mobiles Gerät mit einer Kamera oder einem Digitalisierer, eine Strecke zur Funkdatenübertragung von dem Endgerät zu einem Kommunikationsnetz und einen an das Kommunikationsnetz angeschlossenen Computer. Auf dem Computer ist ein Interpretationsmodul realisiert, das die Aufnahme einer Analyse unterzieht, einen Bildbestandteil interpretiert und die Interpretation als Inhaltsinformation zur Weiterverarbeitung zur Verfügung stellt. Das Gerät kann ein Mobiltelephon oder ein PDA mit integrierter Web-Cam sein, das über Mobilfunk Zugang zu dem Kommunikationsnetz hat.One System for implementation of the method may comprise for generating digital recordings a mobile device with a camera or a digitizer, a route for wireless data transmission from the terminal to a communication network and to the communication network connected computer. On the computer is an interpretation module realized, which subjects the recording to an analysis, an image component interpreted and the interpretation as content information to Further processing available provides. The device can be a mobile phone or a PDA with integrated web cam, the above Mobile has access to the communication network.

Claims

A method of obtaining information from a photograph comprising an image or a sequence of images, wherein by means of a mobile device in particular ( 3 ), which is a camera ( 6 ) and / or a digitizer, a digital recording is created, wherein at least a part of the recording via wireless data transmission from the device into a communication network ( 4 ), in particular a telephone network and / or the Internet, and whereby the admission to the network ( 4 ) connected computer ( 5 ), characterized in that via the computer ( 5 ) is subjected to an analysis regarding its content, that at least part of the content is interpreted and that the interpretation is output as content information.

Method according to claim 1, characterized in that that analysis and interpretation automatically by a program performed for image recognition become.

Method according to claim 1 or 2, characterized in that the camera ( 6 ) mobile device ( 3 ) directly from a user ( 1 ) and recording by the user ( 1 ) is triggered when needed.

Method according to one of the preceding claims, characterized in that the content information is returned to the user ( 1 ), which initiated the recording, is transmitted, wherein the content information in particular as language information on a corresponding output means ( 8th ) is presented.

A method according to claim 4, characterized in that the content information as digital data in the same way via communication network ( 4 ) and wireless data transmission to the device having the camera ( 1 ) is transmitted back.

Method according to one of the preceding claims, characterized in that the creation and sending of the recording by one on the device ( 1 ) trigger ( 7 ), the trigger ( 7 ) by the user ( 1 ) is actuated in particular by mechanical action or by a voice command.

Method according to one of the preceding claims, characterized in that with one in the mobile device ( 3 ) program preprocessing the recording, in particular a reduction and / or compression of the data, is performed before the pre-processed recording is sent.

Method according to claim 7, characterized in that the user ( 1 ) an image component or an object of the recording, in particular by targeted exposure of a touch screen, is selected, which is sent for interpretation.

Method according to one of the preceding claims, characterized in that the device ( 1 ) is firmly connected to a vehicle, wherein the camera in a fixed cycle takes pictures that automatically via the network to the computer ( 5 ).

Method according to claim 9, characterized in that that the interpretation of the recordings happens automatically and the content information is not disclosed until a notable Event was detected.

Method according to one of the preceding claims, characterized characterized in that the content information is output to a third party becomes.

System for carrying out the method according to one of the preceding claims, comprising a mobile device ( 3 ) with a camera ( 6 ) or a digitizer for generating digital recordings, comprising a link for radio data transmission ( 14 ) from the device to a communications network ( 4 ) and having a computer connected to the communication network ( 5 ), characterized by a on the computer ( 5 ) interpreted interpretation module, which subjects the inclusion of an analysis, interpreted an image component and provides the interpretation as content information for further processing.

System according to claim 12, characterized in that the device ( 3 ) comprises a mobile communication unit such as in particular a mobile phone or a PDA with integrated camera is, wherein the device has a communication access to a network.