DE102009043641A1

DE102009043641A1 - Method for displaying information concerning an object

Info

Publication number: DE102009043641A1
Application number: DE102009043641A
Authority: DE
Original assignee: Sureinstinct I G GmbH; Sureinstinct Ig GmbH
Current assignee: Sureinstinct I G GmbH; Sureinstinct Ig GmbH
Priority date: 2009-09-09
Filing date: 2009-09-29
Publication date: 2011-03-10
Also published as: WO2011029834A1

Abstract

Ein verbessertes Verfahren zum Anzeigen von ein Objekt (42) betreffenden Informationen (26) enthält die Schritte: - Aufnehmen eines digitalen Fotos (40) eines Objektausschnittes (24), - Generieren einer digitalen Signatur für den Objektausschnitt (24) aus den digitalen Fotodaten, - Vergleichen der digitalen Signatur mit Referenzsignaturen verschiedener Ausschnitte des Objekts (42), um den aufgenommenen Objektausschnitt (24) zu ermitteln, - Anzeigen des aufgenommenen Fotos (40) auf einem digitalen Display (12), - Einblenden von den Objektausschnitt (24) betreffenden Informationen (26) und/oder Funktionen (28, 30, 32, 34, 36, 38) in dem Display (12) während das Foto (40) angezeigt wird.An improved method for displaying information (26) relating to an object (42) comprises the steps: - taking a digital photo (40) of an object section (24), - generating a digital signature for the object section (24) from the digital photo data, - Comparing the digital signature with reference signatures of different sections of the object (42) in order to determine the taken object section (24), - Displaying the taken photo (40) on a digital display (12), - Fading in of the object section (24) Information (26) and / or functions (28, 30, 32, 34, 36, 38) on the display (12) while the photo (40) is being displayed.

Description

Die Erfindung betrifft ein Verfahren zum Anzeigen von ein Objekt betreffende Informationen.The invention relates to a method for displaying information concerning an object.

Bekannt sind Verfahren, bei denen Mobiltelefone mit einer Reiseführerfunktion versehen werden, um anhand von Positionsinformationen des Mobiltelefons Informationen und Erläuterungen zu der aktuellen Position oder zu Gebäuden oder Orten im Umfeld zu der aktuellen Position abzurufen. Mit Hilfe eines integrierten GPS-Sensors oder anderer Positions- oder Beschleunigungssensoren kann beispielsweise festgestellt werden, dass sich das Mobiltelefon in unmittelbarer Nähe zu einem Objekt von Interesse befindet. Das Mobiltelefon kann dann zur Ausgabe von Informationen über das betreffende Objekt genutzt werden.Are known methods in which mobile phones are provided with a guide function to retrieve information and explanations of the current position or to buildings or locations in the vicinity of the current position based on position information of the mobile phone. With the help of an integrated GPS sensor or other position or acceleration sensors, it can be determined, for example, that the mobile phone is in the immediate vicinity of an object of interest. The mobile phone can then be used to output information about the object in question.

Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum präziseren Anzeigen von ein Objekt betreffende Informationen und/oder Funktionen zu schaffen.The invention has for its object to provide an improved method for more precise display of object information and / or functions.

Das erfindungsgemäße Verfahren ist definiert durch die Merkmale von Patentanspruch 1.The method according to the invention is defined by the features of patent claim 1.

Demnach wird zunächst ein digitales Foto eines Ausschnitts des Objekts aufgenommen und anschließend eine möglichst eindeutige digitale Signatur für den Objektausschnitt aus den digitalen Fotodaten generiert. Die generierte Signatur wird mit Referenzsignaturen verschiedener Objektausschnitte verglichen, um den aufgenommenen Objektausschnitt zu ermitteln. Hierbei kann insbesondere anhand der generierten Signatur zunächst das Objekt selbst durch Vergleichen mit entsprechenden Referenzsignaturen ermittelt werden. Das Foto des Objektausschnitts wird auf einem digitalen Display angezeigt und den Objektausschnitt betreffende Informationen und/oder Funktionen werden in dem Display eingeblendet, während das Foto angezeigt wird. Hierbei sind vorzugsweise verschiedenen der Referenzsignaturen jeweils verschiedene Informationen bzw. Funktionen zugeordnet, wobei die den jeweiligen Objektausschnitt betreffenden Informationen und/oder Funktionen anhand des Vergleichs der generierten Signatur mit den Referenzsignaturen ermittelt werden.Accordingly, a digital photo of a section of the object is first taken and then generated as unambiguous digital signature for the object detail from the digital photo data. The generated signature is compared with reference signatures of different object sections to determine the captured object section. In this case, in particular based on the generated signature, the object itself can first be determined by comparing it with corresponding reference signatures. The photo of the object section is displayed on a digital display, and information and / or functions relating to the object section are displayed on the display while the photograph is displayed. Different information or functions are preferably assigned to different reference signatures in each case, wherein the information and / or functions relating to the respective object detail are determined on the basis of the comparison of the generated signature with the reference signatures.

Das heißt mit anderen Worten, dass zu einem beliebigen Ausschnitt eines beliebigen Objekts zugehörige Informationen zum Beispiel in Form von Texten, Fotos oder Videos zusammen mit dem Objektausschnitt auf dem Display ausgegeben werden. Die Ausgabe erfolgt vorzugsweise in Echtzeit, wobei das Foto als Einzelbild des von der Kamera aufgenommenen Echtzeitvideos zu verstehen ist. Hierbei kann die digitale Signatur des aufgenommenen Objektausschnitts anhand von markanten Punkten in dem Foto generiert werden. Entsprechend können zu verschiedenen Objekten und jeweils verschiedenen Objektausschnitten entsprechende Referenzsignaturen anhand von markanten Punkten erstellt werden, wobei ein Suchalgorithmus die generierte digitale Signatur des aufgenommenen Objektausschnitts mit den Referenzsignaturen vergleicht, um den aufgenommenen Objektausschnitt zu ermitteln. Die Referenzsignaturen können anhand von gespeicherten Fotodaten verschiedener Objekte erstellt werden. Hierbei ist es von besonderem Vorteil, wenn der Suchalgorithmus zum Vergleichen der generierten Signatur des Objektausschnitts mit den Referenzsignaturen auf einem Server mit entsprechender Rechenleistung ausgeführt wird. Auf dem Server sind die benötigten Fotodaten verschiedener Objekte gespeichert. Das Aufnehmen und Anzeigen des Fotos erfolgt mit Hilfe eines Clients, der mit dem Server in Kommunikationsverbindung treten kann, zum Beispiel via W-LAN, UMTS, etc.. Insbesondere ist als Client ein mobiles Kommunikationsgerät mit integrierter Kamera, wie zum Beispiel ein Internet-fähiges Mobiltelefon mit Kamera vorgesehen.In other words, information related to any section of any object, for example in the form of text, photos or videos, is output along with the section of the object on the display. The output is preferably in real time, with the photograph being understood as a frame of real-time video taken by the camera. Here, the digital signature of the captured object section can be generated based on prominent points in the photo. Correspondingly, corresponding reference signatures for different objects and respectively different object sections can be created on the basis of prominent points, wherein a search algorithm compares the generated digital signature of the recorded object section with the reference signatures in order to determine the recorded object section. The reference signatures can be created from stored photo data of different objects. In this case, it is of particular advantage if the search algorithm for comparing the generated signature of the object detail with the reference signatures is executed on a server with corresponding computing power. On the server the required photo data of different objects are stored. The photo is taken and displayed using a client that can communicate with the server, for example via W-LAN, UMTS, etc. In particular, the client is a mobile communication device with an integrated camera, such as an Internet enabled mobile phone with camera.

Besonders vorteilhaft ist das erfindungsgemäße Verfahren zur Darstellung von Informationen zu einem Zeitungsartikel oder anderen Texten oder Fotos eines Printmediums. In diesem Fall ist also der Objektausschnitt der von der Kamera erfasste Bereich einer Zeitungsseite, einer Buchseite oder eines anderen Printmediums. Hierbei kann die Kamera auf den Namen der Zeitung oder auf den Titel des Buches gerichtet werden, um die Zeitungsausgabe bzw. die Buchausgabe zu ermitteln. Im Fall einer Zeitung sind auf dem zugehörigen Server verschiedene Zeitungen in digitaler Form hinterlegt, so dass der Suchalgorithmus zunächst anhand einer digitalen Signatur, aus der Name und Ausgabe der Zeitung eindeutig hervorgehen, die jeweilige Zeitungsausgabe ermittelt. Anhand weiterer digitaler Signaturen weiterer Objektausschnitte, die beispielsweise einen bestimmten Zeitungsartikel enthalten, kann durch Vergleichen mit den Referenzsignaturen der abgebildete Zeitungsartikel ermittelt werden. Hierbei kann der Suchalgorithmus auf dem Server durchgeführt werden. Alternativ oder ergänzend können die Signaturen zu dem betroffenen Objekt auf den Client übertragen werden, um anschließend den Suchalgorithmus zur Ermittlung des jeweiligen Objektausschnitts auf dem Client durchzuführen.The method according to the invention for displaying information on a newspaper article or other texts or photos of a print medium is particularly advantageous. In this case, therefore, the object section is the region of a newspaper page, a book page or another print medium detected by the camera. Here, the camera can be directed to the name of the newspaper or to the title of the book to determine the newspaper edition or the book edition. In the case of a newspaper, various newspapers are stored in digital form on the associated server, so that the search algorithm first determines the newspaper issue by means of a digital signature, from which the name and edition of the newspaper clearly emerge. Based on further digital signatures of further object sections, which contain, for example, a particular newspaper article, the illustrated newspaper article can be determined by comparison with the reference signatures. Here, the search algorithm can be performed on the server. Alternatively or additionally, the signatures for the object in question can be transferred to the client in order subsequently to perform the search algorithm for determining the respective object section on the client.

Auf dem Display des Mobiltelefons können weiterführende Informationen zu dem betroffenen Zeitungsartikel eingeblendet werden. Hierbei werden die weiterführenden Informationen in dem Display vorzugsweise in einer Ebene virtuell oberhalb der Zeitung angeordnet eingeblendet. Durch mehrfaches Wiederholen des erfindungsgemäßen Verfahrens pro Sekunde entsteht bei einem Bewegen der Kamera relativ zu der Zeitung der Eindruck, dass eine nicht existente virtuelle Ebene mit ergänzenden Informationen und/oder Funktionen auf dem Display abgebildet wird. Auf dem Display wird also das von der Kamera aufgenommene Bild kontinuierlich in Echtzeit zusammen mit der virtuellen Ebene mit den Informationen angezeigt.Further information on the newspaper article concerned can be displayed on the display of the mobile phone. In this case, the further information in the display is preferably displayed in a plane virtually arranged above the newspaper. By repeatedly repeating the method according to the invention per second arises when moving the camera relative to the newspaper the impression that one is not existent virtual level with additional information and / or functions on the display. Thus, on the display, the image taken by the camera is continuously displayed in real time along with the virtual plane containing the information.

Das erfindungsgemäße Verfahren ermöglicht es, Informationen zu einzelnen Zeitungsartikeln oder anderweitigen Ausschnitten eines abgebildeten Objekts mit der hierfür erforderlichen Genauigkeit einzublenden. Die herkömmlichen Verfahren unter Verwendung von Positionsinformationen, wie zum Beispiel GPS-Informationen, besitzen hierzu nicht die erforderliche Genauigkeit. Darüber hinaus können mit dem erfindungsgemäßen Verfahren auch bewegten Objekten Informationen zugeordnet werden. Beispielsweise wird das Zuordnen von Informationen zu Zeitungsartikeln einer Zeitung in einem fahrenden Zug überhaupt erst möglich. Zusätzlich oder alternativ zu den eingeblendeten Informationen können auch betreffende Funktionen, wie zum Beispiel ”Speichern”, ”Artikel versenden” oder ”Video starten”, eingeblendet werden.The method according to the invention makes it possible to display information on individual newspaper articles or other sections of an imaged object with the accuracy required for this purpose. The conventional methods using position information, such as GPS information, do not have the required accuracy for this purpose. In addition, with the method according to the invention also moving objects information can be assigned. For example, the assignment of information to newspaper articles of a newspaper in a train is even possible. In addition to or as an alternative to the information displayed, relevant functions such as "Save", "Send article" or "Start video" can also be displayed.

Im Folgenden wird anhand der Figuren ein Ausführungsbeispiel der Erfindung näher erläutert.In the following an embodiment of the invention will be explained in more detail with reference to FIGS.

Es zeigen:Show it:

1 ein Mobiltelefon zur Ausführung des erfindungsgemäßen Verfahrens, 1 a mobile telephone for carrying out the method according to the invention,

2 das Mobiltelefon gemäß 1 über einem Objekt und 2 the mobile phone according to 1 over an object and

3 das Objekt gemäß 2 mit virtuell oberhalb angeordneter Ebene. 3 the object according to 2 with virtually above level.

1 zeigt ein mobiles Kommunikationsgerät 10 in Form eines Internet-fähigen Mobiltelefons mit integrierter Kamera. Die Kamera ist auf der in 1 nicht dargestellten Rückseite des Mobiltelefons angeordnet. Das Mobiltelefon 10 ist mit einem Display 12 versehen, auf dem mit der Kamera aufgenommene Fotos angezeigt werden können. 1 zeigt das Display 12 in einem üblichen Betriebszustand des Mobiltelefons 10. Hierbei werden verschiedene Anwendungen 14, 16, 18 angezeigt, die mit verschiedenen Betriebsfunktionen des Mobiltelefons 10 verknüpft sind. Durch Auswahl der Anwendung 18 startet der Benutzer des Mobiltelefons 10 das erfindungsgemäße Verfahren. 1 shows a mobile communication device 10 in the form of an Internet-enabled mobile phone with integrated camera. The camera is on the in 1 not shown back of the mobile phone arranged. The mobile phone 10 is with a display 12 on which photos taken with the camera can be viewed. 1 shows the display 12 in a normal operating state of the mobile phone 10 , Here are different applications 14 . 16 . 18 displayed with different operating features of the mobile phone 10 are linked. By selecting the application 18 starts the user of the mobile phone 10 the inventive method.

2 zeigt das Mobiltelefon 10 nach Starten der Anwendung 18. Das Mobiltelefon 10 wird über ein Objekt 42 gehalten. Das Objekt 42 ist eine Seite 20 einer Tageszeitung 22. Die Kamera des Mobiltelefons 10 ist aktiviert und nimmt ein Foto 40 eines Objektausschnitts 24 der Zeitungsseite 20 auf und zeigt das Foto 40 des Objektausschnitts 24 auf dem Display 12 an. Das Mobiltelefon 10 ermittelt zunächst markante Punkte in dem Objektausschnitt 24. Markante Punkte sind in der Bildverarbeitung allgemein diejenigen Punkte in einem Bild, die in einer begrenzten Umgebung möglichst einzigartig sind. Die markanten Punkte sind im vorliegenden Fall also zum Beispiel ”breites Rechteck im Hochkantformat im Bildausschnitt unten rechts”, ”schmales Rechteck im Hochkantformat im Bildausschnitt unten links” und ”breites Rechteck im Querformat im Bildausschnitt oben mittig”. Aus den markanten Punkten wird von der Anwendung 18 eine den Objektausschnitt 24 eindeutig identifizierende digitale Signatur erstellt. Die digitale Signatur wird von dem Mobiltelefon 10 an einen nicht dargestellten Server, zum Beispiel über eine UMTS-Verbindung, übertragen. Auf dem Server sind verschiedene Tageszeitungen und insbesondere die Zeitung 22 in digitaler Form gespeichert. Ein Suchalgorithmus generiert sukzessive Referenzsignaturen verschiedener Objektausschnitte der auf dem Server hinterlegten Tageszeitungen, wobei jede Referenzsignatur mit der von dem Mobiltelefon 10 generierten digitalen Signatur verglichen wird, bis eine Übereinstimmung erkannt wird. Bei Übereinstimmen der generierten digitalen Signatur mit einer der Referenzsignaturen werden Informationen 26 und Funktionen 28, 30, 32, 34, 36, die dem betreffenden Objektausschnitt zugeordnet sind, über eine UMTS- oder andere Kommunikationsverbindung von dem Server an das Mobiltelefon gesendet. 2 shows the mobile phone 10 after starting the application 18 , The mobile phone 10 is about an object 42 held. The object 42 is a page 20 a daily newspaper 22 , The camera of the mobile phone 10 is activated and takes a picture 40 an object section 24 the newspaper page 20 up and showing the photo 40 of the object section 24 on the display 12 at. The mobile phone 10 first determines prominent points in the object section 24 , Distinctive points in image processing are generally those points in an image that are as unique as possible in a limited environment. The striking points are in the present case, for example, "wide rectangle in portrait format in the image below right", "narrow rectangle in portrait format in the image below bottom left" and "wide rectangle in landscape orientation in the image above top center". Out of the prominent points is the application 18 one the object section 24 uniquely identifying digital signature created. The digital signature is from the mobile phone 10 to a server, not shown, for example via a UMTS connection transmitted. On the server are several daily newspapers and especially the newspaper 22 stored in digital form. A search algorithm generates successive reference signatures of different object sections of the daily newspapers stored on the server, each reference signature being that of the mobile telephone 10 generated digital signature is compared until a match is detected. Matching the generated digital signature with one of the reference signatures will provide information 26 and functions 28 . 30 . 32 . 34 . 36 that are associated with the subject frame are sent from the server to the mobile via a UMTS or other communication link.

Das Mobiltelefon 10 zeigt auf seinem Display 12, wie in 2 dargestellt, sowohl das Foto 40 des Objektausschnitts 24 an (gestrichelte Linien) als auch die von dem Server übermittelten Informationen 26 und zugehörige Funktionen 28, 30, 32, 34 und 36. Jede der Funktionen 28–36 kann durch Anwählen auf dem Display 12 aktiviert werden. Die Funktion 28 bietet zusätzliche Informationen zu dem Objektausschnitt 24. Die Funktion 30 leitet den zugehörigen Zeitungsartikel über eine Datenverbindung an ein anderes Handy oder an eine E-Mail-Adresse weiter. Die Funktion 32 speichert den zugehörigen Zeitungsartikel. Die Funktion 34 sucht Zeitungsartikel zu ähnlichen Themen, zum Beispiel in derselben Zeitung oder auf einer Datenbank, und stellt diese auf dem Display 12 dar. Die Funktion 36 ruft Fotos 40 zu dem Zeitungsartikel von einer Datenbank auf dem Server ab und stellt diese auf dem Display 12 dar.The mobile phone 10 shows on his display 12 , as in 2 shown, both the photo 40 of the object section 24 (dashed lines) as well as the information transmitted by the server 26 and related functions 28 . 30 . 32 . 34 and 36 , Each of the functions 28 - 36 can by selecting on the display 12 to be activated. The function 28 provides additional information about the object section 24 , The function 30 Forwards the associated newspaper article via a data connection to another mobile phone or to an e-mail address. The function 32 saves the associated newspaper article. The function 34 looks for newspaper articles on similar topics, for example in the same newspaper or on a database, and puts them on display 12 dar. The function 36 gets photos 40 to the newspaper article from a database on the server and put it on the display 12 represents.

Sämtliche Informationen 26 und Funktionen 28–36 werden auf dem Display 12 in einer virtuell über der Zeitung 22 angeordneten Ebene dargestellt. Das Verfahren wird mit einer solchen Wiederholfrequenz von mehreren Wiederholungen pro Sekunde ausgeführt, dass bei Verschwenken des Mobiltelefons 10 über der Zeitung 22 der Eindruck entsteht, dass auf dem Handy-Display 12 eine vollständige virtuelle Ebene, wie in 3 dargestellt, mit Funktionen und Informationen zu jedem Zeitungsartikel abgebildet werden kann. Bei Verschwenken des Mobiltelefons 10 in den mittleren Bereich der Zeitungsseite 20 kann beispielsweise die Funktion 38 zum Ansehen eines Videos mit weiteren Informationen zu dem mittigen Zeitungsartikel dargestellt werden. Das Video gemäß der Funktion 38 kann automatisch gestartet werden, sobald das Handy-Display 12 die Funktion 38 abbildet. Alternativ kann ein Startknopf zum Starten des Videos auf Wunsch des Benutzers vorgesehen sein.All information 26 and functions 28 - 36 will be on display 12 in a virtual over the newspaper 22 arranged level shown. The procedure is carried out with such a repetition frequency of several repetitions per second that with pivoting of the mobile telephone 10 over the newspaper 22 the impression arises that on the phone screen 12 a full virtual level, like in 3 presented with features and information about each newspaper article. When swiveling the mobile phone 10 in the middle section of the newspaper page 20 For example, the function 38 to watch a video with further information about the central newspaper article. The video according to the function 38 can be started automatically as soon as the phone screen 12 the function 38 maps. Alternatively, a start button for starting the video may be provided at the request of the user.

Claims

Method for displaying an object ( 42 ) ( 26 ), with the steps: - taking a digital photo ( 40 ) of an object section ( 24 ), - generating a digital signature for the object section ( 24 ) from the digital photo data, - comparison of the digital signature with reference signatures of different sections of the object ( 42 ) to capture the captured object section ( 24 ), - displaying the recorded photo ( 40 ) on a digital display ( 12 ), - Show the object section ( 24 ) ( 26 ) and / or functions ( 28 . 30 . 32 . 34 . 36 . 38 ) in the display ( 12 ) while the photo ( 40 ) is shown.

A method according to claim 1, characterized in that the digital signature from the object section ( 24 ) characterizing prominent points is created.

A method according to claim 1 or 2, characterized in that a search algorithm, the reference signatures of different object sections based on stored photo data of the object ( 42 ) and then compare the generated signature with the reference signatures.

Method according to one of claims 1-3, characterized in that a client of a client-server arrangement, the digital photo ( 40 ), generates and generates the digital signature, and that a server of the client-server arrangement stores the stored photo data of the object ( 42 ), wherein the generated digital signature is transmitted via a data connection from the client to the server and the object section ( 24 ) ( 26 ) and / or functions ( 28 . 30 . 32 . 34 . 36 . 38 ) from the client to the server.

A method according to claim 4, characterized in that the search algorithm is executed on the server.

A method according to claim 4 or 5, characterized in that the client is a mobile communication device ( 10 ), in particular a mobile telephone, with integrated digital camera, wherein the communication connection between client and server is a mobile radio connection.

Method according to one of claims 1-6, characterized in that the object ( 42 ) a page ( 20 ) of a newspaper ( 22 ) or a book, another print medium or another carrier of image and / or text information.

Method according to one of claims 1-7, characterized in that the object section ( 24 ) ( 26 ) in a plane virtually above the object ( 42 ) are displayed arranged.

Method according to claim 8, characterized in that the method is repeatedly carried out several times a second, so that on the display ( 12 ) the impression of a virtual level with the information ( 26 ) and / or functions ( 28 . 30 . 32 . 34 . 36 . 38 ) above the object ( 42 ) arises.

Method according to one of claims 1-9, characterized in that the information ( 26 ) Text information or the object section ( 24 ) related photos ( 40 ) or videos are.

Method according to one of claims 1-10, characterized in that the functions ( 28 . 30 . 32 . 34 . 36 . 38 ) Save the object section ( 24 ), Presenting the information ( 26 ), Start a video, view more photos ( 40 ) or texts and / or sending a link via which an associated reference object section ( 24 ) can be accessed.