EP2255522A2 - System und verfahren zur datenkorrelation und mobilendgerät dafür - Google Patents

System und verfahren zur datenkorrelation und mobilendgerät dafür

Info

Publication number
EP2255522A2
EP2255522A2 EP09719411A EP09719411A EP2255522A2 EP 2255522 A2 EP2255522 A2 EP 2255522A2 EP 09719411 A EP09719411 A EP 09719411A EP 09719411 A EP09719411 A EP 09719411A EP 2255522 A2 EP2255522 A2 EP 2255522A2
Authority
EP
European Patent Office
Prior art keywords
information
data set
data
image
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP09719411A
Other languages
English (en)
French (fr)
Inventor
Reinhard Busch
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linguatec Sprachtechnologien GmbH
Original Assignee
Linguatec Sprachtechnologien GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linguatec Sprachtechnologien GmbH filed Critical Linguatec Sprachtechnologien GmbH
Publication of EP2255522A2 publication Critical patent/EP2255522A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00331—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing optical character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image

Definitions

  • Examples of programs used in the field of self-organization include Microsoft's Outlook product, which enables appointment management as well as address management. Numerous other programs exist, such as e-mail programs or Internet search programs, which can also serve the management of business-related data. However, these usually require manual input and manual management of data records and are thus cumbersome to handle. For example, Mac OS X's "Address Book" allows image data to be integrated with contact persons, but must be done by manually associating the address information with images stored elsewhere.
  • character recognition programs that extract image information, such as scanned business cards by appropriate equipped with artificial intelligence algorithms certain address information or tap into the semantic content of strings on business cards, for example, and can automatically save in appropriate management programs such as Outlook. Again, however, there is no multimedia connection of different types of data.
  • the invention is therefore based on the object to provide an approach with which - especially on Mobiiendellan low computing power - an automatic correlation of different types of multimedia data is possible.
  • This object is achieved by providing a system according to the independent protection claim 1, as well as a mobile terminal according to the independent protection claim 23.
  • the invention is based on the idea of transmitting various multimedia data recorded on a (usually autonomous) recording or terminal device to a powerful central computer for the further evaluation and bundling of the various types of data, and the evaluated and combined data to any device , if necessary also to the originally used mobile device, for further use by the user to return.
  • the invention is directed to a data correlation system comprising: a pick-up device having an image-capturing element and a data set generator for generating at least one object record from at least one captured first image representing a physical object and an identification tag that uniquely identifies an object-related detection process determined, as well as at least one information data set of at least one captured second image representing coded information related to the physical object, and the identification tag; a correlation device for extracting the coded information from the information data set, for semantic analysis of the extracted information, and for generating at least one combination data set from the results of the semantic analysis, the extracted information and the at least one object data set with the same identification code as the extracted information data record; and a user device for storing and further using the combination data record,
  • the encoded information is textual information.
  • the correlation device comprises an optical
  • Character recognition unit for extracting the coded information from the information record.
  • the system is characterized in that the second captured image is a business card or similar item and the encoded information is address information; and that the first captured image is an image of the person whose address information is displayed on the business card.
  • the second captured image may represent a product information tag or comparable item and the encoded information may be product information; and the first captured image may be an image of a product whose product information is displayed on the product information label.
  • the system is characterized in that the correlation device is spatially separated from the receiving device and the User device and connected to them via at least one network.
  • the at least one network is preferably a radio network, for example a GSM, Bluetooth, WLAN or UMTS network.
  • the correlation device is connected in a preferred aspect of the invention with the Frevor ⁇ chtung via a wireless network urd with the user device via a line network.
  • the combination data record is preferably present in a format that can be read in by the address management programmer and the user device has at least one address management program for storing the combination data records.
  • the recording device can further acquire at least one time information for establishing at least one point in time at which the image data are acquired.
  • the correlation device is for generating a second combination data set in a format that can be read in by appointment management programs and that includes the time information; and the user device has at least one appointment management program for storing the second combination domains.
  • the recording device may further comprise a Lokaiisationshim for determining the residence of the recording device and the data set generator for Generating a localization data set simultaneously with the generation of ⁇ bj ekt Schemees and / or the information data set containing residence data and the same identification identifier as the object data set and / or the information data set, and the correlation device may be adapted to generate combination data sets also using the localization data set.
  • the recording device comprises an audio recording unit for recording audio data related to the detected physical object
  • the data record generator is for generating an audio data set containing audio data and the same identification code as the object data record and / or the information data set
  • the correlation device is adapted to create from the audio data set a speaker profile with characteristic audio characteristics of the detected object.
  • the detected object according to another aspect of the invention is a person, the audio data is voice data of the person, and the correlating device is for using the speaker profile to acoustically include messages sent from the person and sent to the correlation device Use a read from the speaker profile for the person derived synthetic voice at the user device to read.
  • the correlation device has a biometric unit for the biometric analysis of a person represented in the object data record.
  • the invention can furthermore be characterized in that the correlation device furthermore has at least one information search unit for searching for further data on the Internet, which are in a semantic relationship to the extracted information, to the results of the semantic analysis, and / or to the object data.
  • the further data according to one aspect of the invention may be contact data from contact platforms on the Internet.
  • the user device may be, for example, a personal computer of the user of the recording device.
  • the recording device is an autonomous unit which can record a connection with the correlation device for the purpose of transmitting data records.
  • system of the invention is characterized in that the user device and the capture device are implemented in an autonomous device.
  • the invention is characterized in that the receiving device is a mobile phone.
  • the correlation device may preferably be adapted to create an audio profile from those of the address information identified as semantic analysis based on the semantic analysis, which is sent thereto as a combination data set for configuring a voice dialing control in the mobile telephone ,
  • the invention is equally directed to a mobile terminal comprising: a recording device having an image capturing element and a data set generator for generating at least one object data set from at least one captured first image representing a physical object and an identification identifier, and at least one
  • An information record of at least one captured second image representing coded information related to the physical object and the identification tag ; a transmitting / receiving device for transmitting at least the object data set and the information data set to a correlation device for extracting the coded information from the information data set, for semantically analyzing the extracted information, and for generating at least one combination data set from the results of the semantic analysis, the extracted information and the at least one object data record with the same identifier as the extracted one
  • the mobile terminal is characterized in that the encoded information is text information.
  • the second captured image represents a business card or similar item, and the encoded information is apress information; and the first captured image is an image of the person whose address information is shown on the business card.
  • the transceiver preferably has an interface in a radio network standard, for example in the GSM, Bluetooth, WLAN or UMTS radio network standard.
  • the mobile terminal may preferably be characterized in that the at least one combination data record comprises further data from the internal computer, which are in a semantic relationship to the extracted information, to the results of the semantic analysis, and / or to the object data.
  • the mobile terminal according to the invention may be characterized in that the further data are contact data from contact platforms in the Internet.
  • the combination data set is in a format that can be read by address management programs, and the user device includes at least one address management program for storing the combination data sets.
  • the system according to the invention can also be characterized in that the recording device further detects at least one time information for establishing at least one point in time at which the image data are acquired.
  • the transceiver device is for receiving a second combination data set from the correlation device in a format that is provided by appointment management programs can be read in, and which contains the time information; and the user device has at least one appointment management program for storing the second combination data records.
  • a further aspect is characterized in that the recording device further comprises a localization unit for determining the location of residence of the recording device and the data set generator for generating a localization data set simultaneously with the generation of the object data set and / or the information data set, the residence data and the same
  • Identification identifier such as the object data record and / or the information data record, and that the combination data records also contain information from the localization data record.
  • an aspect of the invention is characterized in that, when the coded information is address information, it is intended to receive a combination data record containing an audio profile that is identified from those of the address information identified as semantic analysis by name, Is, wherein the combination data set for the configuration of a voice dialing control is determined in the mobile terminal.
  • the invention is also directed to a method for data correlation, comprising the following steps:
  • a recording device with an image-capturing element Capturing a first image representing a physical object, capturing a second image representing coded information related to the physical object, generating at least one object data set from at least one captured first image and an identification identifier that uniquely determines an object-related detection process, and Generating at least one information data set from at least one captured second image and the identification identifier;
  • a correlation device extracting the coded information from the information data set, semantically analyzing the extracted information, and generating at least one combination data set from the results of the semantic analysis, the extracted information, and the at least one object data set having the same identification code as the extracted information data set;
  • FIG. 1 is a rough schematic overview of the elements of the invention
  • FIG. 2 is a more detailed view of the individual components embodying the invention.
  • Figure 3 is a data flow diagram for explaining the adjustment of the different types of data records.
  • the invention is based on the idea of conserving resources in a small mobile device complex computing operations prior to the data correlation on a powerful computer, which also has more advanced capabilities as a personal user or a recording device.
  • the invention can also be understood in such a way that by means of technical means it is possible to accelerate or even enable evaluation processes, provided that the time required for data processing, which is summed up from the runtime of the program for image acquisition, preparation for the acquisition of a particular user terminal Transmitting the data to a correlation calculator, airtime, ⁇ us lotionzeit in Korreiationsrechner, returning time to a user device, and storage time on the user device is shorter than the period that would be required on the basis of the same recording device and / or user device, if the correlation of the image data, as well as their processing either only on the display device, only the user device or, for example, in a combined Recording / user device, in exclusive operation in such.
  • the invention uses up to three different devices, a recording device, a correlation device and a user device, wherein in certain
  • Embodiments recording device and user device can be combined in one device, such as a mobile phone, a PDA, etc.
  • the recording device has an image-capturing element, such as a camera or a scanner, and a data set generator which generates object data records, which are intended for transmission to a correlation device, from the first and second images recorded by the image-capturing element.
  • the data set generator can be a special device within the recording device or can be implemented by means of a program executable on a microcontroller etc.
  • the physical object may be any object accessible to pictorial representation, such as a person, a commercial product or an automobile in the flow of traffic.
  • the encoded information which is also to be acquired with the biofire element to produce a second image may be any type of encoded one Information that is in any way related to the object. So it is conceivable that, if the objects to be correlated are persons, the coded information is their business cards, letterheads, nameplates on doors, etc. For example, in commercially available products, the encoded information may be an advertisement in a shop window or shop that shows the type of product and the price. For example, in the detection of automobiles, the encoded information may be the license plate of a car.
  • the identification tag added to the records may be any suitable identifier. Thus, it may be a numbering that the data set generator specifically generates, but also simply an identifier of the recording device, which is automatically sent along with the data packets with each data connection, etc. Finally, the identification code can also be the time of sending or receiving of the records in the correlation device. The concept of "generating a ... data record from ... an identifier" is then to be understood as meaning that the identifier is added implicitly by the time of dispatch or reception, and the identity of the identifiers between the at least two data records can then be, for example be defined that both are received by the correlation device within a limited, defined period of time.
  • the correlation device takes over the main part of the evaluation by first extracting the coded information from the information data set in a basic embodiment of the invention, for example by means of optical character recognition, which is familiar to those skilled in the art.
  • the encoded information may be text information, character information, bar codes, or other computer-readable encoded information.
  • the purpose of the extraction is to convert the encoded information present as pixels into a form which is readable by the user, for example textual information, or which can be used by computers for further utilization.
  • Examples of coded information directly usable by computers, in addition to textual information that can be used to match information found in databases, the WWW, etc., are also information such as URLs or geographic information in accordance with geographic information systems.
  • FIG. 1 shows the basic components of the system according to the invention. Here is one
  • the recording device 1 comprises a camera 10 and a data set generator 12 for generating the various data sets which are sent via the connection 11 to the correlation device 2 where an extraction unit 20 extracts the coded information and a combination data record is generated in the correlation unit 22.
  • the user device 3 can then optionally connect via a connection 31, in turn, a connection to the recording device 1 for synchronizing a database 30 for storing the combination data sets with a corresponding database (not shown) in the recording device.
  • connection 31 may be a synchronization cable between a mobile phone and a user's PC.
  • the invention is used to perform product searches on products that a user of the data correlation system finds interesting.
  • the product is photographed and on the other hand an information sign, for example, in a shop window.
  • the product image and the product information sign image are then forwarded and the correlation device can identify the product and send it to the user in this form, possibly enriched with further information, to the user device.
  • Em preferred aspect of the invention is the fact that it is also possible by decoupling Korre_ationsvor ⁇ chtung one hand and recording device / user device on the other hand, with small devices, such as cameras, laptops, PDAs, or mobile phones complex data evaluations and throw their results on the appropriate Devices to get displayed.
  • small devices such as cameras, laptops, PDAs, or mobile phones complex data evaluations and throw their results on the appropriate Devices to get displayed.
  • the mobility of the users can be substantially improved compared to the otherwise necessary, extremely high computing powers for carrying out complex correlation analyzes, or it becomes possible at all to make the demanding correlation tasks available to users.
  • a radio network is used for data transmission between the recording device and, if appropriate, between the correlation device and the user device, in order to further increase the spatial inability of the user.
  • a radio network can be, for example, a WLAN network, if, for example, data correlations are to be carried out within a limited spatial area, such as a company premises; or the now globally available GSM or the UMTS network under construction, whereby in the latter either mobile phones or corresponding GSM or UMTS Mo mule m according to configurable devices such as PDAs or laptops Come on.
  • the correlation device and the user device are connected to one another via a fixed network, for example if the user device is the PC of a user who is accommodated at home or in the office and to which the information is primarily transmitted. In this case, it is possible, for example, to transfer the information to mobile devices at a later time, if so desired. This makes it possible, even in cases where ⁇ ie recording device could work in principle as a user device to provide this functionality not radio-based, but by means of a later done ⁇ en synchronization with the primary user device to which the correlated data are sent.
  • the recording device is an autonomous unit that can connect to the correlation device for the purpose of transmitting data records.
  • This is a device that works completely independently, both in terms of its power supply, as well as its functionality and that can also work without and with the establishment of a network connection.
  • a typical example of such an autonomous unit is a mobile phone.
  • the receiving device may be a separate unit having only the functions described m of the invention. It may also be a combined unit in which the entire unit consists of the actual recording device and a part for transmitting the information to the correlation device, such as for example, a GSM module. In addition, it can be fully integrated, so that the Frevor ⁇ chtung example, may be part of a mobile phone, for example, the camera contained in the mobile phone acts as an image capturing element and the microprocessor of the mobile phone run a program that implements the functionality of the camera control and the data set generator ,
  • an information search unit provided in the correlation device capable of using specific search algorithms to pass on further information from other data based on the extracted coded information and, where appropriate, to obtain the image information.
  • Such external databases may be, for example, databases with a server or data available on the Internet.
  • more detailed image information can be obtained from the obj ect dataset by, for example, when the detected object is a person, performing biometric evaluations on the face and comparing the biometric data thus obtained with also from Biometric data obtained on the Internet for further information about a person of the same name and the same biometric data that can be presumed to be, independently of the name, actually the interlocutor associated with the Cradle has been detected to obtain.
  • information can be obtained as to whether a particular interlocutor has worked in companies, in which company he currently works and what other functions he fulfills, whether he has come to light in other ways, and it may also be information about Private life if, for example, he is represented on the Internet with a personal website. In this way it is possible for the user to establish a more personal contact with a conversation partner in subsequent discussions, even on a private level.
  • the combination data record is generated in a format that can be read by conventional address management programs on the user device and, accordingly, the user device has at least one address management program for storing the combination data sets .
  • address management programs are Microsoft Outlook and the MAC OS X address book.
  • the recording device can generate additional data, in part also depending on the existing hardware in the recording device, and also send it to the correlation device.
  • additional information is the timing of recording the image data by means of a clock in the recording device, integrated as either a further time data set or else in object data set and information record can be sent to the correlation device.
  • the correlation device is also used to generate a second combination data set in a format that can be read by appointment management programs and that contains the time information in a corresponding format, and accordingly the user device such a date management program to store the second combination data set walnut.
  • appointment management programs it is thus possible to use conventional appointment management programs to diary the time, for example, of a meeting with the person who is captured by the recording device, so that it is possible for the user at a later point in time to research at which times he met with a person.
  • Correlation device is also able to use previously stored appointment information to that person and to inform the user when he had already had contacts with this person. Again, this can mean a significant advantage in business dealings in personal dealings with a conversation partner.
  • Another possible extension of the receiving device is that this further one
  • Has localization unit for determining the location of the recording device. This can be for example to a GPS system, but also to another method for determining the location of the recording device, for example via the GSM radio network (cell localization) or via a WLAN location using known W-LAN router coordinates. In such a case, the data set generator also serves to generate a
  • Localization data set simultaneously with the generation of the object data set and / or the information data set, the residence data and the same identification code as the object data set and / or the information record contains, where to understand the location data to the location at which the recording device at the time of detection of the physical object and the coded information.
  • the correlation device is adapted to generate combination data sets also using the localization data set, so that the corresponding combination data sets continue to contain information about where the data acquisition has been performed. In this way, it is possible to record for a meeting not only the person but also the time and place and make it available later, for example via a database on the correlation device or via appointment management / address programs on the user device.
  • a possible further user application is to create an audio profile from the information of a business card or similar data carrier identified as name, that is to say a pronounced version of the name, which is used as another combination data record for the configuration of a Voice dialing control is sent to a mobile phone in a suitable format for this mobile phone to the mobile phone, where it can be integrated into the voice dialing, either manually or automatically.
  • Audio recording unit such as a microphone and a digital signal processor comprising include, can be recorded with the audio data to the recorded physical object, such as language of a contact person or a characteristic sound of a product, etc.
  • the data set generator can then also generate an audio data set or integrate the audio data into the information data record or the object data record.
  • an audio data set contains the same identification identifier to enable the correlation, and is used, for example, in the correlation device for generating a speaker profile with audio properties of the detected object, for example the characteristic properties of its speech.
  • the audio data set can also be used for other purposes, such as searching for similar information on the Internet, etc. It is also possible to capture audio data as spoken notes and store them either as such or by using a suitable speech recognition in text data.
  • Such a speaker profile which is intended to capture the characteristic manner of speaking and voice of a person, can also serve to prepare text messages originating from this person in the correlation device as a voice message and to read the "read" text with the voice of the person respective transmitter from the correlation device to the user device to send, so that there can be read a message originating from a person with their voice.
  • Special use may find this advantageous embodiment in small appliances in which the reading of messages either for reasons of too small a display or due to the current mobility of the user of the user device not read, but can only be heard.
  • the peculiarity is that, at least apparently the message is spoken directly by the person from whom it comes
  • the image information about the person may also be used to create a talking avatar with the person's appearance.
  • a user using the invention has a business appointment and encounters one or more business partners there. He makes with his recording device, such as a camera phone a picture of the Viten package and the face of each of the parties and sends them to the correlation device, which can also be done automatically according to data of the corresponding program in the camera phone.
  • his recording device such as a camera phone a picture of the Viten package and the face of each of the parties and sends them to the correlation device, which can also be done automatically according to data of the corresponding program in the camera phone.
  • mobile phones that have a navigation facility such as For example, have a GPS unit or a Bluetooth connection with a GPS interface, or via Wi-Fi, etc., it is still possible to detect the location where the call takes place, and also to send the correlation device.
  • the correlation device which is usually a server operated by a program specialized in the illustrated service
  • the conversion of the photo with the business card (information record) by means of OCR software into text takes place.
  • a special program which for example has features of an artificial intelligence program
  • an interpretation of this extracted raw text information takes place in order to find the information units contained therein, such as name, first name, company, telephone number, e-mail address etc.
  • it may be a special intelligence for named entity recognition.
  • this time information can be evaluated to clarify the question of when the meeting has taken place. Furthermore, if present, an evaluation of the position coordinates and a conversion into a specific location information, for example, using a database, the GPS coordinates with addresses or specific designated buildings correlated (GEO tagging) done to clarify the question where the Meeting took place.
  • GEO tagging buildings correlated
  • a comparison of the contact person who has been detected at the meeting, with publicly available contact networks such as XING, Facebook and the like and optionally an additional enrichment of the contact data to the information found accordingly take place, a more complex and generate a richer combination record.
  • the matching takes place on the one hand by name, and optionally address of the contact person, and optionally also on the image of the person, as contained in the object data set, for similar image similarities are obtained on the basis of biometric characteristics between the person and information in the contact network. It should be noted that contact networks often allow the posting of portrait images to the persons registered there.
  • Combined data set Such may, for example, be an address form with all the information found in a format that can be processed by address management programs such as Outlook.
  • another combination data record in the form of an appointment form can be created that contains the information found or at least part of the information found in a format that can be processed by appointment management programs.
  • the corresponding address and appointment forms are then downloaded as combination data sets in the respective address management program either on the user's PC or directly into a PDA or a mobile phone and can be read there by the appropriate programs. Unless the data is initially on When the PC is downloaded, it will then be possible to transfer the information to the mobile device as part of the next synchronization of the PDA / mobile phone with this PC.
  • FIG. 2 shows a more detailed representation of the recording device and the correlation device according to the invention.
  • the recording device is a mobile telephone 1 that has a data set generator 12, which is a conventional camera device 10 and, in specific cases, implemented in software. Furthermore, there is a GPS system 13 in the mobile phone 1, as well as a local organizer with address and appointment function 14th
  • a transmission takes place via usual radio standards, for example over GSM, inclusive EDGE or further developments of edge, or UMTS, including further developments such as HSDPA, whereby on these a logical connection is developed for example in the form of an http distance, so that the entire functionality within a the mobile phone 1 existing Internet browser can be implemented, for example, as Transmission Protocol http and to implement the software Java or JavaScript etc. used.
  • an authentication unit 23 which verifies the authenticity and origin of the incoming data records.
  • An OCR software 22 extracts the text or other coded data contained in the information record and passes it on to an analysis software 24 which performs a semantic analysis.
  • the object data set that is to say generally a photograph of the object, which is shown here as 25, is combined with the semantically analyzed text information to form a combination data record.
  • Further information in the form of a GEO tagging by means of an appropriate localization unit 26 and the integration of an open source Info 27 finally lead to one 28 for creating one or more combination data sets.
  • Organizer import data records 29a which may be sent back to the mobile telephone 1 both via link 31a, as well as to a user device 3 via another link 31, and which may also be the basis for the storage in the organizer data plane 29.
  • a further embodiment of the invention is shown in box 29b represented, where from ⁇ en newly acquired information and possibly already previously detected information including via the Internet drawn contact information, information on previous meetings o ⁇ er manually entered additional information a Rescueparrnerprofil of the business partner, of which the Business card and the photo that has been detected in the mobile phone 1, created and provided to the user for further use.
  • a very similar device is also used for a functionality in which instead of a business partner entry a product detection takes place, in which case additional information can not be obtained with biometric profiles, but for example with characteristic features of the photographed product, as well as in the coded information with information on Product name or product code. It is then no partner profile, but a product profile created, which may for example also contain information on where the desired product is cheaper than just available.
  • FIG. 3 shows in a highly schematized representation the possible conversion steps of the acquired data.
  • FIG. 3 a shows in its upper area, which is marked with a, the acquisition of an image 40, which represents a person, for example a business partner 41, and a second photo 42, which shows a business card of this business partner 43
  • images converted by the data set generator into files, an ID 0001 is added in order to be able to correlate them uniquely by this identification code
  • the symbolic data format is based on HTML, but it understands that any format can be used, including XML and full proprietary formaien. The illustration is intended only to illustrate the basic principles of the invention.
  • a semantic analysis characterized by SEM, is carried out, by means of which it is ascertained which parts of the text which have been obtained by means of optical character recognition, which have semantic significance, such as name of the business partner, his various addresses, e-mail indications , etc.
  • a further data set 46 is created, which in the given, non-limiting example, again contains HTML-like silent tags for name, address, e-mails, etc.
  • further information can be obtained from external sources by means of appropriate analysis methods (EXT INFO), for example

Abstract

System zur Datenkorrelation, aufweisend: eine Aufnahmevorrichtung 1 mit einem bilderfassenden Element 10 und einem Datensatzgenerator 12 zur Erzeugung zumindest eines Objektdatensatzes aus zumindest einem erfassten ersten Bild, das ein physikalisches Objekt darstellt, und einer Identif ikationskennung, die einen objektbezogenen Erfassungsvorgang eindeutig bestimmt, sowie zumindest eines Informationsdatensatzes aus zumindest einem erfassten zweiten Bild, das auf das physikalische Objekt bezogene, codierte Informationen darstellt, und der Identif ikationskennung; eine Korrelationsvorrichtung 2 zur Extraktion 20 der codierten Information aus dem Informationsdatensatz, zur semantischen Analyse 22 der extrahierten Information, und zur Erzeugung zumindest eines Kombinationsdatensatzeε aus den Ergebnissen der semantischen Analyse, den extrahierten Informationen und dem zumindest einen Objektdatensatz mit derselben Identif ikationskennung wie dem extrahierten Informationsdatensatz; und eine Nutzervorrichtung 3 zur Speicherung und weiteren Nutzung des Kombinationsdatensatzes.

Description

System und Verfahren zur Datenkorrelation und. Mobilendgerät dafür
Besehreibung
Automatische Informationsgenerierung und die Korrelation von verschiedenartigen Daten -ohne händische Eingriffe seitens Computerbenutzern- stellen zugleich eine aktuelle Herausforderung für die Datenverarbeitung dar, als eine notwendige Stoßrichtung, um mit der kontinuierlich wachsenden Datenmenge in elektronischer Form im Geschäftsleben umgehen zu können.
Betroffen sind hiervon alle Bereiche primärer Informationsgewinnung, so beispielsweise auch insbesondere auf dem Gebiet der Selbstorganisation von Personen im geschäftlichen Leben. Hier sind vielfältige Anforderungen an entsprechende Computerprogramme zu stellen, die von einfacher Adressverwaltung über die Kombination von Personen mit Termindaten bis hin zu weiter reichenden Eigenschaften und das Umfeld von Kontaktpersonen betreffenden Informationen reichen. Jedoch auch auf beliebigen anderen Gebieten, beispielsweise der wissenschaftlichen Datenauswertung, der Verkehrskontrolle oder fertigungstechnischen Überwachungen ist die Korrelation verschiedenartiger Daten erforderlich und kann eine maßgebliche Verbesserung der Effizienz entsprechende Abläufe darstellen.
Im Selbstorganisationsbereich beispielhaft verwendete Programme umfassen unter anderem das Produkt Outlook der Firma Microsoft, das sowohl eine Terminverwaltung als auch eine Adressverwaltung ermöglicht. Zahlreiche weitere Programme existieren, beispielsweise e-mail Programme oder Internetsuchprogramme, die ebenfalls der Verwaltung von geschäftsrelevanten Daten dienen können. Diese erfordern jedoch zumeist eine manuelle Eingabe und eine manuelle Verwaltung von Datensätzen und sind damit umständlich in der Handhabung. So ermöglicht beispielsweise das „Adressbuch" von Mac OS X die Integration von Bilddaten zu Kontaktpersonen, diese muss jedoch durch manuelle Zuordnung der Adressinformationen zu an anderer Stelle gespeicherten Bildern vorgenommen werden.
Ebenfalls bekannt sind Zeichenerkennungsprogramme, die von Bildinformationen, beispielsweise eingescannten Visitenkarten durch entsprechende, mit künstlicher Intelligenz ausgestatte Algorithmen bestimmte Adressinformationen extrahieren beziehungsweise den semantischen Inhalt von Zeichenketten auf beispielsweise Visitenkarten erschließen und gegebenenfalls automatisch in entsprechenden Verwaltungsprogrammen wie zum Beispiel Outlook abspeichern können. Auch hier erfolgt jedoch keine multimediale Verknüpfung verschiedenartiger Daten.
Der Erfindung liegt damit die Aufgabe zu Grunde, einen Ansatz bereitzustellen, mit dem - insbesondere auch auf Mobiiendgeräten geringer Rechenleistung - eine automatische Korrelation verschiedenartiger multimedialer Daten ermöglicht wird. Diese Aufgabe wird gelöst durch die Bereitstellung eines Systems gemäß dem unabhängigen Schutzanspruch 1, sowie eines Mobilendgeräts gemäß dem unabhängigen Schutzanspruch 23.
Weitere vorteilhafte Ausgestaltungen, Aspekte und Vorteile der Erfindung finden sich in den abhängigen Schutzansprüchen, der nachfolgenden Beschreibung und den beigefügten Zeichnungen .
Der Erfindung liegt die Idee zu Grunde, verschiedene, an einem (in der Regel autonomen) Aufnahme- bzw. Endgerät erfasste multimediale Daten zur weiteren Auswertung und Bündelung der verschiedenartigen Daten an einen leistungsfähigen Zentralrechner zu übersenden und die ausgewerteten und kombinierten Daten an ein beliebiges Gerat, ggfs. auch an das ursprünglich verwendete Mobilgerät, zur weiteren Nutzung durch den Anwender zurückzusenden.
Dementsprechend ist die Erfindung gerichtet auf ein System zur Datenkorrelation, das aufweist: eine Aufnahmevorrichtung mit einem bilderfassenden Element und einem Datensatzgenerator zur Erzeugung zumindest eines Objektαatensatzes aus zumindest einem erfassten ersten Bild, das ein physikalisches Objekt darstellt, und einer Identifikationskennung, die einen objektbezogenen Erfassungsvorgang eindeutig bestimmt, sowie zumindest eines Informationsdatensatzes aus zumindest einem erfassten zweiten Bild, das auf das physikalische Objekt bezogene, codierte Informationen darstellt, und der Identifikationskennung; eine Korrelationsvorrichtung zur Extraktion der codierten Information aus dem Informationsdatensatz, zur semantischen Analyse der extrahierten Information, und zur Erzeugung zumindest eines Kombinationsdatensatzes aus den Ergebnissen der semantischen Analyse, den extrahierten Informationen und dem zumindest einen Objektdatensatz mit derselben Identifikationskennung wie dem extrahierten Informationsdatensatz; und eine Nutzervorrichtung zur Speicherung und weiteren Nutzung des Kombinationsdatensatzes,
In einem bevorzugten Aspekt sind die codierten Informationen Textinformation .
In noch einem Aspekt der Erfindung weist die Korrelationsvorrichtung eine optische
Zeichenerkennungseinheit zur Extraktion der codierten Informationen aus dem Informationsdatensatz auf.
Vorzugsweise ist das System dadurch gekennzeichnet, dass das zweite erfasste Bild eine Visitenkarte oder einen vergleichbaren Gegenstand darstellt und die codierten Informationen Adressinformationen sind; und dass das erste erfasste Bild ein Abbild der Person ist, deren Adressinformationen auf der Visitenkarte dargestellt sind.
In einem alternativen Aspekt der Erfindung kann das zweite erfasste Bild ein Produktinformationsschild oder einen vergleichbaren Gegenstand darstellen und die codierten Informationen Produktinformationen sein; und das erste erfasste Bild kann ein Abbild eines Produkts sein, dessen Produktinformationen auf dem Produktinformationsschild dargestellt sind.
In einem weiteren Aspekt ist das System dadurch gekennzeichnet, dass die Korrelationsvorrichtung räumlich getrennt ist von der Aufnahmevorrichtung und der Nutzervorrichtung und mit ihnen über zumindest ein Netzwerk verbunden ist.
Vorzugsweise ist das zumindest eine Netzwerk ein Funknetzwerk, beispielsweise ein GSM-, Bluetooth-, WLAN- oder ÜMTS-Netzwerκ.
Die Korrelationsvorrichtung ist bei einem bevorzugten Aspekt der Erfindung mit der Aufnahmevorπchtung über ein Funknetzwerk urd mit der Nutzervorrichtung über ein Leitungsnetzwerk verbanden.
Vorzugsweise liegt der Kombinationsdatensatz m einem Forrrat vor, das von Ädressverwaltungsprogrammer eingelesen werden kann und die Nutzervorrichtung zumindest ein Adressverwaltungsprogramm zur Speicherung der Kombinationsdatensatze aufweist.
Im System kann die Aufnahmevorrichtung αes weiteren zumindest eine Zeitinformation erfassen, zur Festlegung zumindest e^nes Zeitpunkts, zu dem die Bilddaten erfasst werden.
In einem weiteren Aspekt der Erfindung dient die Korrelationsvorrichtung zur Erzeugung eines zweiten Kombinationsdatensatzes in einem Format, das von Terminverwaltungsprogrammen eingelesen werden kann, und das αie Zeitinformation beinhaltet; und die Nutzervorrichrung zumindest ein Terminverwaltungsprogramm zur Speicnerung der zweiten Kombinationsdaneπsatze aufweist.
Die Aufnahmevorrichtung Kann des weiteren eine Lokaiisationseinheit zur Bestimmung des Aufenthaltorts des Aufnahmegeräts aufweisen und der Datensatzgenerator zur Erzeugung eines Lokalisationsdatensatzes gleichzeitig mit der Erzeugung des Öbj ektdatensatzes und/oder des Informationsdatensatzes dienen, der Aufenthaltsdaten und die gleiche Identifikationskennung wie der Objektdatensatz und/oder der Informationsdatensatz enthält, und die Korrelationsvorrichtung kann dafür ausgelegt sein, Kombinationsdatensätze auch unter Verwendung des Lokalisationsdatensatzes zu erzeugen.
In noch einem Aspekt weist die Aufnahraevorrlchtung eine Audioaufzeichnungseinheit zur Aufzeichnung von Audiodaten, die in Zusammenhang mit dem erfassten physikalischen Objekt stehen, auf, und der Datensatzgenerator dient zur Erzeugung eines Audiodatensatzes, der Audiodaten und derselben Identifikationskennung wie der Objektdatensatz und/oder der Informationsdatensatz enthält, und die Korrelationsvorrichtung ist dafür ausgelegt, aus dem Audiodatensatz ein Sprecherprofil mit charakteristischen Audio-Eigenschaften des erfassten Objekts zu erstellen.
Das erfasste Objekt ist gemäß einem anderen Aspekt der Erfindung eine Person, die Audiodaten sind Sprachdaten der Person und die Korrelationsvorrichtung dient dazu, das Sprecherprofil dazu zu verwenden, Nachrichten, die von der Person stammen und an die Korrelationsvorrichtung gesendet worden sind, in akustischer Form unter Verwendung einer aus dem Sprecherprofil für die Person abgeleiteten synthetischen Stimme an der Nutzervorrichtung vorlesen zu lassen.
In einem Aspekt weist die Korrelationsvorrichtung eine Biometrieeinheit zur biometrischen Analyse einer im Objektdatensatz dargestellten Person auf. Die Erfindung kann weiterhin dadurch gekennzeichnet sein, dass die Korrelacionsvorrichtung weiterhin zumindest eine Informationssucheinheit zur Suche nach weiteren Daten im Internet aufweist, die in einer semantischen Beziehung zu den extrahierten Informationen, zu den Ergebnissen der semantischen Analyse, und/oder zu den Objektdaten stehen.
Die weiteren Daten können gemäß einem Aspekt der Erfindung Kontaktdaten aus Kontaktplattformen im Internet sein.
Die Nutzervorrichtung kann beispielsweise ein Personalcomputer des Verwenders der Aufnahmevorriehtung sein.
Vorzugsweise ist die Aufnahmevorrichtung eine autonome Einheit, die zur Übersendung von Datensätzen eine Verbindung mit der Korrelationsvorrichtung aufnehmen kann.
In einem anderen Aspekt ist das System der Erfindung dadurch gekennzeichnet, dass Nutzervorrichtung und Äufnahmevorrichtung In einem autonomen Gerät realisiert sind.
Vorzugsweise ist die Erfindung dadurch gekennzeichnet, dass die Aufnahmevorrichtung ein Mobiltelefon ist .
Wenn die codierten Informationen Adressinformationen sind, kann die Korrelationsvorrichtung vorzugsweise dafür ausgelegt sein, aus denjenigen der Adressinformationen, die anhand der semantischen Analyse als Name identifiziert worden' sind, ein Audioprofil zu erstellen, das als Kombinationsdatensatz zur Konfiguration einer Sprachwahlsteuerung im Mobiltelefon an dieses gesendet wird. Die Erfindung ist gleichermaßen auf ein Mobiles Endgerät gerichtet, das aufweist: eine Aufnahmevorrichtung mit einem bilderfassenden Element und einem Datensatzgenerator zur Erzeugung zumindest eines Objektdatensatzes aus zumindest einem erfassten ersten Bild, das ein physikalisches Objekt darstellt, und einer Identifikationskennung, sowie zumindest eines
Informationsdatensatzes aus zumindest einem erfassten zweiten Bild, das auf das physikalische Objekt bezogene, codierte Informationen darstellt, und der Identifikationskennung; eine Sende~/Empfangsvorrichtung zum Senden zumindest des Objektdatensatzes und des Informationsdatensatzes an eine Korrelationsvorrichtung zur Extraktion der codierten Information aus dem Informationsdatensatz, zur semantischen Analyse der extrahierten Information, und zur Erzeugung zumindest eines Kombinationsdatensatzes aus den Ergebnissen der semantischen Analyse, den extrahierten Informationen und dem zumindest einen Objektdatensatz mit derselben Identifikationskennung wie dem extrahierten
Informationsdatensatz; und zum Empfangen des zumindest einen Kombinationsdatensatzes von der Korrelationsvorrichtung; und eine Nutzervorrichtung zur Speicherung und weiteren Nutzung des Kombinationsdatensatzes.
In einem weiteren Aspekt ist das Mobilendgeräz dadurch gekennzeichnet, dass die codierten Informationen Textinformation sind.
In einem anderen Aspekt stellt das zweite erfasste Bild eine Visitenkarte oder einen vergleichbaren Gegenstand dar und die codierten Informationen sind Aαressinformationen; und das erste erfasste Bild ist ein Abbild der Person, deren Adressinformationen auf der Visitenkarte dargestellt sind.
Vorzugsweise weist die Sende-/Empfangsvorrichtung eine Schnittstelle in einem Funknetzstandard auf, beispielsweise im GSM-, Bluetooth-, WLAN- oder UMTS-Funknetzwerk-Standard.
Das Mobilendgerät kann vorzugsweise dadurch gekennzeichnet sein, dass der zumindest eine Kombinationsdatensatz weitere Daten aus dem Interner: aufweist, die in einer semantischen Beziehung zu den extrahierten Informationen, zu den Ergebnissen der semantischen Analyse, und/oder zu den Objektdaten stehen.
Das Mobilendgerät gemäß der Erfindung kann dadurch gekennzeichnet sein, dass die weiteren Daten Kontaktdaten aus Kontaktplattformen im Internet sind.
In noch einem anderen Aspekt liegt der Kombinationsdatensatz in einem Format vor, das von Adressverwaltungsprogrammen eingelesen werden kann und die Nutzervorrichtung weist zumindest ein Adressverwaltungsprogramm zur Speicherung der Kombinationsdatensätze auf.
Das Erfindungsgemäße System kann auch dadurch gekennzeichnet sein, dass die Aufnahmevorrichtung des weiteren zumindest eine Zeitinformation erfasst, zur Festlegung zumindest eines Zeitpunkts, zu dem die Bilddaten erfasst werden.
Ein Aspekt ist dadurch gekennzeichnet, dass die Sende- /Empfangsvorrichtung zum Empfang eines zweiten Kombinationsdatensatzes aus der Korrelationsvorrichtung in einem Format dient, dass von Terminverwaltungsprogrammen eingelesen werden kann, und das die Zeitinformation beinhaltet; und die Nutzervorrichtung zumindest ein Terminverwaltungsprogramm zur Speicherung der zweiten Kombinationsdatensätze aufweist.
Ein weiterer Aspekt ist dadurch gekennzeichnet, dass die Aufnahmevorrichtung des weiteren eine Lokalisationseinheit zur Bestimmung des Aufenthaltorts des Aufnahmegeräts aufweist und der Datensatzgenerator zur Erzeugung eines Lokalisationsdatensatzes gleichzeitig mit der Erzeugung des Objektdatensatzes und/oder des Informationsdatensatzes dient, der Aufenthaltsdaten und die gleiche
Identifikationskennung wie der Obj ektdatensatz und/oder der Informationsdatensatz enthält, und dass die Kombinationsdatensätze auch Informationen aus dem Lokalisa;:ionsdatensatz enthalten.
Weiterhin ist ein Aspekt der Erfindung dadurch gekennzeichnet, dass es, wenn die codierten Informationen Adressinformationen sind, dafür bestimmt ist , einen Kombinationsdatensatz zu empfangen, der ein Audioprofil enthält, dass aus denjenigen der Adressinformationen, die anhand der semanuischen Analyse als Name identifiziert worden sind, erstellt Ist, wobei der Kombinationsdatensatz zur Konfiguration einer Sprachwahlsteuerung im Mobilendgerät bestimmt ist.
Die Erfindung ist schließlich auch auf ein Verfahren zur Datenkorrelation gerichtet, dass die folgenden Schritte aufweist:
in einer Aufnahmevorrichtung mit einem bilderfassenden Element : Erfassen, eines ersten Bild, das ein physikalisches Objekt darstellt, Erfassen eines zweiten Bilds, das auf das physikalische Objekt bezogene, codierte Informationen darstellt , Erzeugen zumindest eines Objektdatensatzes aus zumindest einem erfassten ersten Bild und einer Identifikationskennung, die einen objektbezogenen Erfassungsvorgang eindeutig bestimmt, und Erzeugen zumindest eines Informationsdatensatzes aus zumindest einem erfassten zweiten Bild und der Identifikationskennung;
in einer Korrelationsvorrichtung Extrahieren der codierten Information aus dem Informationsdatensatz , Semantisches Analysieren der extrahierten Information, und Erzeugen zumindest eines Kombinationsdatensatzes aus den Ergebnissen der semantischen Analyse, den extrahierten Informationen und dem zumindest einen Objektdatensatz mit derselben Identifikationskennung wie dem extrahierten Informationsdatensatz; sowie
in einer Nutzervorrichtung:
Speichern und weiteres Nutzen des Kombinationsdatensatzes.
Alles bezüglich den anderen Ausprägungen der Erfindung gesagte gilt in gleicher Weise für das erfindungsgemäße Verfahren, so dass wechselweise Bezug genommen wird. Ferner versteht sich, dass die Erfindung sämtliche Aspekte der Verfahrens einschließt, die bezüglich des Systems und Endgeräts der Erfindung beschrieben worden sind.
Nachfolgend soll die Erfindung konkreter erläutert werden, wobei auf die beigefügten Zeichnungen Bezug genommen werden soll, in denen folgendes dargestellt ist: Figur 1 is:: eine grob schematische Übersicht der Elemente der Erfindung;
Figur 2 ist eine detailliertere Ansicht der einzelnen Komponenten, welche die Erfindung darstellen; und
Figur 3 ist ein Datenablaufsplan zur Erläuterung der Verstellung der verschiedenen Arten von Datensätzen.
Wie eingangs angegeben, basiert die Erfindung auf der Idee, zur Ressourcenschonung in einem kleinen Mobilgerät komplexe Rechenoperationen im Vorfeld der Datenkorrelation auf einen leistungsfähigen Rechner zu verlagern, der zudem weitergehende Fähigkeiten aufweise als ein persönliches Nutzer- oder ein Aufnahmegerät.
Man kann die Erfindung auch dergestalt auffassen, dass mittels technischer Mittel eine Beschleunigung oder überhaupt erst Ermöglichung von Auswertevorgängen erreicht wird, wobei gilt, dass die bei Betrachtung eines bestimmten Anwenderendgeräts benötigte Zeit zur Datenverarbeitung, die sich summiert aus Laufzeit des Programms zur Bilderfassung, Vorbereitung zum Übersenden der Daten an einen Korrelationsrechner , Sendezeit, Äuswertezeit im Korreiationsrechner , Zurücksendezeit an eine Nutzereinrichtung, sowie Speicherzeit auf der Nutzervorrichtung kürzer ist als der Zeitraum, der unter Zugrundelegung derselben Aufnahmevorrichtung und/oder Nutzereinrichtung benötigt würde, wenn die Korrelation der Bilddaten, sowie ihre Bearbeitung entweder nur auf der Anzeigevorrichtung, nur der Nutzereinrichtung oder, beispielsweise bei einer kombinierten Aufnahme/Nutzervorrichtung, bei ausschließlichem Ablauf in einer solchen.
Die Erfindung verwendet bis zu drei unterschiedliche Geräte, einer Aufnahmevorrichtung, eine Korrelationsvorrichtung und eine Nutzervorrichtung, wobei bei bestimmten
Ausführungsformen Aufnahmevorrichtung und Nutzervorrichtung in einem Gerät kombiniert sein können, beispielsweise einem Mobiltelefon, einem PDA, etc.
Die Aufnahmevorrichtung weist ein bilderfassendes Element, wie beispielsweise eine Kamera oder einen Scanner auf, sowie einen Datensatzgenerator, der aus dem vom bilderfassenden Element aufgenommenen ersten und zweiten Bildern Objektdatensätze erzeugt, die zur Übersendung an eine Korrelationsvorrichtung bestimmt sind. Der Datensatzgenerator kann hierbei eine spezielle Einrichtung innerhalb der Aufnahmevorrichtung sein oder mittels eines auf einem Mikrocontroller etc. ablauffähigen Programms implementiert werden .
Da mit der Erfindung physikalische Objekte mit kodierten Informationen korreliert werden sollen, ist es notwendig, ein Abbild des zu erfassenden physikalischen Objektes, sowie ein Abbild eines Datenträgers, der die kodierten Informationen enthält, zeitnah zu erfassen und an die
Korrelationsvorrichtung zu übersenden. Das physikalische Objekt kann jegliches Objekt sein, das einer bildhafren Darstellung zugänglich ist, wie beispielsweise eine Person, ein käufliches Produkt oder ein Automobil im Verkehrsfluss . Die kodierten Informationen, die ebenfalls mit dem biiderfassenden Element erfasst werden sollen, um eine zweite Aufnahme zu erzeugen, können jegliche Art von kodierten Informationen sein, die in irgendeiner Weise auf das Objekt bezogen sind. So ist es vorstellbar, dass, sofern die zu korrelierenden Objekte Personen sind, die kodierten Informationen deren Visitenkarten, Briefköpfe, Namensschilder an Türen, etc. sind. Bei käuflich erwerbbaren Produkten kann die kodierte Information beispielsweise eine Auszeichnung in einem Schaufenster oder einem Geschäft sein, die den Typ des Produktes und den Preis zeigt. Bei der Erfassung von Automobilen kann die kodierte Information beispielsweise das Kennzeichen eines Autos sein. In diesem Fall kann es sinnvoll sein, lediglich ein Bild primär zu erfassen, das dann bereits in der Aufnahmevorπchtung in einen Teilbereich „Autofahrer" und einen Teilbereich „Kennzeichen" zerlegt wird. Es ist auch möglich, die Bildinformation einfach zweimal zu übersenden, einmal zur Darstellung des physikalischen Objektes, dass zweite Mal zur Bewertung der kodierten Information, wenn beispielsweise nur ein Bild eines Kraftfahrzeugs mit Kennzeichen zur Verfügung steht.
Die Identifikationskennung, die den Datensätzen hinzugefügt wird, kann jegliche geeignete Kennung sein. So kann es sich um eine Nummerierung handeln, die der Datensatzgenerator speziell erzeugt, aber auch einfach um eine Kennung des Aufnahmegeräts, die bei jeder Datenverbindung automatisch mit den Datenpaketen mitgeschickt wird, etc. Schließlich kann die Identifikationskennung auch der Zeitpunkt des Versands bzw. des Empfangs der Datensätze in der Korrelationsvorrichtung sein. Der Begriff der „Erzeugung eines...Datensatzes aus...einer Identifikationskennung" ist dann so aufzufassen, dass die Kennung implizit; durch den Zeitpunkt des Versands oder Empfangs hinzugefügt wird, und die Übereinstimmung der Identifikationskennungen zwischen den zumindest zwei Datensätzen kann dann beispielsweise so definiert sein, dass beide innerhalb eines begrenzten, definierten Zeitraums von der Korrelationsvorrichtung empfangen werden.
Gemäß der hier vorgestellten Erfindung übernimmt die Korrelationsvorrichtung den Hauptteil der Auswertung, indem in einer grundlegenden Ausführungsform der Erfindung zunächst die kodierten Informationen aus den Informationsdatensatz extrahiert werden, beispielsweise mit Hilfe einer optischen Zeichenerkennung, die Fachleuten geläufig ist. Die kodierten Informationen können hierbei Textinformationen, Schriftzeicheninformationen, Barcodes,, oder andere computerlesbare, kodierte Informationen sein. Ziel der Extraktion ist es, die als Bildpunkte vorhandenen kodierten Informationen in eine Form zu überführen, die vom Nutzer lesbar ist, also beispielsweise eine Textinformation, oder die von Computern zur weiteren Verwertung verwendet werden können. Beispiele für von Computern unmittelbar verwendbare kodierte Informationen sind neben Textinformationen, die zum Abgleich mit in Datenbanken, dem WWW, etc. gefundenen Informationen verwendet werden können, ebenfalls Informationen wie URLs oder geographische Informationen gemäß geographischen Informationssystemen.
Figur 1 zeigt die grundlegenden Bestandteile des erfindungsgemäßen Systems. Hierbei ist eine
Aufnahmevorrichtung 1 mit der Korrelationsvorrichtung 2 über eine Verbindungsstrecke 11, die eine feste Verbindung oder eine Funkverbindung sein kann, verbunden, und ist die Korrelationsvorrichtung 2 über eine Netzwerkverbindung 21 mit der Nutzervorrichtung 3 verbunden. Die Aufnahmevorrichtung 1 umfasst eine Kamera 10 sowie einen Datensatzgenerator 12 zur Erstellung der verschiedenen Datensätze die über die Verbindung 11 an die Korrelationsvorrichtung 2 gesendet werden, wo eine Extraktionseinheit 20 die kodierten Informationen extrahiert und in der Korrelationseinheit 22 ein Kombinationsdatensatz erzeugt wird. Die Nutzervorrichtung 3 kann dann optional über eine beliebige Verbindung 31 wiederum eine Verbindung mit der Aufnahmevorrichtung 1 zur Synchronisierung einer Datenbank 30 zur Speicherung der Kombinationsdatensätze mit einer entsprechenden Datenbank (nicht dargestellt) in der Aufnahmevorrichtung hersteilen. Verbindung 31 kann beispielsweise ein Synchronisierungskabel zwischen einem Mobiltelefon und einem PC eines Anwenders sein.
Bei besonders bevorzugten Ausführungsformen handelt es sich um einen Ansatz, einen Gesprächspartner datentechnisch zu erfassen, in dem einerseits ein Bild eines Kopfes beziehungsweise seines Gesichtes und andererseits eine Visitenkarte von einem Gesprächspartner mittels dem bilderfassenden Element der Aufnahmevorrichtung aufgenommen wird und in der Korrelationsvorrichtung die Adressinformationen zu der Person gemäß der Visitenkarte bestimmt werden, beispielsweise sein Name, Firmenzugehörigkeit, private und berufliche Adresse, Telefonnummer, e-mail Adresse, und weitere auf der Visitenkarte vorhandene Informationen. Auch ist es möglich ein Firmenlogo mittels geeigneter Algorithmen als solches zu identifizieren und als Bildinformation ebenfalls den Adressinformationen hinzuzufügen .
In einer weiteren bevorzugten Ausführungsform wird die Erfindung dazu verwendet, Produktrecherchen zu Produkten, die ein Nutzer des Datenkorrelationssystems interessant findet, durchzuführen. Hierzu wird einerseits das Produkt photographiert und andererseits ein Informationsschild, beispielsweise in einem Schaufenster. Produktbild und Produktmformationsschildbild werden dann weitergesendet und die Korrelationsvorr_chtung kann das Produkt identifizieren und dem Nutzer m dieser Form, gegebenenfalls mit weiteren Informationen angereichert, an die Nutzervorrichtung übersenden.
Em bevorzugter Aspekt der Erfindung ist darin zu sehen, dass es durch die Entkoppelung zwischen Korre_ationsvorπchtung einerseits und Aufnahmevorrichtung/Nutzervorrichtung andererseits auch möglich wird, mit kleinen Geraten, wie beispielsweise Kameras, Laptops, PDAs, oder Mobiltelefonen komplexe Datenauswertungen anzuwerfen und deren Ergebnisse auf den entsprechenden Geraten angezeigt zu bekommen. Hiemit kann gegenüber den ansonsten notwendigen, extrem hohen Rechenleistungen zur Durchfuhrung komplexer Korrelationsanalysen die Mobilität der Anwender maßgeblich verbessert werden, beziehungsweise wird es überhaupt erst möglich, die anspruchsvollen Korrelationstatig^eiten Anwendern zur Verfugung zu stellen.
Vorzugsweise wird zur Datenübertragung zwischen Aufnahmevorrichtung und gegebenenfalls zwischen Korrelationsvorrichtung und Nutzervorrichtung ein Funknetz verwendet, um die räumliche Unabnangigkeit des Anwenders weiter zu erhohen. Em solches Funknetz kann beispielsweise ein WLAN-Netzwerκ sein, wenn beispielsweise innerhalb eines begrenzten räumlichen Bereichs, wie einem Firmengelande Datenkorrelationen durchgeführt werden sollen; oder das mittlerweile weltweit verfugbare GSM- oder das im Aufbau befindliche UMTS-Netz, wobei bei letzterem entweder Mobiltelefone oder entsprechende GSM- bzw. UMTS-Moαule m entsprechend konfigurierbaren Geraten wie PDAs oder Laptops zum Einsatz Kommen. Bei einer weiteren möglichen Ausfuhrungsform sind Korrelationsvomchtung und Nutzervorrichtung über ein Festnetzwerk miteinander verbunden, beispielsweise wenn die Nutzervorrichtung der PC eines Anwenders ist, der bei ihm zu Hause oder im Büro untergebracht ist, und an den die Informationen primär übertragen werden. In diesem Fall ist es beispielsweise möglich, die Informationen zu einem spateren Zeitpunkt auf mobile Gerate zu übertragen, sofern dies gewunscnt ist. Damit ist es möglich, auch in Fallen, in denen σie Aufnahmevorrichtung im Prinzip auch als Nutzervorrichtung funktionieren konnte, diese Funktionalität nicht funknetzbasiert zur Verfugung zu stellen, sondern mittels einer spater erfolgenαen Synchronisierung mit der primären Nutzervorrichtung, an welche die korrelierten Daten gesendet werden .
Insbesondere wird bevorzugt, dass die Aufnahmevorrichtung eine autonome Einheit ist, die zur Übersendung von Datensätzen eine Verbindung mit der Korrelationsvomchtung aufnehmen kann. Hierunter ist ein Gerat zu verstehen, das vollständig eigenständig funktioniert, sowohl im Hinblick auf seine Stromversorgung, als auch auf seine Funktionsfahigkeit und dass darüber hinaus ohne und mit Aufbau einer Netzverbindung funktionieren kann. Typisches Beispiel für eine solche autonome Einheit ist ein Mobiltelefon .
Die Aufnahmevorrichtung kann eine eigene Einheit sein, die lediglich die m der Erfindung beschriebenen Funktionen aufweist. Sie kann darüber hinaus auch eine kombinierte Einheit sein, bei der die Gesamteinheit aus der eigentlichen Aufnahmevorrichtung und einem Teil zum Übersenden der Informationen an die Korrelationsvorrichtung besteht, wie beispielsweise einem GSM-Modul. Darüber hinaus kann sie vollständig integriert sein, so dass die Aufnahmevorπchtung beispielsweise Teil eines Mobiltelefons sein kann, wobei zum Beispiel die im Mobiltelefon enthaltene Kamera als bilderfassendes Element arbeitet und der Mikroprozessor des Mobiltelefons ein Programm ablaufen lasst, welches die Funktionalität der Kamerasteuerung sowie des Datensatzgenerators implementiert .
In einem besonders bevorzugten Aspekt der Erfindung werden nicht nur die von der Aufnahmevorrichtung erzeugten primären Daten ausgewertet und miteinander korreliert, sondern darüber hinaus wird eine Informationssucheinheit in der Korrelationsvomchtung bereitgestellt, die mittels spezifischer Suchalgorithmen in der Lage ist, weitergehende Informationen aus anderen Datenbestanden basierend auf den extrahierten kodierten Informationen und gegebenenfalls den Bildmformationen zu erlangen. Solche externen Datenbestande können beispielsweise Datenbanken m einem Server sein oder im Internet verfugbare Daten. Der Implementierung sind hier keine Grenzen gesetzt und es smα beliebige Algorithmen vorstellbar, um nach praktisch beliebigen Informationen zu dem erfassten physikalischen Objekt zu suchen. Neben den extrahierten, kodierten Informationen können beispielsweise weitergehende Bildinformationen aus dem Ob^ektdatensatz gewonnen werden, indem beispielsweise dann, wenn das erfasste Ob]ekt eine Person ist, biometrische Auswertungen am Gesicht durchgeführt: werden und die so gewonnenen biometrischen Daten abgeglichen werden mit ebenfalls von Bildern im Internet erhaltenen biometrischen Daten, um weitere Informationen über eine Person mit dem selben Namen und denselben biometrischen Daten, von der angenommen werden kann, dass sie unabhängig vom Namen tatsächlich der Gesprächspartner ist, der mit der Aufnahmevorrichtung erfasst worden ist, zu erlangen. Auf diese Weise können beispielsweise Informationen darüber gewonnen werden, ob ein bestimmter Gesprächspartner in Firmen gearbeitet hat, in welcher Firma er derzeit arbeitet und welche weiteren Funktionen er darin erfüllt, ob er in anderer Weise zu Tage getreten ist, und es können auch Informationen über sein Privatleben gewonnen werden, wenn er beispielsweise mit einer persönlichen Website im Internet vertreten ist. Auf diese Weise ist es dem Anwender möglich, einen persönlicheren Kontakt zu einem Gesprächspartner bei nachfolgenden Gesprächen, auch auf einer privaten Ebene, herzustellen.
Um eine Integration der vorgestellten Erfindung in existierende Datenverarbeitungsinfrastrukturen zu ermöglichen, wird es weiterhin bevorzugt, dass der Kombinationsdatensatz in einem Format erzeugt wird, dass von üblichen Adressverwaltungsprogrammen auf der Nutzervorrichtung eingelesen werden kann, und dass entsprechend die Nutzervorrichtung zumindest ein Adressverwaltungsprogramm zur Speicherung der Kombinationsdatensätze aufweist. Typische Beispiele solcher Programme sind Microsoft Outlook und das Adressbuch von MAC OS X.
In weiteren bevorzugten Ausführungsformen kann die Aufnahmevorrichtung zusätzliche Daten, teilweise auch abhängig von der vorhandenen Hardware in der Aufnahmevorrichtung, erzeugen und ebenfalls an die Korrelationsvorrichtung senden. Ein Beispiel einer solchen zusätzlichen Information ist der Zeitpunkt der Aufnahme der Bilddaten mittels einer Uhr in der Aufnahmevorrichtung, die entweder als ein weiterer Zeitdatensatz oder auch integriert in Objektdatensatz und Informationsdatensatz an die Korrelationsvorrichtung geschickt werden kann.
In einem solchen Fall ist es des weiteren möglich, dass die Korrelationsvorrichtung auch dazu eingesetzt wird, einen zweiten Kombinationsdatensatz in einem Format zu erzeugen, das von Terminverwaltungsprogrammen eingelesen werden kann und das die Zeitinformationen in einem entsprechenden Format enthält, wobei entsprechend die Nutzervorrichtung ein solches Terminverwaltungsprogramm zur Speicherung des zweiten Kombinationsdatensatzes aufweisen rnuss. Hier ist es also möglich, übliche Terminverwaltungsprogramme dazu zu verwenden, den Zeitpunkt beispielsweise eines Treffens mit der Person, die von der Aufnahmevorrichtung erfasst wird, tagebuchartig zu archivieren, so dass es dem Nutzer zu einem späteren Zeitpunkt möglich ist, zu recherchieren, zu welchen Zeitpunkten er sich mit einer Person getroffen hat. In einer erweiterten Funktionalität ist es ebenfalls möglich, dass bei mehrfacher Erfassung derselben Person, die jedenfalls auch nur über eine Abbildung der Person selbst und eine biometrische Auswertung ihrer Merkmale, die
Korrelationsvorrichtung ebenfalls in der Lage ist, auf zuvor gespeicherte Termininformationen zu dieser Person zurückzugreifen und den Nutzer darüber zu informieren, wann er jeweils bereits mit dieser Person Kontakte hatte. Auch dies kann im geschäftlichen Verkehr einen maßgeblichen Vorteil beim persönlichen Umgang mit einem Gesprächspartner bedeuten .
Eine weitere mögliche Erweiterung der Aufnahmevorrichtung besteht darin, dass diese des weiteren eine
Lokalisationseinheit zur Bestimmung des Aufenthaltsorts des Aufnahmegerätes aufweist. Hierbei kann es sich beispielsweise um ein GPS-System handeln, aber auch um ein anderes Verfahren zur Bestimmung des Standorts der Aufnahmevorrichtung, beispielsweise über das GSM-Funknetz (Zellenlokalisierung) oder über eine WLAN-Ortung mittels bekannter W-LAN-Router- Koordinaten. In einem solchen Fall dient der Datensatzgenerator auch zur Erzeugung eines
Lokalisationsdatensatzes gleichzeitig mit der Erzeugung des Objektdatensatzes und/oder des Informationsdatensatzes, der Aufenthaltsdaten und die gleiche Identifikationskennung wie der Objektdatensatz und/oder der Informationsdatensatz enthält, wobei unter Aufenthaltsdaten die Daten zum Standort zu verstehen sind, an dem sich die Aufnahmevorrichtung zum Zeitpunkt der Erfassung des physikalischen Objektes und der kodierten Information aufhält. Die Korrelationsvorrichtung ist dafür ausgelegt, Kombinationsdatensätze auch unter Verwendung des Lokalisationsdatensatzes zu erzeugen, so dass die entsprechenden Kombinationsdatensätze weiterhin eine Information darüber enthalten, wo die Datenerfassung vorgenommen worden ist. Auf diese Weise ist es möglich, zu einem Treffen nicht nur die Person, sondern auch den Zeitpunkt und den Ort festzuhalten und später verfügbar zu machen, beispielsweise über eine Datenbank auf der Korrelationsvorrichtung oder über Terminverwaltungs- /Adressprogramme auf der Nutzervorrichtung.
Wie bereits ausgeführt, können die extrahierten Daten vielfältig weiterverwendet werden, um noch mehr Korrelationen mit Drittdaten herzustellen. Eine mögliche weitere Nutzeranwendung besteht darin, aus der als Name identifizierten Information einer Visitenkarte oder eines ähnlichen Datenträger ein Audioprofil zu erstellen, das heißt eine ausgesprochene Version des Namens, das als weiterer Kombinationsdatensatz zur Konfiguration einer Sprachwahlsteuerung in ein Mobiltelefon in einem für dieses Mobiltelefon geeigneten Format an das Mobiltelefon gesendet wird, wo es in die Sprachwahlautomatik integriert werden kann, entweder manuell oder automatisch.
In einer weiteren bevorzugten Ausführungsform der Erfindung kann im Aufnahmegerät ebenfalls eine
Audioaufzeichnungseinheit, beispielsweise ein Mikrofon und einen Digitalsignalprozessor umfassend, beinhaltet sein, mit der Audiodaten zu dem aufgezeichneten physikalischen Objekt, beispielsweise Sprache einer Kontaktperson oder ein charakteristisches Geräusch eines Produkts, etc. aufgezeichnet werden können. Der Datensatzgenerator kann dann auch einen Audiodatensatz erzeugen oder die Audiodaten in den Informationsdatensatz oder den Objektdatensatz integrieren. Vorzugsweise enthält ein solcher Audiodatensatz dieselbe Identifikationskennung, um die Korrelation zu ermöglichen, und wird beispielsweise in der Korrelationsvorrichtung zur Erstellung eines Sprecherprofiis mit Audioeigenschaften des erfassten Objekts, beispielsweise den charakteristischen Eigenschaften seiner Sprache, verwendet. Selbstverständlich kann der Audiodatensatz auch für andere Zwecke verwendet werden, so zum Suchen nach ähnlichen Informationen im Internet, etc. Auch ist es möglich, Audiodaten als gesprochene Notizen zu erfassen und diese entweder als solche zu speichern oder mittels einer geeigneten Spracherkennung in Textdaten zu verwendein.
Ein solches Sprecherprofil, welches die charakteristische Sprechweise und Stimme eines Menschen erfassen soll, kann auch dazu dienen, von dieser Person stammende Textnachrichten in der Korrelationsvorrichtung als Sprachnachricht aufzubereiten und den „vorgelesenen" Text mit der Stimme des jeweiligen Senders von der Korrelationsvorrichtung an die Nutzervorrichtung zu senden, so dass dort eine von einer Person stammenden Nachricht mit deren Stimme vorgelesen (lassen) werden kann. Besondere Verwendung kann diese vorteilhafte Ausführungsform bei Kleingeräten finden, bei denen das Lesen von Nachrichten entweder aus Gründen einer zu kleinen Anzeige oder auf Grund der aktuellen Mobilität des Anwenders der Benutzervorrichtung nicht gelesen, sondern nur gehört werden kann. Damit ist praktisch eine Umwandlung einer Textnachricht, wie einer SMS oder einer e-mail in eine „Voicemail"-Nachricht möglich, wobei die Besonderheit dann darin besteht, dass zumindest scheinbar die Nachricht direkt gesprochen wird von der Person, von der sie stammt. In einer Erweiterung dieser Ausführungsform kann auch die Bildinformation zu der Person verwendet werden, um einen sprechenden Avatar mit dem Aussehen der Person zu erzeugen.
Nachfolgend soll ein prototypischer Workflow zum Einsatz der Erfindung in nicht beschränkender Weise dargestellt werden.
Ein die Erfindung verwendender Anwender hat einen Geschäftstermin und trifft dort auf einen oder mehrere Geschäftspartner. Er macht mit seinem Aufnahmegerät, beispielsweise einem Kameramobiltelefon ein Photo von der Vitenkarte und dem Gesicht von jedem der Gesprächspartner und übersendet diese an die Korrelationsvorrichtung, was auch nach Daten des entsprechenden Programms im Kameramobiltelefon automatisch erfolgen kann. Optional besteht die Möglichkeit speziell bei Mobiltelefonen, die über eine Mikrofonfunktion ja immer verfügen, einen Abschnitt der Unterredung aufzunehmen, wobei diese dadurch erzeugten Audiodaten ebenfalls and die Korrelationsvorrichtung gesendet werden. Bei Mobiltelefonen, die über eine Navigationsmόglichkeit , wie beispielsweise über eine GPS-Einheit oder eine Bluetooth- Verbindung mit einer GPS-Schnittstelle, oder über WLAN, etc. verfügen, ist es weiterhin möglich, den Standort, an dem das Gespräch stattfindet, zu erfassen und ebenfalls an die Korrelationsvorrichtung zu senden.
Auf der Korrelationsvorrichtung, die üblicherweise ein von einem auf die dargestellte Dienstleistung spezialisierten Programm betriebener Server ist, erfolgt die Umwandlung des Photos mit der Visitenkarte (Informationsdatensatz) mittels einer OCR-Software in Text. Mit Hilfe eines speziellen Programms, dass beispielsweise Merkmale eines Programms künstlicher Intelligenz aufweist, erfolgt dann eine Interpretation dieser extrahierten Rohtextinformation, um die darin enthaltenen Informationseinheiten wie Name, Vorname, Unternehmen, Telefonnummer, e-mail Adresse usw. aufzufinden. Es kann beispielsweise eine spezielle Intelligenz zur „named- Entity recognition" sein.
Sofern eine Zeitinformation mit übersendet worden ist, kann diese Zeitinformation ausgewertet werden, um die Frage zu klären, wann das Treffen stattgefunden hat. Des weiteren kann, sofern vorhanden eine Auswertung der Positionskoordinaten und eine Umwandlung auch in eine konkrete Ortsinformation, beispielsweise anhand einer Datenbank, die GPS-Koordinaten mit Adressen oder bestimmten benannten Gebäuden korreliert (GEO-Tagging) erfolgen, um die Frage zu klären, wo das Treffen stattgefunden hat.
In einer bevorzugten Ausführungsform kann dann ein Abgleich der Kontaktperson, die beim Treffen erfasst worden ist, mit öffentlich zugänglichen Kontaktnetzen wie beispielsweise XING, Facebook und dergleichen und gegebenenfalls eine zusätzliche Anreicherung der Kontaktdaten um die entsprechend aufgefundenen Informationen erfolgen, um einen komplexeren und inhaltsreicheren Kombinationsdatensatz zu generieren. Der Abgleich erfolgt einerseits über Namen, und gegebenenfalls Adresse der Kontaktperson, sowie optional auch über das Bild der Person, wie im Objektdatensatz enthalten, wobei für einen solchen Bildabgleich Ähnlichkeiten anhand von biometrischen Merkmalen zwischen der Person und Angaben im Kontaktnetz erhalten werden. Es ist anzumerken, dass Kontaktnetze häufig das Einstellen von Porträtbildern zu den dort angemeldeten Personen ermöglichen.
Nach der Durchführung dieser ganzen Korrelations- und Rechercheschritte in der Korrelationsvorrichtung erfolgt nunmehr das Erstellen zumindest eines
Kombinationsdatensatzes. Ein solcher kann beispielsweise ein Adressformular mit allen gefundenen Informationen in einem Format sein, das von Adressverwaltungsprogrammen wie Outlook verarbeitet werden kann. Zusätzlich kann auch ein weiterer Kombinationsdatensatz in Form eines Terminformulars erstellt werden, dass die gefundenen Informationen oder zumindest einen Teil der gefundenen Informationen in einem Format enthält, dass von Terminverwaltungsprogrammen verarbeitet werden kann. Auf diese Weise besteht die Möglichkeit, die insgesamt ermittelten und korrelierten Daten nahtlos in bereits vorhandene Adressverwaltungsprogramme und Terminverwaltungsprogramme einzufügen, um sie auf dem Anwender vertraute Weise zugänglich zu machen. Die entsprechenden Adress- und Terminformulare werden als Kombinationsdatensätze dann in das jeweilige Adressverwaltungsprogramm entweder auf dem PC des Anwenders oder direkt in einen PDA oder ein Mobiltelefon heruntergeladen und können dort von den entsprechenden Programmen eingelesen werden. Sofern die Daten zunächst auf den PC heruntergeladen werden, besteht dann die Möglichkeit im Zuge der nächsten Synchronisierung des PDAs /Mobiltelefons mit diesem PC die Informationen dann auch auf das Mobilgerät zu überspielen.
Es besteht des weiteren die Möglichkeit, aus dem Gesichtsprofil und den Audiodaten einen kombinierten Avatar des jeweils erfassten Gesprächspartners zu erzeugen, der Aussehen und Stimme dieses Geschäftspartners hat. Auf diese Weise ist es möglich, eingehende Kachrichten des Geschäftspartners von diesem multimedial und mit den passenden Gesichtsbewegungen zur vorgelesenen Sprache vorlesen zu lassen. Dies ist für e-mails, SMS oder Chat- Funktionen möglich.
Figur 2 zeigt eine detailliertere Darstellung der Aufnahmevorrichtung und der Korrelationsvorrichtung gemäß der Erfindung. Gleiche Bezugszeichen kennzeichnen hierbei gleiche Objekte. Die Aufnahmevorrichtung ist in diesem Fall ein Mobiltelefon 1, dass eine übliche Kameravorrichtung 10 und, im konkreten Fall in Software implementiert, einen Datensatzgenerator 12 aufweist. Des weiteren befindet sich im Mobiltelefon 1 ein GPS-System 13, sowie ein lokaler Organizer mit Adress- und Terminfunktion 14.
Eine Übertragung erfolgt über übliche Funkstandards, beispielsweise über GSM, inklusive EDGE oder Weiterentwicklungen von Edge, oder UMTS, inklusive Weiterentwicklungen wie HSDPA, wobei auf diesen eine logische Verbindung beispielsweise in Form einer http-Strecke aufgebaut wird, so dass die gesamte Funktionalität innerhalb eines auf dem Mobiltelefon 1 vorhandenen Internetbrowsers implementiert werden kann, der beispielsweise als Ubertragungsprotokoll http und zur Implementierung der Software Java oder JavaScript etc. verwendet.
Auf dem Server (Korrelationsvomchtung) 2 findet sich zunächst eine Authentisierungsemheit 23, welche die Authentizität und Herkunft der eingehenden Datensatze verifiziert. Eine OCR-Software 22 extrahiert dann die im Informationsdatensatz enthaltenen Text oder sonstigen kodierten Daten und gibt diese an eine Analysesoftware 24 weiter, die eine semantische Analyse durchfuhrt. Im Anschluss daran wird der Objektdatensatz, also in der Regel ein Photo des Objektes, das hier als 25 dargestellt ist, mit der semantisch analysierten Textinformation zu einem Kombinationsdatensatz vereinigt. Weitere Informationen m Form eines GEO-Taggmgs durch exne entsprechende Lokalisationsemheit 26 und die Integration einer Open- Source-Info 27 fuhren schließlich m einer 28 zur Erstellung eines oder mehrerer Kombinationsdatensatze. Diese können weitergegeben werden an e^ne Datenbank 29 in der Korrelationsvorrichtung zur spateren Verwendung und Korrelation nachfolgender Ereignisse oder/und können verwendet werden zur Erstellung von
Organizerimportdatensatzep 29a, die sowohl über Strecke 31a an das Mobi_telefon 1 zurückgesendet werden können, wie auch an eine Nutzervorrichtung 3 über eine andere Verbindung 31 und die ebenfalls Grundlage sein können für die Abspeicherung in der Organizerdatenoank 29. Eine weitergenende Funkrion der Erfindung _st mit Kasten 29b dargestellt, wo aus αen neu erfassten Informationen und eventuell bereits früher erfasεcen Informationen inklusive über das Internet gezogene Kontaktinformationen, Informationen über frühere Treffen, oαer manuell eingegebenen Zusatzinformationen ein Gesamtparrnerprofil des Geschäftspartners, von dem die Visitenkarte und das Photo, das im Mobiltelefon 1 erfasst worden ist, erstellt und zur weiteren Verwendung dem Anwender bereit gestellt wird.
Eine ganz ähnliche Vorrichtung wird auch für eine Funktionalität verwendet, bei der an Stelle einer Geschäftspartnererfassung eine Produkterfassung erfolgt, wobei hier zusätzliche Informationen nicht mit biometrischen Profilen, sondern beispielsweise mit kennzeichnenden Merkmaien des photographierten Produktes erhalten werden können, sowie bei den kodierten Informationen mit Angaben zum Produktnamen beziehungsweise Produktcode. Es wird dann kein Partnerprofil, sondern ein Produktprofil erstellt, das beispielsweise auch Angaben dazu enthalten kann, wo das gewünschte Produkt preisgünstiger als gerade gesehen erhältlich ist.
Figur 3 zeigt in einer hochschematisierten Darstellung die möglichen Umwandlungsschritte der erfassten Daten. Hierbei zeigt Figur 3a in ihrem oberen Bereich, der mit a gekennzeichnet Ist (Aufnahmevorrichtung} , zunächst die Erfassung eines Bildes 40, dass eine Person, beispielsweise einen Geschäftspartner 41 darstellt, sowie eines zweiten Photos 42, das eine Visitenkarte dieses Geschäftspartners 43 zeigt. Beide vom Datensatzgenerator in Dateien umgewandelte Bilder, wird im gegebenen Beispiel eine ID = 0001 beigefügt, um sie durch diese Identifikationskennung eindeutig korrelieren zu können. Es wird damit eine Datei/ein Datensatz 25 in Form eines Obj ektdatensatzes , sowie eine Datei/ein Datensatz 44 als Informationsdatensatz erstellt. Das symbolisch verwendete Datenformat lehnt sich an HTML an, wobei es sich jedoch versteht, dass beliebige Formate verwendet werden können, einschließlich XML und vollständig proprietären Formaien. Die Darstellung soll lediglich zur Veranschaulichung der Grundprinzipien der Erfindung dienen.
Über Verbmdungsleitung 11 werden dann diese Datensatze an die im unteren Teil der Figur 3a schematisch gezeigte Korrelationsvorrichtung weiter geschickt, gekennzeichnet mit „K" . Es wird zunächst eine optische Zeichenerkennung,, gekennzeichnet mit OCR, durchgeführt, die zu einem extrahierten Datensatz 45 fuhrt, in dem statt eines Photos Angaben über den darin erkannten Text enthalten sind.
Nachfolgend wird eine semantische Analyse, gekennzeichnet mit SEM, durchgefunrt , mittels derer festgestellt wird, welche Teile des Textes, des mittels optischer Zeichenerkennung erhalten worden ist, welche semantische Bedeutung haben Jcann, wie beispielsweise Name des Geschäftspartners, seine verschiedenen Adressen, e-mail Angaben, etc. Es wird ein weiterer Datensatz 46 erstellt, der im gegebenen, nicht beschrankend anzusenenen Beispiels wiederum in HTML-ähnlicher leise Tags enthalt für Name, Adresse, e-mails, etc. Im nachfolgenden Schritt können mittels entsprechender Analyseverfahren weitere Informationen aus externer Quellen (EXT INFO) aufgefunden werden, beispielsweise
Internetkontaktborsen, Websites von Herstellern, Profilen von Unternehmen, die sich im Internet befinαen, etc. und diese Informationen werden vereinigt mit dem Datensatz 45, sowie dem Obj ektdatensatz 25 zu einem Kombinationsdatensatz verarbeitet, der in Figur 3b als 47 gekennzeichnet ist, und der im gegebenen, nicht als beschrankend anzusehenden Beispiel außer einer Identifikationskennung <ID = 0001> (die m dieser Phase auch weggelassen werden kann) einen Bereich für die Adressinformationen, einen Bereich für das Bild der erfassten Person, sowie einen Bereich <Info> für zusätzliche externe Informationen enthält. Diese werden über die Verbindungsstrecke 21 oder über eine Rückkopplungsstrecke 31a an die Nutzervorrichtung, die auch identisch mit der Aufnahmevorrichtung sein kann, gesendet, um dort: in einer lokalen Datenbank 14 bzw. 30 zusammen mit weiteren gleichartigen Informationen abgespeichert zu werden. In Figur 3b nicht dargestellt sind die erweiterten Möglichkeiten beispielsweise zur Integration von Zeit und Ortsinformationen oder die Erstellung zusätzlicher Datensätze für die Integration nicht nur in Adressdatenbanken, sondern auch in Terminverwaltungsprogramme .

Claims

Patentansprüche :
1. System zur Datenkorrelation, aufweisend:
eine Aufnahmevorrichtung (1) mit einem bilderfassenden Element (10) und einem Datensatzgenerator (12) zur Erzeugung zumindest eines Obj ektdatensatzes (25) aus zumindest einem erfassten ersten Bild (40) , das ein physikalisches Objekt (41) darstellt, und einer Identifikationskennung, die einen objektbezogenen Erfassungsvorgang eindeutig bestimmt, sowie zumindest eines Informationsdatensatzes (44) aus zumindest einem erfassten zweiten Bild (42), das auf das physikalische Objekt bezogene, codierte Informationen (43) darstellt, und der Identifikationskennung;
eine Korrelationsvorrichtung (2) zur Extraktion der codierten Information aus dem Informationsdatensatz (44), zur semantischen Analyse der extrahierten Information, und zur Erzeugung zumindest eines Kombinationsdatensatzes (47) aus den Ergebnissen der semantischen Analyse, den extrahierten Informationen und dem zumindest einen Objektdatensatz (25) mit derselben Identifikationskennung wie dem extrahierten Informationsdatensatz (44) ; und
eine Nutzervorrichtung (3) zur Speicherung und weiteren Nutzung des Kombinationsdatensatzes (47) .
2. System nach Anspruch 1, dadurch gekennzeichnet, dass die codierten Informationen Textinformation sind.
3. System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Korrelationsvorrichtung (2} eine optische Zeichenerkennungseinheit (22) zur Extraktion der codierten Informationen aus dem Informationsdatensatz (44} aufweist.
4. System nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass das zweite erfasste Bild (42) eine Visitenkarte (43) oder einen vergleichbaren Gegenstand darstellt und die codierten Informationen Adressinformationen sind; und dass das erste erfasste Bild (40) ein Abbild der Person ist, deren Adressinformationen auf der Visitenkarte (43) dargestellt sind.
5. System nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass das zweite erfasste Bild ein Produktinformationsschild oder einen vergleichbaren Gegenstand darstellt und die codierten Informationen ProduktInformationen sind; und dass das erste erfasste Bild ein Abbild eines Produkts ist, dessen Produktinformationen auf dem Produktinformationsschild dargestellt sind.
6. System nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Korrelationsvorrichtung (2) räumlich getrennt ist von der Aufnahmevorrichtung (1) und der Nutzervorrichtung (3) und mit ihnen über zumindest ein Netzwerk (11, 21} verbunden ist.
7. System nach Anspruch 6, dadurch gekennzeichnet, dass das zumindest eine Netzwerk (11, 21} ein Funknetzwerk, beispielsweise ein GSM-, Bluetooth-, WLAN- oder UMTS-Netzwerk ist.
8. System nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass die Korrelationsvorrichtung (2) mit der Aufnahmevorrichtung (1} über ein Funknetzwerk (11) und mit der Nutzervorrichtung über ein Leitungsnetzwerk {21} verbunden ist.
9. System nach einem der Ansprüche 4 und 6 bis 8, dadurch gekennzeichnet, dass der Kombinationsdatensatz {47} in einem Format vorliegt, das von Adressverwaltungsprogrammen eingelesen werden kann und die Nutzervorrichtung {3} zumindest ein Adressverwaltungsprogramm zur Speicherung der Kombinationsdatensätze aufweist.
10. System nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Aufnahmevorrichtung (1} des weiteren zumindest eine Zeitinformation erfasst, zur Festlegung zumindest eines Zeitpunkts, zu dem die Bilddaten erfasst werden.
11. System nach Anspruch 10, dadurch gekennzeichnet, dass die Korrelationsvorrichtung (2) zur Erzeugung eines zweiten Kombinationsdatensatzes in einem Format dient, dass von Terminverwaltungsprogrammen eingelesen werden kann, und das die Zeitinformation beinhaltet; und die Nutzervorrichtung {3) zumindest ein Terminverwaltungsprogramm zur Speicherung der zweiten Kombinationsdatensätze aufweist.
12. System nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Aufnahmevorrichtung (1) des weiteren eine Lokalisationseinheit (13) zur Bestimmung des Aufenthaltorts des Aufnahmegeräts aufweist und der Datensatzgenerator (12} zur Erzeugung eines
Lokalisationsdatensatzes gleichzeitig mit der Erzeugung des Objektdatensatzes und/oder des Informationsdatensatzes dient, der Aufenthaltsdaten und die gleiche
Identifikationskennung wie der Objektdatensatz (25) und/oder der Informationsdatensatz (44} enthält, und dass die Korrelationsvorrichtung (2} dafür ausgelegt ist, Kombinationsdatensätze (47} auch unter Verwendung des Lokalisationsdatensatzes zu erzeugen.
13. System nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Aufnahmevorrichtung (1) eine Audioaufzeichnungseinheit zur Aufzeichnung von Audiodaten, die in Zusammenhang mit dem erfassten physikalischen Objekt (41) stehen, aufweist und der Datensatzgenerator (12) zur Erzeugung eines Audiodatensatzes dient, der Audiodaten und derselben Identifikationskennung wie der Obj ektdatenεatz (25) und/oder der Informationsdatensatz (44) enthält, und dass die Korrelationsvorrichtung (2) dafür ausgelegt ist, aus dem Audiodatensatz ein Sprecherprofil mit charakteristischen Audio-Eigenschaften des erfassten Objekts zu erstellen.
14. System nach Anspruch 13, dadurch gekennzeichnet, dass das erfasste Objekt eine Person Ist, die Audiodaten Sprachdaten der Person sind und die Korrelationsvorrichtung (2} dazu dient, dass das Sprecherprofil dazu verwendet wird, Nachrichten, die von der Person stammen und an die Korrelationsvorrichtung (2} gesendet worden sind, in akustischer Form unter Verwendung einer aus dem Sprecherprofil für die Person abgeleiteten synthetischen Stimme an der Nutzervorrichtung (3) vorlesen zu lassen.
15. System nach einem der Ansprüche 4 und 6 bis 14, dadurch gekennzeichnet, dass die Korrelationsvorrichtung eine Biometrieeinheit aufweist, zur biometrischen Analyse einer im Objektdatensatz dargestellten Person.
16. System nach einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass die Korrelationsvorrichtung (2) weiterhin zumindest eine Informationssucheinheit zur Suche nach weiteren Daten im Internet aufweist, die in einer semantischen Beziehung zu den extrahierten Informationen, zu den Ergebnissen der semantischen Analyse, und/oder zu den Objektdaten stehen.
17. System nach Anspruch 16, dadurch gekennzeichnet, dass die weiteren Daten Kontaktdaten aus Kontaktplattformen im Internet sind.
18. System nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass die Mutzervorrichtung (3) ein Personalcomputer des Verwenders der AufnähmeVorrichtung (19 ist.
19. System nach einem der Ansprüche 1 bis 18, dadurch gekennzeichnet, dass die Aufnahmevorrichtung (1) eine autonome Einheit ist, die zur Übersendung von Datensätzen eine Verbindung mit der Korrelationsvorrichtung (2) aufnehmen kann.
20. System nach einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass Nutzervorrichtung (3) und Aufnahmevorrichtung (1) in einem autonomen Gerät realisiert sind.
21. System nach einem der Ansprüche 1 bis 20, dadurch gekennzeichnet, dass die Aufnahmevorrichtung (1) ein Mobiltelefon ist.
22. System nach Anspruch 21, dadurch gekennzeichnet, dass, wenn die codierten Informationen Adressinformationen sind, die Korrelationsvorrichtung (2) dafür ausgelegt ist, aus denjenigen der Adressinformationen, die anhand der semantischen Analyse als Name identifiziert worden sind, ein Audioprofil zu erstellen, das als Koiαbinationsdatensatz zur Konfiguration einer SprachwahlSteuerung im Mobiltelefon an dieses gesendet wird.
23. Mobiles Endgerät, aufweisend:
eine Aufnahmevorrichtung (1) mit einem bilderfassenden Element (10) und einem Datensatzgenerator (12) zur Erzeugung zumindest eines Objektdatensatzes (25) aus zumindest einem erfassten ersten Bild (40), das ein physikalisches Objekt darstellt (41), und einer Identifikationskennung, sowie zumindest eines Informationsdatensatzes (44) aus zumindest einem erfassten zweiten Bild (42), das auf das physikalische Objekt bezogene, codierte Informationen (43) darstellt, und der Identifikationskennung;
eine Sende-/Empfangsvorrichtung zum Senden zumindest des Objektdatensatzes (25) und des Informationsdatensatzes (44) an eine Korrelationsvorrichtung (2) zur Extraktion der codierten Information aus dem Informationsdatensatz (44), zur semantischen Analyse der extrahierten Information, und zur Erzeugung zumindest eines Kombinationsdatensatzes (47) aus den Ergebnissen der semantischen Analyse, den extrahierten Informationen und dem zumindest einen Objektdatensatz (25) mit derselben Identifikationskennung wie dem extrahierten Informationsdatensatz (44); und zum Empfangen des zumindest einen Kombinationsdatensatzes (47) von der Korrelationsvorrichtung (2); und
eine Nutzervorrichtung (3) zur Speicherung und weiteren Nutzung des Kombinationsdatensatzes (47) .
24. Mobilendgerät nach Anspruch 23, dadurch gekennzeichnet, dass die codierten Informationen TextInformation sind.
25. Mobilendgerät nach einem der Ansprüche 23 oder 24, dadurch gekennzeichnet, dass das zweite erfasste Bild eine Visitenkarte (43) oder einen vergleichbaren Gegenstand darstellt und die codierten Informationen Adressinformationen sind,- und dass das erste erfasste Bild ein Abbild der Person (41) ist, deren Adressinformationen auf der Visitenkarte (43) dargestellt sind.
26. Mobilendgerät nach einem der Ansprüche 23 bis 25, dadurch gekennzeichnet, dass die Sende- /Empfangsvorrichtung eine Schnittstelle in einem FunknetzStandard aufweist, beispielsweise im GSM-, Bluetooth-, WLAN- oder UMTS- Funknetzwerk-Standard .
27. Mobilendgerät nach einem der Ansprüche 23 bis 26, dadurch gekennzeichnet, dass der zumindest eine Kombinationsdatensatz
(47) weiteren Daten aus dem Internet aufweist, die in einer semantischen Beziehung zu den extrahierten Informationen, zu den Ergebnissen der semantischen Analyse, und/ oder zu den Objektdaten stehen.
28. Mobilendgerät nach Anspruch 27, dadurch gekennzeichnet, dass die weiteren Daten Kontaktdaten aus Kontaktplattformen im Internet sind.
29. Mobilendgerät nach einem der Ansprüche 23 bis 28, dadurch gekennzeichnet, dass der Kombinationsdatensatz (47} in einem Format vorliegt, das von Adressverwaltungsprogrammen eingelesen werden kann, und die Nutzervorrichtung zumindest ein Adressverwaltungsprogramm zur Speicherung der Kombinationsdatensätze aufweist.
30. System nach einem der Ansprüche 23 bis 29, dadurch gekennzeichnet, dass die Aufnahmevorrichtung (1) des weiteren zumindest eine Zeitinformation erfasst, zur Festlegung zumindest eines Zeitpunkts, zu dem die Bilddaten erfasst werden .
31. Mobilendgerät nach Anspruch 30, dadurch gekennzeichnet, dass die Sende-/Empfangsvorrichtung zum Empfang eines zweiten Kombinationsdatensatzes (47) aus der Korrelationsvorrichtung in einem Format dient, das von Terminverwaltungsprogrammen eingelesen werden kann, und das die Zeitinformation beinhaltet; und die Nutzervorrichtung (3) zumindest ein Terminverwaltungsprogramm zur Speicherung der zweiten Kombinationsdatensätze (47) aufweist.
32. Mobilendgerät nach einem der Ansprüche 23 bis 31, dadurch gekennzeichnet, dass die Aufnahmevorrichtung (1) des weiteren eine Lokalisationseinheit (13) zur Bestimmung des
Aufenthaltortε des Aufnahmegeräts (1) aufweist und der Datensatzgenerator (12) zur Erzeugung eines
Lokalisationsdatensatzes gleichzeitig mit der Erzeugung des Objektdatensatzes (25) und/oder des Informationsdatensatzes (44) dient, der Aufenthaltsdaten und die gleiche Identifikationskennung wie der Objektdatensatz (25) und/oder der Informationsdatensatz (44) enthält, und dass die Kombinationsdatensätze (47} auch Informationen aus dem Lokalisationsdatensatz enthalten .
33. Mobilendgerät nach einem der Ansprüche 23 bis 32, dadurch gekennzeichnet, dass es, wenn die codierten Informationen Adressinformationen sind, dafür bestimmt ist , einen Kombinationsdatensatz (47) zu empfangen, der ein Audioprofil enthält, dass aus denjenigen der Adressinformationen, die anhand der semantischen Analyse als Name identifiziert worden sind, erstellt ist, wobei der Kombinationsdatensatz zur Konfiguration einer SprachwahlSteuerung im Mobilendgerät bestimmt ist.
34. Verfahren zur Datenkorrelation, aufweisend die Schritte:
in einer Aufnahmevorrichtung (1) mit einem bilderfassenden Element (10) :
Erfassen eines ersten Bild (40), das ein physikalisches Objekt (41) darstellt,
Erfassen eines zweiten Bilds (42) , das auf das physikalische Objekt bezogene, codierte Informationen (43) darstellt,
Erzeugen zumindest eines Objektdatensatzes (25) aus zumindest einem erfassten ersten Bild und einer Identifikationskennung, die einen objektbezogenen Erfassungsvorgang eindeutig bestimmt ,
Erzeugen zumindest eines Informationεdatensatzes (44) aus zumindest einem erfassten zweiten Bild und der Identifikationskennung; in einer Korrelationsvorrichtung (2)
Extrahieren der codierten Information aus dem Informationsdatensatz (44),
Semantisches Analysieren der extrahierten Information, und
Erzeugen zumindest eines Kombinationsdatensatzes (47) aus den Ergebnissen der semantischen Analyse, den extrahierten Informationen und dem zumindest einen Objektdatensatz (25) mit derselben Identifikationskennung wie dem extrahierten Informationsdatensatz (44); und
in einer Nutzervorrichtung (3) :
Speichern und weiteres Nutzen des Kombinationsdatensatzes (47) .
EP09719411A 2008-03-03 2009-03-03 System und verfahren zur datenkorrelation und mobilendgerät dafür Withdrawn EP2255522A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE202008002980U DE202008002980U1 (de) 2008-03-03 2008-03-03 System zur Datenkorrelation und Mobilendgerät dafür
PCT/EP2009/052500 WO2009112398A2 (de) 2008-03-03 2009-03-03 System und verfahren zur datenkorrelation und mobilendgerät dafür

Publications (1)

Publication Number Publication Date
EP2255522A2 true EP2255522A2 (de) 2010-12-01

Family

ID=39768311

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09719411A Withdrawn EP2255522A2 (de) 2008-03-03 2009-03-03 System und verfahren zur datenkorrelation und mobilendgerät dafür

Country Status (4)

Country Link
US (1) US8190195B2 (de)
EP (1) EP2255522A2 (de)
DE (1) DE202008002980U1 (de)
WO (1) WO2009112398A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2294807A2 (de) * 2008-05-17 2011-03-16 Photonic B.v. Verfahren und system zur fotoidentifikation und verteilung

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2948214A1 (fr) * 2009-07-20 2011-01-21 Alcatel Lucent Procede d'identification du visage d'un individu et terminal de telecommunication mettant en œuvre un tel procede
US8682669B2 (en) * 2009-08-21 2014-03-25 Synchronoss Technologies, Inc. System and method for building optimal state-dependent statistical utterance classifiers in spoken dialog systems
JP5444115B2 (ja) * 2010-05-14 2014-03-19 株式会社Ｎｔｔドコモ データ検索装置、データ検索方法及びプログラム
US8799269B2 (en) * 2012-01-03 2014-08-05 International Business Machines Corporation Optimizing map/reduce searches by using synthetic events
US11188509B2 (en) * 2012-02-20 2021-11-30 Wix.Com Ltd. System and method for generating a visual data structure associated with business information based on a hierarchy of components
US8898165B2 (en) 2012-07-02 2014-11-25 International Business Machines Corporation Identification of null sets in a context-based electronic document search
US8903813B2 (en) 2012-07-02 2014-12-02 International Business Machines Corporation Context-based electronic document search using a synthetic event
US9460200B2 (en) 2012-07-02 2016-10-04 International Business Machines Corporation Activity recommendation based on a context-based electronic files search
US9262499B2 (en) 2012-08-08 2016-02-16 International Business Machines Corporation Context-based graphical database
US8676857B1 (en) 2012-08-23 2014-03-18 International Business Machines Corporation Context-based search for a data store related to a graph node
US8959119B2 (en) 2012-08-27 2015-02-17 International Business Machines Corporation Context-based graph-relational intersect derived database
US9619580B2 (en) 2012-09-11 2017-04-11 International Business Machines Corporation Generation of synthetic context objects
US9251237B2 (en) 2012-09-11 2016-02-02 International Business Machines Corporation User-specific synthetic context object matching
US8620958B1 (en) 2012-09-11 2013-12-31 International Business Machines Corporation Dimensionally constrained synthetic context objects database
US9223846B2 (en) 2012-09-18 2015-12-29 International Business Machines Corporation Context-based navigation through a database
US8782777B2 (en) 2012-09-27 2014-07-15 International Business Machines Corporation Use of synthetic context-based objects to secure data stores
US9741138B2 (en) 2012-10-10 2017-08-22 International Business Machines Corporation Node cluster relationships in a graph database
US8931109B2 (en) 2012-11-19 2015-01-06 International Business Machines Corporation Context-based security screening for accessing data
US9229932B2 (en) 2013-01-02 2016-01-05 International Business Machines Corporation Conformed dimensional data gravity wells
US8914413B2 (en) 2013-01-02 2014-12-16 International Business Machines Corporation Context-based data gravity wells
US8983981B2 (en) 2013-01-02 2015-03-17 International Business Machines Corporation Conformed dimensional and context-based data gravity wells
US9053102B2 (en) 2013-01-31 2015-06-09 International Business Machines Corporation Generation of synthetic context frameworks for dimensionally constrained hierarchical synthetic context-based objects
US8856946B2 (en) 2013-01-31 2014-10-07 International Business Machines Corporation Security filter for context-based data gravity wells
US9069752B2 (en) 2013-01-31 2015-06-30 International Business Machines Corporation Measuring and displaying facets in context-based conformed dimensional data gravity wells
US9292506B2 (en) 2013-02-28 2016-03-22 International Business Machines Corporation Dynamic generation of demonstrative aids for a meeting
US9110722B2 (en) 2013-02-28 2015-08-18 International Business Machines Corporation Data processing work allocation
US10152526B2 (en) 2013-04-11 2018-12-11 International Business Machines Corporation Generation of synthetic context objects using bounded context objects
US9348794B2 (en) 2013-05-17 2016-05-24 International Business Machines Corporation Population of context-based data gravity wells
US9195608B2 (en) 2013-05-17 2015-11-24 International Business Machines Corporation Stored data analysis
KR20150018264A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 안경형 단말기의 정보 제공 장치 및 그 방법
US11074342B1 (en) * 2016-08-16 2021-07-27 State Farm Mutual Automobile Insurance Company Si data scanning process
CN110705953A (zh) * 2019-08-19 2020-01-17 湖南正宇软件技术开发有限公司 一种数据采集方法和系统
CN113221383B (zh) * 2021-06-03 2023-02-28 广东省特种设备检测研究院佛山检测院 一种特种设备分布地图的管理方法及其管理系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US633095A (en) * 1898-11-02 1899-09-12 Isidor Deutsch Automatic device for operating electric switches.
US5392447A (en) 1992-01-10 1995-02-21 Eastman Kodak Compay Image-based electronic pocket organizer with integral scanning unit
US5821523A (en) 1992-03-12 1998-10-13 Bunte; Alan G. Combined code reader and digital camera using a common photodetector
US6976032B1 (en) * 1999-11-17 2005-12-13 Ricoh Company, Ltd. Networked peripheral for visitor greeting, identification, biographical lookup and tracking
JP2002171434A (ja) * 2000-12-04 2002-06-14 Nikon Corp 電子カメラ
WO2003001435A1 (en) 2001-06-22 2003-01-03 Emblaze Systems, Ltd Image based object identification
US6834807B2 (en) * 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
KR100465290B1 (ko) * 2002-04-22 2005-01-13 삼성전자주식회사 휴대용 단말기의 표시데이타 전송장치 및 방법
WO2006025797A1 (en) 2004-09-01 2006-03-09 Creative Technology Ltd A search system
KR100678050B1 (ko) * 2004-10-27 2007-02-02 삼성전자주식회사 이동 통신 시스템에서 영상 데이터를 송수신하기 위한장치 및 방법
JP4586534B2 (ja) * 2004-12-28 2010-11-24 セイコーエプソン株式会社 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
US7450760B2 (en) 2005-05-18 2008-11-11 Scanr, Inc. System and method for capturing and processing business data
US7512398B2 (en) * 2005-08-23 2009-03-31 Agere Systems Inc. Authenticating data units of a mobile communications device
JP4984915B2 (ja) * 2006-03-27 2012-07-25 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
DE102006050409A1 (de) 2006-06-02 2007-12-06 Gavitec Ag System und Verfahren zum Bild- und Datenupload mit mobilem Endgerät

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Named-entity recognition", vol. WIKIPEDIA, 1 March 2008 (2008-03-01), Retrieved from the Internet <URL:http://en.wikipedia.org/w/index.php?title=Named-entity_recognition&oldid=195097895> [retrieved on 20130812] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2294807A2 (de) * 2008-05-17 2011-03-16 Photonic B.v. Verfahren und system zur fotoidentifikation und verteilung

Also Published As

Publication number Publication date
WO2009112398A3 (de) 2009-11-05
US8190195B2 (en) 2012-05-29
WO2009112398A2 (de) 2009-09-17
DE202008002980U1 (de) 2008-09-18
US20110077048A1 (en) 2011-03-31

Similar Documents

Publication Publication Date Title
EP2255522A2 (de) System und verfahren zur datenkorrelation und mobilendgerät dafür
EP0814611B1 (de) Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
US10412184B2 (en) System and method for displaying contextual activity streams
DE102009043277B4 (de) Interpretation von Gebärden, um visuelle Warteschlangen bereitzustellen
US7668348B2 (en) Image classification and information retrieval over wireless digital networks and the internet
DE60126896T2 (de) Verfahren zur anzeige von informationen auf einem endgerät mit geringem anzeigevermögen
CN103634371B (zh) 一种党务信息智能化移动客户端及管理方法
CN104239853A (zh) 一种图像的处理方法和装置
CN106936689A (zh) 基于即时通讯公众号的客户服务方法及设备
CN110765293A (zh) 自动开启二维码的方法、系统、电子设备及存储介质
US20060257003A1 (en) Method for the automatic identification of entities in a digital image
EP1236331B1 (de) Kommunikationssystem, zentraler computer, sowie verfahren zum übertragen einer url oder einer elektronischen postadresse
DE602005003578T2 (de) Verfahren, System und Gerät zum selektiven Zugriff und Synchronisierung von Anwendungen
DE102011108388B4 (de) Verfahren zum Betreiben eines mobilen Telekommunikationsendgerätes
DE60320688T2 (de) System und verfahren zum senden einer multimedia-nachricht
CN114945043B (zh) 业务数据记录方法、装置、设备及存储介质
WO2012007274A1 (de) Verfahren zum übermitteln eines in schriftform vorliegenden textbeitrags insbesondere eines gedruckten mediums
CN107316127A (zh) 一种实习信息的采集方法
CN114697286B (zh) 即时通信数据的处理方法及装置、计算机可读存储介质
CN110134535B (zh) 一种基于物联网rpc通讯的数据协同与智能识别系统
WO2015140046A1 (de) Verfahren zum identifizieren eines nutzers eines kommunikationsgerätes unter verwendung eines elektronischen identifikationsdienstes
DE102009025069B4 (de) Verfahren und Kommunikationsendgerät zum Feststellen von Gemeinsamkeiten zwischen wenigstens zwei Netzwerkteilnehmern eines Kommunikationsnetzwerks
CN114529845A (zh) 一种通话信息处理方法、终端及服务器
DE102021130955A1 (de) Computer-implementiertes Videokonferenz-Verfahren
DE10016019A1 (de) Verfahren zur automatischen Übersetzung während der Übertragung von Informationen und System zur Durchführung des Verfahrens

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20101004

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20120328

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20131001