DE10208959A1

DE10208959A1 - Method for automatic searching of web servers, whereby a service machine and conversion unit are used as a search interface with said conversion unit containing conversion files for correct formatting of search requests

Info

Publication number: DE10208959A1
Application number: DE10208959A
Authority: DE
Inventors: Peter Schneider; Hannes Prokoph; Michael Walbrach
Original assignee: EQUERO FUTURE NET TECHNOLOGIES
Current assignee: EQUERO FUTURE NET TECHNOLOGIES
Priority date: 2002-02-28
Filing date: 2002-02-28
Publication date: 2003-09-18
Anticipated expiration: 2022-03-01
Also published as: DE10208959B4

Abstract

Method in which a number of web servers (5) are connected to a service machine (3) via a conversion unit (4). The converter unit contains a number of server specific configuration files with which search requests (12) are formatted in an acceptable format before forwarding to a particular web server. The converter also contains decoder files for evaluation of the web server responses. An Independent claim is made for a device for largely automatic searching of the web, that comprises a service machine that connects to web servers via a conversion unit and comprises relevant files for encoding search requests and decoding responses, e.g. XML files and XSL style sheets.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur weitgehend selbsttätigen Erfassung und Auswertung von in einem Rechnernetzwerk, vorzugsweise dem Internet oder einem Intranet, abgelegten Informationen. The invention relates to a method and a device for the largely automatic recording and evaluation of in a computer network, preferably the Internet or an intranet, stored information.

In den letzten Jahren hat, besonders durch das Internet, aber auch durch die Verwirklichung von ausgedehnten Intranets, beispielsweise in großen Firmen, eine Veränderung der digitalen Welt dahingehend statt gefunden, dass Rechner heute im Wesentlichen als vernetzte Systeme verstanden werden müssen. Durch die Vernetzung einer unübersehbaren Vielzahl von Rechnern ist auch die in einem derartigen Netzwerk abgelegte und angehäufte Informationsmenge in ihrem Umfang sowie ihrer Ordnung nach völlig unübersichtlich. Insbesondere dem Internet als weitgehend anarchisch und chaotisch aufgebautes Rechnernetzwerk fehlt es - technisch notwendig - an einer Strukturierung der in diesem Netzwerk enthaltenen Information. Es gibt daher eine Reihe von Portalen und Dienstanbietern, die versuchen, das Arbeiten in derartigen Netzwerken in Form von Suchmaschinen oder durch strukturierte Eingangsportale zu erleichtern. Dabei ermitteln die Suchmaschinen an Hand vorgegebener Regeln auf Grund von Benutzeranfragen die etwa in Frage kommenden URL-Adressen. In einfachster Ausgestaltung wird eine Volltextsuche im Internet durchgeführt. Derartige Maschinen haben den Nachteil, in der Informationsbeschaffung relativ langsam und in der Ergebnisqualität stark von den jeweiligen Suchbegriffen abhängig zu sein. Eine Verbesserung kann dadurch erreicht werden, dass zumindest zusätzlich auch die Metatags der Homepages - also quasi die Inhaltsangaben der Seiten - ausgewertet werden oder eigene Datenbanken mit einer entsprechenden Indizierung der Seiten angelegt und ausgewertet werden. Die Qualität des Suchergebnisses hängt bei diesen Suchmaschinen stark von der Qualität, insbesondere der Aktualität, dieser Datenbank ab. In recent years, especially through the internet, but also through the realization of extensive ones Intranets, for example in large companies, one Change in the digital world taking place that Computers today essentially as networked systems must be understood. By networking one The vast number of computers is also one in one such a network filed and accumulated The amount of information in its scope as well as its order completely confusing. Especially the internet as largely there is no anarchic and chaotic computer network it - technically necessary - in structuring the in information contained in this network. So there is one Set of portals and service providers trying to do that Working in such networks in the form of search engines or facilitated by structured entrance portals. The search engines determine on the basis of predetermined Rules based on user requests that are in question upcoming URL addresses. In its simplest form performed a full text search on the Internet. such Machines have the disadvantage in that Information gathering relatively slow and in the quality of the results strongly from to be dependent on the respective search terms. A Improvement can be achieved by at least additionally the meta tags of the homepages - so to speak the Contents of the pages - to be evaluated or own Databases with a corresponding indexing of the pages created and evaluated. The quality of the Search results depend heavily on these search engines the quality, especially the topicality, of this database from.

In abermals verbesserter Ausgestaltung bemühen sich derartige Portale sogar darum, dem Benutzer die Auswertung, insbesondere vergleichende Auswertung, von Websites abzunehmen. In diesem Zusammenhang sind insbesondere preisvergleichende Systeme bekannt geworden. Allen Systemen ist gemein, dass aus der Informationsflut der in einem Rechnernetzwerk vorhandenen Informationen sogenannte Meta- Informationen geschaffen werden, die zum Aufbau einer geordneten, hierarchischen Struktur der in dem Rechnernetzwerk vorhandenen Informationen in einer eigenen Datenbank dienen. Unter Meta-Informationen versteht man Informationen, die andere Informationen beschreiben, bewerten oder zusammenfassen. Make an effort to improve it again such portals even to provide the user with the evaluation, especially comparative evaluation of websites to decrease. In this context, in particular systems that compare prices have become known. All systems is common that from the flood of information in one Computer network existing information so-called meta Information is created to build a business orderly, hierarchical structure of the in the Computer network existing information in its own database serve. Meta information means Information describing or evaluating other information sum up.

Dadurch, dass die fraglichen Informationen mit einem Rechner beschafft werden, liegt es nahe, zu versuchen, diese umfangreichen Auswertungen und Vergleichsarbeiten auch von einem Rechner durchführen zu lassen. Derart weitgehend selbsttätige Vergleiche werden in erster Linie dadurch erschwert, dass die meisten Informationen nur schwer vergleichbar sind. So besteht beispielsweise beim Vergleich von Mobilfunktarifen das Problem, dass diese derart unterschiedlich ausgestaltet sind, dass sie sich einem Vergleich weitgehend entziehen. Die Schaffung von derart intelligenten Vergleichssystemen muss somit als die Anlage von sogenannten Expertensystemen verstanden werden, die mit zum Teil aufwendigen Algorithmen, etwa der Fuzzy- Logic, versuchen, durch selbsttätige Vergleichsaufgaben einen echten Mehrwert für die jeweiligen Benutzer zu schaffen. Es handelt sich damit weitgehend um die Stellung sogenannter "Künstlicher Intelligenz". By having the information in question with a Computer, it makes sense to try these extensive evaluations and comparative work can also be carried out by a computer. so largely automatic comparisons are made primarily complicated by the fact that most of the information only are difficult to compare. For example, at Comparison of cellular tariffs the problem that this are designed so differently that they are largely elude a comparison. The creation of such intelligent comparison systems must therefore be considered the Installation of so-called expert systems can be understood, which are sometimes complicated algorithms, such as fuzzy Logic, try through automatic comparison tasks a real added value for the respective user create. It is largely about the position so-called "artificial intelligence".

In einfachster Ausgestaltung ist aus der EP 0807291 B1 ein Informationszugriff-System bekannt, mit dem zu einer aus dem Rechnernetzwerk bezogenen Informationsmenge Meta- Informationen erzeugt werden, die dann mittels einer Vergleichsvorrichtung analysiert und weiter ausgewertet werden. Sehr oft gehen derartige Systeme, wie auch in diesem Beispiel, davon aus, dass Ihnen die nachgefragten Datenlieferanten, oftmals Content-Provider genannt, beispielsweise aufgrund eines eigenen Verkaufsinteresses die gewünschten Daten in einem vorgegebenen Format selbst liefern. Die ansonsten bestehenden Anschlussproblematik die aus der Ein- und Anbindung unterschiedlicher Datenstrukturen resultiert, entfällt dann. In the simplest embodiment, EP 0807291 B1 Information access system known to be one out amount of information related to the computer network Information is generated, which is then created using a Comparison device analyzed and further evaluated become. Such systems very often work, as in this example, assume that you have the requested Data providers, often called content providers, for example due to their own sales interest the desired data in a given format itself deliver. The otherwise existing connection problems from integrating and connecting different Data structures result, is then omitted.

In weiterer Ausgestaltung kann gemäß der WO 98/57272 aus den empfangenen Informationen ein Meta-Lexikon erzeugt und in echten Datenbankanwendungen durch die Ablage in einer SQL-Sprache zugänglich gemacht werden. In a further embodiment, according to WO 98/57272 generates a meta-lexicon for the information received and in real database applications by storing them in one SQL language can be made accessible.

Grundsätzlich besteht bei derartigen Datenbankanwendungen das Problem, aus den empfangenen Informationen die relevanten Informationen zu extrahieren. Die Lösung ist insbesondere dadurch erschwert, dass die im Zusammenhang mit einer Benutzeranfrage anzusprechenden Internet-Portale vollkommen unterschiedlich aufgebaut sein können und meist keine Meta-Informationen enthalten. Vor der Auswertung der eigentlichen Informationen ist somit meistens eine Analyse der angesprochenen Internetseiten und insbesondere deren Aufbau erforderlich, um auf Grund des charakteristischen Aufbaus beispielsweise Preisinformationen beschaffen zu können. Basically, there is such a database application the problem from the information received the extract relevant information. The solution is particularly complicated by the fact that related Internet portals to be addressed with a user request can be completely different and mostly does not contain meta information. Before evaluating the actual information is therefore mostly an analysis the mentioned websites and especially their Construction required to due to the characteristic Construction, for example, to obtain price information can.

Hierzu ist beispielsweise aus der JP 2000172722 ein heuristisches Verfahren zur Extraktion von Preisinformationen aus HTML-Dokumenten vorbekannt. For this purpose, for example, from JP 2000172722 heuristic method for extracting Pricing information from HTML documents already known.

Aus der EP 0774722 A1 ist ein System zur Erstellung von Homepages bekannt, deren Datenstruktur nach Daten des Inhalts und der Gestaltung der Seite aufgeschlüsselt sind. Auch hier wird unterstellt, dass die jeweiligen Betreiber der anzufragenden bzw. zu vergleichenden Portale die hierzu benötigten Meta-Informationen mehr oder minder von sich aus bereitstellen. EP 0774722 A1 describes a system for creating Homepages known, their data structure according to data of Content and design of the page are broken down. Here too it is assumed that the respective operator of the portals to be requested or compared, the relevant required meta information more or less on its own provide.

Die vorstehend erläuterte, komplexe Aufgabe zur Extraktion der gewünschten Informationen aus der jeweils angesprochenen Datenmenge wird dadurch weiter erschwert, dass insbesondere die für derartige Vergleichsoperationen relevanten, mächtigen Portale zunehmend dynamisch Websites generieren. The complex extraction task explained above the information you want from each The amount of data addressed is further complicated that especially for such comparison operations relevant, powerful portals increasingly dynamic websites to generate.

Hierunter ist nicht etwa nur die Verwendung von DHTML- Seiten zu verstehen. DHTML, also dynamisches HTML, erlaubt es, eine Internetseite derart zu programmieren, dass sich die Elemente dieser Seite während der Anzeige dynamisch ändern. Dynamische Webseiten in diesem Sinne wären also Webseiten, die sich während der Anzeige der Seite verändern. This does not only include the use of DHTML Sides to understand. DHTML, i.e. dynamic HTML, allowed programming a website in such a way that the elements of this page are dynamic during display to change. Dynamic websites in this sense would be Web pages that are viewed while viewing the page change.

Unter "echt" dynamischen Webseiten werden jedoch solche Seiten verstanden, die erst zum Anforderungszeitpunkt generiert und dann an den Benutzer übermittelt werden. Es versteht sich von selbst, dass die Auswertung von dynamischen Webseiten oder sogenannten "Deep-Websites" zu Vergleichszwecken eine noch weitergehende Herausforderung darstellt als die Analyse statischer Seiten. However, such "real" dynamic websites Understood pages that only at the time of request generated and then transmitted to the user. It goes without saying that the evaluation of dynamic websites or so-called "deep websites" A further challenge for comparison purposes represents as the analysis of static pages.

Hierzu ist es aus der US 6,055,522 bekannt, dynamische Inhalte von Webseiten zuerst in sogenannte gekapselte, statische HTML-Seiten umzuwandeln, um dann über die entsprechend vereinfachten, statischen Seiten die zu Vergleichszwecken erforderlichen Analysen durchzuführen. For this purpose, it is known from US Pat. No. 6,055,522, dynamic Contents of websites first encapsulated in so-called convert static HTML pages to then use the correspondingly simplified, static pages to To carry out necessary analyzes for comparison purposes.

Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zu Grunde, ein Verfahren und eine Vorrichtung zur weitgehend selbsttätigen Informationsbeschaffung und Auswertung aus einem Rechnernetzwerk zu schaffen, damit sowohl die Verbindung mit statisch, wie auch dynamisch abgelegten Informationen einsetzbar ist. The invention is based on this prior art based on the task, a method and a device for largely automatic information gathering and To create evaluation from a computer network so both the connection with static as well as dynamic stored information can be used.

Die Lösung dieser Aufgabe gelingt durch ein Verfahren oder eine Vorrichtung gemäß Anspruch 1 oder 15. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich aus den Merkmalen der Ansprüche 2 bis 14. This problem can be solved by a method or a device according to claim 1 or 15. Advantageous Refinements of the method according to the invention result from the features of claims 2 to 14.

Dadurch, dass zwischen eine Servicemaschine zur Generierung von zulässigen Anfragen an angeschlossene Webserver und zur Auswertung der von diesen Webservern bezogenen Informationen eine Konvertereinheit zur Erzeugung der für den jeweils angesprochenen Webserver geeigneten serverspezifischen Fragesyntax und zur ebenfalls serverspezifischen Umsetzung der vom Webserver bezogenen Antworten geschaltet ist, kann zunächst gleichzeitig mit verschiedenen Servern unterschiedlichen Aufbaus kommuniziert werden und die von diesen Servern bezogene Informationen ggf. einer weiteren Auswertung, - etwa zu Vergleichszwecken - zugeführt werden. The fact that between a service machine for generation of permissible requests to connected web servers and Evaluation of those obtained from these web servers Information a converter unit for generating the for each addressed web server suitable server-specific Question syntax and for server-specific implementation of the responses obtained from the web server can initially simultaneously with different servers different structures and are communicated by them Server-related information, possibly another Evaluation, for example for comparison purposes.

Hierzu werden vor der ersten Betriebsaufnahme die relevanten Webserver an die Konvertereinheit mittels einer Protokolliereinheit angeschlossen. Dies geschieht dadurch, dass händisch oder selbsttätig in Form von Testabfragen mit den jeweiligen Webservern kommuniziert wird. Diese Testsitzung wird mit der Protokolliereinheit vollständig aufgezeichnet und zur Bestimmung der in Verbindung mit diesem Webserver zulässigen und erforderlichen Fragesyntax ausgewertet. Bei dieser Gelegenheit werden auch etwa erforderliche Kommunikationsabläufe, wie etwa der Empfang und das Senden von Cookies, Benutzer-ID's und ähnliches protokolliert und zur späteren selbsttätigen Abfrage dieses Servers entsprechend angelegt. In der Konvertereinheit werden anschließend die für jeden angeschlossenen Webserver zulässige Fragesyntax und sonstige Erfordernisse in Form eines Regelwerkes zur Übersetzung der Benutzeranfragen in die jeweilig zulässige Fragesyntax angelegt. For this purpose, the relevant web server to the converter unit using a Logging unit connected. This happens because that by hand or automatically in the form of test queries the respective web servers are communicated. This Test session is complete with the logger recorded and used to determine the associated with this web server allows and requires question syntax evaluated. On this occasion, too required communication processes, such as reception and sending cookies, user IDs and the like logged and this for later automatic query Servers created accordingly. In the converter unit are then those for each connected web server permissible question syntax and other requirements in the form a set of rules for translating user requests into the permissible question syntax is created.

In vorteilhafter Ausgestaltung wird ein spezieller Proxyserver als Protokolliereinheit eingesetzt. Die Benutzung von Proxyservern ist insbesondere in Verbindung mit einem Webbrowser, wie er zur Kommunikation mit dem anzuschließenden Webserver üblicherweise eingesetzt wird, von Vorteil. In an advantageous embodiment, a special Proxy server used as a logging unit. The Use of proxy servers is particularly connected with a web browser like the one used to communicate with the web server to be connected is usually used, advantageous.

In einer möglichen konkreten Ausgestaltung wird hierzu für jeden Webserver eine sogenannte Konfigurationsdatei, vorzugsweise ein XML-Dokument erzeugt. Diese Konfigurationsdatei ermöglicht nach Art einer Frageschablone die Generierung der zulässigen Benutzeranfragen und enthält die ansonsten etwa zusätzlichen Informationen zur Durchführung der etwa erforderlichen Kommunikationsabläufe. Ferner wird für die von dem jeweils angesprochenen Webserver bezogenen Informationen eine Decoderdatei, vorzugsweise ein XSL- Stylesheet, zur Umsetzung der empfangenen Informationen angelegt. In a possible specific embodiment, this will be done for a so-called configuration file for each web server, preferably generates an XML document. This Configuration file enables the like a question template Generation of the permissible user requests and contains the otherwise about additional information on implementation any communication processes required. Furthermore, for those obtained from the web server in question Information a decoder file, preferably an XSL Stylesheet, to implement the information received created.

Vor der ersten Inbetriebnahme des Systems steht somit eine Lernphase. In vorteilhafter Ausgestaltung wird hierzu zum Aufbau der Konfigurations- und Decoderdateien ein HTTPS- Proxyserver zur Erzeugung der Konfigurationsdatei sowie zur Erzeugung der Decoderdatei ein Werkzeug mit graphischer Oberfläche eingesetzt, die beide in der Konvertereinheit abgelegt werden. Before the system is started up for the first time, there is a Learning phase. In an advantageous embodiment, for this purpose Structure of the configuration and decoder files an HTTPS Proxy server for generating the configuration file and for Creation of the decoder file a tool with graphic Surface used, both in the converter unit be filed.

Einmal so angeschlossen, können im Weiteren die von dem Webserver bezogenen Angaben weitgehend selbsttätig beschafft und der weiteren Auswertung zugeführt werden. Once connected in this way, those of the Web server-related information largely automatically procured and sent for further evaluation.

Dabei können entweder Zeit- oder ereignisgesteuert aus der Servicedatenbank oder auf Grund von Benutzeranfragen von der Servicemaschine Anfragen bezogen werden. It can either be time or event controlled from the Service database or based on user requests from requests from the service machine.

In vorteilhafter Ausgestaltung werden hierzu zunächst die Anfragen ausgewertet. Dabei wird erst ermittelt, welche relevanten Informationen zu beschaffen sind und anhand dieser Informationen die für die nachgefragten Informationen möglicherweise relevanten Webserver aus der Menge der angeschlossenen Webserver ausgewählt und gegebenenfalls, wie oben erläutert, von der Servicemaschine angewählt. In an advantageous embodiment, the Inquiries evaluated. It is first determined which one relevant information must be obtained and based on this information is for those in demand Information may be relevant from the set of web servers connected web server selected and, if necessary, as explained above, selected by the service machine.

Die auf Grund dieser Abfrage dann von den angesprochenen Webservern bezogenen Informationen werden in eine geeignete Baumstruktur, vorzugsweise in ein XML-Format, umgesetzt. Das XML-Format hat den Vorteil, dass es weitgehend betriebssystemunabhängig weiteren Auswertungen zugeführt werden kann. Im Übrigen gilt die Verwendung von XML- Dokumenten im Vergleich zu alternativen Datenformaten als zukunftsorientiert, weil es sich dabei wohl um den kommenden Internet-Standard handelt. Those based on this query are then addressed by the Web server related information is translated into an appropriate Tree structure, preferably implemented in an XML format. The XML format has the advantage that it is largely Operating system-independent further evaluations can be. Otherwise, the use of XML Documents compared to alternative data formats as future-oriented, because it is probably the coming internet standard.

Die von dem Server bezogenen Informationen werden mittels eines der Konvertereinheit angehörenden Parsers eingelesen, wobei etwaige HTML-Fehler korrigiert und anschließend in die erwähnte Baumstruktur, etwa eines XML-Dokuments überführt werden. Mittels der Decoderdatei kann die Syntax des bezogenen HTML-Codes analysiert und hierdurch die relevanten Informationen erkannt, markiert und extrahiert werden. Nach diesem weiteren Auswertungsschritt wird eine Antwortdatei in Form eines XML-Formats erzeugt, das vorzugsweise nur die relevanten Informationen enthält. Die Extraktion der relevanten Informationen ist zum einen für den Umfang der zu speichernden Daten sinnvoll und erleichtert zum anderen die Weiterverarbeitung der bezogenen Information. The information obtained from the server is transmitted using read in a parser belonging to the converter unit, where any HTML errors are corrected and then in the tree structure mentioned, for example of an XML document be transferred. The syntax can be determined using the decoder file of the HTML code obtained and thereby the relevant information recognized, marked and extracted become. After this further evaluation step, a Response file generated in the form of an XML format that preferably only contains the relevant information. The Extraction of the relevant information is for one thing the scope of the data to be stored meaningfully and on the other hand, facilitates further processing of the related information.

Die auf diese Weise beschafften, aufbereiteten Informationen werden demnach überwiegend selbsttätig ausgewertet und in eine entsprechende Datenbank gestellt. Alternativ können im Falle eines gescheiterten Vergleichs oder Beschaffungsversuches Fehlermeldungen generiert oder Folgeanfragen erzeugt werden. Darüber hinaus erzeugt die Servermaschine eine Antwortanzeige für den Benutzer, vorzugsweise als HTML-Tabelle und/oder in Form einer JSP-Seite. The processed, procured in this way According to this, information is predominantly evaluated automatically placed in a corresponding database. Alternatively, you can in the event of a failed settlement or Procurement attempts generated error messages or follow-up requests be generated. It also creates the server machine a response display for the user, preferably as HTML table and / or in the form of a JSP page.

In vorteilhafter Ausgestaltung kommunizieren die Benutzer über einen Browser mit der erfindungsgemäßen Servicemaschine. Dies ist schon deshalb sinnvoll, weil somit keine umständliche Zusatzsoftware beim Benutzer installiert werden muss. Die Existenz eines Browsers kann bei in einem Netzwerk betriebenen Rechner mit einiger Sicherheit vorausgesetzt werden. In an advantageous embodiment, the users communicate via a browser with the invention Service machine. This makes sense because there are none cumbersome additional software installed by the user must become. The existence of a browser can be in one Network operated computers with some security be assumed.

Um mit der Servicemaschine kommunizieren zu können, kann dem Benutzer ein Plugin geliefert werden, das im Wesentlichen Informationen über die an die Servicemaschine angeschlossenen Webserver enthält. Dadurch, dass anstelle einer Zusatzsoftware lediglich ein Plugin benötigt wird, ist die vom Benutzer aufzuspielende und zu beziehende Datenmenge gering. Die Handhabung von Plugins hat sich in Verbindung mit Browsern bewährt. To be able to communicate with the service machine, the user will be provided with a plugin that can be found in Essential information about the to the service machine connected web server contains. By doing that instead additional software only requires a plugin, is the one to be loaded and obtained by the user Small amount of data. The handling of plugins has changed Proven connection with browsers.

In vorteilhafter Ausgestaltung erkennt das Plugin dann, wenn mit dem Browser ein an die Servicemaschine angeschlossenes Webportal vom Benutzer besucht wird und informiert den Benutzer hierüber beispielsweise durch ein Pop-Up- Fenster. Die an dieses Webportal gerichtete Benutzeranfrage kann bedarfsweise zu Vergleichszwecken, zur Beschaffung weiterer Informationen oder zur Aktivierung von weiteren oder zusätzlichen Diensten an die Servicemaschine übermittelt werden, wenn der Benutzer dies wünscht. Die Servicemaschine kann in vorteilhafter Ausgestaltung die gewünschten Aktionen durchführen und beispielsweise zusätzliche Informationen zur Verfügung stellen. Das bedeutet, dass der Benutzer sein Benutzerverhalten in keiner Weise ändern muss und lediglich eine wertvolle Zusatzdienstleistung über das erwähnte Plugin angeboten wird. In an advantageous embodiment, the plugin then recognizes if with the browser to the service machine connected web portal is visited and informed by the user the user via a pop-up Window. The user request sent to this web portal can, if necessary, for comparison purposes, for procurement further information or to activate further or additional services to the service machine be transmitted if the user so wishes. The Service machine can in an advantageous embodiment perform the desired actions and, for example provide additional information. The means that the user can change his user behavior in doesn't have to change anything and just a valuable one Additional service offered via the mentioned plugin becomes.

Die erfindungsgemäße Vorrichtung umfasst somit im Wesentlichen die Servicemaschine und die Konvertereinheit, die gemäß den vorstehenden Erläuterungen in einem oder mehreren angeschlossenen Webservern auf Grund von Benutzeranfragen oder weitgehend selbsttätig - etwa zeitgesteuert - kommunizieren sowie eine Protokolliereinheit zum Anschluss von anzusprechenden Webservern. The device according to the invention thus comprises Essentially the service machine and the converter unit, which according to the above explanations in one or several connected web servers due to User requests or largely automatic - for example time-controlled - communicate and one Logging unit for connecting web servers to be addressed.

Die Erfindung wird nachstehend anhand eines in der Zeichnung nur schematisch dargestellten Ausführungsbeispieles näher erläutert. Es zeigen: The invention is described below using a Drawing only shown schematically Embodiment explained in more detail. Show it:

Fig. 1 ein Prinzip-Schaubild zum Datenaustausch, Fig. 1 shows a basic diagram for data exchange,

Fig. 2 eine detailliertere Übersicht eines Verfahrens und einer Vorrichtung zur Informationsbeschaffung und Auswertung. Fig. 2 shows a more detailed overview of a method and a device for information acquisition and evaluation.

Gemäß Fig. 1 kann eine Vielzahl von Benutzern 1 über ein Internet-Portal 2 einer Servicemaschine 3 über eine entsprechende Konvertereinheit 4 mit einem oder einer Vielzahl von Webservern 5 zum Zweck der Informationsbeschaffung in Datenverbindung treten. Dabei umfasst die Servicemaschine 3 einen Servicerechner 6 zum Betrieb der Servicemaschine 3, sowie eine Servicedatenbank 7 zur Ablage und Auswertung der von den angeschlossenen Webservern 5 beschafften Informationen oder zur weitgehend selbsttätigen Beschaffung weiterer Informationen. Die Webserver 5 werden in der Regel ihrerseits mit Datenbanken, vorzugsweise Produktdatenbanken 8, betrieben. In einfachster Ausgestaltung umfassen die Produktdatenbanken 8 die von dem jeweiligen Webserver 5 angebotenen Produkte in Verbindung mit einer Preisinformation. Die Webserver 5 können über Internet-Portale 2 betrieben werden, die in Verbindung mit gegebenenfalls mächtigen Produktdatenbanken 8 oft dynamisch aufgebaut sind. Hierunter sind Webseiten zu verstehen, die sich erst bei deren Anwahl und in Abhängigkeit von der jeweiligen Benutzeranfrage aufbauen. Referring to FIG. 1, a plurality of users 1 can be an Internet portal 2 a service machine 3 via a corresponding converter unit 4 contact with one or a plurality of web servers 5 for the purpose of gathering information in a data connection. The service machine 3 comprises a service computer 6 for operating the service machine 3 , and a service database 7 for storing and evaluating the information obtained from the connected web servers 5 or for largely automatically obtaining additional information. The web servers 5 are in turn usually operated with databases, preferably product databases 8 . In the simplest embodiment, the product databases 8 include the products offered by the respective web server 5 in conjunction with price information. The web servers 5 can be operated via Internet portals 2, which are often constructed dynamically in connection with possibly powerful product databases 8 . This includes websites that are only set up when they are selected and depending on the respective user request.

In dem vorliegenden Ausführungsbeispiel kommunizieren sowohl die Benutzer 1 mit der Servicemaschine 3 wie auch die Servicemaschine 3 mit den angeschlossenen Webservern 5 über das Internet. In the present exemplary embodiment, both the users 1 communicate with the service machine 3 and the service machine 3 with the connected web servers 5 via the Internet.

Grundsätzlich müssen die einzelnen Webserver 5 zunächst an die Servicemaschine 3 angeschlossen werden. Hierzu werden über die Servicemaschine 3 zunächst mögliche und übliche Testabfragen händisch oder halbautomatisch generiert. Die gesamte Sitzung mit den Testfragen wird über einen HTTPS- Proxyserver aufgezeichnet. Das Protokoll muss entweder händisch oder selbsttätig ausgewertet werden. Dabei wird die Cookie-Verwaltung des angesprochenen Webservers 5 etwaiger Session-ID's oder sonstige User-Tracking-Methoden analysiert. Es wird beispielsweise auch überprüft, ob der angesprochene Webserver 5 mit einer SSL-Verschlüsselung über das HTTPS-Protokoll kommuniziert. An Hand der Analyse und des Protokolls wird eine sogenannte Konfigurationsdatei erzeugt. Es handelt sich dabei um ein XML-Dokument, das im Wesentlichen eine Schablone der zulässigen Kommunikation darstellt. Dadurch, dass als Datenaustauschformat der kommende Internet-Standard XML, beziehungsweise XSL, genutzt wird, kann die Konvertereinheit 4 ohne weiteres in Verbindung mit allen denkbaren Datenbank- und Softwaresystemen eingesetzt werden. In principle, the individual web servers 5 must first be connected to the service machine 3 . For this purpose, possible and customary test queries are first generated manually or semi-automatically via the service machine 3 . The entire session with the test questions is recorded via an HTTPS proxy server. The protocol must be evaluated either manually or automatically. The cookie management of the addressed web server 5 of any session IDs or other user tracking methods is analyzed. For example, it is also checked whether the web server 5 addressed communicates with SSL encryption via the HTTPS protocol. A so-called configuration file is generated based on the analysis and the log. It is an XML document that essentially represents a template for permitted communication. Because the upcoming Internet standard XML or XSL is used as the data exchange format, the converter unit 4 can easily be used in connection with all conceivable database and software systems.

Darüber hinaus werden auch die von dem Webserver 5 erhaltenen Informationen der weiteren Auswertung zugänglich gemacht. Hierzu wird in der Konvertereinheit 4 eine Decoderdatei angelegt. Es handelt sich dabei um eine XSl-Stylesheet, die mittels eines XSL-Werkzeuges mit einer grafischen Oberfläche auf Grund der mit dem Proxyserver oder einer sonstig geeigneten Protokolliereinheit protokollierten Kommunikation angelegt wird. In addition, the information received from the web server 5 is also made available for further evaluation. For this purpose, a decoder file is created in the converter unit 4 . It is an XSL stylesheet that is created using an XSL tool with a graphical user interface based on the communication logged with the proxy server or another suitable logging unit.

Wenn auf diese Weise die Webserver 5 an die Konvertereinheit 4 angeschlossen sind, ist die Servicemaschine 3 im Wesentlichen betriebsfähig. If the web servers 5 are connected to the converter unit 4 in this way, the service machine 3 is essentially operational.

Anhand der detaillierteren Darstellungen in Fig. 2 soll nun am Beispiel einer üblichen Benutzeranfrage 10 das System erläutert werden. Im vorliegenden Beispiel handelt es sich dabei um einen sogenannten Metakauf-Agenten, der beispielsweise für Preisvergleiche eingesetzt werden kann. The system will now be explained using the example of a conventional user request 10 on the basis of the more detailed representations in FIG. 2. In the present example, this is a so-called meta purchase agent that can be used, for example, for price comparisons.

Wie auf den ersten Blick aus Fig. 2 ersichtlich, existiert zu jedem angeschlossenen Webserver 5 eine Konvertereinheit 4. Die Konvertereinheit 4 kann somit als Adapter oder Interface für die Webserver 5 zum Anschluss an die Servicemaschine 3 aufgefasst werden. Die Konvertereinheit 4 kann als Hardwareeinheit oder als vorzugsweise skalierbares Softwaremodul realisiert sein. As can be seen at first glance from FIG. 2, there is a converter unit 4 for each connected web server 5 . The converter unit 4 can thus be understood as an adapter or interface for the web server 5 for connection to the service machine 3 . The converter unit 4 can be implemented as a hardware unit or as a preferably scalable software module.

Nachstehend wird die Bearbeitung einer Benutzeranfrage wie folgt, erläutert:
In einem ersten Schritt wird das Internet-Portal 2 von einem Benutzer angewählt und hierbei über ein geeignetes HTML-Dokument die für eine etwaige Anfrage oder sonstige Dienstleistung erforderlichen Benutzerangaben 10 beschafft. Auf Grund dieser Benutzerangaben 10 generiert dann die Servicemaschine 3 eine abgewandelte Anfrage 12 an die Konvertereinheit 4. Alternativ kann die Servicemaschine 3 zeitgesteuert oder aufgrund des Eintritts von überwachten Ereignissen eine Datenbankanfrage 11 aus der Servicedatenbank 7 beziehen und aufgrund dessen eine abgewandelte Anfrage 12 an die Konvertereinheit 4 absetzen. In beiden Fällen ermittelt die Servicemaschine 3 aufgrund der Anfragen 10 oder 11, welche Webserver 5 von der Anfrage 10 oder 11 betroffen sein könnten und erzeugt dann eine um diese Informationen ergänzte oder abgewandelte Anfrage 12 und reicht diese an die Konvertereinheit 4 weiter. The processing of a user request is explained below as follows:
In a first step, the Internet portal 2 is selected by a user and the user information 10 required for a possible inquiry or other service is obtained via a suitable HTML document. Based on this user information 10 , the service machine 3 then generates a modified request 12 to the converter unit 4 . Alternatively, the service machine 3 can obtain a database query 11 from the service database 7 in a time-controlled manner or on the basis of the occurrence of monitored events and, on the basis thereof, send a modified query 12 to the converter unit 4 . In both cases, the service machine 3 determines which web servers 5 could be affected by the request 10 or 11 on the basis of the requests 10 or 11 and then generates a request 12 supplemented or modified by this information and forwards it to the converter unit 4 .

Die Konvertereinheit 4 setzt dann auf Grund der in der Konvertereinheit 4 angelegten Konfigurationsdatei die abgewandelte Datenbankanfrage 11 in eine korrekte Fragesyntax für alle betroffenen Webserver 5 um. The converter unit 4 then converts the modified database query 11 into a correct query syntax for all affected web servers 5 on the basis of the configuration file created in the converter unit 4 .

Eine entsprechend korrigierte Abfrage 13 wird dann an die ausgewählten, angeschlossenen Webserver 5 übermittelt. A correspondingly corrected query 13 is then transmitted to the selected, connected web server 5 .

Auf Grund dieser entsprechend korrigierten Abfrage 13 wird dann von den betroffenen Webserver 5 die jeweiligen Produktdatenbanken 8 mit einer Produktnachfrage 14 angesprochen. Auf Grund dieser Produktnachfrage 14 liefern die Produktdatenbanken 8 etwa gewünschte Produktinformationen 15 an die betroffenen Webserver 5. Die Webserver 5 setzen die von den Produktdatenbanken 8 jeweils gelieferte Produktinformationen 15 jeweils in einen HTML-Response 16 um. Der HTML-Response 16 wird in der Konvertereinheit 4 mittels eines Parsers gelesen und dabei etwaige Strukturfehler im HTML-Response 16 korrigiert. Das Ergebnis des Parsens ist ein jeweils ein XML-Dokument 17, das anschließend mit einer als Decoderdatei in der Konvertereinheit 4 abgelegten XSL-Stylesheet decodiert wird. Auf Grund dieser Transformation liegt anschließend jeweils ein XML-Dokument 17 in einer zur Weiterverarbeitung geeigneten Baumstruktur vor, die sämtlich an die Servicemaschine 3 übermittelt werden. Die XML-Dokumente 17 enthalten lediglich noch die für die Beantwortung der Anfrage 10 oder 11 relevanten Informationen. Diese Informationen werden mittels des Servicerechners 6 der Servicemaschine 3 ausgewertet, analysiert und interpretiert. Dabei werden zur Abspeicherung geeignete Datenstrukturen mit den gefundenen Ergebnissen erzeugt, gegebenenfalls Folgeanfragen aus der Servicedatenbank 7 bezogen oder im Fehlerfalle Fehlermeldung erzeugt und über das Internet-Portal 2 ausgegeben. Die Ergebnisse der Benutzeranfrage 11 werden anschließend in der Servicedatenbank 7 als Datenbankinformation 20 abgelegt und parallel als HTML-Tabelle 21 über das Internet-Portal 2 angezeigt. Anstelle der erwähnten HTML-Tabelle 21 könnten auch JSP-Seiten zur Anzeige gelangen beziehungsweise an den Benutzer 1 übermittelt werden. Dabei ist weder die Ablage der bezoogenen Informationen in der Servicedatenbank 7 noch die Ausgabe der Ergebnisse an den Benutzer zwingend. Die Informationen können auch jeder denkbaren Weiterverabeitung zugeführt oder ggf. sogar gelöscht werden. On the basis of this correspondingly corrected query 13 , the relevant product databases 8 are then addressed by the web servers 5 concerned with a product query 14 . On the basis of this product demand 14 , the product databases 8 deliver any desired product information 15 to the web servers 5 concerned . The web servers 5 convert the product information 15 each supplied by the product databases 8 into an HTML response 16 . The HTML response 16 is read in the converter unit 4 by means of a parser and any structural errors in the HTML response 16 are corrected in the process. The result of the parsing is in each case an XML document 17 , which is then decoded with an XSL style sheet stored as a decoder file in the converter unit 4 . On the basis of this transformation, there is then in each case one XML document 17 in a tree structure suitable for further processing, all of which are transmitted to the service machine 3 . The XML documents 17 only contain the information relevant for answering the query 10 or 11 . This information is evaluated, analyzed and interpreted using the service computer 6 of the service machine 3 . Suitable data structures are generated with the results found for storage, follow-up inquiries may be obtained from the service database 7 or, in the event of an error, an error message is generated and output via the Internet portal 2 . The results of the user query 11 are then stored in the service database 7 as database information 20 and displayed in parallel as an HTML table 21 via the Internet portal 2 . Instead of the aforementioned HTML table 21 , JSP pages could also be displayed or transmitted to user 1 . Neither the storage of the related information in the service database 7 nor the output of the results to the user is mandatory. The information can also be sent to any conceivable further processing or, if necessary, even deleted.

Vorstehend ist somit die Beantwortung einer Benutzeranfrage beschrieben, die zu einem Produkt- beziehungsweise Preisvergleich bei verschiedenen Webservern 5 aufbereitet und bearbeitet wird. Die auf diese Weise erzeugten beziehungsweise beschafften Daten werden beispielsweise in einer Servicedatenbank 7 abgelegt oder an den Benutzer 1 in einem geeigneten Format übergeben. The answer to a user query is thus described above, which is processed and processed for a product or price comparison at different web servers 5 . The data generated or obtained in this way is stored, for example, in a service database 7 or passed on to the user 1 in a suitable format.

Hiermit steht ein Werkzeug zur Informationsbeschaffung und -verwertung bereit, das in mehrfacher Hinsicht bezüglich des Bedienkomforts der technischen Möglichkeiten bislang so nicht vorhanden war. Zum einen können statische oder dynamische Webseiten angesprochen werden, indem die entsprechende unterschiedliche Kommunikations-Struktur über einen Protokolliereinheit analysiert werden, zum anderen eine weitgehend selbsttätige Auswertung der von den Webservern 5 bezogenen Daten durch eine entsprechende Parser-Analyse geleistet werden. BEZUGSZEICHENLISTE 1 Benutzer
2 Internet-Portal
3 Servicemaschine
4 Konvertereinheit
5 Webserver
6 Servicerechner
7 Servicedatenbank
8 Produktdatenbank
10 Benutzerangaben
11 Datenbankanfrage
12 abgewandelte Anfrage
13 korrigierte Abfrage
14 Produktnachfrage
15 Produktinformation
16 HTML-Response
17 XML-Dokument
20 Datenbankinformation
21 HTML-Tabelle
This provides a tool for gathering and utilizing information that has so far not existed in several ways with regard to the ease of use of the technical possibilities. On the one hand, static or dynamic websites can be addressed by analyzing the corresponding different communication structure via a logging unit, on the other hand a largely automatic evaluation of the data obtained from the web servers 5 can be carried out by means of a corresponding parser analysis. REFERENCE SIGN LIST 1 user
2 Internet portal
3 service machine
4 converter unit
5 web servers
6 service computers
7 Service database
8 Product database
10 user details
11 Database request
12 modified request
13 corrected query
14 Product demand
15 Product information
16 HTML response
17 XML document
20 Database information
21 HTML table

Claims

1. A method for largely automatic detection and evaluation of information stored statically and / or dynamically in a computer network, preferably the Internet or an intranet, in which a service machine ( 3 ) with at least one web server ( 5 ) each with the interposition of a converter unit ( 4 ) data connection occurs, at least the following steps being carried out;

- User and / or event-dependent generation of a request from the service machine ( 3 ) to at least one of the connected web servers ( 5 ),

Conversion of the request by means of the converter unit ( 4 ) into a question syntax compatible with the web server ( 5 ) in question,

Receiving the response delivered by the respective web server ( 5 ) or web servers ( 5 ),

Conversion of the response by means of the converter unit ( 4 ) into a format suitable for the service machine ( 3 ), preferably XML,

- extraction of the requested data,

- Further processing of this data ( 20 ), in particular by maintaining it in a service database ( 7 ), evaluating this data or generating and outputting a user response ( 21 ), preferably in HTML format.

2. The method according to claim 1, characterized in that the web server ( 5 ) are connected to the service machine by means of a logging unit for recording and describing a communication carried out for the purpose of connecting this web server ( 5 ).

3. The method according to claim 2, characterized in that the web server ( 5 ) before the first automatic query to be connected to the fact that one or more test queries by means of a proxy server, preferably an HTTPS proxy server, logs, and then this protocol is evaluated to determine a permissible question syntax.

4. The method according to claim 2 or 3, characterized in that in the converter unit ( 4 ) for each connected web server ( 5 ) permissible query syntax, and a set of rules for translating the queries into the respective permissible question syntax is created.

5. The method according to claim 4, characterized in that for connecting each web server ( 5 ) at least one configuration file, preferably as an XML file, the at least the permissible search queries in the manner of a question template and, if appropriate, a description of the initiation of a user session with the respective Web server ( 5 ) required routines and / or possibly a required parameter mapping and at least one decoder file, preferably as an XSL stylesheet, for converting the information supplied by the web server ( 5 ), is generated and stored in the converter unit ( 4 ).

6. The method according to claim 4, characterized in that in the service machine ( 3 ) with an XSL tool with a graphical interface for generating a decoder file, preferably an XSL stylesheet, is provided for the connected web server ( 5 ).

7. The method according to one or more of the preceding claims, characterized in that an event and / or time-controlled request to one or more web servers ( 5 ) is generated in the following steps;

- Obtaining a database question ( 11 ) from the service database ( 7 ) from the service machine ( 3 ),

- selection of the web servers ( 5 ) to be addressed on the basis of the database query ( 11 ),

- Implementation of this database query ( 11 ) into a question syntax compatible with the web server ( 5 ) to be addressed in each case by means of the corresponding server-specific configuration files which are stored in the converter unit ( 4 ).

8. The method according to one or more of the preceding claims 1 to 6, characterized in that user information ( 10 ), which is preferably collected using an HTML form, a request to one or more web servers ( 5 ) is generated in the following steps;

- Evaluation of the user information ( 10 ),

- Selection of the web servers ( 5 ) to be addressed on the basis of the user information ( 10 ),

- Conversion of the user information ( 10 ) into a question syntax that is compatible with the web server ( 5 ) to be addressed by means of corresponding server-specific configuration files that are stored in the converter unit ( 4 ).

9. The method according to one or more of the preceding claims, characterized in that the converter unit ( 4 ) receives the responses transmitted back from the web servers ( 5 ) addressed, preferably as an HTML response ( 16 ), and in each case by means of corresponding, server-specific decoder files a tree structure suitable for the service machine ( 3 ), preferably converted into an XML document ( 17 ), and transmitted to the service machine ( 3 ) for display and / or further evaluation.

10. The method according to claim 9, characterized in that the inquiries and / or responses, preferably as HTML code, are read in by means of a parser, any syntax errors, preferably structural errors, being recognized and corrected in the present code and then by Parser is handed over a document in a tree structure, preferably an XML document ( 17 ), the syntax of which, preferably automatically, is analyzed by means of an XSL style sheet and the relevant information which may be recognized, marked and / or extracted and thereby an inquiry and / or response file, preferably an XML document ( 17 ), which contains at least approximately only relevant information for any further processing and / or output.

11. The method according to any one of the preceding claims, characterized in that the, preferably as an XML document ( 17 ), available answers, preferably automatically, evaluated by the service machine ( 3 ) and, depending on this evaluation, the answers in the service database ( 7th ), error messages are generated, follow-up requests are generated and / or displayed.

12. The method according to claim 11, characterized in that the answers are displayed as an HTML table ( 21 ) and / or JSP pages.

13. The method according to any one of the preceding claims, characterized in that the users ( 1 ) communicate with the service machine ( 3 ) via a browser and the browser can be expanded by a plug-in for this purpose, the plug-in essentially for detecting the to the service machine ( 3 ) each connected web server ( 5 ) is used.

14. The method according to claim 13, characterized in that the user ( 1 ) by means of the plug-in when selecting a to the service machine ( 3 ) connected web server ( 5 ) on the basis of the requests directed to this web server ( 5 ) the procurement of comparison information (5) or other supplementary services offered by the other connected to the service engine (3) web server.

15. Device for largely automatic detection and evaluation of a computer network, preferably the Internet or an intranet, with statically and / or dynamically stored information
a service machine ( 3 ),
which occurs in data communication with at least a web server (5), wherein between this service engine 3) and the web server addressed in each case is connected (5), a converter unit (4),
The service machine ( 3 ) has a service computer ( 6 ) connected to the Internet and / or intranet with a service database ( 7 ) for generating inquiries ( 11 ) and for storing information obtained, and an interface, preferably an Internet portal ( 2 ) includes the user information ( 10 ) and
with a converter unit ( 4 ),
which, if necessary, is an integral part of the service machine ( 3 ), in which a decoder file, preferably an XML file, for generating modified requests ( 12 ) and a decoder file, preferably an XSL style sheet, for each connected web server ( 5 ), and a parser for evaluating and implementing the answers received from the web servers ( 5 ) in question, in particular the HTML response ( 16 ), is stored, the web servers ( 5 ) in each case being a customer portal with a connected product database ( 8 ) include, whereby
by means of a logging unit,
preferably a proxy server, for recording and evaluating a first connection session between the service machine ( 3 ) and each web server ( 5 ) the respective web servers ( 5 ) have been connected to the service machine ( 3 ).