DE112009002000T5

DE112009002000T5 - Adaptives Verfahren und Vorrichtung zur Umwandlung von Nachrichten zwischen unterschiedlichen Datenformaten

Info

Publication number: DE112009002000T5
Application number: DE112009002000T
Authority: DE
Inventors: Uwe Neben
Original assignee: Crossgate AG
Current assignee: SAP SE
Priority date: 2008-08-14
Filing date: 2009-08-13
Publication date: 2013-01-03
Anticipated expiration: 2029-08-14
Also published as: US20110173346A1; WO2010017985A1; DE112009002000B4; EP2154641A1

Abstract

Die Verwendung des oben beschriebenen Verfahrens und Systems gemäß der Erfindung erlaubt die Verarbeitung von eingehenden Nachrichten und Daten, für welche kein Umwandlungsprofil in einer Datenbank existiert, wenn das System das Muster der Nachricht oder Daten kennt. Daher werden Kopien von Geschäftsabläufen oder Geschäftsprozessen in dem System gemäß der Erfindung nicht benotigt. Wenn das erfindungsgemaße System Daten oder Nachrichten erhält, deren Format nicht bereits bekannt ist, ist es im Stande ein ähnlichstes Format abzuleiten. Wenn das erfindungsgemäße System ein neues Format bestimmt hat, kann es dieses von diesem Moment an automatisch erkennen und verarbeiten.

Description

Die folgende Erfindung betrifft das Gebiet des elektronischen Datenaustauschs (EDI). Insbesondere bezieht sie sich auf ein computerimplementiertes Verfahren und einer Vorrichtung zur automatischen Umwandlung von Nachrichten zwischen unterschiedlichen Datenformaten. Die vorliegende Erfindung bezieht sich auch auf ein computerimplementiertes Werkzeug zur automatischen Erzeugung neuer Routinen oder Module mit einer Beispiel-Nachricht und einer Datenbank gegebener Module, um Nachrichten automatisch zwischen verschiedenen Datenformaten umzuwandeln.
TECHNISCHER HINTERGRUND UND STAND DER TECHNIK
Der elektronische Datenaustausch (EDI) kann als Austausch streng formatierter Nachrichten zwischen Computern definiert werden, welche Dokumente repräsentieren. EDI setzt eine Folge von Nachrichten zwischen zwei Teilnehmern voraus, von denen jeder Sender oder Empfänger sein kann. Die formatierten Daten, welche die Dokumente repräsentieren, können vom Sender an den Empfänger durch Telekommunikation übermittelt werden oder auf elektronischen Speichermedien physisch transportiert werden.
Beim EDI erfolgt die gewöhnliche Verarbeitung empfangener Nachrichten nur durch Computer. Menschliche Eingriffe in die Verarbeitung einer empfangenen Nachricht sollen nur bei Auftritten von Fehlerbedingungen, zur Qualitätssicherung und in besonderen Situationen auftreten. Zum Beispiel ist die Übertragung von binären oder Textdaten nicht EDI gemäß dieser Definition, wenn die Daten nicht als eines oder mehrere Datenelemente einer EDI-Nachricht behandelt werden und nicht normalerweise zur menschlicher Interpretation als Teil einer Online-Datenverarbeitung vorgesehen sind (Kantor, M. et al., 29. April 1996, Electronic Data Interchange EDI, National Institute of Standards and Technology).
Um durch den Empfänger interpretierbar zu sein, müssen Nachrichten-Datenformate eine bekannte Struktur aufweisen. Heutzutage existieren eine große Anzahl verschiedener Formate für EDI-Nachrichten, z. B. SWIFT (für Banken), UN/EDIFACT, ANSI ASC X12, GTDI, VDA, ODETTE, Fortras, etc., für unterschiedliche Anwendungsfelder und Branchen. Im Allgemeinen ist ein Datenformat gekennzeichnet durch die Syntax einer Nachricht und ihre Bedeutung, wobei die Syntax die Struktur der Nachricht im Bezug auf Nachrichtenbestandteile oder Datenelemente und ihre Anordnung definiert und die Bedeutung diese Interpretation oder Bedeutung der Nachrichtenbestandteile/Datenelemente definiert.
Aufgrund der Vielzahl alternativer Datenformate ist es sehr gut möglich, dass zwei Teilnehmer, welche elektronische Daten austauschen wollen, unterschiedliche Formate für ihre Nachrichten verwenden. Folglich müssen Nachrichten vom Datenformat des Senders in das Datenformat des Empfängers umgewandelt werden, so dass das empfangene System die Nachricht korrekt interpretieren und verarbeiten kann. Dies kann nur erreicht werden durch Kennen der Semantik, oder der Bedeutungen der einzelnen Datenelemente, z. B. wenn auf ein bestimmtes Zielformat abgebildet wird. Diese Komplexität wird durch die Vielzahl von möglichen oder tatsächlichen Teilnehmern in einem elektronischen Datenaustausch-System noch gesteigert. Folglich ist eine Verringerung des Ausmaßes menschlicher Eingriffe beim Aufbau von Systemen für elektronischen Datenaustausch und die Bereitstellung effizienter Mechanismen für deren Betrieb einer wichtigen Bedingung für deren Funktionieren.
Gemäß dem Stand der Technik wurden Module zum automatischen Umwandeln von Nachrichten oder Daten zwischen unterschiedlichen Formaten von Hand erstellt, durch eine Fachperson, welche sowohl das Datenformat des Senders als auch das Datenformat des Empfängers kannte, z. B. einen Programmierer. Diese Nachrichten-Abbildungsmodule oder Schemata, auch Konverter genannt, beinhalten eine feste Zuordnung zu einem bestimmten Sender/Empfänger und wandeln eine Nachricht von einem Format in ein anderes um, wodurch ihre Syntax, ihre Bedeutung wie auch möglicherweise ihr Inhalt verändert werden.
Wenn einem bestimmten Sender oder Empfänger zugeordnet, können die Nachrichten-Abbildungsmodule oder Konverter, auch Teilnehmer- oder Partnermodule genannt werden. Mit anderen Worten rufen Nachrichten Abbildungssystem gemäß dem Stand der Technik ein passendes Nachrichten-Umwandlungsschema basierend auf der Identität des Senders/Empfängers und dem Nachrichtenformat, welches diesem zugeordnet ist, auf. Nachdem jeder Sender und jeder Empfänger ein unterschiedliches Format für die gleichen Nachrichten oder Daten verwenden kann, müssen potentiell eine große Anzahl von Modulen zur automatischen Umwandlung von Nachrichten zwischen unterschiedlichen Formaten erzeugt und vorinstalliert werden.
Im Stand der Technik wurden zwei Ansätze gemacht, um diese Komplexität zu verringern. Zunächst haben sich Zwischenformate herausgebildet, auf welche ursprüngliche Eingabe-Nachrichten oder -Datenformate abgebildet werden und aus welchen die notwendige Ausgabe-Nachricht oder -Datenformate erzeugt werden. Die Bereitstellung eines solchen Meta- oder Zentralformats macht es überflüssig, für jedes Paar von Teilnehmern in einem System zum elektronischen Datenaustausch ein eigenes Modul zur Umwandlung zwischen Formaten zu haben und vermindert die damit zusammenhängende Komplexität zumindest teilweise.
Zweitens werden Bibliotheken bereits existierender Module zur automatischen Umwandlung von Daten oder Nachrichten zwischen unterschiedlichen Formaten benutzt. Derartige Modul-Bibliotheken oder Datenbanken werden im Kontext der vorliegenden Anmeldung Geschäftsprozessdatenbank (Englisch: ”Business Process Repository”) (BPR) genannt und können die Aufgabe der Stellung eines neuen Moduls auf die Auswahl eines am meisten geeigneten oder ähnlichen Moduls von der Bibliothek und seine Anpassung an ein neues Datenformat reduzieren.
Jedoch bleibt in beiden Fäll manuelle Arbeit zur Erzeugung neuer Module oder zum Auffinden, Auswählen und Anpassen existierender Module und zur Zuweisung derselben zu Teilnehmern des Netzwerks ein wichtiger Kostenfaktor und ein Haupthindernis für die Verwendung und die Verbreitung von System für elektronischen Datenaustausch.
Es ist daher Aufgabe der vorliegenden Erfindung, ein Verfahren und ein System zur automatischen Umwandlung von Nachrichten oder Daten zwischen Unterschiedlichen Format bereitzustellen, welche das notwendige Ausmaß menschlicher Tätigkeit bei Erzeugung von Abbildungen zwischen unterschiedlichen Formaten reduziert. Das Verfahren muss auch adaptiv sein, um sich verändernden Nachrichtenformat-Standards gerecht zu werden.
Schließlich ist eine weitere Aufgabe der Erfindung, ein Werkzeug für einen Nutzer oder Konfigurator eines elektronischen Datenaustauschsystems bereitzustellen, welches ihm erlaubt, Module zur automatischen Umwandlung von Nachrichten zwischen unterschiedlichen Nachrichten oder Datenformaten, die in einer Modulbibliothek existieren, zu identifizieren und auszuwählen zur Anpassung einer neuen Nachrichtenformat.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Gemäß der Erfindung werden diese Aufgaben gelöst durch ein Verfahren und ein System gemäß den unabhängigen Ansprüchen. Vorteilhafte Ausgangsformen sind definiert in den abhängigen Ansprüchen.
Gemäß einem Aspekt der Erfindung umfasst ein computerimplementiertes Verfahren zur Umwandlung von Nachrichten zwischen unterschiedlichen Datenformaten in einem Netzwerk für elektronischen Datenaustausch (EDI). Die Schritte des Empfangens (110) einer elektronischen Nachricht von einem Teilnehmer des Netzwerks; bestimmen (120) mindestens eines möglichen Datenformats der elektronischen Nachricht, basierend auf den Inhalt der elektronischen Nachricht; validieren (130) der elektronischen Nachricht, basierend auf dem zumindest einen ersten möglichen Datenformat; umwandeln (140) der Nachricht von dem ersten Datenformat in ein zweites vorbestimmtes Datenformat, unter Verwendung einer Nachrichtenabbildungsdefinition, welche dem ersten Datenformat zugeordnet ist, wenn der Validierungsschritt erfolgreich ist; und lernen eines neuen Datenformats, welches die elektronischen Nachricht validiert, und einer zugeordneten Nachrichtenabbildungsdefinition, andernfalls.
Das neue Datenformat kann automatisch gelernt werden, oder mit nur geringen menschlichen Eingriffen. Dabei können neue Teilnehmer in das elektronische Datenaustauschsystem ohne manuelle Eingriffe eines Systemverwalters integriert werden, welcher ein bestimmtes Datenformat manuell einem bestimmten Teilnehmer zuordnet.
Gemäß einem zweiten Aspekt der Erfindung kann das Verfahren eine Vielzahl von ersten möglichen Datenformaten der elektronischen Nachricht bestimmen, z. B. basierend auf der Wahrscheinlichkeit, dass die Nachricht einem bestimmten Datenformat genügt. Die Tatsache, dass eine Vielzahl von ersten möglichen Datenformaten automatisch bestimmt wird, anstelle von einem, kann durch Validieren jedes der gesamten Menge von möglichen Datenformate kompensiert werden, was abermals in einem einzigen Datenformat resultiert, wenn die Validierung erfolgreich ist.
Gemäß einem dritten Aspekt der Erfindung kann das zumindest eine mögliche Datenformat aus einem maschinenlesbaren nicht flüchtigen Speicher ermittelt werden, der eine Vielzahl von möglichen Datenformaten umfasst. Durch Einsatz einer existierenden Datenbank von möglichen Datenformaten kann die Bestimmung möglicher Datenformate auf die Suche in der Datenbank reduziert werden. Die Wahrscheinlichkeit, ein passendes Datenformat erfolgreich zu bestimmen und zu validieren kann einfach durch Ausbau der Datenbank erfüllt werden.
Gemäß einem weiteren Aspekt kann der Schritt des Umwandelns die Schritte des Abruf eines vorbestimmten Nachrichtenabbildungsschemas beinhalten, welches dem ersten Datenformat zugeordnet ist; und Anwenden des Vorbestimmten Nachrichtenabbildungsschemas auf die elektronische Nachricht um, um sie in das zweite Datenformat umzuwandeln. Hierdurch kann eine zeitlich aufwendige explizite Suche oder Attock-Synthese eines Nachrichtenabbildungs- oder Konvertierungs- oder Umwandlungsschemas vermieden werden.
Gemäß einem weiteren Aspekt der Erfindung kann eine Zuordnung eines Teilnehmers zu einem ersten Datenformat in einem maschinenlesbaren nicht flüchtigen Speicher für zukünftige Zugriffe gespeichert werden, wenn der Validierungsschritt erfolgreich ist. Wenn mehreren Teilnehmern ein einziges Datenformat zugeordnet ist, erlaubt dies eine effiziente Speicherung von Datenformaten ('Call-by-reference'). Zusätzlich müssen Änderungen im Datenformat nur einmal durchgeführte werden und werden unmittelbar für alle zugeordneten Teilnehmer gültig.
Gemäß einem anderen Aspekt der Erfindung kann der Schritt des Bestimmens die Schritte des Überprüfens umfassen, ob die Zuordnung eines Teilnehmers und eines zugeordneten Datenformats bereits in den maschinenlesbaren nicht flüchtigen Speicher abgespeichert wurde; und des zugeordneten Datenformats als das zumindest eine mögliche Datenformat der elektronischen Nachricht, wenn ja. Durch Zuordnung eines Teilnehmers zu einem festen Satz von mehreren Datenformaten kann die Bestimmung des Datenformats einer elektronischen Nachricht die Identität des sendenden Teilnehmers berücksichtigen, wodurch notwendige Suchschritte nach einem passenden Datenformat reduziert werden.
Gemäß einem weiteren Aspekt der Erfindung kann der Schritt des Validierens ferner die Schritte umfassen des automatischen Aufforderns eines Teilnehmers, das erste Datenformat über einen elektronischen Kommunikationskanal zu bestätigen; und des Validierens der elektronischen Nachricht, wenn das erste Datenformat durch den Teilnehmer bestätigt wurde. Insbesondere wenn die Ergebnisse eines automatischen Datenformatbestimmungsmoduls oder Schritts nicht per se vertrauenswürdig sind oder mehr als ein Datenformat bestimmt wurde, beinhaltet dieser Aspekt den Vorteil einer automatischen Nutzung von Vorschlägen des Teilnehmers. Zusätzlich kann die elektronische Nachricht auch automatisch validiert werden, unter Verwendung des bestätigten Datenformats und der diesem zugeordneten Validierungsregeln, wobei umgekehrt auch die Bestätigung des Teilnehmers validiert wird und so einen zusätzlichen Grad an Sicherheit bietet. In einer besonderen Ausführungsform können eine Aufforderung zur Bestätigung eines Datenformats für eine Rechnung das Senden eines tatsächlichen Rechnungsdokuments beinhalten, welches unter Verwendung des bestätigenden Datenformats erzeugt wurde, z. B. als Fax oder Pdf-Dokument an den Teilnehmer und die Frage, ob das aktuelle Rechnungsdokument mit den Absichten des Teilnehmers übereinstimmt. Hierdurch kann sogar ein Teilnehmer, welcher das konkrete Datenformat nicht kennt, ein bestimmtes Datenformat validieren, durch Validieren der Ergebnisse seiner Anwendung.
Das Datenformat kann bestimmt werden auf Basis einer echten Teilmenge von Bits der elektronischen Nachricht, welche eine vorherbestimmte Größe hat. Die Untermenge von Bits kann eine initiale Bit-Sequenz der elektronischen Nachricht sein. Hierdurch kann die Tatsache, dass die initiale Bit-Sequenz die größte Unterscheidungskraft bei EDI-Nachrichten besitzt, ausgenutzt werden, was zu besseren Erkennungsraten führt. Das Datenformat kann ferner bestimmt werden basierend auf statistischen Auswertungen der elektronischen Nachricht, z. B. der Anzahl von gewinkelten Klammern oder 'kleiner' und 'größer' Zeichen in einer Nachricht, wobei eine hohe Anzahl ein XML-Dokument anzeigt oder die Anzahl von Doppelpunkten oder 'Doppelpunkt' Zeichen ein EDI-Dokument anzeigt. Unter Verwendung dieser zusätzlichen Information können Zweifelsfälle gelöst werden, wenn die (initiale Bit-Sequenz) keine Entscheidung ermöglicht.
Gemäß einem weiteren Aspekt der Erfindung kann das erste mögliche Datenformat der elektronischen Nachricht unter Verwendung eines neuronalen Netzwerks bestimmt werden. Hierbei können Zuordnungen zwischen Inhalten der elektronischen Nachricht und Datenformaten automatisch gelernt werden, durch einen überwachten Lernalgorithmus, wodurch das Verfahren z. B. adaptiv im Hinblick auf spätere Hinzufügungen neuer Datenformate oder Änderungen innerhalb existierender Datenformate wird. Auch besitzen neuronale Netzwerke die Fähigkeit, aus einem Satz von Trainingsbeispielen zu verallgemeinern, wodurch die Komplexität des Systems reduziert wird im Vergleich zu einem Ansatz mit strikten Zuordnungen. Auch schlägt die Datenformaterkennung nicht fehl aufgrund eines rigiden Erkennungsschritts. Die Tatsache, dass das neuronale Netzwerk eine Vielzahl von ersten möglichen Datenformaten bestimmten, kann durch Validieren jedes aus dem gesamten bestimmten Satz von möglichen Datenformaten kompensiert werden, was wiederum ein einziges Datenformat ergibt, wenn die Validierung erfolgreich ist.
Gemäß der Erfindung kann ein System zur Umwandlung von Nachrichten zwischen unterschiedlichen Datenformaten in einem Netzwerk für elektronischen Datenaustausch (EDI) einen Back-End-Server und einen Front-End-Server umfassen, wobei der Front-End-Server Mittel zum Empfang einer elektronischen Nachricht von einem Teilnehmer des Netzwerks umfasst; Mittel zum bestimmen zumindest eines ersten möglichen Datenformats der elektronischen Nachricht; Mittel zum Validieren der elektronischen Nachricht, basierend auf dem ersten zumindest einen elektronischen Datenformat; und Mittel zum Umwandeln der Nachricht von dem ersten Datenformat in ein zweites bestimmtes Datenformat, wenn der Validierungsschritt erfolgreich ist.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Diese und weitere Aspekte und Vorteile der vorliegenden Erfindung werden noch deutlicher bei der Fortsetzung der Folgenden detaillierten Beschreibung einer Ausführungsform der Erfindung hervortreten, im Zusammenhang mit der anliegenden Zeichnung, in welcher
1 ein Flussdiagramm eines Verfahrens zur Umwandlung von Nachrichten zwischen unterschiedlichen Formaten gemäß einer Ausführungsform der Erfindung zeigt.
2 ein Flussdiagramm eines Verfahrens zur Bestimmung eines Datenformats, basierend auf den Inhalt einer elektronischen Nachricht zeigt.
3a ein Auszug aus einer Nachricht zeigt, welche durch ein Verfahren gemäß einer Ausführungsform der Erfindung verarbeitet wird.
3b ein Auszug aus einer Regelsatzdefinition zeigt, die basierend auf einem erkannten Format der eingehenden Nachricht ausgewählt wird und zur Validierung der Nachricht verwendet werden kann.
4 ein mehrschichtiges neuronales Netzwerk zeigt, dass zur Bestimmung eines Datenformats einer Nachricht gemäß einer Auswirkung der Erfindung verwendet wird.
5 eine Tabelle zeigt, die einen Satz von Abbildungsregeln definiert, zur Abbildung von Inhalten der eingehenden Nachricht auf ein anderes Format.
6 eine Figur eines Anwendungssystems zur Umwandlung von Nachrichten gemäß einer Ausführungsform der Erfindung.
7 ein Flussdiagramm eines Verfahrens zeigt zum Lernen eines neuen Datenformats, anwendbar in einem in 1 beschriebenen Verfahren.
DETAILLIERTE BESCHREIBUNG
1 zeigt ein Flussdiagramm eines Verfahrens zum Betreiben eines Netzwerks für den elektronischen Datenaustausch (EDI) gemäß einer Ausführungsform der Erfindung.
In Schritt 110 wird eine Nachricht mein einem bestimmten Datenformat von einem Teilnehmer in einem Netzwerk für elektronischen Datenaustausch empfangen. Das Datenformat der elektronischen Nachricht kann unbekannt sein. Es wird angenommen, dass die Nachricht in Form einer Zeichenkette empfangen wird.
In Schritt 120 versucht das System, das Datenformat der empfangenen Nachricht zu bestimmen oder zu erkennen, durch Analysieren der Nachricht. Diese taktischen Formate können die Formate Edifact, VDA, ANSI X12, XML, SAP-Idoc, CSV umfassen. Es kann sich jedoch auch um eine einfache Datei mit fester oder variabler Datensatzlänge handeln, etc. Gemäß einer Ausführungsform der Erfindung kann dies erreicht werden durch Abgleichen der Nachricht gegen einen Satz von syntaktischen Datenformaten, die bereits in der Geschäftsprozessdatenbank registriert sind. Vorzugsweise bestimmt der Bestimmungsschritt zumindest ein mögliches Datenformat für die elektronische Nachricht. Jedoch kann auch erwünscht sein, zunächst eine Vielzahl von möglichen ersten Datenformaten für die elektronische Nachricht zu erzeugen, z. B. basieren auf einer Wahrscheinlichkeit oder durch Verwendung eines Expertensystems.
In Schritt 130 validiert das Verfahren die Nachricht, basierend auf dem bestimmten Datenformat. Der Schritt des Validierens umfasst ein Überprüfen, ob die Syntax der Nachricht mit dem identifizierten Datenformat übereinstimmt. In einer weiteren Ausführungsform kann der Schritt des Validierens umfassen, eine Menge von Validierungsregeln auf die Nachricht anzuwenden, wobei die Validierungsregeln dem bestimmten Datenformat zugeordnet sind.
Wenn der Validierungsschritt 130 erfolgreich ist, geht das Verfahren zu Schritt 140 über.
In dem Fall, in dem eine Vielzahl von möglichen Datenformaten bestimmt wurde, kann der Validierungsschritt für alle Elemente der Vielzahl von Datenformaten wiederholt werden unter der Annahme, dass die Formate sich nicht überlappen, d. h. dass eine Nachricht immer zu einem einzigen Format gehört, kann die Vielzahl der Datenformate dann durch Validierung auf ein einziges Format reduziert werden.
Gemäß einer bevorzugten Ausführungsform der Erfindung kann der Schritt des Validierens der Nachricht ferner die Schritte des Abrufen, aus einer Geschäftsprozessdatenbank, eines Nachrichtenabbildungsmoduls beinhalten, zur automatischen Umwandlung von Nachrichten zwischen unterschiedlichen Datenformaten, wobei das Nachrichtenabbildungsmodul dem bestimmten Format zugeordnet ist. Das Modul kann Regeln zur Validierung der Nachricht umfassen. Die Validierung umfasst dann die Anwendung dieser format-spezifischen Regeln, die in dem Modul enthalten sind.
In Schritt 140 wird die Nachricht automatisch vom Eingabeformat in ein Ausgabeformat umgewandelt oder abgebildet, welches dem bestimmten Eingabeformat zugeordnet ist. In einer bevorzugten Ausführungsform wird das Format der Nachricht in ein internes Standardformat zur weiteren Verarbeitung umgewandelt.
In einer bevorzugten Ausführungsform verwendet der Schritt der automatischen Umwandlung das soeben erwähnte Modul, welches ferner format-spezifische Definition zur Abbildung des Eingabeformats auf das Ausgabeformat umfassen kann.
Wahlweise kann die automatisch umgewandelte Nachricht in einen Zwischenspeicher 150 geschrieben werden, bevor sie weiterverarbeitet wird.
Wenn der Validierungsschritt nicht erfolgreich ist, im Fall mehrerer Formate, für keines der vorgeschlagenen Formate, verzweigt das Verfahren in den Lern-Schritt 160.
Im Lern-Schritt 160 wird ein neues Datenformat, welches die elektronische Nachricht validiert gelernt durch Analysieren der elektronischen Nachricht im Komplex aller unterschiedlichen Syntaxdefinitionen, welche in der Geschäftsprozessdatenbank bereits bekannt sind.
2 zeigt ein detaillierteres Flussdiagramm davon, wie eine eingehende Nachricht gegen einen Satz von bereits registrierten syntaktischen Datenformaten gemäß einer Ausführungsform der Erfindung abgeglichen werden kann. Dieses Flussdiagramm entspricht Schritt 120 in 1.
In einem exakten Abgleichungsschritt 210 kann die eingehende elektronische Nachricht als zu einem von einer Vielzahl von vorherbestimmten Datenformaten gehörig klassifiziert werden. Gemäß einer Ausführungsform der Erfindung kann dies erreicht werden durch Berechnen eines Hashwertes für die Nachricht und Überprüfen, ob der Hashwert bereits mit einem eindeutigen Datenformat in der Geschäftsprozessdatenbank verbunden ist. Wenn ja wurde bereits ein eindeutiges Datenformat für die eingehende elektronische Nachricht gefunden.
Alternativ kann zunächst eine Vielzahl von möglichen Datenformaten in einem Ähnlichkeitsabgleichungsschritts 220 bestimmt werden. Gemäß einer Ausführungsform der Erfindung kann ein Hashwert der elektronischen Nachrichten auch mit Hashwerten verglichen werden, die bereits in der Geschäftsprozessdatenbank bekannt sind. Jedoch kann im Unterschied zu Schritt 210 der Abgleich auf einem Ähnlichkeitsmaß basieren.
Insbesondere können ähnliche Dokumente durch ähnliche Hashwerte beschrieben werden. Der Hashwert kann gemäß praktischen Anforderungen konstruiert sein, vorzugsweise ist er jedoch ein numerischer Wert.
Dann können in einem zusätzlichen Überprüfungsschritt 230 eine oder mehrere zusätzlich zu dem bestimmten Hashwert gehörige Verfahren, welcher die Suche bereits auf eine bestimmte Untermenge von Formaten eingeengt hat, auf die eingehende elektronische Nachricht angewandt werden, um eine eindeutige Verbindung mit einem gegebenen syntaktischen Format zu finden.
Alternativ kann in Schritt 240 das ähnlichste Datenformat aus der Vielzahl ausgewählt werden, wenn dieses eindeutig ist. Gemäß einer Ausführungsform der Erfindung dies erreicht werden durch Anordnen der in der Geschäftsprozessdatenbank gespeicherten Hashwerte nach ihrer Ähnlichkeit mit dem für die elektronische Nachricht berechneten Hashwert.
Alternativ kann in Schritt 250 die Vielzahl von Datenformaten auf ein einzelnes Datenformat reduziert werden durch Validieren der Nachricht mittels jedes Datenformats und Fortsetzung des Verfahrens mit dem (eindeutigen) Format, für welche die Validierung erfolgreich ist.
3a zeigt einen Auszug aus einer Nachricht, die durch ein Verfahren gemäß der Erfindung verarbeitet wird.
3b zeigt einen Auszug aus einer Regelsatzdefinition, die basierend auf dem bestimmten Format der empfangenen Nachricht ausgewählt wurde und zur Validierung der Nachricht verwendet werden kann. Die Pfeile zeigen Entsprechungen zwischen verschiedenen Teilen der Nachricht und den zugeordneten Regeln an.
Die Regeldefinition kann in dem System als binäre Datei vorgehalten werden, zur schnellen Verarbeitung. Wenn die Validierung fehlschlägt kann das gesamte Verfahren durch Setzen einer Ausnahme abgebrochen werden.
Gemäß einer Ausführungsform der Erfindung kann die Nachricht in Schritt 120 durch ein neuronales Netzwerk erkannt werden. In einer bevorzugten Ausführungsform ist das neuronale Netzwerk ein mehrschichtiges Perzeptron. Ein mehrschichtiges Perzeptron umfasst, neben einer Eingabe- und einer Ausgabeschicht, auch verborgene Schichten, welche eine Abbildung einer Eingabe des neuronalen Netzwerks auf eine Ausgabe definieren.
4 zeigt ein mehrschichtiges neuronales Netzwerk, welches zur Bestimmung eines Datenformats einer Nachricht gemäß einer Ausführungsform der Erfindung verwendet wird.
Die empfangene Nachricht 310 wird zunächst verarbeitet, um Eingaben 320, 330 etc. für unterschiedliche Eingabeknoten des mehrschichtigen neuronalen Netzwerks zu erhalten. Mit anderen Worten kann eine Merkmalsbildung auf die elektronische Nachricht angewandt werden, um einen Merkmalsvektor zu extrahieren, dessen Bestandteile auf das mögliche Datenformat hinweisen.
Zum Beispiel kann die erste Eingabe 320 in das neuronale Netzwerk durch eine echte Untermenge von Bits der empfangenen elektronischen Nachricht gegeben sein. Vorzugsweise ist die echte Untermenge von Bits eine initiale Sequenz von Bits der elektronischen Nachricht, da EDI-Nachrichten üblicherweise am Beginn der Nachricht identifizierenden Inhalt aufweisen. Ferner kann die Eingabe 330 die Ergebnisse statistische Auswertungen der elektronischen Nachricht umfassen, z. B. die Anzahl von Klammern oder Doppelpunkten, die in den Nachrichten verwendet werden, welche unterschiedliche Datenformate (XML, EDI oder andere) aufweisen. Die Eingaben, welche durch Verarbeitung der empfangenen elektronischen Nachricht oder der Merkmalvektorkomponenten erhalten wurden, werden dann einzeln in die unterschiedlichen Eingangsknoten I₁, ..., I_N des neuronalen Netzwerks eingegeben. Das neuronale Netzwerk, das in 3 gezeigt ist, umfasst eine einzelne verborgene Schicht sogenannter verborgener Neuronen H₁, ..., H_M. Jedes Eingangsneuron wird zunächst auf jedes verborgene Neuron abgebildet. Dann wird der Ausgang jedes verborgenen Neurons auf jede der sogenannten Ausgangsneuronen O₁ bis O_P abgebildet.
In einer bestimmten Ausführungsform kann ein Perzeptron eine Eingabe- und eine Ausgabeschicht und zwei (2) Schichten von verborgenen Neuronen umfassen. Jede Schicht kann 512 Neuronen umfassen. Jedes Neuron einer bestimmten Schicht ist voll mit jedem Neuron der nächsten Schicht verbunden (Feedforward-Netz). Daher sitzt dieses bestimmte Netzwerk 786.000 Knoten, wobei jeder Knoten ein eigenes Gewicht aufweist. Daher kann das neuronale Netzwerk 512 unterschiedliche Formate eindeutig adressieren. Insgesamt können 2⁵¹² unterschiedliche Formate durch das neuronale Netzwerk adressiert werden.
Gleichermaßen können 5⁵¹² unterschiedliche Formate in das neuronale Netzwerk zur Erkennung eingegeben werden. In einer grundlegenden Ausführungsform können die ersten 512 Bits einer Nachricht in das System eingegeben werden.
Jedoch kann in einer bevorzugten Ausführungsform der Erfindung der gesamte Inhalt der Nachricht einer statistischen Auswertung unterzogen werden. Das Ergebnis kann durch einen 240-Bitwert repräsentiert werden, der in das neuronale Netzwerk eingegeben wird. Auch können 276 Bits, welche ausgewählte Inhalte der Nachricht repräsentieren, z. B. Bits von unterschiedlichen Positionen der Nachricht, in das Netzwerk eingegeben werden. Dadurch können 2²⁴⁰·2²⁷⁶ unterschiedliche Eingabeformate erkannt werden. Strukturelle Kriterien wir auch der Inhalt der Nachricht kann zur Formaterkennung benutzt werden.
Das Netzwerk kann durch Verwendung des sog. Fehlerrückführungs- bzw. Backpropagation-Verfahrens trainiert werden. Nur die Eingabenachricht und das erwartete Ergebnis werden für dieses Training benötigt. Untersuchungen der Erfinder haben gezeigt, dass unterschiedliche Formate nach rund 20 Trainingszyklen korrekt erkannt werden können.
5 zeigt ein Beispiel einer Tabelle, die einen Satz von Abbildungsregeln zur Abbildung der Inhalte der eingehenden Nachricht auf ein anderes Format definiert. In einer Ausführungsform der Erfindung können die Inhalte von standardisierten Feldern in einer zentralen Datenbank zugeordnet seien und dann in die Datenbank geschrieben werden, wie durch die Regeln angegeben.
Insbesondere definiert die erste Spalte der Tabelle, ”RCV Lieferabruf” genannt, ein Quell-Feld einer eingehenden Nachricht, in denen der EDI-Pfad des Feldes der eingehenden Nachricht festgelegt wird. Insbesondere umfasst jede Zeile in der ersten Spalte eine Sequenz von drei unterschiedlichen Nummern, abgegrenzt durch gewinkelte Klammern, wobei die erste Nummer hier <5110>, den Typ der Nachricht beschreibt. Die zweite Nummer in der Sequenz, z. B. <511> schreibt die ”Satzart” (Datensatztyp). Die dritte Nummer in der Sequenz, z. B. <511_03>, bezeichnet das Datenelement oder Feld innerhalb der Struktur der Quellnachricht.
Die zweite Spalte, mit ”business process repository” oder Geschäftsprozessdatenbank benannt enthält drei Unter-Spalten ”Feld”, ”Bezeichnung” und ”Level” und definiert das Ziel, auf welche die Quelleninformationen abgebildet werden soll. Insbesondere definiert die ”Feld” bezeichnete Spalte für jedes Feld in der Quellnachricht, welche einen bestimmten EDI-Pfad besitzt, der in einer Zeile von Spalte 1 beschrieben ist, auf welches Feld in der Zielstruktur die Information abgebildet werden soll. Zum Beispiel wird der Inhalt des Feldes, welches durch den EDI-Pfad <5110><511><511_03> bezeichnet wird, auf das Feld ”a35#01” abgebildet. Die zweite Spalte, ”Bezeichnung” genannt, umfasst eine Beschreibung in natürlicher Sprache der Bevölkerung des Feldes, welche in der zweiten Unter-Spalte definiert ist. Die dritte Unter-Spalte definiert eine sogenannte ”hierarchy level” oder Hierarchieebene, einen weiteren Aspekt der Zielstruktur, der nicht relevant für die Erfindung ist.
6 zeigt eine Architektur 600 eines Anwendungssystems zur Umwandlung von Nachrichten gemäß einer Ausführungsform der Erfindung.
Die Architektur umfasst drei einzelne Systeme 610, 620 und 630. Ein Test- und Entwicklungssystem 610 kann verwendet werden zum Lernen individueller Formate und zu ihrer Zuordnung zu einem Satz von Umwandlungsregeln. Ein Qualitäts- und Lernsystem 620 kann verwendet werden, um das Format, welches in dem ersten System gelernt wurde, im Kontext aller bereits bekannten Formate zu lernen.
Schließlich kann ein Produktionssystem 630 verwendet werden als tatsächliches Produktionssystem, welches das in dem zweiten System 620 abgeleitete Wissen erbt.
In einer weiteren Ausführungsform der Erfindung umfasst der Schritt des Lernens eine syntaktische und semantische Analyse der eingehenden elektronischen Nachricht, für welche kein Datenformat, Partnerprofil oder Abbildung in der Geschäftsprozessdatenbank gefunden wurde.
7 zeigt ein Flussdiagramm eines Verfahrens zum Lernen eines neuen Datenformats gemäß einer Ausfuhrungsform der Erfindung.
Im Syntax-Lernschritt 710 kann gemäß einer Ausführungsform der Erfindung eine Nutzung zur Interaktion bereitgestellt werden, um einem Nutzer zu erlauben, das syntaktische Format manuell zu identifizieren oder ein neues Format bereitzustellen.
In Schritt 720 wir die Nachricht in einzelne syntaktische Datenelemente zerlegt, unter Verwendung der neu gewordenen Syntaxdefinition.
In Schritt 730 wird eine neue Abbildung von den individuellen Datenelementen auf Zielelemente gelernt durch Stimmung der Bedeutung oder Semantik jedes einzelnen Datenelements. Dies kann erreicht werden durch Abgleichen jedes der bestimmten enthaltenen syntaktischen Datenelemente gegen eine Menge von bekannten möglichen semantischen Elementen, um einen Abbildung für das Datenelement zu stimmen.
Insbesondere konnen alle Datenelemente und ihre jeweiligen Syntaxschlüssel gegen eine existierende Sammlung von Daten abgeglichen werden und mit eindeutiger semantischer Information verbunden werden, wenn moglich. Der Abgleich kann durchgeführt werden durch Vergleichen der Syntaxschlüssel der Nachricht mit Syntaxschlüsseln in einer bereits existierenden Datensammlung, welchen bereits semantische Informationen zugeordnet ist. Wenn genau ein passendes syntaktisches Element in der Datensammlung existiert, kann semantische Information eindeutig zugeordnet werden durch Ersetzung des Syntaxschlüssels der Nachricht. Optional kann der Syntaxschlüssel mit weiteren qualifizierenden Elementen verbunden sein, deren Dateninhalte auch berucksichtigt werden können bei der Zuweisung eindeutiger semantischer Informationen.
Alle übrigen syntaktischen Elemente können analysiert werden durch Bestimmung ihrer formalen und kontextuellen Attribute. Kontextuelle Attribute können umfassen den Nachrichtentyp, ihr Platz in der Dokumentenhierarchie, die Tiefe der hierarchischen Verschachtelung der Nachricht, das Land, die Industrie, etc. Formale Attribute können umfassen, ob das Element numerischen Typ hat, alphanumerischen Typ, die Anzahl der Dezimalstellen, ob es eine feste Länge hat, ob es positiv oder negativ ist, ob es sich um ein Datum handelt, das Format des Datums, führende Nullstellen, folgende Nullstellen, ob es mit einem regularen Ausdruck übereinstimmt, ob es ein numerisches Intervall bezeichnet, ob es eine Aufzählung ist, etc.. Die kann erreicht werden durch ein modulares Subsystem des Lernmoduls.
Eine Zuordnung von Datenelementen zu semantischen Elementen kann dann bestimmt werden basierend auf dem den zugeordneten formalen und kontextuellen Attributen. Wenn ein hoher Grad von Ähnlichkeit bestimmt werden kann, basierend auf diesen Attributen, kann die Zuordnung verwendet werden als feste Zuordnung in der Geschäftsprozessdatenbank zur weiteren Verwendung.
Alternativ konnen Datenelemente in ein neuronales Netzwerk eingegeben werden zur weiteren Zuordnung von semantischen Elementen, um die Nachrichtabbildungsdefinition zu bestimmen.
Zusätzlich kann eine Nutzerinteraktion bereitgestellt werden, um einem Nutzer zu erlauben, eine Abbildungsregel für ein gegebenes Datenelement zu bestimmen. Dabei kann dem Nutzer eine Liste von den wahrscheinlichsten Abbildungen präsentiert werden und er aufgefordert werden, die richtige auszuwählen oder eine neue Abbildung für das einzelne Datenelement bereitzustellen.
In Schritt 740 wird die Geschäftsprozessdatenbank mit der neuen Syntaxdefinition auf den aktuellen Stand gebracht, welche mit einem Hash-Wert der analysierten Nachricht verbunden ist, der neu gelernten Nachrichtenabbildungsdefinition und Validierungsregel.
In Schritt 750 werden die Syntaxerkennungsverfahren, z. B. ein neuronales Netzwerk, erneut trainiert, wobei die aktualisierte Geschäftsprozessdatenbank berücksichtigt wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Kantor, M. et al., 29. April 1996, Electronic Data Interchange EDI, National Institute of Standards and Technology [0003]
ANSI ASC X12 [0004]
VDA, ANSI X12 [0036]

Claims

Computerimplementiertes Verfahren zur Umwandlung von Nachrichten zwischen unterschiedlichen Datenformaten in einem Netzwerk für elektronischen Nachrichtenaustausch (EDI), umfassend die Schritte: – Empfangen (110) einer elektronischen Nachricht von einem Teilnehmer des Netzwerks; – Bestimmen (120) von zumindest einem möglichen Datenformat der elektronischen Nachricht, basierend auf dem Inhalt der elektronischen Nachricht; – Validieren (130) der elektronischen Nachricht, basierend auf dem zumindest einen ersten möglichen Datenformat; und – Umwandeln (140) der Nachricht von dem ersten Datenformat in ein zweites vorbestimmtes Datenformat, unter Verwendung einer Nachrichtenabbildungsdefinition, die mit dem ersten Datenformat verbunden ist, wenn der Validierungsschritt erfolgreich ist und; – Lernen eines neuen Datenformats, welches die elektronische Nachricht validiert und einer zugehorigen Nachrichtenabbildungsdefinition, wenn nicht.
Verfahren gemäß Anspruch 1, wobei eine Vielzahl von ersten möglichen Datenformaten bestimmt wird und jedes Datenformat der Vielzahl validiert wird.
Verfahren gemäß Anspruch 1, wobei das zumindest eine mögliche Datenformat aus einem maschinenlesbaren nicht flüchtigen Speicher bestimmt wird, welcher eine Vielzahl von möglichen Datenformaten beinhaltet.
Verfahren gemäß Anspruch 1, wobei das Datenformat basierend auf einer echten Untermenge von Bits der elektronischen Nachricht bestimmt wird, die eine vorbestimmte Größe hat.
Verfahren gemäß Anspruch 4, wobei die echte Untermenge von Bits eine initiale Bitsequenz der elektronischen Nachricht ist.
Verfahren gemäß Anspruch 1, wobei das Datenformat ferner basierend auf statistischen Auswertungen der elektronischen Nachricht bestimmt wird.
Verfahren gemäß Anspruch 1, wobei das erste mögliche Datenformat der elektronischen Nachricht basierend auf einem neuronalen Netzwerk bestimmt wird.
Verfahren gemäß Anspruch 1, ferner umfassend den Schritt des Abspeicherns einer Verbindung des Teilnehmers und des ersten Datenformats in einem maschinenlesbaren flüchtigen Speicher für zukünftige Zugriffe, wenn der Validierungsschritt erfolgreich ist.
Verfahren gemäß Anspruch 8, wobei der Schritt des Bestimmens die Schritte umfasst: – Überprüfen, ob eine Verbindung des Teilnehmers und einem zugeordneten Datenformat bereits in dem maschinenlesbaren nicht-fluchtig gespeichert ist; und – Verwenden des zugeordneten Datenformats als das zumindest eine mogliche Datenformat der elektronischen Nachricht, wenn ja.
Verfahren gemäß Anspruch 1, wobei der Schritt des Validierens die Schritte umfasst: – Automatisches Auffordern des Teilnehmers, das erste Datenformat über einen elektronischen Kommunikationskanal zu bestätigen; – Validieren der elektronischen Nachricht, wenn das erste Datenformat durch den Teilnehmer bestätigt wurde.
Verfahren gemäß Anspruch 3, wobei der Schritt des Umwandelns die Schritte umfasst: – Abrufen eines vorbestimmten Nachrichtenabbildungsschemas, welches dem ersten Datenformat zugeordnet ist; und – Anwenden des vorbestimmten Nachrichtenabbildungsschemas auf die elektronische Nachricht, um diese in das zweite Datenformat umzuwandeln.
Vorrichtung zum Umwandeln von Nachrichten zwischen unterschiedlichen Datenformaten in einem Netzwerk zum elektronischen Nachrichtenaustausch (EDI) umfassend einen Back End-Server und einen Front End-Server, wobei der Front End-Server umfasst: – Mittel zum Empfang einer elektronischen Nachricht von einem Teilnehmer des Netzwerks; – Mittel zum Bestimmen zumindest eines ersten möglichen Datenformats der elektronischen Nachricht; – Mittel zum Validieren der elektronischen Nachricht basierend auf dem zumindest einen möglichen Datenformat; und – Mittel zum Umwandeln der Nachricht von einem ersten Datenformat in ein zweites vorbestimmtes Datenformat, wenn der Validierungsschritt erfolgreich ist