DE10317408B4 - Verfahren zum Vergleichen von Textdateien mit unterschiedlicher Anordnung von Textabschnitten in Dokumenten - Google Patents

Abstract

Verfahren zum systematischen Vergleich des Inhalts von mindestens zwei digital gespeicherten Dokumenten (Doc1, Doc2), die anfänglich nicht markiert sind, mit folgenden Schritten:
a) Suchen von identischen und einzigartigen Wurzeln (Root1, Root2) in den mindestens zwei Dokumenten in Bereichen, die nicht markiert sind, wobei die Wurzeln aus einer Reihe von Textsymbolen bestehen, und insbesondere Wörter, Wortgruppen oder andere eindeutige textuelle Formatierungsfunktionen sind, und lediglich in jedem der Dokumente genau einmal auftreten dürfen, und wobei, sollte eine Wurzel nicht eindeutig sein, die Wurzel verworfen wird, und wobei die Wurzelsuche im ersten Dokument durchgeführt wird, um die Eindeutigkeit sicherzustellen, um dann im zweiten Dokument nach der Wurzel zu suchen, um deren Eindeutigkeit sicherzustellen,
b) sollten die Wurzeln gefunden worden sein, Vergleichen der Dokumente ausgehend von den Wurzeln (Root1, Root2), bis keine Übereinstimmung mehr vorliegt, die so gefundenen Bereiche (Area1, Area2) werden markiert,
c) Wiederholen der vorhergehenden Schritte ausgehend von a)...

Description

• Die Erfindung betrifft ein Verfahren zum systematischen Vergleich des Inhalts von mindestens zwei digital gespeicherten Dokumenten. Die Erfindung betrifft insbesondere ein Verfahren zum Vergleichen von Dokumenten, die eine unterschiedliche Formatierung aufweisen und die einem unterschiedlichen Dokumentenformat entsprechen.
• Gebiet der Erfindung:
• Durch die Verwendung von unterschiedlichen Dokumentenarten und Stilen, wie z. B. Word und PDF, ist es oftmals sehr aufwendig, zu vergleichen, ob alle Informationen des Ausgangsdokuments im Zieldokument enthalten sind. So wird zum Beispiel für die Druckvorstufe oftmals PDF verwendet, wobei das Ausgangsdokument sehr häufig im RTF- oder DOC-Format vorliegt. Ein Vergleich mit den Mitteln der Dokumenten-Software ist nur schwerlich möglich. Weiterhin ist ein Vergleichen von Textdokumenten mit freier Anordnung der Textteile in Layern (oder Streams), wie z. B. in HTML oder PDF, mit Textdokumenten, bei denen die Informationen im Textfluss entsprechend dem Lesefluss angeordnet sind (z. B. TXT, RTF, DOC), oder mit anderen Layer-Dokumenten bisher nicht zufriedenstellend möglich.
• Stand der Technik (S. d. T.):
• Beim Stand der Technik verfolgen textvergleichende Algorithmen den Dokumentenfluss innerhalb der zu vergleichenden Dokumente oder versuchen, den Lesefluss zu rekonstruieren. Hierbei werden Verschiebungen von Textteilen als Entfernen und Einfügen erkannt. In Dokumentendateien, in denen der Dokumentenfluss unterschiedlich zum Textfluss ist, werden somit viele Veränderungen angezeigt, die für den Nutzer der Software keine Hilfe darstellen.
• Aus der Druckschrift Heckel, P: A Technique for Isolating Differences between Files, April 1978 ist ein Verfahren zur Suche nach Wurzeln bekannt. Hierin wird erläutert, dass neben den genannten Zeilen andere Einheiten in Frage kommen. Hierbei werden die Dokumente von vorne und hinten linear durchlaufen und dabei die Zuordnung der Wurzeln auf ihre Nachbarelemente übertragen, wobei in 5 linearen Durchläufen die Übereinstimmungen gefunden werden.
• Aufgabe der Erfindung ist es, ein Verfahren bereitzustellen, das einen verschiebungsresistenten Textvergleich ermöglicht. Da der Nutzer nicht mit überflüssigen Informationen belastet werden soll, soll die Vergleichsmethode bereits Verschiebungen von anderen Modifikationen trennen.
• Lösung:
• Diese Aufgabe wird durch die Erfindungen mit den Merkmalen der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindungen sind in den Unteransprüchen gekennzeichnet.
• Die in den Ansprüchen offenbarte Vergleichsmethode liefert einander zugeordnete, abgegrenzte Bereiche, die in beiden Dokumenten vorkommen. Mit Hilfe eines geeigneten Benutzerinterfaces kann der Nutzer die Position dieser Teile in beiden Dokumenten schnell überprüfen. Somit können sowohl Übereinstimmungen als auch Unterschiede dem Benutzer visuell schnell verdeutlicht werden. Dies ist maßgeblich auf die Verwendung der Listen zurückzuführen, die weiter unten beschrieben wird.
• Ein weiterer Vorteil besteht darin, aus der Verwaltung der Listen ein leseflussorientiertes Dokument zu generieren, das visuell einfacher durch den Benutzer erfasst werden kann. So kann der Lesefluss von Layer-Dokumenten mit Hilfe eines leseflussorientierten Vergleichsdokuments rekonstruiert werden.
• Konnten Dokumententeile nicht zugeordnet werden, deutet dies auf Veränderungen bezüglich des Originals hin. Durch Bereitstellung von systematischen oder benutzerorientierten Analysenverfahren lässt sich durch Untersuchung der Umgebung im Dokumentenfluss leicht feststellen, ob es sich um einzelne veränderte Worte oder um neue oder entfernte Textteile, handelt.
• Zum Vergleich von Dokumenten sind mindestens zwei Dokumente Doc1 und Doc2 vorhanden, die sich in ihrem Inhalt ähneln. Wie bereits beschrieben, kann der Lesefluss dem Dokumentenfluss gleichen oder in Textteile ohne Berücksichtigung des Leseflusses unterteilt sein.
• Für die technische Realisierung wird aus den Dokumenten Doc1 und Doc2 der Textinhalt (Content1 und Content2) entsprechend des Dokumentenflusses extrahiert.
• Ein grundsätzlicher Ansatz der vorliegenden Erfindung ist darin begründet, dass eindeutige Wurzeln in beiden Dokumenten gefunden werden.
• Diese sind Einheiten, die in beiden Dokumenten vorkommen und jeweils einzigartig sind. Bei diesen Wurzeln kann es sich um einzelne Wörter, Wortgruppen oder andere eindeutige textuelle Formatierungsfunktionen handeln. Nun wird nach identischen Wurzeln in jeweils dem anderen Dokument gesucht (Root1 aus Content1 und Root2 aus Content2 mit Root1 = Root2). Ist ein Paar gefunden, wird der Bereich um diese Wurzeln verglichen, bis keine Übereinstimmung mehr vorliegt. Bei der Bereichssuche werden sowohl die vorhergehenden Worte als auch die nachfolgenden Worte analysiert. Die so gefunden Bereiche Area1 um Root1 und Area1 um Root2 werden in Doc1 und Doc2 zugeordneten Listen List1 und List2 gespeichert.
• Das Suchen von Paaren und das Vergleichen der Textbereiche wird so oft wiederholt, bis keine neuen Wurzeln mehr gefunden werden.
• In besonderen Konstellationen können die Bereiche falsch zugeordnet sein. Tritt z. B: in einem Dokument die Wurzel Root1 einmalig auf und in dem anderen Dokument die Wurzel Root2 ebenfalls einmalig, so muss dies nicht bedeuten, dass sich um diese Wurzeln Root1 und Root2 der gleiche Text erstreckt. Vielmehr kann es durch Zufall passieren, dass die Wurzel Root2 im Text enthalten ist, nicht jedoch den gleichen Bereich betrifft.
• Formaler ausgedrückt, können Wurzeln nur dann falsch zugeordnet worden sein, wenn die Entsprechung von Root1 in Content2 fehlt, dafür eine Entsprechung von Root2 in Content1 fehlt. Wurzel1 und Wurzel2 wären dann zufälligerweise identisch.
• Wenn Wurzeln falsch zugeordnet werden, kann dies dazu führen, dass sich Bereiche innerhalb eines Dokuments überschneiden. Aus sich überschneidenden Bereichen ergibt sich zwingend, dass Wurzeln falsch zugeordnet wurden.
• Im Allgemeinen kann man davon ausgehen, dass die Wahrscheinlichkeit einer Richtigzuweisung steigt, je größer der als zusammenhängend erkannte Bereich ist.
• Eine detaillierte Anweisung umfasst, dass beim Vorliegen von kollidierenden Bereichen in List1 bzw. List2 die vertrauenswürdigen, z. B. die kleineren, mit ihren Partnern in der jeweils anderen Liste gelöscht werden. Die restlichen werden endgültig miteinander verbunden.
• Es sei darauf hingewiesen, dass in den noch nicht miteinander verbundenen Textteilen neue Wurzeln entstehen können, da die jetzt verbundenen Textteile nicht mehr beachtet werden müssen.
• Sind in den restlichen Bereichen wieder Wurzeln vorhanden, wird die Vorgehensweise, wie oben beschrieben wurde, wiederholt. Dabei werden bereits verbundene Textteile nicht beachtet. Andernfalls wird die Bearbeitung der Dokumente beendet.
• Ein wichtiger Aspekt ist das Bestimmen von Wurzeln, das mehrere Möglichkeiten umfasst.
• Eine Möglichkeit besteht darin, dass die Wörter bzw. Wortgruppen eines Dokuments als Wurzelkandidaten behandelt werden. Für alle Kandidaten wird dann getestet, ob es im selben Dokument andere Kandidaten mit gleichem Inhalt gibt. Wenn ja, ist der Kandidat ungültig. Das gleiche wird für das Vergleichsdokument durchgeführt. Dann wird für jeden Kandidat aus dem Dokument der Partner aus dem Vergleichsdokument gesucht. Existiert der, werden die Wurzeln zugeordnet. Als Ergebnis steht eine Liste mit Wurzelpaaren zur Verfügung.
• Andere Arten zur Bestimmung von Wurzeln sind ebenfalls denkbar, wie z. B. Zeichenketten mit bestimmten Längen, die u. U. ebenfalls Leerzeichen umfassen können.
• Um die vollständigen Segmente zu bestimmen, wird in der vorliegenden Erfindung ausgehend von den Wurzeln geprüft, ob die Folgeelemente (vorwärts und rückwärts), z. B. Folgewörter, in beiden Dokumenten identisch sind. Wenn das nicht mehr zutrifft, enden die Paarsegmente. Es kann vorkommen, dass mehrere Wurzelpaare dieselben Segmentpaare erzeugen, soweit alle Wurzeln im Vorfeld gesucht wurden.
• Auf Basis der Wurzelzuweisung sind auch andere Vorgehensweisen möglich, wie sie im Folgenden beschrieben werden.
• Beim Single-Pass, dessen Vorgehensweise am schnellsten ist, der aber nur dann gut arbeitet, wenn beide Dokumente keine überlappenden Bereiche enthalten, werden die gefundenen Bereiche alle in einem Durchlauf zugewiesen. Die nicht in den Bereichen enthaltenen Dokumententeile sind dann jeweils nur in einem Dokument enthalten und daher unterschiedlich.
• Zur Überprüfung, ob sich Bereiche überschneiden, kann man unterschiedliche Verfahren verwenden. In einer möglichen Ausführungsform werden die Wörter entsprechend dem Dokumentenfluss nummeriert. Anhand der Nummer des ersten und letzten Worts eines Bereichs kann man diesen mit anderen Bereichen vergleichen.
• Bei einer weiteren Ausführungsform, auch Multi-Pass genannt, wird zunächst nur der als bester bewertete Bereich festgelegt. Alle anderen Bereiche werden wieder aufgelöst und anschließend unter Ausschluss des festgelegten Bereichs neu bestimmt. Für diese wird der Vorgang wiederholt. Wenn es keine überlappenden Bereiche mehr gibt, kann das Single-Pass Verfahren für den Rest angewendet werden.
• Durch die Bewertung der Bereiche steigt die Wahrscheinlichkeit der Richtigzuweisung gegenüber dem Single-Pass Verfahren. Das Zuordnen von Bereichen erzeugt neue Wurzeln im Resttext (wenn ein Textelement nur ein Mal außerhalb des festgelegten Bereichs existiert) und erweitert somit die alten Zuordnungen oder macht sie ungültig.
• Für die Beurteilung, ob ein Paar gut ist oder schlecht bzw. für die Entscheidung, ob ein Paar aufgelöst werden soll oder nicht, kann es unterschiedliche Benutzungsverfahren geben. Eine mögliche Ausführungsform basiert auf der Anzahl von identischen gefundenen Wörtern.
• Ein sehr aufwendiges aber in der Regel mit den bestmöglichen Ergebnissen behaftetes Verfahren ist das Complete/Partial Tree Verfahren.
• Bei diesem Verfahren werden alle möglichen Kombinationen von Regionen nach dem Multi-Pass Verfahren erzeugt. Allerdings werden nicht die einzelnen Regionen bewertet, sondern das Gesamtergebnis aller Regionen. Die Regionenkombination mit der besten Bewertung wird als richtig gekennzeichnet.
• Am einfachsten ist es, dazu die Anzahl der Wörter im Segment als Bewertung zu nehmen. Allerdings sind bessere Bewertungsmethoden denkbar, bis hin zur Verwertung der Wort-Entropie.
• Diese Methode bietet auf Basis der Bewertungsfunktion das bestmögliche Matching, nimmt aber exponentiell viel Zeit in Anspruch. Aus diesem Grund kann man die Anzahl der möglichen Regionen auf die n besten zwischen den einzelnen Multi-Pass Schritten reduzieren.
• Im Folgenden wird die Erfindung anhand eines Ausführungsbeispiels näher erläutert, das in der Figur schematisch dargestellt wird. Gleiche Bezugsziffern in den einzelnen Figuren bezeichnen dabei gleiche Elemente. Im Einzelnen zeigt:
• 1 ein Ablaufschema der vorliegenden Erfindung.
• Gemäß 1 werden zwei Dokumente DOC1 und DOC2 zur Durchführung der Wurzelanalyse verwendet. Die Wurzelanalyse kann entweder einmalig durchgeführt werden, um dann zur Bereichsanalyse überzugehen, oder es wird die Wurzelanalyse mehrfach durchgeführt, wie aus der Verbindung 12 zu ersehen ist.
• Sollte die Analyse mehrfach durchgeführt werden, so werden Listenstrukturen angelegt, die die Wurzelpaare aufnehmen. Die Bereichsanalyse kann ebenfalls mehrfach durchlaufen werden, wie durch die Verbindung 13 zu erkennen ist, soweit eine Listenstruktur mit Wurzeln vorhanden ist. Nach der Beurteilung des Ergebnisses können die Prozessteile entweder vollständig neu durchgeführt werden, indem Bereiche aufgelöst werden, oder es wird nach neuen Wurzeln gesucht, um dann den Prozess erneut durchzuführen. In Abhängigkeit der in den Ansprüchen beschriebenen Multi-Pass oder Complete/Partial Tree Verfahren fällt die Ergebnisbewertung unterschiedlich aus und führt zu einem vollständigen neuen Start des Verfahrens oder teilweisen neuen Start des Verfahrens.

Claims (13)

1. Verfahren zum systematischen Vergleich des Inhalts von mindestens zwei digital gespeicherten Dokumenten (Doc1, Doc2), die anfänglich nicht markiert sind, mit folgenden Schritten: a) Suchen von identischen und einzigartigen Wurzeln (Root1, Root2) in den mindestens zwei Dokumenten in Bereichen, die nicht markiert sind, wobei die Wurzeln aus einer Reihe von Textsymbolen bestehen, und insbesondere Wörter, Wortgruppen oder andere eindeutige textuelle Formatierungsfunktionen sind, und lediglich in jedem der Dokumente genau einmal auftreten dürfen, und wobei, sollte eine Wurzel nicht eindeutig sein, die Wurzel verworfen wird, und wobei die Wurzelsuche im ersten Dokument durchgeführt wird, um die Eindeutigkeit sicherzustellen, um dann im zweiten Dokument nach der Wurzel zu suchen, um deren Eindeutigkeit sicherzustellen, b) sollten die Wurzeln gefunden worden sein, Vergleichen der Dokumente ausgehend von den Wurzeln (Root1, Root2), bis keine Übereinstimmung mehr vorliegt, die so gefundenen Bereiche (Area1, Area2) werden markiert, c) Wiederholen der vorhergehenden Schritte ausgehend von a) bis keine einzigartigen und identischen Wurzeln mehr vorliegen und/oder keine gefundenen Bereiche mehr markiert werden können, wobei die markierten Bereiche für die Suche nach Wurzeln und Bereichen nicht berücksichtigt werden.
2. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die so gefunden Bereiche Area1 um Root1 und Area2 um Root2 in Doc1 und Doc2 zugeordneten Listen List1 und List2 gespeichert werden.
3. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich bei falsch zugeordneten Wurzeln Bereiche innerhalb eines Dokuments überschneiden, wobei mindestens einer der Bereiche zur erneuten Wurzel-Suche freigegeben wird.
4. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass von kollidierenden Bereichen in List1 bzw. List2 die schlechter bewerteten Partner in der jeweils anderen Liste gelöscht werden.
5. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Multi-Pass Verfahren mit mehreren Durchgängen das Verfahrens nach Anspruch 1 eingesetzt wird, bei dem nach einem ersten Durchgang nur ein oder mehrere als beste bewertete Bereiche festgelegt werden, wobei alle anderen Bereiche wieder aufgelöst und anschließend unter Ausschluss des festgelegten Bereichs durch neue Durchgänge neu bestimmt werden.
6. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass das Single-Pass Verfahren nach Anspruch 1 für die restlichen Bereiche angewendet wird, wenn keine überlappenden Bereiche mehr vorliegen.
7. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Complete/Partial Tree Verfahren eingesetzt wird, bei dem alle möglichen Kombinationen von Regionen nach dem Multi-Pass Verfahren erzeugt werden, wobei die beste Kombination ausgewählt wird.
8. Verfahren, nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass nicht die einzelnen Regionen bewertet werden, sondern das Gesamtergebnis aller Regionen.
9. Verfahren nach einem oder mehreren der vorhergehenden zwei Ansprüche, dadurch gekennzeichnet, dass die Anzahl der möglichen Regionen auf die n besten zwischen den einzelnen Multi-Pass Schritten reduziert wird.
10. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Wörter und/oder Gruppen von Wörtern und/oder Steuerzeichen als Wurzeln verwendet werden.
11. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ausgehend von den Wurzeln in beide Richtungen ein Bereich auf Übereinstimmung überprüft wird.
12. Datenträger für einen Computer, gekennzeichnet durch die Speicherung einer Datenstruktur, die nach dem Laden durch einen Computer ein Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche implementiert.
13. Computersystem, gekennzeichnet durch eine Einrichtung, die ein Verfahren nach einem oder mehreren der vorhergehenden Verfahrensansprüche ausführt.