DE60027529T2

DE60027529T2 - Bilderzeugungssystem für dokumente

Info

Publication number: DE60027529T2
Application number: DE60027529T
Authority: DE
Inventors: Maurizio Pilu
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 1999-07-09
Filing date: 2000-07-07
Publication date: 2006-09-28
Anticipated expiration: 2020-07-08
Also published as: EP1067362A1; EP1117975A1; WO2001004571A1; DE60027529D1; US6940664B1; JP2003504947A; EP1117975B1

Description

Die vorliegende Erfindung bezieht sich auf die Verwendung einer Kamera und eines strukturierten Lichtmusters bei einem auflagenlosen Dokumentenbilderzeugungssystem, um das Bild einer Seite oder eines gebundenen Buches zusammen mit Tiefeninformationen aufzunehmen (zu erfassen), die aus dem Lichtmuster gefolgert werden können.
Bilder, die von einer gekräuselten Oberfläche aufgenommen werden, zeigen allgemein Verzerrungen, die durch eine Bildperspektive, einen Versatz und eine Komprimierung oder Verlängerung bewirkt werden, die durch eine unebene oder eine gekräuselte Oberfläche bewirkt werden. Mehrere Einrichtungen, einschließlich Standardtriangulationstechniken, können verwendet werden, um das Oberflächenprofil aus aufgenommenen Bildern der Oberfläche zu berechnen. Beispielsweise kann eine Kamera mit einem strukturierten Lichtmuster bei einem auflagenlosen Dokumentenbilderzeugungssystem verwendet werden, um das Bild einer Seite oder eines gebundenen Buchs zusammen mit Tiefeninformationen aufzunehmen, die aus der Lichtstruktur gefolgert werden können.
Tischflachbettscanner (Tischflachbett-Abtastvorrichtungen) sind bei Bürobilderzeugungsanwendungen sehr häufig. Obwohl diese relativ kostengünstig sind und gut funktionieren, besteht ein Nachteil darin, dass diese ausnahmslos eine erhebliche Menge an Tischraum einnehmen, der immer hoch im Kurs steht.
Digitalkameraprodukte werden in vielen Bereichen einer Standbild- und Bewegtbildfotografie häufig und werden folglich immer weniger teuer. Derartige Kameras werden jedoch immer noch beinahe ausschließlich für eine Fotografie von Menschen oder Orten verwendet und müssen noch für eine Verwendung bei Bürobilderzeugungsanwendungen angepasst werden. Ein Grund dafür besteht darin, dass ein Dokument, wie bei spielsweise ein Stück Papier oder ein offenes Buch, das mit der Oberseite nach oben an einer Trageoberfläche liegt, allgemein nicht flach ist, weil das Dokument nicht wie bei einem Flachbettscanner gegen eine transparente Auflageplatte gehalten ist.
Es kann ferner unzweckmäßig sein, dass die Kamera über der Trageoberfläche befestigt ist und direkt nach unten blickt, um das Dokument abzubilden. Um eine Struktur zu vermeiden, die über einer Arbeitsoberfläche eines Tischs hängt, ist es besser, wenn die Kamera an einer Kante der Arbeitsoberfläche befestigt ist. Dies jedoch resultiert in einer Perspektivenverzerrung.
Ferner liegen Dokumente eventuell nicht in einem konsistenten Winkel zu der Kamera. In dem Fall des Buches ist der Rücken dann in einem variablen Winkel zu der optischen Achse der Kameralinse versetzt.
Deshalb stellt eine kamerabasierte Aufnahme eines Dokuments das Problem einer Verzerrung des aufgenommenen Bilds auf Grund einer Bildperspektive, eines Versatzes und einer Komprimierung oder Verlängerung dar, die durch die unebene Oberfläche und Seitenkräuselung des Blatts oder gebundenen Buches eingebracht werden.
Eine Seitenkräuselung ist eines der größten Probleme, die bei einem Aufnehmen eines Dokuments mit einer Kamera angetroffen werden. Der gekräuselte Teil des Dokuments wird auf einem Bildschirm und Druckern schlecht wiedergegeben und zeigt Schatten. Es ist ferner schwierig, bei einem derartigen „verzogenen" Bild ein Zusammensetzen und eine optische Schriftzeichenerkennung vorzunehmen.
Ein Beheben oder „Entzerren" einer Seitenkräuselung ist ein allgemein schwierig zu lösendes Problem. Verfahren, die bekannt sind, umfassen ein Folgern von Formen aus einer Schattierung, aus einer Textur, aus Gesamtkonturen von Textzeilen. Diese Verfahren haben sich bisher als fragil erwiesen und erfordern häufig eine erhebliche Menge an Computerverarbeitungsleistung.
Ein Ansatz, um dieses Problem zu lösen, besteht darin, strukturiertes Licht zu verwenden, um Tiefeninformationen zu erhalten, wie beispielsweise den Abstand der Seite von einer Ebene in rechten Winkeln zu der optischen Achse der Kamera. Ein derartiger Ansatz ist in dem Patentdokument US 5,760,925 offenbart, bei dem ein Dokument an einer darunter liegenden Trageoberfläche getragen ist, wobei eine Kamera über und an einer Seite der Trageoberfläche befestigt ist und ein Lichtstreifenprojektor an einer gegenüberliegenden Seite der Trageoberfläche befestigt ist. Der Lichtstreifenprojektor projiziert ein Paar von Lichtstreifen auf das Dokument. Die Lichtstreifen sind für Abschnitte des Dokuments mit der gleichen Höhe über einer Referenzoberfläche parallel, die als die Trageoberfläche angenommen wird. Das Dokument ist ausgerichtet, so dass das meiste der Kräuselung sich in die gleiche Richtung wie die Lichtstreifen befindet, aber weil das Dokument in eine Querrichtung eventuell nicht flach ist, wird die Form des Dokuments zwischen den Lichtstreifen linear interpoliert.
Dieses System kann im Prinzip ein Bild des Dokuments aufnehmen und dieses lediglich hinsichtlich einer Seitenkräuselung korrigieren, wenn es keine Kräuselung quer zu den Lichtstreifen gibt. Obwohl im Prinzip und zu erhöhten Kosten mehr parallele Lichtstreifen hinzugefügt sein können, um zusätzliche Kräuselungsinformationen in die Querrichtung zu gewinnen, erlegt dies in der Praxis der verfügbaren Verarbeitungsleistung und der Zeit, die verfügbar ist, um eine Dokumentenkräuselung bei einem Produkt aufzunehmen und zu korrigieren, das hinsichtlich Kosten und Geschwindigkeit kommerziell attraktiv ist, eine schwere Belastung auf.
Es ist eine Aufgabe der vorliegenden Erfindung, diese Probleme anzusprechen.
Folglich sieht die vorliegende Erfindung ein Bilderzeugungssystem zum Abbilden eines Dokuments vor, das eine Trageoberfläche für ein Dokument, das abgebildet werden soll, einen Lichtstreifenprojektor, der angeordnet ist, um eine Mehrzahl von divergierenden Lichtflächen zu projizieren, die sich von dem Projektor zu der Trageoberfläche hin zum Bilden einer Reihe von Streifen über das Dokument erstrecken, eine Kamera, die ein Detektorarray zum Erfassen eines Bilds des Dokuments und Lichtstreifen aufweist, die auf das Dokument projiziert sind, einen Prozessor aufweist, der angeordnet ist, um von dem Detektorarray Daten zu empfangen, die Bilder des Dokuments und der Lichtstreifen darstellen, und um aus denselben ein dreidimensionales Profil des Dokuments relativ zu einer Referenzoberfläche zu berechnen, dadurch gekennzeichnet, dass die relative Divergenz benachbarter Lichtflächen lateral über die Schichten variiert, so dass die Streifen konzentriert sind, wo die Divergenz relativ gering ist.
Das Dokumentenbilderzeugungssystem kann dann angeordnet sein, so dass die Lichtstreifen konzentrierter sind, wo eine Dokumentenkräuselung oder die Veränderungsrate einer Dokumentenkräuselung am größten ist. Es ist deshalb nicht notwendig, dass alle Lichtflächen planar sind. Beispielsweise kann sich zumindest eine der Lichtflächen in einer nicht planaren Fläche mit einer variablen Divergenz von einer benachbarten Fläche erstrecken.
Bei einem bevorzugten Ausführungsbeispiel der Erfindung gibt es eine planare Fläche mit divergierenden Flächen auf beiden Seiten der planaren Fläche. Die planare Fläche kann entlang einer zentralen Ebene der Flächen sein, die von dem Lichtstreifenprojektor projiziert werden. Dann können sich die divergierenden Flächen zu der planaren Fläche biegen, so dass die Lichtstreifen in einem mittleren Abschnitt eines strukturierten Lichtmusters an dem Dokument konzentriert sind.
Gemäß der Erfindung ist ferner ein Verfahren zum Abbilden eines Dokuments unter Verwendung eines Dokumentenbilderzeugungssystems vorgesehen, das eine Trageoberfläche, einen Lichtstreifenprojektor, eine Kamera, die ein Detektorarray aufweist, einen Prozessor aufweist, wobei das Verfahren folgende Schritte aufweist:

i) Platzieren des Dokuments auf der Trageoberfläche;
ii) Verwenden des Lichtstreifenprojektors, um eine Mehrzahl von divergierenden Lichtflächen zu projizieren, die sich von dem Projektor zu dem Dokument hin erstrecken;
iii) Anordnen des Lichtstreifenprojektors, so dass die Lichtflächen auf das Dokument fallen, um eine Reihe von Lichtstreifen an dem Dokument zu erzeugen;
iv) Verwenden der Kamera, um mit dem Detektorarray ein Bild des Dokuments und von Lichtstreifen zu erfassen, die auf das Dokument projiziert sind;
v) Senden von Daten, die das erfasste Bild des Dokuments und die Lichtstreifen darstellen, von dem Detektorarray zu dem Prozessor; und
vi) Verwenden des Prozessors, um aus denselben ein dreidimensionales Profil des Dokuments relativ zu einer Referenzoberfläche zu berechnen;

Die Lichtstreifen können aus einer sichtbaren oder unsichtbaren optischen Strahlung gebildet sein, insbesondere einer nahe infraroten Strahlung, und können durch irgendeine geeignete Quelle erzeugt sein, beispielsweise eine Licht emittierende Diode oder eine Laserdiode.
Die Erfindung wird nun lediglich durch ein Beispiel und mit Bezug auf die zugehörigen Zeichnungen detaillierter beschrieben, in denen:
1 eine schematische, perspektivische Ansicht eines Dokumentenbilderzeugungssystems gemäß der Erfindung ist, wobei eine Kamera, die ein Detektorarray aufweist, zusammen mit einem Lichtstreifenprojektor an einer Stütze befestigt ist, die ein Dokument überblickt, das abgebildet werden soll;
2 eine Ansicht eines offenen Buchs ist, das durch die Kamera abgebildet wird;
3 eine Ansicht des offenen Buchs ist, wobei ein Lichtstreifenmuster auf das Buch projiziert ist;
4 eine schematische, perspektivische Ansicht ist, die ein strukturiertes Lichtmuster zeigt, das durch den Lichtstreifenprojektor erzeugt wird und divergierende Lichtflächen zeigt, die sich konkav einwärts zu einer zentralen, planaren Lichtfläche hin biegen;
5 eine Auftragung von Lichtstreifen ist, die durch einen Schnitt des strukturierten Lichtmusters von 3 mit einer Ebene quer zu den Flächen gebildet ist;
6 eine Auftragung eines Polynoms ist, das durch fünf Punkte angepasst ist, die aus einem der Lichtstreifen von 5 genommen sind;
7 eine Auftragung eines Parameterlichtflächenkegels ist, der aus Polynomen aufgebaut ist, wie beispielsweise diesen von 6;
8 ein Flussdiagramm ist, das einen Kalibrierungsprozess für die Rotationsverschiebung zwischen der Kamera und dem Lichtstreifenprojektor zeigt;
9A und 9B den Fehler bei einer Erfassung des Profils einer planaren Oberfläche unter Verwendung des Dokumentenbilderzeugungssystems zeigen, wenn ein anfänglicher Schätzwert der Rotationsverschiebung verwendet wird;
10A und 10B den Fehler bei einer Erfassung des Profils einer planaren Oberfläche nach einer Kalibrierung der Rotationsverschiebung gemäß dem Flussdiagramm von 8 zeigen;
11A und 11B die Fehler bei der Erfassung einer planaren Oberfläche ohne bzw. mit einer Radialverzerrungskorrektur zeigen;
12 die Ergebnisse eines Streifenerfassungs- und Etikettierprozesses zeigt;
13 eine Lichtfläche und eine Terminologie zeigt, die bei einem Triangulationsprozess verwendet wird, um den Schnitt der Lichtfläche und des Lichtstreifens zu berechnen;
14 einen Satz von Messdatenpunkten eines offenen Buchs zeigt, die mit dem Dokumentenabtastsystem erzeugt werden;
15 das Profil einer Oberfläche zeigt, die mit einer bikubischen Spline an die Messdatenpunkte ange passt ist, gemäß einem Verfahren zum Entzerren einer Kräuselung des Stands der Technik;
16 die Ergebnisse des Stands der Technik eines Entrollens der bikubischen Spline auf eine Ebene zeigt;
17 ein schematisches Diagramm eines Orthobild-Verfahrens des Stands der Technik, um eine Kräuselung zu entzerren, wenn auf die angepasste Oberfläche angewandt, ist;
18 ein schematisches Diagramm eines Dreiecksgitternetzes ist, das verwendet wird, um eine entwickelbare Oberfläche zu approximieren;
19 ein schematisches Diagramm einer Weise eines Schätzens der näherungsweisen Erstreckung aus den Messdatenpunkten ist, wenn dieselben von einem gekräuselten Dokument entzerrt sind;
20A, 20B und 20C eine zweidimensionale Analogie zeigen, wie das Gitternetz anfänglich an die Messpunkte in einem Prozess angepasst wird, der das Gitternetz streckt, so dass dasselbe nicht mehr entwickelbar ist;
21 ein schematisches Diagramm ist, das durch eine Analogie mit einem Federgitternetz zeigt, wie das Gitternetz zurück zu einem entwickelbaren Zustand entspannt wird, in dem dasselbe optimal an die Messpunkte angepasst ist; und
22 einen Prozess einer Texturabbildung des entspannten Gitternetzes, um das gekräuselte Bild des Dokuments zu entzerren, zeigt.
1 zeigt ein Dokumentenbilderzeugungssystem 1, das eine elektronische Kamera 2 aufweist, deren unterer Abschnitt einen Lichtstreifenprojektor 4 häust, der durch Lasiris, Inc., aus St. Laurent, Québec, Kanada, als ein Modell Nr. 515L hergestellt wird. Die Kamera 2 ist auf einem Träger 6 befestigt, der an einer Kante 10 einer Arbeitsoberfläche 12 festgeklemmt 8 ist und sich über dieselbe erhebt. Die Kamera 2 weist eine Hauptlinse 14 mit einer optischen Achse 16 auf, die über die Arbeitsoberfläche 12 und herab auf dieselbe gerichtet ist. Die Linse 14 weist ein Blickfeld 18 auf, das einen Bereich 20 der Arbeitsoberfläche 12 auf ein zweidimensionales CCD-Detektorarray 22 innerhalb der Kamera 2 abbildet.
Das Detektorarray ist mit einer Prozessoreinheit 25 verbunden 23, die beispielsweise ein Personal-Computer mit einer Erweiterungskarte zum Steuern der Kamera 2, des Lichtstreifenprojektors 4 und zum Empfangen und Verarbeiten von Daten sein kann, die von dem Detektorarray 22 empfangen werden.
Idealerweise ist der Bereich 20 zumindest von der Größe eines A4-Dokuments. Gleichermaßen weist der Lichtstreifenprojektor 4 eine Projektionslinse 24 auf, die ein strukturiertes Lichtmuster 26 auf einen Arbeitsoberflächenbereich 28 projiziert, der grob mit dem abgebildeten Bereich 20 zusammenfällt. Das strukturierte Lichtmuster wird unten detaillierter beschrieben, aber erstreckt sich um eine zentrale Achse 29, die grob mit der Kameralinsenachse 18 an der Arbeitsoberfläche 12 zusammenfällt. Die Streuung des strukturierten Lichtmusters ist ausreichend, um einen Bereich von A4-Größe in etwa 300 mm Abstand abzudecken.
Ein Dokument 30 wurde innerhalb des Bereichs 20, 28 platziert, der durch die Kameralinse 14 und das strukturierte Lichtmuster 26 definiert ist. Das Dokument ist durch die Arbeitsoberfläche 12 in einer allgemein horizontalen Ausrichtung getragen, aber ist etwas gekräuselt. Ein Bild, das durch das Detektorarray 22 aufgenommen wird, weist deshalb eine Perspektivenverkürzung wegen des schrägen Winkels zwischen der Kameraoptikachse 16 und dem Dokument 30 sowie eine Verziehungsverzerrung auf Grund der Dokumentenkräuselung auf.
Eine derartige Verziehungsverzerrung ist in 2 zu sehen, die ein Bild 31 eines offenen Buches 32 darstellt, das an dem Detektorarray 22 durch die Kamera 2 erzeugt ist. Die Größe einer Verziehungsverzerrung ist nahe dem Rücken 34 am größten.
3 zeigt ein Bild 33 des offenen Buchs 32, wenn das strukturierte Lichtmuster 26 zu dem Buch 32 hin projiziert ist, um fünfzehn getrennte Lichtstreifen 35 über dem Buch 32 zu erzeugen. Das Buch ist ausgerichtet, so dass die Lichtstreifen 35 quer zu dem Rücken 34 sind.
Eine Differenz kann dann zwischen dem Bild 33 mit dem Lichtstreifenmuster 35 und dem gleichen Bild 31 ohne das Lichtstreifenmuster 35 genommen werden, um die Lichtstreifen zu erfassen.
Wie es aus 1 und 3 ersichtlich ist, besteht der Vorteil dessen, dass der Lichtstreifenprojektor zusammen mit und unter der Kamera befestigt ist, darin, dass der am weitesten entfernte Streifen 36 immer im Blick der Kamera ist, selbst wenn der Streifen über die weiter entfernte Kante eines Buchs hinaus projiziert ist.
4 zeigt, wie das strukturierte Lichtmuster 26 erzeugt wird. Ein fester Laser 38 mit 7 mW projiziert einen Lichtstrahl 40 zu einem ersten optischen Beugungselement 42, das den Strahl 40 in einen vertikal ausgerichteten Streifen 44 beugt. Der vertikale Streifen 44 wird dann durch ein zweites optisches Beugungselement 46 in das strukturierte Lichtmuster 26 gebeugt, das aus fünfzehn divergierenden, getrennten und sich nicht schneidenden Lichtflächen 48 besteht.
Das strukturierte Lichtmuster 26 wird auf das Dokument 30 projiziert, wobei die Projektionsachse 29 in einem Winkel 50 versetzt ist, um eine Triangulation der Lichtstreifen 35 zu gestatten, um eine Dokumentenkräuselung zu kennzeichnen.
Diese Beugungselemente 42, 44 erzeugen einen Satz von sieben kegelförmigen Lichtflächen 51, 53 auf jeder Seite einer zentralen, planaren Lichtfläche 52. Die zentrale, planare Lichtfläche 52 enthält einen Medianstrahl 49, der ebenfalls an der Lichtstreifenprojektorachse 29 liegt.
Jeder Satz von Lichtflächen 51, 53 beugt sich konkav einwärts zu der zentralen, planaren Lichtfläche 52 hin, mit dem Ergebnis, dass die Divergenz zwischen benachbarten Lichtflächen in der Mitte der Lichtflächen 48 minimal ist. Die Flächen sind um eine Ebene symmetrisch, die quer zu der planaren Fläche ist und die einen Medianstrahl der planaren Fläche 52 aufweist.
Wie es in 5 gezeigt ist, erzeugen die kegelförmigen Lichtflächen 51, 53 allgemein gekrümmte, nicht parallele Lichtstreifen an dem Dokument mit einer Konzentration von Lichtstreifen entlang einer Linie, die zentral quer zu den Lichtstreifen 35 ist. Die Konzentration von Streifen entspricht der minimalen Divergenz zwischen benachbarten Lichtflächen. In 3 ist diese Konzentration um den Buchrücken 34 herum. Bei diesem Beispiel liefert die Konzentration von Lichtstreifen um den Rücken 34 herum verbesserte Kräuselungsinformationen in der Region einer größten Dokumentenkräuselung.
Eine Triangulation von kegelförmigen Lichtflächen ist jedoch ein nicht triviales Problem. Aus diesem Grund ist unten eine Lösung in geschlossener Form für dieses Triangulationsproblem beschrieben, die allgemein bei dieser Art von strukturiertem Licht angewendet werden kann, um eine Dokumentenkräuselung zu kennzeichnen. Die geschlossene Form der Triangulation ermöglicht ferner die Verwendung eines Stan dardoptimierungsverfahrens, um eine Anfangskalibrierung des Systems der Kamera 2 und des Lichtstreifenprojektors 4 durchzuführen.
Obwohl die Verwendung eines strukturierten Mehrlinien-Lichtmusters hinsichtlich Kosten, der Zeit, die benötigt wird, um ein Bild aufzunehmen, und einer mechanischen Komplexität Vorteile gegenüber herkömmlichen Laserabtastverfahren in dem Sinn aufweist, dass es keine sich bewegenden Teile gibt, wie beispielsweise Galvanometer oder Schrittmotoren, besteht ein Nachteil darin, dass die dreidimensionale Auflösung geringer ist und auf die Anzahl von Zeilen in eine Richtung begrenzt ist. Dieser Nachteil ist teilweise durch die Konzentration von Zeilen in der Region größter Kräuselung und, wie es unten erläutert ist, durch die Verwendung neuartiger Verfahren, um eine Bildkräuselung zu kennzeichnen und zu entzerren, teilweise gemäßigt.
Eine Triangulation funktioniert wie folgt. Zuerst werden Lichtstreifen 48 auf ein Objekt projiziert, das durch die Kamerabildebene an dem Detektorarray 22 betrachtet und auf dieselbe projiziert wird. Man nehme momentan an, dass der Laser lediglich eine einzige Lichtfläche einer bekannten Form projiziert, die durch eine entsprechende bekannte Gleichung in dem Kamerareferenzsystem definiert ist und die, wenn dieselbe auf ein Objekt geworfen und durch die Kamera abgebildet wird, eine einzige Kurve (oder einen einzigen Streifen) an der Bildebene erzeugt. Ein gegebener Punkt des Streifens definiert eine Linie in einem Raum, die von der Kameraoptikachse durch das Bild verläuft. Der Schnitt zwischen der Lichtfläche und dieser Linie definiert einen dreidimensionalen Punkt in dem Kamerareferenzsystem, der sich an der Oberfläche des Objekts befindet. Durch ein Wiederholen der Prozedur für jeden Streifenpunkt kann man wirksam alle Punkte des Objekts wiedergewinnen, die an der Kurve liegen, die durch den Schnitt der projizierten Lichtfläche und der Objektoberfläche definiert ist.
Bei dieser Erfindung haben wir keine einzelne Lichtfläche, sondern vielmehr einen Satz derselben, die etwas verlagert sind, um einen größeren Abschnitt des Objekts abzudecken und somit einen dreidimensionalen Schnappschuss desselben zu erhalten. In dem Fall einer einzigen Lichtfläche wusste man, dass irgendein Bildstreifenpunkt der Projektion eines 3D-Punkts eines bekannten Streifens entsprach, und deshalb ist es möglich, eine Triangulation unzweideutig vorzunehmen. In dem Fall von mehreren Lichtflächen weiß man umgekehrt eigentlich nicht, welche spezielle Lichtfläche diese Projektion erzeugte, und so ist eine gewisse Art einer Streifenetikettierung oder -identifikation notwendig, um zu bestimmen, welcher Bildstreifen durch eine spezielle Lichtfläche erzeugt wurde.
Das System der Kamera 2 und des Lichtstreifengenerators 4 wird anfänglich durch ein Messen einer Referenzoberfläche kalibriert, die der Zweckmäßigkeit halber eine Trageoberfläche 12 sein kann. Die vertikale Verlagerung zwischen der unverzerrten Projektion an der Referenzoberfläche und der verzerrten Projektion an dem gekräuselten Dokument ist eine eindeutige Funktion einer Tiefe oder Höhe des gekräuselten Dokuments relativ zu der Referenzoberfläche.
Der Beugungslichtstreifenprojektor 4 erzeugt ein strukturiertes Lichtmuster mit Streifen 48, die jeweils eine periodische Intensitätsvariation entlang der Länge derselben aufweisen. Für eine erste Näherung treten deshalb die Spitzen bei einer Lichtintensität des strukturierten Lichtmusters an Punkten auf, die an einer sphärischen Oberfläche, die an dem Lichtstreifenprojektor zentriert ist, durch die folgenden Gleichungen dargestellt werden können:

und wobei (x, y) = (0, 0) an der Projektionsachse 29 liegt, D der Abstand von dem Lichtstreifenprojektor 4 ist, λ die Laserwellenlänge ist, Λ₁ die Periode des Beugungsgitters für das Brechungselement 42 ist und Λ₂ die Periode des Beugungsgitters für das Brechungselement 46 ist.
5 zeigt fünfzehn Lichtstreifen, die durch den Schnitt einer Ebene, die 0,5 m von dem Lichtstreifenprojektor beabstandet ist und sich in rechten Winkeln zu der Lichtflächenprojektionsachse 29 befindet, gebildet sind. Die zentrale, planare Lichtfläche 52 erzeugt einen geraden Lichtstreifen 54 und Lichtstreifen 55, 57 auf beiden Seiten des zentralen Lichtstreifens 54 biegen sich einwärts zu dem zentralen Lichtstreifen 54 hin. Die Lichtstreifen sind deshalb entlang einer zentralen Linie 56 quer zu dem zentralen Streifen 54 konzentriert.
Um eine Triangulation in geschlossener Form an dem projizierten Lichtstreifenmuster durchzuführen, ist es notwendig, dieses Muster und somit jede Lichtfläche 48 in einer mathematischen Form auszudrücken. Deshalb werden fünf Punkte 58 verwendet, die Nebenmaxima entlang jedem Lichtstreifen 50 entsprechen, wie es in 6 gezeigt ist, um ein Polynom Γ zweiter Ordnung des projizierten Streifens an der orthogonalen Ebene in einem gegebenen Abstand zu erzeugen. Obwohl der Streifen streng genommen nicht quadratisch ist, haben wir bemerkt, dass die Abweichung von den Daten weniger als 0,01 % beträgt, wenn das Polynom zweiter Ordnung ist. Die Gleichung des Polynoms Γ kann in Parameterform ausgedrückt werden als:
wobei der Index N für die Streifennummer steht und u ein freier Parameter ist, der grafisch in 7 dargestellt ist. Daraus kann man einen Kegel 70 aufbauen, der an der Projektionsachse 29 zentriert ist, indem man v als einen Parameter annimmt, der die Kegellänge überstreicht. Der Kegel 70 ist ausgedrückt als:
Wie es unten erläutert ist, ist die algebraische Form jedes Lichtkegels von speziellem Interesse, die durch eine Eliminierung erhalten wird:
Um eine Triangulation in geschlossener Form durchzuführen, ist es notwendig, auch die relative Ausrichtung der Kameralinsenachse 16 und der Lichtstreifenprojektorachse 29 zu kennen, die hierin als die Rotationsverschiebung R_0L zwischen der Kamera 2 und dem Lichtstreifenprojektor 4 bezeichnet ist.
Das intrinsische Kameramodell, das bei dieser Erfindung eingesetzt wird, ist durch einen konventionellen Satz von fünf Parametern beschrieben, die die Brennweite f, die Anzahl von Pixeln pro Meter in die horizontale und die vertikale Richtung α_x und α_y, der „Durchstoßungspunkt" (x₀, y₀) (in dem Bildzentrum angenommen) plus der Radialverzerrungsparameter K sind.
Die Kalibrierung der Kameraparameter f, α_x und α_y, sowie des „Durchstoßungspunkts" (x₀, y₀) kann mit einem Verfahren geschätzt werden, das durch Tsai, R. Y., IEEE Transactions on Robotics and Automation, Nr. 4 S. 323–344, 1987, beschrieben ist.
Die Schätzung der Rotationsverschiebung R_0L wird durch ein kundenspezifisches Verfahren basierend auf einem Optimierungsprozess erzielt, der mit der Aufnahme spärlicher, dreidimensionaler Daten eines planaren Objekts beginnt. Ein anfänglicher, grober Schätzwert von R_0L wird dann bestimmt. Danach wird ein iterativer Prozess, der in 8 gezeigt ist, verwendet, um sechs Parameter einzustellen, die R_0L darstellen (drei Eulersche Rotationswinkel und drei Verschiebungen), bis triangulierte Datenpunkte wirksam planar werden. Eine Minimierung von Fehlern wird durch eine Implementierung des Levenberg-Marquard-Verfahrens ausgeführt.
9A und 9B zeigen zwei Graphen, die die Fehler bei einem Messen einer planaren Oberfläche unter Verwendung des anfänglichen, groben Schätzwerts von R_0L darstellen. 10A und 10B zeigen zwei ähnliche Graphen unter Verwendung der endgültigen, geschätzten R_0L nach dem Optimierungsprozess von 8. Diese Graphen zeigen, dass die Reduzierung bei der Standardabweichung des Fehlers bei der Messung der Ebene von 20 mm auf weniger als 1 mm reduziert ist. Der Restfehler rührt von einem Messungsrauschen her.
Eine Korrektur einer radialen Verzerrung wird auf dem Gebiet einer Dokumentenbilderzeugung allgemein vernachlässigt. Es wurde jedoch entdeckt, dass diese Korrektur wichtig ist, um ausreichend genaue Ergebnisse zu erhalten. Die Abbildung von verzerrten auf unverzerrte Koordinaten lautet:
Für eine einfache Präsentation werden diese neuen Koordinaten in der folgenden Beschreibung als die tatsächlichen Bildkoordinaten behandelt, obwohl man sich vor Augen halten muss, dass diese korrigierte Koordinaten sind, die von der obigen Abbildung abgeleitet sind.
Die Kamera 2, die bei dem vorliegenden Beispiel verwendet wird, weist einen Radialverzerrungsparameter K = 0,004 Pixel/mm² auf. 11A zeigt, wie der Fehler sehr groß wird, selbst wenn die R_0L kalibriert wurde, falls die Radialverzerrung nicht berücksichtigt wird. Sobald diese Verzerrung gestattet ist, ist die Verzerrung so, wie es in 11B gezeigt ist.
Weil es mehr als einen Lichtstreifen gibt, ist es notwendig, jeden erfassten Lichtstreifen zu identifizieren, bevor eine Triangulation durchgeführt wird. Es gibt zwei gesonderte Teile bei diesem Prozess, wobei der erste eine Streifenerfassung ist und der zweite eine Streifenetikettierung ist.
Die dreidimensionale Dokumentenbildaufnahme kann durch ein kurzes Aufblitzenlassen des Lasermusters und ein synchrones Erfassen des Dokumentenbilds, einschließlich des Lichtstreifenmusters, mit dem Detektorarray 22 vorgenommen werden, wie es in 3 gezeigt ist. Entweder davor oder danach wird das Dokument ohne das Lichtstreifenmuster abgebildet, wie es in 2 gezeigt ist. Es gibt dann zwei überlappende Bilder, eines mit dem Muster und eines ohne, und somit ist es einfach, eine Bilddifferenzierung zu verwenden, um die Streifen hervortreten zu lassen.
Der Intensitätswert über Streifen ist jedoch allgemein ungleichmäßig, beispielsweise wegen Nebenspitzen wie bei Gleichung (1) oben oder auf Grund einer ungleichmäßigen Umgebungsbeleuchtung oder Papierreflexion. Deshalb wird das Bild der Lichter verarbeitet. Angesichts der vorherrschend horizontalen Linien besteht der erste Schritt darin, einen eindimensionalen Laplace-Operator (zweite Ableitung) zu verwenden, der lediglich an der (vertikalen) y-Richtung angewendet wird. Die Anwendung dieses Operators gibt dem Zentrum des Streifens einen hohen negativen Wert. Dieser Wert kann dann einer Schwellenwertbewertung unterzogen werden, um ein binäres Bild zu erhalten. Der Prozess ist robust und schnell, aber die Verwendung einer einzigen Schwelle kann eventuell unausweichlich einige Lücken in der Kontinuität der erfassten Streifen erzeugen, wie es in 12 gezeigt ist.
Das Verfahren, das verwendet wird, um die Lichtstreifen zu identifizieren, lautet wie folgt. Zuerst werden die Streifen bis auf ein Pixel Dicke verdünnt und verbundene Pixel werden miteinander zu einem Faden (String) verbunden. Als Nächstes werden Fäden, die zu kurz sind, als angenommenes Rauschen aus der Klassifikation entfernt. Das Ergebnis ist ein Datensatz von Pixeln, wie es in 12 gezeigt ist, bei dem Fadensegmente 80 mit Lücken 82 durchsetzt sind.
Dann wird für jeden Faden ein heuristisches „Festigkeits"-Maß berechnet als: S = 0,5·Länge + 0,5·Abs(Avg(obere 30 % von Laplace-Wert))
Dies ist eine gleichmäßig gewichtete Summe der Länge und des Durchschnitts des oberen Drittels des Absolutwerts der Laplace-Werte. Man mittelt nicht alle Werte des Laplace entlang eines Fadens, weil die Streifenintensität nicht einheitlich verteilt ist und einige schwache Abschnitte den Durchschnitt nachteilig beeinflussen könnten.
Als Nächstes weist man für jede Spalte von Pixeln und beginnend von der oberen Zeile von Pixeln des Bilds aufeinander folgende, ansteigende Etikettnummern den stärksten und lediglich den stärksten Streifenpunkten in dem obigen Sinn zu. Die Nummerierung von Streifen endet bei der maximalen erwarteten Anzahl, hier fünfzehn. Schließlich weist man für jeden Faden allen Punkten dieses Fadens ein Etikett gleich dem beliebtesten zugewiesenen Etikett zu. 12 zeigt das Etikettierungsergebnis, bei dem alle Streifen korrekt identifiziert sind.
Dieser Ansatz, der im Wesentlichen ein Abstimmungsverfahren ist, ist bei allgemeinen Situationen sehr robust und kann Lücken glatt behandeln. Derselbe ist ferner mit einer kostengünstigen Hardware relativ schnell auszuführen. Derselbe weist den Vorteil auf, dass die Lichtstreifen einzeln unterscheidbar sind, wobei einzelne Streifen durch ein Zählen der Reihe von Streifen identifiziert sind.
Es gibt Situationen, in denen das Verfahren Streifen nicht ordnungsgemäß etikettieren würde, nämlich wenn die Annahmen, auf denen dasselbe basiert, nicht erfüllt sind. Falls beispielsweise ein Streifen vollständig oder größtenteils unsichtbar oder beispielsweise durch eine dicke Buchkante okkludiert ist, ist die Etikettzuweisung bedeutungslos. Deshalb werden bei einem alternativen Ausführungsbeispiel, das in den Zeichnungen nicht dargestellt ist, die Lichtstreifen durch eine räumliche Modulation einzeln unterscheidbar gemacht.
Angesichts dessen sind dies Situationen, die in der Praxis nicht auftreten sollten, wenn der Lichtstreifenprojektor mit Bezug auf die Kamera ordnungsgemäß angeordnet ist, beispielsweise an der gleichen Seite des Dokuments wie die Kamera und unter der Ebene der Kamera befestigt ist.
Die vorgeschlagenen Ansätze zum Identifizieren von Streifen sind schnell und einfach verglichen mit anderen Ansätzen, bei denen die Streifen zeitlich moduliert oder anderweitig einzeln unterscheidbar gemacht werden, beispielsweise durch eine Farbcodierung.
Dreidimensionale Punkte können dann über eine Triangulation erhalten werden, die wie in 13 dargestellt, aus einem Finden des Schnitts zwischen der Lichtfläche 48 und einem optischen Strahl 84 besteht, der durch einen gegebenen Punkt 86 an dem projizierten Streifen 88 und einen entsprechenden Punkt 90 an dem erfassten Bild 92 in der Detektorebene 94 geht.
Mit Bezug auf 13 sei angenommen, dass °P = (X,Y,Z) ein dreidimensionaler Punkt in dem Kamerareferenzsystem 0 ist, °p = (x,y) ein Streifenpunkt in der Bildebene ist, ^LΣ die Kegeloberfläche ist, die die kegelförmige Lichtfläche 48 in dem Lichtstreifenprojektorreferenzsystem L darstellt, und R_0L die Transformation zwischen den zwei Referenzsystemen ist, die ausgedrückt ist durch die Vier-Mal-Vier-Matrix:
Das Triangulationsproblem besteht darin, den Schnitt zwischen einem generischen, elliptischen Kegel und einer Linie in einem Raum zu finden. Als Erstes transformiert man den Kegel in das Referenzsystem der Kamera über R_0L durch ein Ausdrücken eines Kegelpunkts bezüglich eines Punkts in dem O-Referenzsystem, der in L transformiert ist:
Die Parameterform des optischen Strahls lautet: 0x = txi 0y = tyi 0z = tf wobei f die Brennweite ist und x und y in Bildkoordinaten ausgedrückt sind. Dann schreibt man ein System nieder, das den Schnitt zwischen diesem Kegel und dem optischen Strahl ausdrückt:
Durch eine einfache Ersetzung (Substitution) erreicht man eine Gleichung zweiter Ordnung in dem Parameter des optischen Strahls t: At2 + Bt + C = 0 → [t1, t2]deren Lösungen t₁ und t₂ die zwei Schnitte des Strahls mit dem Kegel darstellen. Diese Gleichung kann analytisch gelöst werden und die ziemlich komplizierte Lösung wurde herausgefunden, aber ist hier der Klarheit halber weggelassen.
Man ist an lediglich einem der oben erwähnten Schnitte interessiert, der sich auf Grund der Weise, in der wir den Kegel aufgebaut haben, als der herausstellt, der dem kleinsten Parameter u entspricht, der sich näher an der Z-Achse des Referenzsystems L an dem Halbkegel spannt.
Daher transformiert man beide Lösungen zurück zu dem Lichtstreifenprojektor-Referenzsystem L:
und verwendet die Zweite der Gleichungen 2, um die zwei entsprechenden u's wiederzugewinnen, das heißt:
Schließlich ist der dreidimensionale Schnittpunkt gegeben durch: X = txi Y = tyi Z = tf
Man hat nun die Koordinaten des Punkts in einem Raum gefunden, der zu dem Schnitt der Lichtfläche mit dem Objekt gehört und dessen Projektion ein spezielles Streifenpixel in dem Bild ist.
Dieser Prozess muss für jedes Pixel (und optional bei Subpixelauflösung) von jedem der fünfzehn Streifen wiederholt werden. Der Triangulationsprozess ist sehr schnell, aber falls nötig wäre es möglich, entlang jeder Linie unterabzutasten. Das Ergebnis ist eine „Wolke" von dreidimensionalen Punkten, wie beispielsweise diese, die in 14 gezeigt ist.
Nun hat man eine Wolke von dreidimensionalen Datenpunkten 95, die die Papieroberfläche darstellen. Das Problem besteht darin, wie diese Punkte 95 zu verwenden sind, um die Kräuselungsverzerrung aufzuheben oder zu „entzerren".
Es ist im Allgemeinen schwierig, ein Bild eines gekräuselten Dokuments zu entzerren. Das Hauptproblem besteht darin, dass Papier keine generische Oberfläche, sondern eine „entwickelbare" Oberfläche ist, was eine ist, die ohne ein Reißen oder Strecken auf eine Ebene aufgefaltet werden kann.
Die Gaußsche Krümmung K einer entwickelbaren Oberfläche S(u,v) beträgt überall Null, d.h. K(u,v) = 0.
Der herkömmliche Oberflächenrekonstruktionsansatz eines Anpassens und Regularisierens einer Oberfläche, möglicherweise mit einigen Diskontinuitäten, gilt nicht für unser Problem, da man diese Oberfläche nicht nur rekonstruieren, sondern man dieselbe auch auf eine Ebene auffalten muss. Dies ist nicht möglich, falls die rekonstruierte Oberfläche überhaupt nicht entwickelbar ist. Daher ist es notwendig, die angepasste Oberfläche einzuschränken, um entwickelbar zu sein, das heißt mit einer Gaußschen Krümmung von Null überall, was eine nicht triviale Operation ist.
15 und 16 stellen dar, warum ein einfacher Ansatz im Allgemeinen nicht funktionieren wird. Die dreidimensionalen Daten von 14 wurden geglättet und eine bikubische Spline-Oberfläche 96 wurde angepasst. In dem Idealfall, in dem Daten rauschfrei sind und das System des Lichtstreifenprojektors und der Kamera perfekt kalibriert ist, sollte eine angepasste Oberfläche auch entwickelbar sein, aber in der Realität ist die Oberfläche, die man erhält, klar nicht so. Siehe beispielsweise die kleinen Erhebungen an manchen Stellen 98.
Falls man nun die Seite entkräuselt, muss man Stellen aus dem ursprünglichen Bild auf Stellen einer Ebene texturabbilden, eine Abbildung, die durch eine Integration endlicher Differenzen in der Maschenoberfläche 96 berechnet wird, wie es in 16 gezeigt ist.
Definitionsgemäß kann jedoch eine nicht entwickelbare Oberfläche auf eine Ebene lediglich durch entweder ein Reißen oder Strecken entrollt werden, was unnatürliche Verzerrungen bei dem entrollten Dokument 100 bewirkt. Dies rührt von der integrierenden Wesensart eines Entrollens einer Oberfläche her, bei dem lokal kleine Fehler dazu neigen, sich aufzubauen und zu unansehnlichen Verzerrungen zu führen.
16 zeigt die Verzerrung bei der Textur, die durch die Unregelmäßigkeiten bei der entfernteren Seite des rekonstruierten planaren Gitternetzes in 15 bewirkt wird.
Also kann das Problem eines Entrollens der Seite als ein Problem eines Anpassens einer entwickelbaren Oberfläche an verrauschte Daten umformuliert werden.
Ein zweites Problem besteht darin, dass die Lichtstreifen nicht die gesamte Seite bedecken oder es Lücken ganz in der Nähe der Kanten der Seite/des Buchs geben könnte. In diesem Fall hat man keine dreidimensionalen Daten, so dass man nicht wüsste, wie diese Regionen zu entrollen sind.
Kurz gesagt verwendet das Verfahren, das bei der vorliegenden Erfindung verwendet wird, ein Finit-Element-Modell, das als ein Dreiecksgitternetz dargestellt ist, das sich durch einen Entspannungsprozess simultan an die Daten anpasst und die Daten begrenzt, um isometrisch mit einer Ebene (d.h. entwickelbar) zu sein.
Zuerst betrachte man das Problem in zwei Dimensionen, wie es in 17 dargestellt ist. Hier gibt es einen Satz von Datenpunkten 102, hierin als ein „erster Satz von Punkten" bezeichnet, der verrauschte Messungen einer Kurve entlang der Länge derselben darstellt. Ein anderer Satz von Punkten 104, hierin als ein „zweiter Satz von Punkten" bezeichnet, kann dann an den ersten Satz 102 mit einer Methode des kleinsten Quadrats angepasst werden. Eine verbundene, stückweise lineare Kurve 106 kann aufgebaut werden, die durch den zweiten Satz von Punkten 104 geht. Der zweite Satz von Punkten 104 kann immer zu einer Linie 108 „aufgelöst" werden, wenn die lineare Kurve isometrisch zu einer Linie ist. Diese Eigenschaft erklärt, warum viele eindimensionale Modelle der Kräuselung gute Ergebnisse erzeugen, wenn die Dokumentenkräuselung im Wesentlichen zylindrisch ist. Bei einem allgemeinen dreidimensionalen Fall ist es wegen eines Rauschens oder anderer Ungenauigkeiten bei den Punkten jedoch nicht möglich, einen zweidimensionalen Satz von Punkten, die ein gekräuseltes Dokument darstellen, einfach aufzufalten.
Es gibt eine alte Technik, die in der Kartografie verwendet wird und Orthobild-Projektion genannt wird. Das Verfahren korrigiert im Wesentlichen keine Seitenkräuselung, sondern projiziert einfach die Textur orthografisch auf eine Ebene. Dieses Verfahren, wenn auch einfach und nicht anfällig für lokale Verzerrungen, ist grundsätzlich fehlerbehaftet, weil dasselbe das Dokument nicht auffaltet, sondern dasselbe lediglich „herunterdrückt".
Blattähnliche Dokumente und Papier können sich nicht beliebig verformen. Anstelle dessen verformen sich diese in einer derartigen Weise, dass eine Bogenlänge zwischen beliebigen Punkten an der Oberfläche bewahrt wird. Man kann auch sagen, dass sich die Oberfläche isometrisch verformt und mathematisch durch eine entwickelbare Oberfläche dargestellt werden kann. Die Erfindung nutzt derartige Oberflächen als ein generisches Modell für eine Dokumentenverformung, bei dem eine entwickelbare Oberfläche an spärliche, aber verteilte 3D-Daten angepasst wird, die dann geeignet entrollt wird, d.h. texturabgebildet wird, um ein berichtigtes Bild des Dokuments zu erzeugen. Durch ein Verwenden eines physikalisch und selbstkonsistenten Modells von Papier ist auch die Eliminierung einer Verzerrung bei der Kräuselungskorrektur sichergestellt.
Eine Oberfläche wird eine entwickelbare Oberfläche genannt, wenn die Gaußsche Krümmung derselben an jedem Punkt verschwindet. Entwickelbare Oberflächen können auf eine Ebene ohne ein Strecken oder Reißen abgeflacht werden. Gleichermaßen ist eine entwickelbare Oberfläche eine, die durch ein Biegen einer Ebene erhalten wird, wobei mit Biegen eine Transformation gemeint ist, die eine Bogenlänge bewahrt.
Es ist zu beachten, dass nicht alle linierten Oberflächen entwickelbar sind. Entwickelbare Oberflächen sind eine spezielle Unterklasse von linierten Oberflächen, das heißt Oberflächen, die durch eine gerade Linie erzeugt sind, die sich in einem Raum bewegt.
Die analytische Form einer entwickelbaren Oberfläche ist eine Parametergleichung einer linierten Oberfläche mit der Beschränkung, dass die Tangentenebene entlang jeder Linie die gleiche ist. Diese Definition ist per se unpraktisch und ist hauptsächlich für eine interaktive Modellierung oder Anzeige geeignet.
Ein Finit-Element-Modell (FEM = finite element model) kann verwendet werden, um eine entwickelbare Oberfläche darzustellen, beispielsweise ein Gitternetz 110, wie beispielsweise dieses, das in 18 gezeigt ist und dreieckige Kacheln (Felder) 111 aufweist. Ein derartiges Gitternetz kann verformt 112 werden, um eine entwickelbare Oberfläche zu approximieren 114. Wenn das Gitternetz 110 verformt wird, bleiben die Kacheln 111 unverändert.
Eine entwickelbare Oberfläche kann mit einem Dreiecksgitternetz durch ein Annehmen modelliert werden, dass die Längen von Gitternetzkanten 116 zwischen Gitternetzknoten 117 konstant bleiben, wenn das Gitternetz verformt wird. Ein feiner Machen des Gitternetzes kann natürlich irgendeinen Annäherungsfehler beliebig klein machen. Es ist zu beachten, dass es jedoch allgemein nicht möglich ist, Dreiecke zu teilen und das Gitternetz lokal zu verfeinern, um den Fehler beispielsweise in Regionen einer hohen Krümmung zu reduzieren, wenn das Gitternetz einmal begonnen hat, sich zu verformen.
Falten können ebenfalls mit einem derartigen verformbaren Drahtrahmengitternetz modelliert werden. Durch ein Erhöhen der Auflösung des Gitternetzes ist es tatsächlich möglich, irgendeine entwickelbare Oberfläche, und somit irgendein beliebig verformtes Stück Papier, immer genauer zu modellieren.
Der oben beschriebene Dokumentenkräuselungskennzeichnungsprozess erzeugt im Allgemeinen verrauschte, spärliche Daten, wie es in 14 gezeigt ist. Die Erstreckung der Oberfläche ist eventuell nicht bekannt. 19 zeigt eine Weise, um die Erstreckung der Oberfläche zu schätzen. Eine konvexe Hülle oder ein Rechteck 118 (oder äquivalent ein Quadrat), das den ganzen „ersten Satz von Punkten" 95 umschließt, wird auf die Trageebene 12 projiziert. Ein Rechteck 124 kann dann von Extrempunkten der projizierten Linien 126, 128 gefolgert werden. In 19 passt eine B-Spline die Datenpunkte 94 an und schätzt die Erstreckung derselben durch eine Integration entlang gewisser gewählter Kurven 120, 122.
Alternativ kann das Dokumentenbilderzeugungssystem ermöglichen, dass ein Benutzer die Größe des Dokuments auswählt. Alternativ könnte die Erstreckung direkt aus dem Bild lediglich unter Verwendung der bekannten Systemgeometrie bestimmt werden, das heißt einer Standposition mit Bezug auf die Kamera 2 und Kamerakalibrierungsparameter.
Dieser letztere Ansatz würde auch helfen, Probleme einer Fehlanpassung zu überwinden, die auftreten könnten, wenn ein Teil der dreidimensionalen Daten 95 nicht zu der gleichen entwickelbaren Oberfläche gehört. Dies könnte der Fall sein, falls die Daten von einem dicken Buch oder einem kleinen gekräuselten Dokument sind und das strukturierte Lichtmuster größer als die Dokumentenregion ist. In diesem Fall muss es einen Weg geben, zu sagen, was zu dem Dokument gehört und was nicht. Dies könnte durch ein Analysieren einer generischen Oberfläche, die an die Daten angepasst ist, mit einer Suche nach steilen Krümmungs- oder Tiefenveränderungen vorgenommen werden. Punkte außerhalb derartiger plötzlicher Veränderungen könnten dann ausgesondert werden. Ein anderer Weg bestünde darin, zu ermöglichen, dass das Gitternetz während dem unten beschriebenen „Entspannungs"-Prozess bricht, wo immer der Prozess nicht konvergiert.
Wenn die Erstreckung der Oberfläche 118 und der entsprechenden planaren Projektion 124 einmal bekannt ist, wird das Gitternetz 110 an den verrauschten Satz von Punkten 95 angepasst. Der Prozess ist mit Bezug auf 20A, 20B und 20C ersichtlich, die der Klarheit halber einen „Initialisierungs"-Prozess in einer zweidimensionalen Analogie zeigen.
Zuerst wird eine „anfängliche" Oberfläche, hier eine Ebene 130, mit einer Abweichung kleinster Quadrate durch den verrauschten dreidimensionalen Satz von Punkten 95 angepasst. Dann wird das planare Gitternetz 110 gedreht und verschoben, um somit dieser Ebene 130 und der geschätzten Erstreckung 124 der Oberfläche 118 zusammenzufallen. Dann wird jeder Gitternetzknoten 117 vertikal in rechten Winkeln zu der mit kleinsten Quadraten angepassten Ebene 130 zu dem nächsten Punkt 95 hin verschoben 132. Falls es keinen Punkt 95 innerhalb eines bestimmten Radius gibt, hier als ein Drittel des Abstands zu dem nächsten benachbarten Knoten 117 angenommen, dann wird der Knoten in Position belassen, wie es in 20C für einen Knoten 134 der Fall ist. Das Ergebnis ist ein verzerrtes Gitternetz 132, das durch einen „zweiten Satz von Punkten" 117 dargestellt ist, der bei diesem Beispiel aus den Gitternetzknoten besteht.
Bei dieser Stufe ist das Gitternetz 133 nicht mehr entwickelbar, das heißt die Isometrie mit der Ebene 130, mit der man begonnen hat, ist verloren. Wenn auch grob, approximiert jedoch das Gitternetz nun die Oberfläche 118. Die nächste Stufe besteht darin, das Gitternetz 133 einzustellen, so dass dasselbe wieder entwickelbar ist, und dies wird bei einem „Entspannungs"-Prozess vorgenommen.
Man definiere zuerst die zu verwendende Terminologie. x_i = [x_i y_i z_i]^T soll ein Gitternetzknoten sein, der als ein Vek tor von Koordinaten in einem kartesischen System definiert ist, und X = {x₁, ... x_N} soll der Satz von Knoten des Gitternetzes sein. Ferner soll e_ij eine Kante des Gitternetzes sein, die zwei Knoten x_i und x_j verbindet, und
soll der Satz aller Kanten des Gitternetzes sein. Das Gitternetz kann dann durch M = {X,E} dargestellt werden. Man definiere ferner eine Nachbarschaft eines Knotens x_i als den Satz von Knoten N_i = {x_j: e_ij∊E}.
Mit
sei der Euklidische Abstand zwischen zwei Knoten und mit d ^_ij der Referenzabstand angegeben, den das Gitternetz in dem ursprünglichen flachen Zustand desselben aufwies.
Um das Gitternetz in einen entwickelbaren Zustand zu transformieren, während immer noch die Daten approximiert werden, wird ein Optimierungsverfahren verwendet, um die Abweichung des Gitternetzes von dem idealen, entwickelbaren Zustand zu minimieren. 21 stellt durch eine mechanische Analogie ein Gitternetz 140 von Federn 142 dar. In einem entspannten Zustand weist das Gitternetz 140 entspannte Federn 142 einer Erstreckung d ^_ij auf, die miteinander an Knoten 144 verbunden sind. Diese netzartige Struktur 140 befindet sich bei einer minimalen Energie in einem stabilen Zustand, wenn alle Federn eine Erstreckung d ^_ij aufweisen, und wenn dies geschieht, ist das Gitternetz 140 mit der Ebene isometrisch.
Daher ist das Problem äquivalent zu diesem eines Minimierens der gesamten elastischen Energie des Systems:
Dies wird unter Verwendung des gut bekannten Gradientenabstiegsverfahrens vorgenommen, das die Position der Knoten iterativ einstellt, bis die endgültige, niedrigste Energie erreicht ist. Es ist zu beachten, dass die elastische Konstante K während des Minimierungsprozesses ignoriert werden kann.
Knotenkoordinaten werden gemäß der folgenden Regel aktualisiert:
wobei w ein Faktor ist, der später erörtert wird.
Eine Konvergenz ist erreicht, wenn alle Verlagerungen unter eine festgelegte Schwelle fallen.
Die Ableitungen sind einfach zu berechnen und lauten:
Es ist zu beachten, dass diese Ableitungen auch als das Ergebnis der Kräfte umgeschrieben werden könnten, die auf jeden der Knoten 144 durch alle Federn 142 ausgeübt werden, die mit jedem speziellen Knoten verbunden sind.
Hinsichtlich der Konvergenzeigenschaften der iterativen Optimierungsprozedur kann gezeigt werden, dass eine Konvergenz erreicht ist, wenn
(gleichermaßen für y_i) und 0 < w < 2.
Ein Anpassungsexperiment hat dies bestätigt.
Der oben beschriebene Entspannungsprozess verhält sich gut und es wurde gezeigt, dass derselbe die Oberfläche sehr genau approximiert. Dies ist etwas überraschend, weil der Satz von Punkten 95 während der Gitternetzentspannung nicht verwendet wird. Die Grundlage für dieses überraschende Ergebnis liegt in der sehr begrenzten Wesensart einer entwickelbaren Oberfläche oder der diskreten Näherung derselben, wie beispielsweise des Gitternetzes 110, mit der Einschränkung, dass für jeden Knoten i, d_ij = konst gilt. Wenn das Gitternetz auf die Daten initialisiert ist, erfüllen die Knoten diese Einschränkung nicht. Die Entspannungsprozedur bewirkt jedoch, dass Knoten orthogonal verlagert werden, um die Einschränkungen zu erfüllen. Die Form der Oberfläche verändert sich nicht dramatisch, was der Fall wäre, falls die Verlagerungen Tangenten wären. Es ist diese Schlüsselbeobachtung, die das sich entspannende Gitternetz dazu veranlasst, die Oberfläche ohne Daten zu approximieren.
Wenn das Gitternetz einmal ordnungsgemäß an die dreidimensionalen Daten angepasst ist, besteht die nächste Phase darin, das anfängliche, planare Gitternetz texturabzubilden. Wie zuvor erwähnt, gibt es bei dieser Technik keinen Bedarf, die gerade angepasste Oberfläche zu entrollen, weil man dasselbe bereits zu Anfang hat.
Eine Texturabbildung, um das gekräuselte Dokument zu entzerren, besteht aus drei Phasen, die in 22 dargestellt sind. Zuerst werden alle Kacheln 111 in dem planaren Gitternetz 110 auf die gekennzeichnete Dokumentenoberfläche 152 initialisiert und entspannt 150, um so eine Isometrie einzuhalten. Unter Verwendung der bekannten Bilderzeugungsgeometrie wird die Kachel 111, die nun an der dreidimensionalen Oberfläche 152 liegt, zu der Bildebene 156 rückprojiziert 154, um so die Textur 158 auf dem Bild zu erhalten, das derselben entspricht. Die letzte Phase besteht darin, die Kacheltextur 158 zurück zu der entsprechenden planaren Kachel 111 derselben zu verziehen, um so die Textur wiederherzustellen, als ob dieselbe ursprünglich in einem flachen Zustand aufgenommen wurde.
Wenn die Kachelabbildung einmal wie oben berechnet wurde, ist die Verziehungsstufe 160 ein Standardprozess und es sind eine Anzahl hervorragender Algorithmen durch George Wolberg in einem Buch mit dem Titel Digital Image Warping, veröffentlicht durch IEEE Computer Society Press, 1991, beschrieben.
Der oben beschriebene Dokumentenkräuselungskennzeichnungsansatz funktioniert gut ungeachtet des Papiertyps und einer Dokumentenkomplexität. Die Erfindung liefert eine praktische und kostengünstige Einrichtung zum Kennzeichnen und Entzerren einer Seitenkräuselung. Insbesondere wird das Profil des abgebildeten Dokuments durch ein Projizieren eines bekannten, zweidimensionalen, strukturierten Lichtmusters und ein Triangulieren mit dem Bild des Musters, das durch die Kamera aufgenommen wird, bestimmt. Die Verwendung eines zweidimensionalen Musters gegenüber einem einzigen Streifen oder Punkt ist bei diesen Anwendungen besonders erwünscht, weil dasselbe keine teuren, sich bewegenden Teile (und die Treiber derselben) erfordert und eine schnelle Kennzeichnung der Seitenkräuselung in einer einzigen Aufnahme ermöglicht, nicht durch ein Fegen eines einzigen Strahls über die Seite.
Bei diesem Beispiel werden die Streifen lediglich aus Bildern der einfachen Streifen identifiziert, ohne ein Bewegen entweder des Detektorarrays oder des Lichtstreifenprojektors oder ein Auferlegen irgendeiner Art einer zeitlichen oder räumlichen Modulation, was die Systemkosten stark erhöhen würde.
Das oben beschriebene Verfahren zum Kennzeichnen einer Dokumentenkräuselung ist praktisch und schnell und kann mit einer relativ günstigen Hardware für eine Dokumentenbilderzeugungsanwendung unter Verwendung eines auflagenlosen Dokumentenbilderzeugungssystems implementiert werden. Die Erfindung kann jedoch bei anderen Typen von Bilderzeugungssystemen verwendet werden, wie beispielsweise diesen in auflagenbasierten Vorrichtungen, wie beispielsweise Fotokopierern und Flachbettscannern.
Das oben präsentierte Dokumentenkräuselungskorrekturverfahren verwendet ein mathematisches Modell von Papier und einen wirksamen Initialisierungs- und Entspannungsprozess zum Anpassen dieses Modells an die Daten in einer Weise, die ein unverzerrtes Bild natürlich erzeugt. Dies wird trotz der Tatsache erzielt, dass es eine große Anzahl von Freiheitsgraden und eine große Anzahl von Beschränkungen gibt, die mit spärlichen und verrauschten Daten eingehalten werden müssen. Dieses Verfahren weist die Fähigkeit auf, wo immer Daten fehlen, zu interpolieren, zu extrapolieren und selbst abzuschließen. Das Verfahren erzeugt entzerrte Bilder hoher Qualität von gekräuselten Dokumenten durch ein Modellieren einer Papierverformung in einer physikalisch realistischen Weise.

Claims

Ein Bilderzeugungssystem (1) zum Abbilden eines Dokuments, das eine Trageoberfläche (12) für ein Dokument (30), das abgebildet werden soll, einen Lichtstreifenprojektor (4), der angeordnet ist, um eine Mehrzahl von divergierenden Lichtflächen (48) zu projizieren, die sich von dem Projektor (4) zu der Trageoberfläche (12) hin zum Bilden einer Reihe von Streifen (35) über das Dokument (30) erstrecken, eine Kamera (2), die ein Detektorarray (22) zum Erfassen eines Bilds (31, 33), des Dokuments (30) und von Lichtstreifen (35) aufweist, die auf das Dokument (30) projiziert sind, einen Prozessor (25) aufweist, der angeordnet ist, um von dem Detektorarray (22) Daten zu empfangen (33), die Bilder (31, 33) des Dokuments (30) und der Lichtstreifen (35) darstellen, und um aus denselben ein dreidimensionales Profil des Dokuments (30) relativ zu einer Referenzoberfläche zu berechnen, dadurch gekennzeichnet, dass die relative Divergenz benachbarter Lichtflächen (48) lateral über die Schichten (48) variiert, so dass die Streifen (35) konzentriert sind, wo die Divergenz relativ gering ist (56).
Ein Bilderzeugungssystem (1) gemäß Anspruch 1, bei dem zumindest eine der Lichtflächen (51, 53) nicht planar ist, mit einer variablen Divergenz von einer benachbarten Schicht.
Ein Bilderzeugungssystem (1) gemäß Anspruch 2, bei dem es eine planare Lichtfläche (52) mit divergierenden Schichten (51, 53) auf beiden Seiten der planaren Schicht (52) gibt.
Ein Bilderzeugungssystem (1) gemäß Anspruch 3, bei dem sich die divergierenden Schichten (51, 53) zu der planaren Schicht (52) hin biegen.
Ein Bilderzeugungssystem (1) gemäß Anspruch 4, bei dem die Lichtflächen (48) um eine Ebene symmetrisch sind, die transversal zu der planaren Schicht (52) ist und die einen Medianstrahl (49) der planaren Schicht (52) aufweist.
Ein Bilderzeugungssystem (1) gemäß einem der vorhergehenden Ansprüche, bei dem die Kamera (2) und der Lichtstreifenprojektor (4) zusammen an einem Träger (6) befestigt sind, der sich über einer Kante (10) der Trageoberfläche (12) erhebt.
Ein Bilderzeugungssystem (1) gemäß Anspruch 6, bei dem sich der Lichtstreifenprojektor (4) unter der Kamera (2) befindet.
Ein Bilderzeugungssystem gemäß einem der vorhergehenden Ansprüche, bei dem die Lichtstreifen einzeln ununterscheidbar sind und wobei das Bilderzeugungssystem eine Einrichtung zum Identifizieren einzelner Streifen durch ein Etikettieren der Reihe von Streifen umfasst.
Ein Bilderzeugungssystem gemäß einem der Ansprüche 1 bis 7, bei dem die Lichtstreifen durch eine räumliche Modulation einzeln unterscheidbar gemacht sind.
Ein Verfahren zum Abbilden eines Dokuments (30) unter Verwendung eines Dokumentenbilderzeugungssystems (1), das eine Trageoberfläche (12), einen Lichtstreifenprojektor (4), eine Kamera (2), die ein Detektorarray (22) aufweist, einen Prozessor (25) aufweist, wobei das Verfahren folgende Schritte aufweist: i) Platzieren des Dokuments (30) auf der Trageoberfläche (12); ii) Verwenden des Lichtstreifenprojektors (4), um eine Mehrzahl von divergierenden Lichtflächen (48) zu projizieren, die sich von dem Projektor (4) zu dem Dokument (30) hin erstrecken; iii) Anordnen des Lichtstreifenprojektors (4), so dass die Lichtflächen (48) auf das Dokument (30) fallen, um eine Reihe von Lichtstreifen (35) an dem Dokument (30) zu erzeugen; iv) Verwenden der Kamera (2), um mit dem Detektorarray (22) ein Bild (31, 33) des Dokuments (30) und von Lichtstreifen (35) zu erfassen, die auf das Dokument (30) projiziert sind; v) Senden (23) von Daten, die das erfasste Bild (31, 33) des Dokuments (30) und die Lichtstreifen (35) darstellen, von dem Detektorarray (22) zu dem Prozessor (25); und vi) Verwenden des Prozessors (25), um aus denselben ein dreidimensionales Profil des Dokuments (30) relativ zu einer Referenzoberfläche zu berechnen; dadurch gekennzeichnet, dass der Lichtstreifenprojektor (4) benachbarte Lichtflächen (48) mit einer relativen Divergenz projiziert, die lateral über die Schichten variiert, so dass die Streifen (35) an dem Dokument (30) konzentriert sind, wo die Divergenz relativ gering ist (56).