DE102018006995A1

DE102018006995A1 - Wieder Zusammensetzen und Reparieren von Teilen eines zerrissenen Bilds

Info

Publication number: DE102018006995A1
Application number: DE102018006995.9A
Authority: DE
Inventors: Tushar Rajvanshi; Sourabh Gupta; Ajay Bedi
Original assignee: Adobe Inc
Current assignee: Adobe Inc
Priority date: 2017-10-18
Filing date: 2018-09-04
Publication date: 2019-04-18
Also published as: US20190114795A1; CN109688285B; GB201814708D0; GB2568364A8; GB2568364B; US10373327B2; AU2018226400B2; CN109688285A; AU2018226400A1; GB2568364A

Abstract

Eine digitale Medienumgebung umfasst mindestens eine Rechenvorrichtung. Hier sind Systeme und Techniken zum wieder Zusammensetzen und Reparieren von Bildabschnitten (z.B. zerrissenen Teilen eines Bilds) durch Erzeugen von Masken für die Bildabschnitte, die keinen Inhalt der Bildabschnitte umfassen, und Abgleichen von Bildabschnitten entlang Konturen (z.B. Kanten oder Seiten der Bildabschnitte) auf der Basis von Formen der Masken, Inhaltsmerkmalen, die von den Bildabschnitten extrahiert worden sind, oder Kombinationen davon, und zwar abhängig davon, ob eine Mehrdeutigkeit bestimmt wird, beschrieben. Eine Mehrdeutigkeit wird bestimmt, wenn nicht alle Bildabschnitte, die in die Scans einbezogen sind, bezüglich der Form übereinstimmen oder redundant übereinstimmen. Ein zusammengesetztes Bild wird aus den Bildabschnitten auf der Basis von übereinstimmenden Bildabschnitten wieder zusammengesetzt. Ferner wird ein zusammengesetztes Bild durch Hinzufügen von Material zu dem zusammengesetzten Bild von einem zusätzlichen Bild (z.B. einem Bild, das von dem zusammengesetzten Bild verschieden ist, und den Bildabschnitten) repariert.

Description

HINTERGRUND
Gedruckte Bilder, wie z.B. Fotografien, Dokumente, Kunstwerke bzw. Illustrationen, Karten und dergleichen, weisen häufig keine Sicherheitskopie auf, wie z.B. eine digitale Kopie eines Dokuments (z.B. ein unterzeichneter Vertrag), die auf einer Computerspeicherplatte gespeichert ist, oder ein Originalnegativ einer Fotografie, die im Laufe der Zeit verlorengegangen ist. Später gedruckte Bilder stellen häufig einzelne Punkte eines Fehlens von Informationen dar, die in die gedruckten Bilder einbezogen sind. Wenn das gedruckte Bild verlorengeht oder zerstört wird, gehen die Informationen in dem gedruckten Bild ebenfalls verloren oder werden zerstört.
Häufig wird ein gedrucktes Bild durch versehentliche Umstände in mehrere Teile zerrissen, wie z.B. wenn ein Kleinkind ein Familienfotoalbum findet und alte Fotografien in Stücke reißt. Ohne eine Sicherheitskopie des Bilds müssen die zerrissenen Teile wieder zusammengesetzt und repariert werden, um die Informationen in dem Bild wieder zu erhalten. Das wieder Zusammensetzen und Reparieren der Bildteile wird üblicherweise durch manuelle Verfahren durchgeführt, die eine signifikante Zeit und Mühe erfordern, und zwar selbst von einem geübten Profi. Folglich können die Kosten extrem hoch sein, wenn auf die Dienste von geübten Profis, wie z.B. Fotolabors, zurückgegriffen wird, um Teile eines zerrissenen Bilds wieder zusammenzusetzen und zu reparieren, einhergehend mit einer langen Wartezeit für ein wiederhergestelltes Bild (z.B. Tage oder Wochen). Darüber hinaus sind, da das Verfahren manuell ist, die Ergebnisse nicht wiederholbar, so dass ein Fotolabor signifikant besser fertigbearbeitete Produkte liefern kann als ein anderes Fotolabor, und zwar auf der Basis der handwerklichen Fähigkeiten, der Entschlossenheit und der Stimmung der geübten Profis zu dem Zeitpunkt, wenn sie das wieder Zusammensetzen und die Reparatur durchführen.
Ferner können geübte Profis auf die Teile von zerrissenen Bildern beschränkt sein, die ihnen für Reparaturzwecke zur Verfügung gestellt werden, und greifen z.B. auf das Material von einem der Teile des zerrissenen Bilds zurück, wenn sie ein Loch eines Teils eines zerrissenen Bilds füllen. Abhängig von den fehlenden Informationen (z.B. Informationen, die in dem Loch verlorengegangen sind), können Reparaturverfahren, die auf die Verwendung der Teile eines zerrissenen Bilds für ein Füllmaterial beschränkt sind, gegebenenfalls keine akzeptable Kompensation bereitstellen.
Darüber hinaus kann für einen unerfahrenen Nutzer einer Bildwiederherstellung das Verfahren des wieder Zusammensetzens und Reparierens von Teilen eines zerrissenen Bilds entmutigend sein, wie z.B. mehrere Tage Arbeit mit modernen Bildverarbeitungsanwendungen erfordern, die für Rechenvorrichtungen verfügbar sind, wie z.B. Adobe Photoshop^®. Selbst nach beträchtlichen Bemühungen sind für einen unerfahrenen Nutzer keine akzeptablen Ergebnisse garantiert.
ZUSAMMENFASSUNG
Es werden Techniken und Systeme zum automatischen und nutzereingriffslosen wieder Zusammensetzen und Reparieren von Teilen eines zerrissenen Bilds von einem oder mehreren gedruckten Bild(ern) (z.B. Fotografien, Dokumenten, Quittungen und dergleichen) beschrieben. Es wird mindestens ein Scan erhalten, der Bildabschnitte umfasst, wie z.B. zerrissene Teile einer Fotografie. Die Bildabschnitte werden von den Scans identifiziert und eine jeweilige Maske für jeden Bildabschnitt wird erzeugt. Die Maske beschreibt die Form (z.B. die Kontur) des Bildabschnitts, ohne den Inhalt des Bildabschnitts zu beschreiben, und sie wird zum Abgleichen von Bildabschnitten auf der Basis von deren Formen verwendet. Wenn nicht alle Bildabschnitte bezüglich ihrer Formen eindeutig übereinstimmen bzw. zusammenpassen (z.B. ein Bildabschnitt stimmt nicht überein bzw. passt nicht zusammen oder ein Bildabschnitt stimmt entlang einer Kante mit mehreren Bildabschnitten überein oder passt mit diesen zusammen), dann wird eine Mehrdeutigkeit festgestellt und Inhaltsmerkmale der Bildabschnitte werden zum Abgleichen der Bildabschnitte und Beseitigen der Mehrdeutigkeit verwendet. Die Bildabschnitte werden auf der Basis der übereinstimmenden bzw. zusammenpassenden Bildabschnitte wieder zusammengesetzt, so dass ein zusammengesetztes Bild gebildet wird, und eine Kompensation wird durch Hinzufügen von Material (z.B. zum Füllen eines Lochs in dem zusammengesetzten Bild), das von einem der Bildabschnitte oder einem Bild erhalten worden ist, das von den Bildabschnitten verschieden ist, wie z.B. einem Bild von einer Nutzer-Bildbibliothek oder einer Nutzer-Bildergalerie (z.B. einer geteilten Fotowebsite), durchgeführt. Ferner kann eine Mehrzahl von Bildern durch Erhalten von Scans von Abschnitten von zerrissenen Bildern von der Mehrzahl von Bildern gleichzeitig verarbeitet werden. Die Bildabschnitte werden automatisch getrennt und einem der Mehrzahl von Bildern zugeordnet, und eine Mehrzahl von zusammengesetzten Bildern, eines für jedes der Mehrzahl von Bildern, wird aus den Bildabschnitten der Mehrzahl von Bildern erzeugt.
Diese Zusammenfassung stellt eine Auswahl von Konzepten in einer vereinfachten Form dar, die nachstehend in der detaillierten Beschreibung weiter beschrieben werden. Als solches soll diese Zusammenfassung keine essentiellen Merkmale des beanspruchten Gegenstands angeben, noch soll sie als Hilfe beim Bestimmen des Umfangs des beanspruchten Gegenstands verwendet werden.
Figurenliste
Die detaillierte Beschreibung nimmt auf die beigefügten Figuren Bezug. In den Figuren gibt bzw. geben die ganz links angegebene(n) Stelle(n) eines Bezugszeichens die Figur an, in der das Bezugszeichen zuerst erscheint. Die Verwendung derselben Bezugszeichen in verschiedenen Fällen in der Beschreibung und den Figuren kann entsprechende oder identische Gegenstände angeben. Einheiten, die in den Figuren angegeben sind, können eine oder mehrere Einheit(en) angeben und folglich kann eine Bezugnahme in der Diskussion austauschbar auf Singular- oder Pluralformen der Einheiten angewandt werden.

1 zeigt eine digitale Medienumgebung in einer Beispielimplementierung, die zum Einsetzen von hier beschriebenen Techniken betrieben werden kann.
2 zeigt einen Beispielscan von Beispielbildabschnitten gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung.
3 zeigt Beispielmasken von Beispielbildabschnitten gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung.
4 zeigt Beispiele für übereinstimmende Masken, die übereinstimmenden Bildabschnitten auf der Basis der Formen der Bildabschnitte entsprechen, gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung.
5 zeigt Beispiele für übereinstimmende Bildabschnitte auf der Basis von Inhaltsmerkmalen der Bildabschnitte gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung.
6 zeigt ein Beispiel für ein zusammengesetztes Bild gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung.
7 zeigt ein Beispielsystem, das zum wieder Zusammensetzen und Reparieren von Teilen eines zerrissenen Bilds gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung verwendet werden kann.
8 zeigt ein Flussdiagramm, das einen Beispielvorgang gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung zeigt.
9 zeigt ein Flussdiagramm, das einen Beispielvorgang gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung zeigt.
10 zeigt ein Flussdiagramm, das einen Beispielvorgang gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung zeigt.
11 zeigt ein Beispielsystem, das verschiedene Komponenten einer Beispielvorrichtung umfasst, die als jedweder Typ von Rechenvorrichtung implementiert werden kann, wie sie unter Bezugnahme auf die 1 bis 10 beschrieben und/oder genutzt wird, um Aspekte der hier beschriebenen Techniken zu implementieren.

DETAILLIERTE BESCHREIBUNG
Überblick
Wenn ein Bild (z.B. ein gedrucktes Bild), wie z.B. eine Fotografie, ein Dokument, eine Quittung, ein Kunstwerk bzw. eine Illustration, eine Karte und dergleichen, in eine Mehrzahl von Bildabschnitten zerrissen wird (z.B. Teile des Bilds), umfassen herkömmliche Verfahren des wieder Zusammensetzens und Reparierens der Bildabschnitte manuelle Vorgänge, die langsam und teuer sind und fortgeschrittene Fertigkeiten erfordern (z.B. einen geübten Profi). Demgemäß sind Ergebnisse nicht wiederholbar und ein akzeptables Ergebnis ist nicht garantiert. Diese Probleme sind für einen unerfahrenen Nutzer noch ausgeprägter, der bezüglich Verfahren des wieder Zusammensetzens und des Reparierens nicht geübt ist, so dass der unerfahrene Nutzer trotz eines beträchtlichen Aufwands wahrscheinlich ein wiederhergestelltes Bild unterhalb eines Standards erzeugt.
Darüber hinaus ist dann, wenn die Bildabschnitte einem geübten Profi bereitgestellt werden (z.B. einem Fotolabor), das Fotolabor häufig auf das Arbeiten mit bereitgestellten Bildabschnitten beschränkt und hat keinen Zugang zu anderen Bildern, die zum Reparieren der Bildabschnitte nützlich sein könnten, wie z.B. einer Bibliothek oder einer Bildergalerie eines Nutzers. Daher können Reparaturarbeiten, wenn sie auf die Verwendung eines Materials von den Bildabschnitten beschränkt sind, suboptimal sein.
Demgemäß beschreibt diese Offenbarung Systeme und Techniken zum automatischen und nutzerinterventionslosen wieder Zusammensetzen und Reparieren von Bildabschnitten (z.B. Teilen eines zerrissenen Bilds) eines gedruckten Bilds (z.B. Fotografien, Dokumenten, Quittungen, Papieren, Buchseiten, Zeitschriftenartikeln und dergleichen) zur Bildung eines zusammengesetzten Bilds. Die Bildabschnitte werden in einem oder mehreren Scan(s) erhalten (z.B. von einer Scanvorrichtung, wie z.B. einem Scanner, einem Bilderzeuger, einer Kamera, einem Kopierer und dergleichen) und können in jedweder Reihenfolge relativ zueinander und in jedweder Rotation in Bezug auf den Scan oder andere Bildabschnitte vorliegen. Die Bildabschnitte werden in den Scans identifiziert, z.B. unter Verwendung einer Graphenschnitttechnik, welche die Bildabschnitte in einem Vordergrund des Scans von einem Hintergrund des Scans trennt. Es wird eine Maske für jeden Bildabschnitt erzeugt, welche die Form (z.B. die Kontur) des Bildabschnitts beschreibt, ohne den Inhalt des Bildabschnitts zu beschreiben. Ein Beispiel für eine Maske für einen Bildabschnitt ist eine Pixel-für-Pixel-Bitmap, die einen binären Indikator für jedes Pixel eines Scans umfasst, der angibt, ob das Pixel in den Bildabschnitt einbezogen ist. Bildabschnitte werden auf der Basis ihrer Formen abgeglichen, die in den jeweiligen Masken beschrieben sind. In einem Beispiel werden Bildabschnitte auf der Basis der Formen durch Berechnen von Formübereinstimmungsbewertungen zwischen jeweiligen Masken, die aus Farbtonmomenten von Kanten oder Seiten einer Maske bestimmt worden sind, abgeglichen.
Wenn nicht alle Bildabschnitte bezüglich ihrer Formen eindeutig übereinstimmen (z.B. stimmt ein Bildabschnitt nicht überein oder ein Bildabschnitt wird entlang einer Kante zu einer Mehrzahl von Bildabschnitten redundant abgeglichen), dann wird eine Mehrdeutigkeit festgestellt. Wenn eine Mehrdeutigkeit festgestellt wird, werden Inhaltsmerkmale der Bildabschnitte mit einem rotationsinvarianten Merkmalsdeskriptor extrahiert. Die extrahierten Merkmale werden zum Beseitigen der Mehrdeutigkeit verwendet, z.B. zum Ermitteln einer Übereinstimmung für einen nicht übereinstimmenden Bildabschnitt oder zum Beseitigen von redundanten Übereinstimmungen (z.B. falschen Übereinstimmungen, die auf der Basis der Form der Maske ohne Berücksichtigen der Inhaltsmerkmale in den Bildabschnitten bestimmt worden sind) oder beides. Die übereinstimmenden Bildabschnitte, die durch Abgleichen von Formen und durch Abgleichen von Inhaltsmerkmalen ermittelt worden sind, können zu Paaren von übereinstimmenden Bildabschnitten gruppiert werden.
Die übereinstimmenden Bildabschnitte werden wieder zusammengesetzt (z.B. integriert), so dass ein zusammengesetztes Bild gebildet wird. Da Kanten von Bildabschnitten ausgefranst sein können, können Bildabschnitte Löcher aufweisen und dergleichen, so dass ein Material von dem zusammengesetzten Bild fehlen kann. Es kann nicht nur ein Material von einem der Bildabschnitte gefüllt werden, sondern das fehlende Material kann auch von einem anderen, verschiedenen Bild gefüllt werden, wie z.B. einem Bild, das von einer Bibliothek oder einer Bildergalerie eines Nutzers erhalten worden ist, einem Bild, das von einem Social Media-Onlinepost erhalten worden ist, einem Bild das in einer Email gesendet oder an diese angehängt worden ist, und dergleichen. Ferner wird jedwede geeignete Bildkompensation zum Mischen der Bildabschnitte durchgeführt, so dass das resultierende kompensierte zusammengesetzte Bild nicht von einem originalen, nicht zerstörten Bild unterschieden werden kann (z.B. dem Bild, bevor es in Bildteile zerrissen worden ist).
Darüber hinaus trennen die hier beschriebenen Systeme und Techniken automatisch und nutzerinterventionslos Bildabschnitte gemäß dem Bild einer Mehrzahl von Bildern, zu dem die Bildabschnitte gehören. Eine Mehrzahl von Bildern kann durch Erhalten von Scans von Bildabschnitten von der Mehrzahl von Bildern gleichzeitig verarbeitet werden. Die Bildabschnitte werden getrennt und einem der Mehrzahl von Bildern zugeordnet. Die Mehrzahl von zusammengesetzten Bildern, wobei eines jedes der Mehrzahl von Bildern repräsentiert, wird aus den Bildabschnitten auf der Basis der Formen erzeugt, die in Masken und Merkmalen, die aus den Bildabschnitten extrahiert worden sind, beschrieben sind, wie es nachstehend detaillierter beschrieben ist.
In der folgenden Diskussion wird ein Beispiel für eine digitale Medienumgebung beschrieben, welche die hier beschriebenen Techniken nutzen kann. Dann wird eine Beispielimplementierung von Details und Verfahren beschrieben, die in der beispielhaften digitalen Medienumgebung sowie anderen Umgebungen ausgeführt werden können. Folglich ist das Leistungsvermögen der Beispielvorgänge nicht auf die Beispielumgebung beschränkt und die Beispielumgebung ist nicht auf das Leistungsvermögen der Beispielvorgänge beschränkt.
Beispielhafte digitale Medienumgebung
Die 1 ist eine Darstellung einer digitalen Medienumgebung 100 in einer Beispielimplementierung, die so betrieben werden kann, dass hier beschriebene Techniken eingesetzt werden. Wie hier verwendet, bezieht sich der Ausdruck digitale Medienumgebung“ auf verschiedene Rechenvorrichtungen und -resourcen, die zum Implementieren der hier beschriebenen Techniken verwendet werden können. Die gezeigte digitale Medienumgebung 100 umfasst einen Nutzer 102, der mindestens eine Rechenvorrichtung hat (z.B. eine mobile Vorrichtung). In dem in der 1 gezeigten Beispiel ist der Nutzer 102 so gezeigt, dass er drei Rechenvorrichtungen hat, nämlich die Rechenvorrichtungen 104-1, 104-2 und 104-3 (zusammen 104). Beispielsweise zeigt die Rechenvorrichtung 104-1 ein Tablet, die Rechenvorrichtung 104-2 zeigt eine Brille (z.B. eine Smartspezialbrille) und die Rechenvorrichtung 104-3 zeigt eine Smartwatch. Die Rechenvorrichtungen 104 sind Beispielrechenvorrichtungen und jedwede geeignete Rechenvorrichtung ist vorgesehen, wie z.B. ein Mobiltelefon, ein Tablet, ein Laptopcomputer, ein Desktopcomputer, ein Gaminggerät, eine Spezialbrille, eine Brille, eine Kamera, ein persönlicher digitaler Assistent, ein nicht-linearer Editor, eine digitale Audioworkstation, ein Kopierer, ein Scanner und dergleichen. Ferner ist die Diskussion von einer der Rechenvorrichtungen 104 nicht auf diese Rechenvorrichtung beschränkt, sondern gilt allgemein für jede der Rechenvorrichtungen 104. Darüber hinaus können die Rechenvorrichtungen 104 von Vorrichtungen mit vollen Resourcen mit wesentlichen Speicher- und Prozessorresourcen (z.B. Personalcomputer, Spielekonsolen) bis zu einer Vorrichtung mit geringen Resourcen mit begrenzten Speicher- oder Verarbeitungsresourcen (z.B. mobilen Geräten) reichen.
Verschiedene Typen von Eingabevorrichtungen und Eingabegeräten können zum Bereitstellen einer Eingabe für die Rechenvorrichtungen 104 verwendet werden. Beispielsweise können die Rechenvorrichtungen 104 eine Eingabe als eine Mauseingabe, eine Stifteingabe, eine Eingabe, die durch eine natürliche Nutzerschnittstelle bereitgestellt wird, und dergleichen erkennen. Folglich können die Rechenvorrichtungen 104 mehrere Arten von Gesten, einschließlich Berührungsgesten und Gesten erkennen, die durch eine natürliche Nutzerschnittstelle bereitgestellt werden.
Ferner können die Rechenvorrichtungen 104 für eine oder eine Mehrzahl von verschiedenen Vorrichtung(en) repräsentativ sein, wie z.B. eine oder mehrere Vorrichtung(en), die mit einem Netzwerk verbunden ist oder sind, das Vorgänge „über die Cloud“ durchführt, wie es in Bezug auf die 11 beschrieben ist. In einem Beispiel sind die Rechenvorrichtungen 104 kommunikativ miteinander gekoppelt, wie z.B. mit einem drahtlosen Kommunikationsstandard mit geringer Leistung (z.B. einem Bluetooth^®-Protokoll). Beispielsweise kann die Rechenvorrichtung 104-1 drahtlos mit der Rechenvorrichtung 104-2 und der Rechenvorrichtung 104-3 kommunizieren. Somit kann ein Bild, das auf einer Vorrichtung (z.B. der Rechenvorrichtung 104-1) erzeugt oder gespeichert worden ist, auf eine andere Vorrichtung übertragen und dort angezeigt werden (z.B. die Rechenvorrichtung 104-2).
In einem in der 1 gezeigten Beispiel scant die Rechenvorrichtung 104-1 eine Oberfläche 106 (z.B. ein Desktop, eine Eingabeoberfläche eines Kopierers oder Scanners und dergleichen), die den Bildabschnitt 108-1, den Bildabschnitt 108-2 und den Bildabschnitt 108-3 (zusammen 108) anzeigt. Das Scannen kann in jeder geeigneten Weise durchgeführt werden, wie z.B. durch Aufnehmen eines Bilds, durch Kopieren mit einem Scanner oder einer Bildgebungsvorrrichtung, Erzeugen eines negativen oder inversen Bilds und dergleichen. Die Bildabschnitte 108 zeigen zerrissene Teile eines Bilds (z.B. eines gedruckten Bilds eines Kraftfahrzeugs). Unter Verwendung des Bildwiederherstellungssystems 110 (das nachstehend detaillierter diskutiert wird), setzt die Rechenvorrichtung 104-1 Bildabschnitte 108 wieder zusammen und repariert sie, so dass ein zusammengesetztes Bild 112 gebildet wird, das auf der Rechenvorrichtung 104-2 angezeigt wird. Zusätzlich oder alternativ kann das zusammengesetzte Bild 112 auf einem Anzeigebildschirm der Rechenvorrichtung 104-1 angezeigt werden.
Die Rechenvorrichtungen 104 sind auch mit einem Netzwerk 114 gekoppelt. Das Netzwerk 114 koppelt die Rechenvorrichtungen 104 kommunikativ mit einem Server 116 (aus Klarheitsgründen ist nur eine Rechenvorrichtung 104-1 in der 1 so gezeigt, dass sie mit einem Netzwerk 114 gekoppelt ist, obwohl die Rechenvorrichtungen 104-2 und 104-3 ebenfalls mittels des Netzwerks 114 mit dem Server 116 gekoppelt sein können). Das Netzwerk 114 kann verschiedene Netzwerke umfassen, wie z.B. das Internet, ein Intranet, ein lokales Netzwerk (LAN), ein Weitbereichsnetzwerk (WAN), ein persönliches Netzwerk (PAN), zelluläre Netzwerke, terrestrische Netzwerke, Satellitennetzwerke, Kombinationen von Netzwerken und dergleichen, und diese können drahtgebunden, drahtlos oder eine Kombination davon sein.
Der Server 116 kann einen oder mehrere Server oder Dienstprovider umfassen, der oder die Dienste und/oder Resourcen für die Rechenvorrichtungen 104 bereitstellen. Im Allgemeinen können Resourcen, die durch den Server 116 bereitgestellt werden, lizenziert werden, gekauft werden oder können frei verfügbar sein (z.B. ohne Authentifizierung, eine Lizenz oder einen Zugang auf Accountbasis). Die Resourcen können jedwede geeignete Kombination von Diensten und Inhalt umfassen, wie z.B. solchen, die über das Netzwerk 114 durch einen oder mehrere Provider zur Verfügung gestellt werden. Einige Beispiele von Diensten umfassen, sind jedoch nicht beschränkt auf, einen Online-Shoppingdienst, einen Fotobearbeitungsdienst, einen Webentwicklungs- und Verwaltungsdienst, einen Zusammenarbeitsdienst, einen Social Networking-Dienst, einen Benachrichtungsdienst, einen Werbedienst, einen Graphikdesigndienst, einen Bildspeicherdienst (einschließlich das Speichern von Fotos, Dokumenten, Aufzeichnungen, Dateien und dergleichen), usw. Ein Inhalt kann verschiedene Kombinationen von Gegenständen umfassen, einschließlich Videos, Werbeanzeigen, Audio, Multimediastreams, Animationen, Bilder, Webdokumente, Webseiten, Anwendungen, Vorrichtungsanwendungen, Textdokumente, Zeichnungen, Präsentationen, Bestandsfotografien, Nutzerprofile, Nutzerpräferenzen, Nutzerdaten (z.B. Bilder, die in einer Bildergalerie gespeichert ist) und dergleichen.
Der Server 116 umfasst ein Bildunterstützungssystem 118, das zum Empfangen von Signalen von den Rechenvorrichtungen 104, zum Verarbeiten der empfangenen Signale und zum Senden der verarbeiteten Signale zu den Rechenvorrichtungen 104 zum Unterstützen des wieder Zusammensetzens und Reparierens von Bildern (z.B. zerrissenen Bildabschnitten) konfiguriert werden kann. Beispielsweise kann die Rechenvorrichtung 104-1 Bildabschnitte 108 scannen und die Bildabschnitte 108 an den Server 116 übertragen. Unter Verwendung des Bildunterstützungssystems 118 kann der Server 116 ein zusammengesetztes Bild 112 von den Bildabschnitten 108 erzeugen, die durch die Rechenvorrichtung 104-1 empfangen worden sind, und das zusammengesetzte Bild 112 zurück zur Rechenvorrichtung 104-1 senden, so dass es auf der Rechenvorrichtung 104-1 oder jedweder geeigneten Rechenvorrichtung angezeigt wird. Demgemäß kann das Bildunterstützungssystem 118 des Servers 116 eine Kopie des Bildwiederherstellungssystems 110 umfassen.
Die Rechenvorrichtungen 104 umfassen das Bildwiederherstellungssystem 110 zum wieder Zusammensetzen und Reparieren von Bildabschnitten, wie z.B. der Bildabschnitte 108. Aus Gründen der Klarheit ist die Rechenvorrichtung 104-2 in der 1 so gezeigt, dass sie das Bildwiederherstellungssystem 110 umfasst, obwohl die Rechenvorrichtung 104-1 und die Rechenvorrichtung 104-3 ebenfalls Kopien des Bildwiederherstellungssystems 110 (nicht gezeigt) umfassen.
Das Bildwiederherstellungssystem 110 umfasst eine Anzeige 122 zum Anzeigen von Bildern, wie z.B. der Bildabschnitte 108, des zusammengesetzten Bilds 112 und dergleichen. Die Anzeige 122 kann jedweder geeignete Typ von Anzeige sein, wie z.B. ein Berührungsbildschirm, eine Flüssigkristallanzeige, eine Plasmaanzeige und dergleichen. Das Bildwiederherstellungssystem 110 umfasst auch Prozessoren 124. Somit kann das Bildwiederherstellungssystem 110 zumindest teilweise durch Ausführen von Anweisungen implementiert werden, die im Speicher 126 in den Prozessoren 124 gespeichert sind. Beispielsweise können die Prozessoren 124 Teile der Bildwiederherstellungsanwendung 120 ausführen.
Der Speicher 126 kann jedweder geeignete Typ von Speicher sein, auf den das Bildwiederherstellungssystem 110 zugreifen kann oder das in dem Bildwiederherstellungssystem 110 enthalten ist. Der Speicher 126 speichert jeden geeigneten Typ von Daten und stellt einen Zugang zu und von dem Speicherelement, das in den Speicher 126 einbezogen ist, für jeden geeigneten Typ von Daten bereit. Beispielsweise umfasst der Speicher 126 Scandaten 128 (z.B. Daten, die Scans von Bildabschnitten, extrahierte Bildabschnitte, usw., umfassen), Maskendaten 130 (z.B. Daten, die Masken von Bildabschnitten darstellen), Formdaten 132 (z.B. Daten, die Konturen von Kanten von Masken von Bildabschnitten darstellen, einschließlich Farbtonmomente und Formübereinstimmungsbewertungen), Merkmalsdaten 134 (z.B. Daten, die Merkmale eines Inhalts darstellen, der von Bildabschnitten extrahiert worden ist), Mehrdeutigkeitsdaten 136 (z.B. Daten, die angeben, ob Bildabschnitte auf der Basis von Formdaten 132 eindeutig übereinstimmen, einschließlich eine Bestimmung der Mehrdeutigkeit), und zusammengesetzte Daten 138 (z.B. Daten, die zusammengesetzte Bilder darstellen, wie z.B. das zusammengesetzte Bild 112, Kompensationsdaten, kompensierte zusammengesetzte Bilder und Zuordnungsindikatoren, die Bildabschnitte einem einer Mehrzahl von Bildern zuordnen).
Ferner umfasst das Bildwiederherstellungssystem 110 ein Sende-Empfangs-Modul 140. Das Sende-Empfangs-Modul 140 ist für eine Funktionalität repräsentativ, die zum Senden und Empfangen von Daten unter Verwendung von jedwedem geeigneten Typ und jedweder geeigneten Anzahl von Kommunikationsprotokollen ausgebildet ist. Beispielsweise können Daten innerhalb des Bildwiederherstellungssystems 110 mit dem Sende-Empfangs-Modul 140 zu dem Server 116 übertragen werden. Ferner können Daten von dem Server 116 mit dem Sende-Empfangs-Modul 140 empfangen werden. Das Sende-Empfangs-Modul 140 kann auch Daten zwischen Rechenvorrichtungen 104 senden und empfangen.
Das Bildwiederherstellungssystem 110 umfasst auch ein Bildergaleriemodul 142. Das Bildergaleriemodul 142 ist für eine Funktionalität repräsentativ, die zum Erhalten von Daten (z.B. Bildern) ausgebildet ist, die zum Reparieren von Bildabschnitten 108 verwendet werden können. Somit kann das Bildergaleriemodul 142 das Sende-Empfangs-Modul 140 zum Erhalten von jedweden geeigneten Daten von jedweder geeigneten Quelle nutzen, einschließlich zum Erhalten von Bildern von einem Nutzerdateiverzeichnis auf den Rechenvorrichtungen 104 oder dem Server 116, zum Erhalten von Bildern von einer Nutzer-Fotogalerie (z.B. einem Online-Fototeildienst, Bildern, die in einer Bildbearbeitungsanwendung eines Nutzers gespeichert sind, wie z.B. Photoshop^®), Bildern, die ein Nutzer in einem Social Media-Post, einem Blog, einem Online-Kommentar und dergleichen gepostet hat, Bilder, die ein Nutzer an eine Email, einen Text oder eine andere Kommunikation angehängt hat, die durch die Rechenvorrichtungen 104 gesendet oder davon empfangen worden sind, Bilder, die durch einen Suchdienst bereitgestellt werden, wie z.B. einer Onlinesuche nach Bildern, die dem zusammengesetzten Bild 112 ähnlich sind, Bilder, die von einer Datenbank von Bestandsbildern erhalten worden sind, Bilder, die durch den Nutzer 102 bereitgestellt werden, wie z.B. ein Bild, das ein Nutzer 102 haben kann und das dem zusammengesetzten Bild 112 ähnlich ist und dergleichen. Somit erhält das Bildergaleriemodul 142 Bilder, die von den Bildabschnitten 108 und dem zusammengesetzten Bild 112 verschieden sind, und die zum Reparieren des zusammengesetzten Bilds 112 verwendet werden können, wie z.B. durch Hinzufügen eines Materials, das in dem zusammengesetzten Bild 112 fehlt, von einem Bild, das von dem Bildergaleriemodul 142 erhalten worden ist, zu dem zusammengesetzten Bild 112.
Das Bildwiederherstellungssystem 110 umfasst auch eine Bildwiederherstellungsanwendung 120. Die Bildwiederherstellungsanwendung 120 umfasst ein Scanmodul 144, ein Maskenerzeugungsmodul 146, ein Formabgleichmodul 148, ein Mehrdeutigkeitsmodul 150, ein Merkmalsabgleichmodul 152, ein zusammengesetztes Bild-Modul 154 und ein Kompensationsmodul 156. Diese Module arbeiten zusammen, um Bildabschnitte 108 wieder zusammenzusetzen und zu reparieren und das zusammengesetzte Bild 112 dem Nutzer 102 anzuzeigen.
Das Scanmodul 144 ist für eine Funktionalität repräsentativ, die zum Erhalten mindestens eines Scans, der eine Mehrzahl von Bildabschnitten umfasst, wie z.B. die Bildabschnitte 108, und Identifizieren der Bildabschnitte in den Scans ausgebildet ist. Ein Scan kann jedweder geeignete Typ von Scan sein, wie z.B. ein Scan, der durch einen Scanner oder Kopierer erzeugt wird, ein Scan, der von einer Kamera erzeugt wird (z.B. eine Fotografie), und dergleichen. Ferner kann das Scanmodul 144 jedwede Anzahl von Scans erhalten. In einem Beispiel ist eine Mehrzahl von Bildabschnitten eines Bilds über mehrere Scans verteilt und das Scanmodul 144 erhält jeden der Mehrzahl von Scans zum Erhalten aller Bildabschnitte. Zusätzlich oder alternativ können Bildabschnitte für ein Bild in einen einzelnen Scan einbezogen werden, der durch das Scanmodul 144 erhalten wird.
Ferner können die Bildabschnitte in jedweder Reihenfolge innerhalb eines Scans vorliegen. Beispielsweise können die Bildabschnitte in dem Scan in einer zufälligen Reihenfolge angeordnet werden. Ferner können die Bildabschnitte in jedweder Ausrichtung (z.B. einer Ausrichtung innerhalb des Scans) relativ zu dem Scan oder anderen Bildabschnitten angeordnet werden. Demgemäß ist keine vorgefasste Anordnung des Bilds erforderlich, wenn die Bildabschnitte innerhalb eines Scans angeordnet werden oder wenn ein Scan erhalten wird.
In einem Beispiel scant ein Nutzer 102 Bildabschnitte 108 mittels einer Bildgebungskomponente der Rechenvorrichtung 104-1 (z.B. einer Kamera oder einem Kopierer) und das Scanmodul 144 erhält den Scan, der durch die Rechenvorrichtung 104-1 erzeugt worden ist. Zusätzlich oder alternativ kann das Scanmodul 144 einen Scan von Scandaten 128 erhalten, die auf einer Vorrichtung erzeugt worden sind, die von den Rechenvorrichtungen 104 verschieden ist, wie z.B. einen Scan, der bei einem gewerblichen Kopierdienst erzeugt worden ist (z.B. einem herkömmlichen Kopierzentrum), und der durch den Nutzer 102 auf die Scandaten 128 übertragen wird.
Darüber hinaus kann ein Scan, der durch das Scanmodul 144 erhalten worden ist, Bildabschnitte von jedweder geeigneten Anzahl von Bildern umfassen. In einem Beispiel umfasst ein Scan, der durch das Scanmodul 144 erhalten worden ist, Bildabschnitte von einer Mehrzahl von Bildern und das Bildwiederherstellungssystem 110 führt eine Trennaufgabe durch Zuordnen jedes Bildabschnitts zu einem der Mehrzahl von Bildern durch. Beispielsweise kann die Mehrzahl von Bildabschnitten verschiedene Typen von Bildern darstellen, wie z.B. eine Fotografie, Fahrzeugpapiere und eine zu bezahlende Rechnung. Ein Scan, der durch das Scanmodul 144 erhalten wird, kann Bildabschnitte von der Fotografie, der Fahrzeugpapiere und der unbezahlten Rechnung in jedweder Reihenfolge und jedweder Ausrichtung umfassen. Zusätzlich oder alternativ kann ein Scan, der durch das Scanmodul 144 erhalten wird, Bildabschnitte von einem einzelnen Bild erhalten.
Als Beispiel soll die 2 betrachtet werden, die einen Beispielscan 200 der Beispielbildabschnitte 202-1, 202-2, 202-3 und 202-4 (zusammen 202) gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung zeigt. In dem Beispielscan 200 sind die Bildabschnitte 202 Abschnitte eines zerrissenen Bilds einer einzelnen gedruckten Fotografie (z.B. eines Familienporträts, das mit einer analogen Fotokamera aufgenommen worden ist). Die Informationen in der Fotografie können unersetzbar sein, wenn das Negativ der Fotografie verlorengegangen ist (was bei alten Fotografien häufig der Fall ist), oder in dem Fall einer Digitalkamera, wenn die Datei beschädigt oder verlorengegangen ist. In solchen Fällen müssen die Bildabschnitte 202 wieder zusammengesetzt und repariert werden, um die Informationen in der Fotografie wiederherzustellen. In dem Beispiel in der 2 sind vier Bildabschnitte eines einzelnen Bilds in einen Scan einbezogen. Im Allgemeinen kann ein Scan jedwede geeignete Anzahl von Bildabschnitten von jedweder geeigneten Anzahl von Bildern umfassen.
Unter erneuter Bezugnahme auf die 1 erhält das Scanmodul 144 jedwede geeignete Anzahl von Scans von jedweder geeigneten Anzahl und Art von Bildern, wie z.B. den Scan 200 in der 2, und identifiziert Bildabschnitte in den Scans. In einem Beispiel trennt das Scanmodul 144 Bildabschnitte in einem Vordergrund des Scans von einem Hintergrund des Scans unter Verwendung von Graphenschnitttechniken. Da ein Hintergrund eines Scans üblicherweise homogen ist (z.B. eine Textur der Oberfläche 106), identifiziert eine Segmentierung der Bildabschnitte im Vordergrund von dem Hintergrund mit Graphenschnitttechniken die Bildabschnitte in dem Scan genau. Die Bildabschnitte, die durch das Scanmodul 144 identifiziert worden sind, können in jedweder geeigneten Weise bezeichnet werden, wie z.B. in einer Tabelle, einer Aufzählungsliste, einer Bitmap des Scans und dergleichen. Scans, die durch das Scanmodul 144 erhalten werden, einschließlich Informationen bezüglich der identifizierten Bildabschnitte, werden in den Scandaten 128 des Speichers 126 gespeichert. Die identifizierten Bildabschnitte werden für das Maskenerzeugungsmodul 146 bereitgestellt. Dies kann das Extrahieren der Bildabschnitte von dem Scan und das Bereitstellen der extrahierten Bildabschnitte für das Maskenerzeugungsmodul 146, das Bereitstellen eines Scans, der durch das Scanmodul 144 erhalten worden ist, und von Identifikatoren der Bildabschnitte in dem Scan für das Maskenerzeugungsmodul 146 (das wiederum Bildabschnitte von dem Scan extrahieren kann), oder Kombinationen davon umfassen.
Das Maskenerzeugungsmodul 146 ist für eine Funktionalität repräsentativ, die zum Erzeugen einer jeweiligen Maske für jeden Bildabschnitt ausgebildet ist. Eine Maske für den Bildabschnitt beschreibt die Form eines Bildabschnitts, ohne den Inhalt des Bildabschnitts zu beschreiben. In einem Beispiel umfasst eine Maske für einen Bildabschnitt binäre Indikatoren für Pixel eines Scans, die angeben, ob die Pixel in den Bildabschnitt einbezogen sind. Die Masken, die durch das Maskenerzeugungsmodul 146 erzeugt werden, werden in Maskendaten 130 in dem Speicher 126 gespeichert.
Als ein Beispiel für Masken, die durch das Maskenerzeugungsmodul 146 erzeugt werden, soll die 3 betrachtet werden, die Beispielmasken 300 von Beispielbildabschnitten gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung zeigt. Beispielsweise entsprechen die Masken, die in der 3 gezeigt sind, den Bildabschnitten, die in der 2 gezeigt sind. Insbesondere entsprechen die Masken 302-1, 302-2, 302-3 und 302-4 in der 3 den Bildabschnitten 202-1, 202-2, 202-3 bzw. 202-4 in der 2. In diesem Beispiel sind die Pixel der Masken 302-1, 302-2, 302-3 und 302-4 schwarz schattiert und die Masken enthalten keinen Inhalt der entsprechenden Bildabschnitte (z.B. den Inhalt der Familienfotografie). Die Masken beschreiben jedoch die Formen der Bildabschnitte.
Unter erneuter Bezugnahme auf die 1 stellt das Maskenerzeugungsmodul 146 Masken für jeden der Bildabschnitte für das Formabgleichmodul 148 bereit.
Das Formabgleichmodul 148 ist für eine Funktionalität repräsentativ, die zum Bestimmen von ersten übereinstimmenden Bildabschnitten (z.B. ersten Paaren von übereinstimmenden Bildabschnitten) der Bildabschnitte auf der Basis der Formen der Bildabschnitte, die durch die Masken beschrieben werden, die von dem Maskenerzeugungsmodul 146 bereitgestellt werden, ausgebildet ist. Das Formabgleichmodul 148 gleicht Bildabschnitte auf der Basis der Form in jedweder geeigneten Weise ab, wie z.B. durch Berechnen von Momenten für jede Seite oder Kante jeder Maske und durch Berechnen einer Formübereinstimmungsbewertung zwischen Paaren von Masken auf der Basis der berechneten Momente. Eine Seite (oder Kante) einer Maske kann jedweder geeignete Abschnitt des Umfangs (z.B. der Umriss) einer Maske sein, die durch das Formabgleichmodul 148 zugeordnet worden ist.
Beispielsweise sollen i = 1 ... N und j = 1 ... M die i^e und j^e Seite der ersten und zweiten Maske A bzw. B darstellen (z.B. weist in diesem Beispiel die Maske A NSeiten auf und die Maske B weist M Seiten auf). Ferner soll $μ_{i}^{A}$
ein geeignetes Maß der Form für die Kante i der Maske A darstellen und $μ_{j}^{B}$
soll ein geeignetes Maß der Form für die Kante j der Maske B darstellen. In einem Beispiel ist das Maß µ ein Farbtonmoment. Ein Moment für jede Seite der Maske wird gemäß A $m_{i}^{A} = sign (μ_{i}^{A}) \cdot log μ_{i}^{A}$
$m_{j}^{B} = sign (μ_{j}^{B}) \cdot log μ_{j}^{B}$
berechnet.
Eine Formübereinstimmungsbewertung zwischen den Masken A und B kann aus den jeweiligen Momenten $m_{i}^{A} und m_{j}^{B}$
bestimmt werden. Beispielsweise wird eine Formübereinstimmungsbewertung zwischen den Masken A und B für jedes Paar von Kanten der Masken A und B gemäß $s_{i \times j}^{A, B} = | m_{i}^{A} - m_{i}^{B} |$
berechnet, wobei x das kartesische Produkt bezeichnet. Somit werden N · M Formübereinstimmungsbewertungungen $s_{i \times j}^{A, B}$
berechnet. Eine Gesamt-Formübereinstimmungsbewertung zwischen den Masken A und B kann aus den Formübereinstimmungsbewertungen $s_{i \times j}^{A, B}$
in jedweder geeigneten Weise bestimmt werden, wie z.B. durch Bilden einer Summe aller oder einiger $s_{i \times j}^{A, B}$
(z.B. eine gewichtete Summe, bei der alle Gewichtungen in jedweder geeigneten Weise bestimmt werden, z.B. auf der Basis eines Vertrauensfaktors, der von einer relativen Qualität einer Kante abgeleitet ist, wobei eine ausgefranste Kante eine schlechte Qualität (und somit ein niedriges Vertrauen) anzeigen kann und eine gerade scharfe Kante eine gute Qualität (und somit ein hohes Vertrauen) anzeigen kann). In einem Beispiel wird eine Gesamt-Übereinstimmungsbewertung s^A,B zwischen Masken A und B aus dem Minimum der Formübereinstimmungsbewertungen $s_{i \times j}^{A, B} oder s^{A, B} = min_{i, j} s_{i \times j}^{A, B}$
bestimmt.
Durch Vergleichen der Formübereinstimmungsbewertungen zwischen Masken können übereinstimmende Bildabschnitte bestimmt und einem Bild zugeordnet werden. Beispielsweise können Kanten zwischen zwei Masken, welche die niedrigste Formübereinstimmungsbewertung von allen Kanten und allen Masken aufweisen, zum Bestimmen verwendet werden, dass die zwei Masken einem Paar von übereinstimmenden Bildern entlang der Kante mit der niedrigsten Formübereinstimmungsbewertung entsprechen und einem gemeinsamen Bild angehören. In einem Beispiel kann es erforderlich sein, dass eine Formübereinstimmungsbewertung unterhalb eines vorgegebenen Schwellenwerts liegt, um festzustellen, dass ein Paar von Bildabschnitten (oder Masken) übereinstimmt.
Als ein Beispiel für Masken, die durch das Maskenerzeugungsmodul 146 erzeugt werden, soll die 4 betrachtet werden, die ein Beispiel für übereinstimmende Masken 400 zeigt, die übereinstimmenden Bildabschnitten auf der Basis von Formen der Bildabschnitte gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung entsprechen. Übereinstimmende Masken 400 umfassen die Masken 302-3 und 302-1 der 3, die entlang der Kontur 402 wieder zusammengesetzt worden sind. Die Kontur 402 folgt einer Kante der Maske 302-3 (z.B. der rechten Seite der Maske 302-3 in der 4) und einer Kante der Maske 302-1 (z.B. der linken Seite der Maske 302-1 in der 4). Durch Berechnen der Formübereinstimmungsbewertungen auf der Basis der Formen der Masken, wie es vorstehend beschrieben worden ist, bestimmt das Formabgleichmodul 148, dass die Maske 302-3 und die Maske 302-1 die beste Formübereinstimmungsbewertung (z.B. die niedrigste Formübereinstimmungsbewertung $s_{i \times j}^{A, B}$
) entlang der Kontur 402 aufweisen. Demgemäß und da die Formübereinstimmungsbewertung entlang der Kontur 402 zwischen der Maske 302-3 und der Maske 302-1 geringer sein kann als ein Schwellenbewertungsniveau, bezeichnet das Formabgleichmodul 148 die Maske 302-3 und die Maske 302-1 als übereinstimmend und folglich sind die jeweiligen Bildabschnitte für die Maske 302-3 und die Maske 302-1 (z.B. der Bildabschnitt 202-3 und der Bildabschnitt 202-1 in der 2) ein Paar von ersten übereinstimmenden Bildabschnitten, die durch das Formabgleichmodul 148 bestimmt worden sind.
Unter erneuter Bezugnahme auf die 1 analysiert das Formabgleichmodul 148 die Masken gemäß ihrer Formen zum Bestimmen von übereinstimmenden Bildabschnitten (z.B. Paaren von übereinstimmenden Bildabschnitten), wie es vorstehend beschrieben ist. Somit kann ein Bildabschnitt in ein oder mehrere Paar(e) von übereinstimmenden Bildabschnitt(en) einbezogen werden, da ein Bildabschnitt mit verschiedenen Bildabschnitten entlang verschiedenen Kanten übereinstimmen kann. Die übereinstimmenden Bildabschnitte, die durch das Formabgleichmodul 148 bestimmt worden sind, werden zusammen mit jedweden geeigneten Informationen, wie z.B. Formübereinstimmungsbewertungen, Vertrauensfaktoren, Anzahlen von Bildern, die durch die Bildabschnitte dargestellt werden, Anzahlen von Kanten von Bildabschnitten und dergleichen, die durch das Formabgleichmodul 148 berechnet oder verwendet werden, in Formdaten 132 des Speichers 126 gespeichert.
Das Formabgleichmodul 148 stellt erste übereinstimmende Bildabschnitte (z.B. Paare von übereinstimmenden Bildabschnitten auf der Basis von Formen, die durch Masken angegeben werden, einschließlich jedwede geeigneten Metadaten mit den ersten übereinstimmenden Bildabschnitten, wie z.B. eine Tabelle, die angibt, wie viele Bildabschnitte gemäß der Form übereinstimmen, die Anzahl von nicht übereinstimmenden Bildabschnitten, Formübereinstimmungsbewertungen, die Anzahl von Bildern, die durch die Bildabschnitte dargestellt werden, die Anzahl von Kanten von Bildabschnitten und dergleichen angibt) für das Mehrdeutigkeitsmodul 150 bereit.
Das Mehrdeutigkeitsmodul 150 repräsentiert eine Funktionalität, die so ausgebildet ist, dass sie eine Bestimmung der Mehrdeutigkeit auf der Basis der ersten übereinstimmenden Bildabschnitte von dem Formabgleichmodul 148 durchführt. Eine Bestimmung der Mehrdeutigkeit kann angeben, ob jeder Bildabschnitt in den ersten übereinstimmenden Bildabschnitten, die durch das Formabgleichmodul 148 erzeugt worden sind, eindeutig übereinstimmt. Beispielsweise kann eine Bestimmung der Mehrdeutigkeit eine Mehrdeutigkeit angeben, wenn mindestens ein Bildabschnitt nicht in die ersten übereinstimmenden Bildabschnitte einbezogen ist, die durch das Formabgleichmodul 148 erzeugt werden (z.B. sind nicht alle Bildabschnitte, die durch das Scanmodul 144 identifiziert werden, in mindestens ein Paar von übereinstimmenden Bildern in den ersten übereinstimmenden Bildabschnitten einbezogen, die durch das Formabgleichmodul 148 erzeugt worden sind). Zusätzlich oder alternativ kann eine Bestimmung der Mehrdeutigkeit eine Mehrdeutigkeit angeben, wenn eine Kontur (z.B. entsprechend einer Kante oder Seite) eines Bildabschnitts mit einer Mehrzahl von Paaren von übereinstimmenden Bildabschnitten in ersten übereinstimmenden Bildabschnitten abgeglichen wird, die durch das Formabgleichmodul 148 erzeugt worden sind (z.B. werden Bildabschnitte redundant entlang einer Kontur abgeglichen). Eine Bestimmung der Mehrdeutigkeit gibt einen Mangel an Mehrdeutigkeit an, wenn keine Mehrdeutigkeit angegeben ist. Somit wird, wenn alle Bildabschnitte, die durch das Scanmodul 144 identifiziert werden, eindeutig in ersten übereinstimmenden Bildabschnitten abgeglichen werden, die durch das Formabgleichmodul 148 erzeugt worden sind (z.B. gibt es keine redundanten Übereinstimmungen oder nicht übereinstimmende Bildabschnitte), eine Bestimmung der Mehrdeutigkeit durch das Mehrdeutigkeitsmodul 150 durchgeführt, das einen Mangel an Mehrdeutigkeit angibt. In diesem Fall können Bildabschnitte auf der Basis ihrer Formen wieder zusammengesetzt werden, ohne deren Inhalt zu untersuchen (z.B. Merkmale eines Inhalts in einem Bildabschnitt).
Das Mehrdeutigkeitsmodul 150 kann eine Bestimmung der Mehrdeutigkeit für ein Bild oder mehrere Bilder durchführen. Beispielsweise wenn eine Mehrzahl von Bildern durch Bildabschnitte in einem Scan repräsentiert wird, der durch das Scanmodul 144 erhalten worden ist, und ein erstes Bild der Bilder alle eindeutig übereinstimmenden Bildabschnitte aufweist, während ein zweites Bild redundant übereinstimmende Bildabschnitte aufweist (z.B. eine Mehrzahl von Bildabschnitten, die mit einer Kante eines Bildabschnitts übereinstimmen), kann das Mehrdeutigkeitsmodul 150 eine Bestimmung der Mehrdeutigkeit für das erste Bild, die einen Mangel an Mehrdeutigkeit angibt, und eine Bestimmung der Mehrdeutigkeit für das zweite Bild bestimmen, die eine Mehrdeutigkeit angibt.
Die Bestimmung der Mehrdeutigkeit, die durch das Mehrdeutigkeitsmodul 150 durchgeführt wird, wird in den Mehrdeutigkeitsdaten 136 in dem Speicher 126 gespeichert. Ferner kann das Mehrdeutigkeitsmodul 150 geeignete Metadaten erzeugen und diese in den Mehrdeutigkeitsdaten 136 speichern, wie z.B. Identifikatoren von nicht übereinstimmenden Bildabschnitten, Identifikatoren von redundant übereinstimmenden Bildabschnitten, einen Indikator, ob alle Bildabschnitte auf der Basis ihrer Form eindeutig übereinstimmen, und dergleichen. Solche Metadaten können für jedes Bild erzeugt werden, das durch Bildabschnitte in einem Scan repräsentiert wird, die durch das Scanmodul 144 erhalten worden sind, und in jedweder geeigneten Datenstruktur gruppiert werden. Das Mehrdeutigkeitsmodul 150 stellt eine Bestimmung der Mehrdeutigkeit und jedwede geeigneten Metadaten, die es erzeugt, für das Merkmalsabgleichmodul 152 bereit.
Das Merkmalsabgleichmodul 152 repräsentiert eine Funktionalität, die zum Extrahieren von Inhaltsmerkmalen von Bildabschnitten und Bestimmen der zweiten übereinstimmenden Bildabschnitte (z.B. zweite Paare von übereinstimmenden Bildabschnitten) von Bildabschnitten in einem Scan, der durch das Scanmodul 144 erhalten worden ist, auf der Basis der extrahierten Inhaltsmerkmale ausgebildet ist. Das Merkmalsabgleichmodul 152 kann Inhaltsmerkmale extrahieren und zweite übereinstimmende Bildabschnitte von jedweden geeigneten Bildabschnitten bestimmen. In einem Beispiel bestimmt das Merkmalsabgleichmodul 152 zweite übereinstimmende Bildabschnitte aus Bildabschnitten, die nicht eindeutig durch das Formabgleichmodul 148 abgeglichen werden (z.B. kann das Merkmalsabgleichmodul 152 keine Bildabschnitte verarbeiten, die eindeutig auf der Basis ihrer Formen übereinstimmen, wie es durch das Formabgleichmodul 148 bestimmt worden ist). Zusätzlich oder alternativ kann das Merkmalsabgleichmodul 152 jedwede geeignete Anzahl von Bildabschnitten (z.B. jeden Bildabschnitt in einem Scan, der durch das Scanmodul 144 erhalten worden ist) verarbeiten und zweite übereinstimmende Bildabschnitte aus diesen Bildabschnitten bestimmen. Somit kann das Bestimmen von zweiten übereinstimmenden Bildabschnitten durch das Merkmalsabgleichmodul 152 das Modifizieren von ersten übereinstimmenden Bildabschnitten umfassen, die durch das Formabgleichmodul 148 bestimmt worden sind (z.B. Entfernen eines Paars von übereinstimmenden Bildern von ersten übereinstimmenden Bildabschnitten, die gemäß den Inhaltsmerkmalen durch das Merkmalsabgleichmodul 152 wieder in Übereinstimmung gebracht worden sind).
Ferner extrahiert das Merkmalsabgleichmodul 152 Inhaltsmerkmale von Bildabschnitten mit jedwedem geeigneten Merkmalsextraktor. In einem Beispiel werden die Inhaltsmerkmale von Bildabschnitten mit einem rotationsinvarianten Merkmalsdeskriptor extrahiert, wie z.B. einem „oriented-fast und rotated-brief“ (ORB)-Deskriptor. Zusätzlich oder alternativ extrahiert das Merkmalsabgleichmodul 152 Merkmale mit einer skaleninvarianten Merkmalstransformation (SIFT), „speeded-up robust features“ (SURF), einem Kantendetektor, einem Eckendetektor, einem Blob-Detektor, einem Farbdetektor, einem Texturdetektor, Kombinationen davon und dergleichen.
Durch Extrahieren von Inhaltsmerkmalen von Bildabschnitten und ohne auf eine Form oder eine Kontur einer Maske wie bei dem Formabgleichmodul 148 zurückzugreifen, kann das Merkmalsabgleichmodul 152 zweite übereinstimmende Bildabschnitte bestimmen und Mehrdeutigkeiten, die durch das Mehrdeutigkeitsmodul 150 angegeben werden, beseitigen. Beispielsweise können Inhaltsmerkmale, die von Bildabschnitten extrahiert werden, zum Abgleichen von Bildabschnitten verwendet werden, und zwar durch Bewahren der Kontinuität eines Inhalts über Bildabschnitte, das nicht möglich ist, wenn auf Formen von Masken zurückgegriffen wird.
Als ein Beispiel der Verwendung von extrahierten Merkmalen zum Bewahren der Kontinuität über Bildabschnitte soll die 5 betrachtet werden, die ein Beispiel für übereinstimmende Bildabschnitte 500 zeigt, die auf Inhaltsmerkmalen der Bildabschnitte basieren, gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung. Übereinstimmende Bildabschnitte 500 umfassen den Bildabschnitt 202-1 und den Bildabschnitt 202-3 von der 2. In diesem Beispiel können der Bildabschnitt 202-1 und der Bildabschnitt 202-3 gegebenenfalls keine Schwellenanforderung für einen Abgleich gemäß der Form durch das Formabgleichmodul 148 erfüllen (z.B. kann eine Formübereinstimmungsbewertung $s_{i \times j}^{A, B}$
zwischen dem Bildabschnitt 202-1 und dem Bildabschnitt 202-3 zu hoch sein). Beispielsweise ist in dem Bereich 502 in der 5 die Kante des Bildabschnitts 202-3 ausgefranst, was verhindern kann, das die Bildabschnitte mittels der Form abgeglichen werden (z.B. einer Kontur entlang der ausgefransten Kante).
Somit extrahiert das Merkmalsabgleichmodul 152 Inhaltsmerkmale von dem Bildabschnitt 202-1 und dem Bildabschnitt 202-3. In dem Beispiel in der 5 werden die Inhaltsmerkmale in dem Bereich 502 von dem Bildabschnitt 202-1 und dem Bildabschnitt 202-3 extrahiert. Extrahierte Merkmale können die Form des Arms in dem Bereich 502 auf der Basis von Kantenerfassungstechniken (z.B. die Breite des Arms), die Textur des Pullovers, die Farbe des Pullovers, das Reflexionsvermögen für Licht, Schatten, Kombinationen davon und dergleichen umfassen. Obwohl der Bildabschnitt 202-3 in dem Bereich 502 ausgefranst ist, gibt die Kontinuität der extrahierten Merkmale über dem Bildabschnitt 202-1 und dem Bildabschnitt 202-3 in dem Bereich 502 (z.B. dem Arm der Person in dem Bildabschnitt 202-1) an, dass der Bildabschnitt 202-1 und der Bildabschnitt 202-3 übereinstimmende Bildabschnitte sind (z.B. ein Paar von übereinstimmenden Bildabschnitten).
Ferner kann das Merkmalsabgleichmodul 152 eine Merkmalsübereinstimmungsbewertung zwischen Bildabschnitten berechnen. Beispielsweise können Merkmale entlang einer Mehrzahl von Punkten einer Kontur (z.B. einer Kante eines Bildabschnitts) extrahiert werden, einzeln gemäß dem Merkmal bewertet werden und die einzelnen Merkmalsbewertungen können kombiniert werden, um eine Merkmalsübereinstimmungsbewertung zwischen den Bildabschnitten zu bilden. Beispielsweise können Merkmale in Bezug auf den Hintergrund des Bildabschnitts 202-1 und des Bildabschnitts 202-3 in der 5 in dem Bereich 504 (z.B. die Farbe und das Muster eines Vorhangs im Hintergrund) extrahiert werden, und ein Merkmal kann in dem Bereich 506 (z.B. die Farbe des Haars des jungen Mädchens) extrahiert werden. Jedes der Merkmale in den Bereichen (z.B. den Bereichen 502, 504 und 506) kann in einer geeigneten Weise individuell bewertet werden. In einem Beispiel wird ein Texturmerkmal des Pullovers in dem Bereich 502 hoch bewertet (z.B. 9 von zehn), ein Farbmerkmal des Pullovers in dem Bereich 502 wird ebenfalls hoch bewertet (z.B. 9,1 von zehn), ein Strukturmerkmal in dem Bereich 504 wird mittel bewertet (z.B. 6 von zehn) und ein Farbmerkmal in dem Bereich 506 kann schlecht bewertet werden (z.B. 2,5 von zehn), und zwar auf der Basis einer schlechten Farbübereinstimmung in dem Bereich 506.
Eine Merkmalsübereinstimmungsbewertung zwischen dem Bildabschnitt 202-1 und dem Bildabschnitt 202-3 kann durch Kombinieren der einzelnen Merkmalsbewertungen in jedweder geeigneten Weise erhalten werden, wie z.B. durch Bilden eines Durchschnitts (z.B. eines gewichteten Durchschnitts) von einzelnen Bewertungen. Unter Verwendung der vier Merkmale in den drei Abschnitten mit dem Beispielbewertungssystem von zehn, das vorstehend beschrieben worden ist, kann die Merkmalsübereinstimmungsbewertung als Mittelwert der einzelnen Bewertungen berechnet werden, oder E{9,9,1,6,2,5} = 6,65 von zehn, wobei E{·} Die Erwartung angibt. Jedwede geeignete Skala und jedwedes geeignete Format für die Merkmalsübereinstimmungsbewertung kann verwendet werden, und die Skala von zehn ist ein Beispiel. Ferner kann jedwede geeignete Anzahl von Merkmalen in jedweder geeigneten Anzahl von Bereichen zum Bestimmen einer Merkmalsübereinstimmungsbewertung in jedweder geeigneten Weise verwendet werden. In einem Beispiel wird eine Merkmalsübereinstimmungsbewertung zwischen zwei Bildabschnitten als beste (z.B. höchste) einzelne Merkmalsbewertung eingestellt. In dem vorstehenden Beispiel auf der Skala von zehn würde die auf diese Weise eingestellte Merkmalsübereinstimmungsbewertung auf 9,1 von zehn eingestellt werden.
Unter erneuter Bezugnahme auf die 1 bestimmt das Merkmalsabgleichmodul 152 zweite übereinstimmende Bildabschnitte (z.B. zweite Paare von übereinstimmenden Bildabschnitten) auf der Basis von extrahierten Inhaltsmerkmalen von Bildabschnitten. In einem Beispiel bestimmt das Merkmalsabgleichmodul 152 zweite übereinstimmende Bildabschnitte auf der Basis von Merkmalsübereinstimmungsbewertungen von extrahierten Merkmalen, wie es vorstehend beschrieben worden ist. Beispielsweise kann eine Merkmalsübereinstimmungsbewertung zwischen zwei Bildabschnitten eine Schwellenbeschränkung (z.B. dass sie oberhalb einer vorgegebenen Schwelle liegt, wie z.B. 7 von zehn) erfüllen, um zu bestimmen, dass ein Paar von Bildabschnitten zweite übereinstimmende Bildabschnitte sind, die durch das Merkmalsabgleichmodul 152 bestimmt werden.
In einem Beispiel beseitigt das Merkmalsabgleichmodul 152 alle Mehrdeutigkeiten, die durch das Mehrdeutigkeitsmodul 150 angegeben werden, und zwar durch Bilden von Paaren von übereinstimmenden Bildern (z.B. eindeutigen Paaren) auf der Basis von Merkmalen, die von Bildteilen extrahiert worden sind. Beispielsweise bildet, obwohl eine Schwelle auf einer Merkmalsübereinstimmungsbewertung nicht erfüllt ist (z.B. ist die Merkmalsübereinstimmungsbewertung zu niedrig), das Merkmalsabgleichmodul 152 Paare von übereinstimmenden Bildabschnitten auf der Basis der besten (z.B. höchsten) übereinstimmenden Merkmalsabschnitte zwischen den Bildabschnitten, so dass alle Bildabschnitte folglich übereinstimmen und ein zusammengesetztes Bild automatisch gebildet werden kann.
Ferner kann das Merkmalsabgleichmodul 152 übereinstimmende Bildabschnitte zu jedweder geeigneten Datenstruktur kombinieren, wie z.B. durch Ausfüllen von Feldern von Bildabschnitten und Bildstellen (z.B. Kanten) für Paare von übereinstimmenden Bildabschnitten. Übereinstimmende Bildabschnitte, die durch das Merkmalsabgleichmodul 152 bestimmt werden (z.B. zweite übereinstimmende Bildabschnitte), werden in Merkmalsdaten 134 in dem Speicher 126 gespeichert. Ferner kann der Speicher 126 jedwede Daten speichern, die durch das Merkmalsabgleichmodul 152 berechnet worden sind oder durch dieses verwendet werden, wie z.B. Merkmalsübereinstimmungsbewertungen, und die Daten für jedwedes Modul des Bildwiederherstellungssystems 110 verfügbar machen. Darüber hinaus stellt das Merkmalsabgleichmodul 152 zweite übereinstimmende Bildabschnitte (z.B. zweite Paare von übereinstimmenden Bildabschnitten) für das zusammengesetztes Bild-Modul 154 bereit, und zwar zusammen mit jedweden geeigneten Daten, die durch das Merkmalsabgleichmodul 152 berechnet worden sind oder durch dieses verwendet werden, wie z.B. Merkmalsübereinstimmungsbewertungen.
Das zusammengesetztes Bild-Modul 154 ist für eine Funktionalität repräsentativ, die zum wieder Zusammensetzen von Bildabschnitten zu einem oder mehreren zusammengesetzten Bild(ern) auf der Basis der ersten übereinstimmenden Bildabschnitte von dem Formabgleichmodul 148, der zweiten übereinstimmenden Bildabschnitte von dem Merkmalsabgleichmodul 152 oder Kombinationen davon ausgebildet ist. In einem Beispiel setzt als Reaktion auf eine Bestimmung einer Mehrdeutigkeit von dem Mehrdeutigkeitsmodul 150, das einen Mangel an Mehrdeutigkeit angibt, das zusammengesetztes Bild-Modul 154 Bildabschnitte auf der Basis der ersten übereinstimmenden Bildabschnitte von dem Formabgleichmodul 148 wieder zusammen (z.B. ersten Paaren von übereinstimmenden Bildabschnitten, die aus Formen von Masken von Bildabschnitten bestimmt worden sind, wie es vorstehend beschrieben ist). Als Reaktion auf eine Bestimmung der Mehrdeutigkeit von dem Mehrdeutigkeitsmodul 150, die eine Mehrdeutigkeit angibt, setzt das zusammengesetztes Bild-Modul 154 Bildabschnitte auf der Basis der ersten übereinstimmenden Bildabschnitte von dem Formabgleichmodul 148 und der zweiten übereinstimmenden Bildabschnitte von dem Merkmalsabgleichmodul 152 wieder zusammen (z.B. zweiten Paaren von übereinstimmenden Bildabschnitten, die aus Inhaltsmerkmalen von Bildabschnitten bestimmt worden sind, wie es vorstehend beschrieben worden ist).
Wenn Bildabschnitte eines Scans, der durch das Scanmodul 144 erhalten worden ist, eine Mehrzahl von Bildern repräsentieren, kann das zusammengesetztes Bild-Modul 154 jeden Bildabschnitt einem einer Mehrzahl von zusammengesetzten Bildern zuordnen (z.B. auf der Basis von ersten übereinstimmenden Bildabschnitten von dem Formabgleichmodul 148, zweiten übereinstimmenden Bildabschnitten von dem Merkmalsabgleichmodul 152 oder Kombinationen davon). Die zusammengesetzten Bilder stellen die Mehrzahl von Bildern dar. In einem Beispiel setzt das zusammengesetztes Bild-Modul 154 gleichzeitig Bildabschnitte wieder zu einer Mehrzahl von zusammengesetzten Bildern zusammen.
Zusammengesetzte Bilder, die durch das zusammengesetztes Bild-Modul 154 wieder zusammengesetzt worden sind, werden in Kompositdaten 138 in dem Speicher 126 gespeichert und für das Kompensationsmodul 156 bereitgestellt. In einem Beispiel wird ein zusammengesetztes Bild, das durch das zusammengesetztes Bild-Modul 154 erzeugt worden ist, automatisch auf der Anzeige 122 angezeigt.
Als ein Beispiel für ein zusammengesetztes Bild, das aus Bildabschnitten durch das zusammengesetztes Bild-Modul 154 konstruiert wird, soll die 6 betrachtet werden, die ein Beispiel für ein zusammengesetztes Bild 600 gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung zeigt. Das zusammengesetzte Bild 600 in der 6 wird durch wieder Zusammensetzen, mit dem zusammengesetztes Bild-Modul 154, von Bildabschnitten 202 in der 2 auf der Basis von ersten übereinstimmenden Bildabschnitten von dem Formabgleichmodul 148 und zweiten übereinstimmenden Bildabschnitten von dem Merkmalsabgleichmodul 152 gebildet. Die Bildabschnitte wurden gemäß übereinstimmender Kanten von übereinstimmenden Paaren von übereinstimmenden Bildabschnitten miteinander verbunden, so dass das zusammengesetzte Bild 600 gebildet worden ist.
Ferner wurde das zusammengesetzte Bild 600 durch Hinzufügen von Material zu dem zusammengesetzten Bild 600 repariert, so dass ein Material, das in dem zusammengesetzten Bild 600 fehlt, dem zusammengesetzten Bild 600 hinzugefügt wird. Beispielsweise stellt der Bereich 602 einen Bereich eines zusammengesetzten Bilds dar, bei dem ein Loch gefüllt worden ist. Ein Loch oder eine Lücke kann in einem zusammengesetzten Bild vorliegen, wenn Bildteile durch ein zusammengesetztes Bild-Modul 154 wieder zusammengesetzt werden, wie z.B. von einer ausgefransten Kante eines Bildteils. In dem Beispiel in der 600 wurde der Bereich 602 mit einem Material von einem Bild gefüllt, das von dem zusammengesetzten Bild 600 oder den Bildabschnitten 202 verschieden ist, wie z.B. einem Bild, das von einer Bilderdatenbank, einer Nutzergalerie von Bildern, einem Social Media-Konto eines Nutzers erhalten worden ist, einem Bild, das durch das Bildergaleriemodul 142 in der 1 erhalten worden ist, Kombinationen davon und dergleichen.
Zusätzlich oder alternativ kann der Bereich 602 mit einem Material von dem zusammengesetzten Bild 600 gefüllt werden, wie z.B. einem Material von dem Bereich 604 (z.B. mit einem content-aware-fill“-Hilfsmittel). Der Bereich 604 enthält ein Material mit einer ähnlichen Textur und einer ähnlichen Farbe mit einer ähnlichen Schattierung und Beleuchtung wie ein fehlendes Material, das in einem Loch oder einer Lücke verlorengegangen ist, und kann zum Füllen des Bereichs 602 verwendet werden. Das Material wird dem zusammengesetzten Bild 600 durch das Kompensationsmodul 156 hinzugefügt.
Unter erneuter Bezugnahme auf die 1 ist das Kompensationsmodul 156 für eine Funktionalität repräsentativ, die zum Reparieren eines zusammengesetzten Bilds ausgebildet ist. In einem Beispiel fügt das Kompensationsmodul 156 ein Material, das in einem zusammengesetzten Bild fehlt, dem zusammengesetzten Bild hinzu. Beispielsweise weist das Kompensationsmodul 156 einen Zugang zu Bildern auf, die durch das Bildergaleriemodul 142 erhalten worden sind, um ein zusammengesetztes Bild zu reparieren, einschließlich Bilder von der Fotogalerie eines Nutzers (z.B. ein Online-Fototeildienst, Bilder, die in einer Bildbearbeitungsanwendung des Nutzers, wie z.B. Photoshop^®, gespeichert sind), Bilder, die ein Nutzer in einem Social Media-Post, einem Blog, einem Online-Kommentar gepostet hat, Bilder, die ein Nutzer an eine Email, einen Text oder eine andere Kommunikation angehängt hat, Bilder, die ein Nutzer auf einem Bilderteildienst gepostet hat, eine Datenbank von Bestandsbildern und dergleichen. Somit kann das Kompensationsmodul 156 einen Inhalt von jedwedem geeigneten Bild einem zusammengesetzten Bild hinzufügen, wie z.B. zum Füllen eines Lochs oder einer Lücke zwischen Bildabschnitten.
Ferner kann das Kompensationsmodul 156 jedweden geeigneten Typ von Kompensation zum Reparieren eines zusammengesetztes Bilds, wie z.B. eine Harmonisierung, das Einstellen der Beleuchtung, der Farbe, der Schattierung, des Helligkeitskontrasts, das Anwenden eines Filters, ein Mischen und dergleichen, mit einem oder mehreren Bereich(en) eines zusammengesetzten Bilds durchführen. In einem Beispiel werden Lücken zwischen Bildabschnitten in einem zusammengesetzten Bild mit einem Material von einem Bildabschnitt oder einem anderen Bild gefüllt und durch das Kompensationsmodul 156 gemischt. Demgemäß sind bei einem kompensierten zusammengesetzten Bild, das durch das Bildwiederherstellungssystem 110 erzeugt worden ist, Bildabschnitte (z.B. zerissene Teile eines Bilds) genau wieder zusammengesetzt und repariert, so dass das kompensierte zusammengesetzte Bild nicht von dem ursprünglichen Bild unterschieden werden kann, bevor es zerrissen worden ist, und dies läuft automatisch und ohne Nutzereingriff ab, wodurch verglichen mit herkömmlichen Systemen Kosten und Zeit eingespart werden.
Kompensationsdaten, wie z.B. ein kompensiertes zusammengesetztes Bild und Kompensationsparameter (z.B. das Ausmaß des Mischens, ein Indikator eines Filters, ein Ort eines Bilds oder eines Bildabschnitts, von dem ein Material kopiert wird, ein Ort eines zusammengesetzten Bilds, bei dem ein Material hinzugefügt wird, und dergleichen), werden in Kompositdaten 138 in dem Speicher 126 gespeichert. Ferner kann ein zusammengesetztes Bild vor und nach der Kompensation durch das Kompensationsmodul 156 auf jedweder geeigneten Anzeige angezeigt werden, wie z.B. der Anzeige 122.
Nachdem eine beispielhafte digitale Medienumgebung diskutiert worden ist, wird nachstehend ein Beispielsystem diskutiert, das zum automatischen und nutzereingriffslosen wieder Zusammensetzen und Reparieren von Bildabschnitten verwendet werden kann.
Beispiel für ein Bildwiederherstellungssystem
Die 7 zeigt ein Beispielsystem 700, das zum wieder Zusammensetzen und Reparieren von Teilen eines zerrissenen Bilds gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung verwendet werden kann. In dieser Implementierung umfasst das System 700 die Module der Bildwiederherstellungsanwendung 120, wie sie in der 1 beschrieben sind, z.B. das Scanmodul 144, das Maskenerzeugungsmodul 146, das Formabgleichmodul 148, das Mehrdeutigkeitsmodul 150, das Merkmalsabgleichmodul 152, das zusammengesetztes Bild-Modul 154 und das Kompensationsmodul 156. Das System 700 ist ein Beispiel des Bildwiederherstellungssystems 110, das unter Verwendung der Module der Bildwiederherstellungsanwendung 120 ausgebildet werden kann. Beispielsweise können Signale neu definiert werden und Module können modifiziert, kombiniert, aufgeteilt, hinzugefügt oder entfernt werden, so dass ein modifiziertes System gebildet wird, ohne die Funktionalität des Systems 700 zu verändern. Demgemäß werden solche modifizierten Systeme so betrachtet, dass sie innerhalb des Umfangs der Offenbarung liegen.
Ferner ist das System 700 aus Gründen der Einfachheit auf die Module der Bildwiederherstellungsanwendung 120 und eine Beschreibung einiger von deren Verbindungen beschränkt. Das System 700 kann jedoch jedwede geeignete Signale und Kommunikationen zwischen Modulen umfassen, die aus Gründen der Einfachheit weggelassen sind. Solche Signale können Taktgeber, Zähler, Bildindikatoren, Rücksetzsignale und dergleichen umfassen. Das System 700 kann automatisch und ohne Nutzereingriff arbeiten. Ferner kann das System 700 in Echtzeit arbeiten (z.B. ohne wahrnehmbare Verzögerung für einen Nutzer, sobald Scans durch das Scanmodul 144 erhalten werden). Demgemäß können Signale durch die Module des Systems 700 berechnet werden und zwischen den Modulen des Systems 700 ohne signifikante Verzögerung kommuniziert werden, so dass ein kompensiertes zusammengesetztes Bild ohne wahrnehmbare Verzögerung für einen Nutzer und ohne einen Nutzereingriff erzeugt und angezeigt werden kann.
Darüber hinaus kann das System 700 auf jedweder geeigneten Vorrichtung oder jedweden geeigneten Vorrichtungen implementiert werden. In einem Beispiel ist das System 700 auf einer Rechenvorrichtung implementiert (z.B. einer der Rechenvorrichtungen 104 in der 1). In einem weiteren Beispiel ist das System 700 auf mehr als einer Rechenvorrichtung implementiert. Beispielsweise können Teile des Systems 700 durch eine erste Rechenvorrichtung, wie z.B. die Rechenvorrichtung 104-1 in der 1, implementiert werden, und andere Teile des Systems 700 können durch (eine) zusätzliche Rechenvorrichtung oder - vorrichtungen, wie z.B. die Rechenvorrichtung 104-2, implementiert werden. In einem Beispiel implementiert ein Server Teile des Systems 700, wie z.B. der Server 116 in der 1. Ein Server kann sich weiter weg befinden, z.B. da er nicht neben der ersten Rechenvorrichtung steht. Ein Server kann so ausgebildet sein, dass er Signale des Systems 700 von einer Rechenvorrichtung empfängt (z.B. einer oder mehrerer der Rechenvorrichtungen 104), die empfangenen Signale verarbeitet, wie z.B. mit dem Bildunterstützungssystem 118, und die Ergebnisse der Verarbeitung zurück zu der Rechenvorrichtung überträgt. Somit kann das Bildunterstützungssystem 118 des Servers 116 in der 1 das System 700 umfassen.
Zusätzlich oder alternativ können Teile des Systems 700 durch eine zusätzliche Rechenvorrichtung implementiert werden, die sich bei einer ersten Rechenvorrichtung befindet. Beispielsweise kann eine der Rechenvorrichtungen 104 eine erste Rechenvorrichtung sein und die andere der Rechenvorrichtungen 104 kann eine zusätzliche zusammen angeordnete Rechenvorrichtung sein. Die erste Rechenvorrichtung und die zusätzliche Rechenvorrichtung können durch einen oder mehrere Nutzer betrieben werden. Somit sorgt das System 700 für eine Mehrzahl von Nutzern innerhalb einer Umgebung zum Teilen von Daten, die in das System 700 einbezogen sind. Beispielsweise kann ein Scan, der durch das Scanmodul 144 auf einer ersten Rechenvorrichtung erhalten worden ist, zusammen mit übereinstimmenden Bildabschnitten für eine andere Rechenvorrichtung bereitgestellt werden, die Bildabschnitte auf der Basis der übereinstimmenden Bildabschnitte wieder zusammensetzt und repariert.
Das Scanmodul 144 erhält einen oder mehrere Scan(s). Jeder Scan umfasst mindestens einen Bildabschnitt (z.B. Teile eines zerrissenen gedruckten Bilds). Ein Scan, der durch das Scanmodul 144 erhalten worden ist, kann alle Bildabschnitte von einem Bild erhalten. Zusätzlich oder alternativ können die Bildabschnitte eines Bilds über eine Mehrzahl von Scans verteilt sein, die durch das Scanmodul 144 erhalten worden sind. Ferner können Scans, die durch das Scanmodul 144 erhalten worden sind, jedwedes geeignete Format aufweisen. In einem Beispiel liegt ein erster Scan, der durch das Scanmodul 144 erhalten worden ist, in einem ersten Format vor (z.B. als „Portable Document Format“ (PDF)), und ein zweiter Scan, der durch das Scanmodul 144 erhalten worden ist, liegt in einem zweiten Format vor (z.B. als „Joint Photographic Experts Group“ (JPEG)).
Das Scanmodul 144 identifiziert Bildabschnitte in Scans, die durch das Scanmodul 144 erhalten worden sind, wie z.B. durch Trennen von Bildabschnitten in einem Vordergrund eines Scans von einem Hintergrund des Scans mit Graphenschnitttechniken, und stellt die Bildabschnitte für das Maskenerzeugungsmodul 146 und das Merkmalsabgleichmodul 152 bereit. Die Bildabschnitte, die durch das Scanmodul 144 identifiziert worden sind, können für weitere Module des Systems 700 in jedwedem geeigneten Format und in jedweder geeigneten Art und Weise bereitgestellt werden. In einem Beispiel umfasst das Bereitstellen von Bildabschnitten durch das Scanmodul 144 das Bereitstellen von Scans, die durch das Scanmodul 144 erhalten worden sind, zusammen mit Indikatoren (z.B. Stellen in den Scans) von Bildabschnitten, die durch das Scanmodul 144 identifiziert worden sind. Somit kann das Scanmodul 144 jedwede geeigneten Metadaten mit Bildabschnitten bereitstellen, wie z.B. einer Liste von Bildabschnitten mit Bezeichnungen, Anzahlen, Größen und dergleichen der Bildabschnitte. Zusätzlich oder alternativ können Bildabschnitte von einem Scan extrahiert werden, der durch das Scanmodul 144 erhalten worden ist, und für Module des Systems 700 getrennt von den Scans, die durch das Scanmodul 144 erhalten worden sind, bereitgestellt werden.
Das Maskenerzeugungsmodul 146 empfängt Bildabschnitte und Metadaten bezüglich der Bildabschnitte von dem Scanmodul 144 und erzeugt eine jeweilige Maske für jeden Bildabschnitt. Eine Maske für jeden Bildabschnitt wird durch das Maskenerzeugungsmodul 146 erzeugt, welche die Form (z.B. die Kontur) des Bildabschnitts beschreibt, ohne den Inhalt des Bildabschnitts zu beschreiben. Ein Beispiel einer Maske für einen Bildabschnitt ist eine Pixel-für-Pixel-Bitmap, die einen binären Indikator für jedes Pixel eines Scans umfasst, der angibt, ob das Pixel in einen Bildabschnitt einbezogen ist. In einem Beispiel werden Pixel einer Maske einer Farbe, wie z.B. Schwarz, zugeordnet. Zusätzlich oder alternativ werden Masken, die durch das Maskenerzeugungsmodul 146 erzeugt werden, in einer Liste von Masken in einer Reihenfolge zusammengesetzt, wie z.B. einer Reihenfolge gemäß der Form (z.B. von der größten zur kleinsten). Jede Maske ist mit einem jeweiligen Bildabschnitt verknüpft, wie z.B. mit einem Indikator eines jeweiligen Bildabschnitts. Masken, die durch das Maskenerzeugungsmodul 146 erzeugt werden, werden für das Formabgleichmodul 148 bereitgestellt. Das Maskenerzeugungsmodul 146 kann eine geordnete Liste von Masken für das Formabgleichmodul 148 bereitstellen.
Das Formabgleichmodul 148 bestimmt erste übereinstimmende Bildabschnitte (z.B. Paare von übereinstimmenden Bildabschnitten) der Bildabschnitte auf der Basis der Masken, die von dem Maskenerzeugungsmodul 146 bereitgestellt worden sind. Beispielsweise bestimmt das Formabgleichmodul 148 erste übereinstimmende Bildabschnitte auf der Basis der jeweiligen Form jedes Bildabschnitts, die durch die jeweilige Maske für jeden Bildabschnitt beschrieben ist. In einem Beispiel zerteilt das Formabgleichmodul 148 den Umriss jedes Bildabschnitts in jedwede geeignete Anzahl von Segmenten (z.B. Kanten oder Seiten des Bildabschnitts), und bestimmt Paare von übereinstimmenden Bildabschnitten entlang einer Kontur, die einer jeweiligen Kante der übereinstimmenden Bildabschnitte entspricht (z.B. wie es weiter oben in Bezug auf die 4 beschrieben worden ist).
Zusätzlich oder alternativ kann das Formabgleichmodul 148 die ersten übereinstimmenden Bildabschnitte durch Berechnen, für eine jeweilige Seite jedes Bildabschnitts (z.B. einer Kante oder eines Segments des Umrisses jedes Bildabschnitts), eines jeweiligen Moments von den Masken bestimmen, die durch das Maskenerzeugungsmodul 146 erzeugt worden sind. Ein Moment kann aus Farbtonmomenten von Bildabschnitten entlang einer Kontur bestimmt werden, wie z.B. aus einem Produkt eines Signums eines Farbtonmoments und eines Logarithmus des Farbtonmoments, wie es vorstehend beschrieben worden ist. Das Formabgleichmodul 148 kann eine Formübereinstimmungsbewertung zwischen einem Bildabschnitt und einem zusätzlichen Bildabschnitt auf der Basis einer Differenz der Momente für den einen Bildabschnitt und den zusätzlichen Bildabschnitt bestimmen, und bestimmen, ob der erste übereinstimmende Bildabschnitt den einen Bildabschnitt und den zusätzlichen Bildabschnitt auf der Basis der Formübereinstimmungsbewertung entlang einer Kontur umfasst.
In einem Beispiel ordnet das Formabgleichmodul 148 übereinstimmende Bildabschnitte in einer Liste von Bildabschnitten, wie z.B. durch Neuordnen einer Liste von Masken, die durch das Maskenerzeugungsmodul 146 erzeugt worden sind, um Paare von übereinstimmenden Bildabschnitten wiederzugeben (z.B. durch Anordnen von Indikatoren von Paaren von übereinstimmenden Bildabschnitten aufeinander folgend in einer Liste (z.B. mit Elementen von Paaren in verschiedenen Spalten oder verschachtelt in einer einzelnen Spalte)), Anordnen von Masken von nicht übereinstimmenden Bildabschnitten am unteren Ende der Liste, Gruppieren von Paaren von übereinstimmenden Bildabschnitten in einer Liste auf der Basis dessen, zu welchem Bild das Bildpaar gehört (z.B. wenn ein Scan oder Scans, der oder die durch das Scanmodul 144 erhalten worden ist oder sind, Bildabschnitte von einer Mehrzahl von Bildern umfasst oder umfassen), und dergleichen.
Das Formabgleichmodul 148 bestimmt erste übereinstimmende Bildabschnitte, die jedwede geeigneten Metadaten umfassen. Die Metadaten können Indikatoren von Paaren von übereinstimmenden Bildabschnitten entlang Konturen von Kanten, Indikatoren von Kanten von Bildabschnitten, für die abzugleichende Bildabschnitte bestimmt werden, Indikatoren von Bildabschnitten, die nicht durch das Formabgleichmodul 148 auf der Basis von Formen von Bildabschnitten, die durch Masken angegeben werden, abgeglichen werden (z.B. nicht übereinstimmende Bildabschnitte, die Übereinstimmungskriterien nicht erfüllen, wie z.B. eine zu hohe oder zu niedrige Formübereinstimmungsbewertung relativ zu einem Schwellenform-Übereinstimmungsniveau), Formübereinstimmungsbewertungen, einen Indikator, ob alle Bildabschnitte eindeutig übereinstimmen (z.B. dass es keine redundanten Übereinstimmungen (zwei oder mehr Bildabschnitte) entlang einer Kontur gibt), und dergleichen umfassen. Das Formabgleichmodul 148 stellt erste übereinstimmende Bildabschnitte, die Metadaten umfassen, für das Mehrdeutigkeitsmodul 150 und das zusammengesetztes Bild-Modul 154 bereit. In einem Beispiel ist eine Liste von Paaren von übereinstimmenden Bildabschnitten, die durch das Formabgleichmodul 148 erzeugt worden sind, mit ersten übereinstimmenden Bildabschnitten versehen.
Das Mehrdeutigkeitsmodul 150 führt eine Bestimmung durch, ob jeder Bildabschnitt in Scans, die durch das Scanmodul 144 erhalten worden sind, eindeutig in ersten übereinstimmenden Bildabschnitten übereinstimmt, die durch das Formabgleichmodul 148 empfangen worden sind. Somit kann das Mehrdeutigkeitsmodul 150 Bildabschnitte von dem Scanmodul 144 empfangen. Das Durchführen einer Bestimmung, ob jeder Bildabschnitt eindeutig in ersten übereinstimmenden Bildabschnitten übereinstimmt, kann die Bestimmung einer Mehrdeutigkeit umfassen. Die Bestimmung einer Mehrdeutigkeit ist ein binärer Indikator einer Mehrdeutigkeit, der eine Mehrdeutigkeit angibt, wenn mindestens ein Bildabschnitt in Scans, die durch das Scanmodul 144 erhalten worden sind, nicht in mindestens ein Paar von Bildabschnitten in ersten übereinstimmenden Bildabschnitten eingezogen ist, die von dem Formabgleichmodul 148 empfangen worden sind. Zusätzlich oder alternativ gibt eine Bestimmung der Mehrdeutigkeit eine Mehrdeutigkeit an, wenn eine Kontur eines Bildabschnitts (z.B. eine Kante oder ein Segment des Umrisses eines Bildabschnitts) in einer Mehrzahl von Paaren von Bildabschnitten übereinstimmt, die von dem Formabgleichmodul 148 empfangen worden sind.
Eine Bestimmung einer Mehrdeutigkeit gibt einen Mangel an Mehrdeutigkeit an, wenn keine Mehrdeutigkeit angegeben ist. Somit bestimmt, wenn eine Bestimmung der Mehrdeutigkeit einen Mangel an Mehrdeutigkeit angibt, das Mehrdeutigkeitsmodul 150, dass jeder Bildabschnitt in Scans, die durch das Scanmodul 144 erhalten worden sind, in ersten übereinstimmenden Bildabschnitten, die durch das Formabgleichmodul 148 empfangen worden sind, eindeutig übereinstimmt. Ansonsten bestimmt, wenn die Bestimmung der Mehrdeutigkeit eine Mehrdeutigkeit angibt, das Mehrdeutigkeitsmodul 150, dass jeder Bildabschnitt in Scans, die durch das Scanmodul 144 erhalten worden sind, nicht eindeutig in ersten übereinstimmenden Bildabschnitten übereinstimmt, die durch das Formabgleichmodul 148 empfangen worden sind. Das Mehrdeutigkeitsmodul 150 stellt eine Bestimmung der Mehrdeutigkeit für das zusammengesetztes Bild-Modul 154 bereit.
Zusätzlich oder alternativ zum Bestimmen von übereinstimmenden Bildabschnitten auf der Basis von Formen von Bildabschnitten, die durch Masken von dem Maskenerzeugungsmodul 146 angegeben sind, kann das System 700 übereinstimmende Bildabschnitte aus dem Inhalt der Bildabschnitte mit dem Merkmalsabgleichmodul 152 bestimmen.
Das Merkmalsabgleichmodul 152 bestimmt zweite übereinstimmende Bildabschnitte (z.B. zweite Paare von übereinstimmenden Bildabschnitten) auf der Basis von jeweiligen Inhaltsmerkmalen, die von den Bildabschnitten extrahiert worden sind. In einem Beispiel bestimmt das Merkmalsabgleichmodul 152 zweite übereinstimmende Bildabschnitte durch Extrahieren von Merkmalen von jedem der Bildabschnitte, die durch das Scanmodul 144 identifiziert worden sind. Zusätzlich oder alternativ bestimmt das Merkmalsabgleichmodul zweite übereinstimmende Bildabschnitte durch Extrahieren von Merkmalen von Bildabschnitten, die nicht eindeutig durch das Formabgleichmodul 148 abgeglichen worden sind. Somit kann das Merkmalsabgleichmodul 152 erste übereinstimmende Bildabschnitte von dem Formabgleichmodul 148 empfangen.
Das Merkmalsabgleichmodul 152 extrahiert Inhaltsmerkmale unter Verwendung von jedwedem geeigneten Merkmalsdeskriptor, wie z.B. einem rotationsinvarianten Merkmalsdeskriptor, der Merkmale, die z.B. die Farbe, die Textur, die Beleuchtung, die Schattierung und dergleichen extrahiert, so dass eine Kontinuität des Inhalts über Bildabschnitten bereitgestellt wird, wenn Bildabschnitte durch das Merkmalsabgleichmodul 152 abgeglichen werden.
In einem Beispiel bestimmt das Merkmalsabgleichmodul 152 ein Paar von übereinstimmenden Bildabschnitten, das zu einem Paar von übereinstimmenden Bildabschnitten redundant ist, die in ersten übereinstimmenden Bildabschnitten von dem Formabgleichmodul 148 angegeben worden sind. Beispielsweise kann das Merkmalsabgleichmodul 152 entlang einer Kontur (z.B. einer Kante eines ersten Bildabschnitts) einen mit dem ersten Bildabschnitt übereinstimmenden Bildabschnitt auf der Basis von Inhaltsmerkmalen der Bildabschnitte bestimmen, wenn diese entlang der gleichen Kontur vorliegen, wobei das Formabgleichmodul einen anderen mit dem ersten Bildabschnitt übereinstimmenden Bildabschnitt auf der Basis von Formen der Bildabschnitte bestimmt. In diesem Fall kann das Merkmalsabgleichmodul 152 eine Liste von ersten übereinstimmenden Bildabschnitten, die durch Formabgleichmodul 148 erzeugt worden sind, aktualisieren, wie z.B. durch Entfernen von mindestens einigen Bildabschnitten von der Liste von ersten übereinstimmenden Bildabschnitten, die durch das Formabgleichmodul 148 erzeugt worden sind. Ferner kann das Merkmalsabgleichmodul 152 eine Liste von ersten übereinstimmenden Bildabschnitten, die durch das Formabgleichmodul 148 erzeugt worden sind, mit zweiten übereinstimmenden Bildabschnitten, die durch das Merkmalsabgleichmodul 152 bestimmt worden sind, anhängen. Zusätzlich oder alternativ kann das Merkmalsabgleichmodul 152 eine separate Liste von zweiten übereinstimmenden Bildabschnitten erzeugen, die durch das Merkmalsabgleichmodul 152 bestimmt worden sind, und zwar anstatt einer Liste von ersten übereinstimmenden Bildabschnitten, die durch das Formabgleichmodul 148 erzeugt worden sind.
Die zweiten übereinstimmenden Bildabschnitte (z.B. zweite Paare von übereinstimmenden Bildabschnitten) auf der Basis von Inhaltsmerkmalen, die von Bildabschnitten extrahiert werden, werden für das zusammengesetztes Bild-Modul 154 bereitgestellt. In einem Beispiel umfassen zweite übereinstimmende Bildabschnitte, die von dem Merkmalsabgleichmodul 152 bereitgestellt werden, Informationen in Bezug auf erste übereinstimmende Bildabschnitte von dem Formabgleichmodul 148, wie z.B. einen Indikator von Bildabschnitten, die von einer Liste von übereinstimmenden Bildabschnitten entfernt werden sollen (z.B. zum Beseitigen einer Redundanz, die zwischen übereinstimmenden Bildabschnitten bezüglich der Form und übereinstimmenden Bildabschnitten bezüglich des Inhalts gefunden worden ist).
Das zusammengesetztes Bild-Modul 154 setzt Bildabschnitte wieder zu einem oder mehreren zusammengesetzten Bild(ern) zusammen. In einem Beispiel setzt als Reaktion auf die Bestimmung einer Mehrdeutigkeit von dem Mehrdeutigkeitsmodul 150, die einen Mangel an Mehrdeutigkeit angibt, das zusammengesetztes Bild-Modul 154 Bildabschnitte wieder zu einem oder mehreren zusammengesetzten Bild(ern) auf der Basis von ersten übereinstimmenden Bildabschnitten (z.B. ersten Paaren von übereinstimmenden Bildabschnitten) von dem Formabgleichmodul 148 zusammen. Als Reaktion auf eine Bestimmung einer Mehrdeutigkeit von dem Mehrdeutigkeitsmodul 150, die eine Mehrdeutigkeit angibt, setzt das zusammengesetztes Bild-Modul 154 auf der Basis von ersten Paaren von übereinstimmenden Bildabschnitten von dem Formabgleichmodul 148 und zweiten übereinstimmenden Bildabschnitten (z.B. zweiten Paaren von übereinstimmenden Bildabschnitten) von dem Merkmalsabgleichmodul 152 wieder zu einem oder mehreren zusammengesetzten Bild(ern) zusammen. Beispielsweise können zweite übereinstimmende Bildabschnitte von dem Merkmalsabgleichmodul 152 durch das zusammengesetztes Bild-Modul 154 zum Korrigieren von ersten übereinstimmenden Bildabschnitten von dem Formabgleichmodul 148 verwendet werden, wie z.B. zum Entfernen eines Paars von übereinstimmenden Bildabschnitten von ersten übereinstimmenden Bildabschnitten.
Durch wieder Zusammensetzen der Bildabschnitte verbindet oder integriert das zusammengesetztes Bild-Modul 154 die Bildabschnitte für jedes Bild zu einem einzelnen zusammengesetzten Bild auf der Basis von übereinstimmenden Bildabschnitten, die durch mindestens eines von Formen von Bildabschnitten oder Inhaltsmerkmalen von Bildabschnitten bestimmt werden. Durch gleichzeitiges Verarbeiten von Bildabschnitten von einer Mehrzahl von Bildern (z.B. einer Fotografie und eines gedruckten Vertrags) kann das zusammengesetztes Bild-Modul 154 Bildabschnitte wieder zusammensetzen, so dass eine Mehrzahl von zusammengesetzten Bildern erzeugt wird, wobei jedes einem der Mehrzahl von Bildern entspricht (z.B. einer Fotografie und eines gedruckten Vertrags). Somit kann das zusammengesetztes Bild-Modul 154 jeden Bildabschnitt einem jeweiligen der Mehrzahl von zusammengesetzten Bildern auf der Basis von ersten übereinstimmenden Bildabschnitten von dem Formabgleichmodul 148, zweiten übereinstimmenden Bildabschnitten von dem Merkmalsabgleichmodul 152 oder Kombinationen davon zuordnen.
In einem Beispiel setzt das zusammengesetztes Bild-Modul 154 Bildabschnitte in dem gleichen Format wieder zusammen wie ein Scan, der die Bildabschnitte enthält. Beispielsweise wenn ein Scanmodul 144 einen ersten Scan von Abschnitten einer Fotografie in einem JPEG-Format erhält und einen zweiten Scan von Abschnitten eines gedruckten Vertrags in einem PDF-Format erhält, setzt das zusammengesetztes Bild-Modul 154 ein erstes zusammengesetztes Bild für die Fotografie in einem JPEG-Format und ein zweites zusammengesetztes Bild für den gedruckten Vertrag in einem PDF-Format wieder zusammen.
Das zusammengesetztes Bild-Modul 154 stellt ein zusammengesetztes Bild oder mehrere zusammengesetzte Bilder für das Kompensationsmodul 156 bereit. In einem Beispiel umfasst das zusammengesetztes Bild-Modul 154 Metadaten mit den zusammengesetzten Bildern, wie z.B. Indikatoren für Löcher in einem zusammengesetzten Bild oder Lücken zwischen Bildabschnitten in einem zusammengesetzten Bild, die beim wieder Zusammensetzen der Bildabschnitte durch das zusammengesetztes Bild-Modul 154 bestimmt worden sind.
Das Kompensationsmodul 156 repariert ein zusammengesetztes Bild, das durch das zusammengesetztes Bild-Modul 154 empfangen worden ist, durch Hinzufügen von Material zu einem Bereich des zusammengesetzten Bilds. Beispielsweise fügt das Kompensationsmodul 156 ein Material, das in dem zusammengesetzten Bild fehlt, dem zusammengesetzten Bild hinzu, wie z.B. durch Hinzufügen von Material von einem Bild, das von dem zusammengesetzten Bild oder den Bildabschnitten verschieden ist (z.B. ein Bild, das von einer Datenbank oder einer Fotogalerie erhalten worden ist). In einem Beispiel wird ein Material, das dem zusammengesetzten Bild hinzugefügt wird, von dem zusammengesetzten Bild erhalten (z.B. von einem anderen Bereich des zusammengesetzten Bilds).
Ferner wendet das Kompensationsmodul 156 ein geeignetes Hilfsmittel, wie z.B. ein Mischhilfsmittel, ein Schattierungshilfsmittel, einen Filter und dergleichen, zum Reparieren eines zusammengesetzten Bilds auf jedweden geeigneten Abschnitt eines zusammengesetzten Bilds an, wie z.B. einen Bildabschnitt des zusammengesetzten Bilds, ein Material, das einem zusammengesetzten Bild hinzugefügt worden ist, einen Hintergrund, einen Vordergrund, einen isolierten Gegenstand (z.B. eine Person), Kombinationen davon und dergleichen. Durch Reparieren von einem oder mehreren zusammengesetzten Bild(ern), das oder die von dem zusammengesetztes Bild-Modul 154 bereitgestellt worden ist oder sind, erzeugt das Kompensationsmodul 156 ein zusammengesetztes Bild oder mehrere zusammengesetzte Bilder, das oder die gespeichert und angezeigt werden kann oder können, wie z.B. auf der Anzeige 122 und in dem Speicher 126 in der 1.
Das System 700 stellt eine Verbesserung gegenüber Systemen dar, die Teile eines zerrissenen Bilds manuell wieder zusammensetzen und kein Füllmaterial von anderen Bildern nutzen, wie z.B. einem Bildeditor, der ein hohes Maß an technischen Fähigkeiten und Übung durch den Nutzer oder ein Senden der Bildabschnitte zu einem professionellen Dienst erfordert (z.B. ein Hochladen von Scans von Bildabschnitten zu einem Online-Bildreparaturdienst, der teuer ist, oder ein Bereitstellen der Bildabschnitte für ein gewöhnliches Fotolabor). Durch Erzeugen von Masken für Bildabschnitte, die in einem oder mehreren Scan(s) identifiziert worden sind, bestimmt das System 700 übereinstimmende Bildabschnitte entlang Konturen (z.B. Kanten oder Seiten der Bildabschnitte) auf der Basis der Form von Masken, Inhaltsmerkmalen, die von den Bildabschnitten extrahiert worden sind, oder Kombinationen davon. In einem Beispiel werden übereinstimmende Bildabschnitte, die aus Inhaltsmerkmalen bestimmt worden sind, die von den Bildabschnitten extrahiert worden sind, zum wieder Zusammensetzen eines zusammengesetzten Bilds verwendet, wenn eine Mehrdeutigkeit bestimmt wird, wie z.B. wenn nicht alle Bildabschnitte gemäß der Formen der Masken übereinstimmen, oder redundant übereinstimmen, so dass ein wieder Zusammensetzen der Bildteile auf der Basis der Formen der Masken nicht möglich ist. Ferner kann das System 700 ein zusammengesetztes Bild durch Hinzufügen von Material zu dem zusammengesetzten Bild von einem zusätzlichen Bild reparieren (z.B. einem Bild, das von dem zusammengesetzten Bild oder Bildabschnitten verschieden ist), was mit Systemen, die auf einem Füllmaterial beruhen, das von den Bildabschnitten erhalten worden ist, nicht möglich ist. Somit kann das System 700 automatisch und ohne Nutzereingriff ein oder mehrere zusammengesetzte(s) Bild(er) von Teilen eines zerrissenen Bilds anders als herkömmliche Systeme der Bildreparatur schnell, billig und in einer wiederholbaren Weise wieder zusammensetzen.
Nachdem ein Beispielsystem 700 betrachtet worden ist, wird nachstehend eine Diskussion von Beispielverfahren zum wieder Zusammensetzen und Reparieren von Teilen eines zerrissenen Bilds gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung betrachtet.
Beispielverfahren
Die 8 zeigt ein Beispielverfahren 800 zum wieder Zusammensetzen und Reparieren von Teilen eines zerrissenen Bilds gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung. Aspekte des Verfahrens können in Hardware, Firmware oder Software oder einer Kombination davon implementiert werden. Das Verfahren ist als Satz von Blöcken gezeigt, die Vorgänge angeben, die durch eine oder mehrere Vorrichtung(en) durchgeführt werden und die nicht notwendigerweise auf die Reihenfolgen beschränkt sind, die zum Durchführen der Vorgänge durch die jeweiligen Blöcke gezeigt sind. In mindestens einigen Aspekten kann das Verfahren in einer digitalen Medienumgebung durch eine geeignet konfigurierte Rechenvorrichtung durchgeführt werden, wie z.B. durch eine oder mehrere Rechenvorrichtung(en) 104 oder einen oder mehrere Server 116 von 1, die ein Bildwiederherstellungssystem nutzen, wie z.B. das System 700 oder das Bildwiederherstellungssystem 110. Ein Bildwiederherstellungssystem, welches das Verfahren 800 implementiert, kann eine unabhängige Anwendung sein, die auf der Rechenvorrichtung installiert worden ist, ein Dienst, der von einem Dienstprovider gehostet wird, auf den durch die Rechenvorrichtung zugegriffen werden kann, ein Plug-in-Modul für die Rechenvorrichtung oder Kombinationen davon.
Es wird mindestens ein Scan erhalten (Block 802). Der mindestens eine Scan umfasst eine Mehrzahl von Bildabschnitten. Der Block 802 kann durch das Scanmodul 144 durchgeführt werden. In einem Beispiel umfasst der mindestens eine Scan eine Mehrzahl von Scans, die Bildabschnitte von einem einzelnen Bild umfassen. Zusätzlich oder alternativ kann der mindestens eine Scan eine Mehrzahl von Scans umfassen, die Bildabschnitte von einer Mehrzahl von Bildern umfassen. Die Mehrzahl von Scans kann von demselben Scantyp sein (z.B. Format) oder von verschiedenen Scantypen sein (z.B. verschiedene Dateiformate).
Es wird eine jeweilige Maske für jeden Bildabschnitt der Mehrzahl von Bildabschnitten erzeugt (Block 804). Eine jeweilige Maske beschreibt eine jeweilige Form des jeweiligen Bilds. Der Block 804 kann durch das Maskenerzeugungsmodul 146 durchgeführt werden. Das Erzeugen der jeweilige Maske für jeden Bildabschnitt kann das Trennen der Mehrzahl von Bildabschnitten in einem Vordergrund von einem Hintergrund des mindestens einen Scans umfassen. In einem Beispiel umfasst eine jeweilige Maske für jeden Bildabschnitt binäre Indikatoren für Pixel des mindestens einen Scans, die angeben, ob die Pixel in jeden Bildabschnitt einbezogen sind. Beispielsweise kann die jeweilige Maske für jeden Bildabschnitt die jeweilige Form des jeweiligen Bilds ohne Einbeziehen des Inhalts des jeweiligen Bilds beschreiben.
Die ersten übereinstimmenden Bildabschnitte der Mehrzahl von Bildabschnitten werden auf der Basis der jeweiligen Form des jeweiligen Bildabschnitts bestimmt, die durch die jeweilige Maske für jeden Bildabschnitt beschrieben wird (Block 806). Der Block 806 kann durch das Formabgleichmodul 148 durchgeführt werden. In einem Beispiel umfasst das Bestimmen von ersten übereinstimmenden Bildabschnitten das Erhalten, für eine jeweilige Seite des jeweiligen Bildabschnitts, eines jeweiligen Moments von der jeweiligen Maske für jeden Bildabschnitt, das Bestimmen einer Übereinstimmungsbewertung zwischen einem Bildabschnitt und einem zusätzlichen Bildabschnitt auf der Basis einer Differenz des jeweiligen Moments entsprechend dem einen Bildabschnitt und des jeweiligen Moments, das dem zusätzlichen Bildabschnitt entspricht, und das Bestimmen, ob die ersten übereinstimmenden Bildabschnitte, die den einen Bildabschnitt und den zusätzlichen Bildabschnitt umfassen, auf der Basis der Übereinstimmungsbewertung umfassen. Beispielsweise kann ein jeweiliges Moment aus einem Produkt des Signums eines Farbtonmoments, das von der jeweiligen Seite bestimmt worden ist, und des Logarithmus des Farbtonmoments erhalten werden.
Es wird eine Bestimmung durchgeführt, ob jeder Bildabschnitt der Mehrzahl von Bildabschnitten eindeutig in den ersten übereinstimmenden Bildabschnitten übereinstimmt (Block 808). Der Block 808 kann durch das Mehrdeutigkeitsmodul 150 durchgeführt werden. In einem Beispiel umfasst die Bestimmung, ob jeder Bildabschnitt der Mehrzahl von Bildabschnitten eindeutig in den ersten übereinstimmenden Bildabschnitten übereinstimmt, das Bestimmen, ob die ersten übereinstimmenden Bildabschnitte redundant übereinstimmende Bildabschnitte umfassen, und das Bestimmen, ob die Mehrzahl von Bildabschnitten einen Bildabschnitt umfasst, der nicht in die ersten übereinstimmenden Bildabschnitte einbezogen ist.
Als Reaktion auf die Bestimmung, dass jeder Bildabschnitt eindeutig in den ersten übereinstimmenden Bildabschnitten übereinstimmt, wird die Mehrzahl von Bildabschnitten auf der Basis der ersten übereinstimmenden Bildabschnitte wieder zu einem zusammengesetzten Bild zusammengesetzt (Block 810). Der Block 810 kann durch das zusammengesetztes Bild-Modul 154 durchgeführt werden. Die Bildabschnitte werden durch Integrieren der Bildabschnitte (z.B. durch miteinander Verbinden von Pixeln der Bildabschnitte) gemäß Paaren von ersten übereinstimmenden Bildabschnitten entlang Kanten der ersten übereinstimmenden Bildabschnitte wieder zusammengesetzt.
Als Reaktion auf die Bestimmung, dass jeder Bildabschnitt nicht eindeutig in den ersten übereinstimmenden Bildabschnitten übereinstimmt, wird mit dem Block 812 und dem Block 814 fortgefahren.
Die zweiten übereinstimmenden Bildabschnitte der Mehrzahl von Bildabschnitten werden auf der Basis von jeweiligen Inhaltsmerkmalen von Bildabschnitten bestimmt, die nicht eindeutig übereinstimmen (Block 812). Der Block 812 kann durch das Merkmalsabgleichmodul 152 durchgeführt werden. Die jeweiligen Inhaltsmerkmale der Bildabschnitte, die nicht eindeutig übereinstimmen, können von den Bildabschnitten, die nicht eindeutig übereinstimmen, mit einem rotationsinvarianten Deskriptor extrahiert werden.
Die Mehrzahl von Bildabschnitten wird zu dem zusammengesetzten Bild auf der Basis der ersten übereinstimmenden Bildabschnitte und der zweiten übereinstimmenden Bildabschnitte wieder zusammengesetzt (Block 814). Der Block 814 kann durch das zusammengesetztes Bild-Modul 154 durchgeführt werden. Die Bildabschnitte werden durch Integrieren der Bildabschnitte (z.B. durch miteinander Verbinden von Pixeln der Bildabschnitte) gemäß Paaren von ersten übereinstimmenden Bildabschnitten und zweiten übereinstimmenden Bildabschnitten entlang Kanten der ersten übereinstimmenden Bildabschnitte und der zweiten übereinstimmenden Bildabschnitte wieder zusammengesetzt.
In einem Beispiel wird das zusammengesetzte Bild durch Hinzufügen von Material zu dem zusammengesetzten Bild repariert. Das hinzugefügte Material kann von dem zusammengesetzten Bild erhalten werden. Zusätzlich oder alternativ kann das hinzugefügte Material in dem zusammengesetzten Bild fehlen und von einem Bild erhalten werden, das von dem zusammengesetzten Bild oder der Mehrzahl von Bildabschnitten verschieden ist (z.B. von der Bildergalerie eines Nutzers).
Ferner können das Erhalten des mindestens einen Scans, das Erzeugen der jeweiligen Maske, das Bestimmen der ersten übereinstimmenden Bildabschnitte und der zweiten übereinstimmenden Bildabschnitte und das wieder Zusammensetzen der Mehrzahl von Bildabschnitten zu dem zusammengesetzten Bild auf der Basis der ersten übereinstimmenden Bildabschnitte oder auf der Basis der ersten übereinstimmenden Bildabschnitte und der zweiten übereinstimmenden Bildabschnitte automatisch und ohne Nutzereingriff durchgeführt werden.
Die 9 zeigt ein Beispielverfahren 900 zum wieder Zusammensetzen und Reparieren von Teilen eines zerrissenen Bilds gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung. Aspekte des Verfahrens können als Hardware, Firmware oder Software oder eine Kombination davon implementiert werden. Das Verfahren ist als Satz von Blöcken gezeigt, die Vorgänge angeben, die durch eine oder mehrere Vorrichtung(en) durchgeführt werden und die nicht notwendigerweise auf die Reihenfolgen beschränkt sind, die zum Durchführen der Vorgänge durch die jeweiligen Blöcke gezeigt sind. In mindestens einigen Aspekten kann das Verfahren in einer digitalen Medienumgebung durch eine geeignet konfigurierte Rechenvorrichtung durchgeführt werden, wie z.B. durch eine oder mehrere Rechenvorrichtung(en) 104 oder einen oder mehrere Server 116 von 1, die ein Bildwiederherstellungssystem nutzen, wie z.B. das System 700 oder das Bildwiederherstellungssystem 110. Ein Bildwiederherstellungssystem, welches das Verfahren 900 implementiert, kann eine unabhängige Anwendung sein, die auf der Rechenvorrichtung installiert worden ist, ein Dienst, der von einem Dienstprovider gehostet wird, auf den durch die Rechenvorrichtung zugegriffen werden kann, ein Plug-in-Modul für die Rechenvorrichtung oder Kombinationen davon.
Es wird mindestens ein Scan erhalten, der eine Mehrzahl von Bildabschnitten umfasst (Block 902). Ein Scan kann durch das Scanmodul 144 erhalten werden. In einem Beispiel umfasst der mindestens eine Scan eine Mehrzahl von Scans, die ein einzelnes Bild repräsentieren. In einem weiteren Beispiel umfasst der mindestens eine Scan eine Mehrzahl von Scans, die eine Mehrzahl von Bildern repräsentieren. Beispielsweise kann es sich bei der Mehrzahl von Bildern um verschiedene Typen von Bildern handeln, wie z.B. eine Fotografie, ein Dokument, eine Karte und Seiten eines Buchs.
Eine jeweilige Maske wird durch Beschreiben einer jeweiligen Form für jeden Bildabschnitt der Mehrzahl von Bildabschnitten erzeugt (Block 904). Eine jeweilige Maske kann durch das Maskenerzeugungsmodul 146 erzeugt werden. Eine Maske umfasst keinen Kontext eines Bildabschnitts.
Erste Paare von übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten werden auf der Basis der jeweiligen Form bestimmt, die durch die jeweilige Maske für jeden Bildabschnitt beschrieben ist (Block 906). Erste Paare von übereinstimmenden Bildabschnitten können durch das Formabgleichmodul 148 bestimmt werden. In einem Beispiel werden erste Paare von übereinstimmenden Bildabschnitten auf der Basis von Formübereinstimmungsbewertungen bestimmt, die aus Momenten von Masken entlang einer Kontur (z.B. einer Kante der Maske) berechnet werden.
Es wird eine Bestimmung der Mehrdeutigkeit durchgeführt (Block 908). Eine Bestimmung der Mehrdeutigkeit kann durch das Mehrdeutigkeitsmodul 150 durchgeführt werden. Eine Bestimmung der Mehrdeutigkeit gibt eine Mehrdeutigkeit an, wenn mindestens ein Bildabschnitt der Mehrzahl von Bildabschnitten nicht in mindestens eines der ersten Paare einbezogen ist oder wenn eine Kontur eines Bildabschnitts in mehreren Paaren der ersten Paare übereinstimmt. Die Bestimmung der Mehrdeutigkeit gibt einen Mangel an Mehrdeutigkeit an, wenn die Mehrdeutigkeit nicht angegeben ist.
Die zweiten Paare von übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten werden auf der Basis von jeweiligen Inhaltsmerkmalen bestimmt, die von der Mehrzahl von Bildabschnitten extrahiert worden sind (Block 910). Zweite Paare von übereinstimmenden Bildabschnitten können durch das Merkmalsabgleichmodul 152 bestimmt werden. Zweite Paare von übereinstimmenden Bildabschnitten können aus Merkmalen bestimmt werden, welche die Kontinuität eines Inhalts über Bildabschnitten bewahren.
Ferner können als Reaktion auf die Bestimmung, die eine Mehrdeutigkeit angibt, mindestens einige Paare der ersten Paare von übereinstimmenden Bildabschnitten auf der Basis der zweiten Paare von übereinstimmenden Bildabschnitten entfernt werden. Beispielsweise wenn ein zweites Paar von übereinstimmenden Bildabschnitten, die gemäß Inhaltsmerkmalen übereinstimmen, die von den Bildabschnitten extrahiert worden sind, im Widerspruch zu einem ersten Paar von übereinstimmenden Bildabschnitten stehen, die gemäß den Formen von Masken, die den Bildabschnitten entsprechen, übereinstimmen, kann das erste Paar von übereinstimmenden Bildabschnitten entfernt werden.
Die Mehrzahl von Bildabschnitten wird wieder zu einem zusammengesetzten Bild zusammengesetzt (Block 912). Die Mehrzahl von Bildabschnitten kann durch ein zusammengesetztes Bild-Modul 154 wieder zusammengesetzt werden. Als Reaktion auf die Bestimmung, die den Mangel an Mehrdeutigkeit angibt, wird die Mehrzahl von Bildabschnitten auf der Basis von ersten Paaren von übereinstimmenden Bildabschnitten wieder zusammengesetzt. Als Reaktion auf die Bestimmung, welche die Mehrdeutigkeit angibt, wird die Mehrzahl von Bildabschnitten auf der Basis der ersten Paare von übereinstimmenden Bildabschnitten und der zweiten Paare von übereinstimmenden Bildabschnitten wieder zusammengesetzt.
Das zusammengesetzte Bild wird durch Hinzufügen von Material, das in dem zusammengesetzten Bild fehlt, zu dem zusammengesetzten Bild repariert (Block 914). Das zusammengesetzte Bild kann durch das Kompensationsmodul 156 repariert werden. In einem Beispiel wird das Material, das in dem zusammengesetzten Bild fehlt, und das dem zusammengesetztes Bild hinzugefügt wird, von einer Nutzer-Bildbibliothek erhalten, welche die Mehrzahl von Bildabschnitten nicht umfasst.
Die 10 zeigt ein Beispielverfahren 1000 zum wieder Zusammensetzen und Reparieren von Teilen eines zerrissenen Bilds gemäß eines Aspekts oder mehrerer Aspekte der Offenbarung. Aspekte des Verfahrens können als Hardware, Firmware oder Software oder eine Kombination davon implementiert werden. Das Verfahren ist als Satz von Blöcken gezeigt, die Vorgänge angeben, die durch eine oder mehrere Vorrichtung(en) durchgeführt werden und die nicht notwendigerweise auf die Reihenfolgen beschränkt sind, die zum Durchführen der Vorgänge durch die jeweiligen Blöcke gezeigt sind. In mindestens einigen Aspekten kann das Verfahren in einer digitalen Medienumgebung durch eine geeignet konfigurierte Rechenvorrichtung durchgeführt werden, wie z.B. durch eine oder mehrere Rechenvorrichtung(en) 104 oder einen oder mehrere Server 116 von 1, die ein Bildwiederherstellungssystem nutzen, wie z.B. das System 700 oder das Bildwiederherstellungssystem 110. Ein Bildwiederherstellungssystem, welches das Verfahren 1000 implementiert, kann eine unabhängige Anwendung sein, die auf der Rechenvorrichtung installiert worden ist, ein Dienst, der von einem Dienstprovider gehostet wird, auf den durch die Rechenvorrichtung zugegriffen werden kann, ein Plug-in-Modul für die Rechenvorrichtung oder Kombinationen davon.
Es wird mindestens ein Scan erhalten, der eine Mehrzahl von Bildabschnitten von einer Mehrzahl von Bildern umfasst (Block 1002). In einem Beispiel umfasst die Mehrzahl von Bildern verschiedene Typen von Dokumenten, wobei mindestens eines der Dokumente keine Fotografie umfasst. Beispielsweise kann ein Typ von Dokument ein Vertrag (z.B. ein Mietvertrag) sein und ein anderer Typ von Dokument kann ein Rezept sein (z.B. Omas geheimes Kuchenrezept). Zusätzlich oder alternativ kann die Mehrzahl von Bildern Bildabschnitte von demselben Dokumentyp umfassen, wie z.B. eine Mehrzahl von Seiten eines unterschriebenen Mietvertrags, eines Buchs, einer Zeitschrift oder dergleichen.
Es wird eine jeweilige Maske für jeden Bildabschnitt der Mehrzahl von Bildabschnitten erzeugt (Block 1004). Die jeweilige Maske beschreibt eine jeweilige Form des jeweiligen Bildabschnitts, ohne den Inhalt des jeweiligen Bildabschnitts zu umfassen.
Erste Paare von übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten werden auf der Basis der jeweiligen Form bestimmt, die durch die jeweilige Maske für jeden Bildabschnitt beschrieben ist (Block 1006). In einem Beispiel werden erste Paare von übereinstimmenden Bildabschnitten auf der Basis von Formübereinstimmungsbewertungen bestimmt, die aus Momenten von Masken entlang einer Kontur berechnet worden sind (z.B. einer Kante der Maske).
Es wird eine Bestimmung der Mehrdeutigkeit durchgeführt (Block 1008). Eine Bestimmung der Mehrdeutigkeit gibt eine Mehrdeutigkeit an, wenn mindestens ein Bildabschnitt der Mehrzahl von Bildabschnitten nicht in mindestens eines der ersten Paare einbezogen ist, oder wenn ein Bildabschnitt für die gleiche Kontur des einen Bildabschnitts in einer Mehrzahl von Paaren der ersten Paare übereinstimmt. Eine Bestimmung der Mehrdeutigkeit gibt einen Mangel an Mehrdeutigkeit an, wenn die Mehrdeutigkeit nicht angegeben ist.
Zweite Paare von übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten werden auf der Basis der jeweiligen Inhaltsmerkmale bestimmt, die von der Mehrzahl von Bildabschnitten extrahiert worden sind (Block 1010). Zweite Paare von übereinstimmenden Bildabschnitten können aus Merkmalen bestimmt werden, welche die Kontinuität eines Inhalts über Bildabschnitten bewahren.
Als Reaktion auf die Bestimmung, die den Mangel der Mehrdeutigkeit angibt, wird zu dem Block 1012 und dem Block 1014 fortgefahren.
Jeder Bildabschnitt wird einem einer Mehrzahl von zusammengesetzten Bildern auf der Basis der ersten Paare von übereinstimmenden Bildabschnitten zugeordnet (Block 1012). Die Mehrzahl von zusammengesetzten Bildern repräsentiert die Mehrzahl von Bildern. Eine Liste von übereinstimmenden Bildabschnitten für jedes Bild kann erzeugt und mit den ersten Paaren von übereinstimmenden Bildabschnitten, welche diesem Bild zugeordnet sind, besetzt werden.
Die Mehrzahl von Bildabschnitten wird auf der Basis der ersten Paare von übereinstimmenden Bildabschnitten und des Zuordnens wieder zu der Mehrzahl von zusammengesetzten Bildern zusammengesetzt (Block 1014). Somit wird jedes zusammengesetzte Bild von übereinstimmenden Bildabschnitten, die diesem Bild zugeordnet sind, wieder zusammengesetzt.
Als Reaktion auf die Bestimmung, welche die Mehrdeutigkeit angibt, wird zu dem Block 1016 und dem Block 1018 fortgefahren.
Jeder Bildabschnitt wird einem Bild der Mehrzahl von zusammengesetzten Bildern auf der Basis der ersten Paare von übereinstimmenden Bildabschnitten und der zweiten Paare von übereinstimmenden Bildabschnitten zugeordnet (Block 1016). Eine Liste von übereinstimmenden Bildabschnitten für jedes Bild kann erzeugt und mit den ersten Paaren von übereinstimmenden Bildabschnitten und den zweiten Paaren von übereinstimmenden Bildabschnitten, die diesem Bild zugeordnet sind, besetzt werden.
Die Mehrzahl von Bildabschnitten wird auf der Basis der ersten Paare von übereinstimmenden Bildabschnitten, der zweiten Paare von übereinstimmenden Bildabschnitten und des Zuordnens wieder zu der Mehrzahl von zusammengesetzten Bildern zusammengesetzt (Block 1018). Somit wird jedes zusammengesetzte Bild wieder aus übereinstimmenden Bildabschnitten zusammengesetzt, die diesem Bild zugeordnet sind.
In einem Beispiel wird die Mehrzahl von zusammengesetzten Bildern durch Hinzufügen eines Materials zu der Mehrzahl von zusammengesetzten Bildern repariert. Mindestens ein Teil des Materials wird von einem zusätzlichen Bild erhalten, das von der Mehrzahl von Bildern verschieden ist, wie z.B. einem Bild, das von Dateien, einer Bibliothek, einer Fotogalerie und dergleichen erhalten wird. In einem Beispiel umfasst die Mehrzahl von Bildern Bilder auf einem Filmstreifen und das zusätzliche Bild befindet sich auf dem Filmstreifen.
Die hier beschriebenen Verfahren stellen eine Verbesserung bezüglich Verfahren dar, bei denen Teile eines zerrissenen Bilds manuell wieder zusammengesetzt werden und die kein Füllmaterial von anderen Bildern nutzen, wie z.B. bei der Verwendung eines Bildeditors, der ein hohes Maß an technischen Fähigkeiten und Übung durch den Nutzer oder ein Senden der Bildabschnitte zu einem professionellen Dienst erfordert (z.B. ein Hochladen von Scans von Bildabschnitten zu einem Online-Bildreparaturdienst, der teuer ist, oder ein Bereitstellen der Bildabschnitte für ein gewöhnliches Fotolabor). Durch Erzeugen von Masken für Bildabschnitte, die in einem oder mehreren Scan(s) identifiziert worden sind, bestimmt das System 700 übereinstimmende Bildabschnitte entlang Konturen (z.B. Kanten oder Seiten der Bildabschnitte) auf der Basis der Formen von Masken, Inhaltsmerkmalen, die von den Bildabschnitten extrahiert worden sind, oder Kombinationen davon. In einem Beispiel werden übereinstimmende Bildabschnitte, die aus Inhaltsmerkmalen bestimmten worden sind, die von den Bildabschnitten extrahiert worden sind, zum wieder Zusammensetzen eines zusammengesetzten Bilds verwendet, wenn eine Mehrdeutigkeit bestimmt wird, wie z.B. wenn nicht alle Bildabschnitte gemäß der Formen der Masken übereinstimmen oder redundant übereinstimmen, so dass ein wieder Zusammensetzen der Bildteile auf der Basis der Formen der Masken nicht möglich ist. Ferner können die hier beschriebenen Verfahren ein zusammengesetztes Bild durch Hinzufügen von Material zu dem zusammengesetzten Bild von einem zusätzlichen Bild reparieren (z.B. einem Bild, das von dem zusammengesetzten Bild oder Bildabschnitten verschieden ist), was mit Verfahren, die auf einem Füllmaterial beruhen, das von den Bildabschnitten erhalten worden ist, nicht möglich ist. Somit können die hier beschriebenen Verfahren automatisch und ohne Nutzereingriff ein oder mehrere zusammengesetzte(s) Bild(er) von Teilen eines zerrissenen Bilds anders als herkömmliche Verfahren der Bildreparatur schnell, billig und in einer wiederholbaren Weise wieder zusammensetzen.
Nach dem Betrachten von Beispielverfahren gemäß einer oder mehreren Implementierung(en) werden nachstehend Beispielsysteme und -vorrichtungen berücksichtigt, die zur Durchführung der hier beschriebenen erfindungsgemäßen Prinzipien verwendet werden können.
Beispielsysteme und -vorrichtungen
Die 11 zeigt bei 1100 allgemein ein Beispielsystem, das eine beispielhafte Rechenvorrichtung 1102 umfasst, die für ein(e) oder mehrere Rechensystem(e) und/oder Vorrichtung(en) repräsentativ ist, welche die verschiedenen hier beschriebenen Techniken implementieren können. Dies ist durch das Einbeziehen des Bildwiederherstellungssystems 110, des Systems 700, der Bildwiederherstellungsanwendung 120 und des Bildunterstützungssystems 118 dargestellt, die in der vorstehend beschriebenen Weise arbeiten. Die Rechenvorrichtung 1102 kann beispielsweise eine Nutzerrechenvorrichtung (z.B. eine der Rechenvorrichtungen 104) oder eine Servervorrichtung eines Serviceproviders bzw. Dienstanbieters (z.B. der Server 116) sein. Ferner kann die Rechenvorrichtung 1102 ein chipinternes System („On-chip System“), eine Mehrzahl von Rechenvorrichtungen, Kombinationen davon und/oder ein(e) beliebige(s) andere(s) geeignete(s) Rechenvorrichtung oder Rechensystem umfassen. Demgemäß zeigt die 11 die Rechenvorrichtung 1102 als eines oder mehrere von einem Tablet, einem Laptopcomputer, einem Smartphone, einer Smartbrille und einer Kamera, obwohl diese Beispiele lediglich der Veranschaulichung dienen und in keinster Weise den Typ oder die Anzahl von Vorrichtungen, die in die Rechenvorrichtung 1102 einbezogen sind, beschränken sollen.
Die beispielhafte Rechenvorrichtung 1102 umfasst ein Verarbeitungssystem 1104, ein computerlesbares Medium oder mehrere computerlesbare Medien 1106 und eine oder mehrere I/O-Schnittstelle(n) 1108, die kommunikativ miteinander gekoppelt sind. Obwohl dies nicht dargestellt ist, kann die Rechenvorrichtung 1102 des Weiteren einen Systembus oder ein anderes Daten- und Befehlsübertragungssystem umfassen, das die verschiedenen Komponenten miteinander koppelt. Ein Systembus kann eine Busstruktur oder eine Kombination von verschiedenen Busstrukturen umfassen, wie z.B. einen Speicherbus oder eine Speichersteuerung, einen Peripheriebus, einen universellen seriellen Bus und/oder einen Prozessor oder einen lokalen Bus, der eine beliebige aus einer Vielzahl von Busarchitekturen verwendet. Es sind auch verschiedene andere Beispiele vorgesehen, wie z.B. Steuer- bzw. Regel- und Datenleitungen.
Das Verarbeitungssystem 1104 ist für eine Funktionalität zum Durchführen eines Vorgangs oder mehrerer Vorgänge unter Verwendung von Hardware repräsentativ. Entsprechend ist das Verarbeitungssystem 1104 derart dargestellt, dass es ein Hardwareelement 1110 umfasst, das als Prozessoren, funktionelle Blöcke, usw., konfiguriert sein kann. Dies kann eine Implementierung in Form von Hardware als anwendungsspezifische integrierte Schaltung oder andere logische Vorrichtung umfassen, die unter Verwendung eines oder mehrerer Halbleiter(s) hergestellt werden. Die Hardwareelemente 1110 sind nicht durch die Materialien, aus denen sie hergestellt sind, oder durch die dabei eingesetzten Verarbeitungsmechanismen beschränkt. Beispielsweise können Prozessoren einen Halbleiter oder mehrere Halbleiter und/oder Transistoren umfassen (beispielsweise elektronische integrierte Schaltungen (ICs)). In einem derartigen Zusammenhang können durch einen Prozessor ausführbare Anweisungen elektronisch ausführbare Anweisungen sein. Die Prozessoren 124 in der 1 sind ein Beispiel für das Verarbeitungssystem 1104.
Die computerlesbaren Speichermedien 1106 sind derart dargestellt, dass sie ein(en) Speicherelement/Speicher 1112 umfassen. Der Speicher 126 in der 1 ist ein Beispiel für den Speicher, der in das/den Speicherelement/Speicher 1112 einbezogen ist. Die Speicherelement/Speicher-Komponente 1112 kann flüchtige Medien (wie z.B. einen Speicher mit wahlfreiem Zugriff (RAM)) und/oder nichtflüchtige Medien (wie z.B. einen Nur-Lese-Speicher (ROM), einen Flash-Speicher, optische Platten, magnetische Platten, usw.) umfassen. Die Speicherelement/Speicher-Komponente 1112 kann fixierte Medien (beispielsweise RAM, ROM, ein fixiertes Festplattenlaufwerk, usw.) wie auch entnehmbare Medien (beispielsweise einen Flash-Speicher, eine entfernbare Festplatte, eine optische Platte, usw.) umfassen. Die computerlesbaren Medien 1106 können auf eine Vielzahl von anderen Arten, wie es nachstehend detailliert beschrieben wird, konfiguriert sein.
Eine Eingabe/Ausgabe-Schnittstelle 1108 oder Eingabe/Ausgabe-Schnittstellen 1108 ist oder sind für eine Funktionalität repräsentativ, die es einem Nutzer ermöglicht, Befehle und Informationen in die Rechenvorrichtung 1102 einzugeben, und sie ermöglichen zudem, dass Informationen für den Nutzer und/oder andere Komponenten oder Vorrichtungen unter Verwendung verschiedener Eingabe/Ausgabe-Vorrichtungen zur Verfügung gestellt werden. Beispiele für Eingabevorrichtungen umfassen eine Tastatur, eine Cursorsteuer- bzw. Regelvorrichtung (beispielsweise eine Maus), ein Mikrofon, einen Scanner, eine Berührfunktionalität (beispielsweise kapazitive oder andere Sensoren, die zum Erfassen einer physischen Berührung ausgestaltet sind), eine Kamera (beispielsweise eine solche, die sichtbare oder nicht-sichtbare Wellenlängen, wie z.B. Infrarotfrequenzen, einsetzen kann, um eine Bewegung, die keine Berührung umfasst, wie z.B. Gesten, zu erkennen), usw. Beispiele für Ausgabevorrichtungen umfassen eine Anzeigevorrichtung (beispielsweise einen Monitor oder Projektor), Lautsprecher, einen Drucker, eine Netzwerkkarte, eine Taktilreaktionsvorrichtung, usw. Damit kann die Rechenvorrichtung 1102 auf verschiedenartige Weise konfiguriert sein, wie es nachstehend beschrieben wird, um die Nutzerinteraktion zu unterstützen.
Die Rechenvorrichtung 1102 umfasst auch Anwendungen 1114. Die Anwendungen 1114 sind für jedwede geeigneten Anwendungen repräsentativ, die auf der Rechenvorrichtung 1102 laufen können, und können einen Webbrowser umfassen, der so betrieben werden kann, das er auf verschiedene Arten von webbasierten Resourcen zugreift (z.B. Gegenstände, Medienclips, Inhalt, Konfigurationsdateien, Dienste, Nutzerprofile und dergleichen). Die Anwendungen 1114 umfassen die Bildwiederherstellungsanwendung 120, wie sie vorstehend beschrieben worden ist. Die Anwendungen 1114 umfassen jedwede Anwendungen, die das Bildwiederherstellungssystem 110, das System 700 und das Bildunterstützungssystem 118 unterstützen.
Es können hier verschiedene Techniken im allgemeinen Zusammenhang von Software, Hardware-Elementen oder Programmmodulen beschrieben sein. Im Allgemeinen umfassen derartige Module Routinen, Programme, Objekte, Elemente, Komponenten, Datenstrukturen usw., die bestimmte Aufgaben durchführen oder bestimmte abstrakte Datentypen implementieren. Die Begriffe Modul“, „Funktionalität“ und „Komponente“, wie sie hier verwendet werden, bezeichnen allgemein Software, Firmware, Hardware oder eine Kombination davon. Die Merkmale der hier beschriebenen Techniken sind plattformunabhängig, was bedeutet, dass die Techniken auf einer Vielzahl von handelsüblichen Rechenplattformen mit einer Vielzahl von Prozessoren implementiert werden können.
Eine Implementierung der beschriebenen Module und Techniken kann über eine Form von computerlesbaren Medien gespeichert oder übertragen werden. Die computerlesbaren Medien können eine Vielzahl von Medien umfassen, auf die durch die Rechenvorrichtung 1102 zugegriffen werden kann. Beispielsweise und nicht beschränkend können computerlesbare Medien „computerlesbare Speichermedien“ und computerlesbare Signalmedien“ umfassen.
„Computerlesbare Speichermedien“ bezeichnen Medien, Vorrichtungen oder Kombinationen davon, die eine permanente oder nicht-vorübergehende Speicherung von Informationen im Gegensatz zur bloßen Signalübertragung, zu Trägerwellen oder zu Signalen als solche ermöglichen. Folglich umfassen computerlesbare Speichermedien nicht Signale als solche oder signaltragende Medien. Die computerlesbaren Speichermedien umfassen Hardware, wie z.B. flüchtige und nichtflüchtige, entfernbare und nicht-entfernbare Medien, Speichervorrichtungen oder Kombinationen davon, die mit einem Verfahren oder einer Technologie implementiert sind, die zum Speichern von Information geeignet ist, wie z.B. computerlesbare Anweisungen, Datenstrukturen, Programmmodule, logische Elemente/Schaltungen oder andere Daten. Beispiele für computerlesbare Speichermedien können unter anderem RAM, ROM, EEPROM, Flash-Speicher oder eine andere Speichertechnologie, CD-ROM, DVD oder andere optische Speicher, Festplatten, magnetische Kassetten, Magnetband, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder eine andere Speichervorrichtung, physische Medien oder einen Gegenstand mit einer Eignung zum Speichern von gewünschter Information, auf die ein Computer zugreifen kann, umfassen.
Computerlesbare Signalmedien“ können ein signaltragendes Medium bezeichnen, das zum Übertragen von Anweisungen an die Hardware der Rechenvorrichtung 1102, wie z.B. über ein Netzwerk, ausgebildet ist. Signalmedien können typischerweise computerlesbare Anweisungen, Datenstrukturen, Programmmodule oder andere Daten in einem modulierten Datensignal verkörpern, wie z.B. Trägerwellen, Datensignale oder einen anderen Transportmechanismus. Signalmedien umfassen zudem jedwede Informationsverteilungsmedien. Der Begriff „moduliertes Datensignal“ bezeichnet ein Signal, bei dem eine oder mehrere seiner Kennwerte auf eine Weise eingestellt oder geändert sind, dass Informationen in dem Signal kodiert sind. Beispielsweise und nicht beschränkend umfassen Kommunikationsmedien drahtgebundene Medien, wie z.B. ein drahtgebundenes Netzwerk oder eine direktverdrahtete Verbindung, und drahtlose Medien, wie z.B. akustische, hochfrequenzbasierte, infrarote und andere drahtlose Medien.
Wie es vorstehend beschrieben worden ist, sind die Hardwareelemente 1110 und die computerlesbaren Medien 1106 repräsentativ für Module, eine programmierbare Vorrichtungslogik, eine feste Vorrichtungslogik mit Implementierung in Hardwareform oder Kombinationen davon, die in mindestens einigen Aspekten zum Implementieren mindestens einiger Aspekte der hier beschriebenen Techniken, wie z.B. zum Durchführen einer oder mehrerer Anweisung(en), eingesetzt werden können. Die Hardware kann Komponenten einer integrierten Schaltung oder eines chipinternen Systems, eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine komplexe programmierbare logische Vorrichtung (CPLD) und andere Implementierungen aus Silizium oder anderer Hardware umfassen. In diesem Zusammenhang kann Hardware als Verarbeitungsvorrichtung arbeiten, die Programmaufgaben durchführt, die durch Anweisungen, eine Logik mit Verkörperung durch die Hardware oder Kombinationen davon definiert sind, sowie Hardware zur Verwendung beim Speichern von Anweisungen zur Ausführung sein, wie z.B. die vorstehend beschriebenen computerlesbaren Speichermedien.
Kombinationen des Vorstehenden können ebenfalls eingesetzt werden, um verschiedene der hier beschriebenen Techniken zu implementieren. Entsprechend können Software, Hardware oder ausführbare Module als eine oder mehrere Anweisung(en) und/oder eine Logik mit Verkörperung in einer beliebigen Form von computerlesbaren Speichermedien oder durch ein oder mehrere Hardwareelement(e) 1110 oder Kombinationen davon implementiert sein. Die Rechenvorrichtung 1102 kann zum Implementieren von bestimmten Anweisungen und Funktionen entsprechend den Software- und/oder Hardwaremodulen ausgelegt sein. Entsprechend kann eine Implementierung eines Moduls, das durch die Rechenvorrichtung 1102 ausführbar ist, als Software wenigstens teilweise als Hardware erreicht werden, wie z.B. durch die Verwendung von computerlesbaren Speichermedien und Hardwareelemente 1110 des Verarbeitungssystems 1104. Die Anweisungen und Funktionen können durch einen oder mehrere Gegenstände (beispielsweise ein(e) oder mehrere Rechenvorrichtung(en) 1102 und/oder Verarbeitungssystem(e) 1104) zum Implementieren von hier beschriebenen Techniken, Modulen und Beispielen ausführbar/betreibbar sein.
Die hier beschriebenen Techniken können durch verschiedene Konfigurationen der Rechenvorrichtung 1102 unterstützt werden und sind nicht auf die spezifischen Beispiele der hier beschriebenen Techniken beschränkt. Diese Funktionalität kann zudem vollständig oder teilweise durch ein „verteiltes System“ implementiert sein, wie z.B. über eine „Cloud“ 1116 mittels einer Plattform 1118, wie es nachstehend beschrieben wird.
Die Cloud 1116 umfasst eine Plattform 1118 für Ressourcen 1120 und ist für diese repräsentativ. Die Plattform 1118 abstrahiert eine darunterliegende Funktionalität von Hardware (beispielsweise Server)- und Softwareressourcen der Cloud 1116. Die Ressourcen 1120 können Anwendungen, Daten oder Anwendungen und Daten umfassen, die verwendet werden können, während eine Computerverarbeitung auf Servern ausgeführt wird, die von der Rechenvorrichtung 1102 entfernt sind. Die Ressourcen 1120 können zudem Dienste umfassen, die über das Internet, über ein Teilnehmernetzwerk, wie z.B. ein zellbasiertes oder ein Wi-Fi-Netzwerk, oder Kombinationen davon bereitgestellt werden. Die Resourcen 1120 können einen Gegenstandsspeicher 1122 umfassen, der Gegenstände, wie z.B. Bilder, Fotografien (z.B. Nutzerbilder in einer Galerie, eine Datenbank von Bestandsfotografien und dergleichen), Dokumenttemplate, Nutzerprofildaten, Nutzerbildbibliotheken, wie z.B. Fotografien, die in einem Fototeildienst gepostet worden sind, und dergleichen umfasst, und auf diese kann durch die Rechenvorrichtung 1102 zugegriffen werden.
Die Plattform 1118 kann Ressourcen und Funktionen zum Verbinden der Rechenvorrichtung 1102 mit anderen Rechenvorrichtungen abstrahieren. Die Plattform 1118 kann zudem zum Abstrahieren einer Skalierung von Ressourcen zur Bereitstellung einer entsprechenden Skalierungsebene für den vorliegenden Bedarf an Ressourcen 1120, die über die Plattform 1118 implementiert sind, dienen. Entsprechend kann bei einer wechselseitig verbundenen Ausführungsform der Vorrichtung eine Implementierung der hier beschriebenen Funktionalität über das System 1100 verteilt sein. Die Funktionalität kann beispielsweise teilweise auf der Rechenvorrichtung 1102 wie auch über die Plattform 1118, die die Funktionalität der Cloud 1116 abstrahiert, implementiert sein.
Fazit
In einer oder mehreren Implementierungen umfasst eine digitale Medienumgebung mindestens eine Rechenvorrichtung. Hier sind Systeme und Techniken zum wieder Zusammensetzen und Reparieren von Bildabschnitten (z.B. zerrissenen Teilen eines Bilds) durch Erzeugen von Masken für die Bildabschnitte, die keinen Inhalt der Bildabschnitte umfassen, und Abgleichen von Bildabschnitten entlang Konturen (z.B. Kanten oder Seiten der Bildabschnitte) auf der Basis von Formen der Masken, Inhaltsmerkmalen, die von den Bildabschnitten extrahiert worden sind, oder Kombinationen davon abhängig davon, ob eine Mehrdeutigkeit bestimmt worden ist, beschrieben. Eine Mehrdeutigkeit wird bestimmt, wenn nicht alle in den Scans enthaltenen Bildabschnitte bezüglich ihrer Form übereinstimmen oder redundant übereinstimmen. Ein zusammengesetztes Bild wird aus den Bildabschnitten auf der Basis der übereinstimmenden Bildabschnitte wieder zusammengesetzt. Ferner wird ein zusammengesetztes Bild durch Hinzufürgen von Material zu dem zusammengesetzten Bild von einem zusätzlichen Bild (z.B. einem Bild, das von dem zusammengesetzten Bild verschieden ist) repariert.
Obwohl die Erfindung in einer Sprache beschrieben worden ist, die für strukturelle Merkmale und/oder methodologische Vorgänge spezifisch ist, sollte ersichtlich sein, dass die in den beigefügten Ansprüchen definierte Erfindung nicht notwendigerweise auf die beschriebenen spezifischen Merkmale oder Vorgänge beschränkt ist. Vielmehr sind die spezifischen Merkmale und Vorgänge als beispielhafte Formen der Implementierung der beanspruchten Erfindung offenbart.

Claims

Verfahren in einer digitalen Medienumgebung zum Zusammensetzen von zerrissenen Teilen eines Bilds, wobei das Verfahren durch eine Rechenvorrichtung implementiert wird, umfassend: Erhalten, durch die Rechenvorrichtung, mindestens eines Scans, der eine Mehrzahl von Bildabschnitten umfasst; Erzeugen, durch die Rechenvorrichtung, einer jeweiligen Maske für jeden Bildabschnitt der Mehrzahl von Bildabschnitten, wobei die jeweilige Maske eine jeweilige Form jedes Bilds beschreibt; Bestimmen, durch die Rechenvorrichtung, von ersten übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten auf der Basis der jeweiligen Form des jeweiligen Bildabschnitts, die durch die jeweilige Maske für jeden Bildabschnitt beschrieben wird; Durchführen, durch die Rechenvorrichtung, einer Bestimmung, ob jeder Bildabschnitt der Mehrzahl von Bildabschnitten in den ersten übereinstimmenden Bildabschnitten eindeutig übereinstimmt; als Reaktion auf die Bestimmung, dass jeder Bildabschnitt in den ersten übereinstimmenden Bildabschnitten eindeutig übereinstimmt, wieder Zusammensetzen, durch die Rechenvorrichtung, der Mehrzahl von Bildabschnitten zu einem zusammengesetzten Bild auf der Basis der ersten übereinstimmenden Bildabschnitte; und als Reaktion auf die Bestimmung, dass jeder Bildabschnitt in den ersten übereinstimmenden Bildabschnitten nicht eindeutig übereinstimmt: Bestimmen, durch die Rechenvorrichtung, von zweiten übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten auf der Basis von jeweiligen Inhaltsmerkmalen von Bildabschnitten, die nicht eindeutig übereinstimmen; und wieder Zusammensetzen, durch die Rechenvorrichtung, der Mehrzahl von Bildabschnitten zu dem zusammengesetzten Bild auf der Basis der ersten übereinstimmenden Bildabschnitte und der zweiten übereinstimmenden Bildabschnitte.
Verfahren nach Anspruch 1, bei dem das Erzeugen der jeweiligen Maske für jeden Bildabschnitt das Trennen der Mehrzahl von Bildabschnitten in einem Vordergrund von einem Hintergrund des mindestens einen Scans umfasst.
Verfahren nach Anspruch 1 oder 2, bei dem das Bestimmen der ersten übereinstimmenden Bildabschnitte umfasst: Erhalten, für eine jeweilige Seite des jeweiligen Bildabschnitts, eines jeweiligen Moments von der jeweiligen Maske für jeden Bildabschnitt; Bestimmen einer Übereinstimmungsbewertung zwischen einem Bildabschnitt und einem zusätzlichen Bildabschnitt auf der Basis einer Differenz des jeweiligen Moments entsprechend des einen Bildabschnitts und des jeweiligen Moments, das dem zusätzlichen Bildabschnitt entspricht; und Bestimmen, ob die ersten übereinstimmenden Bildabschnitte den einen Bildabschnitt und den zusätzlichen Bildabschnitt umfassen, auf der Basis der Übereinstimmungsbewertung.
Verfahren nach Anspruch 3, bei dem das jeweilige Moment von einem Produkt eines Signums eines Farbtonmoments, das von der jeweiligen Seite bestimmt worden ist, und eines Logarithmus des Farbtonmoments erhalten wird.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die jeweilige Maske für jeden Bildabschnitt binäre Indikatoren für Pixel des mindestens eines Scans umfasst, die angeben, ob die Pixel in jeden Bildabschnitt einbezogen sind.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die jeweilige Maske für jeden Bildabschnitt die jeweilige Form jedes Bilds ohne Einbeziehen des Inhalts jedes Bilds beschreibt.
Verfahren nach einem der vorhergehenden Ansprüche, das ferner das Reparieren des zusammengesetzten Bilds durch Hinzufügen eines Materials zu dem zusammengesetzten Bild umfasst.
Verfahren nach Anspruch 7, bei dem das hinzugefügte Material von dem zusammengesetzten Bild erhalten wird.
Verfahren nach Anspruch 7 oder 8, bei dem das hinzugefügte Material in dem zusammengesetzten Bild fehlt und von einem Bild erhalten wird, das von dem zusammengesetzten Bild oder der Mehrzahl von Bildabschnitten verschieden ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die jeweiligen Inhaltsmerkmale der Bildabschnitte, die nicht eindeutig übereinstimmen, von den Bildabschnitten, die nicht eindeutig übereinstimmen, mit einem rotationsinvarianten Merkmalsdeskriptor extrahiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Durchführen der Bestimmung, ob jeder Bildabschnitt der Mehrzahl von Bildabschnitten in den ersten übereinstimmenden Bildabschnitten eindeutig übereinstimmt, umfasst: Bestimmen, ob die ersten übereinstimmenden Bildabschnitte redundante übereinstimmende Bildabschnitte umfassen; und Bestimmen, ob die Mehrzahl von Bildabschnitten einen Bildabschnitt umfasst, der nicht in die ersten übereinstimmenden Bildabschnitte einbezogen ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Erhalten des mindestens einen Scans, das Erzeugen der jeweiligen Maske, das Bestimmen der ersten übereinstimmenden Bildabschnitte und der zweiten übereinstimmenden Bildabschnitte und das wieder Zusammensetzen der Mehrzahl von Bildabschnitten zu dem zusammengesetzten Bild auf der Basis der ersten übereinstimmenden Bildabschnitte oder auf der Basis der ersten übereinstimmenden Bildabschnitte und der zweiten übereinstimmenden Bildabschnitte automatisch und ohne Nutzereingriff durchgeführt werden.
System in einer digitalen Medienumgebung zum Zusammensetzen von Bildteilen, umfassend: ein Scanmodul, das zumindest teilweise als Hardware einer Rechenvorrichtung implementiert ist, zum Erhalten mindestens eines Scans, der eine Mehrzahl von Bildabschnitten umfasst; ein Maskenerzeugungsmodul, das zumindest teilweise als Hardware der Rechenvorrichtung implementiert ist, zum Erzeugen einer jeweiligen Maske, die eine jeweilige Form für jeden Bildabschnitt der Mehrzahl von Bildabschnitten beschreibt; ein Formabgleichmodul, das zumindest teilweise als Hardware der Rechenvorrichtung implementiert ist, zum Bestimmen von ersten Paaren von übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten auf der Basis der jeweiligen Form, die durch die jeweilige Maske für jeden Bildabschnitt beschrieben ist; ein Mehrdeutigkeitsmodul, das zumindest teilweise als Hardware der Rechenvorrichtung implementiert ist, zum Durchführen einer Bestimmung einer Mehrdeutigkeit, wobei die Bestimmung einer Mehrdeutigkeit eine Mehrdeutigkeit angibt, wenn mindestens ein Bildabschnitt der Mehrzahl von Bildabschnitten nicht in mindestens eines der ersten Paare einbezogen ist, oder wenn eine Kontur eines Bildabschnitts in einer Mehrzahl von Paaren der ersten Paare übereinstimmt, wobei die Bestimmung einer Mehrdeutigkeit einen Mangel an Mehrdeutigkeit angibt, wenn die Mehrdeutigkeit nicht angegeben ist; ein Merkmalsabgleichmodul, das zumindest teilweise als Hardware der Rechenvorrichtung implementiert ist, zum Bestimmen von zweiten Paaren von übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten auf der Basis der jeweiligen Inhaltsmerkmale, die von der Mehrzahl von Bildabschnitten extrahiert worden ist; ein zusammengesetztes Bild-Modul, das zumindest teilweise als Hardware der Rechenvorrichtung implementiert ist, zum wieder Zusammensetzen der Mehrzahl von Bildabschnitten zu einem zusammengesetzten Bild auf der Basis von: als Reaktion auf die Bestimmung, die den Mangel an Mehrdeutigkeit angibt, der ersten Paare von übereinstimmenden Bildabschnitten; und als Reaktion auf die Bestimmung, welche die Mehrdeutigkeit angibt, der ersten Paare von übereinstimmenden Bildabschnitten und der zweiten Paare von übereinstimmenden Bildabschnitten; und ein Kompensationsmodul, das zumindest teilweise als Hardware der Rechenvorrichtung implementiert ist, zum Reparieren des zusammengesetzten Bilds durch Hinzufügen eines Materials, das in dem zusammengesetzten Bild fehlt, zu dem zusammengesetzten Bild.
System nach Anspruch 13, bei dem der mindestens eine Scan eine Mehrzahl von Scans umfasst.
System nach Anspruch 13 oder 14, bei dem das zusammengesetztes Bild-Modul als Reaktion auf die Bestimmung, welche die Mehrdeutigkeit angibt, zum Entfernen von mindestens einigen Paaren der ersten Paare von übereinstimmenden Bildabschnitten auf der Basis der zweiten Paare von übereinstimmenden Bildabschnitten ausgebildet ist.
System nach einem der Ansprüche 13 bis 15, bei dem das Material, das in dem zusammengesetzten Bild fehlt und dem zusammengesetzten Bild hinzugefügt wird, von einem Nutzerbibliothekbild erhalten wird, das die Mehrzahl von Bildabschnitten nicht umfasst.
Verfahren in einer digitalen Medienumgebung zum Integrieren von Bildteilen, das durch eine Rechenvorrichtung implementiert wird, wobei das Verfahren umfasst: einen Schritt zum Erhalten mindestens eines Scans, der eine Mehrzahl von Bildabschnitten einer Mehrzahl von Bildern umfasst; einen Schritt zum Erzeugen einer jeweiligen Maske für jeden Bildabschnitt der Mehrzahl von Bildabschnitten, wobei die jeweilige Maske eine jeweilige Form jedes Bildabschnitts beschreibt; einen Schritt zum Bestimmen von ersten Paaren von übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten auf der Basis der jeweiligen Form, die durch die jeweilige Maske für jeden Bildabschnitt beschrieben ist; einen Schritt zum Durchführen einer Bestimmung einer Mehrdeutigkeit, wobei die Bestimmung einer Mehrdeutigkeit eine Mehrdeutigkeit angibt, wenn mindestens ein Bildabschnitt der Mehrzahl von Bildabschnitten nicht in mindestens eines der ersten Paare einbezogen ist oder wenn ein Bildabschnitt für dieselbe Kontur des einen Bildabschnitts in einer Mehrzahl von Paaren der ersten Paare übereinstimmt, wobei die Bestimmung der Mehrdeutigkeit einen Mangel an Mehrdeutigkeit angibt, wenn die Mehrdeutigkeit nicht angegeben ist; einen Schritt zum Bestimmen von zweiten Paaren von übereinstimmenden Bildabschnitten der Mehrzahl von Bildabschnitten auf der Basis von jeweiligen Inhaltsmerkmalen, die von der Mehrzahl von Bildabschnitten extrahiert worden sind; als Reaktion auf die Bestimmung, die den Mangel an Mehrdeutigkeit angibt: einen Schritt zum Zuordnen jedes Bildabschnitts zu einem einer Mehrzahl von zusammengesetzten Bildern auf der Basis der ersten Paare von übereinstimmenden Bildabschnitten, wobei die Mehrzahl von zusammengesetzten Bildern die Mehrzahl von Bildern repräsentiert; und einen Schritt zum wieder Zusammensetzen der Mehrzahl von Bildabschnitten zu der Mehrzahl von zusammengesetzten Bildern auf der Basis der ersten Paare von übereinstimmenden Bildabschnitten und der Zuordnung; und als Reaktion auf die Bestimmung, welche die Mehrdeutigkeit angibt: einen Schritt zum Zuordnen jedes Bildabschnitt zu einem Bild der Mehrzahl von zusammengesetzten Bildern auf der Basis der ersten Paare von übereinstimmenden Bildabschnitten und der zweiten Paare von übereinstimmenden Bildabschnitten; und einen Schritt zum wieder Zusammensetzen der Mehrzahl von Bildabschnitten zu der Mehrzahl von zusammengesetzten Bildern auf der Basis der ersten Paare von übereinstimmenden Bildabschnitten, der zweiten Paare von übereinstimmenden Bildabschnitten und der Zuordnung.
Verfahren nach Anspruch 17, das ferner das Reparieren der Mehrzahl von zusammengesetzten Bildern durch Hinzufügen von Material zu der Mehrzahl von zusammengesetzten Bildern umfasst, wobei mindestens ein Teil des Materials von einem zusätzlichen Bild erhalten wird, das von der Mehrzahl von Bildern verschieden ist.
Verfahren nach Anspruch 18, bei dem die Mehrzahl von Bildern Bilder auf einem Filmstreifen umfasst und das zusätzliche Bild auf dem Filmstreifen vorliegt.
Verfahren nach einem der Ansprüche 17 bis 19, bei dem die Mehrzahl von Bildern verschiedene Typen von Dokumenten umfasst, wobei mindestens eines der Dokumente keine Fotografie umfasst.