DE69525301T2

DE69525301T2 - Verfahren und Vorrichtung zur Ausrichtung eines Satzes von Bildern

Info

Publication number: DE69525301T2
Application number: DE69525301T
Authority: DE
Inventors: Robert Melvin Goodwin; Joseph Anthony Manico
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1994-10-12
Filing date: 1995-09-26
Publication date: 2002-10-24
Anticipated expiration: 2015-09-27
Also published as: DE69525301D1; EP0707284B1; US5642443A; JP3673570B2; JPH08227458A; EP0707284A3; EP0707284A2

Description

Die vorliegende Erfindung betrifft den Bereich der Bildverarbeitung und insbesondere einen Mechanismus zum automatischen Bestimmen der Ausrichtung eines Satzes aufgezeichneter Bilder.
Automatische digitale Abbildungsanwendungen, wie die Erzeugung von Fotografien auf kompakten Speicherplatten und von Indexprints auf derartigen Speicherplatten, digital geprinteten automatischen Albumseiten usw., setzen eine einwandfreie Ausrichtung dieser Bilder voraus, bevor das fertige Ausgabebildformat erzeugt wird. Derzeit müssen diese automatischen Prozeduren durch einen geschulten Bediener unterbrochen werden, der ggf. vorhandene Ausrichtungsfehler manuell korrigiert, wie etwa Hochformatbilder oder umgekehrte Bilder. Umgekehrte Bilder oder umgedrehte Bilder treten bei Kleinbildkameras und den meisten Einwegkameras auf, bei denen sich der Filmtransport auf der rechten Kameraseite befindet. In diesen Kameras wird der Film, verglichen mit "normalen" Kameras, auf der entgegengesetzten Seite der Filmbühne eingelegt. Die von diesen Kameras erzeugten Bilder sind in dem endgültigen Ausgabeformat umgekehrt, es sei denn, der belichtete Film wird als solcher erkannt. Die manuelle Sortierung des Films ist vor der Verarbeitung nicht möglich, da es nicht bestimmt werden kann, ob die Kamera mit umgekehrtem Transport arbeitete. Einwegkameras lassen sich sortieren, jedoch ist dies eine zeitaufwändige und kostenträchtige Angelegenheit.
Die Kenntnis der Bildausrichtung eine Szene findet auch auf das optische Printen Anwendung. Beispielsweise würde der Ertrag (bezogen auf den Prozentsatz der akzeptablen/verkäuflichen Bilder) der Algorithmen zur automatischen Belichtungsbestimmung und Motivklassifizierung, der mit optischen Printen zum Einsatz kommt, erhöht werden, wenn Informationen zur Bildausrichtung verfügbar wären.
US-A-4,879,694 beschreibt ein Bildhandhabungsverfahren zur automatischen Bestimmung der Ausrichtung eines Röntgenbildes eines menschlichen Körpers in Bezug auf eine normal aufrechte Position oder eine Liegeposition von 90º, in der das Bild belichtet worden ist. Die Bestimmung der Ausrichtung stützt sich auf die Symmetrie des menschlichen Körpers in aufrechter Lage, was nicht zur Bestimmung der Ausrichtung in normalen fotografischen Bildern herangezogen werden kann.
Es besteht daher Bedarf nach einem Mechanismus, der, wenn auf die gesamten Kundenbestellungen angewandt, Filmbilder aus linksseitig beladenen Kameras von Filmbildern aus rechtsseitig beladenen Kameras unterscheiden kann. Es besteht zudem Bedarf nach einem Mechanismus zur automatischen Bestimmung der Ausrichtung eines ganzen Satzes von zu verarbeitenden Bildern ohne menschlichen Eingriff.
Erfindungsgemäß werden die beschriebenen Anforderungen durch einen Bildverarbeitungsmechanismus erfüllt, der in der Lage ist, die Ausrichtung eines Satzes aufgezeichneter Bilder durch Abtasten einer Vielzahl aufgezeichneter Bilder zu bestimmen, um Informationen über mindestens eine Szenencharakteristik zu erhalten, die asymmetrisch in den getrennt aufgezeichneten Bildern verteilt ist. Anschließend werden Wahrscheinlichkeitsberechnungen zur Ausrichtung jedes der aufgezeichneten Bilder durchgeführt, für die mindestens eine Szenencharakteristik erzielt wird, und zwar als eine Funktion der Verteilungsasymmetrie der Szenencharakteristik gemäß bekannter statistischer Wahrscheinlichkeiten für die von oben nach unten gerichtete Verteilung dieser Charakteristik. Dann wird für den Satz der aufgezeichneten Bilder eine Ausrichtungswahrscheinlichkeit aus den Wahrscheinlichkeitsberechnungen für jedes der aufgezeichneten Bilder in dem Satz ermittelt.
Die vorliegende Erfindung bestimmt die Ausrichtungen eines Satzes aufgezeichneter Bilder von Szenen durch Prüfung der Charakteristiken jeder Szene entlang der beiden Längsseiten des Bildes. Diese Seiten stellen die Oberseite und die Unterseite einer "Querformatausrichtung" dar. Im Rahmen der Erfindung sei angenommen, dass Charakteristiken in einem Teil der Querformatbilder zu finden sind, die asymmetrisch von oben nach unten verteilt sind. Beispielsweise lässt sich grasgrüne Farbe häufiger an der Unterseite einer Szene ermitteln, und in derselben Szene lässt sich nicht grasgrüne Farbe häufiger an der Oberseite der Szene ermitteln. Nach dieser Logik wären Szenen ohne gasgrüne Farbe an beiden Seiten sowie Szenen ohne grasgrüne Farbe an einer der Seiten in Bezug auf diese bestimmte Charakteristik nicht bestimmbar.
Wenn entlang der gesamten Seite einer Szene eine grüne Farbe mit einer bestimmten Sättigung gefunden wird, jedoch nicht auf der anderen Seite der Szene, dann befindet sich in mehr als 90% der Bilder die grüne Seite an der Unterseite der Szene. Wenn diese Charakteristik später in einem anderen Bild gefunden wird, dann ist die Wahrscheinlichkeit, dass sich die grüne Seite an der Unterseite befindet, immer noch 0,90. Eine andere Charakteristik mit einer verwertbaren Verteilungsasymmetrie, die in Szenen erwartungsgemäß anzutreffen ist, ist die Himmelfarbe entlang der Szenenoberseite.
Die Differenzgröße, die die Charakteristik definiert, ist ein wichtiger Faktor zur Bestimmung des Grades der Verteilungsasymmetrie. Es ist zudem zu erwarten, dass das Auffinden wiederholt auftretender charakteristischer Differenzen über das gesamte Bild hinweg mit einer Zunahme der Verteilungsasymmetrie einhergeht. Die Asymmetrie in der Verteilung ist ein direktes Maß der Wahrscheinlichkeit, mit der diese Szene richtig bestimmbar ist. Bei Gebrauch einer hypothetischen Charakteristik mit einem geringen Wert für die charakteristische Differenz und einer niedrigen Anzahl von Vorkommen dieser Charakteristik, ist die Verteilung der Vorkommen von oben nach unten relativ flach. Das Gegenteil ist der Fall, wenn sowohl die Größe als auch die Anzahl der Vorkommen hoch ist. In diesem Beispiel tritt der überwiegende Teil der Fälle für diese hypothetische Charakteristik an der Oberseite des Bildes auf.
Bei der vorliegenden Erfindung ist kein Bedienereingriff erforderlich, um Bilder in automatischen, digital erzeugten Anwendungen richtig auszurichten, z. B. für Foto- Speicherplatten, Indexprints und Photo-CD-Albenseiten. Ein weiterer Vorteil der Erfindung besteht darin, dass vorhandene Szenenausgleichsalgorithmen verwendbar sind, um Informationen an den Ausrichtungsprozessor zu liefern. Die von dem Bildausrichtungsprozessor erhaltenen Informationen sind wiederum verwendbar, um die Leistung des Szenenausgleichsalgorithmus zu verbessern.
Die vorliegende Erfindung hat den Vorteil, dass Abtastdaten mit geringer Auflösung mit einer Anzahl verschiedener Techniken verwendbar sind, um die Bildausrichtung zu bestimmen. Ein zuverlässiger Hinweis aus nur einer Szene ist zudem geeignet, um die Ausrichtung eines gesamten Satzes zu bestimmen. Wenn jedoch ein zuverlässiger Hinweis aus einer einzelnen Szene nicht erzielbar ist, kann eine überwiegende Anzahl von Nachweisen aus mehreren Bildern immer noch herangezogen werden, um die Ausrichtung des gesamten Satzes zu bestimmen.
Die Erfindung wird im folgenden anhand in der Zeichnung dargestellter Ausführungsbeispiele näher erläutert.
Es zeigen
Fig. 1 ein Blockdiagramm eines erfindungsgemäßen Bildprozessors mit einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2. ein Beispiel eines exemplarischen Abtastgitters für ein Bild;
Fig. 3a u. 3b die Umwandlung der 6 · 6 Pixelanordnung in eine 3 · 3 Pixelanordnung durch Unterabtastung;
Fig. 4 ein Beispiel der Bereiche eines Bildes, die abtastbar sind;
Fig. 5 Farbachsen und Farbtonbereiche zur Bestimmung von Farbdefinitionen;
Fig. 6 exemplarische optimale Achsen und Farbtonbereiche zur Verwendung in der Bestimmung von Farbdefinitionen;
Fig. 7 eine Kurve zur Darstellung der Beziehung der Wahrscheinlichkeit einer richtigen Ausrichtung zur mittleren Anzahl des Auftretens der in einem Bild gefundenen Charakteristik;
Fig. 8a die wachsende Wahrscheinlichkeit mit größer werdender Schwelle;
Fig. 8b die abnehmende Wahrscheinlichkeit zum Auffinden eines hohen Schwellenwerts bei zunehmender Anzahl von Bildern; und
Fig. 9 ein Modell eines gleichmäßigen Dichtegradienten.
Bevor der neue und verbesserte Mechanismus zum automatischen Bestimmen der Ausrichtung eines Satzes aufgezeichneter Bilder gemäß der vorliegenden Erfindung beschrieben wird, sei darauf hingewiesen, dass die vorliegende Erfindung vorwiegend darin implementiert ist, was als vorbestimmte digitale Bildverarbeitungstechnik gilt, die mithilfe einer konventionellen digitalen Signalverarbeitungsschaltung implementierbar ist, oder die in einer Bildverarbeitungs-Anwendungssoftware integrierbar ist, die mithilfe eines Steuerprozessors einer digitalen Bildverarbeitungs-Arbeitsstation ausführbar ist, durch die entsprechende Bilder einer Szene verarbeitet werden.
Die Art und Weise, in der derartige Bilder abgetastet und an einen digitalen Bildprozessor weitergereicht werden, ist in den Zeichnungen in Form leicht verständlicher Blockdiagramme dargestellt, die nur die Details zeigen, die für die vorliegende Erfindung von Belang sind, um nicht die Beschreibung mit Details zu belasten, die Fachleuten, an die sich die Beschreibung richtet, ohnehin klar sind. Die Darstellung der Blockdiagramme ist daher vorwiegend darauf ausgelegt, die Hauptkomponenten des Systems in einer übersichtlichen Funktionsgruppierung darzustellen, wodurch die vorliegende Erfindung leichter verständlich ist.
Fig. 1 zeigt ein Blockdiagramm eines Ausführungsbeispiels der zur Durchführung des erfindungsgemäßen Verfahrens verwendeten Vorrichtung in schematischer Form. Das erfindungsgemäße Verfahren zur Ausrichtung des "gesamten Satzes" funktioniert durch Vorabtasten der Daten von einer Endlosrolle aus Negativen, die durch einen Scanner mit hohem Durchsatz laufen. Die Endlosrolle aus Negativen 10 umfasst eine Vielzahl einzelner aufgezeichneter Bilder oder "Bildfelder" 12. Ein Scanner 14 digitalisiert die in den Bildfeldern 12 enthaltenen Informationen und stellt diese digitalisierten Informationen einem Prozessor 16 zur Verfügung. Der Prozessor 16 umfasst den erfindungsgemäßen Ausrichtungsprozessor 18 und einen konventionellen Bildprozessor 20 zur Durchführung einer weiteren Bildverarbeitung, wie Optimierung, Vergrößerung, Ausschnitt usw. Der konventionelle Bildprozessor 20 übergibt die verarbeiteten Bilder entweder an die Speichervorrichtung 22 und/oder an eine Bildwiedergabevorrichtung 24, die beispielsweise ein Thermodrucker sein kann.
Die von dem Scanner 14 bereitgestellten Daten sind ein stetiger Strom von Pixelreihen 128. Gruppen aus jeweils 192 Reihen werden in einzelnen Bildern nach einem konventionellen Bildfeldzeilen-Erfassungsalgorithmus zusammengefasst, der Daten parallel nach dem erfindungsgemäßen Ausrichtungsverfahren sammelt und kurz vor dem Ausrichtungsvorgang fertig stellt. Alternativ hierzu werden Reihengruppen von einer Vor-Vorabtast-Filmkerbeneinrichtung gesammelt, die die Bildfeldgrenzen erfasst und markiert. Es empfiehlt sich, die Zwischenspeicherung dieser Datenreihen so weit wie möglich zu begrenzen und alle notwendigen Informationen mit dem ersten Durchlaufen der Abtastdaten zu sammeln.
Fig. 2 zeigt ein exemplarisches Abtastschema, das in der vorliegenden Erfindung verwertbar ist. Die Bilddaten werden in Blöcke aus 6 Pixeln und 6 Reihen gegliedert. Wie zu erkennen ist, ergeben die 128-192 Reihen ein Gitter aus 21 · 32 Abtastbereichen (128 = 21 · 6 (+2); und 192 = 32 · 6). Dies ist mit derzeit verwendeten Szenenausgleichsalgorithmen vergleichbar, die ein Abtastgitter von 24 · 36 verwenden. In einem Ausführungsbeispiel der Erfindung werden das erste und das letzte Pixel in jeder Reihe verworfen.
Fig. 3a zeigt, dass die Pixel 2 · 2 in jedem Block in einer 3 · 3 Anordnung von Unterabtastungen gemittelt werden. Das Mitteln erfolgt im Logarithmusraum der einwirkenden Lichtmenge, einem für Szenenausgleichsalgorithmen gängigen Verfahren. Die neun 2 · 2 Mittelungen lassen sich auf verschiedene Weise verwenden. Eine Möglichkeit besteht darin, einen Wert zu erzeugen, der für das Bild an dem Punkt in dem 21 · 32 Abtastgitter repräsentativ ist. Fig. 3b zeigt alternative Gruppierungen von Unterabtastungen, die gemeinsam verwendet werden könnten, um diesen repräsentativen Wert zu erzeugen. In einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird ein "X" Abtastmuster (Bezugsziffer 26 in Fig. 3b) für alle nachfolgenden Berechnungen benutzt. Dieses Muster sieht normalerweise überlegene oder mindestens gleiche Ergebnisse für jede der anderen gezeigten Optionen vor.
Um asymmetrisch verteilte Charakteristiken abzutasten und zu erfassen, definiert der Ausrichtungsprozessor 18 zwei Abtastbereiche entlang jeder Seite des Bildes. Diese Bereiche (TOP und BTTM/oben und unten) werden in Fig. 4 gezeigt. Wie zu sehen ist, ist in diesem Ausführungsbeispiel jeder Bereich sechs "Abtastungen" tief, obwohl auch andere Bereichstiefen in dem bevorzugten Ausführungsbeispiel Verwendung finden. Jede Abtastung umfasst die fünf Unterabtastungen in dem "X" Muster 26 aus Fig. 2b. Diese Unterabtastungen sind jeweils 2 · 2 Mittelungen der Originalpixel. Getrennte Beobachtungen jeder gewünschten Szenencharakteristik mit einer potenziellen Verteilungsasymmetrie werden in jeder der 32 Reihen eines Bildes durchgeführt. Eine Nettozählung wird für jede erkannte Charakteristik geführt, um vorbestimmte Grenzen zu überschreiten, die die Asymmetrie bestimmen, während die Verarbeitung über das Bild hinweg fortschreitet. Wenn ein Wert einer Charakteristik in einer Richtung hoch ist, wird ein Zähler inkrementiert; wenn er in der entgegen gesetzten Richtung hoch ist, wird der Zähler dekrementiert. Die Nettozählung für jede der verschiedenen Charakteristiken ist dann ein Maß, das zur Wahrscheinlichkeit in Beziehung gesetzt werden könnte, dass die untere Seite (oder die obere Seite) auf einer bestimmten Seite liegt.
Wenn ein einzelnes Bild tatsächlich im Hochformat vorliegt, dann sollten die Asymmetrien verschwinden, weil die Charakteristiken sowohl an der Ober- als auch an der Unterseite entweder gleich gewertet würden, oder weil sie willkürlich gewertet werden würden. Dies ergibt tendenziell eine Nullmessung der potenziellen Asymmetrie.
Bestimmte Szeneneigenschaften sind stärker asymmetrisch als andere verteilt, und sind somit bessere Anhaltspunkte für die wirkliche Ausrichtung des Bildsatzes (des gesamten Satzes) als andere Szenencharakteristiken. Wenn es möglich wäre, eine oder mehrere hoch zuverlässige Charakteristiken in jeder Szene zu finden, dann könnte dieser Ansatz benutzt werden, um die Ausrichtung einzelner Szenen zu bestimmen, obwohl derartige Charakteristiken derzeit nicht bekannt sind. Für das von der vorliegenden Erfindung gelöste Problem der Bestimmung der Ausrichtung eines kompletten Satzes ist es jedoch nicht notwendig, eine verwertbare Charakteristik in jedem Bild zu finden. Von sehr seltenen Ausnahmen abgesehen, ist die Hochformatausrichtung aller Bilder in einem gesamten Satz gleich, d. h. entweder liegt die eine Seite oben oder die andere Seite. Indem man einen zuverlässigen Hinweis in vielleicht nur einem Bild des gesamten Satzes findet, ist es möglich, die Hochformatausrichtung des gesamten Bildsatzes mithilfe der vorliegenden Erfindung zu bestimmen. Auch wenn die Ergebnisse aus jedem einzelnen Bild keine Rückschlüsse zulassen, kann die Tendenz aus mehreren Bildern dennoch als zuverlässiger Hinweis auf die Ausrichtung dieses Bildsatzes herangezogen werden.
Der Erfolg des Verfahrens für die Bestimmung der Ausrichtung eines gesamten Satzes hängt davon ab, ob ausreichend zuverlässige Charakteristika gefunden werden, um eine verwertbar genaue Aussage für die Ausrichtung jedes Satzes treffen zu können. Der Erfolg hängt zudem von einem Verfahren zur Kombination des Ausrichtungshinweises (soweit vorhanden) von jedem Bild in dem Satz ab. In erfindungsgemäßen Ausführungsbeispielen verwendet das Verfahren zur Kombination der Ausrichtungshinweise ein Bayesisches Wahrscheinlichkeitsverteilungsmodell, um die in jedem der Bildfelder gefundenen Ergebnisse eines Satzes zu summieren. Gleichung (1) zeigt die Bayesische Regel.
Plast = Po
Plast = Pframe
...
Hinweis: wenn Plast = 0.5,
Pcurrent = Pframe
oder: wenn Pframe = 0.5,
Pcurrent = Plast
wobei:
1. Po die Wahrscheinlichkeit der Kenntnis der richtigen Ausrichtung für den Satz vor Betrachten der Bilder ist. Dies könnte beispielsweise auf der Mischung von Kameras mit linksseitiger und rechtsseitiger Beladung basieren, die an einem gegebenen Ort verarbeitet werden.
2. Plast ist die Wahrscheinlichkeit der Kenntnis der richtigen Ausrichtung für den Satz, bevor das aktuelle Bild geprüft wird.
3. Pframe ist die Wahrscheinlichkeit der Kenntnis der richtigen Ausrichtung für das aktuelle Bild anhand der Ergebnisse aus den für dieses Bild durchgeführten Beobachtungen.
4. Pcurrent ist die Wahrscheinlichkeit der Kenntnis der richtigen Ausrichtung für den Satz, einschließlich der Ergebnisse aus den für das aktuelle Bild durchgeführten Beobachtungen.
Der Bayessche Satz fordert, dass sich die Wahrscheinlichkeit auf einen Satz sich gegenseitig ausschließender und erschöpfender Alternativen bezieht. In dieser Anwendung gibt es nur zwei sich gegenseitig ausschließenden Alternativen, nämlich entweder ist der gesamte Satz "mit der richtigen Seite oben", oder er ist "umgedreht". Wenn sich "P" auf die Wahrscheinlichkeit bezieht, dass die "richtige Seite oben ist", dann ist (1 - P) die Wahrscheinlichkeit, dass der Satz "umgedreht" ist.
Die Bayes-Regel weist eine Reihe vorteilhafter Merkmale auf. Erstens bietet sie einen einfachen Weg, um die Wahrscheinlichkeit für den gesamten Satz festzuhalten, indem sie den Nachweis aus einzelnen Bildern akkumuliert. Wenn in dem aktuellen Bild kein verwertbarer Nachweis feststellbar ist, dann ergibt Pframe = 0,5 keine Änderung von Pcurrent. Es ist zudem einfach zu erkennen, dass die Regel kommutativ ist (d. h. wenn Plast und Pframe vertauscht werden, bleibt der Wert von Pcurrenc unverändert). Die Bayes-Regel ist vor allem aber assoziativ. Das bedeutet, dass die Nettoberechnung aus einer Reihe von Bildern nicht von der Reihenfolge abhängt, in der sie durchgeführt wird. Alle Nachweise aus den Bildern in einem Satz können daher akkumuliert werden, und es lässt sich eine Wahrscheinlichkeit der Ausrichtung allein aus diesem Nachweis berechnen, bevor die Wirkung aus der Verwendung unterschiedlicher Kameras eingebracht wird (d. h. mit linksseitiger oder mit rechtsseitiger Beladung). Dies ist möglich, indem man Po einfach zu Beginn jedes Satzes auf 0,5 setzt. Die Wirkung der Mischung (d. h. die anfängliche Wahrscheinlichkeit) kann zum Ende einbezogen werden. Der Wert lässt sich an jedem Benutzerort als unabhängiger Parameter einstellen.
Es gibt eine Reihe von Faktoren, die beeinflussen, wie gut die vorliegende Erfindung funktioniert. Die betreffenden Faktoren werden nachfolgend aufgeführt:
1. Die Wahrscheinlichkeit, dass eine gegebene Charakteristik die richtige Ausrichtung einwandfrei voraussagt.
2. Die Wahrscheinlichkeit, die gegebene Charakteristik in einer typischen Mischung aus Kundenbildern zu finden.
3. Die Korrelation zwischen aufeinanderfolgenden Vorkommen der gegebenen Charakteristik innerhalb eines Kundenauftrags.
4. Die Anzahl von Bildern in dem Auftrag.
5. Die Anzahl verschiedener, verwendbarer Charakteristiken.
6. Das Verfahren zur Kombination von Hinweisen aus mehreren Charakteristiken, die in einem einzelnen Bild aufgefunden wurden.
Nach der vorliegenden Erfindung wird die Wahrscheinlichkeit zur richtigen Vorhersage der Ausrichtung nicht geschätzt, wenn zwei oder mehr Charakteristiken in einem einzelnen Bild gefunden werden. Statt dessen wird die Wahrscheinlichkeit verwendet, die der am meisten zuverlässigen Charakteristik zugeordnet ist. Zukünftige Forschungen können auf ein anderes Verfahren hinauslaufen, um die Ausrichtungswahrscheinlichkeit in diesen Fällen zuzuweisen. Es ist jedoch möglich, eine solche Schätzung der gemeinsamen Wahrscheinlichkeit vorzusehen.
Die Wahrscheinlichkeit, dass eine gegebene Charakteristik die richtige Ausrichtung einwandfrei vorhersagt, hängt nicht nur von dem "Wahrheitsgehalt" der Charakteristik für querformatige Bilder ab, sondern auch von dem relativen Anteil der Male, die die Charakteristik irrtümlicherweise in Hochformatbildern aufgefunden worden ist. Während bestimmte Charakteristiken selten in Hochformatbildern gefunden werden, ist dies für andere Charakteristiken nicht der Fall. Deswegen, und weil die Mischung von Querformat und Hochformat von Benutzer zu Benutzer oder sogar für einen gegebenen Benutzer im Laufe der Zeit wechseln kann, muss die unbereinigte Querformatwahrscheinlichkeit für jede Charakteristik zur Einbeziehung dieser Tatsache abgestimmt werden. Gleichung (2) erzeugt die notwendige Korrektur. Sie stützt sich auf die Annahme, dass, wenn ein Asymmetriemaß in einem Hochformatbild aufgefunden wird, zur Hälfte die richtige Antwort und zur anderen Hälfte die falsche Antwort gegeben wird.
wobei:
1. PT ist die Wahrscheinlichkeit, dass die Charakteristik (das Maß) "M" die richtige Ausrichtung für die gegebene Mischung aus Querformat und Hochformat liefert.
2. PM ist die Wahrscheinlichkeit, dass die Charakteristik "M" die richtige Ausrichtung nur für Querformatbilder liefert.
3. fL ist der Teil aller Bilder, die querformatig sind.
4. fP/L ist das Verhältnis von Querformat- zu Hochformatbildern, in denen die Charakteristik "M" gefunden wird.
Es wurde festgestellt, dass Charakteristika auffindbar sind, deren "Wahrheitsgehalt" entgegengesetzt zur Häufigkeit des Auftretens variiert. Das wirft die Frage auf, welche Strategie besser ist: weniger zuverlässige Charakteristika in mehr Bildern zu finden, oder zuverlässigere Charakteristika in weniger Bildern zu finden. In Versuchen mit Bildern, in denen zwei verschiedene Charakteristika "gefunden" werden, wurde die Wahrscheinlichkeit, die der zuverlässigeren Charakteristik zugeordnet ist, benutzt. Es wurde festgestellt, dass, je größer die Wahrscheinlichkeit ist, dass eine gegebene Charakteristik die Ausrichtung richtig vorhersagt, je besser. Je häufiger eine zuverlässige Charakteristik gefunden wird, je weniger Sätze werden mit schwachen oder gar keinen Hinweisen gefunden, aber je mehr Sätze werden auch mit grob falschen Hinweisen gefunden. (Ein grob falscher Hinweis ist so definiert, dass eine Wahrscheinlichkeit für die Ausrichtung erzeugt wird, die derart falsch ist, dass keine vorausgehende Wahrscheinlichkeit verhindern könnte, dass der Satz falsch ausgerichtet wird.) Je weniger Bilder in dem Satz vorhanden sind, je schlechter sind (wie erwartet) die Ergebnisse. Wenn man das Maß der Zuverlässigkeit der bislang gefundenen Charakteristika bedenkt, sollten sich ausgezeichnete Ergebnisse aus Sätzen mit mindestens 24 Bildern erzielen lassen. Wenn das Auffinden einer Charakteristik in einem Satz die Wahrscheinlichkeit erhöht, dass diese Charakteristik in diesem Satz erneut aufgefunden wird (korrelierter Szeneninhalt innerhalb eines Satzes), dann ändert sich die Gesamtleistung über viele Sätze hinweg nicht wesentlich, aber Sätze mit grob falschen Hinweisen nehmen zu. Wenn eine der beiden Charakteristiken oder beide aufgefunden werden, dominiert das Verhalten der weniger zuverlässigen Charakteristik die Erzeugung von groben Fehlern, allerdings gibt es gleichzeitig viel weniger Sätze mit wenigen oder gar keinen Hinweisen.
Damit ein Ausrichtungsverfahren für einen kompletten Satz sinnvoll ist, muss es mit der gängigsten Satzgröße funktionieren, die aus 24 Bildern besteht. Die Ergebnisse von Simulationen haben gezeigt, dass entweder eine ausreichend große Gruppe von Charakteristika notwendig ist, so dass eine mit mindestens einer 80%igen Erfolgsrate in nahezu jedem Bild gefunden wird, oder dass eine kleinere Gruppe von Charakteristika mit einer Erfolgsrate von 90% notwendig ist, die in ca. 40% aller Bilder auffindbar ist. Simulationen haben zudem gezeigt, dass die Vorhersage der Ausrichtung von drei oder vier "Bildfilmteilen" eine Gruppe von Charakteristika erfordem würde, die in über 90% aller Bilder aufgefunden werden, und die alle eine Erfolgsrate von über 90% ergeben.
Wenn man eine Vielzahl von Bildern betrachtet, stellt man fest, dass einige Charakteristika häufiger an der Oberseite von Szenen auftreten, während andere Charakteristika häufiger an der Unterseite auftreten. Grasfarben und Himmelfarben sind Beispiele dafür. Für diese Charakteristika, die offenbar eine asymmetrische Verteilung aufweisen, wird das Problem zunächst darauf reduziert, ein genaues Maß für diese Charakteristik zu bestimmen und dann die Wahrscheinlichkeit zu bewerten, mit der dieses genaue Maß die Szenenausrichtung richtig wiedergibt. Andere nützliche Charakteristika können jedoch ebenfalls vorhanden sein und zusätzlich zu den beschriebenen verwendet werden.
Das Ausführungsbeispiel der vorliegenden Erfindung verwendet Szenencharakteristika, die asymmetrisch von oben nach unten verteilt sind. Diese Szenencharakteristika beinhalten Farben und Schraffuren (oder deren Fehlen). Der Farbaspekt wird zuerst beschrieben. Die Farbachse lässt sich definieren, indem man einfache Differenzen der normalisierten Grundfarben heranzieht, während sich der Tonumfang definieren lässt, indem man Werte einfach vergleicht. Sogar mit diesen Einschränkungen lassen sich zwölf Farbachsen definieren (d. h. das Vorzeichen der Farbdifferenz ist in der Definition jeder eindeutigen Farbachse enthalten). Es lassen sich zudem drei Farbtonbereiche um jede Farbachse definieren. Jede Farbachse kann von einem Bereich von 60, 120 oder 180 Grad umgeben sein. Die Farbachse braucht nicht mittig in dem Farbtonbereich angeordnet zu sein. Um diesen Werte zuzuweisen, werden Farben in dem Farbtonbereich auf die Farbachse projiziert. Fig. 5 zeigt diese Farbachsen und Farbtonbereiche. Der Test auf Farbtongrenzen, die durch die Grundfarbenachsen definiert sind, wird durch Vergleichen von zwei Farben durchgeführt. Der Test auf Farbtongrenzen, die durch die Farbdifferenzachsen definiert sind, wird nicht gezeigt, aber es handelt sich lediglich um einen Test, ob eine Grundfarbe positiv oder negativ ist.
Asymmetrisch verteilte Gras- und Himmelfarben werden in einem kleinen Teil aller Bilder aufgefunden. Zudem werden gesättigte Rot- und Blautöne häufiger im unteren als im oberen Bildteil gefunden. Dies kann auf die Zuordnung von rot und blau zu menschlichen Gegenständen zurückzuführen sein, verbunden mit der Tendenz von Menschen, sich in den unteren Bereichen der Bilder aufzuhalten. Unerwartet tritt die Rotasymmetrie so häufig wie die kombinierte Grün- und Blauasymmetrie auf. In Versuchen mit einer Datenbank von Beispielbildern, brauchten viel weniger Vorkommen einer Rotasymmetrie beobachtet zu werden (von den 32 potenziellen Vorkommen in jedem Bild), um eine verwertbare Ausrichtungswahrscheinlichkeit zu erhalten.
Die optimale Farbachse und der optimale Farbtonbereich zur Definition jeder Farbasymmetrie wird in Fig. 6 für die Beispielbilder gezeigt. Für Gras wurde die Gelb- Grün-Achse gegenüber der reinen Grünachse etwas vorgezogen (d. h. reines Grün ist durch G-(R + B)/2) gegeben).
Gleichung (3) beschreibt, wie die drei Farben abgetastet und berechnet werden. Jede Grundfarbe wird in bestimmten Ausführungsbeispielen der Erfindung durch entsprechende Werte aus einem Szenenausgleichsalgorithmus normalisiert, bevor diese benutzt werden, um das Farbsättigungssignal zu definieren, das in dem erfindungsgemäßen Verfahren tatsächlich Verwendung findet.
RX = ((RUL + RUR + RCTR + RLL + RLR)/5.0) -
GX oder BX = (ähnlich wie RX)
RDMG&sub1;&sub8;&sub0; = RX - GX (Min = 0) (3)
YLGR&sub1;&sub8;&sub0; = GX - BX (Min = 0)
BLU&sub1;&sub2;&sub0; = BX - (RX + GX)/2.0
IF(BX < GX) oder IF(BX < RX)BLU&sub1;&sub2;&sub0; = 0
wobei:
1. RUL, RUR, RCTR, RLL fünf "X" Unterabtastwerte sind.
2. RX, GX und BX sind die jedem Ort in dem 21 · 32 Abtastgitter zugeordneten Werte.
3. , und sind die geschätzten Sollwerte aus dem Szenenausgleichsalgorithmus.
4. RDMG&sub1;&sub8;&sub0; ist der Rotmagenta-Farbsättigungswert, der die rote Farbcharakteristik definiert.
5. YLGR&sub1;&sub8;&sub0; ist der Gelbgrün-Farbsättigungswert, der die grüne Farbcharakteristik definiert (die in der Szene Gras zugeordnet ist).
6. BLU&sub1;&sub2;&sub0; ist der Blau-Farbsättigungswert, der die blaue Farbcharakteristik definiert (die in der Szene einem blauen Himmel zugeordnet ist).
Der Farbsättigungswert ist nur ein Aspekt der Charakteristika. Andere Charakteristika umfassen die Verteilung der Farbsättigungswerte und deren Modulation. Die Gleichungen (4) definieren die verwendeten einfachen roten, die einfachen grünen und die einfachen blauen Maße. Wie aus den Gleichungen hervorgeht, basieren alle drei Maße darauf, wie oft die Differenz der beiden Maxima, die in den sechs Abtastungen an der Ober- und Unterseite des Bildes gefunden werden, eine gegebene Schwelle überschreitet. (Der Begriff "Oberseite" und "Unterseite" bezieht sich auf die gegenüberliegenden Seiten des Bildes. Dies sind nur nominale Begriffe, die auf der Abtastrichtung in Bezug zu beispielsweise linksseitig beladenen Kamerasystemen basieren.)
Gleichung (4) und die Folgegleichungen zeigen den Fall, wenn die Bereiche sechs Abtastungen tief sind (Fig. 4). Bei einer Tiefe von mehr oder weniger als sechs Abtastungen müssen die Gleichungen auf entsprechende Weise abgewandelt werden.
For: jt = Abtastreihe[jt = 0 31]
For: jp = Abtastnummer[ip = 0 5]
IF(RDMG&sub1;&sub8;&sub0; > RDMG )RDMG = RDMG&sub1;&sub8;&sub0;
IF(YLGR&sub1;&sub8;&sub0; > YLGR )YLGR = YLGR&sub1;&sub8;&sub0; (4)
IF(BLU&sub1;&sub2;&sub0; > BLU )BLU = BLU&sub1;&sub2;&sub0;
For: ip = Abtastnummer [ip = 15 20]
Hinweis: gleiche Berechnungen wie oben durchführen
IF((RDMG - RDMG ) > ThreshRDMG)RDMGout + = 1
IF((RDMG - RDMG ) > TlweshRDMG)RDMGout - = 1
YLGRcnt = (ähnlich wie RDMGcnt)
BLUcnt = (ähnlich wie RDMGcnt)
wobei:
1. RDMGtopmax, RDMGbttmmax Maximalwerte von RDMG&sub1;&sub8;&sub0; sind, die sich an der Ober- und Unterseite jeder Abtastlinie befinden.
2. YLGRtopmax, YLGRbttmmax Maximalwerte von YLGR&sub1;&sub8;&sub0; sind, die sich an der Ober- und Unterseite jeder Abtastlinie befinden.
3. BLUtpomax, BLUbttmmax Maximalwerte von BLU&sub1;&sub2;&sub0; sind, die sich an der Ober- und Unterseite jeder Abtastlinie befinden.
4. BLUtopave, BLUbttmave Mittelwerte von BLU&sub1;&sub2;&sub0; sind, die sich an der Ober- und Unterseite jeder Abtastlinie befinden.
5. ThreshRDMG, ThreshYLGR, ThreshBLu sind die Schwellenwerte, um die die entsprechenden Farbsättigungswerte auf einer Seite des Bildes die Farbsättigungswerte auf der anderen Seite des Bildes überschreiten müssen, um eine potenzielle Asymmetrie zu definieren.
6. RDMGcnt, YLGRcnt, BLUcnt sind Farbmaße, die die Asymmetrie signalisieren, wenn diese gefunden wird. Sie stellen dar, wie oft die entsprechender Farbsättigungswerte die Schwellenwerte auf der erwarteten Seite des Bildes überschreiten.
Da die verglichenen Farbsättigungswerte definitionsgemäß nur eine positive Größenordnung oder 0 haben, kann BLUcnt beispielsweise niemals durch zwei Gelbabtastungen (YELLOW) inkrementiert oder dekrementiert werden, von denen eine einfach weniger gelb als die andere ist, usw ...
Die Ergebnisse der Versuche mit verschiedenen Charakteristika für eine Bilddatenbank zeigten, dass die Rotcharakteristika eine viel geringere Nettoanzahl benötigen als die Grüncharakteristika, um eine verwertbare Verteilungsasymmetrie zu signalisieren. Die einfache grüne Farbe muss praktisch über dem gesamten Bild gefunden werden, um eine verwertbare Asymmetrie zu besitzen. Wenn diese gefunden wird, ist die Wahrscheinlichkeit, dass damit die richtige Ausrichtung bekannt ist, sehr gut (ca. 95%). Fig. 7 zeigt, dass die Wahrscheinlichkeit tendenziell zunimmt, wenn die Anzahl von Reihen, in denen eine Asymmetrie festgestellt wird, zunimmt. Die Wahrscheinlichkeit nimmt zudem allgemein zu, wenn der Schwellenwert angehoben wird. Fig. 8a zeigt dies für die einfache grüne Farbe, wenn diese in allen 32 Abtastreihen gefunden wird. Leider nimmt die Anzahl der Bilder, in denen dieses Maß an Differenz auffindbar ist, ab, wie in Fig. 8B gezeigt.
Tabelle 1 zeigt Ergebnisse, die typisch für die diejenigen sind, die zur Entscheidung über die genaue Definition der Rotcharakteristik herangezogen werden. Die Tabelle zeigt den Prozentsatz der Bilder und die Wahrscheinlichkeit für mehrere mögliche Definitionen der Rotcharakteristik unter Verwendung von Ergebnissen, die erzielt wurden, in dem Ergebnisse in einer gröberen und in einer feineren Histogrammzelle für verschiede Schwellenwertbereiche kombiniert worden sind. Tabelle 1 Vergleich verschiedener Rotcharakteristika
Die Rotcharakteristika sind folgendermaßen definiert:
1. RDMG&sub1;&sub8;&sub0;, die zuvor definierte Rotcharakteristik (d. h. eine Rotcharakteristik, die auf die R-G-Achse projiziert ist).
2. RDMG&sub1;&sub2;&sub0;, die gleiche Definition wie RDMG&sub1;&sub8;&sub0;, jedoch auf einen Tonwertebereich um die R-G-Achse von 120 begrenzt.
3. RDMGrd120, die gleiche Definition wie RDMG&sub1;&sub8;&sub0;, jedoch auf einen Tonwertebereich begrenzt, der um die Achse R - (G + B)/2 zentriert ist.
4. REDry&sub1;&sub2;&sub0;, eine Rotcharakteristik, die auf die Achse R - (G + B)/2 projiziert ist und dann auf Tonwertebereich um die R-G-Achse von 120 mittig begrenzt ist.
Keine der Definitionen von rot ergibt die beste Leistung (also den höchsten Prozentsatz an Bildern mit der höchsten Wahrscheinlichkeit) für sämtliche Kombinationen von Schwellenwertbereichen und Nettoanzahl. Allerdings zählt RDMG&sub1;&sub8;&sub0; im Allgemeinen in allen aufgeführten Bereichen zu den besten. In der vorliegenden Erfindung werden ähnliche Entscheidungen für jede der Charakteristika getroffen, die zur Bestimmung der Ausrichtung dienen.
Eine weitere Asymmetrie, die sich in typischen Endbenutzerbildern beobachten lässt, ist die Tatsache, dass unmodulierte Bereiche häufiger an der Oberseite der Szenen als an der Unterseite anzutreffen sind. Gleichungen (5) definieren eine Charakteristik, die diese Asymmetrie zu erfassen versucht. Sie definiert eine gleichmäßige Charakteristik basierend auf den Grünwerten (GREEN) für den Logarithmus der einwirkenden Lichtmenge innerhalb jedes Abtastmusters. Da die Farbe hier keine Bedeutung hat, wird keine Szenennormalisierung benötigt.
For: jt = Abtastreihe [jt = 0 31]
For: ip = Abtastnummer [ip = 0 5]
For: kx = X Abtastung [kx = ul, ur, ctr, ll, lr]
kx = (G&sub1;&sub1; + G&sub1;&sub2; + G&sub1;&sub2; + G&sub2;&sub2;)/4.0
ΔGkx = ( G&sub1;&sub1; - kg + G&sub1;&sub2; - kx + G&sub2;&sub1; - kx + G&sub2;&sub2; + kx )/4.0
ΔG = ΔGkx
For: ip = Abtastnummer [ip = 15 20]
Hinweis: gleiche Berechnung wie oben durchführen
IF(ΔG > Glowlim) &
IF(ΔG < Thresh&sub1; & ΔG > Thresh&sub2;)ΔGcnt + = 1
IF(ΔG > Glowlim) &
IF(ΔG < Thresh&sub1; & ΔG > Thresh&sub2;)ΔGcnt - = 1
wobei:
1. Gkx ist der mittlere Grünwert (GREEN) für den Logarithmus der einwirkenden Lichtmenge für jede der fünf Komponenten aus den "X" Unterabtastungen aus der oberen oder unteren Abtastreihe.
2. ΔGkx ist die absolute Abweichung jedes Elements von seinem Mittelwert für jede der fünf Komponenten der "X" Unterabtastungen aus der oberen oder unteren Abtastreihe.
3. ΔG¹ave ist die mittlere Abweichung an jeder der "X" Unterabtastungen aus der oberen oder unteren Abtastreihe.
4. ΔGtopmax, ΔGtopmin, ΔGbttmmax, ΔGbttmmin sind die maximalen und minimalen mittleren Differenzen, die in der oberen oder unteren Abtastreihe auffindbar sind.
5. ΔGtopave, ΔGbttmave sind das Mittel der mittleren Differenzen, die in der oberen oder unteren Abtastreihe auffindbar sind.
6. XNR ist ein (standardisiertes) Maß der Verteilungsasymmetrie der Werte, die ΔGtopave und ΔGbttmave ausmachen. XNR erstreckt sich zwischen -1 und 1.
7. ΔGtopadjave, ΔGbttmadjave sind das Mittel der mittleren Differenzen nach Anpassung auf übermäßige Asymmetrie, die in der oberen und unteren Abtastreihe auffindbar ist.
8. Glowlim ist ein Bildwert, der den Bildwert geringfügig überschreitet, der aus der Unterbelichtung eines Objekts mit niedrigem Reflexionsvermögen resultiert.
9. Thresh&sub1; ist der untere Schwellenwert und Thresh&sub2; ist der obere Schwellenwert, der die potenzielle Glätteasymmetrie definiert.
10. ΔGcnt Ist das Glättemaß, das signalisiert, dass die Asymmetrie aufgefunden worden ist. Es stellt netto dar, wie oft ein glatter Bereich auf der erwarteten Seite des Bildes aufgefunden worden ist.
Es gibt praktisch unbegrenzt viele Möglichkeiten, um einen Bereich mit niedriger Modulation zu definieren. In den zuvor genannten Gleichungen erfolgt eine Anpassung unter Verwendung eines als XNR bezeichneten Parameters. Dies ist eine Statistik, die seit Jahren in bekannten Szenenausgleichsalgorithmen Verwendung findet. Sie erfasst unter anderem Rauschszenen mit niedriger Modulation, die seit Jahren von automatischen Printern zu dunkel ausgegeben werden. Die Gleichungen (6) zeigen zudem die Verwendung von XNR zur Reduzierung oder Beseitigung der Wirkung eines ungewöhnlich hohen Wertes aus einem Mittel von ansonsten ähnlichen Werten n. Nach der ursprünglichen Definition könnte XNR im Wertebereich von - (n - 2)/n bis (n - 2)/n liegen. In der vorliegenden Erfindung wurde XNR auf einen Wert von -1 bis 1 standardisiert. Sein Nutzen steigt, wenn die sechs Abtastungen in einer Reihe in einem im Wesentlichen gleichförmigen Bereich liegen, der allerdings einen modulierten Bereich an einem oder an dem anderen Ende berührt, der eine kleinere Modulation kreuzt, wie z. B. eine Kraftlinie. In diesen Fällen wird die einzelne fehlleitende Modulation durch die Einstellung herabgesetzt. Diese Art der Einstellung wird auch durch Definition einiger der anderen nachfolgend beschriebenen Maße vorgenommen.
wobei:
1. XNRstd ist das standardisierte Maß der Verteilungsasymmetrie der möglicherweise einzustellenden Werte.
2. Vmax, Vmin, Vave sind das Maximum, das Minimum und das Mittel der Verteilung der möglicherweise einzustellenden Werte.
3. n ist die Anzahl der Werte, die die Abtastung ausmachen.
4. Vadj ist der Wert von Vave, abgestimmt auf übermäßige positive Asymmetrie. Die Abstimmung ist offensichtlich eine lineare Interpolation zwischen dem Mittel, das Vmax einschließt, und dem Mittel, das Vmax ausschließt.
Um auf die einfache Gleichmäßigkeitscharakteristik zurückzukommen, kann deren Glättedefinition durch einen gleichmäßigen Gradienten irritiert werden, wie er durch eine Punktquelle erzeugt wird, die eine langgestreckte, gleichmäßige Oberfläche beleuchtet, oder durch eine Linse mit starker Vignettierung. Die letzte zu beschreibende Charakteristik soll einen gleichmäßig linearen Gradienten erkennen. Fig. 9 zeigt dieses Konzept. Es gibt sechs "X" Abtastungen unten und oben auf jeder Abtastreihe. Eine Chi-Quadrat-Probe dient dazu, die Hypothese zu testen, ob die Werte der Unterabtastungen auf einem linearen Gradienten liegen. Die achtzehn erwarteten Ebenen sind durch eine lineare Interpolation (Extrapolation) zwischen zwei Endpunkten definiert, die wiederum durch die Mittelpunkt des ersten und letzten "X" definiert sind. Die diesen beiden Zentren zugeordneten, erwarteten Werte sind einfach das Mittel der fünf Werte, die das "X" Muster an jedem Ort ausmachen. Die Gleichungen (7) definieren das Maß des glatten Gradienten.
For: jt = Abtastreihe [jt = 0 31]
For: ip = Abtastnummer [ip = 0 5]
For: kx = X Abtastung (kx = ul, ur, ctr, ll, lr]
Offset(kx) = [-1, -1, 0, 1, 1]
For: ip = Abtastnummer [4 = 15 20]
Hinweis: gleiche Berechnungen wie oben durchführen
IF(ΔG > Glowlim) &.
IF(G > ThreshΔ1 & G > ThreshΔ2)Gx²cnt + = 1
IF(ΔG > Glowlim) &
IF(G < ThreshΔ1 & G > ThreshΔ2)Gx²cnt - = 1
wobei:
1. Gstrt0aim, Gstrt15aim sind das Mittel der fünf Unterabtastungen zu Begin der oberen und unteren Bereiche jeder Reihe.
2. Gtpograd, Gbttmgrad sind die Zielgradienten zwischen dem Beginn und dem Ende der oberen und unteren Bereiche jeder Reihe.
3. Gtopjx2, Gbttmjx2 sind das Maß der Abweichung der tatsächlichen Daten von dem erwarteten linearen Gradienten.
4. ThreshΔ1, ThreshΔ2 sind die Schwelle an den Abweichungen von dem linearen Gradienten, der die Asymmetrie der Verteilung der Bereiche von glatten, gleichmäßigen Gradienten definiert.
5. Glowlim ist ein Bildwert, der den Bildwert leicht überschreitet, der aus der Unterbelichtung resultiert.
6. Gx2cnt ist das glatte, gleichmäßige Gradientenmaß, das die Asymmetrie signalisiert, wenn diese gefunden wird. Sie stellt netto dar, wie oft ein relativ glatter, gleichmäßiger Gradient auf der erwarteten Seite des Bildes gefunden wird.
Tabelle 2 listet die Maße auf, die in einem Ausführungsbeispiel der vorliegenden Erfindung Verwendung finden. Diese Tabelle zeigt die Schwellenwerte, wie oft eine Asymmetrie in der Verteilung signalisiert wird, die Bereichstiefe in den Abtastungen, die Wahrscheinlichkeit, dass dieses Maß die richtige Ausrichtung in Querformatbildern vorhersagt, die Wahrscheinlichkeit, dieses Maß in einem Querformatbild aufzufinden und das Verhältnis der Wahrscheinlichkeit, dieses Maß in einem Hochformatbild oder in einem Querformatbild aufzufinden. Die Charakteristika Gsmtn und Ggrad sind in zwei Kategorien unterteilt, abhängig von dem Wert von BLU(120)ave aus den Gleichungen (4). Die Schwellenkategorien in Verbindung mit den Zählgrenzen begrenzt die Erzeugung eindeutiger Kategorien innerhalb eines Maßtyps. Es wird kein Maß benutzt, dass eine Querformatwahrscheinlichkeit von weniger als 0,80 zur Vorhersage der richtigen Ausrichtung aufweist. Tabelle 2 Schwellenwerte und Wahrscheinlichkeitswerte des Ausrichtungsalgoritmus
Der unten beschriebene Test nutzte zwei Datenbanken. Die erste Datenbank (Datenbank 1) wurden aus einem Vorscan (128 · 192) eines Satzes von Negativen erstellt und enthält 2183 Bilder. Der gesamte Datensatz befindet sich in drei Dateien (einer Rotpixel-Datei, einer Grünpixel-Datei und einer Blaupixel-Datei). Die zweite Datenbank (Datenbank 2) wurde durch Herabmitteln von 1308 · 1932 auf 128 · 192 Pixel erzeugt, wobei die Daten aus 2697 einzelnen Bildern stammten, die von einem Kleinbildscanner gescannt worden waren. Es wurden jeweils neun Bilder aus ca. 290 verschiedenen Kundensätzen herangezogen. Diese Daten wurden auf dieselbe Metrik für den Logarithmus der einwirkenden Lichtmenge umgesetzt, wie er bereits für Datenbank 1 verwendet worden war, und in mehrere rote, grüne und blaue Pixeldatendateien gegliedert.
In dem erfindungsgemäßen Test der Datenbank wurde bestimmt, ob die in dem erfindungsgemäßen Verfahren verwendeten Charakteristika unabhängig voneinander verwertbar sind. Dabei wurde festgestellt, dass zum überwiegenden Teil die Charakteristika auch unabhängig voneinander verwertbar sind.
Tabelle 3 ist ein Versuch, diese Frage aufzugreifen. Die Tabelle weist getrennte Spalten für Datenbank 1 und Datenbank 2 vor, die verschiedene Sätze von Bildern darstellen.
Es gibt eine Ähnlichkeit von Ergebnissen für die beiden Datenbanken. Jede Zahlenanordnung zeigt die Ergebnisse, wenn das Maß oben links von der Anordnung das Maß war, das zur Vorhersage der Ausrichtung für diese Bilder diente. Jede Reihe zeigt die Ergebnisse entweder für dieses selbe Maß (mit ** markiert) oder für die anderen Maße an, die auch in demselben Bild gefunden wurden, die jedoch einen weniger zuverlässigen Hinweis auf die Ausrichtung in diesen Bildern darstellten. Die erste Spalte (Spalte Nr. 0) ist die Gesamtzahl der Bilder, in denen dieses Maß gefunden wurde; die folgenden Spalten sind die Anzahl der Bilder für jeden Bereich des in Tabelle 2 definierten Maßes. Die letzte Spalte in Tabelle 2 zeigt die Nummer der Spalte in Tabelle 3, die diesem Bereich zugeordnet ist. In der Anordnung für Datenbank 1 mit der Bezeichnung RDMG&sub1;&sub8;&sub0; waren es beispielsweise 210 Bilder, für die RDMG&sub1;&sub8;&sub0; die Charakteristik war, die zur Vorhersage der Ausrichtung für dieses Bild herangezogen wurde. Zudem war 75 Mal das erste in Tabelle 2 definierte Maß (das eine Wahrscheinlichkeit von 0,849 für den Hinweis auf eine richtige Ausrichtung hat) das benutzte Maß, 26 Mal wurde das zweite Maß aus Tabelle 2 benutzt usw. Somit ist 210 = 75 + 26 + 35 + 15 + 22 + 27 + 10. Andere weniger zuverlässige Maße wurden ebenfalls in einigen dieser 210 Bilder gefunden. Beispielsweise wurde auch 16 Mal das Maß Gsmth gefunden. In jedem dieser 15 Fälle waren die diesen Maßen zugeordneten Wahrscheinlichkeiten kleiner als die Wahrscheinlichkeit des verwendeten Maßes RDMG&sub1;&sub8;&sub0;.
Die in Tabelle 3 gezeigten Ergebnisse sind verwendbar, um zwei Überlegungen zu beleuchten. Die erste betrifft die praktische Wirksamkeit der in dem erfindungsgemäßen Ausrichtungsverfahren verwendeten Maße. Die Tabelle zeigt, dass bei den meisten dieser Maße einige Bilder vorlagen, für die dieses Maß der einzige Hinweis auf die Ausrichtung war. Man betrachte beispielsweise Gsmth. Sogar nach Abzug aller anderen Fälle, in denen ein Maß mit einer niedrigeren Wahrscheinlichkeit hätte benutzt werden können, gibt es immer noch mindestens 128 Bilder in der Datenbank 1 (128 = 620 - 51 - 44 - 0 - 397) und mindestens 13 Bilder in der Datenbank 2 (13 = 371 - 41 - 26 - 0 - 291) für die kein anderes Maß gefunden worden war. Tabelle 3
Die zweite Überlegung betrifft die Frage, ob das Auftreten der Charakteristika in jedem Bild unabhängige Ereignisse sind. Für einige Charakteristika, wie Gsmth und Ggrad, ist offensichtlich, dass sie nicht unabhängig sind. Obwohl eine Definition von Maßen, die über alle Bilder unabhängig verteilt sind, sinnvoll wäre, ist dies typischerweise nicht möglich. Es ist daher notwendig, dass jedes Maß genügend eindeutige Informationen zum Ausrichtungserkennungsprozess beiträgt, um den Berechnungsaufwand zu rechtfertigen.
Obwohl ein Ausführungsbeispiel der vorliegenden Erfindung beschrieben worden ist, das bestimmte Szenencharakteristika zur Bestimmung der Ausrichtung heranzieht, sind innerhalb des Geltungsbereichs der Erfindung auch andre gleichfalls gültige Ansätze zur Ermittlung der Ausrichtung einzelner Szenen und somit des gesamten Satzes möglich. Wenn beispielsweise menschliche Gesichter erkennbar sind, dann wäre deren Ausrichtung in dem Bild ein sehr zuverlässiger Indikator für die Ausrichtung der Szene. Alternativ hierzu kann eine gewisse Asymmetrie der Vertikalen zur Horizontalen im Häufigkeitsgehalt von Kanten erfasst werden.
Die vorliegende Erfindung sieht ein Verfahren und eine Vorrichtung vor, um die Ausrichtung eines vollständigen Satzes durch Berücksichtigung von Szenencharakteristika zu bestimmen, die asymmetrisch von oben nach unten in Querformatszenen verteilt sind. Die Asymmetrie in der Verteilung führt zu Wahrscheinlichkeitsaussagen für die Ausrichtung jeder Szene, in der diese gefunden wird. Die Wahrscheinlichkeit der Ausrichtung für jeden Satz berechnet sich aus der Wahrscheinlichkeit der Ausrichtung für jedes Bildfeld unter Verwendung des Bayesschen Wahrscheinlichkeitsmodells. Dem liegt der Gedanke zugrunde, asymmetrisch verteilte Charakteristika in genügend Szenen in jedem Satz zu finden, so dass das Bayessche Wahrscheinlichkeitsmodell die Ausrichtung für diesen Satz mit einem hohen Maß an Zuverlässigkeit voraussagt.
Die vorliegende Erfindung benutzt Bildverarbeitungskomponenten, die Fachleuten bekannt sind, und die sich durch diese Fachleute ohne weiteres programmieren lassen, um das erfindungsgemäße Verfahren auszuführen.
Obwohl die Erfindung mit besonderem Bezug auf bevorzugte Ausführungsbeispiele beschrieben wurde, ist die Erfindung nicht darauf beschränkt, sondern kann innerhalb des Geltungsbereichs Änderungen und Abwandlungen unterzogen werden.

Claims

1. Verfahren zum Bestimmen der Ausrichtung eines auf fotografischem Film (10) aufgezeichneten Satzes von Bildern durch Abtasten der Bilder für die Verteilung einer Bildcharakteristik und durch Bestimmen eines Maßes an Asymmetrie,

gekennzeichnet durch die Verfahrensschritte:

(a) Abtasten eines Satzes aufgezeichneter Bilder, wobei der Satz eine Vielzahl aufgezeichneter Bilder (12) umfasst, um die Information zu erhalten, ob mindestens eine Szenencharakteristik entlang einer vertikalen Bildachse asymmetrisch verteilt ist, und über das Maß an Asymmetrie in den getrennt aufgezeichneten Bildern;

(b) Bestimmen von Wahrscheinlichkeitsschätzungen der Ausrichtung eines jeden der aufgezeichneten Bilder bezüglich der vertikalen Bildachse, für die mindestens eine Szenencharakteristik erhalten wird, als Funktion der Asymmetrie in der Verteilung der Szenencharakteristik gemäß bekannter statistischer Wahrscheinlichkeiten für die Verteilung der Charakteristiken von oben nach unten; und

(c) Bestimmen einer Wahrscheinlichkeit in der Ausrichtung des Satzes aufgezeichneter Bilder als Ganzes anhand der Wahrscheinlichkeitsschätzungen der Ausrichtung eines jeden aufgezeichneten Bildes im Satz.

2. Verfahren nach Anspruch 1, gekennzeichnet durch den Verfahrensschritt:

(d) Bildverarbeiten des Satzes aufgezeichneter Bilder gemäß der Wahrscheinlichkeit der Ausrichtung des Satzes der gemäß Schritt (c) aufgezeichneten Bilder.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Schritt (c) zum Bestimmen der Wahrscheinlichkeit der Ausrichtung des Satzes aufgezeichneter Bilder unter Verwendung eines Bayesischen Wahrscheinlichkeitsverteilungsmodells durchgeführt wird.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die mindestens eine Szenencharakteristik Farbe ist.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die mindestens eine Szenencharakteristik Modulation ist.

6. Vorrichtung zum Bestimmen der Ausrichtung eines auf fotografischem Film (10) aufgezeichneten Satzes von Bildern (12) mit einem Scanner (14) zum Abtasten der aufgezeichneten Bilder (12) und zum Erzeugen digitaler Signale entsprechend den aufgezeichneten Bildern, gekennzeichnet durch einen Ausrichtungsprozessor (18), der mit dem Scanner (14) verbunden ist, um die digitalen Signale zu empfangen, und der derart programmiert ist, dass er anhand der Signale Informationen empfängt über:

(a) die Verteilung mindestens einer Szenencharakteristik in jedem der aufgezeichneten Bilder, um zu bestimmen, ob die Verteilung entlang einer vertikalen Bildachse asymmetrisch ist, und über das Maß an Asymmetrie;

(b) Wahrscheinlichkeitsschätzungen der Ausrichtung eines jeden der aufgezeichneten Bilder (12) bezüglich der vertikalen Bildachse, für die mindestens eine Szenencharakteristik erhalten wird, als Funktion der asymmetrischen Verteilung der mindestens einen Szenencharakteristik gemäß bekannter statistischer Wahrscheinlichkeiten für die Verteilung der Charakteristiken von oben nach unten; und

(c) die Wahrscheinlichkeit der Ausrichtung des Satzes aufgezeichneter Bilder als Ganzes bezüglich einer Bildachse anhand der Wahrscheinlichkeitsschätzungen der Ausrichtung eines jeden aufgezeichneten Bildes im Satz.

7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass der Ausrichtungsprozessor (18) die Wahrscheinlichkeit der Ausrichtung des Satzes aufgezeichneter Bilder bestimmt durch Verwendung der bestimmten Wahrscheinlichkeitsschätzungen der Ausrichtung eines jeden der aufgezeichneten Bilder (12) gemäß einem Bayesischen Wahrscheinlichkeitsverteilungsmodell, um die Wahrscheinlichkeit der Ausrichtung für den Satz aufgezeichneter Bilder zu erzeugen.

8. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die mindestens eine Szenencharakteristik Farbe ist.

9. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass die mindestens eine Szenencharakteristik Modulation ist.