DE69915566T2 - Zusammenstellung und Änderung von Fotocollagen durch Bilderkennung - Google Patents

Zusammenstellung und Änderung von Fotocollagen durch Bilderkennung Download PDF

Info

Publication number
DE69915566T2
DE69915566T2 DE1999615566 DE69915566T DE69915566T2 DE 69915566 T2 DE69915566 T2 DE 69915566T2 DE 1999615566 DE1999615566 DE 1999615566 DE 69915566 T DE69915566 T DE 69915566T DE 69915566 T2 DE69915566 T2 DE 69915566T2
Authority
DE
Germany
Prior art keywords
images
processing
image
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE1999615566
Other languages
English (en)
Other versions
DE69915566D1 (de
Inventor
Stephen L. Rochester Shaffer
John R. Rochester Squilla
John K. Rochester McBride
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/199,639 external-priority patent/US6389181B2/en
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of DE69915566D1 publication Critical patent/DE69915566D1/de
Application granted granted Critical
Publication of DE69915566T2 publication Critical patent/DE69915566T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00143Ordering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00148Storage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode

Description

  • Gebiet der Erfindung
  • Die Erfindung bezieht sich im Allgemeinen auf das Gebiet der Photographie und insbesondere auf Photosammlungen. Insbesondere bezieht sich die Erfindung auf die Verwendung von Bilderkennungstechniken zum automatischen Erzeugen von Photokollagen.
  • Ausgangspunkt
  • Photographien, Videos und Sammlungen von Erinnerungsstücken werden häufig verwendet, um Erinnerungen und Ereignisse festzuhalten, welche einen Teil des Lebens einer Person gebildet haben. Diese Sammlungen dienen zur Unterstützung des menschlichen Gedächtnisses und bereichern den Prozess des Teilens von Geschichten, die mit den Erinnerungen in Beziehung stehen. Wenn sie auf einer regulären Basis organisiert, angeschaut und geteilt werden, erzeugen eine Sammlung von Gedankenartefakten eine große Befriedigung, die das Leben aller Beteiligten bereichert. Die Natur dieser Sammlungen ist derart, dass sie stetig wachsen, Ereignis um Ereignis, Jahr um Jahr, und einige werden groß und schwierig zu überblicken. Sammlungen von Photos und Erinnerungsstücken werden von einigen Leuten als die wichtigsten und wertvollsten Besitztümer angesehen. Dies sind die ersten Dinge, an die Menschen denken, wenn sie aus ihrem Haus getrieben werden in Folge eines Feuers, einer Flut oder anderer Naturkatastrophen. Diese Sammlungen besitzen einen intrinsischen, emotionellen Wert selbst wenn sie niemals angeschaut werden, da die Notwendigkeit eine Lebenserinnerung zu präservieren sehr stark und universal ist. Infolge diese relativen Wichtigkeit dieser Erinnerungen für die involvierten Personen ist der Stand der Technik übersättigt mit Lehren, welche Organisationsverfahren offenbaren.
  • Die gebräuchlichste Art und Weise der Organisation dieser Sammlungen innerhalb des Standes der Technik ist das Platzieren von Photos, Videos oder Erinnerungsstücken in entweder ein Album oder eine Box. Üblicherweise sehen Vinylalbumseiten Mittel zur Aufnahme und Ansicht von zwischen ein und fünf Photos mit Standardgröße pro Seite vor. Kreative Menschen verbringen häufig Stunden damit, Photos sorgsam auszuwählen und anzuordnen, Überschriften zu schreiben, Zeitungsartikel auszuschneiden und andere Erinnerungsstücke aufzunehmen, um visuelle Geschichten oder Einklebebücher zu erzeugen. Sobald sie in Gruppen oder Seiten organisiert sind, fördern diese Photokollagen stark die Fähigkeit einer Peron sich zu erinnern und die Geschichte, welche die dargestellten Ereignisse zu teilen bzw. mitzuteilen. Die einfacheren Organisationsmerkmale erlauben, dass die Sammlungen leicht angeschaut werden können und sie dienen zum Schutz der Artefakte bzw. der Gegenstände selbst. Es gibt unzählige Arten von Alben und Boxen, die heutzutage verfügbar sind, von einfachen Vinylhülsen bis Boxen, die aus spezialisierten Materialien hergestellt sind, und aufgebaut sind, um die Gegenstände zu präservieren. Albumverkäufer umfassen beispielsweise Pioneer Photo Albums, Design Vinyl and Cason-Talens. Box bzw. Kistenverkäufer umfassen Exposures. Keine dieser Ansätze zum Stand der Technik offenbart Mittel, durch die eine Photokollage dieser erinnerungswürdigen Ereignisse leicht durch Personen hergestellt werden können, für die diese Ereignisse soviel bedeuten.
  • Der Begriff Photokollage, wie er hier verwendet wird, bezieht sich auf eine einzelne Seite mit einer Vielzahl von Bildern bzw. Abbildern, wie beispielsweise eine Seite in einem Photoalbum, oder ein zusammengesetztes Bild mit einer Anzahl von Bildern, die sich auf ein einzelnes Thema, wie beispielsweise Ferien, einer Hochzeit, einer Geburtstagsparty oder ähnliches beziehen. Das Konzept einer Photokollage, wie es hier verwendet wird umfasst auch das Konzept eines gebundenen Photoalbums mit einer Vielzahl von Seiten von denen eine oder mehrere einer Photokollage ist. Trotz der Tatsache, dass viele Menschen diese erinnerungswürdigen Gegenstände sammeln, besitzen wenige Menschen die Freizeit sie auf einer regelmäßigen Basis zu organisieren und zu pflegen bzw. Instandzuhalten. Über kurz oder lang, wird die Menge an nicht organisiertem Material zu einer erheblichen psychologischen Barriere das Organisieren aufzunehmen. Es bestehen auch andere Barrieren, welche Menschen davon abhalten aktiv diese Sammlungen von Erinnerungsstücken zu organisieren bzw. Instandzuhalten, wie beispielsweise das Vertrauen in ihre eigene Handlungsweise, der Zugriff auf die Materialien oder das Erinnern an Details über das Ereignis. Häufig finden Menschen, sobald sie mit der Organisationsaufgabe angefangen haben, diese als erfüllend und spaßig, trotzdem sehen sie sie noch immer als eine erhebliche Arbeit.
  • Es wurden viele Versuche unternommen, Werkzeuge vorzusehen zum Arbeiten mit oder zum Organisieren von Photos oder Erinnerungsstücksammlungen. Computersoftwareprogramme, wie beispielsweise Picture-ItTM von Microsoft oder Creative Photo AlbumsTM von Dog Byte Development erlauben Menschen mit digitalen Versionen ihrer Photos zu arbeiten und digitale Versionen eines Albums zu erzeugen oder diese auf einem Drucker zuhause auszudrucken. Softwareprodukte wie diese benötigen jeweils, dass ein Photo oder Gegenstand bzw. Artefakt in digitaler Form besteht, bevor sie verwendet werden können. Obwohl diese Produkte die Möglichkeit erhöhen Photos und gescannte Erinnerungsstücke zu verändern und zu verbessern, verringern sie nicht die Arbeitsmenge, die notwendig ist, um Sammlungen zu organisieren oder visuelle Geschichten zu erzeugen. Anderer Dienste, wie beispielsweise Photo-NetTM von Picture VisionTM scannt Photographien mit einem hochqualitativen Format zum Zeitpunkt der Photoentwicklung und sieht ein Miniaturbild der gescannten Bilder über das Internet vor. Ein Kunde, der diese gescannten Bilder verwendet, kann Photosammlungen erzeugen, die über das Internet angeschaut werden oder er kann sich Ausdrucke hiervon erzeugen lassen. Derzeitig erlauben einige dieser Dienste nicht, dass mehrere Photos auf einer Seite angeordnet werden können, und ferner sind diese Dienste auf Kunden beschränkt, welche eine Sammlung von digitalen Bildern und einen mit dem Internet verbundenen Computer besitzen und die sich sowohl mit dem Computer als auch dem Internet bzw. Web auskennen.
  • Das U.S. Patent 5,751,286 zeigt Bilder in einer Bilderdatenbank, die ansprechend auf Abfragen durchsucht werden, wobei die Abfragen die visuellen Charakteristika von Bildern, wie beispielsweise Farben, Strukturen bzw. Beschaffenheiten, Formen und Größen, sowie Textanhängen, die an den Bildern anhängen, umfassen. Abfragen werden in einem Bildabfrageaufbaubereich aufgebaut und zwar ansprechend auf Repräsentationswerte der visuellen Charakteristika und Orte der Repräsentationen in dem Bildabfrageaufbaubereich.
  • Das U.S. Patent 5,761,655 zeigt ein System, das Miniaturbilder erzeugt, speichert, herauszieht und anzeigt. Die dominanten Farben von Bildern werden in den Miniaturbildern dargestellt. Die dominanten Farben in einem Bild werden bestimmt unter Verwendung von Pixelgruppen, in denen die Durchschnittsfarbe verwendet wird zum Auswählen einer ungefähren dominanten Farbe zur Darstellung. Die Größe der dargestellten Miniaturbilder und der Bereich der eingestellt wird zum Anzeigen der Miniaturbilder kann verändert werden, um eine visuelle Übersicht entweder einer großen Anzahl von Miniaturbildern oder einen kleineren Satz von Miniaturbildern mit größerer Größe zu erlauben. Miniaturbilder und andere Bilddateien und andere damit in Beziehung stehende Textdateien und nicht in Beziehung stehende Dateien können herausgezogen und gesucht werden unter Verwendung von Schlagwörtern unter Verwendung von Schlagwortansichten in den gespeicherten Dateien, um eine Übereinstimmung anzuzeigen, wenn die Ansichten dieselbe Datei designieren. Das System erlaubt, dass eine Suche auf einer teilweisen Übereinstimmung von Schlagworten basiert. Eine Suche kann unter Verwendung von Super-Schlagworten (Super-Keywords) durchgeführt werden, die Kombinationen von Schlagworten und anderen Datei- und Datencharakteristika sind. Super-Schlagworte können mit anderen Super-Schlagworten oder anderen Schlagworten für Suchzwecke kombiniert werden. Um eine Multimediaspeicherung und Suche und Integration von off-line Medien in dem System zu ermöglichen, umfasst das System ein Hauptverzeichnis, mit einem vollen Verzeichnis, das Einträge für jedes Medium als einen Zweig des Hauptverzeichnisbaumes enthält. Das System umfasst auch die Hilfsmittel, die notwendig sind zum Erzeugen, Zugreifen auf, Herausziehen und Updaten von lokalen und über Netzwerk zugegriffenen entfernten Dateien irgendeines Medientyps.
  • Der Artikel mit dem Titel „Automatic Indexing and Context-Based Retrieval of Captioned Photographs" offenbart die Integration von Text- und Photoinformation in einer integrierten Text/Bild-Datenbasisumgebung. Der Artikel entwickelt ein inhaltbasierendes Abfragesystem für mit Legende versehenen Gruppenphotos von Menschen (Gesichtern) wobei die Gruppen aus einem oder mehreren Mitgliedern bestehen können. Ein alternativer Ansatz wird verwendet für herkömmliche Gesichtsidentifikationssysteme.
  • Es ergibt sich aus der vorliegenden Beschreibung, dass eine Notwendigkeit innerhalb der Technik besteht für ein Verfahren, durch das der Konsument bzw. Endverbraucher Photokollagen und Photoalben erzeugen (oder für sich herstellen lassen kann) in einer Art und Weise, die so einfach ist wie das Bestellen von Photos bzw. Ausdrucken.
  • Die Erfindung
  • Die vorliegende Erfindung spricht die Notwendigkeit für ein verbessertes Verfahren zum Erzeugen von Photoalben von Endverbraucherphotographien an, das einen minimalen Aufwand erfordert, aber ein hochqualitatives Produkt ergibt und halbwegs günstig ist.
  • Die vorliegende Erfindung ist, darauf gerichtet eines oder mehrere der obengenannten Probleme zu überwinden. Kurz zusammengefasst ist gemäß der vorliegenden Erfindung nach Anspruch 1, ein Verfahren zum automatischen Erzeugen einer Photokollage aus einer Vielzahl von Bildern vorgesehen, wobei das Verfahren die folgenden Schritte aufweist: a) Erhalten einer digitalen Aufzeichnung bzw. eines digitalen Datensatzes der Vielzahl von Bildern über ein Kommunikationssystem, wobei jeder der digitalen Datensätze einen einzigartigen Identifikator bzw. Identifikationsmerkmal besitzt, wobei die digitalen Datensätze in einer Datenbank gespeichert sind; b) automatisches Erhalten wenigstens eines vorbestimmten Verarbeitungsziels für die Photokollage unabhängig von einer manuellen Eingabe; c) automatisches Umsetzen des Verarbeitungsziels in eine Vielzahl von Verarbeitungsschritten basierend auf ei nem vorbestimmten Merkmal oder Kriterium; d) automatisches Durchführen der Vielzahl von Verarbeitungsschritten, unter Verwendung von Daten von einem oder mehreren Pixeldaten, Verarbeitungszielinformation, oder Kundenprofilinformation in jedem Schritt zum Sortieren der digitalen Datensätze; und e) automatisches Zusammenstellen der Photokollage aus den digitalen Datensätzen basierend auf Ergebnissen der Sortierung.
  • Diese und weitere Aspekte, Ziele, Merkmale und Vorteile der vorliegenden Erfindung ergeben sich noch deutlicher aus der folgenden detaillierten Beschreibung der bevorzugten Ausführungsbeispiele und der anhängenden Ansprüche und durch Bezugnahme auf die Zeichnungen.
  • Vorteilhafter Effekt der Erfindung
  • Die vorliegende Erfindung besitzt die folgenden Vorteile: sie erlaubt dem Verwender (1) ein leichtes Verfahren zum Erzeugen von professionell aussehenden Photokollagen, (2) das Duplizieren von Photokollagen und (3) das Behalten von Photokollagedateien für eine spätere Verwendung.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist ein Blockdiagramm, das die Grundsystemelemente darstellt, die bei der Durchführung der vorliegenden Erfindung verwendet werden; und
  • 2 ist ein Systemdiagramm, das die Sammelschritte zeigt, welche durchgeführt werden, sobald ein Kunde Bilder an das System geliefert hat;
  • 3 ist ein Flussdiagramm, das die aktiven Verarbeitungszielschritte zeigt, die durch das System der vorliegenden Erfindung verwendet werden;
  • 4 ist ein Flussdiagramm, das die Schritte zeigt, die durch die vorliegende Erfindung durchgeführt werden, auf dem Weg zu einer, auf einer Geschichte basierenden Photokollage beruht.
  • Um das Verständnis zu fördern, wurden identische Bezugszeichen verwendet, wo dies möglich war, um identische Elemente zu bezeichnen, die in den Figuren dieselben sind.
  • Detaillierte Beschreibung der Erfindung
  • Ein akzeptables Photoalbum oder eine Photokollage kann automatisch erzeugt werden von belichtetem Film, Negativen oder digitalen Bildern eines Kunden.
  • 1 stellt das Verfahren dar, das durch die vorliegende Erfindung in Betracht gezogen wird, und das dazu aufgebaut ist, automatisch Photokollagen zu erzeugen und zwar einschließlich Alben 17, CDs 15 und anderen auf Bildern basierenden Andenken 11. Der Prozess der Transformation des gelieferten Bildmaterials in eine Photokollage wird als Story-Aufbereitungs-Dienst bezeichnet. Der Story-Aufbereitungs-Dienst liefert das notwendige Bildverständnis, das in einer Sammlung von Prozessmodulen enthalten ist, die in einer nichtlinearen Sequenz durchgeführt werden, um eine Storydarstellung der Bilder zu erzeugen. Bei einem bevorzugten Ausführungsbeispiel umfassen diese Prozessmodule: das Sammeln, Sortieren, Aussuchen bzw. Verwerfen, Annotieren, Gruppieren, Verbessern, Assoziieren und Zusammenstellen. Diese Schritte können in der aufgelisteten Reihenfolge durchgeführt werden oder sie können in unterschiedlichen Sequenzen umgeordnet werden, und zwar in Abhängigkeit von dem gewünschten Ausgangsprodukt. Die Herstellung eines bestimmten Photokollageprodukts kann einen, zwei oder mehr der verfügbaren Schritte umfassen. Welche Schritte verwendet werden und in welcher Sequenz wird durch das System bestimmt, und zwar basierend auf dem gewünschten Produkt. Es ist wichtig, sich daran zu erinnern, dass die vorliegende Erfindung in Betracht zieht, ein ausreichendes Bildverständnis der Bilder vorzusehen, mit dem schlussendlichen Ziel, dem System beizubringen, dass es überall vorhandene Themen gibt, die innerhalb unterschiedlicher Sätze von Bildern bestehen und das diese Themen erkannt werden, um dadurch ein Bildstoryprodukt oder eine Photokollage zu erzeugen.
  • Wie in 2 gezeigt ist, beginnt der Sammelschritt, wenn ein Kunde das Aufnehmen von Bildern von einem oder mehreren Ereignissen beendet hat, einen oder mehrere belichtete Filmstreifen oder Kartuschen 10, digitale Photoapparatspeicherkarten 12, Photodrucke 6 oder Videokameramedien 8 an eine Verarbeitungseinrichtung 14 liefert. Zu dem Zeitpunkt, zudem der Kunde die belichtete(n) Filmkartusche(n) an die Verarbeitungseinrichtung liefert, wird die Identität der Kunden aufgezeichnet und mit der Folge von Filmkartuschen und anderen Bildquellen in Beziehung gebracht bzw. assoziiert. Alternativ kann die Kundenidentität auf dem Film codiert werden durch Belichten einer maschinenlesbaren Sequenz von Markierungen entlang der Kante des Films oder durch Verwendung der magnetischen Beschichtung auf dem Advanced Photo SystemTM. Die herkömmliche Filmverarbeitung wird durchgeführt mit herkömmlicher Filmkorrektur von belichteten Photographien, um Farbe und Helligkeit und Kontrast auszugleichen. Die belichteten Filmbilder werden chemisch verarbeitet 16, um ein optisches Bild zu erzeugen. Diese optischen Bilder werden dann gescannt 18 zum Erzeugen einer digitalen Datei mit hoher Auflösung, die in einem Datenspeicher 20 archiviert wird. Im Allgemeinen ist zum Erzeugen eines Druckbildes mit einer Größe von 8 × 10 Zoll mit hoher Auflösung eine Auflösung von 1538 × 1024 Pixel erforderlich. Digitale Photobilder von digitalen Photokameraspeicherkarten, die an die Verarbeitungseinrichtung geliefert werden, werden digital verarbeitet 22 zum Erzeugen einer digitalen Bilddatei mit gleicher Größe und sie wird auf dem Datenspeicher 20 gespeichert. Analoge Videokamerabilder auf dem Medium 8, die an die Verarbeitungseinrichtung geliefert werden, werden digitalisiert und verarbeitet vor einer Speicherung in dem Datenspeicher 20. Bei der Beendigung dieses Schrittes in dem Prozess besteht eine Sammlung von digitalen Bilddateien, die mit einem Kunden assoziiert sind mittels einer Kundenidentifikation. Diese Sammlung von digitalen Bilddaten, oder Pixeldaten 32 ist nun als eine Quelle für die Storydienst-Verarbeitungsmodule verfügbar. Daten, die an individuellen Bildern oder Gruppen von Bildern anhängen, oder mit diesen assoziiert sind und durch den Kunden vorgesehen werden, wie beispielsweise Datum, Zeit, Ort, Klang, Kameraidentifikation, Kundenidentifikation, Belichtungsparameter, Da ten des Advanced Photo System IXTM sind alles Bespiele von Meta-Daten. Diese Meta-Daten 34 sind in dem Bildspeicher 20 gespeichert und mit den verfügbaren Pixeldaten 32 assoziiert. Zusätzlich wählt der Kunde das gewünschte Ausgangsprodukt oder den Produkttyp aus einer Liste von verfügbaren Angeboten aus. Diese Auswahl kann durch den Kunden angezeigt werden, durch Markieren der Photoverarbeitungstasche 24, verbales Kundgeben des gewünschten Produktes gegenüber einem Angestellten oder durch Eingabe an einem Computerterminal oder -kiosk 28. Die Bestellungsbeschreibung 36, die durch irgendeine der angezeigten Quellen, die durch den Kunden vorgesehen wird, ist in dem System gespeichert und ist mittels einer Kundenidentifizierung mit einem existierenden Kundenprofil 30 in dem Datenspeicher 20 assoziiert.
  • Zum Ende des Sammelschrittes sind die Pixeldaten, Meta-Daten, das Kundenprofil und die Bestellungsbeschreibung als Eingabedaten für die nachfolgenden Verarbeitungsschritte verfügbar. Diese Schritte können in der aufgezeigten Reihenfolge durchgeführt werden, oder sie können umgeordnet werden in unterschiedliche Sequenzen in Abhängigkeit von dem gewünschten Ausgangsprodukt. Die Herstellung eines bestimmten Photokollageproduktes kann ein, zwei oder mehr der verfügbaren Schritte umfassen. Welche Schritte verwendet werden und in welcher Sequenz wird durch das System bestimmt, basierend auf dem gewünschten Produkt. Nach dem Sammelschritt, aber vor der Durchführung der nachfolgenden Verarbeitungsschritte wird die spezielle durchzuführende Verarbeitung bzw. die durchzuführenden Verarbeitungsschritte für den gesammelten Satz von Bilddaten in einem Verarbeitungs- oder Prozessziel Erzeugungsschritt 37 bestimmt, und in einem Satz von Photokollageprozesszielen 38 ausgeführt. Für jedes der gewünschten Ausgangsprodukte bestimmt das System eine optimale Sequenz von Prozessschritten, die durchgeführt werden. Die Verarbeitung des Ausgangsprodukts oder der Produkte folgt dieser durch das System bestimmten Prozesssequenz. Es sei denn, dass die Sequenz durch eines der Prozessmodule modifiziert wird. Der Verarbeitungsausgang für jedes Modul wird als eines oder mehrere Verarbeitungsschrittziele benannt. Die Verarbeitung in jedem Schritt verwendet die benannten Verarbeitungsschrittziele zum Steuern der Logikregeln und Parameter, welche während der Verarbeitung der gesammelten Bilddaten angelegt werden, um das benannte Prozessschrittziel oder die Ziele zu erfüllen. Zusätzlich zum Erreichen der Verarbeitungs- bzw. Prozessziele kann jeder Verarbeitungs- bzw. Prozessschritt auch Ziele für sich selbst oder zukünftige Verarbeitungs- bzw. Prozessschritte erzeugen. Neue Ziele, welche sich durch die Ausführung eines bestimmten Prozessschrittes ergeben, reflektieren notwendige Einstellungen der gewünschten Parameter, da das ursprüngliche Ziel nicht zu erreichen ist, oder der Prozessschritt kann neue Ziele für nachfolgende Prozessschritte erzeugen. Der anfängliche Satz von Prozesszielen 38 wird durch Abfrage einer Vorgabeprozessbeschreibung aus einer Datenbasis von verfügbaren Produkten 40, die durch das System vorgegeben werden, bestimmt. Sobald der anfängliche Satz von Prozesszielen bestimmt ist, wird die Photokollageverarbeitung durch das System initiiert.
  • Wie beschrieben, wird die automatische Verarbeitung von Photokollagen in Prozessmodulen durchgeführt, welche verwendet werden, um diese Bildverständnis- und Interpretationsschritte durchzuführen. Jedes Prozessmodul verlässt sich auf Daten von einer Anzahl von Quellen, um das Prozessziel zu erfüllen. Jedes Prozessmodul besitzt Zugriff auf fünf Datenquellen: Pixelinformation, die in den individuellen Bildern enthalten ist, Metadaten, die an Bildern oder Gruppen von Bildern anhängen, die Originalprodukt- oder Bestellungsbeschreibung, die Liste von aktiven Verarbeitungszielen, die durch das System aufrecht erhalten werden und kundenprofilenthaltende Information über den Kunden. Die Pixeldaten 32 für jedes Bild versehen jedes Modul mit der Möglichkeit, Bildverarbeitungs- und Bildverständnisalgorithmen anzulegen. Die Metadaten 34, wie sie hier verwendet werden, beziehen sich auf Information, die an den individuellen Bildern oder Gruppen von Bildern anhängen und sie enthalten Information über das Bild oder Gruppen von Bildern, welche ihren Ursprung zum Zeitpunkt der Aufnahme besitzen oder die vor der Verarbeitung des Bildes oder der Gruppe von Bildern erzeugt wurden. Das Datum, die Zeit, der Ort, Klang, Kameraidentifikation, Kundenidentifikation, Belichtungsparameter, Advanced Photo System IXTM Daten sind alles Beispie le von Meta-Daten, die in einem bevorzugten Ausführungsbeispiel an den Originaleingangsbildern anhängen können. Die Originalprodukt- oder Bestellungsbeschreibung 36 enthält die spezielle Produktanforderung von dem Kunden und jegliche Aufzeichnungen, die bei dem Bestellvorgang aufgenommen wurden. Zu jedem Zeitpunkt bei der Verarbeitung des Bildes oder der Gruppe von Bildern besitzt das System eine Liste von aktiven Prozesszielen 38. Aktive Ziele sind die Prozessziele für jedes Prozessmodul, die noch durch das System erreicht werden müssen. Zu Beginn der Verarbeitung umfasst diese Liste das spezifische Produkt oder die Produkte, die durch den Kunden angefordert wurden, zusammen mit der Umsetzung dieser Produktziele in System- und Modulziele. Das Kundenprofil umfasst sowohl tatsächliche als auch unsichere Information bezüglich des Kunden. Die tatsächlichen Daten würden im allgemeinen Punkte wie den Namen, die Adresse, Namen und Alter der Personen in einem Haushalt, wichtige Daten, Jahrestage bzw. Jubiläen, Produktpräferenzen und eine Kaufhistorie umfassen. Zusätzlich könnten auch zusätzliche tatsächliche Daten, wie beispielsweise Gesichtserkennungseigenschaftsvektoren der Familie und der erweiterten Familie, Sprachtrainingssätze, Handschriftproben in der Kundenprofildatenbasis enthalten sein. Unsichere Information würde Prozessziele, die durch Prozessmodule aus einer Verarbeitung einer vorliegenden Bestellung empfohlen wurden, Bildverständnisaussagen bzw. Versicherungen über den Gehalt des Bildes oder Gruppen von Bildern, die nicht bestätigt wurden oder andere nicht bestätigte Informationen oder Aussagen umfassen. Informationen und Daten, die in dem Kundenprofil enthalten sind, werden mit jeder verarbeiteten Bestellung auf den neuesten Stand gebracht, um Änderungen hinsichtlich der Bestellungspräferenzen, der Bestellunghistorie und einem Updaten unsicherer Information zu reflektieren. Um das System mit dem notwendigen Bildverständnis zu versehen, das notwendig ist, um die Bilder in einen Satz gemäß Themen anzuordnen, die mit vorbestimmten Kriterien in Beziehung stehen, müssen diese für das System vorgesehen werden, um die Fähigkeit zu besitzen, Attribute innerhalb der Bilder zu identifizieren. Wenn zum Beispiel in einem bevorzugten Ausführungsbeispiel ein Kunde, eine Geburtstagsfotokollage anfordert, wird das System die Vorgabeprozessziele abfragen, welche anzeigen, dass die Schritte des Sammelns, Sortierens, Auswählens, Annotierens bzw. Vermerkens und Zusammensetzens in der Verarbeitung des angeforderten Produkts beinhaltet sind. Zusätzlich reflektieren die Prozessziele für jedes der Module die Vorgabeattribute, die notwendig sind um ein Geburtstagsprodukt zu verarbeiten. Bei diesem Beispiel werden die Sortiermodulprozessziele ein Sortieren nach Datumziel und ein Sortieren nach Inhaltziel umfassen. Das Sortieren nach Datumprozessziel wird ferner verfeinert zum Sortieren der Bilder, die an oder in der Nähe einer Zielliste von Daten auftreten, welche aus einer Liste von bekannten Geburtsdaten bestimmt werden, die aus dem Kundenprofil in die Fotokollage abgefragt werden.
  • Bei einem bevorzugten Ausführungsbeispiel führt jedes Prozessmodul eine Verarbeitung auf zwei unterschiedlichen Niveaus durch: objektiv und subjektiv. Die objektive Verarbeitung arbeitet mit tatsächlicher Information, über die Bilder oder Gruppen von Bildern oder mit Daten, die durch deterministische Algorithmen berechnet wurden. Beispiele von tatsächlichen Daten umfassen die Größe des Bildes, Aufnahmeparameter, Histogramme, Bildtransformationen usw. Herkömmlich verfügbare Softwareprogramme wie beispielsweise Adobe Photoshop® und Corel Draw® verarbeiten Bilder unter Verwendung von objektiven Daten. Eine subjektive Verarbeitung arbeitet mit Informationen, die unsicher sind oder mit Daten, welche das Ergebnis von nicht-deterministischen Algorithmen sind. Häufig besitzen subjektive Ergebnisse einen Zuversichtsfaktor, der nachfolgenden Prozessschritten erlaubt, diese Ergebnisse zu interpretieren. Üblicherweise treten subjektive Ergebnisse auf, wenn versucht wird, abstrakte Information über ein Bild oder eine Gruppe von Bildern zu bestimmen. Beispiele dieser Art von Verarbeitung wären eine Gesichtsdetektierung, Gesichtserkennung, Bestimmung des Gesichtsausdrucks, Standortbestimmung, Behauptungen, Interpretationen usw. Im Handel verfügbare Softwareprogramme, wie beispielsweise FaceIT® von Visionics Corp. verarbeiten Bilder, um Gesichter in Bildern mit Namen und anderen Informationen zu assoziieren. Einige Prozessmodule verarbeiten nur subjektive Information, andere verarbeiten nur objektive Information und noch andere verarbeiten beide.
  • Wie in 3 dargestellt ist, wird die Verarbeitung einer Fotokollage durch das System gesteuert unter Verwendung der aktiven Prozessziele 38, 48 und 49. Da die Prozessziele nicht deterministisch bzw. plangesteuert sind, sich durch das angeforderte Produkt unterscheiden und während der Verarbeitung modifiziert werden können, gibt es eine große Anzahl möglicher Prozesssequenzen. Der Fortschritt und die Verarbeitung, die an dem gesammelten Bildmaterial durchgeführt wird, wird in sequenziellen Schritten durchgeführt. Jeder Schritt implementiert ein einzelnes Prozessmodul, das darauf hinzielt, ein aktives Prozessziel zu erfüllen oder teilweise zu erfüllen. In jedem Schritt in dem Prozess kann jedes der verfügbaren Prozessmodule (Auswählen bzw. Verwerten 62, Gruppieren 64, Verbessern 66, Annotieren 68, Assoziieren 70 oder Zusammenstellen 72) durchgeführt werden. Am Ende der Verarbeitung eines bestimmten Schrittes werden die aktiven Prozessziele 38, die vor der Verarbeitung in einem Schritt Bestand hatten, auf den neuesten Stand gebracht, um Änderungen in den Zielen zu reflektieren, die sich aus der Durchführung des Prozessschrittes 52 ergeben haben. Diese upgedateten aktiven Prozessziele 48 dienen als die Eingabeprozessziele für den nachfolgenden Prozessschritt 53. Jedes der verfügbaren Prozessmodule wird beschrieben. Zusätzlich zu den Prozesszielen 38, 48 und 49 besitzen die Prozessmodule bei jedem Prozessschritt Zugriff auf vier Informationsquellen: Pixeldaten 32, die in den individuellen Bildern enthalten sind, Meta-Daten 34, die an den Bildern oder Gruppen von Bildern anhängen, die ursprüngliche Produkt- oder Bestellungsbeschreibung 36 und ein Kundenprofil 30, das Informationen über den Kunden enthält. Dieser Prozess kann so häufig wie notwendig durchlaufen werden, um die gewünschten Produktziele zu erreichen bzw. zu beenden.
  • Die Verarbeitung der Sammlung von digitalen Bildmaterial wird überprüft, um ungewollte Bilder zu entfernen. Dieser Schritt wird als Auswahl bzw. Verwerfen bezeichnet. Das Auswählen bzw. Verwerfen wird durchgeführt an Bildern, die in Folge schlechter Qualität als unerwünscht betrachtet werden oder wenn mehrere Bilder einen ähnlichen Aufbau besitzen und nur eines erwünscht ist. Um dies zu erreichen, beinhaltet der Auswahlprozess die Berechnung von mehreren bildbasierenden Eigenschaften bzw. Metriken (metrics) unter Verwendung der Pixeldaten 32. Diese Eigenschaften fallen in zwei Grundkategorien: Technische Qualitätsmaße und Eigenschaften bzw. Metriken abstrakter Features bzw. Merkmale. Die technischen Qualitätsmaße würden Berechnungen umfassen, welche die Gesamtschärfe des Bildes, die Belichtungsqualität, die Kornqualität (Körnigkeit) des Bildes umfassen. Algorithmen, die verwendet werden zum Berechnen technischer Qualitätsmaße sind in der Technik bekannt und Beispiele wären: "Estimation of Noise in Images: An Evaluation" von S. I. Olson in, 55 (4), 1993, Seiten 319 bis 323 und "Refined filtering of image noise using local statistics" von J. S. Lee in Computer Vision Graphics and Image Processing, 15, 1981, Seiten 380 bis 389.
  • Den Bildern wird dann eine gesamte Bewertung hinsichtlich der technischen Qualität gegeben, basierend auf den technischen Qualitätseigenschaften bzw. Metriken. Die Gesamtbildqualitätmetrik wird dann mit einem Schwellenwert verglichen, der mit dem Prozessziel assoziiert ist. Bilder, deren Qualitätsbewertung unter den Schwellenwert fallen, werden als unerwünscht markiert. Der spezielle Schwellenwert, der an ein vorgegebenes Bild oder einen Satz von Bildern angelegt wird, wird parametrisch bestimmt unter Verwendung des Prozessziels 38 und des Kundenprofils 30 als Eingaben. Zusätzlich zu der Bestimmung der spezifischen objektiven Bildeigenschaften werden auch abstakte subjektive Bildeigenschaften berechnet. Diese subjektiven Maßstäbe des Bildes erlauben, dass das Modul unerwünschte oder unnötige Bilder auswählt bzw. aussortiert. Ein typisches Beispiel von Bildern, welche ein Aussortieren erfordern, tritt auf, wenn mehrere Bilder in der Gruppe ähnlich aufgebaut sind und nahezu einen identischen Inhalt aufweisen, wie beispielsweise ein Gruppenfoto, das mehrere Male wiederholt ist. Um das Beste aus dieser Gruppe von Bildern auszuwählen, wird das digitale Bild analysiert, um eine Qualitätsmetrik zu bestimmen, die sowohl auf objektiven als auch subjektiven Qualitätsmerkmalen aufgebaut ist. Die Basis für diese subjektive Berurteilung wäre das Vorhandensein oder die Abwesenheit von Gesichtern, die Identifikation der Gesichter in dem Bild, die Anzahl von Gesichtern im Bild, ob die Augen im Gesicht geöffnet sind, ob die Person lacht, oder die Ausrichtung des Gesichts zur Kamera. Beispiele von Algorithmen, die verwendet werden zum Bestimmen subjektiver Eigenschaften bzw. Merkmale eines Bildes, sind in den Proceedings der IEEE Computer Society conference on Computer Vision and Pattern Recognition vom Juni 1997 beschrieben. Diese subjektiven Eigenschaften bzw. Merkmale sehen Anhaltspunkte über die subjektive Qualität des Bildes vor. Die objektiven und subjektiven Eigenschaften, die für jedes Bild berechnet wurden, werden kombiniert und die Bilder werden dann bewertet gemäß der relativen Wichtigkeit jeder analysierten Eigenschaft hinsichtlich des Prozesszieles 38 und das mit den gespeicherten Kundenpräferenzen 30 übereinstimmt. Die Bewertung beinhaltet, da sie teilweise auf subjektiver Information basiert auch einen Wahrscheinlichkeitsgewichtungsfaktor. Die Kombination der Bewertung und des Wahrscheinlichkeitsgewichtungsfaktors wird verwendet zum Bestätigen bzw. Versichern einer Entscheidung hinsichtlich der Qualität des Bildes. Die Qualitätsbestimmung bzw. -versicherung wird mit dem Bild verbunden als Meta-Daten 34 und zu dem nächsten Verarbeitungsschritt weitergeleitet. In dem Gruppierschritt werden Bilder gemäß den abgeleiteten Kriterien aus einer Analyse des Kundenprofils 30, den aktiven Prozesszielen 38 und dem angeforderten Produkt oder Dienst 36 gruppiert. Das Ziel der Gruppierung von Bildern liegt darin, Bilder in Verbindung zu setzen bzw. zu Assoziieren, welcher Teil eines gemeinsamen Themas oder einer Story in den Gedanken des Kunden sind. Typische Gruppierungen, die aus Kundenprofilen abgeleitet werden, wäre das Assoziieren von Bildern gemäß eines bevorzugten Organisationsschemas des Kunden. Die Attribute von typischen Organisationsschemata würden das Organisieren nach Ereignissen, wie beispielsweise einer Geburtstagsparty, Urlaub, Ferien, einem Abschluss bzw. einer Abschlussfeier, einer Organisierung nach Zeit und einer Organisierung nach Menschen umfassen. Vom Kunden angeforderte Produkte 36 könnten auch Gruppierungsparameter gemäß dem Produktdesign diktieren. Beispiele dieser Gruppierungsschemata umfassen das Gruppieren nach dem Ort in einem Themenpark, nach einem üblichen Ereignis des Lebenszyklus, wie beispielsweise einer Abschlussfeier, nach dem Bildgehalttyp, wie beispielsweise außen, innen, Natur, Personen, Gruppen usw. Unterschiedliche Softwarealgorithmen sind verfügbar, welche für eine Gruppierung anwendbar sind. Eine Klasse von Softwarealgorithmen arbeitet an den Meta-Daten 34, die mit dem Bild assoziiert sind, wobei der Gruppierprozess ähnlich zu dem Suchen einer Mediendatenbank ist. Mehrere im Handel erhältliche Beispiele von Mediendatenbanken, welche eine Suche erlauben sind: Picture Network IncorporatedTM und Publishers Depot.
  • Eine zweite Klasse von Algorithmen, die für diesen Gruppierungsprozess verwendet werden, würde Bildverarbeitungsalgorithmen umfassen, welche Objekte und Merkmals- bzw. Eigenschaftssätze innerhalb eines Bildes anhand der Pixelinformation 32 zu identifizieren. Diese Gegenstände könnten typische kulturelle Symbole wie beispielsweise Geburtstagskuchen, Weihnachtsbäume, Abschlusshüte (graduation caps), Hochzeitskleider usw. repräsentieren. Ein Beispiel eines solchen Algorithmus wird durch J. Edwards und H. Murase, "Appearance Matching of Occluded Objects Using Course-to-fine Adaptive Masks" in Proceedings der IEEE Computer Society Conference on Computer Vision and Pattern Recognition vom Juni 1997, Seiten 533–546 berichtet. Die Produktbestellungsinformation 36 kann auch in dieser Gruppierung verwendet werden, indem einfach das Ereignis oder der Ort oder die Person, auf dem das Endprodukt basiert, eingegeben wird. Die Prozessziele 38 können auch verwendet werden als ein Gruppierungswerkzeug, wobei die speziell angebotenen Produkte eine spezielle Gruppierung vorgeben.
  • Der Annotierungs- bzw. Kommentierungsprozess versucht eine Kommentierung zu erzeugen, die auf dem Storyprodukt oder der Fotokollage abgefasst werden kann. Eine Kommentierung dient dazu, eine Kontextinformation über das Bild oder die Gruppe von Bildern vorzusehen und sie unterstützt den Kunden dabei, die Story, welche die Bilder umgibt zu kommunizieren bzw. mitzuteilen. Eine sehr übliche Form der Kommentierung ist Text, der mit jedem Bild assoziiert ist und mit einer Gruppe von Bildern, der das "wer, was, wann, wo und warum" erklärt. Eine solche Kontextinformation wird üblicherweise aus den Meta-Daten 34 abgeleitet, die in vorhergehenden Prozessschritten erzeugt wurden, dem Bedienerprofil 30 oder Bildverständnisalgorithmen, die in dem Kommentierungsmodul angelegt werden. Die "Wer"- Information kann bestimmt werden unter Verwendung von Gesichtserkennungsalgorithmen, welche an die Pixeldaten 32 angelegt werden und durch die Trainingsdaten, die in dem Kundenprofil 30 enthalten sind, eingestellt werden. Unter Verwendung eines im Handel erhältlichen Produktes wie beispielsweise "FaceIT"TM von Visionics kann eine Datenbank von bekannten Gesichtern aus dem Kundenprofil 30 abgefragt und verwendet werden, um die Gesichtserkennungssoftware zu führen. Die "Was"-Information kann bestimmt werden durch Korrelieren des Datums und des Zeitpunkts der Bildaufnahme, die aus den Bild-Meta-Daten 34 verfügbar ist mit Schlüsseldaten, die in dem Kundenprofil 30 enthalten sind. Zusätzlich können mehr "Was"-Daten bestimmt werden durch Hineinschauen in das Bild 32 nach speziellen kulturellen Symbolen, die von Objekterkennungsalgorithmen abgeleitet werden, wie beispielsweise Geburtstagskuchen, Weihnachtsbäumen oder Abschlussfeiergewändern. Die "Wann"-Information für die Kommentierung wird leicht bestimmt unter Verwendung der Meta-Daten 34, wie beispielsweise dem Datum und dem Zeitpunkt, die während der Aufnahme aufgenommen werden. Die "Wo"-Information kann vorgesehen werden durch die Aufnahmeeinrichtung, die mit GPS (Global Positioning System) Technologie versehen ist und dann zu den Meta-Daten 34 für das Bild hinzugefügt werden oder sie können geraten bzw. abgeschätzt werden unter Verwendung von Bildverständnisalgorithmen, welche bekannte lokale Szenen mit dem Bildgehalt von verfügbaren Bildern 32 korrelieren. Die "Warum"-Information ist sehr schwierig zu bestimmen, ohne eine Eingabe des Bildbesitzers über die Produktbestellinformation 36. Die Kommentierung kann, sobald sie bestimmt ist, als Text, Graphiken, Bilder, Video oder Klang wiedergegeben werden und zwar mit den individuellen Bildern oder mit der Gruppe von Bildern in entweder einer traditionellen Fotokollage oder einem digitalen Produkt.
  • Das Bildverbesserungsmodul legt eine Bildverarbeitung an, um das Bild für den gewünschten storybasierenden Zweck zu verbessern. Zwei Kategorien von Bildverbesserung werden für jedes Bild in Betracht gezogen. Grundbildverbesserungen, die an alle Bilder je nach Notwendigkeit angelegt werden, würden Folgendes umfassen: Entfernung rote Augen, Helligkeit- und Kon trasteinstellung, Farbeinstellung und Schnitt und Zoom zum Verbessern der Komposition bzw. Bildzusammenstellung. Bildverbesserungen werden direkt an die Pixel-Daten 32 angelegt und in den Bild-Meta-Daten 34 der Bilder aufgezeichnet. Eine zweite Kategorie der Bildverbesserung wird an Bilder angelegt, um ihre Verwendung innerhalb eines Storykontextes zu verbessern, um die Emotion mitzuteilen oder um das Storythema zu unterstützen, wie es in dem Prozessziel 38 beschrieben ist. Zum Beispiel würden ausgewählte Bilder aus einer Hochzeitsstory weichgezeichnet unter Verwendung eines Unschärfe- bzw. Verwischalogrithmus oder die Farben eines Bildes könnten so ausgebildet werden, dass sie denen entsprechen, die in einem Comic bzw. Comicstreifen zu finden sind. Die Anwendung dieser Art von Verbesserungsverarbeitung ist entweder in der Produktbeschreibung 36 spezifiziert oder wird aus dem Kundenprofil 30 erzeugt. Alle diese Vorgänge sind in Bildverarbeitungs- bzw. Editiersoftwareprogrammen wie beispielsweise Adobe Photo-ShopTM verfügbar, mit Ausnahme des Entfernens des roten Auges bzw. Rotaugeeffektes und eine Entfernung des Rotaugeneffektes kann erreicht werden über die Kodak Imaging Wokstation und andere Software wie beispielsweise Picture-ItTM von MicrosoftTM.
  • Einige Produktspezifikationen umfassen ein Prozessziel, um externen Inhalt, der für das Produkt und den Bildinhalt relevant ist, einzubinden bzw. zu assoziieren. Dieser assoziierte Inhalt sieht zusätzlich Kontext und Interessen hinsichtlich des schlussendlich erzeugten Produkts vor. Externer Inhalt kann unterschiedliche Formen annehmen einschließlich Wetterberichten, Zeitungsüberschriften, gespeicherte oder sonstige Fotografien, Werbungen, historische Referenzen, Kopien aus Reisebroschüren, gängige Musicclips, Videosegmente usw. Um geeignete Inhalte für die Bildstory/Fotokollage zu lokalisieren und zu finden, können die Meta-Daten 34, die jedem Bild und jeder Bildgruppe anhängen, untersucht werden, um untersuchbare Themen oder Themenfelder oder spezifische Information, die in dem Kundenprofil 30 enthalten ist, abzuleiten. Diese Suchthemen würden sich auf die Wann, Wo, Was-Aspekte der Bildstory fokussieren. Sobald eine Serie von potenziellen Suchthemen zusammengesetzt wurde, werden sie in Abfragen formatiert und es werden Suchen in unterschiedlichen Datenbanken durchgeführt. Die Ergebnisse dieser Inhaltsabfragen werden dann verfeinert durch Anlegen von Prioritätsregeln aus der Produktbeschreibungsdatenbank und Kundenpräferenzen, die in dem Kundenprofil 30 gespeichert sind. Diese Arten von Suchen sind in Informationsdatenbanken, wie beispielsweise Yahoo® im Internet (www.yahoo.com) oder von Dialog Corp.TM üblich. Wenn es Gegenstände innerhalb des Bildes gibt, die mit speziellen Ereignissen (wie beispielsweise Heirat oder Geburtstag) identifiziert werden können oder wenn eine Person aus dem Bildalgorithmen identifiziert werden kann, wird die Pixelinformation 32 verwendet, um die Art des zusätzlichen Inhalts zu bestimmen, der hinzugefügt werden kann. Die Prozessziele 38 diktieren die Form und Arten von assoziiertem Inhalt, der hinzugefügt wird. Die Produktbestellungsinformation 36 ist auch eine Informationsquelle hinsichtlich der Assoziation von Inhalt durch eine spezielle Anfrage auf der Bestellung (wie beispielsweise ein Themenpark- oder Hochzeitsmotiv).
  • Das Lay-out-Prozessmodul platziert die Bilddaten, Kommentare und assoziierten Inhalt in ein ausgabefertiges Format. Dieser Lay-out-Schritt muss für jedes Produkt, das durch den Kunden angefordert wurde, wiederholt werden und für jedes Lay-out-Ziel, das während der Verarbeitungsschritte erzeugt wurde. Die Hauptaufgabe, die in dem Lay-out einer mehrseitigen Fotokollage involviert ist, ist die Bestimmung, welche Bilder in speziellen Stellungen auf speziellen Seiten platziert werden. Zusätzlich muss der externe Inhalt, der mit den individuellen Bildern oder Gruppen von Bildern in Verbindung gebracht wurde auf die Seite gebracht werden bzw. auf der Seite zusammengestellt werden. Der Lay-out-Prozess kann auf unterschiedliche Art und Weise erreicht werden. Eine Art zur Durchführung dieses Verarbeitungsschrittes ist die Verwendung einer parametrischen Fotokollagebeschreibung. Diese Beschreibung spezifiziert die allgemeine Struktur der Fotokollage, aber ist selbst nicht ausreichend, um ein schlussendliches Fotokollageprodukt zu spezifizieren. Die Beschreibungsdatei umfasst Fotokollagemerkmale wie beispielsweise die Anzahl von Abschnitten, Größe und Format individueller Seiten, maximale und minimale Anzahl von erlaubbaren Seiten, maximale und minimale Anzahl von Kundenbildern, die pro Seite erlaubbar ist, Abschnittsbeschreibungen, Abdeck- bzw. Coverdesigns, Anordnung von erlaubbaren vorhandenen, gespeicherten bzw. sonstigen Inhalten usw. Durch die Verwendung einer Fotokollagebeschreibungsdatei können unterschiedliche zugeschnittene Fotokollageprodukte aufgebaut bzw. designiert werden, welche Merkmale beinhalten, die für die Designziele spezifisch sind. Der Lay-out-Schritt beginnt durch Lesen der Fotokollagebeschreibungsdatei, um einen Lay-out-Algorithmus zu initialisieren. Der Lay-out-Algorithmus arbeitet dann Seite um Seite und Abschnitt um Abschnitt, um spezifische Lay-out-Regeln anzulegen, welche durch die Werte in der Fotokollagebeschreibungsdatei geführt werden. Unterschiedliche Seiten/Abschnitt-Layout-Algorithmen können verwendet werden, welche unterschiedliche Designphilosophien für Fotokollageprodukte beinhalten. Das schlussendliche Fotokollageprodukt kann auf unterschiedlichen Ausgabemedientypen erzeugt bzw. ausgegeben werden, welche Papier, Stoffe, eine digitale Datei oder irgendeine einer Anzahl von digitalen Medienformen wie beispielsweise eine CD umfassen. Die Prozessziele 38 werden verwendet zum bestimmen der Kapazitäten der speziell verwendeten Einrichtungen. Kundenprofile 30 werden verwendet zu Bestimmen von Farbpräferenzen, Lay-out-Präferenzen und Designbetrachtungen. Meta-Daten 34 werden verwendet zum Bestimmen der Platzierung assoziierten Inhalts mit speziellen Bildern.
  • 4 zeigt das Systemdiagramm für Storyerzeugungsdienste. Die Eingabe an das System kommt von PCs 90 (welche eine Albumsoftware wie beispielsweise Microsoft Picture It, Family BaseTM von Micro DynamicsTM oder einer Vielzahl anderer) verwendet, einem interaktiven Kiosk, über das Telefon oder über Bestellformulare 84 über den Ladentisch, einem Geschäft 82 mit Verbindungen zu dem System oder Digitalisierungsdienste 80, die sich auf die Umwandlung analogen Materials in digitale Information spezialisieren. Die Information, die notwendig ist zur Durchführung der Storydienste wird über traditionelle Mittel einschließlich Post, Telefon, Modem, Internet oder andere Online-Dienste übermittelt. Die Komponenten, welche durch ein solches System benötigt werden, umfassen ein Digitalisierungssystem für Bilder, Video und Audio 104, eine Speicheranlage 102, ein Bediener Interface 96, Algorithmen und Software 98 für die Analyse der Daten und zum Vorsehen der notwendigen Schritte zum Beenden des Produktes, und ein Ausgangsliefersystem 100 für das Drucken oder das Herstellen anderer Medien.

Claims (9)

  1. Verfahren zur automatischen Herstellung einer Fotokollage (11, 15, und 17) aus einer Vielzahl von Bildern (6, 8, 10 und 12), wobei das Verfahren folgende Schritte umfasst: a) Erhalten einer digitalen Aufzeichnung bzw. digitale Datensätze der Vielzahl der Bilder (6, 8, 10 und 12) und damit zusammenhängender Informationen: Kundenprofil (30), Pixeldaten (32), beigefügte oder Einzelbildern oder Bildgruppen zugeordnete Meta-Daten (34), und eine das gewünschte Endprodukt bezeichnende Auftragsbeschreibung (36), über ein Kommunikationssystem, wobei jede der digitalen Aufzeichnungen einen eindeutigen Identifikator besitzt und wobei die digitalen Aufzeichnungen in einer Datenbank (20) gespeichert sind; b) automatisches Erzeugen von mindestens einem vorbestimmten Verarbeitungsziel (38) für die Fotokollage auf der Grundlage des gewünschten Endprodukts durch Abrufen einer vorgegebenen Verarbeitungsbeschreibung aus einer Datenbank verfügbarer Produkte (40); c) automatisches Umsetzen des Verarbeitungsziels (38) in eine Vielzahl von Verarbeitungsschritten (62, 64, 66, 68, 70 und 72), basierend auf dem gewünschten Endprodukt; d) automatisches Anwenden von mindestens einem aus der Vielzahl von Verarbeitungsschritten (52) wie Auslesen, Gruppieren, Verbessern, mit Vermerken versehen, Assoziieren und Zusammenstellen unter Verwendung von Daten aus einem oder mehreren der Pixeldaten (32), Informationen über Verarbeitungsziel (38), Meta-Daten (34), Auftragsinformationen (36) oder Informationen über Kundenprofil (30) bei jedem Verarbeitungsschritt; e) automatisches Zusammenstellen der Fotokollage aus den digitalen Aufzeichnungen basierend auf den Resultaten des Schritts d).
  2. Verfahren nach Anspruch 1, wobei die Vielzahl der Verarbeitungsschritte (52) folgende Schritte einzeln oder kombiniert einschließen: Gruppieren (64), Verbessern (66), mit Vermerken Versehen (68), Assoziieren (70), Anordnen oder Zusammenstellen (72).
  3. Verfahren nach Anspruch 1, wobei der Umsetzungsschritt die Verwendung einer Geschichte oder eines themenbezogenen Modells einschließt.
  4. Verfahren nach Anspruch 1, wobei der Umsetzungsschritt die Verwendung einer Analyse der Pixeldaten (32) aus einer oder mehreren der digitalen Aufzeichnungen einschließt.
  5. Verfahren nach Anspruch 1, wobei Schritt d) folgenden weiteren Schritt einschließt: – Generieren zusätzlicher Verarbeitungsziele (48) auf Grund teilweisen Erreichens vorhergehender Verarbeitungsziele.
  6. Verfahren nach Anspruch 1, wobei Schritt a) das Scannen der Bilder einschließt, um die digitalen Aufzeichnungen zu erhalten.
  7. Verfahren nach Anspruch 1, wobei Schritt a) folgenden weiteren Schritt einschließt: – Verwenden einzeln oder in Kombination von entweder Datum, Zeit, Ort, Advanced Photo Standard Informationen über die Belichtung, Tondateien oder Kamera-Identifizierungsdaten als zusätzliche Daten.
  8. Verfahren nach Anspruch 1, wobei der folgende zusätzliche Schritt f) vorgesehen ist: – Sammeln von Informationen (36) über den Kundenauftrag als zusätzliche Daten.
  9. Verfahren nach Anspruch 8, wobei Schritt f) folgenden Schritt einschließt: – Verwenden eines für die Herstellung einer Fotokollage einschlägigen Kundenprofils (30) als zusätzliche Daten.
DE1999615566 1998-11-25 1999-11-12 Zusammenstellung und Änderung von Fotocollagen durch Bilderkennung Expired - Lifetime DE69915566T2 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US19972498A 1998-11-25 1998-11-25
US09/199,639 US6389181B2 (en) 1998-11-25 1998-11-25 Photocollage generation and modification using image recognition
US199724 1998-11-25
US199639 1998-11-25

Publications (2)

Publication Number Publication Date
DE69915566D1 DE69915566D1 (de) 2004-04-22
DE69915566T2 true DE69915566T2 (de) 2005-04-07

Family

ID=26894983

Family Applications (1)

Application Number Title Priority Date Filing Date
DE1999615566 Expired - Lifetime DE69915566T2 (de) 1998-11-25 1999-11-12 Zusammenstellung und Änderung von Fotocollagen durch Bilderkennung

Country Status (3)

Country Link
EP (1) EP1004967B1 (de)
JP (1) JP2000215212A (de)
DE (1) DE69915566T2 (de)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6745186B1 (en) * 2000-08-17 2004-06-01 Eastman Kodak Company Product and method for organizing and searching digital images
US6873336B1 (en) * 2000-08-17 2005-03-29 Eastman Kodak Company Computer software product and method for organizing and manipulating of images
JPWO2002025633A1 (ja) * 2000-09-20 2004-01-29 鶴田 かおり 画像再生方法・システム及び画像編集方法・システム並びに電子アルバム及びその作成・送配信システム
US8701022B2 (en) 2000-09-26 2014-04-15 6S Limited Method and system for archiving and retrieving items based on episodic memory of groups of people
US7461099B1 (en) 2000-09-26 2008-12-02 6S, Limited Method and system for archiving and retrieving items based on episodic memory of groups of people
GB2367158B (en) * 2000-09-26 2004-10-20 6S Ltd Method and system for archiving and retrieving items based on episodic memory of groups of people
EP1467550A1 (de) * 2000-10-20 2004-10-13 Fuji Photo Film Co., Ltd. Bildverarbeitungsvorrichtung und Bestellvorrichtung
US20020078070A1 (en) * 2000-12-18 2002-06-20 Philips Electronics North America Corp. Calendar software application with personal and historical data
DE10106316A1 (de) * 2001-02-12 2002-08-29 Siemens Ag Verfahren zum Veröffentlichen eines Bildes
US6810146B2 (en) * 2001-06-01 2004-10-26 Eastman Kodak Company Method and system for segmenting and identifying events in images using spoken annotations
JP2003234985A (ja) * 2002-02-08 2003-08-22 Fuji Photo Film Co Ltd 画像保管方法およびシステム並びにプログラム
US7009643B2 (en) 2002-03-15 2006-03-07 Canon Kabushiki Kaisha Automatic determination of image storage location
US8010579B2 (en) 2003-11-17 2011-08-30 Nokia Corporation Bookmarking and annotating in a media diary application
US7109848B2 (en) 2003-11-17 2006-09-19 Nokia Corporation Applications and methods for providing a reminder or an alert to a digital media capture device
US8990255B2 (en) 2003-11-17 2015-03-24 Nokia Corporation Time bar navigation in a media diary application
CN100435546C (zh) * 2003-11-27 2008-11-19 富士胶片株式会社 图像编辑装置及其方法
US7774718B2 (en) 2003-12-17 2010-08-10 Nokia Corporation Time handle in a media diary application for accessing media files
KR100601997B1 (ko) 2004-10-12 2006-07-18 삼성전자주식회사 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
EP1805684A4 (de) * 2004-10-12 2008-10-22 Samsung Electronics Co Ltd Verfahren, medium und vorrichtung zum personenbasierten fotoclustering in einem digitalen fotoalbum sowie verfahren, medium und vorrichtung zur erstellung eines personenbasierten digitalen fotoalbums
EP1793580B1 (de) * 2005-12-05 2016-07-27 Microsoft Technology Licensing, LLC Kamera zur automatischen Bilderfassung mit mehreren Bilderfassungsmodi mit verschiedenen Auslösern
KR100641791B1 (ko) * 2006-02-14 2006-11-02 (주)올라웍스 디지털 데이터에 대한 태깅 방법 및 시스템
US8375283B2 (en) 2006-06-20 2013-02-12 Nokia Corporation System, device, method, and computer program product for annotating media files
US20080215984A1 (en) * 2006-12-20 2008-09-04 Joseph Anthony Manico Storyshare automation
US20080155422A1 (en) * 2006-12-20 2008-06-26 Joseph Anthony Manico Automated production of multiple output products
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
JP5697139B2 (ja) * 2009-11-25 2015-04-08 Kddi株式会社 2次コンテンツ提供システムおよび方法
US9092455B2 (en) * 2012-07-17 2015-07-28 Microsoft Technology Licensing, Llc Image curation
US8837867B2 (en) * 2012-12-07 2014-09-16 Realnetworks, Inc. Method and system to detect and select best photographs
GB201307702D0 (en) 2013-04-29 2013-06-12 Maxymiser Ltd Customer community analytics
WO2017208423A1 (ja) * 2016-06-02 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761655A (en) * 1990-06-06 1998-06-02 Alphatronix, Inc. Image file storage and retrieval system
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JPH06178261A (ja) * 1992-12-07 1994-06-24 Nikon Corp デジタルスチルカメラ

Also Published As

Publication number Publication date
DE69915566D1 (de) 2004-04-22
EP1004967A1 (de) 2000-05-31
EP1004967B1 (de) 2004-03-17
JP2000215212A (ja) 2000-08-04

Similar Documents

Publication Publication Date Title
DE69915566T2 (de) Zusammenstellung und Änderung von Fotocollagen durch Bilderkennung
US6389181B2 (en) Photocollage generation and modification using image recognition
US6396963B2 (en) Photocollage generation and modification
DE10308014B4 (de) System und Verfahren zum Lokalisieren eines nichttextlichen Bereichs eines elektronischen Dokumentes oder Bildes, der mit einer benutzerdefinierten Beschreibung des Bereichs übereinstimmt
DE60112212T2 (de) Agent zum integrierten kommentieren und abrufen von bildern
DE60216547T2 (de) Videostrukturierung durch wahrscheinlichkeitstheoretische Zusammenführung von Videosegmenten
DE60035910T2 (de) Meta-deskriptor für multimedia-information
DE102018007937A1 (de) Entfernen und Ersetzen von Objekten in Bildern entsprechend einem geführten Nutzerdialog
DE10220352A1 (de) System und Verfahren zum Kombinieren von Sprachanmerkungs- und -erkennungssuchkriterien mit traditionellen Suchkriterien zu Metadaten
DE19708265B4 (de) Verfahren zum Durchsuchen einer Dokument-Bilddatenbank und Dokumentbild-Durchstöberungssystem sowie Verfahren zum Extrahieren eines Merkmalsvektors aus einem elektronisch gespeicherten Bild
DE69929548T2 (de) Verfahren und Vorrichtung zur Bestellungsannahme und Herstellung von tonbegleiteten Photos
DE102017005963A1 (de) Bereitstellen von relevanten Videoszenen in Reaktion auf eine Videosuchabfrage
DE202015009255U1 (de) Automatische Bildorganisation
DE102016010868A1 (de) Suchen unter Verwendung von in Bildern gefundenen spezifischen Attributen
US20040098379A1 (en) Multi-indexed relationship media organization system
DE102017008430A1 (de) Verfahren und Systeme zum Erzeugen von virtuelle Realität-Umgebungen aus elektronischen Dokumenten
DE10297802B4 (de) Verfahren, Speichermedium und System zum Suchen einer Sammlung von Medienobjekten
DE69835632T2 (de) Rechnerlesbares Aufzeichungsmedium zur Aufzeichnung von Bestellinformation für Fotodrucke
DE102007037646B4 (de) Computerspeichersystem und Verfahren zum Indizieren, Durchsuchen und zur Datenwiedergewinnung von Datenbanken
DE10307927A1 (de) System und Verfahren zum Bewahren von Metadaten in einer elektronischen Bilddatei
DE19751570A1 (de) Dokumentmanagementsystem, Verfahren zum Betreiben eines solchen Systems und Digitalkopierer
DE60123441T2 (de) Verfahren und mittel zur mobilen erfassung, verarbeitung, speicherung und übertragung von text und gemischten informationen, die zeichen und bilder enthalten
DE69907831T2 (de) Programmprodukt, Gerät und Drucker zur Bilddatenerzeugung
DE60033580T2 (de) Verfahren und gerät zur klassifizierung eines bildes
DE10116830A1 (de) Dateiverwaltungsvorrichtung und Datenträger zum Aufzeichnen eines Dateiverwaltungsprogramms

Legal Events

Date Code Title Description
8332 No legal effect for de
8370 Indication of lapse of patent is to be deleted
8364 No opposition during term of opposition