DE60112212T2 - Agent zum integrierten kommentieren und abrufen von bildern - Google Patents

Agent zum integrierten kommentieren und abrufen von bildern Download PDF

Info

Publication number
DE60112212T2
DE60112212T2 DE60112212T DE60112212T DE60112212T2 DE 60112212 T2 DE60112212 T2 DE 60112212T2 DE 60112212 T DE60112212 T DE 60112212T DE 60112212 T DE60112212 T DE 60112212T DE 60112212 T2 DE60112212 T2 DE 60112212T2
Authority
DE
Germany
Prior art keywords
images
user
context
image
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60112212T
Other languages
English (en)
Other versions
DE60112212D1 (de
Inventor
Henry Rochester Lieberman
Elizabeth Rochester Rosenzweig
Pushpinder Rochester Singh
Mark D. Rochester Wood
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Application granted granted Critical
Publication of DE60112212D1 publication Critical patent/DE60112212D1/de
Publication of DE60112212T2 publication Critical patent/DE60112212T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99934Query formulation, input preparation, or translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)

Description

  • Die Erfindung betrifft allgemein das Gebiet der Bildverarbeitung und insbesondere die Kommentierung und den Abruf ausgewählter Bilder aus einer Datenbank.
  • Seit es die digitale Fotografie gibt, besteht die Möglichkeit, dass Verbraucher im Laufe ihres Lebens beträchtliche Bildmengen ansammeln. Diese Bilder werden oft in "Schuhkartons" (oder deren elektronischem Äquivalent) aufbewahrt, selten betrachtet, gelegentlich in Alben eingelegt, liegen meistens aber unbenutzt und unbetrachtet jahrelang herum.
  • Das "Schuhkartonproblem" ist insofern besonders relevant, als "Schuhkartons" eine ungenutzte Quelle für den Austausch gemeinsamer Erinnerungen darstellen, die derzeit verloren gehen. Nach einer ersten Betrachtung (nach dem Entwickeln des Films oder Herunterladen in einen Computer) sammeln viele Leute ihre Bilder in großen, formlosen Archiven an. Hardcopies oder Ausdrucke werden oft in Schuhkartons oder Alben geeigneter Größe angehäuft. Bilder in Schuhkartons oder deren elektronischem Äquivalent in Ordnern oder Wechselspeichermedien werden oft nie (oder sehr selten) noch einmal angesehen, weil es schwierig ist, bestimmte Bilder abzurufen, wenn dafür unüberschaubar große Sammlungen durchsucht und organisiert werden müssen. Abgesehen von einem Ordnen in umgekehrter chronologischer Reihenfolge, ist diese Art des Organisierens für den Benutzer mit einem so großen Aufwand verbunden, dass es in der Regel nie dazu kommt. Um ein bestimmtes Bild zu finden, müssen daher im Allgemeinen, viele in den meisten Fällen nicht relevante Bilder mühsam von Fall zu Fall überprüft werden.
  • Theoretisch könnten die Bilder natürlich mit beschrifteten Etiketts kommentiert in einer relationalen Datenbank abgespeichert und mit einem Stichwort abgerufen werden. Solange Bilder per Computersicht noch nicht automatisch analysiert werden können, ist ein automatischer Bildabruf in den meisten Fällen jedoch wohl nur dadurch möglich, dass bestimmte Bilder manuell mit textlichen Stichwörtern versehen werden. Das Kommentieren von Bildern mit Stichwörtern ist jedoch eine zeitraubende Aufgabe, und bei den gegenwärtig verfügbaren Schnittstellen kann man von einem Normalverbraucher bei realistischer Betrachtung nicht erwarten, dass er mit dem dafür erforderlichen erheblichen Aufwand alle seine Bilder kommentiert, in der Hoffnung, sie dann später leichter abrufen zu können. Selbst wenn die Bilder eines Tages automatisch interpretiert werden können, sind viele herausragende Merkmale der Bilder nur in der Vorstellung des Benutzers vorhanden und müssen der Maschine auf irgendeine Weise mitgeteilt werden, damit das Bild indexiert werden kann. Abrufverfahren, die auf einer textlichen Kommentierung von Bildern basieren, werden daher in absehbarer Zeit nicht an Bedeutung verlieren.
  • Außerdem sind Abrufanwendungen an sich schon so kompliziert, dass sie häufig auch dann nicht benutzt werden, wenn in der Bibliothek vorhandene Bilder hilfreich sein könnten. So erfordert beispielsweise der Abruf als solcher den Einsatz einer Suchmaschine oder anderer Anwendungen, die selbst einen Organisationsablauf erfordern, und sei es auch nur das Auslösen und Verlassen der Anwendung und die Eingabe von Stichwörtern. Wegen dieses Organisationsaufwands werden Bildverwendungsmöglichkeiten häufig übersehen oder nicht genutzt.
  • Fotografische Aufnahmen bieten Verbrauchern eine hervorragende Möglichkeit, Leute durch Bilder und die Geschichten, die sie erzählen, zusammenzubringen. Bilder vermitteln Gefühle besser, als Worte dies können. Man stelle sich beispielsweise vor, dass man kürzlich zu einer Hochzeit eingeladen war und einem Freund das Ereignis in einer E-Mail beschreiben möchte. Die Mail wäre sicher sehr viel interessanter, wenn man die Erzählung mit Bildern des Ereignisses und vielleicht auch mit Bildern damit in Zusammenhang stehender Menschen, Orte und Ereignisse aus der Vergangenheit illustrieren könnte. Was ist dafür notwendig? Man könnte zum Beispiel Folgendes machen:
    • • Wichtige Ereignisse bei der Hochzeit aufnehmen: während das Paar sich das Eheversprechen gibt, die Torte anschneidet, sich küsst usw. Aufnahmen an jedem Tisch machen, Leute beim Tanzen, im Gespräch usw. fotografieren.
    • • Die Bilder in den Computer laden. Dazu muss gegebenenfalls der Datenträger [Speicherkarte, Diskette] aus der Kamera entnommen und in ein Lesegerät eingesetzt wer den. Möglicherweise muss das Lesegerät oder die Kamera mit einem Kabel an den Computer angeschlossen werden. Die Kommunikations-Software initialisieren oder einen Übertragungsmodus einstellen. Im Computer eine Stelle für das Abspeichern der Bilder auswählen. Der jeweiligen Gruppe von Bildern einen Namen geben, damit der Inhalt nicht in Vergessenheit gerät.
    • • Ein Bild-Betrachtungs-/-Verarbeitungs-/-Katalogisierungsprogramm initialisieren [z.B. Adobe PhotoshopTM, PicturePageTM]. Die Bilder zunächst abtasten und "Blindgänger", d.h. missglückte Belichtungen, entfernen. Möglicherweise muss der Dateiname eines Einzelbildes geändert werden, um dessen Inhalt zu beschreiben. Wenn der Benutzer über eine Bild-Datenbank verfügt, kann er Einzelbilder oder Bildgruppen mit Stichwörtern versehen. Das Bild muss gegebenenfalls mit derselben oder einer anderen Anwendung bearbeitet werden [Beschneiden, Helligkeitsverstellung usw.]. Weitere Möglichkeiten: Ausdrucken von Hardcopies der Bilder zur Aufbewahrung oder den Versand an andere, Versand von Bildern an andere per E-Mail oder Posting auf Webseiten.
    • • Wochen oder Monate später sollen die Bilder vielleicht für eine E-Mail über die Hochzeit an einen Freund oder ein Familienmitglied verwendet werden. Dazu muss nicht nur die E-Mail-Anwendung selbst initialisiert und betrieben, sondern zusätzlich eine weitere Anmeldung, nämlich eine Bild-Betrachtungs-/-Katalogisierungs-/-Suchanwendung, initialisiert werden. Vielleicht wird in der Datenbank nach einem Ordner gesucht, der relevante Bilder enthält, entweder durch Browsen oder gezielten Abruf mit dem Dateinamen. Relevante Bilder sind möglicherweise auf der Webseite des Benutzers oder den Webseiten von Bekannten gespeichert, sodass der Web-Browser gestartet und URL-Adressen eingetippt oder Suchmaschinen verwendet werden müssen. Vielleicht wird auch die Bilddatenbank über Stichwörter durchsucht. Der Benutzer schaltet je nach Bedarf zwischen den Anwendungen hin und her. Wenn es gelingt, ein Bild zu finden, wird es aus der Bildanwendung ausgeschnitten und in den E-Mail-Editor eingefügt.
  • An diesem Dialog ist nichts einfach und wird auch im Wiederholungsfall, beispielsweise wenn jemand anders später einen ähnlichen Bericht erhalten soll, nicht leichter. Eine Möglichkeit, diese Aufgabe einfacher zu gestalten, ist der Einsatz eines Agenten, d.h. eines Pro gramms, das im Hintergrund Daten erfasst oder verarbeitet. Einem Agenten wird in der Regel nur eine sehr kleine und genau definierte Aufgabe übertragen. Dafür eignen sich in diesem Zusammenhang einerseits Schnittstellen-Agenten, Software, die den Benutzer beim Betreiben einer interaktiven Schnittstelle aktiv unterstützt, und andererseits autonome Agenten, Software, die ohne Bedienereingriff aktiv wird und simultan abläuft, während der Benutzer nichts oder etwas anderes tut.
  • Autonome Schnittstellen-Agenten haben das Gebiet der natürlichsprachlichen Kommunikation auf das Gebiet der Speichererweiterung ausgeweitet. So ist beispielsweise aus der Veröffentlichung "Remembrance Agent: A Continuously Running Automated Information Retrieval System" von B. J. Rhodes u.a. in 1996 Proc. of the First International Conference on the Practical Application of Intelligent Agents and Multi Agent Technology (PAAM '96), S. 487–495, bekannt, dass ein Erinnerungs-Agent einen Systembenutzer durch Bereitstellung eines dauernd laufenden automatisierten Informationsabrufsystems für die Überwachung der Dateneingabe des Benutzers und somit des Denkprozesses des Benutzers automatisch unterstützen kann. Das System stellt beispielsweise einen Erinnerungs-Agenten bereit, der vom Benutzer eingetippten Text in einem Fenster überwacht. Der Agent führt periodisch einen Abgleich des Textes im Fenster mit einer Datenbank gespeicherter persönlicher Dokumente, wie zum Beispiel E-Mail-Archiven, durch, basierend auf der Häufigkeit der Wörter, die sowohl im Abfragetext als auch in den Bezugsdokumenten vorkommen. Auf dem Bildschirm des Benutzers erscheint dann unten eine geordnete Liste mit Vorschlägen für die k Eingaben, die für die aktuelle Aktivität am relevantesten sind, (k wird vom Benutzer gesetzt). Der Benutzer kann dann den Text einer Eingabe bequem abrufen und ansehen. Der Erinnerungsagent erfordert keine Vorverarbeitung des Archivs durch den Benutzer. Der Erinnerungsagent ist jedoch für die Abfrage von gespeicherten Texteingaben ausgelegt und für einen Abruf von Bildmaterial und dessen Kommentierung nicht geeignet.
  • Ein autonomer Schnittstellen-Agent (mit dem Namen "Letizia") für die Suche im Web wird in verschiedenen Artikeln von H. Lieberman beschrieben, u.a. "Letizia: An Agent that Assists Web Browsing", erschienen in der International Joint Conference on Artificial Intelligence, Montreal, 1995 und "Autonomous Interface Agents", erschienen in Proceedings of CHI '97, Atlanta, GA, März 1997, S. 67–74. Letizia ist ein Benutzer-Schnittstellen-Agent, der den Benutzer beim Browsen im World Wide Web (WWW) unterstützt. Letizia registriert die vom Benutzer ausgewählten URL-Adressen und liest die Seiten, um ein Profil der Interessen des Benutzers zu kompilieren. Wenn der Benutzer einen herkömmlichen Web-Browser betätigt, verfolgt daher der Agent das Verhalten des Benutzers und versucht, durch simultane, automatische Abtastung von Verknüpfungen, ausgehend von der aktuellen Position des Benutzers, Punkte, die von Interesse sein könnten, zu antizipieren. Der Agent automatisiert eine Browsing-Strategie, bei der ein Best First Search durch Ableiten der Interessen des Benutzers aus seinem Browsing-Verhalten heuristisch verstärkt wird. Über die Schnittstelle des Browsers stellt Letizia die Ergebnisse dann in einem unabhängigen Fenster dar, in dem der Agent Seiten durchsucht, von denen angenommen wird, dass sie den Benutzer wahrscheinlich interessieren. Wie der Erinnerungs-Agent, ist Letizia jedoch nicht für den Abruf von Bildmaterial ausgelegt und für die Kommentierung solchen Materials nicht geeignet.
  • US-A-5 493 677 (Chen Eugene u. a.) offenbart ein Verfahren zum Abrufen und Kommentieren von Bildern mit natürlichsprachlichen Abfragen und Kommentierungen. Abruf und Kommentierung werden dabei getrennt und von verschiedenen Benutzern ausgeführt. US-A-5 404 295 (Katz Boris u. a.) offenbart ein Verfahren zum Abrufen und Kommentieren von Datenbankobjekten, wie zum Beispiel Bildern, das natürlichsprachliche Abfragen berücksichtigt. Wenn die Abfrage zu keiner der in geeigneter Weise kommentierten Bilder in der Datenbank passt, wird die Abfrage selbst in Vorschläge für die Kommentierung einiger der Bilder umgewandelt, sodass dieselbe oder eine ähnliche Abfrage beim nächsten Mal zu einem Ergebnis führt.
  • In dem Artikel von J. Budzik und K. Hammond, "Watson: Anticipating and Contextualizing Information Needs", Proc. Of the Sixty-second Annual Meeting of the American Society for Information Science (1999), Information Today, Inc.: Medford, N.J., deckt ein Informationsverwaltungsassistent (Bezeichnung: "Watson") im Zusammenhang mit der Erstellung von Dokumenten Möglichkeiten für Sondersuchvorgänge auf. Wenn zum Beispiel ein Benutzer in sein Dokument eine Bildunterschrift ohne Bild einfügt, formuliert Watson anhand der Sperrlistenwörter in der Bildunterschrift eine Abfrage für eine Bild-Suchmaschine. Der Benutzer hat dann die Möglichkeit, vorgelegte Bilder in sein Dokument zu ziehen. Wie bei dem Erinnerungsagenten wird jedoch auch hier nichts getan, um die Konvertierung solchen Materials zu erleichtern.
  • Es wird nicht bestritten, dass mit einer Mischung aus kognitiven und perzeptiven Konstrukten wirksamere Informationsexplorerwerkzeuge generiert werden könnten. In dem Artikel "Multimedia Information Exploration", CHI98 Workshop on Information Exploration, FX Palo Alto Laboratory, Inc.: Palo Alto, CA (1998), weist A. Kuchinsky darauf hin, dass wenn kommentierende und erzählende Werkzeuge nicht isoliert, sondern im Rahmen der Kommentierung und des Abrufs von Informationen behandelt würden, solche Werkzeuge bewirken könnten, dass der Benutzer als Quelle von Metadaten fungiert. Dieser Blick in die Zukunft ist aber von der kontextuellen Verwendung der Bilder in einer Anwendung wie zum Beispiel E-Mail noch weit entfernt und sieht keinen Lerneffekt durch Beobachtung des Benutzers vor.
  • Trotz der vorstehend erwähnten Vorschläge, ein anderes Vorgehen zu erproben, hält die Fachwelt an der herkömmlichen Vorstellung fest, dass Kommentierung und Abruf zwei völlig getrennte Operationen sind, die mit Anwendungen adressiert werden müssen, die unabhängig voneinander und unabhängig von jeder Anwendung arbeiten, in der die Bilder verwendet werden könnten. Der Benutzer muss dabei nach wie vor im Bedarfsfall mühsam in Anwendungen einsteigen und aus diesen wieder aussteigen und Daten explizit von einer Anwendung zu einer anderen übertragen, in der Regel durch Ausschneiden und Einfügen. Der Benutzer neigt jedoch dazu, sich mit seinen eigenen Aufgaben zu beschäftigen, statt mit Anwendungen und Datenübertragung. Die Aufgabe eines jeden Benutzers, wie zum Beispiel der Versand einer E-Mail, steht in einem Kontext, der die benutzten Daten, die verfügbaren Werkzeuge, die Zielsetzungen usw. einschließt und sich von dem Kontext anderer Anwendungen naturgemäß in der Regel abhebt.
  • Ein Benutzer-Schnittstellen-Agent sollte daher den Prozess der textlichen Kommentierung und des Abrufs im Zusammenhang mit typischen fotografischen Aufnahmen des Verbrauchers erleichtern, statt ihn voll zu automatisieren. Der Agent sollte nicht so sehr die Kommentierung und den Abruf automatisch durchführen, sondern Gelegenheiten für Kommentierung und Abruf aufdecken und den Benutzer auf diese Möglichkeiten aufmerksam machen. Der Agent sollte es dem Benutzer auch möglichst leicht machen, die Operationen zum richtigen Zeitpunkt durchzuführen. Es besteht insbesondere ein echter Bedarf für einen Benutzer-Schnittstellen-Agenten, der den Benutzer dadurch unterstützt, dass er im Kontext der alltäg lichen Arbeit des Benutzers proaktiv nach Möglichkeiten der Bildkommentierung und des Bildabrufs sucht.
  • Die Erfindung soll die oben beschriebenen Probleme lösen. Dies geschieht durch ein im folgenden Anspruch 1 beanspruchtes Verfahren. Kurz zusammengefasst, wird nach einem Merkmal der Erfindung bei einem Verfahren zum integrierten Abrufen und Kommentieren gespeicherter Bilder eine Benutzeranwendung abgearbeitet, bei der von einem Benutzer eingegebener Text kontinuierlich überwacht wird, um den durch den Text ausgedrückten Kontext zu isolieren. Der Kontext wird mit den gespeicherten Bildern zugeordneten Metadaten abgeglichen. Dadurch wird eines oder werden mehrere abgeglichene Bilder bereitgestellt, die dann textnah abgerufen und angezeigt werden. Der Kontext wird anschließend dazu verwendet, für den Benutzer vorgeschlagene Kommentierungen für die abgeglichenen Bilder bereitzustellen und zu ermöglichen, dass der Benutzer einige der vorgeschlagenen Kommentierungen auswählt, um sie später den abgeglichenen Bildern zuzuordnen. In einem weiteren Schritt ermöglicht das Verfahren dem Benutzer, ausgewählte abgeglichene Bilder in den Text der Anwendung einzufügen und die Metadaten für die abgeglichenen Bilder automatisch zu aktualisieren.
  • Die Erfindung versucht, Bildkommentierung, Bildabruf und Bildverwendung in eine einzige "Anwendung" zu integrieren. Nach einer benutzerzentrierten Auslegung ist die Verwendung der wichtigste Aspekt. Bei einer Ausführungsform wurde als Anwendung, für die sich der Abruf von Bildern aus einer Bildbibliothek anbietet, die Aufbereitung von Text, insbesondere die Aufbereitung von Text für E-Mails, ausgewählt. Bei dieser Ausführungsform werden Abruf und Kommentierung in einer Anwendung zusammengefasst, um die verwirrende Aufgabenumschaltung zwischen getrennten Anwendungen zu eliminieren.
  • Wenn im Zusammenhang mit Problemlösung von "Intelligenz" die Rede ist, ist damit häufig eigentlich die Fähigkeit gemeint, festzustellen, was im Kontext der aktuellen Problemlösung relevant und wichtig ist, und dies "just-in-time" zur Verfügung zu stellen. Der Agent in der integrierten Anwendung hat die Aufgabe, den richtigen Kontext für zugehörigen Text und zugehörige Bilder bequem zugreifbar zur Verfügung zu stellen.
  • Beim Aufbereiten von E-Mails schafft das Eintippen von Textbeschreibungen häufig einen semantischen Kontext, in dem ein Abruf von Bildern, die für diesen Kontext relevant sind, d.h. ein Kontext, welcher menschlicher Erkenntnis (Kognition) entspricht und die Information in Begriffen darstellt, die für den Benutzer eine persönliche Bedeutung haben, sinnvoll ist. Ebenso schafft das Betrachten der Bilder einen Kontext, zu dem textuelle Beschreibungen im aktuellen Kontext passen könnten, und somit eine Gelegenheit für eine Kommentierung. Aus diesen Gründen wird hier eine Schnittstelle beschrieben, die es erlaubt, von diesen Möglichkeiten, in beiden Richtungen, durch einfaches Anklicken Gebrauch zu machen.
  • Die Erfindung bietet u. a. den Vorteil, dass sie Kommentierung und Abruf in einem einzigen, einfachen Prozess zusammenfasst, der dem Benutzer den für die Kommentierung seiner Bilder erforderlichen Zeit- und Energieaufwand erspart. Weil dies mühsam ist und die meisten zur Zeit verfügbaren Anwendungen in der Handhabung kompliziert sind, werden die meisten Bilder nicht kommentiert. Ferner bedeutet die herkömmliche Ansicht, dass Kommentierung und Abruf zwei getrennte, unabhängig voneinander und von jeder anderen gegebenenfalls verwendeten Anwendung ablaufende Operationen sind, dass der Benutzer den damit verbunden hohen organisatorischen Aufwand scheut, was für ihn ein weiterer Grund ist, keine Kommentierung vorzunehmen.
  • Ein weiterer Vorteil der Erfindung besteht in der Möglichkeit, die Bildverwendung in die Kommentierung und den Abruf zu integrieren, sodass der Texteditoreingabe des Benutzers als neue Aufgabe die Bereitstellung von Bildempfehlungen und -kommentierungen in Echtzeit zufällt.
  • Im Einzelnen schafft die Erfindung einen Benutzer-Schnittstellen-Agenten, der den Benutzer durch proaktives Suchen nach Gelegenheiten für Bildkommentierung und Bildabruf im Kontext der alltäglichen Arbeit des Benutzers unterstützt. Eine Version der Erfindung hat ihren Platz im E-Mail-Editor des Benutzers und überwacht kontinuierlich das Eintippen von Text. Kontinuierliche, geordnete Suchvorgänge werden automatisch aus einer Bildbibliothek heraus ausgeführt, wobei für den aktuellen Text relevante Bilder mit einem einfachen Klick eingefügt werden können. In eine E-Mail erzählerisch eingegebene Bildbeschreibungen können nahtlos als Rohmaterial für die Bildkommentierung verwendet werden. Die Erfindung automatisiert die Bildkommentierung und den Bildabruf zwar nicht völlig, reduziert aber den organisatorischen Interfaceaufwand des Benutzers drastisch und führt zu besser kommentierten Bildbibliotheken und weniger verpassten Gelegenheiten der Bildverwendung.
  • Die Erfindung wird im Folgenden anhand eines in der Zeichnung dargestellten bevorzugten Ausführungsbeispiels näher erläutert.
  • Es zeigen:
  • 1 ein Funktionsbild der Software-Anwendungen einschließlich des Kommentierungs- und Abrufagenten in einer beispielhaften Ausführungsform der Erfindung.
  • 2 ein Funktionsbild des erfindungsgemäßen Kommentierungs- und Abrufagenten.
  • 3 ein Ablaufdiagramm des prinzipiellen logischen Flusses des in 2 dargestellten Kommentierungs- und Abrufagenten.
  • 4 eine Darstellung der Bildschirmkonfiguration des Hauptfensters eines E-Mail-Texteditors, die eine Anwendung des erfindungsgemäßen Kommentierungs- und Abrufagenten zeigt.
  • 5 eine Darstellung eines Stichwort-Dialogfeldes in dem in 4 dargestellten Hauptfenster.
  • 6 eine Ansicht des in 4 dargestellten Hauptfensters mit einer versandfertig eingetippten E-Mail.
  • Da Datenverarbeitungssysteme mit Verarbeitungsagenten an sich bekannt sind, konzentriert sich die folgende Beschreibung auf Merkmale, die Teil des erfindungsgemäßen Systems und des erfindungsgemäßen Verfahrens sind oder unmittelbar mit diesen zusammenwirken. Im Einzelnen nicht dargestellte oder beschriebene Merkmale können aus bekannten Merkmalen ausgewählt werden. In der folgenden Beschreibung würde eine bevorzugte Ausführungsform der Erfindung normalerweise als Softwareprogramm implementiert werden, wobei der Fachmann jedoch mühelos erkennen wird, dass das Äquivalent einer solchen Software auch als Hardware erstellt werden kann. In der folgenden Beschreibung des erfindungsgemäßen Systems und erfindungsgemäßen Verfahrens ist für die Verwirklichung der Erfindung nützliche Software, die hier im Einzelnen nicht dargestellt, vorgeschlagen oder beschrieben wird, herkömmliche Software, die den Rahmen durchschnittlicher Fachkenntnisse nicht überschreitet.
  • Wenn die Erfindung als Computerprogramm verwirklicht wird, kann das Programm auf herkömmlichen computerlesbaren Speichermedien abgespeichert werden. Dazu gehören beispielsweise magnetische Speichermedien, z.B. eine Magnetplatte (wie zum Beispiel eine Festplatte oder eine Diskette) oder ein Magnetband, optische Speichermedien, z.B. eine Bildplatte, ein Bildband oder ein maschinenlesbarer Strichcode, Halbleiterelektronikspeichervorrichtungen, z.B. Direktzugriffspeicher (RAM) oder Festwertspeicher (ROM) oder jedes andere reale Gerät oder Medium, das zum Speichern eines Computerprogramms verwendet wird.
  • 1 zeigt ein Funktionsbild der Softwareanwendungen in einer beispielhaften Ausführung der Erfindung. Die Benutzeranwendung 2, z.B. ein E-Mail-Texteditor, wird von einer Prozessoreinheit 4 bedient, beispielsweise einem herkömmlichen Personal-Computer mit Prozessor, Speicher, Stromversorgungsgerät, Ein-/Ausgabe-Schaltungen, Massenspeichervorrichtungen und anderen, für einen Computer typischen Schaltungen und Vorrichtungen. Die Prozessoreinheit 4 bedient auch den Kommentierungs- und Abrufagenten 6. Die Verwendung des Prozessors 4 für beide Aufgaben ist für diese beispielhafte Ausführungsform zwar nicht notwendig, in der Zeichnung aber so dargestellt. Der Prozessor 4 ist mit einer grafischen Benutzeroberfläche 8 und einem Bildarchiv 14 gekoppelt. Die grafische Benutzeroberfläche 8 stellt eine Funktionsschnittstelle zu einem Display 10 bereit, das als visuelle Schnittstelle zum Benutzer dient und für das sich alle üblichen Computer-Sichtgeräte eignen, wie zum Beispiel, aber nicht nur, Bildschirme, Matrix-Displays, Flüssigkeitskristallanzeigen, Dünnfilmtransistor-Bildschirme usw., mit einem Eingabegerät 12, das in der Regel als Tastatur ausgebildet ist, aber auch beispielsweise ein Berührungsbildschirm, ein Zeichenerkennungssystem, eine Maus, eine Rollkugel, ein Touchpad oder eine andere Benutzeroberfläche oder ein anderes Peripheriegerät sein könnte.
  • Die Kommentierungs- und Abrufanwendung kommuniziert mit einer Grafikdatenbank. Bei der bevorzugten Ausführungsform dient als Datenbank das digitale Bildarchiv 1, das ein Standbildarchiv speichert. Stattdessen oder zusätzlich könnte die Datenbank auch eine digitale Videodatenbank zum Speichern von Bewegtbildfolgen aufweisen. Eine solche Datenbank umfasst diverses digitales Grafik- und/oder Bildmaterial, auf das mit einer Suchfunktion zugegriffen werden kann. In der Regel ist die Datenbank eine mit einer Vielzahl von Indices indexierte relationale Datenbank. Herkömmlich wird eine solche Datenbank mit einem oder mehreren Stichwörtern mit Prioritätssetzung durchsucht. Die Datenbank antwortet auf eine solche Abfrage mit einem Suchergebnis, das eine Anzahl von Treffern auflistet.
  • Der Fachmann weiß, dass Datenbanken wie zum Beispiel das Archiv 1 mit ausgeklügelteren Indexierstrategien arbeiten können und dass jede Datenbank dieser Art für die Erfindung geeignet wäre. Die Bilder können zum Beispiel auf der Basis von Bildinhaltsdeskriptoren statt mit Stichwörtern indexiert werden. Während Stichwörter die bildspezifischen Umstände beschreiben können, d.h. das Wer, Was, Wo, Wenn und Warum, beschreiben Inhaltsdeskriptoren real die Daten innerhalb des digitalen Grafikmaterials. Solche Faktoren werden vom Bild selbst abgeleitet und können ein Farb-Histogramm, Texturdaten, Auflösung, Helligkeit, Kontrast usw. umfassen. Das Bildmaterial kann nicht nur aus typischen Bilderzeugungsgeräten, wie zum Beispiel einem Filmscanner oder einer Digitalkamera, stammen, sondern auch aus vorhandenen Datenbanken, wie zum Beispiel Fremdfoto-Datenbanken oder privaten Datenbanken. Es ist ebenfalls absehbar, dass für die Verbreitung solchen Grafik- und/oder Bildmaterials öffentliche Websites entstehen werden.
  • Das Bildarchiv 1 kann in der Prozessoreinheit 4, z.B. in dem Massenspeicher eines Personal-Computers, oder außerhalb der Prozessoreinheit 4 angeordnet sein. Im letzteren Fall kann die Prozessoreinheit 4 über eine Netzwerk-Schnittstelle 15 mit dem Bildarchiv 1 gekoppelt werden. In der Zeichnung ist die Netzwerk-Schnittstelle 15 außerhalb der Prozessoreinheit 4 angeordnet, sie könnte jedoch ebenso gut innerhalb der Prozessoreinheit 4 angeordnet werden. Als Netzwerk-Schnittstelle eignet sich jede beliebige Vorrichtung oder auch eine einfache leitende Verbindung, mit der die Prozessoreinheit 4 an ein externes Netzwerk, wie zum Beispiel das Internet, angeschlossen werden kann. Das verwendete Netzwerk könnte jedoch auch ein privates Netzwerk, ein Intraet, ein kommerzielles Netzwerk oder ein anderes Netzwerk sein, das eine Datenbank grafischer Daten beherbergt. Als Netzwerk-Schnittstellenvorrichtung 15 könnte ein herkömmliches Modem mit Anwahlverbindung, ein ADSL-Modem, eine ISDN-Schnittstelle, ein Kabelmodem, eine direkte Festverdrahtung, ein Funkmodem, ein optisches Modem oder eine beliebige andere Vorrichtung verwendet werden, mit der sich die Prozessoreinheit 4 an ein externes Netzwerk anschließen lässt, wie hier beschrieben.
  • Der in 2 dargestellte Kommentierungs- und Abrufintegrationsagent 6 (ARIA = Annotation and Retrieval Integration Agent) umfasst verschiedene logische Komponenten, wie im Folgenden beschrieben. Wie bereits erwähnt, speichert das Bildarchiv 14 Bildobjekte einschließlich Darstellungen von Bildern und der zugehörigen Metadaten. Dazu gehören Stichwörter oder andere den Bildern zugeordnete Schlüsselinformationen (wie zum Beispiel Inhaltsinformationen). Ein Autoimportagent 16 tastet periodisch eine vorgegebene Quelleneingabe nach neuen Bildinhalten ab und integriert diese Inhalte automatisch in das Bildarchiv 14. Die vorgegebene Quelleneingabe kann beispielsweise ein Wechselspeicher, z.B. eine Blitzkarte, aus einer Digitalkamera sein, der an die Prozessoreinheit 4 angeschlossen ist, oder eine Verbindung zu einer externen Datenbank über die Netzwerk-Schnittstelle 15. Andere, für den Durchschnittsfachmann nahe liegende Quelleneingaben können für diese Ausführungsform natürlich ebenfalls verwendet werden. Ein Bilddatenbank-Betrachter 18 stellt eine Navigationsmöglichkeit zum Betrachten des Inhalts des Bildarchivs 14 auf dem Display 10 bereit und zeigt sowohl die Verkleinerung eines ausgewählten Bildes für Kontrollzwecke als auch dessen Metadaten, wie zum Beispiel zugehörige Stichwörter, an. Andere Agenten, wie zum Beispiel ein Abruf-Agent 20, bewirken eine Aktualisierung der dargestellten Ansicht. Der Bilddatenbank-Betrachter 18 bietet auch die Möglichkeit, Bilder durch Ziehen oder auf andere Weise in ein Fenster der Benutzeranwendung 2 zu bewegen. Der Sprachanalysator 22 analysiert von der Benutzeranwendung 2 entwickelte Wörter und stellt für den Abruf-Agenten 20 Informationen zum Auswählen von Bildern aus dem Archiv 14 bereit.
  • Die Benutzeranwendung 2 kann unterschiedlich ausgebildet sein, beispielsweise als E-Mail, Webseiten-Posting, Textverarbeitung, Präsentationssoftware, Kalenderprogramm usw. Im Folgenden wird die Anwendung am Beispiel eines E-Mail-Texteditors beschrieben. Der Sprachanalysator 22 analysiert die Benutzereingabe in die Ziel-E-Mail-Applikation und stellt für den Abruf-Agenten 20 Kontextinformationen bereit. Im typischen Sprachgebrauch alltägliche Wörter, wie zum Beispiel Artikel, Konjunktionen usw., werden dabei übergangen. Der Abruf-Agent 20 benutzt die Eingabe in den Sprachanalysator 22 als Kontext für das Ordnen der Bilder in der Datenbank 14 nach Relevanz und zum Aktualisieren der von dem Bilddatenbank-Betrachter 18 auf dem Display 10 dargestellten Ansicht. Wenn der Benutzer mit dem Eingabegerät 12 Bilder aus der aktualisierten Ansicht durch Ziehen oder auf andere Weise in das Anwendungsfenster bewegt, analysiert der Sprachanalysator 22 den Kontext im Umfeld der Bildeinfügung, um Stichwörter abzufragen, die dann automatisch als Anlage zu dem Bild im Bildarchiv 14 vorgeschlagen werden.
  • Soweit im Bildarchiv 14 Kommentierungen vorhanden sind, können diese manuell oder automatisch mit dem von dem Sprachanalysator 22 abgefragten aktuellen Stichwörtersatz kommentiert werden. So kann zum Beispiel ein Kommentierungsagent 24 von dem Benutzer direkt aus dem Bilddatenbank-Betrachter 18 aufgerufen werden, sodass der Benutzer die vorgeschlagenen Stichwörter akzeptieren oder Stichwörter manuell aufbereiten und an Bilder anhängen kann. Stattdessen oder zusätzlich kann der Kommentierungsagent 24 das Bildarchiv automatisch mit allen von dem Sprachanalysator 22 abgefragten Stichwörtern aufstocken. Im letzteren Fall könnten automatisch abgefragte Stichwörter von manuell hinzugefügten Stichwörtern dadurch unterschieden werden, dass den automatisch abgefragten Stichwörtern ein geringerer Vertrauensgrad zugewiesen wird. Während diese Komponenten den Kommentierungs- und Abrufintegrationsagenten 6 bilden, ist dieses Subsystem für eine Integration in eine oder mehrere Zielapplikationen 2 ausgelegt, wie zum Beispiel eine E-Mail-Anwendung.
  • 3 zeigt den prinzipiellen logischen Fluss einer von dem Kommentierungs- und Abrufintegrationsagenten 6 ausgeführten Abrufoperation. In Schritt 30 empfängt der Abrufagent 20 einen neuen Kontext, der von dem Sprachanalysator 22 abgerufen wurde. Der Kontext kann unterschiedlich gehandhabt werden, je nachdem, ob der Kontext ein zeitbezogener Kontext (z.B. "gestern" oder "Sonntag") ist oder nicht. Wenn in Schritt 32 festgestellt wird, dass es sich bei dem Kontext um einen zeitbezogenen Verweis handelt, wird das Bildarchiv 14 in Schritt 34 nach einer Entsprechung abgesucht. Digitale Bilder werden zum Beispiel häufig mit einem Datums- und Uhrzeitstempel als Metadaten erfasst. Eine Entsprechung ist gegeben, wenn ein Bild gefunden wird, das dem angezogenen Zeitpunkt – gleicher Tag oder gleicher Monat – entspricht. Wenn eine Entsprechung gefunden wird, werden die Bilder in Schritt 36 nach dem zeitlichen Abstand von dem angezogenen Zeitpunkt geordnet. In Schritt 38 wird die von dem Bilddatenbank-Betrachter 18 auf dem Display 10 dargestellte Ansicht entsprechend aktualisiert. Dabei können beispielsweise die in der Rangfolge höher stehenden Bilder auf der Liste weiter nach oben vorrücken als die in der Rangfolge niedriger stehenden Bilder.
  • Wenn der in Schritt 32 bestimmte Kontext kein zeitbezogener Verweis ist, werden die Bilder in Schritt 40 nach ihrer Relevanz für den vorgegebenen Kontext geordnet. In Schritt 38 wird dann die von dem Bilddatenbank-Betrachter 18 dargestellte Ansicht entsprechend aktualisiert. Die Reihenfolge der Bilder richtet sich danach, wie viele der im Kontext vorkommenden Stichwörter Stichwörtern entsprechen, die an die Bildobjekte angehängt sind. Die Größe des betrachteten Kontextes ist eine Programmvariable. Wenn in dem abgefragten Kontext beispielsweise die Wörter "Strand" und "Florida" vorkommen, würden Bilder mit beiden Stichwörtern in der Rangfolge den höchsten Platz und Bilder mit nur einem der Stichwörter den nächsthöheren Platz einnehmen. Die Bilder könnten auch nach anderen Prinzipien geordnet werden, beispielsweise ortsbezogen. (Dabei werden Bilder nach ihrer Entfernung von dem in dem vom Sprachanalysator 22 abgerufenen Kontext genannten Bezugsort geordnet). Da manuell kommentierten Bildern ein größerer Vertrauensgrad zugewiesen wird, könnte bei der Festlegung der Rangfolge auch berücksichtigt werden, ob das abgerufene Stichwort automatisch bereitgestellt oder manuell vom Benutzer ausgewählt wurde. Da ein Bild eine Mischung aus zeitbezogenen und nichtzeitbezogenen Verweisen aufweisen kann, kann die Abgleichfunktion ferner auch den Schnittpunkt der mit dem zeitbezogenen Kontext abgeglichenen Bilder mit den mit dem Stichwort-Kontext abgeglichenen Bildern festhalten. In diesem Fall könnten die Bilder mit der Schnittstelle abgerufen und geordnet oder höher eingestuft werden als die Bilder, die nicht beide Verweise aufweisen.
  • Eine beispielhafte Implementierung des Kommentierungs- und Abrufintegrationsagenten 6 ist in der Bildschirmkonfiguration in 46 dargestellt. Die Ausgangsimplementierung umfasst einen Standard-Texteditor 50, wie zum Beispiel den Standard-Texteditor Java Swing, der mit einem Fenster 52 gekoppelt ist, das eine kundenspezifische Bildabruf- und -kommentierungsanwendung enthält. Unten im Texteditor 50 wird in einer Box 54 ein Abrufterm angezeigt, der dem Text im Umfeld des Cursors 56 des Editors entnommen wurde. Rechts vom Texteditor 50 wird im Abruffenster 58 eine Spalte abgerufener Bilder 60 dargestellt. Diese Spalte wird dynamisch aktualisiert. Rechts von jedem Bild 60 erscheint eine Liste 62 mit zu dem Bild gehörigen Kommentierungs-Stichwörtern. Der Benutzer kann in den Texteditor 50 beliebig Text eintippen. Die Textbearbeitungsmaßnahmen werden von dem Kommentierungs- und Abrufintegrationsagenten 6 registriert, wie in 4 gezeigt. Der Kommentierungs- und Abrufintegrationsagent 6 läuft ständig und beobachtet die vom Benutzer in den Texteditor 50 eingetippten Eingaben.
  • Die Eingabe in den Kommentierungs- und Abrufintegrationsagenten 6 wird von dem Sprachanalysator 22 analysiert, um in dem Kontext im Umfeld des Textcursors 56 Stichwörter abzufragen. Für die Durchführung der Textanalyse gibt es verschiedene herkömmliche Verfahren.
  • Besonders einfach ist die Verwendung einer üblichen Informationsabrufheuristik, wie zum Beispiel das TFIDF(Term Frequency-Inverse Document Frequency)-Verfahren für Informationsabruf, Eliminierung alltäglicher Wörter usw. Das TFIDF-Verfahren berücksichtigt zum Beispiel, wie wichtig ein Begriff in einer Abfrage ist, und wägt außerdem ab, wie gut der Begriff die E-Mail-Kommunikationen des Benutzers charakterisiert und wie selten dieser Begriff von allen Personen, die mit dem Benutzer kommunizieren, verwendet wird. Eines oder mehrere der Stichwörter mit dem geringsten Abstand zum Cursor 56 wird bzw. werden in der Box 54 unter dem Texteditor-Fenster 52 ständig angezeigt, wobei die Anzahl der angezeigten Stichwörter von der Größe des von dem Sprachanalysator 22 betrachteten Kontextes abhängt. Mit den Stichwörtern wird die Bilddatenbank im Bildarchiv 14 abgefragt. Eine geordnete Liste von Bildern 60 wird in der Reihenfolge ihrer Relevanz in der Spalte 58 rechts vom Texteditor 50 grafisch dargestellt. Diese Liste wird bei jedem Tastendruck neu berechnet.
  • Wie in 4 gezeigt, tippt der Benutzer beispielsweise zuerst eine E-Mail in den Texteditor ein:
    Liebe Karen,
    vorige Woche arrangierten Joel und die Kinder eine Geburtstags ...
  • Dies veranlasst den Agenten, das Stichwort "Geburtstag" abzufragen. Wenn mindestens eines der Bilder zuvor mit diesem Begriff kommentiert worden ist, würde dies ausreichen, ein Bild des Ereignisses abzurufen, das in der Spalte 58 rechts von dem Texteditor 50 erscheinen würde. Wahrscheinlich würde dies zum Aufruf eines Bildes 60a führen, das für die E-Mail eine hübsche Illustration abgeben würde. Der Benutzer kann dann das Bild aus der aktualisierten Ansicht in Spalte 58 in das Anwendungsfenster 52 des Texteditors 50 ziehen. Stattdessen könnte das Bild beispielsweise auch durch einfaches Anklicken des Bildes 60a an der Stelle, an der sich der Cursor 56 befindet, in den Editor eingefügt werden.
  • Nachdem das Bild 60a, wie in 6 gezeigt, in die E-Mail eingefügt worden ist, fährt der Benutzer mit dem Eintippen der E-Mail in den Texteditor fort:
    Liebe Karen,
    vorige Woche arrangierten Joel und die Kinder eine Geburtstagsparty für mich. Ich musste einen Partyhut aufsetzen. Als Geschenk bekam ich ein Motorrad ...
  • Der Kommentierungs- und Abrufintegrationsagent 6 fragt jetzt die Stichwörter "Party", "Hut" und "Motorrad" ab. Wenn die Bilder wiederum zuvor mit diesen Begriffen kommentiert worden sind, würde dies ausreichen, Bilder des Ereignisses abzurufen, die in der Spalte 58 rechts vom Texteditor 50 erscheinen würden. Auch in diesem Fall dürften ein oder mehrere Bilder hübsche Illustrationen für die E-Mail abgeben. Durch Ziehen (oder einfaches Anklicken des Bildes) wird das Bild an der Stelle, an der sich der Cursor 56 befindet, in den Editor eingefügt.
  • Wichtig ist, dass man sich klarmacht, wie sehr dieser Dialog sich vom herkömmlichen Bildabruf unterscheidet. Es muss zum Beispiel nicht auf eine Bildabrufanwendung geschaltet werden. Es wurden keine Stichwort-Abfragen eingetippt und keine Datei-Dialogfelder heruntergezogen. Ferner konnte das Bild ohne Kopieren und Einfügen in der E-Mail verwendet werden. Der wichtigste Vorteil ist jedoch, dass sich der Eingriff des Benutzers vorzugsweise auf eine einzige Bewegung, oder einmaliges Anklicken, beschränken lässt. Natürlich kann es vorkommen, das das gewünschte Bild nicht sofort erscheint. In diesem Fall kann der Benutzer die Liste rollen, bis er ein geeignetes Bild findet, ein Dialogfeld aufrufen, um andere Bildgruppen zu laden, usw. Selbst in diesem Fall wäre der Eingriff im Vergleich zum herkömmlichen Verfahren weniger aufwändig, vor allem aber wird immer der wahrscheinlichste Fall vorgelegt, sodass der durchschnittliche Eingriffsaufwand auf jeden Fall drastisch reduziert wird.
  • In dem eingetippten Text sind weitere Informationsarten enthalten, die zur Unterstützung des Abrufs herangezogen werden können. Dazu gehören u. a. zeitbezogene Verweise. In vielen Fällen sind die von dem Autoimportagenten 16 importierten Bilder mit Datum und Uhrzeit der Aufnahme versehen. Der Kommentierungs- und Abrufintegrationsagent 6 kann so ausgelegt werden, dass er in der Lage ist, zeitbezogene Informationen dieser Art zu nutzen. So kann beispielsweise das Eintippen von "vorige Woche" das System veranlassen, den der vorigen Woche zuzuordnenden Datumsbereich zu bestimmen, diesen Bereich mit dem Datums- und Uhrzeitstempel auf jedem Bild zu vergleichen und die Bilder, die sich in dem betreffenden Datumsbereich befinden, abzurufen. Diese Fähigkeit würde normalerweise ein großes Vokabular zeitbezogener Verweise umfassen, einschließlich spezifischer und relativer Datumsangaben, Zeiträume, "etwa" usw.
  • Eine weitere Informationsart ist ein Ortsverweis. Es gibt bereits digitale Kameras, die zusammen mit den Bildern GPS-Daten erfassen. Das Eintippen eines Ortes, z.B. "San Francisco", könnte das System veranlassen, die entsprechenden GPS-Koordinaten nachzuschlagen und diese Information mit dem Ort, an dem die Bilder aufgenommen wurden, zu korrelieren und dann die Bilder mit denselben Ortskoordinaten abzurufen.
  • Angenommen, das gewünschte Bild wäre noch nicht kommentiert worden, wie dies immer der Fall ist, wenn die Bilder von dem Autoimportagenten 16 zum ersten Mal geladen werden, beispielsweise durch Einschieben eines Bildspeichermediums, wie zum Beispiel einer für eine Digitalkamera normalerweise verwendeten Kompaktblitzkarte. Sobald die Blitzkarte in den Computer eingeschoben wird, lädt der Kommentierungs- und Abrufintegrationsagent 6 die Bilder auf den Blitzkarten unverzüglich in das Bildarchiv 14. Der Kommentierungs- und Abrufintegrationsagent 6 ist so eingestellt, das er ankommende Eingaben alle paar Sekunden automatisch abfragt. Dies mag trivial erscheinen, erspart dem Benutzer jedoch die Notwendigkeit, eine Operation "Bilder laden" aufzurufen, zu warten, bis ein Datei-Dialogfeld auftaucht, festzustellen, wo die Bilder in das Dateisystem eingegeben werden sollten, wie sie bezeichnet werden sollten und die Bezeichnungen zu behalten, damit die Bilder beim nächsten Mal wieder abgerufen werden können. Die eingefügten Bilder erscheinen unverzüglich oben im Abruffenster 58, weil der Benutzer sie wahrscheinlich sofort sehen will.
  • Beim Blättern und Auswählen eines Bildes als Illustration für den ersten Satz des oben eingetippen Briefs bemerkt der Benutzer vielleicht, dass das Bild (nach dem Einfügen) jetzt im Texteditor 50 neben Text erscheint, der zahlreiche für eine Beschreibung des Bildes geeignete Stichwörter enthält. Dies bietet eine Gelegenheit, die Bilder mit dem vorhandenen Text zu kommentieren, sodass sie beim nächsten Mal leichter abgerufen werden können. Der Benutzer kann zum Beispiel die Wörter "Hut", "Party" usw. aus dem Texteditor 50 in das Bild 60a ziehen, um dieses mit einer Kommentierung zu versehen. In 6 hat sich der Benutzer beispielsweise entschieden, das Bild 60a mit der Kommentierung "Hut" zu versehen. Wie aus 5 ersichtlich, kann der Kommentierungs- und Abrufintegrationsagent 6 auf einen Treffer auch dadurch reagieren, dass er ein Dialogfeld 70 anzeigt, das Stichwortkandidaten 72 aus dem umgebenden Text vorschlägt (Beschreibungen erscheinen manchmal vor, manchmal nach dem Bild, aber gewöhnlich in der Nähe des Bildes), sodass der Benutzer ein oder mehrere geeignete Stichwörter gleichzeitig auswählen kann (durch Ankreuzen der Felder 74) unter Vermeidung der nicht relevanten. Durch Anklicken des Knopfes 76 mit der Bezeichnung "Hinzufügen" werden die Kommentierungen für das betreffende Bild dann mit den ausgewählten Stichwörtern ergänzt.
  • Auch in diesem Fall ist der Eingriff weniger aufwändig als bei einer herkömmlichen Bildkommentierungsanwendung, bei welcher die Stichwörter eingetippt, ausgeschnitten und eingefügt oder aus einer externen Liste ausgewählt werden müssten, wobei hier auch eine Kontexteinschaltung in und -ausschaltung aus der Kommentierungsanwendung entfällt.
  • Zusammenfassend lässt sich festhalten, dass der Kommentierungs- und Abrufintegrationsagent eine Kombination eines herkömmlichen E-Mail-Editors mit einer herkömmlichen Bildabrufanwendung darstellt, die verschiedene Merkmale aufweist, die dem Benutzer die Durchführung verschiedener üblicher Operationen für die Bildkommentierung und den Bildabruf beim Erstellen einer E-Mail erleichtern. Der E-Mail-Editor ermöglicht dem Benutzer das Eintippen von Mitteilungen und versendet diese über Netzwerke, wie zum Beispiel das Internet. Die Bildabrufanwendung speichert eine Bild-Datenbank und ordnet jedem Bild Stichwörter zu. Sie bietet dem Benutzer die Möglichkeit, ein neues Stichwort an ein Bild anzuhängen, ein vorhandenes Stichwort zu löschen oder eine Bildgruppe in der Datenbank auf der Basis einer Stichwortgruppe abzurufen. Für jede Stichwortgruppe liefert die Bildabrufanwendung eine geordnete Liste von Bildern in einer Reihenfolge, bei der die Bilder, die den Stichwörtern des Benutzers am besten entsprechen, zuerst erscheinen. Um das Kombinieren von Bildern mit E-Mail-Mitteilungen zu vereinfachen, ruft der Kommentierungs- und Abrufintegrationsagent Bilder auf der Basis kürzlich in die E-Mail-Mitteilung eingetippter Stichwörter ab. Bilder können aus der Bildabrufanwendung in die E-Mail-Anwendung gezogen werden. In diesem Fall werden sie in die E-Mail-Mitteilung eingefügt. Wenn Wörter aus der E-Mail-Mitteilung aus der E-Mail-Anwendung in ein Bild in der Bildabrufanwendung gezogen werden, werden sie dem betreffenden Bild in der Datenbank der Bildabrufanwendung zugeordnet. Bei Linksklick auf ein in der E-Mail-Mitteilung erscheinendes Bild wird in Ankreuzboxen eine Gruppe von Stichwörtern aus Wörtern im Umfeld des Bildes angezeigt. Durch Ankreuzen der entsprechenden Boxen wird das betreffende Wort mit dem betreffenden Bild in der Datenbank der Bildabrufanwendung gespeichert.

Claims (12)

  1. Verfahren zum integrierten Abrufen und zur Kommentierung gespeicherter Bilder mittels einer Computeranwendung (2), bei der Text von einem Benutzer eingegeben wird, mit den Schritten: a) Bereitstellen von Metadaten, die den gespeicherten Bildern zugeordnet sind; b) Starten einer Benutzeranwendung (2), bei der Text von einem Benutzer eingegeben wird; c) kontinuierliches Überwachen des vom Benutzer in die Anwendung eingetippten Textes, um den durch den Text (32) ausgedrückten Kontext zu isolieren; d) Abgleichen des Kontextes mit den den gespeicherten Bildern zugeordneten Metadaten (62) und dadurch Bereitstellen eines oder mehrerer abgeglichener Bilder; e) Abrufen und Anzeigen der abgeglichenen Bilder; f) Verwenden des Kontextes, um für den Benutzer vorgeschlagene Kommentierungen (72) für die abgeglichenen Bilder bereitzustellen; und g) Ermöglichen, dass der Benutzer anschließend die ausgewählten Kommentierungen den abgeglichenen Bildern zuordnet.
  2. Verfahren nach Anspruch 1, mit dem Schritt: Ermöglichen, dass der Benutzer ausgewählte abgeglichene Bilder in den Text der Anwendung einfügen kann.
  3. Verfahren nach Anspruch 1, worin die gespeicherten Bilder in einer Datenbank abgespeichert werden und Schritt f) das automatische Aktualisieren der Metadaten für das in der Datenbank gespeicherte abgeglichene Bild mittels der vorgeschlagenen Kommentierungen umfasst.
  4. Verfahren nach Anspruch 1, worin die Metadaten mit den Bildern in Beziehung stehende Stichwörter umfassen und der Kontext ebenfalls Stichwörter umfasst.
  5. Verfahren nach Anspruch 1, worin die Metadaten mit den Bildern in Beziehung stehende inhaltliche Daten umfassen und der Kontext ebenfalls inhaltliche Daten aufweist.
  6. Verfahren nach Anspruch 1, worin die Metadaten mit den Bildern in Beziehung stehende zeitbezogene Daten umfassen und der Kontext ebenfalls zeitbezogene Daten aufweist.
  7. Verfahren nach Anspruch 1, worin der Benutzer Text an einer bestimmten Stelle eingibt, an der sich der Cursor befindet, und der Kontext bestimmt wird auf der Grundlage der Nähe getippter Wörter zu der Stelle, an der sich der Cursor (56) befindet.
  8. Verfahren nach Anspruch 1, mit dem Schritt: Ermöglichen, dass der Benutzer andere Kommentierungen zu den abgeglichenen Bildern hinzufügt.
  9. Verfahren nach Anspruch 1, worin Schritt d) das Ordnen der abgeglichenen Bilder gemäß dem Kontext umfasst, wodurch geordnete Bilder entstehen, die bei Schritt e) gemäß ihrer Reihenfolge angezeigt werden.
  10. Verfahren nach Anspruch 9, worin der Kontext Stichwörter umfasst und die Reihenfolge (40) auf der Anzahl abgeglichener Stichwörter für jedes abgeglichene Bild basiert.
  11. Verfahren nach Anspruch 9, worin der Kontext und die Metadaten zeitbezogene Daten aufweisen und die Reihenfolge (36) auf dem zeitlichen Abstand zwischen dem Kontext und den einem jeden abgeglichenen Bild zugeordneten Metadaten basiert.
  12. Verfahren nach Anspruch 9, worin der Kontext Stichwörter und zeitbezogene Daten umfasst und die Reihenfolge auf dem Schnittpunkt ihres Vorkommens für jedes abgeglichene Bild basiert.
DE60112212T 2000-10-10 2001-09-28 Agent zum integrierten kommentieren und abrufen von bildern Expired - Lifetime DE60112212T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US685112 2000-10-10
US09/685,112 US7028253B1 (en) 2000-10-10 2000-10-10 Agent for integrated annotation and retrieval of images

Publications (2)

Publication Number Publication Date
DE60112212D1 DE60112212D1 (de) 2005-09-01
DE60112212T2 true DE60112212T2 (de) 2006-05-24

Family

ID=24750824

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60112212T Expired - Lifetime DE60112212T2 (de) 2000-10-10 2001-09-28 Agent zum integrierten kommentieren und abrufen von bildern

Country Status (4)

Country Link
US (1) US7028253B1 (de)
EP (1) EP1197879B1 (de)
JP (1) JP3842994B2 (de)
DE (1) DE60112212T2 (de)

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954432B2 (en) 2000-11-15 2015-02-10 Mark Frigon Users tagging users in photos online
US6842761B2 (en) * 2000-11-21 2005-01-11 America Online, Inc. Full-text relevancy ranking
US8078545B1 (en) 2001-09-24 2011-12-13 Aloft Media, Llc System, method and computer program product for collecting strategic patent data associated with an identifier
US7305625B1 (en) 2001-09-24 2007-12-04 Aloft Media, Llc Data networking system and method for interfacing a user
US7287064B1 (en) * 2001-11-20 2007-10-23 Sprint Spectrum L.P. Method and system for determining an internet user's interest level
GB0129787D0 (en) * 2001-12-13 2002-01-30 Hewlett Packard Co Method and system for collecting user-interest information regarding a picture
GB2383247A (en) * 2001-12-13 2003-06-18 Hewlett Packard Co Multi-modal picture allowing verbal interaction between a user and the picture
US20030128389A1 (en) 2001-12-26 2003-07-10 Eastman Kodak Company Method for creating and using affective information in a digital imaging system cross reference to related applications
US20040205547A1 (en) * 2003-04-12 2004-10-14 Feldt Kenneth Charles Annotation process for message enabled digital content
US20060288006A1 (en) * 2003-10-23 2006-12-21 Xerox Corporation Methods and systems for attaching keywords to images based on database statistics
US7676739B2 (en) * 2003-11-26 2010-03-09 International Business Machines Corporation Methods and apparatus for knowledge base assisted annotation
JP2005285038A (ja) 2004-03-31 2005-10-13 Nec Corp 携帯電話機、そのメッセージ作成方法及びプログラム
US20060031201A1 (en) * 2004-08-06 2006-02-09 Microsoft Corporation Life moment tagging and storage
US20060080286A1 (en) * 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
US7685209B1 (en) * 2004-09-28 2010-03-23 Yahoo! Inc. Apparatus and method for normalizing user-selected keywords in a folksonomy
JP4367355B2 (ja) * 2005-02-24 2009-11-18 セイコーエプソン株式会社 写真画像検索装置、写真画像検索方法、記録媒体、およびプログラム
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
WO2006114880A1 (ja) * 2005-04-22 2006-11-02 Yamatake Corporation 情報連携ウィンドウシステム
US7734644B2 (en) * 2005-05-06 2010-06-08 Seaton Gras System and method for hierarchical information retrieval from a coded collection of relational data
US20060287996A1 (en) * 2005-06-16 2006-12-21 International Business Machines Corporation Computer-implemented method, system, and program product for tracking content
US7539934B2 (en) * 2005-06-20 2009-05-26 International Business Machines Corporation Computer-implemented method, system, and program product for developing a content annotation lexicon
US20070005592A1 (en) * 2005-06-21 2007-01-04 International Business Machines Corporation Computer-implemented method, system, and program product for evaluating annotations to content
US7702681B2 (en) * 2005-06-29 2010-04-20 Microsoft Corporation Query-by-image search and retrieval system
EP1938225A2 (de) * 2005-09-30 2008-07-02 Koninklijke Philips Electronics N.V. Verfahren und vorrichtung zur bilddurchsuche
US20070118509A1 (en) * 2005-11-18 2007-05-24 Flashpoint Technology, Inc. Collaborative service for suggesting media keywords based on location data
US7822746B2 (en) * 2005-11-18 2010-10-26 Qurio Holdings, Inc. System and method for tagging images based on positional information
US7584411B1 (en) * 2005-12-22 2009-09-01 Adobe Systems, Inc. Methods and apparatus to identify graphical elements
US7822846B1 (en) * 2006-01-26 2010-10-26 Sprint Spectrum L.P. Method and system for brokering media files
US9892196B2 (en) * 2006-04-21 2018-02-13 Excalibur Ip, Llc Method and system for entering search queries
US7467222B2 (en) * 2006-05-12 2008-12-16 Shutterfly, Inc. Image ranking for imaging products and services
US8166418B2 (en) * 2006-05-26 2012-04-24 Zi Corporation Of Canada, Inc. Device and method of conveying meaning
US7783622B1 (en) 2006-07-21 2010-08-24 Aol Inc. Identification of electronic content significant to a user
US8631012B2 (en) * 2006-09-29 2014-01-14 A9.Com, Inc. Method and system for identifying and displaying images in response to search queries
US8661035B2 (en) * 2006-12-29 2014-02-25 International Business Machines Corporation Content management system and method
JP4270404B2 (ja) * 2007-01-16 2009-06-03 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 携帯端末装置、表示制御装置、表示制御方法、及び表示制御プログラム
US8055271B2 (en) * 2007-02-05 2011-11-08 Yahoo! Inc. Intelligent location-to-cell mapping using annotated media
US7739304B2 (en) * 2007-02-08 2010-06-15 Yahoo! Inc. Context-based community-driven suggestions for media annotation
US20080229186A1 (en) * 2007-03-14 2008-09-18 Microsoft Corporation Persisting digital ink annotations as image metadata
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
US20080313541A1 (en) * 2007-06-14 2008-12-18 Yahoo! Inc. Method and system for personalized segmentation and indexing of media
TW200905496A (en) * 2007-07-16 2009-02-01 Nanya Technology Corp Methods and systems for searching information, and machine readable medium thereof
US7725454B2 (en) * 2007-07-20 2010-05-25 Microsoft Corporation Indexing and searching of information including handler chaining
US7849065B2 (en) * 2007-07-20 2010-12-07 Microsoft Corporation Heterogeneous content indexing and searching
US20090049018A1 (en) * 2007-08-14 2009-02-19 John Nicholas Gross Temporal Document Sorter and Method Using Semantic Decoding and Prediction
US20090199093A1 (en) * 2007-09-04 2009-08-06 Tridib Chakravarty Image Capture And Sharing System and Method
US8571850B2 (en) * 2007-09-13 2013-10-29 Microsoft Corporation Dual cross-media relevance model for image annotation
US8457416B2 (en) * 2007-09-13 2013-06-04 Microsoft Corporation Estimating word correlations from images
US20090112830A1 (en) * 2007-10-25 2009-04-30 Fuji Xerox Co., Ltd. System and methods for searching images in presentations
US20090164572A1 (en) * 2007-12-20 2009-06-25 Motorola, Inc. Apparatus and method for content item annotation
US20090287782A1 (en) * 2008-05-14 2009-11-19 Daniel Brian Odess Interactive Multimedia Timeline
US9529820B2 (en) * 2008-05-23 2016-12-27 International Business Machines Corporation Automated content tracking and conversion
US8150170B2 (en) 2008-05-30 2012-04-03 Microsoft Corporation Statistical approach to large-scale image annotation
US8510646B1 (en) * 2008-07-01 2013-08-13 Google Inc. Method and system for contextually placed chat-like annotations
US8638858B2 (en) 2008-07-08 2014-01-28 Intellectual Ventures Fund 83 Llc Method, apparatus and system for converging images encoded using different standards
US8468178B2 (en) * 2008-08-05 2013-06-18 International Business Machines Corporation Providing location based information in a virtual environment
US8463053B1 (en) 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP5051080B2 (ja) * 2008-09-25 2012-10-17 富士通株式会社 情報表示装置、情報表示方法、及びプログラム
US8131734B2 (en) * 2008-10-09 2012-03-06 Xerox Corporation Image based annotation and metadata generation system with experience based learning
US8024311B2 (en) * 2008-12-05 2011-09-20 Eastman Kodak Company Identifying media assets from contextual information
US8452794B2 (en) * 2009-02-11 2013-05-28 Microsoft Corporation Visual and textual query suggestion
US8244706B2 (en) * 2009-12-18 2012-08-14 International Business Machines Corporation Method and apparatus for semantic just-in-time-information-retrieval
US8780130B2 (en) 2010-11-30 2014-07-15 Sitting Man, Llc Methods, systems, and computer program products for binding attributes between visual components
US9715332B1 (en) 2010-08-26 2017-07-25 Cypress Lake Software, Inc. Methods, systems, and computer program products for navigating between visual components
US8661361B2 (en) 2010-08-26 2014-02-25 Sitting Man, Llc Methods, systems, and computer program products for navigating between visual components
US10397639B1 (en) 2010-01-29 2019-08-27 Sitting Man, Llc Hot key systems and methods
EP2619967B1 (de) * 2010-09-21 2018-06-20 Sony Mobile Communications Inc. System und verfahren für erweiterte nachrichten
US9195679B1 (en) * 2011-08-11 2015-11-24 Ikorongo Technology, LLC Method and system for the contextual display of image tags in a social network
US8731339B2 (en) 2012-01-20 2014-05-20 Elwha Llc Autogenerating video from text
US9489636B2 (en) 2012-04-18 2016-11-08 Tagasauris, Inc. Task-agnostic integration of human and machine intelligence
US9225936B2 (en) * 2012-05-16 2015-12-29 International Business Machines Corporation Automated collaborative annotation of converged web conference objects
KR102100952B1 (ko) 2012-07-25 2020-04-16 삼성전자주식회사 데이터 관리를 위한 방법 및 그 전자 장치
KR102072113B1 (ko) 2012-10-17 2020-02-03 삼성전자주식회사 사용자 단말 장치 및 제어 방법
US9317531B2 (en) * 2012-10-18 2016-04-19 Microsoft Technology Licensing, Llc Autocaptioning of images
KR102083209B1 (ko) * 2012-11-22 2020-03-02 삼성전자 주식회사 데이터 제공 방법 및 휴대 단말
US9098532B2 (en) 2012-11-29 2015-08-04 International Business Machines Corporation Generating alternative descriptions for images
US9165009B1 (en) 2013-03-14 2015-10-20 Emc Corporation Lightweight appliance for content storage
US9552432B1 (en) * 2013-03-14 2017-01-24 EMC IP Holding Company LLC Lightweight appliance for content retrieval
JP6112968B2 (ja) 2013-05-23 2017-04-12 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation コマンド生成方法、装置及びプログラム
US10642928B2 (en) * 2013-06-03 2020-05-05 International Business Machines Corporation Annotation collision detection in a question and answer system
JP5916666B2 (ja) * 2013-07-17 2016-05-11 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation テキストによる視覚表現を含む文書を分析する装置、方法およびプログラム
GB2524074A (en) 2014-03-14 2015-09-16 Ibm Processing data sets in a big data repository
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US9836464B2 (en) * 2014-07-31 2017-12-05 Microsoft Technology Licensing, Llc Curating media from social connections
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US9787576B2 (en) 2014-07-31 2017-10-10 Microsoft Technology Licensing, Llc Propagating routing awareness for autonomous networks
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US9414417B2 (en) 2014-08-07 2016-08-09 Microsoft Technology Licensing, Llc Propagating communication awareness over a cellular network
US9514368B2 (en) 2014-11-14 2016-12-06 Telecommunications Systems, Inc. Contextual information of visual media
US10324975B2 (en) * 2014-12-19 2019-06-18 Smugmug, Inc. Bulk keyword management application
US10460015B1 (en) * 2015-03-27 2019-10-29 Open Text Corporation Assimilation in multi model webpage composition
US9872061B2 (en) 2015-06-20 2018-01-16 Ikorongo Technology, LLC System and device for interacting with a remote presentation
US10503738B2 (en) * 2016-03-18 2019-12-10 Adobe Inc. Generating recommendations for media assets to be displayed with related text content
US10223067B2 (en) * 2016-07-15 2019-03-05 Microsoft Technology Licensing, Llc Leveraging environmental context for enhanced communication throughput
WO2018222247A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Device, method, and graphical user interface for annotating content
US10387487B1 (en) 2018-01-25 2019-08-20 Ikorongo Technology, LLC Determining images of interest based on a geographical location
KR102481910B1 (ko) 2018-08-31 2022-12-27 구글 엘엘씨 동적 키보드 인터페이스내의 애니메이션 이미지 포지셔닝 방법 및 시스템
US11163777B2 (en) 2018-10-18 2021-11-02 Oracle International Corporation Smart content recommendations for content authors
JP7380113B2 (ja) * 2019-11-15 2023-11-15 富士フイルムビジネスイノベーション株式会社 文書管理装置、文書管理システム及びプログラム
US11823476B2 (en) 2021-05-25 2023-11-21 Bank Of America Corporation Contextual analysis for digital image processing
CN115862831B (zh) * 2023-03-02 2023-05-12 山东远程分子互联网医院有限公司 一种智能在线预约诊疗管理系统及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0382541B1 (de) 1989-02-09 1996-09-25 Canon Kabushiki Kaisha Elektronisches Dateispeicherungssystem und Methode zum Auslesen von Bilddateninformation
US5404295A (en) * 1990-08-16 1995-04-04 Katz; Boris Method and apparatus for utilizing annotations to facilitate computer retrieval of database material
JP2903904B2 (ja) 1992-10-09 1999-06-14 松下電器産業株式会社 画像検索装置
US5546502A (en) 1993-03-19 1996-08-13 Ricoh Company, Ltd. Automatic invocation of computational resources without user intervention
GB9315448D0 (en) 1993-07-26 1993-09-08 Rank Xerox Ltd Recording and retrieval of information relevant to the activities of a user
US5493677A (en) 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US6108674A (en) * 1994-06-28 2000-08-22 Casio Computer Co., Ltd. Image output devices which automatically selects and outputs a stored selected image in correspondence with input data
JPH08314953A (ja) 1995-05-15 1996-11-29 Olympus Optical Co Ltd 画像検索表示装置及び仮名漢字変換装置
US5870770A (en) * 1995-06-07 1999-02-09 Wolfe; Mark A. Document research system and method for displaying citing documents
US5873107A (en) * 1996-03-29 1999-02-16 Apple Computer, Inc. System for automatically retrieving information relevant to text being authored
US6374260B1 (en) * 1996-05-24 2002-04-16 Magnifi, Inc. Method and apparatus for uploading, indexing, analyzing, and searching media content
US5909679A (en) 1996-11-08 1999-06-01 At&T Corp Knowledge-based moderator for electronic mail help lists
JPH10301953A (ja) 1997-04-28 1998-11-13 Just Syst Corp 画像管理装置、画像検索装置、画像管理方法、画像検索方法およびそれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
AUPO960197A0 (en) * 1997-10-03 1997-10-30 Canon Information Systems Research Australia Pty Ltd Multi-media editing method and apparatus

Also Published As

Publication number Publication date
EP1197879A2 (de) 2002-04-17
US7028253B1 (en) 2006-04-11
DE60112212D1 (de) 2005-09-01
EP1197879A3 (de) 2003-07-09
JP3842994B2 (ja) 2006-11-08
JP2002207749A (ja) 2002-07-26
EP1197879B1 (de) 2005-07-27

Similar Documents

Publication Publication Date Title
DE60112212T2 (de) Agent zum integrierten kommentieren und abrufen von bildern
DE60029863T2 (de) System um einer Gruppe von Benutzern Informationen über Dokumentenänderungen zu übermitteln
EP1311989B1 (de) Verfahren zur automatischen recherche
US6301586B1 (en) System for managing multimedia objects
US7162473B2 (en) Method and system for usage analyzer that determines user accessed sources, indexes data subsets, and associated metadata, processing implicit queries based on potential interest to users
Rodden et al. Does organisation by similarity assist image browsing?
DE69915566T2 (de) Zusammenstellung und Änderung von Fotocollagen durch Bilderkennung
DE60120822T2 (de) Meta-Dokument und Verfahren zum Verwalten von Meta-Dokumenten
Schwartz Web search engines
DE60121827T2 (de) Vorrichtung und verfahren zur wiedergewinnung von daten
US6810404B1 (en) Computer-based document management system
DE60318377T2 (de) Unterstützung für Navigation und kontinuierliche Navigation von verknüpften Inhaltsdaten
US7730426B2 (en) Visual thesaurus as applied to media clip searching
US20080281776A1 (en) Interactive System For Creating, Organising, and Sharing One's Own Databank of Pictures Such as Photographs, Drawings, Art, Sketch, Iconography, Illustrations, Portraits, Paintings and Images
DE69628374T2 (de) Datenverwaltungssystem
DE19859180A1 (de) Automatisches adaptives Dokumenten-Hilfesystem
DE10000124A1 (de) Verfahren zum Übertragen und Indexieren von Daten von alten Medien zu neuen Medien
DE19751570A1 (de) Dokumentmanagementsystem, Verfahren zum Betreiben eines solchen Systems und Digitalkopierer
DE10307927A1 (de) System und Verfahren zum Bewahren von Metadaten in einer elektronischen Bilddatei
DE10124429B4 (de) System und Verfahren für eine verbesserte Rechtschreibprüfung
JPH11224148A (ja) 文書検索方法、記憶媒体及びコンピュータシステム
DE19959765B4 (de) Datei-Editor für mehrere Datenuntermengen
DE60319586T2 (de) Elektronisches wörterbuch mit beispielsätzen
DE69719641T2 (de) Ein Verfahren, um Informationen auf Bildschirmgeräten in verschiedenen Grössen zu präsentieren
DE102014012597A1 (de) Suchverfahren für verwandte Bilder und Benutzerschnittstelle zur Steuerung des Verfahrens

Legal Events

Date Code Title Description
8364 No opposition during term of opposition