-
ALLGEMEINER STAND DER TECHNIK
-
GEBIET DER ERFINDUNG
-
Die
vorliegende Erfindung betrifft das Erstellen und Benutzen von multimediabasierten
Berichten und insbesondere das Verwenden von Multimediatechnik beim
Erstellen von Berichten, die aus dynamischen Kommentaren zu mehreren
Abbildungen bestehen können.
-
ALLGEMEINER STAND DER TECHNIK
-
Ein
Berichtsverfahren wird beispielsweise von Fachärzten dazu benutzt, Abbildungen
von Patienteninformationen abzurufen, anzusehen, zu ergänzen und
zu interpretieren, Patientendemographien zu überprüfen und ihre Diagnose zu diktieren
oder zu „kommentieren", damit ein abschließender Krankenbericht
entsteht, auf den andere Ärzte
zu Überprüfungs- oder Konsultationszwecken
zugreifen können. Im
Stand der Technik bedeutet der Begriff „Kommentar" in der Regel zwei verschiedene Dinge.
Die erste Bedeutung bezieht sich auf das Anhängen eines Objekts (wie beispielsweise
Text, Audio oder Video) an ein Dokument. Ein Beispiel dafür ist in "ARZTBRIEF: Generating
Medical Reports in a Multimedia Environment" (Lecture Notes in Medical Informatics
45, Proceedings of Medical Informatics Europe, S. 900–903) zu
finden, wo das System des Herzzentrums Nordrhein-Westfalen Sprach-
und Textkommentare enthält.
Sprache wird in der Regel nur zu zwei Zwecken verwendet: Wiedergabe
ohne Synchronisierung mit anderen verwandten Medien oder Transkription
als Text für
ein Textprotokoll. Die zweite Bedeutung für „Kommentar" bezieht sich auf das Artefakt des Zeichnens/Tippens
auf den angezeigten Objekten. Ein Beispiel dafür ist in "A Multi-User Document Review Tool" von J. L. Koszarek,
T. L. Lindstrom, J. R. Ensor und S. R. Ahuja (Proceedings of the
IFIP, WG 8.4 Conference, 1990, S. 207–214) zu finden. Bei dem Collaborative
Annotator System von AT&T
bestehen die Grafikkommentare aus Textmarkern, Text und gelben Aufklebern,
die auf das Dokument gezogen werden können.
-
Bei
diesen beiden Kommentartechniken können Berichte Daten für mehrere
Medien mit statischen grafischen Darstellungen auf dem Bericht sowie
Anhänge
enthalten. Diese Verfahren aus dem Stand der Technik können jedoch
zeitliche Eigenschaften von visuellen Kommentaren nicht so nutzen,
dass der Kommentarvorgang parallel zu der Stimme des Kommentators
aufgezeichnet und das aufgenommene Ergebnis wiedergegeben wird.
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine solche
Technik „dynamischer
Kommentare" zur Verfügung zu
stellen.
-
Im
Stand der Technik können
Krankenberichte Multimediadaten enthalten. Ein solcher Bericht ist
in "Graphical Representation
of Medical Information in the Visual Chart" von Harold I. Litt und John W. Loonsk
(1994 IEEE Seventh Symposium an Computer-Based Medical Systems,
10.–12.
Juni 1994, Winston-Salem,
North Carolina, USA, S. 252–257) zu
finden. Bei dem Visual-Chart-System von SUNY an der Buffalo School
of Medicine and Biomedical Sciences kann es sich bei Multimediadaten
beispielsweise um Text, Textlisten, Tabellen, grafische Darstellungen
quantitativer Daten und Symbole handeln. Ein weiterer Bericht ist
in "An Electronic
Medical Record System for a Hospital Information System" von Y. Yamashita,
K. Yamamoto, M. Sudo, Y. Okada, M. Nagata und T. Takahashi (MEDINFO '92, K. C. Lun et al.
(Hrsg.), S. 741–745)
zu finden. Beim E. M. R. der medizinischen Fakultät Fukui
kann es sich bei den Multimediadaten um Text, Zahlen, Abbildungen
und grafische Informationen handeln.
-
Für diese
bestehenden Systeme gibt es keinen Mechanismus, mit dem zusammengehörende Multimediadaten
in einem Bericht visuell angeordnet werden können. Eine Aufgabe der vorliegenden
Erfindung besteht darin zu erreichen, dass sich dynamische Kommentare
lohnen, indem es dem Benutzer ermöglicht wird, Multimediadaten
auf zweckdienliche Weise so anzuordnen, dass zusammengehörende Mediendaten
nahe beieinander liegen, wenn ein dynamischer Kommentar erfolgt.
-
Für die Wiedergabe
einer Sitzung mit dynamischen Kommentaren ist die Synchronisierung
der Aktionen und der Stimme des Kommentators wichtig. Die Synchronisationstechniken
im Stand der Technik betreffen die Synchronisierung zwischen Audio-
und Videosignalen. Ein Beispiel dafür ist im
US-Patent Nummer 5,323,272 mit dem
Titel „Timing
Control for Digital Audio Buffer in Video Interface" von dem Erfinder
K. L. Klingler zu finden. Bei diesem Patent wird die Zeitsteuerung
für den
digitalen Audiopuffer dazu benutzt, den Audiozeittakt für die Synchronisierung mit
Video auszugleichen. Ein weiteres Beispiel ist in „Feedback
Techniques for Continuity and Synchronization in Multimedia Information
Retrieval" von P. Venkat
Rangan, Sronivas Ramanathan, Srihari Sampathkumar (ACM Transactions
an Information Systems, Bd. 13, Nr. 2, April 1995, S. 145–176) zu
finden. Dieser Artikel behandelt das Synchronisationsproblem für Daten,
die von einem Multimedia-Informationsserver
an Clients im gesamten Netzwerk gesendet werden.
-
Das
Dokument „Multimedia
E-mail Systems for Computer-assisted Radiological Communication" (Medical Informatios
(1994) Bd. 19, Nr. 2, 139–148, Bellon
et al.) beschreibt ein System, in dem Multimedia-Darstellungen von
Radiologiedaten per E-Mail übertragen
werden können.
-
WO 89/11693 offenbart ein
Kommentar- und Handhabungssystem für Dokumente, das eine zeitsequentielle
Wiedergabe von getippten und gesprochenen Kommentaren zu einem Dokument
ermöglicht.
-
Bei
dynamischen Kommentaren besteht ein spezielles Synchronisationsproblem,
das bisher noch nicht angegangen wurde. Das Problem besteht darin, wie
der dynamische Kommentar mit der richtigen zeitlichen Steuerung
für die
Aktionen und die Stimme des Kommentators wiedergegeben werden kann. Dies
ist besonders wichtig, wenn der Prozessor andere Vorgänge abwickeln
muss. Eine Aufgabe der vorliegenden Erfindung besteht darin, eine
Technik zur Verfügung
zu stellen, die dieses Problem angeht.
-
Beim
E-Mail-System im Stand der Technik kann eine Person auf eine E-Mail
antworten, indem sie entweder eine neue Nachricht erzeugt oder neue Informationen
in die bereits existierende E-Mail
einfügt.
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine neue
Technik zur Verfügung
zu stellen, mit der auf eine Sitzung mit dynamischen Kommentaren
geantwortet werden kann, ohne dass der Inhalt der ursprünglichen
Sitzung geändert
wird.
-
Somit
besteht eine Hauptaufgabe der vorliegenden Erfindung darin, eine
natürliche
Möglichkeit bereitzustellen, über die
eine Person einen Bericht erhält,
der aus den visuellen und den Audiokommentaren der Person besteht.
Diese Kommentare lassen sich für
die Wiedergabe synchronisieren. Eine weitere Aufgabe der vorliegenden
Erfindung besteht darin, einen Mechanismus zur Verfügung zu
stellen, über den
eine Person auf eine Sitzung mit dynamischen Kommentaren antworten
kann.
-
KURZDARSTELLUNG DER ERFINDUNG
-
Ein
gemäß der vorliegenden
Erfindung beanspruchtes multimediabasiertes Berichtsystem enthält folgende
Bestandteile: Ein Befehlsinterpreter empfängt Eingaben von einem Benutzer
und leitet diese an einen „Bericht öffnen"-Handler, „einen Medien anhängen"-Handler oder an
den Ausgang weiter. Ein Kommentareingabeinterpreter empfängt Eingaben von
dem Benutzer und leitet diese an einen Handler für statische Kommentare, einen
Handler für
dynamische Kommentare, zu dessen Funktionen das Aufzeichnen und
das Wiedergeben zählen,
und einen „Kommentar
zum Kommentar"-Handler
weiter. Das System enthält
einen Berichtanzeiger für
das Darstellen einer Zeitleiste und mehrerer Markierungen, die Kommentarsegmente
angeben, welche Zeiten auf der Zeitleiste entsprechen. Das System
kann des Weiteren einen „Bericht
speichern"-Handler,
einen „aktuellen
Bericht löschen"-Handler, einen „Bericht versenden"-Handler und einen „Bericht
drucken"-Handler
aufweisen.
-
Der „Bericht
speichern"-Handler
erzeugt Berichtdateien zum Speichern, und der „Bericht drucken"-Handler erzeugt
eine Druckdatei zum Drucken. Der „Medien anhängen"-Handler hängt verschiedene Arten
von Medien aus einer externen Medienquelle an den Bericht an. Der „Bericht
versenden"-Handler erzeugt
eine E-Mail zum Versenden. Der Handler für statische Kommentare ermöglicht es
dem Benutzer, Zeichnungen und Text zu dem Bericht hinzuzufügen. Der
Handler für
dynamische Kommentare ermöglicht es
dem Benutzer, Kommentare aus der Benutzereingabe aufzuzeichnen/wiederzugeben.
Der „Kommentar
zum Kommentar"-Handler
ermöglicht
es dem Benutzer, eine Sitzung mit dynamischen Kommentaren aufzuzeichnen,
die auf einem Segment mit bestehenden dynamischen Kommentaren basiert.
-
Durch
die Verwendung der vorliegenden Erfindung kann eine Person folgende
Aufgaben erfüllen:
1. Eine Person kann Berichte erstellen, die Daten für mehrere
Medien enthalten, 2. der Person steht ein spezieller Bereich (Leinwand
genannt) auf der Anzeige zur Verfügung, in dem sie medienbezogene
Aktionen durchführen
kann, 3. die Person kann Multimediadatenobjekte auf der Leinwand
ablegen, 4. Datenobjekte auf der Leinwand können beliebig angeordnet werden,
5. die Person kann auf der Leinwand uneingeschränkt Linien und Grafiken zeichnen/löschen sowie
Text tippen/löschen,
6. die Aktionen der Person auf der Leinwand, wie beispielsweise
das Bewegen von Datenobjekten, Zeichnen oder Tippen, können mit
Hilfe der Stimme der Person aufgezeichnet werden, 7. die aufgezeichnete
Sitzung kann wiedergegeben werden, so dass die Aktionen der Person
auf der Leinwand mit der Wiedergabe der aufgezeichneten Stimme der
Person synchronisiert werden können,
8. die Person kann den Bericht über
ein E-Mail-System an andere Personen versenden, 9. die Person, die
einen Bericht mit einer aufgezeichneten Kommentarsitzung empfängt, kann
auf diese mit einer neuen Kommentarsitzung antworten, die auf den
räumlichen/zeitlichen
Eigenschaften der beantworteten Kommentarsitzung basiert.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 stellt
ein Ablaufdiagramm einer Ausführungsform
des Gesamtsystems der vorliegenden Erfindung dar.
-
2 stellt
den „Bericht öffnen"-Handler der vorliegenden
Erfindung dar.
-
3 stellt
den „Bericht
speichern"-Handler der
vorliegenden Erfindung dar.
-
4 stellt
den „Bericht
versenden"-Handler der
vorliegenden Erfindung dar.
-
5 stellt
den Handler für
statische Kommentare der vorliegenden Erfindung dar.
-
6 stellt
den „Kommentar
zum Kommentar"-Handler
der vorliegenden Erfindung dar.
-
7 stellt
den „Medien
anhängen"-Handler der vorliegenden
Erfindung dar.
-
8 stellt
den „Bericht
drucken"-Handler der
vorliegenden Erfindung dar.
-
9 stellt
eine Funktionsbeschreibung der vorliegenden Erfindung auf höherer Ebene
dar.
-
10 zeigt
eine schematische Darstellung des Aufzeichnens eines dynamischen
Kommentars.
-
11 stellt
den Filter dar, der redundante Zeitscheibenereignisse beim Aufzeichnen
herausfiltert.
-
12 zeigt
eine schematische Darstellung der adaptiven Synchronisierung bei
der Kommentarwiedergabe.
-
13 stellt
ein Ablaufdiagramm des Kommentarschedulers für das Ausführen eines Lippensynchronisationsintervalls
dar.
-
14 stellt
die für
die Segmentierung von Kommentaren verwendeten Markierungen dar.
-
15 stellt
die Beziehungen zwischen Kommentaren und Antwortkommentaren bei
Verwendung der „Kommentar
zum Kommentar"-Technik dar.
-
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
-
1 stellt
ein Gesamtablaufdiagramm der vorliegenden Erfindung dar. Der Befehlsinterpreter 10 und
der Kommentareingabeinterpreter 11 empfangen von der Person,
die das System benutzt, einen Benutzereingabebefehl. Der Befehlsinterpreter 10 leitet
den Befehl entweder zum „Bericht öffnen"-Handler 12,
zum „Bericht
speichern"-Handler 13,
zum „aktuellen
Bericht löschen"-Handler 14,
zum „Bericht
versenden"-Handler 15,
zum „Medien
anhängen"-Handler 16,
zum „Bericht
drucken"-Handler 17 oder
zum Ausgang 18. Der Kommentareingabeinterpreter 11 leitet
die Eingabe entweder zum Handler für statische Kommentare 19,
zum Handler für
dynamische Kommentare 20 oder zum „Kommentar zum Kommentar"-Handler 21.
-
2 stellt
den „Bericht öffnen"-Handler (12 in 1)
der vorliegenden Erfindung dar. Der „Bericht öffnen"-Handler empfängt eine Eingabe von dem Befehlsinterpreter.
In dem „Bericht öffnen"-Handler wird eine
Entscheidung getroffen, ob es sich bei dem Bericht um einen neuen
Bericht handelt, und wenn es einen neuen Bericht gibt, wird der aktuelle
Bericht entfernt. Wenn es keinen neuen Bericht gibt, wird entschieden,
ob der Bericht aus einer Datei stammt. Wenn der Bericht aus einer
Datei stammt, wird der Dialog „Dateiauswahl" angezeigt, der Benutzer
wählt einen
Dateinamen aus, und der Bericht wird aus der Datei geladen. Wenn
der Bericht nicht aus der Datei stammt, wird entschieden, ob der Bericht
aus der Datenbank stammt. Wenn der Bericht aus der Datenbank stammt,
wird der Dialog „Datenbank" angezeigt, der Benutzer
wählt einen Datenbanknamen
aus, und der Bericht wird aus der Datenbank geladen. Wenn der Bericht
nicht aus der Datenbank stammt, wird entschieden, ob er aus der
Mailbox stammt. Wenn der Bericht aus der Mailbox stammt, wird die
Nachrichtenliste angezeigt, der Benutzer wählt eine Nachricht aus, und
der Bericht wird aus der Nachricht geladen.
-
3 stellt
den „Bericht
speichern"-Handler (13 in 1)
der vorliegenden Erfindung dar. Der „Bericht speichern"-Handler empfängt eine Eingabe von dem Befehlsinterpreter.
In dem „Bericht
speichern"-Handler
wird entschieden, ob der Bericht in einer Datei gespeichert werden
muss. Wenn entschieden wird, den Bericht in der Datei zu speichern,
dann wird der Dialog „Dateiauswahl" angezeigt, der Benutzer
wählt einen
Dateinamen aus, und der Bericht wird in der Datei gespeichert. Wenn
entschieden wird, den Bericht nicht in der Datei zu speichern, dann
wird entschieden, den Bericht in der Datenbank zu speichern. Der
Dialog „Datenbank" wird angezeigt,
der Benutzer wählt
einen Datenbanknamen aus, und der Bericht wird in der Datenbank
gespeichert.
-
4 stellt
den „Bericht
versenden"-Handler (15 in 1)
der vorliegenden Erfindung dar. Der „Bericht versenden"-Handler empfängt eine Eingabe von dem Befehlsinterpreter.
In dem „Bericht
versenden"-Handler
wird die Adressenliste durchsucht und angezeigt, der Benutzer wählt einen
Empfängernamen
aus, es wird ein Bericht zu einer Nachricht zusammengestellt, und
die Nachricht wird versendet.
-
5 stellt
den Handler für
statische Kommentare (19 in 1) der vorliegenden
Erfindung dar. Der Handler für
statische Kommentare empfängt eine
Eingabe von dem Kommentareingabeinterpreter in die Benutzeroberfläche. In
dem Handler für
statische Kommentare wird entschieden, ob sich die Maus auf der
Leinwand bewegt hat. Wenn sich die Maus bewegt hat, wird entschieden,
ob der Benutzer die linke Maustaste niedergedrückt gehalten hat. Wenn der
Benutzer die linke Maustaste niedergedrückt gehalten hat, bleibt die
Markierung auf der Leinwand. Wenn der Benutzer die linke Maustaste nicht
niedergedrückt
gehalten hat, kehrt der Ablauf zur Benutzeroberfläche zurück. Wenn
der Benutzer die Maus auf der Leinwand nicht bewegt hat, wird entschieden,
ob er auf der Leinwand Text eingetippt hat. Wenn der Benutzer Text
eingetippt hat, bleibt dieser auf der Leinwand, und der Ablauf kehrt
zur Benutzeroberfläche
zurück.
Wenn der Benutzer keinen Text auf der Leinwand eingetippt hat, wird
entschieden, ob er einen Befehl für einen statischen Kommentar
eingegeben hat. Wenn der Benutzer keinen Befehl für einen
statischen Kommentar eingegeben hat, kehrt der Ablauf zur Benutzeroberfläche zurück. Wenn
der Benutzer einen Befehl für
einen statischen Kommentar eingegeben hat, dann leitet der Befehlsinterpreter
für statische
Kommentare den Befehl weiter. Wenn ein Befehl vorliegt, die Zeichenfarbe
zu ändern,
dann wählt
der Benutzer eine Farbe aus, die Farbe wird entsprechend geändert, und
der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt,
die Zeichenstärke
zu ändern,
dann wählt der
Benutzer eine Stärke
aus, die Stärke
wird entsprechend geändert,
und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt,
eine Abbildung auszuwählen,
dann klickt der Benutzer auf eine Abbildung, die Abbildung wird
ausgewählt
und markiert, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn
ein Befehl vorliegt, die Auswahl einer Abbildung aufzuheben, dann
wird die Auswahl der gewählten
Abbildung aufgehoben, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn
ein Befehl vorliegt, die Grafiken zu entfernen, dann werden alle
Zeichnungen und sämtlicher
Text entfernt, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn
ein Befehl vorliegt, eine Abbildung zu löschen, dann wird die gewählte Abbildung
gelöscht,
und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt,
eine ausgewählte
Abbildung vor andere Abbildungen zu bewegen, dann wird gewählte Abbildung
nach vorn bewegt, und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn
ein Befehl vorliegt, eine ausgewählte
Abbildung nach hinten zu bewegen, dann wird gewählte Abbildung nach hinten bewegt,
und der Ablauf kehrt zur Benutzeroberfläche zurück. Wenn ein Befehl vorliegt,
eine ausgewählte Abbildung
zu bewegen, dann wird gewählte
Abbildung mit Hilfe der Maus bewegt, und der Ablauf kehrt zur Benutzeroberfläche zurück.
-
In
dem Handler für
dynamische Kommentare 17 in 1 wird entschieden,
ob eine Aufzeichnung oder eine Wiedergabe vorliegt. Das Aufzeichnen
und die Wiedergabe werden anhand der 10 beziehungsweise 12 erläutert.
-
6 stellt
den „Kommentar
zum Kommentar"-Handler
(21 in 1) dar. Der „Kommentar zum Kommentar"-Handler empfängt eine
Eingabe von dem Kommentareingabeinterpreter und zeigt mit Hilfe
der bei 14 beschriebenen Markierungen
segmentierte Kommentare an. Der „Kommentar zum Kommentar"-Handler lässt den
Benutzer ein Segment auswählen.
Es wird entschieden, ob das ausgewählte Segment kommentiert werden
soll. Wenn das Segment kommentiert werden soll, folgt der Ablauf dem
beim Aufzeichnen (10) beschriebenen. Wenn entschieden
wird, nicht zu kommentieren, dann wird entschieden, ob das Segment
wiedergegeben werden soll. Wenn entschieden wird, das Segment wiederzugeben,
dann wird entschieden, ob ein Segment oder zusammengehörende Segmente
wiedergegeben werden sollen. In jedem Fall folgt der Ablauf dem
bei der Wiedergabe (12) beschriebenen. Nach dem
Aufzeichnen oder der Wiedergabe wird entschieden, ob das Kommentieren
der Kommentare abgeschlossen ist. Wenn es abgeschlossen ist, wird
der „Kommentar
zum Kommentar"-Handler verlassen.
Wenn es nicht abgeschlossen ist, kehrt der Ablauf zum oben erläuterten
Anzeigen segmentierter Kommentare mit Hilfe von Markierungen zurück.
-
7 stellt
den „Medien
anhängen"-Handler (16 in 1)
dar. Der „Medien
anhängen"-Handler empfängt eine
Eingabe von dem Kommentareingabeinterpreter. In dem „Medien
anhängen"-Handler wird entschieden, ob eine Abbildung
angehängt
werden soll. Wenn entschieden wird, eine Abbildung anzuhängen, dann
wird entschieden, ob Fensterabbildungen angehängt werden sollen. Wenn entschieden
wird, Fensterabbildungen anzuhängen,
dann wählt
der Benutzer eine Fensterabbildung aus, und die Abbildung wird an
den Bericht angehängt.
Wenn entschieden wird, keine Fensterabbildung anzuhängen, dann
wird entschieden, ob ein Bereich angehängt werden soll. Wenn entschieden
wird, den Bereich anzuhängen,
dann wählt
der Benutzer eine Bereichsabbildung aus, und die Abbildung wird
an den Bericht angehängt.
Wenn entschieden wird, den Bereich nicht anzuhängen, dann wird entschieden,
ob eine Anzeige angehängt
werden soll. Wenn entschieden wird, die Anzeige anzuhängen, dann
wird die gesamte Anzeige ausgewählt,
und die Abbildung wird an den Bericht angehängt. Wenn entschieden wird, die
Abbildung nicht anzuhängen,
dann wird entschieden, ob Text angehängt werden soll. Wenn entschieden
wird, Text anzuhängen,
dann wird der Dialog „Vorlagenauswahl" angezeigt, der Benutzer
wählt eine
Vorlage aus, die Textvorlage wird angezeigt, der Benutzer bearbeitet
die Textvorlage, der Benutzer hat die Textvorlage fertig gestellt,
und der Text wird an den Bericht angehängt. Wenn die Abbildung oder der
Text an den Bericht angehängt
worden ist, wird der „Medien
anhängen"-Handler verlassen.
Eine angehängte
Abbildung kann auf der Leinwand abgelegt werden.
-
8 stellt
den „Bericht
drucken"-Handler (17 in 1)
dar. Der „Bericht
drucken"-Handler empfängt eine
Eingabe von dem Befehlsinterpreter. In dem „Bericht drucken"-Handler wird entschieden, ob
eine ausgewählte
Abbildung gedruckt werden soll. Wenn entschieden wird, die ausgewählte Abbildung zu
drucken, dann wird entschieden, ob sie mit einer Zeichnung gedruckt
werden soll. Wenn entschieden wird, die Abbildung mit der Zeichnung
zu drucken, dann wird die Abbildung mit der Zeichnung gedruckt. Wenn
entschieden wird, die Abbildung ohne die Zeichnung zu drucken, dann
wird die Abbildung ohne die Zeichnung gedruckt. Wenn entschieden
wird, die ausgewählte
Abbildung nicht zu drucken, dann wird entschieden, ob der gesamte
Bericht gedruckt werden soll. Wenn entschieden wird, den gesamten
Bericht zu drucken, dann wird entschieden, ob der gesamte Bericht
mit der Zeichnung gedruckt werden soll. Wenn entschieden wird, den
gesamten Bericht mit der Zeichnung zu drucken, dann wird der gesamte
Bericht mit der Zeichnung gedruckt. Wenn entschieden wird, den gesamten
Bericht ohne die Zeichnung zu drucken, dann wird der gesamte Bericht ohne
die Zeichnung gedruckt. Nach dem Drucken wird der „Bericht
drucken"-Handler
verlassen.
-
9 zeigt
eine Funktionsbeschreibung des Berichtsystems der vorliegenden Erfindung
auf höherer
Ebene dar. Der Befehlsinterpreter 23 sorgt für eine Schnittstelle
zwischen der Benutzerbefehlseingabe 25, zu der ein Mausklicken
oder Tippen gehören,
und dem „Medien
anhängen"-Handler 26,
dem „Bericht
versenden"-Handler 27,
dem „Bericht
drucken"-Handler 28,
dem „Bericht
speichern"-Handler 29 und
dem „Bericht öffnen"-Handler 30.
Der „Medien anhängen"-Handler 26 hängt die
Medienarten Text, Abbildungen, Grafiken und Audio aus einer externen Medienquelle 31 an
den Multimedia-Bericht 32 an. Zu der externen Medienquelle 31 könnten ein
Dateisystem, Texteditoren, Fotos auf einem Bildschirm, Eingangsanschlüsse oder
Audio gehören.
Der mit dem Multimedia-Bericht 32 verbundene „Bericht
versenden"-Handler 27 erzeugt
eine zu versendende E-Mail. Der mit dem Multimedia-Bericht 32 verbundene „Bericht
drucken"-Handler 28 erzeugt
eine Druckdatei zum Drucken. Der mit dem Multimedia-Bericht 32 verbundene „Bericht
speichern"-Handler 29 erzeugt
Berichtdateien, die in dem externen Medienspeicher 33,
der ein Dateisystem oder eine Datenbank umfasst, gespeichert werden.
Der „Bericht öffnen"-Handler 30 öffnet einen
Bericht aus der externen Berichtquelle 34, die ein Dateisystem,
eine Datenbank oder eine Mailbox umfasst. Der Berichtanzeiger 35 umfasst
eine Bildschirmanzeige und sorgt für das Anzeigen des Inhalts
des Berichtes 32 auf dem Bildschirm.
-
Der
Kommentareingabeinterpreter 24 sorgt für eine Schnittstelle zwischen
der Benutzerkommentareingabe 36, zu der Texteingabe, Freihandzeichnen
und Sprache gehören,
und dem Handler für
statische Kommentare 37, dem „Kommentar zum Kommentar"-Handler 38 und
dem Handler für
dynamische Kommentare 39. Der Handler für statische Kommentare 37 ermöglicht es
der Person, Zeichnungen und Text zu dem Bericht hinzuzufügen. Der „Kommentar
zum Kommentar"-Handler 38 ermöglicht es
der Person, eine Sitzung mit dynamischen Kommentaren aufzuzeichnen,
die auf einem Segment mit bestehenden dynamischen Kommentaren basiert.
Der Handler für
dynamische Kommentare 39 ermöglicht es der Person, Kommentare
aus der Benutzerkommentareingabe 36 auf der Leinwand aufzuzeichnen/wiederzugeben.
-
Der
Multimedia-Bericht 32, der auf einem (nicht gezeigten)
Computerbildschirm angezeigt wird, weist eine Leinwand auf, die
Mediendatenobjekte enthalten kann. Bei den Datenobjekten auf der Leinwand
kann es sich um Abbildungen und Grafiken handeln. Diese Objekte
können
je nach Bedarf des Betrachters des Berichts beliebig angeordnet
werden. Wenn das System beispielsweise von einem Arzt benutzt wird,
so kann dieser zwei Abbildungen vom Herzen so überlagern, dass zwei relevante
Abschnitte dieser Abbildungen nahe beieinander liegen. Der Arzt
kann auf der Leinwand nach Belieben Linien zeichnen oder Text eingeben.
Aus den auf ein Datenobjekt gezeichneten Linien wird dann ein Bestandteil des
Datenobjektes. Wenn die Person also eine Abbildung bewegt, werden
auch die Linien darauf zusammen mit der Abbildung bewegt. Aus dem
in ein Datenobjekt eingegebenen Text wird ein Bestandteil des Datenobjektes,
anderenfalls gehört
er zu keinem Datenobjekt.
-
Wenn
die Person eine Sitzung sowohl mit ihren Aktionen auf der Leinwand
als auch mit ihrer Stimme aufzeichnen möchte, würde sie dem Ablaufdiagramm
in 10 folgen. Beim Aufzeichnen wird der Handler für dynamische
Kommentare 39, die Benutzerkommentareingabe 36 und
der Multimediabericht 32 aus 9 benutzt.
Die Person 40 benutzt 1. das Mikrofon dazu, ihre Stimme 41 aufzuzeichnen,
2. die Maus dazu, Linien zu zeichnen, indem Maustasten 42 niedergedrückt gehalten
werden, 3. die Maus zum Zeigen, indem sie den Zeiger auf der Leinwand bewegt,
ohne Maustasten 42 zu drücken, 4. die Tastatur dazu,
Text 42 einzutippen, oder 5. sie manipuliert Datenobjekte
auf der Leinwand. Die Person kann die Aufzeichnung anhalten/wieder
aufnehmen. Die Sprache 41 wird in einen Audiorecorder 43 geleitet und
in Audiosignale 44 umgewandelt, die durch einen Stilledetektor 45 geleitet
und zu komprimierten Audiosignalen 46 werden, die wiederum
in die Kommentardatei 47 eingegeben werden. Die Tastenanschläge oder
Mausbewegungen 42 werden durch das Berichtsystem 48 geleitet
und stellen Ereignisse 49 bereit, die vom Ereignisfilter 50 gefiltert
werden. Die kommentarbezogenen Ereignisse (Ereignisname, Zeit, Parameter) 51 werden
in die Kommentardatei 47 eingegeben.
-
Bei
der Aufzeichnung werden nur signifikante Ereignisse aufgezeichnet.
Es werden zwei Arten diskreter Ereignisse aufgenommen: die vom Benutzer
aktivierten Ereignisse und die Zeitscheibenereignisse. Die vom Benutzer
aktivierten Ereignisse weisen das Format (Ereignisname, Zeit, Parameter)
auf:
- – (load,
time, object#): ein Datenobjekt auf die Leinwand laden
- – (move,
time, object#): beginnen, ein Datenobjekt auf der Leinwand zu bewegen
- – (move-to-front,
time, object#): ein Datenobjekt vor andere Objekte auf der Leinwand
bewegen
- – (move-to-back,
time, object#): ein Datenobjekt hinter andere Objekte auf der Leinwand
bewegen
- – (zoom,
time, object#, factor#): ein Abbildungsobjekt auf der Leinwand vergrößern/verkleinern
- – (place,
time, object#, x_pos, y_pos): ein Objekt an einer bestimmten Stelle
auf der Leinwand anordnen
- – (type,
time, char_value, x_pos, y_pos): ein Textzeichen an einer bestimmten
Stelle auf der Leinwand eintippen/wiedergeben
- – (erase-text,
time, char_value, x_pos, y_pos): einzelnes Zeichen an einer bestimmten
Stelle auf der Leinwand löschen
- – (erase-text,
time, all): gesamten Text auf der Leinwand löschen
- – (change-text-color,
time, color_value): Textfarbe ändern
- – (change-line-color,
time, color_value): Farbe für das
Linienzeichnen ändern
- – (push-button,
time, x_pos, y_pos): linke Schaltfläche auf der Leinwand drücken
- – (release-button,
time, x_pos, y_pos): linke Schaltfläche auf der Leinwand loslassen
- – (erase-graphics,
time, x_pos, y_pos): Liniensegment auf der Leinwand löschen
- – (mouse-enter,
time, x_pos, y_pos): Mauszeiger erscheint auf der Leinwand
- – (mouse-leave,
time, x_pos, y_pos): Mauszeiger verschwindet von der Leinwand
-
Bei
den Zeitscheibenereignissen handelt es sich um Ereignisse, die vom
Computersystem erzeugt werden. Sie werden für das Aufzeichnen des Wegs
des Mauszeigers benutzt, der sich auf der Leinwand befindet. Diese
Ereignisse werden folgendermaßen
dargestellt:
- – (mouse-location, time, pos_x,
pos_y): Position des Mauszeigers auf der Leinwand.
-
Die
Häufigkeit
des Erzeugens der Zeitscheibenereignisse ist von der Prozessorleistung
des Computers abhängig.
Da möglicherweise
redundante Ereignisse dieser Art erzeugt werden (ein Beispiel dafür ist, dass
der Mauszeiger bewegungslos auf der Leinwand bleibt, während die
Person die Maustaste niedergedrückt
hält),
wird ein in 11 gezeigter Filtermechanismus
bereitgestellt, damit festgestellt werden kann, ob ein Zeitscheibenereignis
aufgezeichnet werden muss.
-
Das
Filtern der Ereignisse beginnt durch das Eingeben des neuen Ereignisses „new_event" in den Entscheidungsblock 52,
wo entschieden wird, ob es sich bei dem new_event um ein Zeitscheibenereignis handelt.
Wenn es sich bei dem new_event nicht um ein Zeitscheibenereignis
handelt, wird new_event wie durch Block 53 gezeigt aufgezeichnet.
Wenn es sich bei dem new_event um ein Zeitscheibenereignis handelt,
stellt der Entscheidungsblock 54 fest, ob es sich bei dem
vorherigen Ereignis „prev_event" um ein Zeitscheibenereignis
handelt. Wenn es sich bei dem prev_event nicht um ein Zeitscheibenereignis
handelt, wird das new_event wie durch Block 53 gezeigt aufgezeichnet.
Wenn es sich bei dem prev_event um ein Zeitscheibenereignis handelt,
stellt der Entscheidungsblock 55 fest, ob der Abstand zwischen
dem prev_event und dem new_event, der als dist(prev_event, new_event)
notiert wird, unter einem Schwellwert liegt. Wenn dist(prev_event,
new_event) nicht unter dem Schwellwert liegt, wird new_event wie
durch Block 53 gezeigt aufgezeichnet. Wenn dist(prev_event,
new_event) unter dem Schwellwert liegt, wird new_event wie durch
Block 56 gezeigt nicht aufgezeichnet.
-
Für die Wiedergabe
von Kommentaren werden der Handler für dynamische Kommentare 39,
der Multimediabericht 32 und der Berichtanzeiger 35 aus 9 benutzt.
Bei der Wiedergabe der Kommentare wird die Technik der adaptiven
Synchronisation angewendet, damit die Aktionen und die Stimme des Kommentators
synchronisiert werden. Dies ist notwendig, wenn die Prozessorlast
hoch ist. Es werden zwei Mechanismen der adaptiven Synchronisationstechnik
genutzt: Aktionen verwerfen und Audiostille fortsetzen. In 12 teilt
der Kommentarscheduler 60 die einzelnen Lippensynchronisationsintervalle
der Kommentarsitzung ein. Dem Kommentarscheduler 60 werden
Informationen aus den Aktionsdaten 61 und eine Rückmeldung über die
Prozessorlast aus der Aktionsausführung 62 zugeführt. Die Qualität der Darstellungsparameter
wird dem Kommentarscheduler 60 ebenfalls zur Verfügung gestellt. Der
Kommentarscheduler verwirft Aktionen, führt der Audiovorrichtung 63 ein
Verzögerungs-
oder Weiterführungssignal
und der Aktionsausführung 62 gefilterte
Aktionen zu. Die Audiovorrichtung 63 empfängt außerdem Eingaben
aus den Audiodaten 64.
-
13 ist
das Ablaufdiagramm des Kommentarschedulers. Der Ablauf beginnt mit
dem i-ten Lippensynchronisationsintervall, und der Entscheidungsblock 70 stellt
fest, ob Stille aktiviert ist. Wenn Stille aktiviert ist, führt der
Stillerichtlinienblock 71 die Audiopause zum nächsten Audiostille-Zeitpunkt
aus und setzt die Pause in Kraft. Wenn Stille nicht aktiviert ist,
holt der Block 72 die nächste
Aktion A. Der Entscheidungsblock 73 stellt fest, ob A innerhalb
des Lippensynchronisationsintervalls zur Ausführung fällig ist. Wenn A zur Ausführung fällig ist,
stellt der Entscheidungsblock 74 fest, ob Verwerfen aktiviert
ist. Wenn Verwerfen aktiviert ist, überprüft der Verwerfungsrichtlinienblock 75 auf
der Grundlage des räumlichen
Schwellwerts zu diesem Zeitpunkt, ob die auszuführende Aktion verworfen werden
kann. Wenn Verwerfen nicht aktiviert ist, wird A, wie durch den Kasten „A ausführen" 76 gezeigt
ist, ausgeführt.
Der Ablauf kehrt dann zu Block 72 zurück. Wenn der Entscheidungsblock 73 feststellt,
dass A nicht zur Ausführung
fällig
ist, wird A in dem Block „A
zurückstellen" 77 zurückgestellt.
Der Entscheidungsblock 78 stellt fest, ob Pause in Kraft
gesetzt ist. Wenn Pause in Kraft gesetzt ist, nimmt der Stillereschedule-Richtlinienblock 79 die
Audiowiedergabe wieder auf und setzt die Bedingungen für Verwerfen,
Pause und Stille zurück.
Wenn Pause nicht in Kraft gesetzt ist, stellt der Block „Aktualisierung
der Darstellungsqualität" 80 den
räumlichen
Schwellwert, die Verwerfungsbedingung und die Stillebedingung auf
der Grundlage der Prozessorlast ein. Die Prozessorlast wird als
Verhältnis
der Zeitverzögerung
der letzten Aktion zwischen dem aktuellen Lippensynchronisationsintervall
und dem vorherigen Lippensynchronisationsintervall berechnet. Der
Ablauf endet mit dem Einteilen des nächsten Lippensynchronisationsintervalls
in Block 81.
-
Im
Berichtanzeiger (35 in 9) kann
der dynamische Kommentar, wie in 14 gezeigt
ist, auf einer Zeitleiste mit einigen Markierungen angezeigt werden.
Diese Markierungen werden dafür
genutzt, Kommentarsegmente anzugeben, die wiedergegeben oder auf
die geantwortet werden soll. Es werden vier Markierungsarten verwendet:
Objektbereichsmarkierungen, Zeichnungsmarkierungen, Zeigemarkierungen
und Stimme-Stille-Markierungen.
-
Objektbereichsmarkierungen
zeigen auf der Zeitleiste an, auf welches Datenobjekt der Mauszeiger
zeigt. Für
die visuelle Anzeige unterteilen diese Markierungen die Zeitleiste
in verschiedene Bereiche, die jeweils für ein Datenobjekt stehen, auf
dem sich der Mauszeiger befindet. Des Weiteren ist jeder Bereich
farbcodiert, um zwischen unterschiedlichen Datenobjekten zu unterscheiden.
Der weiße
Bereich gibt an, dass sich der Mauszeiger auf keinem Datenobjekt
befindet. Zeichnungsmarkierungen geben an, dass sich der Mauszeiger
im Zeichenmodus befindet, in dem die Bewegung des Mauszeigers eine
Spur aus Linien hinterlässt.
Zeigemarkierungen geben an, dass sich der Mauszeiger im Zeigemodus
befindet, in dem die Bewegung des Mauszeigers keine Spur aus Linien
hinterlässt.
Die stillen Teile der menschlichen Stimme werden als Stimme-Stille-Markierungen
verwendet, die anzeigen, welche Abschnitte des Kommentars mit menschlicher
Stimme versehen sind.
-
In 14 unterteilen
die Objektbereichsmarkierungen die Zeitleiste in Zeitintervalle
a, b, c, d und e. Die Intervalle a und d geben die Zeit an, zu der
sich der Mauszeiger auf dem einen Datenobjekt befindet. Die Intervalle
b und e geben die Zeit an, zu der sich der Mauszeiger auf dem anderen
Datenobjekt befindet. Das Intervall c gibt an, dass sich der Mauszeiger in
diesem Zeitintervall auf keinem Datenobjekt befindet. Die Zeichnungsmarkierungen
kennzeichnen drei Zeitintervalle f, g und h. Diese Intervalle geben
die Zeit an, in der die Person den Mauszeiger zum Ziehen von Linien
benutzt. Die Zeichnungsmarkierungen kennzeichnen vier Zeitintervalle
i, j, k und l. Diese Intervalle geben die Zeit an, in der die Person
den Mauszeiger zum Zeigen benutzt. Die Stimme-Stille-Markierungen
kennzeichnen vier Zeitintervalle n, o, p und q. Diese Intervalle
geben die Zeit an, in der die Person spricht.
-
15 stellt
das Kommentieren von Kommentaren dar. Mit Hilfe von Markierungen
auf der Zeitleiste kann die Person das gewünschte Segment des Kommentars
auswählen.
Die Person kann ein ausgewähltes
Segment wiedergeben. Außerdem kann
die Person einen neuen Kommentar erzeugen, bei dem es sich um eine
Antwort auf dieses ausgewählte
Segment handelt. Es wird ein Visualisierungshilfsmittel bereitgestellt,
so dass sich die Person die Beziehungen zwischen den Kommentaren
und Antwortkommentaren leicht vorstellen kann. Der Kommentar Nr.
1 weist drei Segmente a, b und c auf. Bei Kommentar Nr. 2 handelt
es sich um eine Antwort auf Segment b des Kommentars Nr. 1. Der
Kommentar Nr. 2 ist selbst in d, e und f segmentiert. Bei Kommentar
Nr. 3 handelt es sich um eine Antwort auf Segmente des Kommentars
Nr. 2.
-
Die
vorliegende Erfindung weist drei wichtige Aspekte auf. Der Inhalt
der Berichte geht über
andere verfügbare
Berichtsysteme hinaus, da erfindungsgemäß die Möglichkeit von dynamischen Kommentaren besteht.
Mit dieser Möglichkeit
von dynamischen Kommentaren kann der Bericht auch als Konsultationsmittel
für andere
Personen dienen, die mit Hilfe dynamischer Kommentare ihre Anmerkungen
hinzufügen
können.
Durch die Segmentierung der Kommentare und das Anzeigen zusammengehörender Kommentare
kann die Person zusammengehörende Kommentare
erkennen.
-
Diese
Erfindung darf nicht auf die Softwareimplementierung oder die offenbarten
Arbeitsvorgänge
eingeschränkt
werden. Diese Erfindung umfasst sämtliche Änderungen und Variationen daran,
die in den Schutzumfang der nachfolgenden Ansprüche fallen.