-
GEBIET DER ERFINDUNG
-
Die Erfindung betrifft Bildschirmaufbauprozesse in einer Remote-Client-Umgebung, wobei eine vordefinierte Folge von Bildern, insbesondere von medizinischen Bildern, auf dem Remote Client dargestellt werden sollen.
-
Die Erfindung liegt somit auf den Gebieten der Elektronik und der Medizintechnik und betrifft das Rendering von Bildsequenzen auf entfernten Monitoren.
-
STAND DER TECHNIK
-
Auch auf dem Gebiet der Medizintechnik geht der aktuelle Trend bei informationstechnologischen Problemlösungen hin zur Verwendung von zentralisierten Prozessen, insbesondere zum Cloud-Computing. Dabei werden komplexe Prozesse, Applikationen und auch Hardware, sowie Applikationsspezifische Services (Dienste) an zentraler Stelle auf spezialisierten Rechnern bereitgestellt, auf die daran angeschlossene Clients zugreifen können. Der hauptsächliche Rechenaufwand und Ressourcenbedarf fällt somit zentral auf dem Server an und die angeschlossenen Clients können somit sehr schlank und einfach ausgebildet werden (als sogenannte „thin clients“).
-
Bekannt ist es auch, dass bei der Darstellung von Bildschirminhalten entfernte Computer bzw. Clients verwendet werden. Dabei läuft beispielsweise eine Applikation zur Berechnung von technischen Zeichnungen (z.B. auf dem Gebiet der Architektur) mit entsprechenden Plänen bzw. Bilddaten auf dem Server und die darzustellenden Zeichnungen werden auf einem entfernten Client dargestellt. Dies bietet beispielsweise den Vorteil, dass die Anwendungen flexibler an die jeweilige Anwendungssituation (use case) angepasst werden können. Der Anwender (z.B. der Architekt) kann dann von mobilen Geräten (z.B. auch von entfernten Arbeitsplätzen oder sogar von seinem Smartphone auf der Baustelle) aus auf die Bilddaten zugreifen und diese sichten. Solche Lösungen werden auch als Remote-Desktop-Lösungen bezeichnet und sind kommerziell beispielsweise von der Firma Microsoft erhältlich (z.B. Remote Desktop / RemoteFX). Andere Produkte sind beispielsweise VMWARE View, Citrix Receiver.
-
Auf dem Gebiet der Medizintechnik stellt sich jedoch das Problem, dass die vorstehend genannten Remote-Desktop-Produkte nicht anwendbar sind, da über die Befundung von medizinischen Bilddatensätzen spezielle Regelungen und Anforderungen existieren. So ist es beispielsweise im Rahmen der bildgestützten Diagnostik eine Voraussetzung, dass sicherzustellen ist, dass bei einer Folge von Bilddaten, grundsätzlich alle Bilddatensätze der Bildfolge auf dem Monitor zur Darstellung gelangen müssen. Mit anderen Worten muss sichergestellt werden können, dass eine Bildfolge immer vollständig auf einem entfernten Monitor zur Darstellung gebracht wird. Dies ist bei den bisher im Stand der Technik bekannten Remote-Desktop-Systemen nicht möglich. Eine zusätzliche Steuerung der Darstellung der Bildschirminhalte auf dem entfernten Rechner kann nicht zur Verfügung gestellt werden.
-
Als problematisch erweist es sich in diesem Zusammenhang, dass nicht immer eine ausreichende Bandbreite bei der Verbindung zwischen Server und angeschlossenen Remote Clients zur Verfügung gestellt werden kann. Falls also beispielsweise nur eine Verbindung mit geringerer Bandbreite (z.B. durch schlechte Mobilfunkverbindung) bereitgestellt werden kann, basieren Remote-Desktop-Systeme in der Regel darauf, nur einen Teil der Datenpakete an den Client zu übertragen. Für die medizintechnische Anwendung bedeutet dies, dass nicht alle Bilder einer Bildsequenz auf dem entfernten Anzeigegerät dargestellt werden, sondern dass beispielsweise nur für eine kurze Zeitdauer anzuzeigende „Zwischenbilder“ zur Optimierung der Datenübertragung bei der Anzeige ausgelassen werden. Auf Seite des Clients ist es jedoch bei dem bisherigen Systemen nach dem Stand der Technik nicht möglich, zu überwachen, ob alle Bilder einer Bildfolge zur Darstellung gelangt sind. Dies ist nicht möglich, da auf dem Client sozusagen der „Vergleichsmaßstab“ fehlt und der Client somit regelmäßig nicht über Daten und Informationen verfügt, um diese Überwachung ausführen zu können. Daraus resultiert auch eine nicht vorhandene Steuerungsmöglichkeit hinsichtlich der Qualität und der Vollständigkeit der dargestellten Bilder auf dem Remote Client. In der Praxis führt dies dazu, dass bisherige Systeme und Produkte aus dem Stand der Technik nicht für die klinische Befundung auf Remote-Client-Basis verwendet werden können.
-
AUFGABENSTELLUNG
-
Die vorliegende Erfindung hat sich deshalb zur Aufgabe gestellt, eine Lösung anzubieten, mit der die bisherigen Systeme nach dem Stand der Technik hinsichtlich Qualität, Bandbreitennutzung und Flexibilität verbessert werden können. Desweiteren sollen die mit den bekannten Systemen verbundenen Nachteile überwunden werden. Insbesondere sollen die Steuerungs- und Überwachungsmöglichkeiten auf der Seite des Clients in einer Remote-Desktop-Umgebung zur Anzeige von Bildfolgen verbessert und erweitert werden.
-
BESCHREIBUNG DER ERFINDUNG
-
Die vorstehende Aufgabe wird durch die beiliegenden, nebengeordneten Patentansprüche gelöst, insbesondere durch ein System, ein Verfahren und ein Computerprogrammprodukt.
-
Alternative Ausführungen der Erfindung sind in den Unteransprüchen beschrieben.
-
Im Folgenden wird die Erfindung anhand des Systems beschrieben. Hierbei erwähnte Ausführungsformen, alternative Merkmale und Vorteile sind ebenso auch auf die anderen Lösungen der vorstehend genannten Aufgabe bzw. auf die anderen Anspruchsformen zu übertragen (also auf das Verfahren und das Computerprogramm bzw. das Computerprogrammprodukt) und umgekehrt. Demnach können die Merkmale bzw. Unteransprüche, die im Zusammenhang mit dem System beansprucht und/oder beschrieben sind, auch mit den Merkmalen des Systems und/oder des Produktes weitergebildet sein und umgekehrt. Dabei sind die jeweiligen funktionalen Merkmale des Verfahrens durch entsprechende Mikroprozessorbauteile bzw. Prozessormodule oder Hardwaremodule implementiert, die dazu ausgebildet sind, die jeweilige Funktionalität zu implementieren bzw. auszuführen.
-
Gemäß einem Aspekt der Erfindung wird ein System zur Verfügung gestellt zur Überwachung und Steuerung eines Bildschirmaufbauprozesses für eine Bildfolge auf einem Remote Client in einer Remote-Client-Umgebung. Dabei ist zumindest ein zentraler Server vorgesehen, an dem mehrere entfernte Clients angeschlossen werden können.
-
Auf dem zentralen Server läuft ein Prozess bzw. eine Applikation zum Rendern einer Bildschirmdarstellung, die eine Bildfolge umfasst. Das Rendern wird durch ein Rendering-Modul ausgeführt.
-
Desweiteren umfasst der zentrale Server einen Markergenerator, der dazu bestimmt ist, in jedes Bild der darzustellenden Bildfolge einen Marker anzubringen. Dabei kann der Marker entweder direkt in das Bild der Bildfolge integriert werden, oder eineindeutig auf sonstige Weise mit diesem verbunden werden. Dabei wird der Marker jeweils so gewählt, dass die Gesamtheit aller Marker auf eineindeutige Weise eine Sequenz der Bilder der darzustellenden Bildfolge kennzeichnet. Mit anderen Worten kann man aus den ausgelesenen Markersignalen ableiten, ob alle Bilder der Bildfolge vollständig und in der richtigen Reihenfolge dargestellt werden. Gemäß einer bevorzugten Ausführungsform ist es vorgesehen, dass Serverseitig Markersignale in die darzustellende Bildfolge integriert werden. Diese Markersignale signalisieren somit eine SOLL-Bildfolge, also eine Ziel-Bildfolge, die auf einem (entfernten) Anzeigegerät darzustellen ist. Im späteren Verlauf des Überwachungsvorganges kann dann clientseitig diese durch die empfangenen Markersignale gekennzeichnete SOLL-Bildfolge mit einer IST-Bildfolge auf Übereinstimmung verglichen werden.
-
Das System umfasst des Weiteren zumindest einen Remote Client. Üblicherweise wird in diesem Zusammenhang eine ganze informationstechnologische Umgebung als Remote Client bezeichnet. Deshalb umfasst der Remote Client neben dem eigentlichen Computer oder einem Verbund von Computern auch andere Geräte, wie z.B. einen Remote-Client-Monitor. Auf dem Computer des Remote Client ist eine Remote-Client-Applikation installiert, die dazu bestimmt ist, die vom Server bereitgestellten Signale zur Darstellung der Bildschirminhalte zu empfangen. Insbesondere dient die Remote-Client-Applikation zum Empfang der Ausgabesignale, wie sie von dem Rendering-Modul des Servers bereitgestellt worden sind.
-
Desweiteren umfasst der Remote Client ein Observermodul, das dazu ausgebildet ist, die Ausgabe der Remote-Client-Applikation zu überwachen. Insbesondere soll überwacht werden, ob die auf dem Remote-Client-Monitor darzustellende Bildfolge auch vollständig dargestellt wurde. Dazu führt das Observermodul eine Folge von Befehlen und Arbeitsschritten aus.
-
Insbesondere erfasst das Observermodul die aktuell dargestellte IST-Bildfolge, wie sie auf dem Remote-Client-Monitor tatsächlich dargestellt worden ist. Dazu wird vorzugsweise auf drei Möglichkeiten zurückgegriffen:
- 1. Der Grafik-Speicher des Systems wird direkt ausgelesen und ausgewertet (dies entspricht quasi dem Abtasten des Bildschirms, vergleichbar dem Erstellen von „screenshots“).
- 2. Es wird ein eigener (virtueller) Grafiktreiber bereitgestellt (Frame Buffer). Das Ergebnis aller Rendering-Applikationen wird lokal in diesen Speicher geschrieben, der die Inhalte anzeigt und auch dem Observermodul bereitstellt.
- 3. Integration mit dem Remote Client: Soweit der Remote Client über einen Ausgabe-Speicher verfügt, wird dieser ausgelesen und so überwacht.
-
Die IST-Bildfolge wird dann mit der SOLL-Bildfolge auf Übereinstimmung verglichen. Die SOLL-Bildfolge kann aus den Markersignalen extrahiert werden, die die Remote-Client-Applikation von dem Server empfangen hat.
-
Gemäß einer bevorzugten Ausführungsform wird das Observermodul zusätzlich zur Remote-Client-Applikation und als separates Modul auf dem Remote Client installiert. Alternativ kann das Observermodul jedoch auch in die Remote-Client-Applikation integriert werden oder mit dieser über eine zusätzliche Datenverbindung interagieren.
-
Der Remote Client umfasst darüber hinaus noch einen Warnsignalgeber, der dazu bestimmt ist, bei fehlender Übereinstimmung zwischen IST-Bildfolge und SOLL-Bildfolge ein Warnsignal zu generieren und auf dem Remote Client auszugeben.
-
Im Folgenden werden Begrifflichkeiten, die im Rahmen dieser Anmeldung verwendet werden, näher erläutert.
-
Bei dem Bildschirmaufbauprozess handelt es sich um einen Prozess, der Ausgabesignale erzeugt, aus denen dann – auf einem oder mehreren entfernten Client(s) – eine Repräsentation bzw. eine Wiedergabe des jeweiligen Bildschirminhaltes erzeugt werden kann.
-
Der darzustellende Bildschirminhalt ist bei dieser Anmeldung vorzugsweise dahingehend eingeschränkt, dass stets eine Folge von Bildern darzustellen ist. Mit anderen Worten enthält der Bildschirminhalt eine oder mehrere Bildfolgen, die in bestimmten Segmenten auf der Benutzeroberfläche (user interface) zur Darstellung gebracht werden sollen. Vorzugsweise handelt es sich um medizinische Bilddaten, die im Rahmen der medizinischen Befundung relevant sind. Alternative Ausführungen sehen hier jedoch andere medizinische Bilddaten (z.B. grafische Repräsentationen von Laborwerten) oder Bilddaten nicht-medizinischen Inhalts vor. Die Bilddaten können zweidimensional oder höherdimensional sein und von unterschiedlichen Modalitäten akquiriert worden sein (beispielsweise bildgebende Modalitäten, wie z.B. Ultraschall, PET, MRT, CT etc.). Für die Projektion der höherdimensionalen Daten auf die 2D-Bildsegmente können je nach Wahl der Ausführungsform der Erfindung unterschiedliche Rendering-Modi (oder Projektionen), wie z.B. VRT, MPR, MIP etc. angewendet werden.
-
Bei dem Server und/oder bei dem Remote Client handelt es sich um Computer, Computernetzwerke (z.B. Cloud-Systeme), die je nach Ausführungsform noch weitere Module und Prozessoren umfassen können. Vorzugsweise ist der Server als zentraler Server ausgebildet, auf dem rechenaufwändige Prozesse und Dienste laufen bzw. bereitgestellt werden. Bei den Remote-Client-Computern handelt es sich vorzugsweise um einfache Geräte, die in der Regel über wenig Rechenleistung verfügen. Die Clients können über eine drahtlose Datenverbindung (z.B. Mobilfunknetz) oder über eine drahtgebundene Datenverbindung mit dem zentralen Server in Datenaustausch stehen.
-
Das Rendering-Modul und der Markergenerator des Servers stehen ebenfalls in Datenaustausch. Die Ausgabesignale des Rendering-Moduls werden an den Remote Client und insbesondere an die Remote-Client-Applikation übertragen. Wesentlich ist dabei, dass der Markergenerator die Ausgabe des Rendering-Moduls um den Marker anreichert, bevor das Bild an die Client-Applikation (und damit an den Remote-Client) übertragen wird. Die Remote-Client-Applikation kann auch als Prozess oder als Hardwarelösung in Form eines Mikroprozessorchipmoduls implementiert sein. Das Observermodul ist vorzugsweise in der Remote-Client-Umgebung implementiert und insbesondere auf dem Remote-Client-Computer implementiert. Bei dem Observermodul kann es sich gemäß einer Ausführungsform der Erfindung um ein Software- und/oder um ein Hardwaremodul handeln. Alternativ kann das Observermodul auch als externes Modul auf einem anderen Rechner ausgebildet sein, der in Datenaustausch mit dem Remote Client steht.
-
Bei dem Warnsignalgeber kann es sich um ein Hardware- und/oder Softwaremodul handeln, das insbesondere optische Warnsignale auf dem Remote-Client-Monitor ausgibt, falls das Observermodul festgestellt hat, dass die darzustellende Bildfolge nicht vollständig angezeigt werden konnte. Alternativ oder kumulativ können hier noch andere Warnsignale (z.B. akustische) ausgegeben werden.
-
Wie vorstehend bereits ausgeführt, handelt es sich in der bevorzugten Ausführungsform um einen optischen Marker. Dieser kann beispielsweise durch einen Kreis repräsentiert sein, mit einzelnen Kreissegmenten, wobei jedes Bild der Bildfolge einem Kreissegment des Kreises entspricht. Aufeinander folgende Bilder der Bildfolge entsprechen somit aufeinander folgenden Kreissegmenten des Kreises oder aufeinander folgende Bilder der Bildfolge sind somit durch aufeinander folgende Kreissegmente markiert. Falls also alle Kreissegmente des Kreises dargestellt werden, ist damit gekennzeichnet, dass auch alle Bilder der Bildfolge dargestellt werden konnten. Anderenfalls (also bei nicht vollständiger Darstellung der Bildfolge) wird auch der Kreis nicht vollständig wiedergegeben. Diese Repräsentationsmöglichkeit der Bildsequenz ist jedoch nur beispielhaft und im Rahmen der Erfindung liegen ebenso andere Repräsentationen der Bildfolge.
-
So ist es beispielsweise ebenso möglich, die einzelnen Bilder der Bildfolge zu indizieren und diese Indizes dann zusammen mit dem jeweiligen Bild der Bildfolge abzuspeichern und für das Ausgabesignal der jeweiligen Bildschirmdarstellung an den Remote Client zu übertragen. Die Indizes können dann von der Remote-Client-Applikation zur Analyse der IST-Bildfolge verwendet werden. Es ist auch möglich, die zusätzliche Steuerungsfunktion der Bildfolgendarstellung auf dem Remote Client auch ohne optische Markersignale und mit rein digitalen Markersignalen auszuführen. Ebenso liegen Kombinationen der beiden vorstehend erwähnten Möglichkeiten im Rahmen der Erfindung. Wesentlich ist aber, dass die Markersignale zum Einen automatisch erzeugt und in die Bilder eingebracht und zum Anderen auch automatisch aus den an den Remote Client übersandten Daten zum Bildschirmaufbau ausgelesen und verarbeitet werden.
-
Sobald das Observermodul durch entsprechende Signalverarbeitung festgestellt hat, dass die IST-Bildfolge nicht mit der SOLL-Bildfolge übereinstimmt oder die darzustellende Bildfolge nicht vollständig dargestellt werden konnte (wenn also z.B. zwei aufeinanderfolgende Bilder eine Lücke zwischen den eingebetteten Kreissegmenten aufweisen), wird seitens des Warnsignalgebers ein Warnsignal ausgegeben. Vorzugsweise handelt es sich um ein optisches oder grafisch auf dem User Interface repräsentiertes Warnsignal. Vorzugsweise wird ein Warnfenster auf dem Bildschirm des Remote Client erzeugt, das auf die fehlerhafte Darstellung hinweist. Dieses Warnfenster kann die anderen Bildschirmdarstellungen überdecken. Alternativ kann das Warnsignal auch als (z.B. farblich) hervorgehobener Rahmen ausgebildet sein, der um die betroffene Bildfolge gezeichnet wird. Damit kann die Qualität der Remote-Befundung deutlich gesteigert werden, in dem der Anwender an dem entfernten Monitor unmittelbar über eine unvollständige oder fehlerhafte Darstellung der darzustellenden Bildfolge informiert wird. In Folge kann auch die Qualität des Befundungsvorganges verbessert werden.
-
Gemäß einem Aspekt ist das Observermodul als separates Modul, zusätzlich zu der Remote-Client-Applikation auf dem Remote Client zur Verfügung gestellt. Das hat den Vorteil, dass das Observermodul automatisch und unabhängig jede Abweichung von der SOLL-Bildfolge erfassen und signalisieren kann. Manipulationen an der Remote-Client-Applikation können somit sicher ausgeschlossen werden. Desweiteren kann das Observermodul die korrekte Darstellung auch unabhängig von physikalischen Parametern des Remote-Client-Monitors ausführen. Beispielsweise kann die Synchronisation des Bildschirminhaltes an die Refresh-Rate des jeweiligen Monitors (vertikale und horizontale Bildwiederholrate) angepasst sein, was wiederum möglicherweise zu einer unvollständigen Darstellung von Bildfolgen führen kann. Auch hier kann erfindungsgemäß vorteilhafterweise eine unabhängige Steuerung des Überwachungsvorganges des Bildschirmaufbauprozesses auf dem entfernten Client sichergestellt werden.
-
Gemäß einem weiteren Aspekt kann zwischen dem Observermodul und der Remote-Client-Applikation ein separater und/oder zusätzlicher Kommunikationskanal zum Datenaustausch bereitgestellt werden. Der zusätzliche Kanal kann als direkte Netzwerkverbindung ausgebildet sein. Alternativ ist es möglich, einen zusätzlichen Marker für diese Zusatzinformationen in das zu übertragende Bild einzubetten. In diesem Fall würden also zwei unterschiedliche Marker in das Bild der Bildfolge eingebettet und vom Rendering Applikation an die Remote-Client-Applikation übertragen. Damit wird es möglich, dass das Observermodul mit zusätzlichen Statusdaten versorgt wird, die im Rahmen des Bildschirmaufbauprozesses relevant sind. Beispielsweise können User-Interaktionen oder Hardwareparameter oder sonstige Messsignale Einfluss auf den Überwachungsvorgang nehmen. Diese Daten werden dann dem Observermodul zugeführt, das diese dann im Rahmen der Überwachung verarbeiten kann. Damit kann die Sicherheit des Systems insgesamt gesteigert werden. In diesem Fall verfügt also der Remote Client zusätzlich über ein Statusinformationsmodul, das dazu bestimmt ist, Statusinformationen und/oder Layoutinformationen zu erfassen, die im Rahmen des Bildschirmaufbauprozesses relevant sind, und diese an das Observermodul zur Verarbeitung weiterzuleiten. Vorzugsweise kann in einer vorgelagerten Konfigurationsphase bestimmt werden, welche Status- und Layoutinformationen hier gesammelt werden sollen. Desweiteren kann konfiguriert werden, wie diese Status- und/oder Layoutinformationen bei der Überwachung des Observermoduls einfließen sollen.
-
In einer bevorzugten Ausführungsform der Erfindung ist es vorgesehen, die Marker an einer bestimmten Position in dem jeweiligen Bild der Bildfolge einzubetten, nämlich in einem Markerbereich, der sich insbesondere „rechts unten“ im Bild zu befindet. Dies hat den Vorteil, dass der Bildschirmaufbauprozess auf dem Remote Client in zusätzlicher Hinsicht auf eine vollständige Darstellung des Bildes überwacht werden kann. Insbesondere bei CRT-Monitoren kann es unter Umständen zu Darstellungsfehlern kommen, die beispielsweise durch eine zu hohe Bildanzahl bedingt sind (z.B. eine Bildfrequenz, die die Darstellungskapazitäten des Monitors (z.B. Refresh-Rate) übersteigt). Insbesondere bei Anwendung des Zeilensprungverfahrens oder dem Interlacing wird unter Umständen zwar ein erster Teil des Bildes auf dem Monitor aufgebaut aber der restliche Bildanteil fehlt. Da der Bildschirminhalt in der Regel von links oben nach rechts unten zeilenweise aufgebaut werden, ist die Positionierung des Überwachungssymbols rechts unten eine markante Stelle und deutlich besser geeignet, als beispielsweise eine Positionierung links oben, bei der diese Fehler dann nicht erfasst werden würden. Diese Positionierung des Markers (rechts unten) im Bild ist jedoch aufgrund des Speicher-Layouts auch bei Verwendung von LCD/LED-Monitoren vorteilhaft. Mit dieser speziellen Anordnung der Marker in dem Bild kann eine weitere implizite Überwachungsmöglichkeit der dargestellten Bildfolge auf Vollständigkeit auf dem Remote Client ausgeschöpft werden.
-
Eine weitere Aufgabenlösung besteht in einem Verfahren zur Überwachung und/oder Steuerung eines Bildschirmaufbauprozesses und insbesondere eines Bildschirmaufbauprozesses zum Aufbau eines Bildschirminhaltes, das eine Bildfolge umfasst. Zunächst wird seitens des Servers eine Bildschirmdarstellung, umfassend eine Bildfolge, gerendert.
-
Daraufhin werden Markersignale erzeugt, die die Bildsequenz eineindeutig kennzeichnen. Vorzugsweise können die Markersignale mehrere Sequenzen pro Layout und/oder eine Sequenz pro Segment kennzeichnen. Diese Markersignale werden mit den einzelnen Bildern der Bildfolge gekoppelt. Eine Bildfolge ist somit eineindeutig einer Markerfolge zugeordnet (u.a. im Sinne: Bild 1 – Marker 1, Bild 2 – Marker 2, ...Bild n-Marker n).
-
Daraufhin wird ein Ausgabesignal erzeugt zur Darstellung des Bildschirminhaltes auf einem (Remote-Client-)Monitor. Dabei umfassen die Ausgabesignale auch die erzeugten Markersignale, sowie die notwendigen RGB-Signalanteile und etwaige Synchronisationssignale, die dann in einen Speicher geschrieben werden. Aus diesem Speicher werden die Ausgangs- oder Ausgabesignale ausgelesen und zum Transfer vorbereitet.
-
Wesentlich ist, dass das Einbinden oder Einbetten der Marker in das Bild automatisch und/oder zeitlich vor dem Versenden der Ausgangssignale (insbesondere der Rendering-Ausgabesignale) an den Remote Client erfolgt.
-
Nach Versenden der Ausgabesignale an die Remote-Client-Applikation erhält diese somit Informationen zum Aufbau des Bildschirminhaltes und Informationen über die SOLL-Bildfolge. Vorzugsweise werden die empfangenen Signale auf dem Remote Client in einem lokalen Speicher eingeschrieben. Aus den empfangenen Signalen können dann clientseitig die empfangenen Markersignale extrahiert und an das Observermodul zur Überwachung weitergeleitet werden. Alternativ werden die Markersignale auch (separat) gespeichert. Daraufhin kann das Observermodul dann einen Überwachungsvorgang anstoßen, in dem die IST-Bildfolge mit der SOLL-Bildfolge auf Übereinstimmung verglichen wird.
-
Falls der Überwachungsvorgang eine unvollständige Darstellung der Bildfolge auf dem Remote Client signalisiert, wird automatisch ein Warnsignal auf dem Remote Client ausgegeben.
-
Mit diesem Verfahren kann vorteilhafterweise erreicht werden, dass sichergestellt werden kann, dass die auf einem Remote Client darzustellende Bildfolge auch vollständig dort dargestellt worden ist. Damit können die gesetzlichen Anforderungen auf dem Gebiet der Medizintechnik erfüllt werden. Desweiteren können Manipulationen vermieden werden, die unvollständige Repräsentationen auf dem Remote Client betreffen.
-
Das Verfahren bzw. das Steuerungssystem können auch als Hardware in die Grafikkarte implementiert sein. Des Weiteren können das Verfahren und das System als eingebettetes System (embedded system) in ein Befundungssystem integriert sein.
-
Darüber hinaus ist es möglich, dass einzelne Abschnitte des vorstehend beschriebenen Verfahrens als einzelne verkaufsfähige Einheiten und restliche Abschnitte des Verfahrens als andere verkaufsfähige Einheiten ausgebildet werden können. Damit kann das erfindungsgemäße Verfahren als verteiltes System auf unterschiedlichen computer-basierten Instanzen (z.B. verteilt auf Client- und auf Server-Instanzen) zur Ausführung kommen. So ist es beispielsweise möglich, dass die Applikation und die Remote-Client-Applikation unterschiedliche Sub-Module umfassen, die teilweise auf dem Client, teilweise auf dem Server und/oder teilweise auf anderen computer-basierten Instanzen implementiert sind.
-
Eine weitere Lösung der vorstehenden Aufgabe bezieht sich auf ein Computerprogrammprodukt gemäß dem beiliegenden Anspruch. Eine weitere Aufgabenlösung sieht ein Computerprogramm vor, das Computerinstruktionen umfasst. Die Computerinstruktionen sind auf einem Speicher eines Computers gespeichert und umfassen von dem Computer lesbare Befehle, die zur Ausführung des vorstehend beschriebenen Verfahrens bestimmt sind, wenn die Befehle auf dem Computer ausgeführt werden. Das Computerprogramm kann auch auf einem Speichermedium gespeichert sein, es kann in einer Grafikkarte implementiert sein und/oder es kann über ein entsprechendes Netzwerk von einem Server heruntergeladen werden. Das Computerprogramm kann auch im Rahmen einer Cloud-Lösung bereitgestellt werden.
-
In der folgenden detaillierten Figurenbeschreibung werden anhand der Zeichnung nicht einschränkend zu verstehende Ausführungsbeispiele mit deren Merkmalen und weiteren Vorteilen besprochen. In dieser zeigen:
-
KURZE BESCHREIBUNG DER FIGUREN
-
1 zeigt eine übersichtsartige, schematische Darstellung eines erfindungsgemäßen Überwachungssystems gemäß einer bevorzugten Ausführungsform und
-
2 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens gemäß einer bevorzugten Ausführungsform.
-
DETAILLIERTE BESCHREIBUNG DER FIGUREN
-
Im Folgenden wird die Erfindung unter Bezugnahme auf 1 näher erläutert. Dabei wird eine bevorzugte Ausführungsform beschrieben, die jedoch auch abgewandelt werden kann, ohne dass der Schutzbereich der vorliegenden Anmeldung verlassen wird.
-
Die Erfindung betrifft ein System, ein Verfahren und ein Computerprogramm bzw. ein Computerprogrammprodukt zur Überwachung und/oder Steuerung eines Bildschirmaufbauprozesses auf einem Remote Client RC in einer Remote-Client-Umgebung RCU, wobei eine Bildsequenz auf dem Remote Client RC darzustellen ist, deren Bildschirmaufbauprozess auf dem Remote Client RC gesteuert und/oder überwacht werden soll.
-
Dazu interagiert ein zentraler Server S mit einem oder mehreren Remote Clients RC über eine entsprechende Datenschnittstelle, die drahtgebunden oder drahtlos sein kann.
-
In 1 ist der Server S linksseitig schematisch mit einzelnen Modulen und auf der rechten Seite von 1 ist der Remote Clients RC ebenfalls mit weiteren Modulen dargestellt.
-
Da es sich sowohl bei dem Server S als auch bei dem Remote Client RC mehr um eine informationstechnologische Umgebung als um einen einzelnen singulären Computer bzw. Rechner handelt, sind die beiden Entitäten in 1 mit einer gestrichelten Linie dargestellt. Dies soll deutlich machen, dass zur Server-Umgebung SU und zur Remote Client-Umgebung RCU noch weitere Module und Instanzen hinzugeschaltet werden können. Der auf der linken Seite dargestellte Server S interagiert über eine Netzwerkverbindung N mit dem, auf der rechten Seite dargestellten Remote Client RC.
-
Der Server S umfasst ein Rendering-Modul rm, einen Markergenerator mg und einen Monitor M.
-
Der Remote Client RC umfasst zumindest eine Remote-Client-Applikation rca, zumindest einen Remote-Client-Monitor rcm, ein Observermodul om und einen Warnsignalgeber wsg. Optional kann der Remote Client RC auch noch ein Status(und -Layout-)informationsmodul sim umfassen. Dazu umfasst der Remote Client RC einen Remote-Client-Monitor rcm.
-
Eine komplexe und in der Regel ressourcenintensive Applikation A zum Rendern der Bildschirminhalte wird auf dem Server S ausgeführt; dazu dient das Rendering-Modul rm, das Signale generiert, die zur Ansteuerung des Monitors M dienen. Die Signale erhalten alle notwendigen Informationen, um die Pixel (Bildpunkte) oder Sub-Pixel anzusteuern und zu zeichnen.
-
Der darzustellende bzw. zu zeichnende Bildschirminhalt umfasst erfindungsgemäß eine Bildfolge von medizinischen Bilddaten. Dabei kann es sich beispielsweise um eine Serie oder um eine Studie von CT- oder MRT- oder anderweitigen Aufnahmen eines Patienten handeln, die zum Zwecke der Befundung auf dem Remote Client RC zur Anzeige gebracht werden sollen.
-
Erfindungsgemäß ist es nun vorgesehen, dass die darzustellende Bildfolge nicht einfach von dem Rendering-Modul rm an die Remote-Client-Umgebung gesendet wird, wie es bei den bisher bekannten Verfahren nach dem Stand der Technik der Fall ist, sondern es ist ein zusätzliches Modul auf dem Server S vorgesehen, nämlich der Markergenerator mg, der dazu bestimmt ist, Markierungen derart an der darzustellenden Bildfolge anzubringen, dass später aufgrund der Markierungen exakt die Sequenz der Bildfolge extrahierbar wird. Mit anderen Worten dient der Markergenerator mg dazu, eine SOLL-Bildfolge zu definieren, deren Darstellung überprüft werden soll.
-
Somit wird erfindungsgemäß ein Datenpaket erstellt, umfassend Ausgabesignale des Rendering-Moduls rm zum Rendern des Bildschirms und Markersignale, die die jeweilige Bildfolge kennzeichnen. Dieses Datenpaket wird von dem Server S an den Remote Client RC übertragen.
-
Der Remote Client RC ist daraufhin in der Lage, das Datenpaket zu empfangen und zu extrahieren.
-
Die Ausgabedaten des Rendering-Moduls rm dienen dazu, den Bildschirminhalt entsprechend den serverseitigen Vorgaben auf dem Remote-Client-Monitor rcm aufzubauen.
-
Aus dem Datenpaket kann der Remote Client RC des Weiteren die SOLL-Bildfolge aus den Markerdaten extrahieren. Die so ermittelte SOLL-Bildfolge wird an das Observermodul om zum Zwecke der Überwachung weitergeleitet.
-
Das Observermodul om führt vorzugsweise mehrere Schritte aus:
Zum einen erfasst es die konkret auf dem Remote-Client-Monitor rcm dargestellte Bildfolge als IST-Bildfolge. Vorzugsweise erfolgt dies automatisch durch Auslesen des Grafikspeichers und Verarbeiten der ausgelesenen Daten. Alternativ kann ein zusätzlicher (eigener) Grafiktreiber mit Buffer bereitgestellt werden, in den die gerenderten Inhalte eingeschrieben sind oder das Observermodul om kann in die Remote-Client-Applikation rca integriert sein.
-
Das Observermodul om ist vorzugsweise ebenfalls lokal auf dem Remote Client RC ausgebildet und kann nun die IST-Bildfolge mit der SOLL-Bildfolge auf Übereinstimmung vergleichen.
-
Bei fehlender Übereinstimmung oder bei sonstigen Fehlern gibt das Observermodul om ein entsprechendes (Fehler-)Signal an den Warnsignalgeber wsg, der auf einer Oberfläche des Remote-Client-Computers rcm signalisiert, dass die Bilddarstellung nicht in der vorgesehenen Reihenfolge bzw. in der geforderten Qualität dargestellt werden konnte.
-
In einer vorteilhaften Weiterbildung der Erfindung ist zusätzlich noch das Status- und Informationsmodul sim auf dem Remote-Client-Computer vorgesehen, um weitere Signale und/oder Daten hinsichtlich der Bilddarstellung an das Observermodul om weiterzuleiten und zu verarbeiten.
-
Das Statusinformationsmodul sim kommt z.B. dann zum Einsatz, wenn ein zwischen unterschiedlichen Bildschirminhalten gewechselt werden soll (z.B. dargestellter Patient oder Studie/Serie eines Patienten werden gewechselt). Dann „springt“ auch der Marker zurück auf die vorherige Darstellung bzw. der Marker wechselt sozusagen mit dem jeweiligen Bildinhalt. Diese Status−Information bzw. Layout−Information wird auf dem Remote−Computer RC durch eine Applikation oder eine Prozessor-Komponente bereitgestellt, die entweder in die eigentliche Remote-Client-Applikation rca integriert oder dort ebenfalls als externer Beobachter−Prozess gestartet wird.
-
Das Statusinformationsmodul sim kann separat als zusätzliches Modul auf dem Remote Client RC bereitgestellt werden. Alternativ kann das Statusinformationsmodul sim auch in die Remote-Client-Applikation rca integriert sein.
-
Ebenso kann der Warnsignalgeber wsg als externes, separates Modul auf dem Remote Client RC ausgebildet sein oder er kann alternativ in die Remote-Client-Applikation rca integriert sein.
-
Im Folgenden wird unter Bezugnahme auf 2 das Verfahren gemäß einem Ausführungsbeispiel näher beschrieben.
-
Das Verfahren umfasst mehrere Verfahrensschritte.
-
In einem ersten Schritt wird die Bildschirmdarstellung gerendert. Dies ist in 2 mit dem Bezugszeichen 10 gekennzeichnet. Die Bildschirmdarstellung umfasst eine Bildfolge. Dies geschieht üblicherweise auf dem Server S. Der Server S definiert in diesem Zusammenhang, wie die Bildfolge darzustellen ist und legt somit eine SOLL-Bildfolge fest.
-
Daraufhin werden im Schritt 12 Markersignale erzeugt. Jedes Bild der Bildfolge wird dabei eineindeutig einem Marker einer Markerfolge zugeordnet. Vorzugsweise werden die Marker direkt in die Bildschirmdarstellung integriert. Eine Folge von Bildern entspricht somit auf eineindeutige Weise einer Folge von Markern, vorzugsweise grafisch repräsentierten Markern. Vorzugsweise sind die Marker unlösbar mit den jeweiligen Bildern verbunden. Gemäß einem Aspekt der Erfindung werden also nicht nur die Steuersignale für die Bilddarstellung an den Remote Client RC übertragen, sondern es wird ein Datenpaket erzeugt, das zusätzlich zu den Bildaufbausteuersignalen noch Markersignale enthält. Diese werden für jedes Bild der Bildfolge erzeugt.
-
In Schritt 14 werden Ausgabesignale erzeugt, die zum Zeichnen (Rendern) der jeweiligen Bildschirmdarstellung dienen. Gemäß einem Aspekt umfasst die Bildschirmdarstellung eine Folge von Bildern. Andernfalls kann auch ein Bild der Bildfolge jeweils eine einzelne Bildschirmdarstellung repräsentieren. In diesem Fall wird das Verfahren iterativ für jede erneute Bildschirmdarstellung (für jedes Bild der Bildfolge) ausgeführt. Die Ausgabesignale dienen zur Darstellung auf dem Remote-Client-Monitor rcm. Die Ausgabesignale umfassen die Markersignale und damit auch eine Repräsentation der SOLL-Bildfolge.
-
In Schritt 16 werden die Ausgabesignale zum Bildschirmaufbau an den Remote Client RC transportiert. Dies kann beispielsweise mit einer paketweisen Datenübertragung erfolgen.
-
Daraufhin empfängt der Remote Client RC die Ausgabesignale in Schritt 18. Dies erfolgt vorzugsweise mittels der Remote-Client-Applikation rca.
-
Daraufhin kann/können in Schritt 20 die Bildschirmdarstellung(en) berechnet werden, um die Bildfolge auf dem Remote-Client-Monitor rcm darzustellen.
-
Nach Darstellung der Bildschirmfolge auf dem Remote-Client-Monitor rcm wird die IST-Bildfolge erfasst und an das Überwachungs- oder Observermodul om weitergeleitet.
-
Alternativ kann in einem zusätzlichen Schritt 21 noch ein Status- und Informationsmodul sim abgefragt werden, um Status und Layout-Informationen in Bezug auf das Rendern bzw. auf den Monitor und/oder darauf bezogene User-Interkationen zu erfassen. Dieser Schritt bezieht sich auf die Verarbeitung von Layout- und Interaktionssignalen des Remote-Client-Computers und die Weiterleitung der dabei erfassten Signale an das Observermodul om zum Zwecke der Überwachung. Damit können Interaktionssignale des Anwenders auf dem Remote Client RC oder weitere Signale, die für die Bildschirmdarstellung relevant sind (z.B. Bildwiederhol-Rate des Monitors etc.) bei der Bildschirmdarstellung berücksichtigt werden.
-
In Schritt 22 erfolgt das Überwachen und/oder Steuern der Bildschirmdarstellung auf dem Remote-Client-Monitor rcm. Hier erfolgt insbesondere das Überwachen auf Vollständigkeit der dargestellten Bildfolge. Dies geschieht auf Basis der transferierten Markersignale, die aus den empfangenen Ausgabesignalen extrahiert werden können. Das Observermodul om kann die IST-Bildfolge mit der SOLL-Bildfolge auf Übereinstimmung vergleichen.
-
Falls keine vollständige Übereinstimmung vorliegt oder anderweitige Fehler festgestellt werden konnten, erfolgt in Schritt 24 die Ausgabe eines Warnsignals durch den Warnsignalgeber wsg auf Seiten des Remote Clients RC.
-
Im Anschluss an Schritt 24 endet das Verfahren oder wird erneut ausgeführt.
-
Es ist wesentlich, dass alle Schritte des Verfahrens automatisch und ohne User-Interkation ausgeführt werden. Damit kann die Sicherheit der Überwachung erhöht werden; des Weiteren können Manipulationen durch manuelle Eingriffe ausgeschlossen werden.
-
Wie vorstehend mehrfach beschrieben umfasst die Bildschirmdarstellung eine Folge von Bildern. Dazu kann die Bildschirmdarstellung iterativ für alle einzelnen Bilder der Bildfolge berechnet werden. Dementsprechend wird auch eine Folge von Ausgabesignalen an den Remote Client RC weitergeleitet. Alternativ können die einzelnen Bildschirmdarstellungen, die sich aus der Darstellung der Bildfolge ergeben, auch zu einem Bildschirmdarstellungspaket zusammengefasst werden, das dann gesammelt an den Remote Client RC übertragen wird.
-
Vorzugsweise werden die Schritte 10, 12, 14 und 16 auf dem zentralen Server S ausgeführt, während die restlichen Schritte 18 bis 24 auf dem Remote Client RC ausgeführt werden.
-
Zusammenfassend lässt sich die Erfindung beschreiben als eine Überwachung der Bildschirmfolgerate bei der Darstellung von Bildphasen auf einem Remote Client RC auf Vollständigkeit, indem für jede Bildphase oder für jedes Bild der Bildfolge ein optischer Marker in einen Markerbereich rechts unten in das Bild eingebettet wird und an den Remote Client RC zum Zwecke der Überwachung übersandt werden. Die Renderingsignale, die als Ausgabesignale in einen Framebuffer oder in eine Speicherbereich der Grafikkarte geschrieben und von dort ausgelesen werden, umfassen somit zusätzlich die Markersignale, die dann auf dem Remote Client zur Überwachung der dargestellten Bildfolge verwendet werden.
-
Abschließend sei darauf hingewiesen, dass einzelne Module auch als Software und Hardwaremodule und die Ausführungsbeispiele grundsätzlich nicht einschränkend in Hinblick auf eine bestimmte physikalische Realisierung der Erfindung zu verstehen sind. Für einen einschlägigen Fachmann ist es insbesondere offensichtlich, dass die Erfindung teilweise oder vollständig in Soft- und/oder Hardware und/oder auf mehrere physikalische Produkte – dabei insbesondere auch Computerprogrammprodukte – verteilt realisiert werden kann.
