-
Die Erfindung betrifft ein Verfahren zur Übertragung digitaler Bilder aus einer Bilderfolge sowie ein entsprechendes System zur Übertragung digitaler Bilder und einen entsprechenden Client zur Verwendung in einem System zur Übertragung digitaler Bilder.
-
Für eine Vielzahl von Anwendungen ist es wünschenswert, Bilder aus einer Bilderfolge, die auf einem entfernten Server gespeichert sind, auf einem Client anzuzeigen. Zum Beispiel werden im medizinischen Bereich oftmals Bilderfolgen in der Form von aufeinander folgenden Schnittbildern des menschlichen oder tierischen Körpers auf einem Client wiedergegeben, der hierzu die Bilder von einem entfernten Server anfordert. Im Gegensatz zum herkömmlichen Video-Streaming ist dabei nicht bekannt, in welcher Reihenfolge ein Benutzer (z.B. ein Radiologe) die Bilder am Client betrachtet. Dabei kann es unter Umständen zu einer unerwünschten Verzögerung der Bildanzeige kommen, sofern der Benutzer über den Client Bilder anfordert, die vorab noch nicht vom Server zum Client übertragen wurden.
-
Aus dem Stand der Technik ist bekannt, dass bei der Wiedergabe von Bilddaten und insbesondere medizinischen Bilddaten der gesamte Datensatz der Bilder vom Server auf den Client heruntergeladen wird, bevor die Bilder zur Anzeige gebracht werden. Dies führt jedoch zu einem hohen Zeitverzug, bis mit dem Betrachten der Bilder begonnen werden kann.
-
Aus dem Stand der Technik ist ferner ein serverseitiges Streaming von Bilddaten bekannt, bei dem ein Benutzer an einem Client den von ihn gewünschten Abschnitt eines Videos spezifiziert. Diese Information wird an den Server gegeben, der dann die entsprechenden Bilddaten an den Client streamt.
-
Der Nachteil dieses Verfahrens ist, dass im Falle, dass der Benutzer den Wiedergabepunkt im Videostrom verändert, eine zeitliche Verzögerung auftritt, bis der Videostrom ausgehend von dem neuen Wiedergabepunkt angezeigt wird. Ferner werden die am Client wiedergegebenen Bilder nach deren Anzeige verworfen, so dass bei einer Unterbrechung der Verbindung zum Server keine Navigation in den Bilddaten mehr möglich ist.
-
Aus dem Stand der Technik ist ferner ein adaptives Streaming von Bilddaten bekannt. Ein solches Streaming ist z.B. im Standard MPEG-DASH beschrieben. In dem Dokument
Sodagar, "The MPEG-DASH Standard for Multimedia Streaming Over the Internet", in IEEE MultiMedia, Vol. 18, No. 4, Seiten 62–67, April 2011, wird in Bezug auf den Standard MPEG-DASH (MPEG – Motion Picture Expert Group, DASH – Dynamic Adaptive Streaming over HTTP, HTTP – Hypertext Transfer Protocol) erläutert, dass mit einem adaptiven Streaming die Bildqualität der von einem Server an einen Client gestreamten Bilder in Abhängigkeit von der Übertragungsrate zwischen Server und Client geeignet angepasst werden kann. Hierzu liegen die Bilder im Server in unterschiedlichen Qualitäten vor, und bei einer Abnahme der Datenrate werden die Bilder mit niedrigerer Qualität übermittelt. Dabei wird jedoch nicht sichergestellt, dass in der Bilderfolge ohne zeitliche Verzögerung zwischen verschiedenen Wiedergabepunkten, ggf. mit einer Veränderung der Bildqualität, navigiert werden kann.
-
Aufgabe der Erfindung ist es deshalb, ein Verfahren zur Übertragung digitaler Bilder von einem Server zu einem Client zu schaffen, bei dem in den Bildern auf Seiten des Clients einfach und schnell navigiert werden kann.
-
Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.
-
Das erfindungsgemäße Verfahren dient zur Übertragung digitaler Bilder aus einer Bilderfolge, für welche eine Bildreihenfolge der Bilder vorgegeben ist. Die Bildreihenfolge kann beim herkömmlichen Videostreaming der zeitlichen Wiedergaberichtung des Videostroms entsprechen. Ebenso kann die Bildreihenfolge eine räumliche Richtung darstellen, wie weiter unten in Bezug auf medizinische Bilddaten beschrieben wird. Die Bilderfolge ist in der Form von Segmenten auf einem Server hinterlegt, wobei ein jeweiliges Segment ein oder mehrere Bilder umfasst, die gemäß der Bildreihenfolge benachbart zueinander sind. Ein Client fordert Bilder aus der Bilderfolge basierend auf den Segmenten bei dem Server an, der daraufhin die Bilder aus den angeforderten Segmenten zumindest teilweise zu dem Client übermittelt, in dem die Bilder in einem Puffer gespeichert und zumindest zum Teil wiedergegeben werden.
-
Im Rahmen des erfindungsgemäßen Verfahrens prüft der Client zum Zeitpunkt der Wiedergabe eines aktuellen Bildes (d.h. während der aktuellen Wiedergabe eines entsprechenden Bildes) das Anfordern von weiteren Bildern aus der Bilderfolge vom Server basierend auf einer vorgegebenen Prioritätsregel, wobei der Client im Rahmen der Prüfung des Anfordern eines jeweiligen weiteren Bildes ein Segment anfordert, welches das jeweilige weitere Bild umfasst, falls das weitere Bild nicht im Puffer vorhanden ist. Die Prüfung des Anforderns eines weiteren Bildes umfasst somit auch den Schritt des tastsächlichen Anforderns, sofern das Bild nicht im Puffer des Clients vorhanden ist.
-
Das erfindungsgemäße Verfahren zeichnet sich durch die spezielle Ausgestaltung der vorgegebenen Prioritätsregel aus. Gemäß der vorgegebenen Prioritätsregel wird durch den Client zunächst (d.h. zu Beginn der Wiedergabe des aktuellen Bildes) das Anfordern von weiteren Bildern geprüft, welche sowohl in Richtung der Bildreihenfolge als auch entgegen der Richtung der Bildreihenfolge auf das aktuelle Bild folgen. Insbesondere sind diese Bilder dabei Bilder, welche unmittelbar sowohl in Richtung der Bildreihenfolge als auch entgegen der Richtung der Bildreihenfolge benachbart zum aktuellen Bild sind. Alternativ oder zusätzlich zeichnet sich die vorgegebene Prioritätsregel dadurch aus, dass zunächst das Anfordern zumindest eines weiteren Bildes geprüft wird, welches dem aktuellen Bild in einer höheren Bildqualität als die des aktuellen Bildes entspricht. Erfolgt die Prüfung des Anforderns basierend auf beiden der soeben genannten Varianten der Prioritätsregel, wird diese Prüfung zunächst basierend auf beiden Varianten in beliebiger Reihenfolge der Varianten untereinander durchgeführt, bevor auch abweichend von diesen Varianten das Anfordern von Bildern geprüft wird.
-
Das erfindungsgemäße Verfahren weist den Vorteil auf, dass bei einer Navigation auf Seiten des Clients in oder entgegen der Bildreihenfolge bzw. hin zu einer höheren Bildqualität des aktuellen Bildes keine zeitliche Verzögerung bei der Bildwiedergabe auftritt. Das Verfahren eignet sich somit insbesondere zur Anzeige von Bilddaten, bei denen keine präferierte Richtung der Bildwiedergabe existiert, wie dies beispielsweise bei der Anzeige von medizinischen Bildern der Fall ist.
-
Die erfindungsgemäße Prioritätsregel muss nicht unbedingt zu jedem Zeitpunkt der Wiedergabe eines aktuellen Bildes verwendet werden. Vorzugsweise kommt die vorgegebene Prioritätsregel immer dann zum Einsatz, wenn die Übertragung der digitalen Bilder gerade startet, d.h. wenn sich in dem Puffer des Client noch keine Bilder befinden. Es können verschiedene Kriterien festgelegt werden, unter welchen Bedingungen die vorgegebene Prioritätsregel bei der Wiedergabe eines aktuellen Bildes verwendet wird. Es besteht natürlich auch die Möglichkeit, dass bei jeder Wiedergabe eines aktuellen Bildes die vorgegebene Prioritätsregel zum Einsatz kommt.
-
Der obige Begriff der Bildqualität ist weit zu verstehen und kann sich auf beliebige Qualitätskriterien im Hinblick auf ein einzelnes Bild beziehen. Insbesondere kann die Bildqualität derart definiert sein, dass sie mit einer höheren Pixelgenauigkeit des Bildes (z.B. aufgrund einer besseren Quantisierung, d.h. einer Quantisierung mit kleiner Schrittweiten) zunimmt und/oder dass sie aufgrund einer höheren örtlichen Auflösung des Bildes (d.h. mehr Pixel pro Bild) zunimmt und/oder dass sie mit einer höheren Bittiefe (d.h. mehr Bits pro Pixel) zunimmt.
-
In einer besonders bevorzugten Ausführungsform werden vorgegebene gleiche Bildinhalte jeweils durch mehrere Segmente mit verschiedenen Bildqualitäten beschrieben, wobei sich die mehreren Segmente in der Bildqualität der darin enthaltenen Bilder unterscheiden.
-
In einer besonders bevorzugten Variante umfassen die Segmente, die vom Server zum Client übermittelt werden, codierte Bilder, welche beim Client zur Anzeige decodiert werden.
-
In einer weiteren Ausführungsform sind die Segmente mit den verschiedenen Bildqualitäten mit unterschiedlichen Codierverfahren und/oder verschiedenen Qualitätsstufen des gleichen Codierverfahrens codiert. Die unterschiedlichen Codierverfahren können z.B. H.264 und/oder H.265 und/oder JPEG-LS und/oder JPEG-Lossless umfassen (JPEG – Joint Picture Expert Group, LS – Lossless / verlustfrei). JPEG-LS bezeichnet einen Standard ITU-T T.87. Die verschiedenen Qualitätsstufen des gleichen Codierverfahrens können sich auf Layer bzw. Schichten einer skalierbaren Videocodierung beziehen, insbesondere auf Layer von H.264-SVC und/oder Layer von H.265-SHVC (SVC – Scalable Video Coding, SHVC – scalierbare Erweiterung von HEVC, HEVC – High Efficiency Video Coding). HEVC ist auch als H.265 bekannt.
-
Im Falle, dass die zum Client übermittelten Segmente codierte Bilder umfassen, werden diese Bilder bei einer Variante der Erfindung zumindest zum Teil in decodierter Form in dem Puffer im Client gespeichert, d.h. die Bilder werden vor der Speicherung in dem Puffer decodiert. Ggf. werden alle übermittelten Bilder in decodierter Form in dem Puffer gespeichert. Hierdurch wird eine mehrfache Decodierung von Bildern bei wiederholter Anzeige vermieden.
-
Zur Übertragung der digitalen Bilder wird in einer bevorzugten Variante des erfindungsgemäßen Verfahrens der eingangs erwähnte Standard MPEG-DASH verwendet.
-
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird die vorgegebene Prioritätsregel in Abhängigkeit von vorbestimmten Ereignissen verändert. Je nach Ausgestaltung kann die veränderte Prioritätsregel weiterhin die oben definierten Eigenschaften der vorgegebenen Prioritätsregel aufweisen oder ggf. auch davon abweichen.
-
In einer Variante des erfindungsgemäßen Verfahrens wird die vorgegebene Prioritätsregel in Abhängigkeit von der Datenrate der Übertragung vom Server zum Client verändert, wobei die Veränderung der Prioritätsregel derart ausgestaltet ist, dass der Client bei höheren Datenraten Bilder mit höherer Bildqualität als bei niedrigeren Datenraten anfordert. Auf diese Weise erfolgt eine adaptive Anpassung der Bildqualität an die vorhandene Datenrate. Alternativ oder zusätzlich kann die vorgegebene Prioritätsregel durch einen am Client eingegebenen Benutzerbefehl zur Veränderung der vorgegebenen Prioritätsregel verändert werden. Mit anderen Worten kann die Prioritätsregel in diesem Fall unmittelbar durch eine Benutzerinteraktion angepasst werden.
-
In einer weiteren Variante des erfindungsgemäßen Verfahrens wird vom Client eine Navigationsrichtung basierend auf der Bewegung der aktuellen Bilder in Richtung oder entgegen der Richtung der Bildreihenfolge ermittelt, wobei gemäß der vorgegebenen Prioritätsregel und/oder gemäß der veränderten Prioritätsregel der Client ausgehend von dem aktuell wiedergegebenen Bild solche weiteren Bilder, welche in der Navigationsrichtung auf das aktuelle Bild folgen, bevorzugt gegenüber solchen weiteren Bildern anfordert, welche entgegen der Navigationsrichtung auf das aktuelle Bild folgen. Auf diese Weise wird berücksichtigt, in welcher Richtung wahrscheinlich weitere Bilder am Client angezeigt werden, so dass diese Bilder bevorzugt vom Server bezogen werden.
-
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens spezifiziert die vorgegebenen Prioritätsregel und/oder die oben definierte veränderte Prioritätsregel, dass für bestimmte, durch den Client angeforderte Segmente nur ein Teil der darin enthaltenen Bilder vom Server an den Client übertragen werden. Auf diese Weise kann auch die Auflösung der Bilder basierend auf der Richtung der Bildreihenfolge angepasst werden.
-
Wie bereits oben erwähnt, umfasst die Bilderfolge vorzugsweise digitale medizinische Bilder. Diese Bilder stellen Schnitte eines menschlichen oder tierischen Körpers dar, die in einer räumlichen Richtung aufeinander folgen, wobei die räumliche Richtung der oben definierten Bildreihenfolge entspricht.
-
Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner ein System aus Server und Client zu Übertragung digitaler Bilder aus einer Bilderfolge, für welche eine Bildreihenfolge der Bilder vorgegeben ist, wobei die Bilderfolge in der Form von Segmenten auf dem Server hinterlegt ist und ein jeweiliges Segment ein oder mehrere Bilder umfasst, die gemäß der Bildreihenfolge benachbart sind.
-
In diesem System umfasst der Client folgende Komponenten:
- – ein Anforderungsmittel, um Bilder basierend auf den Segmenten bei dem Server anzufordern;
- – einen Puffer zur Speicherung von Bildern aus der Bilderfolge;
- – ein Wiedergabemittel zur Wiedergabe zumindest eines Teils der Bilder aus dem Puffer.
-
Demgegenüber fasst der Server des Übertragungssystems:
- – einen Speicher, in dem die hinterlegten Bilder gespeichert sind;
- – ein Sendemittel, um die Bilder aus den vom Client angeforderten Segmenten zumindest teilweise zu dem Client zu übermitteln.
-
Das Anforderungsmittel des Clients ist dabei derart ausgestaltet, dass:
- – das Anforderungsmittel zum Zeitpunkt der Wiedergabe eines aktuellen Bildes durch das Wiedergabemittel das Anfordern von weiteren Bildern vom Server basierend auf einer vorgegebenen Prioritätsregel prüft, wobei das Anforderungsmittel im Rahmen der Prüfung eines jeweiligen weiteren Bildes ein Segment anfordert, welche das jeweilige weitere Bild umfasst, falls das jeweilige weitere Bild nicht im Puffer vorhanden ist;
- – wobei die Prioritätsregel derart ausgestaltet ist, dass zunächst das Anfordern von weiteren Bilder geprüft wird, welche sowohl in Richtung der Bildreihenfolge als auch entgegen der Richtung der Bildreihenfolge auf das aktuelle Bild folgen, und/oder zunächst das Anfordern zumindest eines weiteren Bildes geprüft wird, welches dem aktuellen Bild in einer höheren Bildqualität als die des aktuellen Bildes entspricht.
-
Das erfindungsgemäße Übertragungssystem ist vorzugsweise derart ausgestaltet, dass eine oder mehrere bevorzugte Varianten des erfindungsgemäßen Verfahrens mit dem Übertragungssystem durchführbar sind.
-
Die Erfindung betrifft darüber hinaus einen Client, d.h. einen als Client fungierenden Rechner, zur Verwendung in einem System zur Übertragung digitaler Bilder aus einer Bilderfolge, für welche eine Bildreihenfolge der Bilder vorgegeben ist, wobei die Bilderfolge in der Form von Segmenten auf einem Server hinterlegt ist und ein jeweiliges Segment einen oder mehrere Bilder umfasst, die gemäß der Bildreihenfolge benachbart sind. Dieser Client umfasst:
- – ein Anforderungsmittel, um Bilder basierend auf den Segmenten bei dem Server anzufordern und hierdurch den Server zu veranlassen, die Bilder aus den angeforderten Segmenten zumindest teilweise zu dem Client zu übermitteln;
- – einen Puffer zur Speicherung von Bildern aus der Bilderfolge;
- – ein Wiedergabemittel zur Wiedergabe zumindest eines Teils der Bilder aus dem Puffer.
-
Das Anforderungsmittel des Clients ist dabei derart ausgestaltet, dass:
- – das Anforderungsmittel zum Zeitpunkt der Wiedergabe eines aktuellen Bildes durch das Wiedergabemittel das Anfordern von weiteren Bildern vom Server basierend auf einer vorgegebenen Prioritätsregel prüft, wobei das Anforderungsmittel im Rahmen der Prüfung eines jeweiligen weiteren Bildes ein Segment anfordert, welche das jeweilige weitere Bild umfasst, falls das jeweilige weitere Bild nicht im Puffer vorhanden ist;
- – wobei die Prioritätsregel derart ausgestaltet ist, dass zunächst das Anfordern von weiteren Bilder geprüft wird, welche sowohl in Richtung der Bildreihenfolge als auch entgegen der Richtung der Bildreihenfolge auf das aktuelle Bild folgen, und/oder zunächst das Anfordern zumindest eines weiteren Bildes geprüft wird, welches dem aktuellen Bild in einer höheren Bildqualität als die des aktuellen Bildes entspricht.
-
Der erfindungsgemäße Client ist vorzugsweise zur Verwendung in einer oder mehreren bevorzugten Varianten des erfindungsgemäßen Verfahrens zur Übertragung von digitalen Bildern vorgesehen. Mit anderen Worten kann der Client die Merkmale von bevorzugten Varianten des erfindungsgemäßen Verfahrens in der Form von korrespondierenden Vorrichtungsmerkmalen enthalten, sofern sich die Merkmale auf den Client beziehen.
-
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
-
Es zeigen:
-
1 ein Beispiel der in einem Server hinterlegten Segmente zur Durchführung eines adaptiven Streamings gemäß dem Stand der Technik;
-
2 ein Beispiel der in einem Client empfangenen Segmente basierend auf einem adaptiven Streaming gemäß dem Stand der Technik;
-
3 eine schematische Darstellung der in einem Server hinterlegten Segmente zur Durchführung einer Ausführungsform des erfindungsgemäßen Verfahrens;
-
4 eine schematische Darstellung eines Übertragungssystems, mit dem eine Variante des erfindungsgemäßen Verfahrens durchgeführt wird;
-
5 und 6 weitere Beispiele von in einem Server hinterlegten Segmenten zur Ausführung von Varianten des erfindungsgemäßen Verfahrens; und
-
7 eine schematische Darstellung der Momentaufnahme eines Puffers eines Client in einer Ausführungsform des erfindungsgemäßen Übertragungssystems.
-
Bevor eine Ausführungsform des erfindungsgemäßen Verfahrens im Detail erläutert wird, wird zunächst ein herkömmliches adaptives Streaming von Videodaten beschrieben. Das Streaming erfolgt dabei über HTTP und beruht auf dem Standard MPEG-DASH, der auch in Kombination mit dem erfindungsgemäßen Verfahren eingesetzt werden kann. Dieser Standard legt unter anderem Formate für zu übertragende Segmente aus Bildern fest, definiert jedoch nicht, in welcher Reihenfolge die Segmente von einem Server zu einem Client übermittelt werden.
-
1 zeigt ein Diagramm, das auszugsweise die Organisation von Videodaten wiedergibt, die auf einem Server gespeichert sind, von dem die Videodaten durch einen Client angefordert und heruntergeladen werden. Durch die horizontale Achse T ist dabei die Zeitrichtung angedeutet, in der das entsprechende Video abgespielt wird. Die einzelnen Bilder des Videos sind durch Balken angedeutet. Die Bilder sind dabei codiert, wobei weiße Balken B inter-codierte Bilder und schraffierte Balken B' intra-codierte Bilder darstellen. Aus Übersichtlichkeitsgründen sind nicht alle Balken mit den genannten Bezugszeichen versehen. Über entsprechende horizontale Pfeile sind die Abhängigkeiten zwischen den codierten Bildern angedeutet. Das heißt, ein Bild, bei dem ein entsprechender Pfeil endet, benötigt zur Decodierung das Bild, an dem der Pfeil beginnt.
-
Die Bilder sind in mehrere Segmente zusammengefasst, wobei es in einer entsprechenden Zeitspanne T0, T1 bzw. T2 jeweils übereinander liegende Segmente SG0, SG1 und SG2 gibt. Die übereinander liegenden Segmente betreffen den gleichen Bildinhalt, codieren diesen jedoch mit verschiedener Bildqualität. Q0 bezeichnet dabei eine niedrige Bildqualität, Q1 eine mittlere Bildqualität und Q2 eine hohe Bildqualität. Der Index der Segmente bezieht sich somit auf die Bildqualität. Der Begriff der Bildqualität wurde bereits oben definiert und kann insbesondere eine höhere Pixelgenauigkeit, eine höhere örtliche Auflösung bzw. eine höhere Bittiefe des jeweiligen Bildes betreffen. Eine höhere Bildqualität bedingt eine größere Datenmenge pro Bild, was in 1 durch eine größere Dicke der die Bilder repräsentierenden Balken in den unterschiedlichen Qualitätsstufen Q0, Q1 und Q2 angedeutet ist. Die soeben erläuterten Bezeichnungen SG0, SG1 und SG2 für die Segmente der unterschiedlichen Qualitätsstufen Q0, Q1 und Q2 sowie die Bezeichnungen B bzw. B' für inter-codierte bzw. intra-codierte Bilder werden in den nachfolgend beschriebenen 3 beibehalten.
-
Im Rahmen des adaptiven Streamings hat ein Client die Möglichkeit, in Abhängigkeit von der verfügbaren Datenrate auf der Übertragungsstrecke zwischen Server und Client die entsprechenden Segmente variabel in verschiedenen der drei Qualitätsstufen Q0, Q1 und Q2 beim Server anzufordern. Dies wird anhand von 2 verdeutlicht. Diese Figur zeigt beispielhaft die Übertragung von drei Segmenten aus 1 von einem Server zu einem Client. Zur Zeitspanne T0 wird dabei das Segment SG1 mit der mittleren Qualität Q1 übermittelt. In der Zeitperiode T2 liegt eine besonders hohe Datenrate vor, so dass die Qualität der übertragenen Bilder erhöht wird und somit das Segment SG2 mit höchster Qualität übermittelt wird. Demgegenüber fällt zur Zeitspanne T2 die Datenrate deutlich ab, so dass in dieser Zeitspanne das Segment SG0 mit der niedrigsten Qualitätsstufe übermittelt wird.
-
Das Anfordern bzw. das Übermitteln der in 2 dargestellten Segmente erfolgt mit einem zeitlichen Vorlauf vor der Wiedergabe der Segmente. Dieser zeitliche Vorlauf wird benötigt, damit die Bilder der Segmente rechtzeitig vor ihrer Wiedergabe beim Client decodiert werden können und es somit nicht zu Zeitverzögerungen und einem Einfrieren von Videobildern kommt. Die Wiedergabe der Bilder kann ferner im Client durch einen Benutzer gesteuert werden, d.h. der Benutzer kann den Wiedergabepunkt bzw. die Anzeigestelle im Video ändern, woraufhin das Streaming der Videodaten von der gewünschten Anzeigestelle aus startet und die entsprechenden Segmente der Videodaten ausgehend von der Anzeigestelle heruntergeladen und beim Client gepuffert werden.
-
Das soeben beschriebene adaptive Videostreaming ermöglicht zwar eine Anpassung der Bildqualität der vom Client empfangenen Bilder, jedoch können Bilder ausgehend von dem aktuellen Wiedergabepunkt nicht sowohl in als auch entgegengesetzt zur Zeitrichtung des Videostroms bzw. in mehreren Qualitätsstufen für die gleichen Bildinhalte vom Server bezogen werden.
-
3 zeigt schematisch die Organisation von Segmenten in einem Server, wobei die Segmente basierend auf einer Ausführungsform des erfindungsgemäßen Verfahrens an den Client übermittelt werden. Die Organisation und der Aufbau der Segmente entsprechen dabei dem Beispiel der 1, mit dem einzigen Unterschied, dass es sich bei den dargestellten Bildern nicht um einen zeitlich voranschreitenden Videostrom handelt, sondern um medizinische Schnittbilder, welche z.B. über einen Computertomographen aufgenommen wurden. Die Schnittbilder sind dabei zweidimensionale Schnitte durch einen menschlichen Körper, die senkrecht zu einer vorgegebenen Raumrichtung im Körper (oftmals auch als z-Richtung bezeichnet) für aufeinander folgende Positionen entlang dieser Raumrichtung durchgeführt wurden. Demzufolge beziehen sich die Segmente nunmehr nicht mehr auf Zeitspannen T0, T1 und T2, sondern auf entsprechende räumliche Distanzen Z0, Z1 und Z2. Die vorgegebene Raumrichtung schreitet entlang der Achse BR fort, wobei diese Achse einer vorgegebenen Bildreihenfolge im Sinne der Patentansprüche entspricht. Die Definition dieser Bildreihenfolge ist dabei willkürlich bzw. stellt keine präferierte Richtung der Bildwiedergabe dar. Insbesondere kann sich ein Benutzer die Bilder beliebig sowohl in der Bildreihenfolge als auch entgegen der Bildreihenfolge wiedergeben lassen.
-
Im Gegensatz zu herkömmlichen Videodaten ist es für einen Benutzer bei der Anzeige von medizinischen Bildern besonders wichtig, dass dieser schnell zwischen unterschiedlichen Bildern und unterschiedlichen Qualitätsstufen der Bilder navigieren kann, um hierdurch z.B. die Diagnose von Krankheiten durchzuführen. Um dabei die Anzeige der gestreamten Bilder möglichst ohne Zeitverzögerung für den Benutzer zu gewährleisten, werden die Bilder basierend auf der nachfolgend beschriebenen Prioritätsregel bzw. Prioritätsreihenfolge durch den Client beim Server angefordert.
-
In einem ersten Schritt wird ausgehend von dem durch den Benutzer ausgewählten Wiedergabepunkt (d.h. einem gewünschten Schnittbild entlang der Achse BR) das entsprechende Segment mit diesem Schnittbild vom Server angefordert. Vorzugsweise wird dabei zunächst das Segment mit der niedrigsten Qualitätsstufe übertragen, um schnell die Anzeige des Bildes zu ermöglichen. Das übertragene Segment wird in an sich bekannter Weise decodiert und auf einer entsprechenden Anzeigeeinrichtung bzw. einem Display am Client wiedergegeben. Während der Wiedergabe des Bildes werden nunmehr – im Unterschied zum oben beschriebenen herkömmlichen Videostreaming – Bilder sowohl in Richtung der Bildreihenfolge BR als auch entgegen dieser Reihenfolge vom Server angefordert. Beispielsweise kann die Prioritätsreihenfolge wie folgt definiert sein:
- – mit höchster Priorität werden zum aktuell angezeigten Bild unmittelbar benachbarte Bilder sowohl in als auch entgegen der Bildreihenfolge (d.h. Nachbarbilder) bezogen;
- – mit der nächstniedrigen Priorität werden Bilder bezogen, welche Nachbarn von den gemäß der höchsten Priorität bezogenen Nachbarbildern sind (d.h. Nachbarn zu Nachbarbildern);
- – mit der nächstniedrigen Priorität wird das aktuell angezeigte Bild in einer höheren Qualitätsstufe bezogen;
- – mit der nächstniedrigen Priorität werden weitere Nachbarbilder mit noch größerem Abstand von dem aktuell angezeigten Bild bezogen.
-
Die Prioritätsreihenfolge kann in geeigneter Weise fortgesetzt werden. Ggf. kann die obige Prioritätsreihenfolge auch derart gewandelt werden, dass mit höchster Priorität zunächst die Bildqualität des aktuell angezeigten Bildes verbessert wird, d.h. Segmente mit dem gleichen Bildinhalt des Segments des aktuell angezeigten Bildes, jedoch mit höherer Bildqualität, werden als erstes beim Server angefordert.
-
In einem nächsten Schritt werden für die gemäß der Prioritätsreihenfolge zu beziehenden Bilder die Abhängigkeiten zu anderen Bildern ermittelt. Insbesondere kann der Fall auftreten, dass die Decodierung des zu beziehenden Bildes von anderen Bildern abhängt. Ist dies der Fall, werden diese anderen Bilder bei der Übertragung des entsprechenden Segments zuerst übermittelt. Anschließend erfolgt dann basierend auf der definierten Prioritätsreihenfolge unter Berücksichtigung der Decodierabhängigkeit das Herunterladen der Segmente. Dabei können bestimmte Segmente bereits im Puffer des Clients vorliegen, weil sie z.B. bei einem anderen Wiedergabepunkt bereits vom Server bezogen wurden. Solche Segmente werden nicht nochmals angefordert.
-
Sobald ein Benutzer seinen Wiedergabepunkt in den Bilddaten ändert, beginnt das soeben beschrieben Verfahren von vorne, d.h. das Bild des aktuellen Wiedergabepunkts wird heruntergeladen und angezeigt, wobei während der Anzeige dieses Bildes der Bezug von weiteren Bildern vom Server basierend auf der Prioritätsreihenfolge erfolgt.
-
Ggf. besteht auch die Möglichkeit, dass die obige Prioritätsreihenfolge verändert wird, z.B. wenn sich die Übertragungsrate zwischen Server und Client ändert. Ebenso kann die Prioritätsreihenfolge z.B. basierend auf einer Benutzerinteraktion angepasst werden. Ferner kann die Prioritätsregel festlegen, dass keine weiteren Bilder bei der aktuellen Wiedergabe bezogen werden, sofern bereits ausreichend viele Bilder aus der Nachbarschaft vorliegen.
-
Im Folgenden wird nochmals ein konkretes Szenario erläutert, wie die in 3 dargestellten Segmente aus medizinischen Bildern durch einen Client bezogen werden können. Zunächst wird ein initialer Wiedergabepunkt durch den Benutzer am Client ausgewählt, d.h. es wird das medizinische Schnittbild ausgewählt, das zuerst anzuzeigen ist. Dieses Bild kann entlang der räumlichen Richtung BR an beliebiger Stelle liegen. Das Bild wird vom Server zum Client übertragen, dort dann decodiert und wiedergegeben. Das Bild kann z.B. zunächst in niedriger Qualität Q0 angefordert werden, um eine schnelle Anzeige zu ermöglichen, wobei anschließend das gleiche Bild in höheren Bildqualitäten (z.B. in der Qualität Q1 oder Q2) bezogen werden kann. Sobald eine höhere Qualität beim Client verfügbar ist, wird dieses Bild decodiert und anstatt des Bildes mit niedrigerer Qualität angezeigt.
-
Falls die Prioritätsreihenfolge derart definiert ist, dass nicht notwendigerweise sofort ein Bild mit höherer Qualität zum aktuell angezeigten Bild benötigt wird, werden stattdessen Bilder um das aktuell wiedergegebene Bild, d.h. die oben beschriebenen Nachbarbilder, heruntergeladen. Dabei werden die Nachbarbilder sowohl in Richtung der Bildreihenfolge BR als auch entgegen dieser Richtung vom Server bezogen. Es wird somit der Tatsache Rechnung getragen, dass nicht vorab bekannt ist, in welcher Richtung sich ein Benutzer weitere Schnittbilder des menschlichen Körpers anschauen will. In der Regel werden zunächst Nachbarbilder bezogen, welche eine niedrige Qualität aufweisen, so dass die Bilder im Falle des Wechsels des Wiedergabepunkts bereits heruntergeladen sind und im Client zur Verfügung stehen. Sobald eine ausreichende Anzahl von Nachbarbildern mit niedriger Qualität auf den Client heruntergeladen wurde, kann der Client ggf. auch Nachbarbilder mit höherer Bildqualität beim Server anfordern.
-
Ggf. kann die oben beschriebene Reihenfolge des Bezugs von Bildern auch verändert werden. Zum Beispiel kann sich eine Veränderung dadurch ergeben, dass im Client erkannt wird, dass der Benutzer in eine vorbestimmte Richtung (d.h. in Richtung der Bildreihenfolge oder entgegen dieser Richtung) navigiert. Wird eine solche Navigationsrichtung festgestellt, kann dies dazu führen, dass ausgehend von dem aktuell angezeigten Bild nur noch Bilder in der Navigationsrichtung vom Server bezogen werden.
-
4 zeigt eine Variante eines Übertragungssystems, in dem das oben beschriebene erfindungsgemäße Verfahren durchgeführt werden kann. Das Übertragungssystem umfasst den Server SE, auf dem die entsprechenden Bilddaten in der Form der oben beschriebenen Segmente SG1, SG2, SG3 usw. vorliegen. Diese Segmente sind in einem Medienspeicher MS abgelegt. Der Server SE umfasst ferner einen Sendemittel SM, welches angeforderte Segmente an einen Client CL überträgt.
-
Der Client fordert die Segmente über Anfragen RE beim Server an. Die Reihenfolge, wie die Segmente angefordert werden, ist dabei durch die oben beschriebene Prioritätsregel gegeben.
-
Zum Anfordern der Segmente umfasst der Client CL ein Anforderungsmittel RM, das die entsprechenden Anfragen RE generiert. Ferner umfasst der Client CL einen Medienpuffer MB, in dem die übermittelten Segmente zwischengespeichert werden. Die im Puffer gespeicherten Segmente werden über ein Wiedergabemittel DM, z.B. auf einem Bildschirm, angezeigt. In dem Wiedergabemittel ist eine Decodiereinheit vorgesehen, welche die in codierter Form im Puffer abgelegten Bilder decodiert. Ggf. besteht auch die Möglichkeit, dass die angeforderten Bilder sofort decodiert und somit in nicht codierter Form in dem Medienpuffer MB abgelegt werden. In diesem Fall wird eine mehrfache Decodierung von Bildern vermieden, sofern das gleiche Bild öfters über das Wiedergabemittel angezeigt wird. In einer weiteren Variante werden die Bilder zunächst in codierter Form in dem Medienpuffer abgelegt. Die Bilder werden dann bei (d.h. kurz vor) der erstmaligen Anzeige decodiert und anschließend in decodierter Form für eine spätere (nochmalige) Anzeige im Medienpuffer vorgehalten/gespeichert.
-
Die Codierung der in 3 gezeigten Segmente mit den unterschiedlichen Qualitäten Q0, Q1 und Q2 kann auf verschiedene Weise erfolgen. Insbesondere können für die einzelnen Qualitäten z.B. unterschiedliche Codierverfahren mit entsprechend verschiedenen Bildqualitäten verwendet werden. Ebenso können die verschiedenen Qualitäten auch Schichten bzw. Layer eines skalierbaren Codierverfahrens darstellen. Darüber hinaus kann die verwendete Codierung in der höchsten Qualität auch eine verlustfreie Codierung sein, so dass keine Bildinformation verloren geht, was insbesondere bei der Wiedergabe von medizinischen Bildern oftmals erwünscht ist.
-
5 und 6 zeigen zwei Varianten, wie die Bilder bzw. Segmente in unterschiedlichen Qualitätsstufen codiert sein können. In 5 entsprechen die Segmente der Qualitätsstufen Q0 und Q1 den Segmenten aus 3. Gemäß 5 sind die Segmente SG0 mit der niedrigsten Qualität Q0 unter Verwendung einer Inter-Bild-Prädiktion basierend auf dem Videocodierstandard H.264 codiert. Demgegenüber sind die Segmente SG1 mit mittlerer Qualität mittels einer Inter-Bild-Prädiktion basierend auf dem Videocodierstandard H.265 codiert. Im Unterschied hierzu wird für die höchste Qualitätsstufe Q2 eine verlustlose Codierung basierend auf dem Kompressionsstandard JPEG-LS verwendet. Die Segmente in der Qualitätsstufe Q2 bestehen immer aus intra-codierten Bildern, wobei die Länge der Segmente unterschiedlich ist. Beispielhaft sind in 5 für die Qualität Q2 Segmente mit zwei Bildern und Segmente mit einem einzelnen Bild dargestellt.
-
6 zeigt eine Variante, bei der die Segmente im Server mit einem skalierbaren Videocodierverfahren codiert sind. Die einzelnen Qualitäten Q0, Q1 und Q2 stellen dabei entsprechende Layer bzw. Schichten des skalierbaren Videocodierverfahrens dar. Bei der skalierbaren Videocodierung besteht dabei eine Abhängigkeit zwischen den Bildern von benachbarten Schichten unterschiedlicher Qualitätsstufen, wie durch die vertikalen Pfeile in 6 angedeutet ist. Als skalierbare Videocodierverfahren können z.B. H.264-SVC oder H.265-SHVC verwendet werden.
-
Wie bereits oben beschrieben, können die Prioritäten beim Bezug der Bilder vom Server ggf. durch den Benutzer angepasst werden. Zum Beispiel können Bilder zunächst mit der niedrigsten Qualität Q0 heruntergeladen werden, bevor diese Bilder dann mit höherer Qualität, z.B. in einem verlustlosen Format, angefordert werden. Ebenso können die Prioritäten ggf. in Abhängigkeit der Bedingungen auf der Übertragungsstrecke zwischen Server und Client angepasst werden. Beispielsweise können bei hoher Datenrate entsprechende Bilder in höherer Qualität bezogen werden, wohingegen bei einer Verschlechterung der Datenrate die Bilder zunächst in schlechterer Qualität heruntergeladen werden.
-
7 zeigt beispielhaft eine Momentaufnahme der im Puffer eines Clients gespeicherten Bilder. Die vordefinierte Bildreihenfolge BR verläuft wiederum von links nach rechts. Der aktuelle Wiedergabepunkt ist durch das Bezugszeichen VP angedeutet, und ein vorhergehender Wiedergabepunkt ist mit dem Bezugszeichen VP' bezeichnet. Darüber hinaus sind noch nicht an den Client übermittelte Bilder gestrichelt wiedergegeben und mit dem Bezugszeichen B'' angedeutet.
-
Die an den Client übermittelten Bilder liegen gemäß 7 in vier Qualitätsstufen vor. Für die Qualitätsstufe Q0 wurde der sog. „Base Layer“ mit niedrigster Auflösung aus dem Standard H.264/AVC verwendet (Auflösung: 256 × 256 Pixel) (AVC-Advanced Video Coding). Demgegenüber wurde für die Qualität Q1 der sog. „Spatial Enhancement Layer“ mit höherer örtlicher Auflösung aus H.264-SVC verwendet (örtliche Auflösung: 512 × 512 Pixel). Für die Qualität Q2 wurde der sog. „Quality Enhancement Layer“ aus H.264-SVC genutzt, bei dem die örtliche Auflösung gegenüber der Qualität Q1 gleich bleibt, jedoch andere Eigenschaften des Bildes in höherer Qualität zur Verfügung stehen. Für die höchste Qualitätsstufe Q3 wurde schließlich eine verlustlose Codierung basierend auf dem Standard JPEG-LS mit einer örtlichen Auflösung von 512 × 512 Pixel eingesetzt.
-
Gemäß der in 7 dargestellten aktuellen Wiedergabe wird gerade ein Bild der höchsten Qualitätsstufe beim Client angezeigt. Während dieser Anzeige werden nunmehr gemäß der vorgegebenen Prioritätsreihenfolge die weiteren Bilder B'' heruntergeladen. Aus 7 ergibt sich ferner, dass ggf. auch die örtliche Auflösung der Bilderfolge bezogen auf die Raumrichtung der Bildreihenfolge BR variiert werden kann. Dies ist für die Qualitäten Q0 und Q1 ersichtlich, bei denen zeitweise nur jedes zweite Bild bezogen auf die Bildreihenfolge BR heruntergeladen wurde.
-
Die im Vorangegangenen beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens weisen eine Reihe von Vorteilen auf. Im Unterschied zu einem Download des gesamten Bilddatensatzes wird durch das Streamen der Bilder eine Bildwiedergabe ohne lange Anfangsverzögerung ermöglicht. Der Benutzer (z.B. ein Arzt) kann sich somit sofort Bilder aus dem von ihm gewünschten Datensatz anzeigen lassen. Darüber hinaus ist es nicht mehr erforderlich, dass der gesamte Datensatz vom Server zum Client übermittelt werden muss, sondern nur noch die Bereiche, die vom Client angefordert werden. Da in der Regel nur relevante Segmente vom Server bezogen und im Client gepuffert werden, nimmt ein Benutzer bei der Navigation in den Bildern keine Verzögerung wahr, was bei einem serverseitigen Streaming nicht der Fall ist.
-
Aufgrund der Pufferung von übermittelten Bildern muss das gleiche Bild nicht zweimal übertragen werden, wenn es nochmals dem Client angezeigt wird. Im Unterschied hierzu werden bei serverseitigen Streaming Segmente nach der Decodierung umgehend verworfen. Aufgrund der Pufferung kann in den Bilddaten auch navigiert werden, wenn die Verbindung zum Server verloren geht, was bei einem serverseitigen Streaming nicht möglich ist.
-
Im Unterschied zum herkömmlichen adaptiven Streaming werden bei der Wiedergabe eines aktuellen Bildes Nachbarbilder sowohl in als auch entgegen einer vorgegebenen Bildreihenfolge bezogen bzw. es wird zum aktuellen Bild eine Version in höherer Bildqualität heruntergeladen. Auf diese Weise wird eine verbesserte und sehr flexible Navigation in den Bilddaten erreicht. Darüber hinaus besteht ggf. auch die Möglichkeit, dass durch die Anpassung der oben beschriebenen Prioritätsregel die Reihenfolge der bezogenen Bilder an unterschiedliche Ereignisse bzw. Umstände angepasst wird, z.B. in Abhängigkeit von einem Benutzerwunsch oder in Abhängigkeit von der Übertragungsrate zwischen Server und Client.
-
Der Client, der Server und/oder jeweilige dazugehörige Mittel des Clients und/oder Servers können in Software, Hardware oder in einer Kombination aus Soft- und Hardware implementiert sein. Das jeweilige Mittel, der Server oder der Client können mit Hilfe eines jeweiligen Prozessors mit einer Speichereinheit zum Ablegen von maschinenlesbaren Befehlen der Software und mit einer Ein-/Ausgabeeinheit zum Austausch von Informationen ausgebildet sein.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Sodagar, “The MPEG-DASH Standard for Multimedia Streaming Over the Internet”, in IEEE MultiMedia, Vol. 18, No. 4, Seiten 62–67, April 2011 [0006]
- Standard ITU-T T.87 [0017]
