DE102005025903A1 - Device for annotating motion pictures in the medical field - Google Patents

Device for annotating motion pictures in the medical field Download PDF

Info

Publication number
DE102005025903A1
DE102005025903A1 DE102005025903A DE102005025903A DE102005025903A1 DE 102005025903 A1 DE102005025903 A1 DE 102005025903A1 DE 102005025903 A DE102005025903 A DE 102005025903A DE 102005025903 A DE102005025903 A DE 102005025903A DE 102005025903 A1 DE102005025903 A1 DE 102005025903A1
Authority
DE
Germany
Prior art keywords
video data
recording
data
annotations
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102005025903A
Other languages
German (de)
Inventor
Michael Wenglein
Andreas Krebs
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FM MEDIVID AG
Original Assignee
FM MEDIVID AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FM MEDIVID AG filed Critical FM MEDIVID AG
Priority to DE102005025903A priority Critical patent/DE102005025903A1/en
Priority to PCT/EP2006/005294 priority patent/WO2006131277A1/en
Publication of DE102005025903A1 publication Critical patent/DE102005025903A1/en
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Abstract

Die vorliegende Erfindung betrifft eine Einrichtung zur Annotierung von Bewegtbildern im medizinischen Bereich, insbesondere zur Befundung, umfassend eine Einleseeinrichtung zum Einlesen von durch ein medizintechnisches Gerät erzeugten, aufgezeichneten Video-Daten und/oder eine Aufzeichnungseinrichtung zum Aufzeichnen von durch ein medizinisches Gerät erzeugten und ausgegebenen Video-Daten, eine Bearbeitungseinrichtung zum Integrieren von Anmerkungen in die Video-Daten, eine Speichereinrichtung zum Speichern der Video-Daten, eine Schnittstelle, um einen Zugriff auf die oder eine Ausgabe der kommentierten bzw. befundeten Daten zu gestatten.The present invention relates to a device for annotating moving images in the medical field, in particular for reporting, comprising a read-in device for reading recorded by a medical device, recorded video data and / or a recording device for recording generated by a medical device and output video Data, editing means for incorporating annotations into the video data, memory means for storing the video data, an interface for allowing access to or output of the commented data.

Description

Die vorliegende Erfindung betrifft eine Einrichtung zur Annotierung von Bewegtbildern im medizinischen Bereich.The The present invention relates to a device for annotation of motion pictures in the medical field.

Im medizinischen Bereich gibt es eine Vielzahl von Anwendungen, bei denen Bewegtbilder zur Diagnose bzw. Befundung und/oder Dokumentation zum Einsatz kommen. Beispielsweise wird bei jeglicher Art von Sonographie und Endoskopie bewegtes Bildmaterial produziert. Auch werden bei der Dokumentation von Operationen mittels Videokamera bewegte Bilddaten erzeugt.in the There are a variety of applications in the medical field Moving images for diagnosis or diagnosis and / or documentation for Use come. For example, in any type of sonography and endoscopy produces moving imagery. Also be included the documentation of operations by video camera moving image data generated.

Diese bewegten Bilder müssen im Anschluss kommentiert, dokumentiert und/oder befundet werden.These moving pictures need subsequently commented on, documented and / or diagnosed.

Bei bekannten Ultraschallgeräten bestand dahingehend die Möglichkeit während der Untersuchung einzelne Standbilder aufzuzeichnen und diese entsprechend mit Anmerkungen zu versehen und als Einzelbild in eine Befundung aufzunehmen.at known ultrasound devices insisted on the possibility while To record the study individual still images and this accordingly to annotate and as a single image in a report take.

Sonographische Untersuchungstechniken unterscheiden sich von anderen bildgebenden Verfahren, z.B. Schnittbildverfahren (wie Computertomographie oder Magnetresonanztomographie), dadurch, dass beim Ultraschall in der Regel der Befund während der eigentlichen Untersuchung erhoben werden muss, d.h. eine zeitliche Trennung von Untersuchung und Befundung in der Regel nicht möglich ist.sonographic Examination techniques are different from other imaging Method, e.g. Cross-sectional imaging (such as computed tomography or Magnetic resonance tomography), in that in the ultrasound in the Usually the findings during the actual investigation must be made, i. a temporal Separation of examination and diagnosis is usually not possible.

Hingegen wird bei CT (Computertomographie) und MRT (Magnetresonanztomographie) standardisiert eine valide Bilddokumentation der Untersuchung geschaffen, die eine zeitliche Trennung von Untersuchung und Befundung ermöglicht und ein objektives Befunddokument schafft, das verschiedensten Befundern zu verschiedensten Zeitpunkten zur Verfügung steht. Damit ist die Befundung ein stets am Originaldokument nachvollziehbarer, wiederholbarer und korrigierbarer Vorgang.On the other hand is used in CT (Computed Tomography) and MRI (Magnetic Resonance Imaging) standardized a valid image documentation of the investigation created, which allows a temporal separation of examination and diagnosis and creates an objective diagnostic document, the most diverse findings is available at various times. This is the diagnosis always reproducible on the original document, repeatable and correctable action.

Bei der Befundung von einzelnen Sonographiebildern, wie dies bisher erfolgt, ist jedoch eine nachvollziehbare, wiederholbare und korrigierbare Befundung am Originaldokument nicht möglich, weil keine Bewegtbilder, d.h. die vollständigen Untersuchungsdaten oder zumindest ein großer Teil davon, zur Verfügung stehen. Somit bleibt beispielsweise bei der Sonographie, jedoch auch bei anderen medizintechnischen Anwendungen eine Trennung von Befundung und Untersuchung unmöglich, ebenso wie eine Re-Evaluation oder Zweitbefundung.at the diagnosis of individual ultrasound images, as before is, however, a comprehensible, repeatable and correctable diagnosis not possible on the original document, because no moving pictures, i. the complete examination data or at least one big one Part of it, available stand. Thus, for example, remains in sonography, however also in other medical applications a separation of Diagnosis and examination impossible, as well as a re-evaluation or secondary evaluation.

Demnach bestand die Notwendigkeit für eine neuartige Dokumentationsweise, die es erlaubt ein erneutes Durchsehen der gesamten Untersuchung so zu ermöglichen, dass eine Befundung auch ohne die Anwesenheit bei der Untersuchung möglich ist (= offline Befundung).Therefore there was a need for a new kind of documentation that allows you to do another thing Reviewing the entire investigation so as to allow for a diagnosis even without the presence of the examination is possible (= offline reporting).

Zwar sind derzeit Geräte auf dem Markt, die eine Aufzeichnung einer gesamten Untersuchung über einen Videoausgang mittels eines Videorekorders oder durch Aufzeichnung auf einen Datenträger, wie beispielsweise eine CD oder DVD gestatten. Auf Grundlage dieser Bewegtbilder lässt sich eine erneute Befundung durchführen.Though are currently devices in the market, which is a record of an entire investigation on a Video output by means of a video recorder or by recording to a disk, like For example, allow a CD or DVD. Based on this Leaves moving pictures to carry out a new diagnosis.

Jedoch führt diese Art der bloßen Aufzeichnung der Bewegtbilder zu der Problematik, dass die auf Grundlage diese Bilder durchgeführte erste Befundung für einen späteren Befunder ggf. nicht ohne weiteres nachzuvollziehen ist. Zwar besteht die Möglichkeit neben diesen Bewegtbildern auch einen schriftlichen Befund zu erstellen, der auf die Bewegtbilder Bezug nimmt. Jedoch ist es bei Aufzeichnung auf eine Videokassette schwierig die entsprechenden in Bezug genommenen Stellen in dem „Film" wiederzufinden. Ferner ist es auch problematisch, auf entsprechend exakte Stellen in den Bilddaten, beispielsweise den Ultraschallbildern, Bezug zu nehmen, da Stellen unter Umständen durch Worte nicht exakt bezeichnet werden können, so dass Zweifel über die gemeinte Stelle verbleiben. Dadurch ist die Erstbefundung für einen späteren Befunder schwer oder überhaupt nicht nachvollziehbar.however leads this Kind of the bare one Record the moving images to the problem that based on performed these pictures first report for a later finder may not be easily understood. Although there is the possibility to create a written report in addition to these moving pictures, referring to the moving images. However, it is up when recording a videocassette difficult the corresponding referenced To find places in the "movie". Furthermore, it is also problematic to appropriately exact locations in the image data, for example the ultrasound images, reference to take, because places under circumstances can not be accurately designated by words, so that doubts about the intended body remain. This is the first report for a later Finders difficult or at all incomprehensible.

Demzufolge besteht das technische Problem der vorliegenden Erfindung darin, eine Einrichtung zur Annotierung von Bewegtbildern im medizinischen Bereich zu schaffen, die eine Trennung von Untersuchung und Kommentierung, Befundung und/oder Dokumentation gestattet, und gleichzeitig den Umgang mit medizinischen Bewegtbildern einfacher, effizienter und professioneller gestaltet.As a result, the technical problem of the present invention is a device for annotating moving images in the medical field to create a separation of investigation and commentary, Diagnosis and / or documentation allowed, and at the same time the Handling Medical Moving Images Easier, More Efficient and designed professionally.

Diese Aufgabe wird durch eine Einrichtung zur Kommentierung von Bewegtbildern im medizinischen Bereich mit den Merkmalen des Patentanspruchs 1 gelöst.These Task is by a device for commenting on moving images in the medical field with the features of claim 1 solved.

Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind in den Unteransprüchen genannt.advantageous Further developments of the present invention are mentioned in the subclaims.

Zu diesem Zweck schlägt die vorliegende Erfindung eine Einrichtung zur Annotierung von Bewegtbildern im medizinischen Bereich vor, wobei es sich bei den Bewegtbildern um Bewegtbilder aus dem Ultraschallbereich, aus dem endoskopischen, arthroskopischen, laparoskopischen, thorakoskopischen Bereich oder beliebige andere Filmaufnahmen zur Dokumentation einer Operation, von Körperregionen, Bewegungsabläufe, gesunden Prozessen und/oder Pathologien und um ähnliche Bereiche handeln kann. In diesem Zusammenhang zählt zum medizinischen Bereich auch die Überwachung/Aufzeichnung von Bewegungsabläufen im Bereich des Sports zu Trainingszwecken, d.h. um beispielweise im Golfsport den Schwung zu optimieren. Jedoch ist der Bereich auf den medizinischen Bereich beschränkt, d.h. die Verwendung wird primär in Arztpraxen, Krankenhäusern und ähnlichen Einrichtungen stattfinden. Erfindungsgemäß umfasst die Einrichtung eine Einleseeinrichtung zum Einlesen von durch ein medizintechnisches Gerät, wie beispielsweise ein Ultraschallgerät oder ähnliches, erzeugten, bereits aufgezeichneten Videodaten. Bei dem medizintechnischen Gerät kann es sich jedoch um jede beliebige bildgebende Videoquelle handeln, die in den oben genannten medizinischen Bereichen zum Einsatz kommt. Alternativ oder zusätzlich zu der Einleseeinrichtung ist eine Aufzeichnungseinrichtung zum Aufzeichnen von durch ein medizintechnisches Gerät erzeugten Videodaten vorgesehen. Bei den erwähnten Videodaten handelt es sich um das oben erwähnte bewegte Bildmaterial. Dieses Bildmaterial kann analog sowie digital vorliegen und zum Aufzeichnen durch die Aufzeichnungseinrichtung an die erfindungsgemäße Einrichtung ausgegeben oder direkt als Videofile durch die Einleseeinrichtung eingelesen werden. Handelt es sich um analoge Videodaten, so wird in der Einrichtung eine Digitalisierung vorgenommen. Ferner bietet es sich an die Videodaten nach dem Einlesen oder beim Aufzeichnen zu komprimieren, um Speicherplatz zu sparen. Dabei kann je nach Anwendungsfall eine verlustfreie, mehr Speicherplatz benötigende Komprimierung oder eine verlustbehaftete weniger Speicherplatz benötigende Komprimierung durchgeführt werden. So wird beispielsweise bei der Dokumentation einer Operation keine derart gute Qualität der Videodaten erforderlich sein wie bei der Befundung an Hand von Ultraschalldaten. Auch ist es möglich innerhalb einer Videosequenz je nach Relevanz der entsprechende Stelle unterschiedliche Komprimierungen vorzunehmen. Es ist zu beachten, dass eine relativ verlustfreie Komprimierung notwendig wird, um ein gutes Anhalten der Bewegtbilder zu ermöglichen, so dass ein einwandfrei zu begutachtendes Standbild erzielt werden kann. Ein Komprimierungsformat, das zu diesem Zweck geeignet ist, ist das Format „MJPEG". Dieses Format ist ferner in der verwendeten Variante PICVideoTM MJPEG Codec v3 von Pegasus Imaging im medizinischen Bereich zugelassen.For this purpose, the present invention proposes a device for annotating motion pictures in the medical field, wherein the moving pictures are moving pictures from the ultrasound area, from the endoscopic, arthroscopic, laparoscopic, thoracoscopic area or any other film recordings to document an operation, body regions, movement processes, healthy processes and / or pathologies and to be able to deal with similar areas. In this context, the monitoring and recording of movement sequences in the field of sports for training purposes, ie in order to optimize the momentum in golf, for example, belongs to the medical field. However, the scope is limited to the medical field, ie, its use will primarily take place in medical practices, hospitals and similar facilities. According to the invention, the device comprises a read-in device for reading in, already recorded video data generated by a medical device, such as an ultrasound device or the like. However, the medical device may be any imaging video source used in the medical fields mentioned above. Alternatively or in addition to the read-in device, a recording device is provided for recording video data generated by a medical device. The video data mentioned is the above-mentioned moving picture material. This image material can be present in analog and digital form and output to the device according to the invention for recording by the recording device or read in directly as video files by the read-in device. In the case of analog video data, the device is digitized. It also offers the ability to compress the video data after reading or recording to save storage space. In this case, depending on the application, a loss-free, more memory-requiring compression or lossy less memory-requiring compression can be performed. For example, the documentation of an operation does not require such good quality video data as ultrasound data. It is also possible to make different compressions within a video sequence depending on the relevance of the corresponding location. It should be noted that a relatively lossless compression is necessary in order to enable a good stopping of the moving pictures, so that a properly assessed still picture can be obtained. A compression format suitable for this purpose is the "MJPEG" format, which is also approved in the medical grade version of PICVideo MJPEG Codec v3 by Pegasus Imaging.

Ferner umfasst die erfindungsgemäße Einrichtung eine Speichereinrichtung zum Speichern der Videodaten und eine Schnittstelle, um ein Zugriff auf die oder eine Ausgabe der Daten zu gestatten. D.h. es können sowohl nur die Rohdaten, als auch die mit den integrierten Anmerkungen versehenen Daten ausgegeben werden bzw. Zugriff auf diese gestattet werden.Further includes the device according to the invention a memory device for storing the video data and an interface, to allow access to or output of the data. That it can both raw data and integrated annotations provided data are given or access to these are allowed.

Um die maßgeblichen Stellen in den Videodaten zu annotieren ist eine Bearbeitungseinrichtung zum Integrieren von Anmerkungen (Annotationen) in die Videodaten vorgesehen. Annotation können umfassen: Bilder, Text, Pfeile, Markierungen, Farbliche Hervorhebungen, Linien, Messungen, etc. Unter Integrieren versteht sich in diesem Zusammenhang, dass im Gegensatz zum Stand der Technik keine von den Videodaten losgelöste Kommentierung eingefügt wird, sondern vielmehr die Anmerkungen mit der entsprechenden Stelle der Videodaten (Einzelbildern, Bildsequenzen oder den gesamten Videodaten) gekoppelt bzw. verknüpft werden, so dass die Anmerkungen beim wiederholten Abspielen der Videodaten an der entsprechenden Stelle mitabgespielt werden können. Mit anderen Worten sind die Anmerkungen auf den Bewegtbildern angebracht bzw. mit diesen verbunden oder verknüpft.Around the authoritative To annotate places in the video data is a processing facility for Include annotations in the video data. Annotation can include: pictures, text, arrows, markers, color highlighting, Lines, measurements, etc. By integrating is understood in this Context, that in contrast to the prior art none of the Video data detached Commenting is inserted, but rather the notes with the corresponding body of the Video data (single images, image sequences or the entire video data) coupled or linked so that the notes when playing repeatedly the Video data can be played in the appropriate place. With in other words, the annotations are attached to the moving pictures or connected or linked to these.

Dadurch wird ermöglicht, die aufgezeichneten Videodaten bzw. bewegte Bilder derart zu annotieren, dass eine Befundung, Kommentierung oder Dokumentation ein stets am Originaldokument nachvollziehbarer, wiederholbarer und korrigierbarer Vorgang wird.Thereby is enabled to annotate the recorded video data or moving pictures in such a way, that a report, commentary or documentation always on the original document more comprehensible, repeatable and correctable Process becomes.

Über die vorgesehene Speichereinrichtung wird es möglich die mit Annotationen versehenen Daten und auch die Rohdaten selbst, sicher zu speichern und über die Schnittstelle wird es möglich einen Zugriff auf diese Daten und die Rohdaten zu gestatten und/oder diese durch eine Ausgabe an ein anderes System zu archivieren oder anderweitig weiterzuverarbeiten.About the provided memory device, it is possible with annotations provided data and also the raw data itself to store safely and over the interface will make it possible to allow and / or access this data and the raw data to archive them by output to another system or otherwise process further.

Gemäß einer vorteilhaften Ausführungsform der vorliegenden Erfindung dient die Bearbeitungseinrichtung dazu, die Anmerkungen in die Videodaten zu integrieren, nach dem die Videodaten aufgezeichnet oder die aufgezeichneten Video-Daten eingelesen wurden wurden. Mit anderen Worten wird zunächst eine Art „Videofilm" aufgezeichnet bzw. eingelesen und danach ist es zu jeder Zeit möglich eine Integration von Anmerkungen in die Videodaten vorzunehmen, d.h. es muss nicht zwingend während oder gleichzeitig mit der Untersuchung auch die Kommentierung bzw. Befundung über die Anmerkungen erfolgen, sondern es erfolgt eine Trennung von Befund und Untersuchung.According to one advantageous embodiment of the The present invention serves the processing device, the Annotations to integrate into the video data, after which the video data recorded or the recorded video data was read were. In other words, a kind of "video film" is first recorded or read in and then it is possible at any time an integration of Make comments in the video data, i. it does not have to be mandatory while or at the same time as the investigation, the comment or Findings about the comments are made, but there is a separation of Findings and Examination.

Bei den Anmerkungen kann es sich um graphische Symbole und/oder graphische Änderungen, Text und/oder Audioaufnahmen handeln. Beispiele graphischer Symbole sind Kreise, Pfeile, Rechtecke und ähnliches. Unter graphischen Änderungen ist beispielsweise eine Spotlightfunktion, bei der ein spezieller Bereich aufgehellt oder abgedunkelt werden kann zu verstehen. Auch sind andere aus dem Bereich der Fotonachbearbeitung bekannten Werkzeuge denkbar.The notes may be graphic symbols and / or graphical changes, text and / or audio recordings. Examples of graphic symbols are circles, arrows, rectangles and the like. Among graphic changes is, for example, a spotlight function in which a particular area is lightened or darkened that can be understood. Also, other known from the field of Fotonachbearbeitung tools are conceivable.

Es kann jedoch auch vorteilhaft sein, während die Videodaten aufgezeichnet werden Anmerkungen in Videodaten zu integrieren, so dass bei der späteren detaillierten Befundung die entsprechend relevanten Stellen leichter wiederaufzufinden sind.It however, it can also be beneficial while recording the video data will incorporate annotations into video data, so that at the later detailed Findings to find the relevant places easier are.

Diese weiteren Anmerkungen erfolgen beispielsweise durch Setzen eines Markers. Dies kann beispielsweise über einen Fußtaster erfolgen, der eine entsprechende Markierung mit den Videodaten verknüpft, so dass die entsprechende Stelle bei der späteren Befundung schnell auffindbar ist. Auch können direkt bei der Aufzeichnung der Videodaten parallel Audioaufnahmen erfolgen. Dies kann ähnlich eines digitalen Diktiergeräts ablaufen, in dem der Untersuchende gleichzeitig mit der Aufzeichnung eine Sprachaufnahme tätigt, die entsprechend durch die Einrichtung der Erfindung mit den zugehörigen Bildern der Videodaten verknüpft wird.These Further remarks are made, for example, by setting a Marker. This can, for example, via a footswitch done, which links a corresponding marker with the video data, so that the corresponding place in the later findings quickly findable is. Also can directly during the recording of the video data parallel audio recordings respectively. This may be similar a digital dictation machine in which the examiner simultaneously with the recording makes a voice recording, the corresponding by the device of the invention with the associated images linked to the video data becomes.

Um die ursprünglichen Videodaten auch für einen späteren Befunder brauchbar zu halten, werden die Anmerkungen in Form eines Layers in die Videodaten integriert bzw. über diese gelegt und damit verknüpft. Das heißt, die Anmerkungen und das entsprechende Bild der Videodaten „verschmelzen" nicht miteinander, sondern sie liegen in Form von zwei unterschiedlichen Schichten übereinander, so dass wenn die Anmerkung beispielsweise nicht dargestellt wird, nur noch die Ursprungs- bzw. Rohdaten sichtbar sind.Around the originals Video data also for one later Finders to be useful, the comments in the form of a Layers integrated into the video data or placed over this and linked to it. The is called, the annotations and the corresponding image of the video data do not "merge" with each other, but they are in the form of two different layers on top of each other, so that if the note is not shown, for example, only the original or raw data is visible.

Dies führt zu dem weiteren Vorteil, dass vorzugsweise mehrere Anmerkungslayer bzw. -schichten übereinander gelegt werden können. Mit anderen Worten kann ein erster Befunder mittels der Bearbeitungseinrichtung seine Anmerkungen in die Videodaten integrieren, die dann als eine erste Schicht bzw. ein erster Layer über den Ursprungsdaten liegen. Ein späterer Befunder kann erneut die ursprünglichen Videodaten, sowie die Anmerkungen des ersten Befunders begutachten (getrennt oder gemeinsam) und einen erneuten bzw. eigenen Befund erstellen, indem er über die Bearbeitungseinrichtung seine eigenen Anmerkungen in die Videodaten integriert. Dabei sind die Anmerkungen des zweiten Befunders in einer weiteren zweiten Schicht über den Ursprungsdaten und der ersten Anmerkungsschicht angeordnet. Das heißt, in diesem Fall würden drei Layer (Ursprungsdaten, Erstbefund und Zweitbefund) übereinander liegen. Jedoch sind auch mehr als drei Anmerkungslayer denkbar.This leads to the further advantage that preferably several comment layers or layers on top of each other can be placed. In other words, a first finder by means of the processing device integrate his annotations into the video data, which then acts as a first layer or a first layer above the original data. A later one Finders can redo the original ones Video data, as well as the comments of the first observer examine (separately or together) and a new or own findings create by over the editing device has its own comments in the video data integrated. The notes of the second observer are in another second layer over the original data and the first annotation layer. This means, in that case would three layers (original data, first findings and second findings) are superimposed. However, more than three annotation layers are conceivable.

In Krankenhäusern werden üblicherweise Bildarchivierungs- und Übermittlungssysteme eingesetzt, die zur Aufbewahrung Bereitstellung medizinischer Bilder und auch medizinischer Bewegtbilder dienen. Derartige Systeme werden entsprechend der englischen Bezeichnung auch abgekürzt als „PACS" (picture archiving and communication system) bezeichnet. Um einen Anschluss und einen Datenaustausch zwischen der erfindungsgemäßen Einrichtung und einem derartigen System zu ermöglichen, werden die aufgenommenen und/oder bearbeiteten Videodaten durch eine Einrichtung aufbereitet, so dass sie über die Schnittstelle an ein derartiges PACS-System ausgegeben werden können.In hospitals are usually image archiving and transmission systems used for storage providing medical images and medical moving images. Such systems will be also abbreviated as "PACS" (picture archiving and communication system). To a connection and a Data exchange between the device according to the invention and such To enable system The recorded and / or edited video data is transmitted through a facility prepared so that it can be accessed via the interface such PACS system can be issued.

Bei der vorliegenden Erfindung ist die Bearbeitungseinrichtung zum Integrieren von Anmerkungen derart ausgestaltet, dass ein Integrieren von Anmerkungen in Einzelbilder der Videodaten, Videosequenzen, die aus mehreren Einzelbildern bestehen und/oder in die gesamte eingelesenen Videodaten integrierbar sind. Anmerkungen, die nur in ein Einzelbild integriert sind, tauchen beim Abspielen der Bewegtbilder nur für einen Bruchteil auf und für die genauere Betrachtung muss der „Film" angehalten werden. Jedoch können die Anmerkungen auch in Videosequenzen erfolgen, d.h. einen Teilbereich der gesamten Untersuchung. Ggf. ist es auch zweckmäßig Anmerkungen einzubringen, die während der gesamten Abspieldauer der Bewegtbilder, d.h. der gesamten Untersuchung sichtbar bleiben.at According to the present invention, the processing means for integrating of annotations designed such that annotating in frames of video data, video sequences consisting of several Frames exist and / or in the entire read in video data can be integrated. Annotations that are only integrated into a single image are, dive when playing the moving images only for one Fraction on and for the closer consideration must be stopped the "film" Annotations also take place in video sequences, i. a subarea the entire investigation. Possibly. it is also appropriate comments to bring in during the total playing time of the moving pictures, i. the entire investigation stay visible.

Sind mehrere Anmerkungslayer vorgesehen, so besteht die Möglichkeit, die Anmerkungen gleichzeitig, getrennt voneinander oder nur die Ursprungsdaten abzuspielen.are several annotation layers, it is possible to the notes at the same time, separated from each other or just the To play back original data.

Vorzugsweise ist über die Schnittstelle gewährleistet während der Aufzeichnung der Videodaten und/oder danach einen Zugriff auf die Daten zu ermöglichen. Dies führt dazu, dass beispielsweise eine Ferndiagnose möglich wird. So könnte ein zweiter Befunder über das Aufschalten, möglicherweise über einen Internetbrowser, Zugriff auf die Daten erhalten und über Telekommunikation mit dem Erstbefunder ein Austausch stattfinden. Dabei ist es auch denkbar, dass Erst- und Zweitbefunder eine Art Desktop-Sharing, was auch als Whiteboard-Funktion bezeichnet wird, betreiben, um miteinander zu kommunizieren. Andererseits ist es zu Schulungszwecken auch möglich, dass mehrere Personen an der Untersuchung und/oder Befundung über Internet oder Netzwerk teilhaben.Preferably is over ensures the interface while recording the video data and / or thereafter accessing to allow the data. this leads to for example, that a remote diagnosis is possible. So could one second findings about the intrusion, possibly over one Internet browser, access to the data received and via telecommunications An exchange takes place with the first referee. It is also conceivable that first and second inventors a kind of desktop sharing, which also called whiteboard feature, operate to each other to communicate. On the other hand, it is also possible for training purposes that several persons in the examination and / or diagnosis via Internet or Join the network.

Vorteilhafterweise ist eine Steuerungseinrichtung für die Aufzeichnung durch Fußsteuerung, Tastatursteuerung, Kopplung an vorhandene Steuereinrichtungen, Sprachsteuerung durch Spracherkennung und/oder automatische Steuerung durch Szenenerkennung vorgesehen. Mit anderen Worten ist eine Steuerung vorgesehen mit der die Aufzeichnungseinrichtung angesteuert, d.h. der Aufnahme- bzw. Aufzeichnungsvorgang gestartet, angehalten und beendet werden kann.Advantageously, a control device for recording by foot control, keyboard control, coupling to existing control devices, voice control by voice recognition and / or automatic control by scene detection is provided. In other words, a control is provided with which the recording device is driven, ie the recording or recording process started, stopped and can be stopped.

Die Einrichtung der vorliegenden Erfindung kann in ein medizinisches Gerät integriert sein, d.h. sie kann z.B. Bestandteil eines Ultraschallgeräts oder einer endoskopischen Vorrichtung sein.The Device of the present invention can be used in a medical Integrated device be, i. it can e.g. Component of an ultrasound device or a be endoscopic device.

Andererseits ist es jedoch vorteilhaft, dass die Einrichtung eine Schnittstelle umfasst, über die die Einleseeinrichtung mit dem Videoausgang eines medizinischen Geräts verbindbar ist. Das heißt, die Einrichtung ist eine sog. „Appliance", die es ermöglicht bereits bestehende Geräte mit einer Einrichtung gemäß der vorliegenden Erfindung nachzurüsten bzw. zu verbinden.on the other hand However, it is advantageous that the device has an interface includes, over the the reading device with the video output of a medical equipment is connectable. This means, the device is a so-called "appliance" that already makes it possible existing devices with a device according to the present invention Retrofit invention or connect to.

In diesem Fall umfasst die Einrichtung eine eigene Anzeige und Eingabeeinrichtung, die bei der Integration in einem medizinischen Gerät sonst in der Regel durch das medizinische Gerät bereitgestellt wird.In In this case, the device comprises its own display and input device, when integrating into a medical device otherwise usually provided by the medical device.

Vorteilhafterweise ist beim Anwendungsfall als „Appliance" die Bearbeitungseinrichtung auf einem austauchbaren Speichermedium gespeichert. Bei dem Speichermedium handelt es sich vorzugsweise um einen Chip oder eine Speicherkarte. Auf diesem Speichermedium ist das Programm der Bearbeitungseinrichtung sowie das Betriebssystem abgespeichert, d.h. es ist keinerlei Installationsvorgang notwendig, was einen benutzerfreundlichen Austausch der Einrichtung bzw. ein Update ermöglicht.advantageously, is the processing device in the application as an "appliance" stored on a removable storage medium. In the storage medium it is preferably a chip or a memory card. On this storage medium is the program of the processing facility and the operating system is stored, i. no installation process is necessary what a user friendly replacement of the device or a Update enabled.

Weitere Merkmale und vorteilhafte Ausführungsformen der vorliegenden Erfindung sind der folgenden Beschreibung einer beispielhaften Ausführungsform zu entnehmen.Further Features and advantageous embodiments The present invention is described below exemplary embodiment refer to.

In den begleitenden Zeichnungen zeigen:In the accompanying drawings show:

1 eine schematische Ansicht der erfindungsgemäßen Einrichtung in der Ausführungsform einer Appliance; 1 a schematic view of the device according to the invention in the embodiment of an appliance;

2 und 3 eine beispielhafte Oberfläche der erfindungsgemäßen Einrichtung, die zum Bedienen der Einrichtung auf einer Anzeigeeinrichtung dargestellt ist; und 2 and 3 an exemplary surface of the device according to the invention, which is shown for operating the device on a display device; and

4 den Schichtaufbau der vorliegenden Einrichtung. 4 the layer structure of the present device.

1 zeigt schematisch eine erfindungsgemäße Einrichtung zur Kommentierung von Bewegtbildern im medizinischen Bereich, wobei die Einrichtung im allgemeinen mit dem Bezugszeichen 10 gekennzeichnet ist. Die Einrichtung 10 ist über eine Schnittstelle mit dem Videoausgang eines medizinischen Geräts 40 gekoppelt. Bei diesem Gerät 40 kann es sich beispielsweise um ein Ultraschallgerät, eine endoskopische Einrichtung oder schlichtweg eine Videokamera zur Aufnahme und Dokumentation einer Untersuchung oder Operation handeln. Auch sind andere Geräte aus dem medizinischen Bereich denkbar, die zur Aufzeichnung bzw. Aufnahme von bewegten Bildern dienen. 1 schematically shows a device according to the invention for commenting moving images in the medical field, the device generally with the reference numeral 10 is marked. The device 10 is via an interface with the video output of a medical device 40 coupled. In this device 40 it may, for example, be an ultrasound device, an endoscopic device or simply a video camera for recording and documenting an examination or operation. Also, other devices from the medical field are conceivable, which are used for recording or recording of moving images.

Die Einrichtung 10 ist ferner mit einer Anzeigeeinrichtung 11 ausgestattet. Gleichermaßen ist eine Eingabeeinrichtung 12 vorgesehen, bei der es sich um ein Keyboard oder eine Maus handeln kann. Auch ist es denkbar über einen Touchscreen die Eingabe vorzunehmen der gleichzeitig Anzeigeeinrichtung ist. Über die Anzeigeeinrichtung, die über eine Oberfläche die Funktionsmöglichkeiten der erfindungsgemäßen Einrichtung 10 darstellt und die Eingabeeinrichtung 12 wird es für den Nutzer möglich, die erfindungsgemäße Einrichtung 10 im Betrieb zu bedienen, wie es später erläutert werden wird.The device 10 is also with a display device 11 fitted. Likewise, an input device 12 provided, which may be a keyboard or a mouse. It is also conceivable via a touchscreen to make the input is the same display device. About the display device, the functional possibilities of the device according to the invention via a surface 10 represents and the input device 12 It is possible for the user, the device according to the invention 10 to operate in operation, as will be explained later.

Wie in 1 weiterdargestellt, ist die Einrichtung 10 mit einem Fußschalter 13 gekoppelt über den gleichermaßen eine Bedienung der Einrichtung 10 erfolgen kann.As in 1 further illustrated is the device 10 with a footswitch 13 coupled via the same operation of the device 10 can be done.

Die Einrichtung 10 weist ferner eine oder mehrere Schnittstellen 14 auf, mittels derer ein Zugriff auf Daten oder eine Ausgabe der Daten möglich ist. Mit einer Schnittstelle 14 ist vorzugsweise ein Netzwerk verbunden, über das eine Archivierung und Speicherung der Daten erfolgen kann. Bei Einsatz in Krankenhäusern wird es sich bei diesem derartigen Archivierungsnetzwerk um ein sog. PACS-System 15 handeln, jedoch sind auch andere Netzwerksysteme oder Datenbanken denkbar.The device 10 also has one or more interfaces 14 by means of which an access to data or an output of the data is possible. With an interface 14 Preferably, a network is connected, via which an archiving and storage of the data can take place. When used in hospitals, this type of archiving network will be a so-called PACS system 15 However, other network systems or databases are conceivable.

Ferner kann über die Schnittstelle 14 ein Zugriff über das Internet ermöglicht werden. Dies bringt die Möglichkeit, dass eine räumlich getrennte Person die Daten einsehen kann. Beispielsweise wäre es denkbar, dass ein zweiter Befunder gleichzeitig mit der Befundung der eingelesenen Videodaten die Befundung beobachtet und mit dem Erstbefunder in Kontakt steht, also dass eine doppelte Befundung durchgeführt wird. Diesbezüglich wäre es auch möglich eine Art Desktop-sharing, das auch als Whiteboarding bezeichnet wird, zum Einsatz zu bringen, so dass der zweite Befunder bei der Befundung gleichermaßen auf die Einrichtung 10 zugreifen kann und entsprechend Kommentierungen und ähnliches vornimmt, die dem ersten Befunder auf der Anzeigeeinrichtung 11 dargestellt werden.Furthermore, via the interface 14 be accessed via the Internet. This brings with it the possibility that a spatially separated person can view the data. For example, it would be conceivable that a second finder observes the findings simultaneously with the reading of the video data read in and is in contact with the first reporter, ie that a double diagnosis is carried out. In this regard, it would also be possible to use a kind of desktop sharing, also referred to as whiteboarding, so that the second practitioner in reporting the same on the device 10 can access and accordingly makes comments and the like, the first findings on the display device 11 being represented.

Daneben ist es auch denkbar, einen Zugriff auf die Daten zur Schulungszwecken zu gestatten. Das heißt, eine oder mehrere Personen, können zur Ausbildungszwecken die Befundung einsehen oder gar während der Befundung dieser beiwohnen.Besides It is also possible to access the data for training purposes to allow. This means, one or more persons can For educational purposes, see the findings or even during the Witnessing this attendance.

Kommt die Einrichtung 10 in der Form einer „Appliance" zum Einsatz, wie es in der beispielhaften Ausführungsform dargestellt ist, aber auch bei anderen Einsatzformen, ist es zweckmäßig die Einrichtung zusammen mit einem Betriebssystem auf einem Speicherchip bzw. einem anderen Speichermedium abzulegen und für den Falle eines Updates oder einer Wartung diesen Chip lediglich auszutauschen. Zu diesem Zweck sind die Untersuchungsdaten auf einer separaten Festplatte bzw. einem separaten Speichermedium gespeichert, so dass diese von dem Austausch nicht betroffen sind. Dies hat den Vorteil, dass die Gefahr von Fehlbedienungen, die zu einem Schaden am System führen könnten, im Wesentlichen ausgeschlossen werden. Ein Eingreifen in das Betriebssystem oder andere Komponenten der Einrichtung wird nicht notwendig.Comes the decor 10 in the form of an "appliance" as shown in the exemplary embodiment, but also in other forms of use, it is appropriate to store the device together with an operating system on a memory chip or other storage medium and in case of an update or For this purpose, the examination data are stored on a separate hard disk or a separate storage medium, so that they are not affected by the replacement, which has the advantage that the risk of operating errors that could lead to damage to the device System could be essentially ruled out, intervention in the operating system or other components of the device will not be necessary.

Im Folgenden wird unter Bezugnahme auf die 2 bis 3 die Funktionsweise der Einrichtung 10 genauer erläutert. Diesbezüglich wird als medizinisches Gerät beispielhaft ein Ultraschallgerät beschrieben. So wird zunächst das medizinische Gerät 40 und die Einrichtung 10 eingeschaltet und für die Untersuchung vorbereitet. Das medizinische Gerät 40 und die Einrichtung 10 sind über den Videoausgang des medizinischen Geräts 40 miteinander gekoppelt, so dass das medizinische Gerät 40 Videodaten an die Einrichtung 10 ausgibt. Bei den Videodaten kann es sich um ein analoges oder ein digitales Videosignal handeln. Handelt es sich um ein analoges Videosignal, so werden diese Daten durch die Einrichtung 10 zunächst digitalisiert.The following is with reference to the 2 to 3 the functioning of the device 10 explained in more detail. In this regard, an ultrasound device is exemplified as a medical device. So first is the medical device 40 and the device 10 switched on and prepared for the investigation. The medical device 40 and the device 10 are via the video output of the medical device 40 coupled together so that the medical device 40 Video data to the device 10 outputs. The video data may be an analog or a digital video signal. If it is an analog video signal, this data will be passed through the device 10 initially digitized.

Möchte der Verwender mit der Untersuchung beginnen, so initialisiert der Verwender, wie es in 2 dargestellt ist, über einen Button (in 2 durch den Pfeil 18 gekennzeichnet), die Aufzeichnung bzw. Aufnahme der Untersuchung. Dabei wird die komplette Untersuchung als „Film" aufgenommen. Dies steht im Gegensatz zu den bisher einzeln durch den Untersucher ausgelösten „Schnappschüssen" von Einzelbildern während der Untersuchung.If the user wants to start the investigation, then the user initializes, as in 2 is displayed via a button (in 2 through the arrow 18 marked), the recording or recording of the investigation. The complete examination is recorded as a "film." This is in contrast to the "snapshots" of individual images that were previously triggered individually by the examiner during the examination.

Diese Videodaten, die im Folgenden als Rohdaten bezeichnet werden, werden als digitale Untersuchungsakte zur späteren Weiterbearbeitung elektronisch gespeichert. Derartige Untersuchungsakten für Patienten sind bereits aus herkömmlichen Systemen in Verbindung mit Einzelbildern, den oben erwähnten Schnapsschüssen, bekannt.These Video data, which will be referred to as raw data in the following as a digital examination file for later processing electronically saved. Such examination files for patients are already out conventional systems in connection with individual pictures, the schnapps shots mentioned above.

Beendet der Verwender die Untersuchung, so wird die Aufnahme über den Button 19 beendet. Während der Untersuchung besteht selbstverständlich auch die Möglichkeit die Untersuchung anzuhalten bzw. zu unterbrechen. Dies erfolgt über einen „Pause" Button 20.If the user finishes the examination, the recording is made via the button 19 completed. Of course, during the examination it is also possible to stop or interrupt the examination. This is done via a "Pause" button 20 ,

Nach der Speicherung der aufgezeichneten Daten und Beendigung der Untersuchung besteht die Möglichkeit die Aufzeichnung optisch aufzubereiten, z.B. durch Vergrößern, Verändern der Helligkeit und/oder des Kontrasts, durch Filter oder ähnliches. Gleichermaßen wird es möglich sich die gesamte Untersuchung nochmals anzusehen, was über den Button 21 möglich ist.After the storage of the recorded data and completion of the investigation, it is possible to optically reprocess the recording, eg by enlarging, changing the brightness and / or the contrast, by filters or the like. Likewise, it will be possible to review the entire exam, which is via the button 21 is possible.

So wird eine einfache Durchsicht der aufgezeichneten Sequenzen möglich. Dabei können Einzelbilder indiziert bzw. markiert werden. Auch kann beispielsweise eine dreidimensionale Rekonstruktion der durch Ultraschall aufgezeichneten Schichtebenen zur leichteren Beurteilung von Anomalien durchgeführt werden, wie es aus bestehenden Ultraschallgeräten jedoch bereits bekannt ist.So makes a simple review of the recorded sequences possible. there can Single images are indexed or marked. Also, for example a three-dimensional reconstruction of the ultrasound recorded Layer planes are carried out for easier assessment of anomalies, as it is already known from existing ultrasound equipment is.

Bei der Aufzeichnung der Bewegtbilder, d.h. der Videorohdaten von verschiedensten Untersuchungsgeräten erfolgt eine im Wesentlichen verlustfreie Aufzeichnung mittels eines in der Medizin zugelassenen Videocodecs, d.h. eines Komprimierungsalgorithmus. Im vorliegenden Fall hat es sich als vorteilhaft herausgestellt als derartigen Komprimierungsalgorithmus das Format MJPEG zu verwenden. Gleichmaßen werden die aufgezeichneten Daten in einer einfachen Untersuchungskartei gespeichert, um ein späteres Auffinden zu erleichtern, wobei sie in der Untersuchungsakte einem Patienten zugeordnet werden können.at the recording of the moving pictures, i. the video raw data of various examination devices an essentially lossless recording takes place by means of a medical approved video codecs, i. a compression algorithm. In the present case, it has proved to be advantageous as such compression algorithm to use the format MJPEG. Be equal the recorded data in a simple examination file saved to a later Finding them in the investigation file Patients can be assigned.

Nach dem die obigen Schritte ausgeführt wurden, stellt die Bearbeitungseinrichtung zum Integrieren von Anmerkungen bzw. zum Integrieren von Annotationen in die Videodaten die Möglichkeit bereit, Bildmarker, Kommentare und Befunde auf, d.h. mit einzelnen Bildern verknüpft, einzufügen bzw. zu integrieren. So wird nach der Aufnahme der Videorohdaten durch Betätigen des Buttons „Aufnahme-Befunden" 22 die Annotierung und Befundung eingeleitet.After performing the above steps, the annotation annotation editor integrates annotations into the video data providing the ability to insert and / or integrate image markers, comments, and findings, ie, associated with individual images. Thus, after recording the video original data by pressing the button "Recording findings" 22 the annotation and findings initiated.

So gestattet die Bearbeitungseinrichtung über die Eingabeeinrichtung auf den Ultraschallbildern Kommentare in Textform einzufügen. Die Verfassung der schriftlichen Befunde wird durch Autotexte in der Menüführung unterstützt. Damit ist es möglich jedem einzelnen Bild in der gesamten Untersuchungssequenz spezifische Befundtexte zuzuordnen. Ferner bietet die Einrichtung die Möglichkeit Befundtexte aus Freitext zu geben, aber auch fertige Textbausteine zu verwenden, die je nach fachspezifischen Anwendungsfall freikonfiguriert werden können. Eine Verknüpfung des Einzelbildes mit der Position in der Untersuchungssequenz ermöglicht eine sofortige Orientierung innerhalb der Untersuchung. Die Einzelbefunde werden später in einem automatisch generierten Befundbericht zusammengefasst. Gleichermaßen ist es möglich, graphische Symbole, die hier über die Buttons 24, 25 und 26 eingefügt werden, auf dem Bild zu integrieren. Beispielhaft sind ein Pfeil 27 und ein Kreis 28 in das Bild eingefügt worden. Diese Kommentare können mit einem Einzelbild, hier dem Bild 59 verknüpft werden oder sie können mit Filmsequenzen, d.h. mehreren Bildern oder gar dem gesamten Film also dem gesamten Rohdaten verknüpft und gekoppelt werden, so dass diese über den gesamten Film mitlaufen. Auch besteht die Möglichkeit die Kommentierungen mit entsprechenden Pixelstrukturen in dem Film zu verknüpfen, d.h. wenn diese Pixelstrukturen in dem Film wandern, wandern die Kommentare und graphischen Symbole mit.Thus, the processing device allows comments to be inserted in text form via the input device on the ultrasound images. The constitution of the written findings is supported by autotexts in the menu navigation. This makes it possible to assign specific findings texts to each individual image in the entire examination sequence. Furthermore, the device offers the possibility to provide findings texts from free text, but also to use finished text modules, which can be freely configured depending on the specific application. Linking the single image with the position in the examination sequence allows immediate orientation within the examination. The individual findings will be summarized later in an automatically generated report. Similarly, it is possible to use graphic symbols here via the buttons 24 . 25 and 26 inserted who the, to integrate in the picture. Exemplary are an arrow 27 and a circle 28 inserted into the picture. These comments can be with a single image, here's the picture 59 or they can be linked and coupled with film sequences, ie multiple images or even the entire film, ie the entire raw data, so that they run along the entire film. It is also possible to associate the annotations with corresponding pixel structures in the movie, ie when these pixel structures move in the movie, the comments and graphical symbols wander.

Neben den dargestellten graphischen Symbolen lässt sich auch eine andere Hervorhebung realisieren, wie beispielsweise eine durch den Begriff Spotlight bekannte, in dem in einem Kreisbereich das Bild erhalten bleibt und der Restbereich des Bildes abgedunkelt wird. Auch andere graphische Bearbeitungsmöglichkeiten, wie sie aus der Bildbearbeitung bekannt sind, sind als Kommentare denkbar.Next The illustrated graphical symbols can also be a different emphasis realize, such as one by the term Spotlight in which the picture is preserved in a circular area and the remaining area of the image is darkened. Also other graphic Editing options, as they are known from image editing are called comments conceivable.

Durch die Aufzeichnung der Videodaten und spätere Annotierung bzw. Befundung muss sich der Untersucher zum Zeitpunkt der Untersuchung nur auf die technisch einwandfreie und artefaktfreie Untersuchung konzentrieren. Der gesamte Untersuchungsvorgang wird digital aufgezeichnet, so dass eine zeitliche Trennung von Untersuchung und Befundung vorgenommen wird. Zur Befundung werden die entscheidenden Untersuchungsabschnitte zeitlich unabhängig durchgesehen. Auch ist ein mehrfaches Durchsehen der Bilder ohne Belastung des Patienten möglich. Durch die Bearbeitungsmöglichkeiten in Bezug auf Helligkeit des Kontrasts und anderes wird der Untersucher bei der Befundung unterstützt. Die Dokumentation des Einzelbildes mit Verknüpfung zur gesamten Untersuchungssequenz bzw. des gesamten Untersuchungsfilms stellt eine der Stärken des Systems für die Schaffung einer objektivierbaren und nachvollziehbaren Untersuchungsqualität dar.By the recording of the video data and later annotation or findings At the time of the examination, the examiner must only consult the focus on technically flawless and artifact-free investigation. The entire examination process is recorded digitally, so that a temporal separation of examination and findings made becomes. The decisive examination sections become the findings independent of time looked through. Also is a multiple review of the images without Stress on the patient possible. Through the editing options in terms of brightness of contrast and other will be the examiner supported in the diagnosis. The documentation of the single image with link to the entire examination sequence or the entire research film represents one of the strengths of the system for the Creation of an objectifiable and comprehensible examination quality.

Durch die Entkopplung von Untersuchung und Befundung durch die Aufzeichnung der Daten wird eine Kontrolle und Zweitbeurteilung durch erfahrene Untersuchungs/Befunder, die neben den bereits kommentierten Befunden bei Bedarf volle Einsicht in die Rohdaten nehmen können, die noch vorhanden sind, möglich. Um dies weiterzuverbessern, werden die Befundungen, die mit den entsprechenden Bildern der Videodaten verknüpft werden, im Schichtaufbau mit diesen Bilddaten verknüpft (dies wird auch als Layer-Technik bezeichnet). So werden die Kommentare quasi in einer Schicht über die Bilder gelegt und mit diesen verknüpft. Mit anderen Worten stellt das Bild eine Grund- oder Basisschicht dar, und die Befundung eines ersten Befunders stellt eine weitere zweite Schicht dar. Erfolgt eine Kontrolle oder Zweitbeurteilung durch einen weiteren Befunder oder erfahreneren Untersucher, können diese Kommentare gleichermaßen eingefügt werden. Mit anderen Worten wird bei einem weiteren Befund eine dritte Schicht angelegt, in der die Kommentare und Annotierungen des zweiten Befunders mit den Bildern entsprechend verknüpft werden.By the decoupling of examination and diagnosis by the recording The data becomes a control and secondary evaluation by experienced Examination / findings, in addition to the already commented findings If necessary, you can take full insight into the raw data, the still available, possible. To further improve this, the findings with the corresponding images of the video data are linked, in the layer structure linked to this image data (this is also called layer technique). So will the comments almost in one shift over the pictures are placed and linked with them. In other words the image is a basic or basic layer, and the findings of a first finder represents another second layer a check or second evaluation by another expert or more experienced investigators, can these comments alike added become. In other words, in a further finding, a third Layer created in which the comments and annotations of the second Finders are linked with the images accordingly.

Beim nachträglichen Ansehen besteht ferner die Möglichkeit nur einzelne Schichten einzublenden, d.h. nur die Rohdaten, den Befund des Erstbefunders oder den Befund des Zweitbefunders oder aber beide Befunde anzusehen. So können die einzelnen Kommentare dem jeweiligen Bearbeiter zugeordnet werden und das darüber hinaus mit einer exakten Zeitangabe.At the later There is also the possibility of watching to show only individual layers, i. only the raw data, the Findings of the first interviewee or the findings of the second interviewee or but to look at both findings. So can the individual comments assigned to the respective editor and beyond with an exact time.

Neben der Kommentierung der Videorohdaten, wie es oben beschrieben wurde, besteht auch die Möglichkeit während der Untersuchung bereits Kommentare zu integrieren. So ist es beispielsweise über den Fußtaster möglich, Einzelbildmarker oder Sequenzmarker zu setzen, so dass die entsprechenden Untersuchungsabschnitte bei der späteren Befundung leichter wiederaufzufinden sind. Auch besteht die Möglichkeit mittels eines Mikrofons (nicht dargestellt) und beispielsweise ebenfalls Starten über den Fußtaster eine Audiodatei mit entsprechenden Untersuchungssequenzen zu verknüpfen, wobei der Untersucher die entsprechenden Audiodateien spricht. Zu diesem Zweck ist eine Einrichtung zum Aufzeichnen von Audiodaten vorgesehen. In jedem Fall werden die Audiodaten jedoch gleich mit den aufgezeichneten Videodaten zeitmäßig verknüpft, so dass eine exakte Zuordnung der getätigten Kommentare zu den einzelnen Bildern möglich ist.Next annotating the video raw data as described above there is also the possibility while already integrate comments into the investigation. So it is about the footswitch possible, Set frame marker or sequence marker so that the appropriate examination sections at the later Findings are easier to find again. There is also the possibility by means of a microphone (not shown) and for example also Start over the footswitch to associate an audio file with appropriate examination sequences, the Examiner speaks the corresponding audio files. To this end a device for recording audio data is provided. In any case, however, the audio data becomes the same as the recorded one Video data is timed, so that an exact assignment of the effected Comments on the individual pictures is possible.

Die zuvor befundeten Untersuchungsdaten können über die Schnittstellen 14 auf einfache Art und Weise als fertige Untersuchungsberichte z.B. im MS-Word-Format weiterverarbeitet werden. Dabei besteht die Möglichkeit der automatischen Ausgabe der Befundtexte mit allen relevanten Einzelbildern inklusive der auf diesen Bildern angemerkten Kommentare in einem Befundbericht sowie der vollständigen Untersuchungsdaten auf Datenträger (CD, DVD). Zur Weitergabe von Untersuchungsdaten auf Datenträger (später auch direkt z.B. per Email oder Download) werden zunächst ein oder mehrere Berichte erzeugt. Bei der Berichterzeugung werden die relevanten Daten des/der als PDF und analog als XML Struktur erzeugt. Auf dem Datenträger wird nun a) das PDF, b) die kompletten Video-Files der zugehörigen Clips (ggf. in ein verbreitetes Format konvertiert), c) alle kommentierten Einzelbilder samt grafischen Markierungen und d) die in HTML umgewandelten XML Daten der Bericht(e) gespeichert. In der HTML Datei werden alle Einzeldaten (PDF, Clips, Einzelbilder) übersichtlich und leicht navigierbar zusammengefaßt. Ferner besteht über die Schnittstellen 14 die Möglichkeit einzelne Bilder oder gesamte Sequenzen bzw. den gesamten Film mit DiCOM-fähigen PACS Systemen auszutauschen.The previously examined examination data can be transmitted via the interfaces 14 be processed in a simple way as finished examination reports eg in MS Word format. There is the possibility of the automatic output of the findings texts with all relevant individual images, including the comments noted on these images in a report of findings as well as the complete examination data on data media (CD, DVD). For the transmission of examination data on data carrier (later also directly eg by email or download) first one or more reports are generated. When generating the report, the relevant data of the / are generated as a PDF and analogously as an XML structure. On the data medium now a) the PDF, b) the complete video-files of the corresponding clips (possibly converted into a common format), c) all annotated single images with graphic markings and d) the HTML-converted XML data the report ( e) stored. In the HTML file, all individual data (PDF, clips, single images) are summarized clearly and easily navigable. There is also the interfaces 14 the possibility of individual pictures or entire To exchange sequences or the entire film with DiCOM-enabled PACS systems.

Zwischen dem medizinischen Gerät 40 und der Einrichtung 10 werden nur Bild- bzw. Videodaten ausgetauscht. Die hierzu nötige Datenverbindung kann über einen Optokoppler galvanisch getrennt werden. Somit ist bereits eine wichtige Voraussetzung für die Zulassung zum Einsatz der Einrichtung 10 im medizinischen Umfeld gegeben. Eine weitere Voraussetzung ist, dass der Betrieb der Einrichtung nicht direkt am Patienten erfolgt. Da der Aufzeichnungsstart/Stopp auch über eine Fernsteuerung möglich ist bzw. z. B. durch den Fußschalter 13 erfolgt, kann die Einrichtung gar in einem anderen Zimmer, d.h. nicht dem Untersuchungsraum betrieben werden. Dies erleichtert nicht nur die medizinische Zulassung, sondern ermöglicht gleichzeitig den Einsatz günstiger Standard-PC-Hardware.Between the medical device 40 and the facility 10 only image or video data is exchanged. The data connection required for this purpose can be galvanically separated via an optocoupler. Thus, already an important prerequisite for the approval of the use of the device 10 given in the medical environment. Another requirement is that the operation of the device does not occur directly on the patient. Since the recording start / stop is also possible via a remote control or z. B. by the footswitch 13 If necessary, the device can even be operated in another room, ie not in the examination room. This not only facilitates medical approval, but also allows the use of inexpensive standard PC hardware.

Das System der Einrichtung 10 arbeitet in mehrschichtigen System auf Basis des Microsoft.net-Frameworks. Durch eine derart strikte Trennung der Prozesslogik von Userinterface und Datenhaltung nach dem Dreischichtenprinzip wird eine hohe Flexibilität erzielt. Dieser Schichtaufbau ist beispielhaft in 4 dargestellt.The system of the device 10 works in a multi-layered system based on the Microsoft.net framework. Such a strict separation of the process logic of user interface and data management according to the three-layer principle results in a high level of flexibility. This layer structure is exemplary in 4 shown.

Dadurch wird ebenso der kostengünstige Einsatz von auf embedded-Standardhardware ermöglicht. Auch wird dadurch eine Kompatibilität zur verbreiteten Ultraschallgeräten ohne teure Zusatzmodule möglich sowie eine transparente Ablage der Daten in Datenbanken. Auch sind diese Systeme in PACS-Systeme integrierbar, weil lediglich ein nahtloser Austausch der Untersuchungsdaten via eines DiCOM Standards notwendig ist.Thereby is also the cost-effective use from to embedded standard hardware. It also becomes one compatibility to the widespread ultrasound devices possible without expensive additional modules and a transparent storage of the data in databases. Also are these systems can be integrated into PACS systems because only one seamless Exchange of examination data via a DiCOM standard necessary is.

Die spezielle Ausführungsform der vorliegenden Erfindung wurde oben als sog. „Appliance" beschrieben, die aus einem embedded System besteht, welches als tragbarer „Videorekorder" für medizinische Bewegtbilder dienen kann, welche anschließend mit diesem Gerät kommentiert und danach mit einem PACS-Server oder einem anderen System weiterverarbeitet werden. Jedoch ist es auch denkbar, die Einrichtung als ein Modul auszugestalten, welches nahtlos in ein vorhandenes Softwarepaket zur Befundung von beispielsweise Einzelbildern, wie sie bereits bekannt sind, eingebettet werden kann und somit dieses vorhandene Angebot um die Fähigkeit zur bequemen Dokumentation von Bewegtuntersuchungen erweitert. Auch ist das Szenarium „Einzelsystem" denkbar, wobei die Einrichtung ein eigenständiges Produkt bildet, welches in Praxen und Kliniken gleichermaßen für eine Erleichterung der täglichen Arbeit mit Bewegtbildern sorgt und dabei auch in PACS oder anderen Systemen integriert werden kann. Mit anderen Worten könnte die Einrichtung in ein bestehendes Ultraschallgerät und dessen Software integriert werden.The special embodiment The present invention has been described above as so-called "Appliance", which consists of an embedded System exists as a portable "video recorder" for medical Can serve moving pictures, which then comments with this device and then further processed with a PACS server or other system become. However, it is also conceivable to use the device as a module design, which seamlessly into an existing software package for the diagnosis of, for example, single images as they already are are known, can be embedded and thus this existing Offer for the ability extended for convenient documentation of moving examinations. Also is the scenario "single system" conceivable, with the Establishment an independent Product forms, which in practices and clinics alike for a relief the daily Working with moving pictures and doing so in PACS or others Systems can be integrated. In other words, the Device integrated into an existing ultrasound device and its software become.

Weiterhin beschränkt sich die vorliegende Erfindung selbstverständlich nicht auf Ultraschallgeräte, wie es bereits oben erwähnt wurde, sondern ist auf eine Vielzahl anderer medizinischer Geräte anwendbar, wie beispielsweise endoskopische Geräte oder anderen medizinische Geräte, bei denen Bewegtbilder aufgenommen und kommentiert bzw. dokumentiert und befundet werden müssen.Farther limited Of course, the present invention is not limited to ultrasound machines, such as it already mentioned above but is applicable to a variety of other medical devices, such as endoscopic devices or other medical Equipment, in which recorded moving images and commented or documented and have to be diagnosed.

Claims (15)

Einrichtung zur Annotierung von Bewegtbildern im medizinischen Bereich, mit einer Einleseeinrichtung zum Einlesen von durch ein medizintechnisches Gerät erzeugten, aufgezeichneten Video-Daten, und/oder einer Aufzeichnungseinrichtung zum Aufzeichnen von durch ein medizintechnisches Gerät erzeugten und ausgegebenen Video-Daten, wobei die Annotiereinrichtung ferner umfasst: eine Bearbeitungseinrichtung zum Integrieren von Anmerkungen in die Video-Daten, eine Speichereinrichtung zum Speichern der kommentierten Video-Daten, und eine Schnittstelle, um einen Zugriff auf die oder eine Ausgabe der kommentierten Video-Daten zu gestatten.Device for annotating motion pictures in the medical field, with a read-in device for Importing recorded by a medical device, recorded Video data, and / or a recording device for recording by a medical device Device generated and output video data, the annotating device further includes: a processing facility for integrating annotations into the video data, a memory device for storing the annotated video data, and an interface to one Access to or output of annotated video data to allow. Einrichtung nach Anspruch 1, bei der die Bearbeitungseinrichtung zum Integrieren von Anmerkungen in die Video-Daten dient nach dem die Video-Daten aufgezeichnet wurden.Device according to claim 1, wherein the processing device to integrate annotations into the video data is used after the the video data was recorded. Einrichtung nach einem der Ansprüche 1 oder 2, bei der die Anmerkungen über Symbole, graphische Veränderungen, Text und/oder Audioaufnahmen erfolgen.Device according to one of claims 1 or 2, in which the comments on symbols, graphic changes, Text and / or audio recordings are made. Einrichtung nach einem der vorstehenden Ansprüche, ferner umfassend eine Einrichtung zum Integrieren von Anmerkungen in die Video-Daten während die Video-Daten aufgezeichnet werden.Device according to one of the preceding claims, further comprising means for integrating annotations into the Video data during the video data will be recorded. Einrichtung nach Anspruch 4, bei der die Anmerkungen über Audiaufnahmen und/oder durch Setzen eines Markers erfolgen.Apparatus according to claim 4, wherein the annotations are via audio recordings and / or by setting a marker. Einrichtung nach einem der vorstehenden Ansprüche, bei der die Anmerkungen in Form eines Layers in die Video-Daten integriert werden.Device according to one of the preceding claims, in which integrates the annotations in the form of a layer in the video data become. Einrichtung nach Anspruch 6, bei der mehrere Anmerkungs-Layer übereinander legbar sind.Apparatus according to claim 6, wherein a plurality of annotation layers are superimposed are legible. Einrichtung nach einem der vorstehenden Ansprüche, ferner umfassend eine Einrichtung zum Aufbereiten der aufgenommenen und/oder bearbeiteten Video-Daten, so dass diese zur Archivierung in einem PACS-System über die Schnittstelle ausgebbar sind.Apparatus according to any one of the preceding claims, further comprising means for rendering the recorded and / or edited video data such that it is archived in ei PACS system can be output via the interface. Einrichtung nach einem der vorstehenden Ansprüche, bei der die Bearbeitungseinrichtung zum Integrieren von Anmerkungen in Einzelbilder der Video-Daten, Videosequenzen der Video-Daten und/oder die gesamten eingelesenen Video-Daten geeignet ist.Device according to one of the preceding claims, in the editing device for integrating annotations in frames of the video data, video sequences of the video data and / or all the video data read in is. Einrichtung nach einem der vorstehenden Ansprüche, bei der über die Schnittstelle während der Aufzeichnung der Video-Daten und/oder danach ein Zugriff auf die Daten möglich ist.Device according to one of the preceding claims, in the over the interface during the Recording the video data and / or thereafter accessing the Data possible is. Einrichtung nach einem der vorstehenden Ansprüche ferner umfassend eine Steuerungseinrichtung zur Steuerung der Aufzeichnungseinrichtung durch Fußsteuerung, Tastatursteuerung, Kopplung an vorhandene Steuereinrichtungen, Sprachsteuerung durch Spracherkennung und/oder automatische Steuerung durch Szenenerkennung.Device according to one of the preceding claims further comprising a control device for controlling the recording device by foot control, Keyboard control, coupling to existing control devices, voice control by speech recognition and / or automatic control by scene detection. Einrichtung nach einem der vorstehenden Ansprüche, bei der die Einrichtung in das Medizinische Gerät integriert ist.Device according to one of the preceding claims, in the device is integrated into the medical device. Einrichtung nach einem der Ansprüche 1 bis 11, ferner umfassend eine Schnittstelle über die die Einleseeinrichtung und/oder Aufzeichnungseinrichtung mit dem Video-Ausgang eines medizinischen Geräts verbindbar ist.Device according to one of claims 1 to 11, further comprising an interface over which the read-in device and / or recording device with connectable to the video output of a medical device. Einrichtung nach Anspruch 13, ferner umfassend eine Anzeigeinrichtung und eine Eingabeeinrichtung.The device of claim 13, further comprising Display device and an input device. Einrichtung nach Anspruch 13 oder 14, bei der die Bearbeitungseinrichtung auf einem austauschbaren Speichermedium gespeichert ist.Device according to claim 13 or 14, wherein the Machining device on an exchangeable storage medium is stored.
DE102005025903A 2005-06-06 2005-06-06 Device for annotating motion pictures in the medical field Ceased DE102005025903A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102005025903A DE102005025903A1 (en) 2005-06-06 2005-06-06 Device for annotating motion pictures in the medical field
PCT/EP2006/005294 WO2006131277A1 (en) 2005-06-06 2006-06-02 System for diagnosing, commenting, and/or documenting moving images in the medical field

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102005025903A DE102005025903A1 (en) 2005-06-06 2005-06-06 Device for annotating motion pictures in the medical field

Publications (1)

Publication Number Publication Date
DE102005025903A1 true DE102005025903A1 (en) 2006-12-28

Family

ID=36790926

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102005025903A Ceased DE102005025903A1 (en) 2005-06-06 2005-06-06 Device for annotating motion pictures in the medical field

Country Status (2)

Country Link
DE (1) DE102005025903A1 (en)
WO (1) WO2006131277A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2063374A1 (en) 2007-11-13 2009-05-27 how to organize GmbH Device and method for documenting medical data
EP2091047A1 (en) 2008-02-14 2009-08-19 ORT Medienverbund GmbH Group ware method for commenting a video

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8171411B1 (en) 2008-08-18 2012-05-01 National CineMedia LLC System and method for delivering content in a movie trailer
EP4345754A1 (en) 2022-09-27 2024-04-03 Erbe Elektromedizin GmbH Method and system for assisting evaluation of a video-assisted medical intervention procedure

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4138188A1 (en) * 1991-11-15 1993-05-19 Rolf Nowak Image storage method for medical diagnostic images - storing data in memory and referencing data to verbal image descriptions and patient information.
DE4311791A1 (en) * 1993-04-09 1994-10-13 Rodenstock Instr Method of video image archiving
WO2000033231A2 (en) * 1998-11-25 2000-06-08 Nexsys Electronics Medical network system and method for transfer of information
WO2004010696A2 (en) * 2002-07-23 2004-01-29 Accenture Global Services Gmbh Distributed community of multimedia metadata extraction agents
US20040078236A1 (en) * 1999-10-30 2004-04-22 Medtamic Holdings Storage and access of aggregate patient data for analysis
WO2004059536A2 (en) * 2002-12-20 2004-07-15 International Business Machines Coporation System and method for annotating multi-modal characteristics in multimedia documents

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600775A (en) * 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US5920317A (en) * 1996-06-11 1999-07-06 Vmi Technologies Incorporated System and method for storing and displaying ultrasound images
US6546405B2 (en) * 1997-10-23 2003-04-08 Microsoft Corporation Annotating temporally-dimensioned multimedia content
US7119814B2 (en) * 2001-05-18 2006-10-10 Given Imaging Ltd. System and method for annotation on a moving image
US20040237032A1 (en) * 2001-09-27 2004-11-25 David Miele Method and system for annotating audio/video data files
US20050097451A1 (en) * 2003-11-03 2005-05-05 Cormack Christopher J. Annotating media content with user-specified information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4138188A1 (en) * 1991-11-15 1993-05-19 Rolf Nowak Image storage method for medical diagnostic images - storing data in memory and referencing data to verbal image descriptions and patient information.
DE4311791A1 (en) * 1993-04-09 1994-10-13 Rodenstock Instr Method of video image archiving
WO2000033231A2 (en) * 1998-11-25 2000-06-08 Nexsys Electronics Medical network system and method for transfer of information
US20040078236A1 (en) * 1999-10-30 2004-04-22 Medtamic Holdings Storage and access of aggregate patient data for analysis
WO2004010696A2 (en) * 2002-07-23 2004-01-29 Accenture Global Services Gmbh Distributed community of multimedia metadata extraction agents
WO2004059536A2 (en) * 2002-12-20 2004-07-15 International Business Machines Coporation System and method for annotating multi-modal characteristics in multimedia documents

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
42219191
LIN,CHING-YUNG, u.a.: "Video Collaborative Anr Forum: Establishing Ground-Truth Labels on Large Multimedia Datasets". Im Internet: www-nlpir.nist. gov/projects/tvpubs/tvpapers03/ibm.final2.paper. pdf
LIN,CHING-YUNG, u.a.: "Video Collaborative Anr Forum: Establishing Ground-Truth Labels on Large Multimedia Datasets". Im Internet: www-nlpir.nist.gov/projects/tvpubs/tvpapers03/ibm.final2.paper. pdf *
MARTINEZ,R. u.a.: "Desing of multimedia global PACS distributed computing environment". In: Pro- ceedings of the Twenty-Eighth Hawaii Internation- al Conference on System Sciences, 1995, Vol.3, 3.-6.Jan. 1995, S.461-469 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2063374A1 (en) 2007-11-13 2009-05-27 how to organize GmbH Device and method for documenting medical data
EP2063371A1 (en) 2007-11-13 2009-05-27 how to organize GmbH Device and method for documenting medical data
US10114928B2 (en) 2007-11-13 2018-10-30 Karl Storz Se & Co. Kg Method and device for documenting medical data
EP2091047A1 (en) 2008-02-14 2009-08-19 ORT Medienverbund GmbH Group ware method for commenting a video

Also Published As

Publication number Publication date
WO2006131277A1 (en) 2006-12-14

Similar Documents

Publication Publication Date Title
DE102005004383B4 (en) Method and device for controlling an imaging modality
DE102005028873B4 (en) Method for conducting an examination and diagnostic device therefor
DE19781691B4 (en) Computerized Eye Patient Examination and Medical Practice Management System
DE10257743B4 (en) Device for determining perfusion in a tissue region and blood flow through individual blood vessels
DE3510131C2 (en)
DE10156215A1 (en) Process for processing medically relevant data
DE102012202447B4 (en) Structured image-based generation of findings
DE10328874A1 (en) Method and system to facilitate selection of stored medical images
DE102006043172A1 (en) A method for evaluating the behavior of users of a digital Bildinformationenssysstems
EP3451211A1 (en) Method and control device for controlling a medical imaging system
DE10349649B3 (en) A method and apparatus for generating an annotated image in a sterile work area of a medical facility
CN112434652A (en) Intelligent visual operation record editing method and system
DE102005025903A1 (en) Device for annotating motion pictures in the medical field
DE102007056432B4 (en) Optimized display of medical images on a large display
DE102007012784A1 (en) Method for data exchange between medical devices
DE102009018875B4 (en) Method for the supported recording and / or evaluation of images to be recorded and / or recorded with an image recording device, image recording device and data carrier
DE102007056420B4 (en) Emergency conception when using a large-scale display
DE112014004519T5 (en) Image display control device, associated operation method and image display control program
DE102006020028A1 (en) Protocol selection system for e.g. Microsoft platform, has input module inputting procedure data, and protocol selection module selecting protocol based on procedure data such as patient name and procedure name
DE10125504B4 (en) Method and computer system for workflow management
DE10031779A1 (en) Medical system architecture with a device for capturing and reproducing current photographic images or image sequences
DE19932964B4 (en) Process for processing object-related image data and object-related information data and device for image acquisition
DE102007011421A1 (en) A method of facilitating a follow-up of an examination or treatment of a patient by means of an imaging examination device
DE102007043730B3 (en) Patient's medical-technical image data sets providing method for radiology-information system, involves providing thick-layer data to picture archiving and communication system and providing thin-layer data to application server for client
DE102009007075B4 (en) Workflow-dependent creation of a patient CD

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8131 Rejection