DE10254914A1

DE10254914A1 - Medical system for evaluation of medical image data, especially image data, by a number of distributed diagnosing personnel, with the variance of the findings automatically calculated based on the variation between individuals

Info

Publication number: DE10254914A1
Application number: DE10254914A
Authority: DE
Inventors: Volker Dr. Schmidt; Siegfried Dr. Schneider; Hans-Dieter Schüll; Gudrun Dr. Zahlmann
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2002-11-25
Filing date: 2002-11-25
Publication date: 2004-06-17

Abstract

Method for automatic determination of the variance in grading and diagnosis of medical results. According to the method medical data is entered via two capture modules (4, 6) and distributed to evaluating personnel for grading or diagnosis. Based on the degree of agreement between different graders a medical diagnosis or finding is generated with an associated variance based on the degree of concurrence between the individual graders. The method can be expanded to access and classify different graders according to the degree of success of their diagnoses.

Description

Die vorliegende Erfindung betrifft ein System zur automatischen Erfassung der Varianz bei der Befundung und/oder Diagnosestellung auf Basis medizinischer Daten, insbesondere medizinischer Bilder, mit einer Übergabeschnittstelle für den Erhalt der medizinischen Daten und einer Einrichtung zur automatischen Verteilung der medizinischen Daten über ein Netzwerk an Befunder zur Befundung und/oder Diagnosestellung mit einem ersten Erfassungsmodul, das für die Verteilung der gleichen medizinischen Daten mit einer vorgebbaren Häufigkeit an mehrere der Befunder ausgebildet ist, und/oder einem zweiten Erfassungsmodul, das für die Verteilung zusätzlicher medizinischer Daten mit einer vorgebbaren Häufigkeit an einen oder mehrere der Befunder ausgebildet ist, die bereits in der Vergangenheit vom jeweils gleichen Befunder beurteilt wurden oder aus einer Musterfall-Datenbank stammen.The present invention relates to a system for the automatic recording of the variance in the diagnosis and / or diagnosis based on medical data, in particular medical images, with a delivery interface for the Obtaining medical data and an automatic facility Distribution of medical data over a network to finders for diagnosis and / or diagnosis with a first registration module, the for the Distribution of the same medical data with a predefinable one frequency to several of the finders, and / or a second Acquisition module that for the distribution of additional medical Data with a predeterminable frequency to one or more of the finders who are already trained have been assessed in the past by the same assessor or come from a sample case database.

Die Kombination von vernetzten Anwendungen mit Gesundheitsversorgungsprozessen ermöglicht in der Zukunft eine Vielzahl neuer und verbesserter Dienste für Patienten und Erbringer von Gesundheitsleistungen. Gerade zur effizienten Behandlung chronischer Erkrankungen, die für einen großen Teil der im Gesundheitswesen anfallenden Kosten verantwortlich sind, sind Informationen über den Gesundheitszustand des Patienten erforderlich, die sich aus verschiedenen und örtlich verteilten Quellen zusammen setzen. In gleicher Weise sind bei der Behandlung derartiger Erkrankungen auch unterschiedliche Experten oder Befunder an unterschiedlichen Orten beteiligt. Durch vernetzte Anwendungen lassen sich die Daten zwischen diesen einzelnen Stationen zusammenführen und effizient nutzen. So ist bspw. aus electromedica 67 (1999) Heft 1, Seiten 23–26 eine Internet-basierte Plattform für telemedizinische Anwendungen bekannt, die diese Anforderung erfüllt. Die darin ein gesetzte Informations- und Kommunikationsplattform vernetzt alle am Gesundheitswesen beteiligten Partner – Patienten, niedergelassene Ärzte, Kliniken und Krankenkassen. Das Ziel ist es, durch Arbeits- und Resourcenteilung, praxisübergreifende Ablauforganisation und Qualitätsmanagement medizinische Leistung qualitativ hochwertig und effizient zu erbringen. Die verbesserte Kommunikation mit anderen Fachdisziplinen und Versorgungsstellen spielt hierbei eine wesentliche Rolle.The combination of networked applications with healthcare processes will enable one in the future A variety of new and improved services for patients and providers of Health services. Especially for the efficient treatment of chronic Diseases for a big part health care costs, are information about the patient's state of health required, resulting from different and local put together distributed sources. In the same way Different experts also treat such diseases or finders involved in different places. Through networked Applications can view the data between these individual stations bring together and use efficiently. For example, from electromedica 67 (1999) booklet 1, pages 23-26 an internet-based platform for telemedical applications known that meets this requirement. The one set in it Information and communication platform networks everyone in the healthcare sector involved partners - patients, resident doctors, Clinics and health insurance companies. The goal is through work and Resource sharing, cross-practice Process organization and quality management to provide medical services of high quality and efficiently. Improved communication with other specialist disciplines and supply points plays an essential role in this.

Zur Kontrolle und Überwachung der Qualität eines derartigen Modells der medizinischen Leistungserbringung, die für die Sicherstellung einer hochwertigen medizinischen Leistungsversorgung erforderlich sind, müssen bei vernetzten Anwendungen spezielle Instrumente eingesetzt werden. So ist aus electromedica 69 (2001) Heft 2, Seiten 91–94 bekannt, derartigen vernetzten Anwendungen ein Qualitätssicherungsnetzwerk zu überlagern, in dem auf Grundlage von Richtlinien Prozessergebnisse gegen klar definierte Parameter gemessen und in regelmäßigen Abständen Qualitätsberichte erstellt werden. Zur Bestimmung der inter-individuellen und intra-individuellen Variabilität bei der Befundung medizinischer Daten stellt der Kommunikationsserver hierbei für Qualitätssicherungszwecke spezielle Fälle aus einer Datenbank mit Goldstandardfällen bzw. einer Beurteiler-spezifischen Falldatenbank ein. Aus dem Vergleich der erhaltenen Befundungen mit den bereits vorliegenden Befundungen zu den gleichen Daten können Aussagen über die Qualität des Befunders getroffen werden. Ein derartiges Verfahren ist jedoch derzeit noch relativ zeit- und arbeitsaufwendig.For control and monitoring the quality of a such a model of medical service provision, which is used for ensuring high quality medical care is required are, must special instruments are used in networked applications. It is known from electromedica 69 (2001) Issue 2, pages 91-94, to superimpose a quality assurance network on such networked applications, in which based on guidelines process results against clear defined parameters are measured and quality reports are created at regular intervals. to Determination of the inter-individual and intra-individual variability in the The communication server provides medical data for quality assurance purposes special cases from a database with gold standard cases or an appraiser-specific Case database. From a comparison of the findings obtained With the existing findings on the same data, statements about the quality of the finder. However, such a method is currently still relatively time-consuming and labor-intensive.

Ausgehend von diesem Stand der Technik besteht die Aufgabe der vorliegenden Erfindung darin, ein System zur Erfassung der Varianz bei der Befundung und/oder Diagnosestellung auf Basis medizinischer Daten anzugeben, das sich mit geringerem Zeitaufwand und damit höherer Effizienz realisieren lässt.Based on this state of the art the object of the present invention is to provide a system for detection the variance in the diagnosis and / or diagnosis based to provide medical data that takes less time and therefore higher Efficiency.

Die Aufgabe wird mit dem System gemäß Patentanspruch 1 gelöst. Vorteilhafte Ausgestaltungen des Systems sind Gegenstand der Unteransprüche oder lassen sich aus der nachfolgenden Beschreibung und den Ausführungsbeispielen entnehmen.The task is performed with the system according to claim 1 solved. Advantageous embodiments of the system are the subject of the dependent claims or can be seen from the following description and the exemplary embodiments remove.

Das vorliegende System zur Erfassung der Varianz bei der Befundung und/oder Diagnosestellung auf Basis medizinischer Daten umfasst eine Übergabeschnittstelle für den Erhalt der medizinischen Daten, bspw. aus einer angeschlossenen Datenbank oder über ein Netzwerk. Die Daten können hierbei auch direkt von der Datenerfassungsstelle, bspw. einem niedergelassenen Arzt oder einer Klinik kommen. Das System umfasst eine Einrichtung zur automatischen Verteilung der erhaltenen medizinischen Daten über ein Netzwerk an Befunder zur Befundung und/oder Diagnosestellung. Unter Befunder sind hierbei die Personen, in der Regel Ärzte, zu verstehen, die zur Befundung der entsprechenden medizinischen Daten speziell ausgebildet sind. Diese Befunder werden vom System verwaltet bzw. einer angeschlossenen Datenbank entnommen. Die Verteilung der medizinischen Daten kann hierbei durch direkte Übermittlung über das Netzwerk oder durch Bereitstellung in einem entsprechenden Speicherbereich, bspw. auf einem Server, erfolgen, auf den die einzelnen Befunder Zugriff haben. Die Befunder erstellen hierbei den Befund und/oder die Diagnose auf Basis der medizinischen Daten und übermitteln das nach vorgegebenen formellen Regeln erstellte Ergebnis an das System. Das System umfasst ein erstes Erfassungsmodul, das für die Verteilung der gleichen medizinischen Daten mit einer vorgebbaren Häufigkeit an mehrere Befunder ausgebildet ist, und/oder ein zweites Erfassungsmodul, das für die Verteilung zusätzlicher medizinischer Daten mit einer vorgebbaren Häufigkeit an einen oder mehrere Befunder ausgebildet ist, wobei diese zusätzlichen medizinischen Daten in der Vergangenheit von dem jeweils gleichen Befunder beurteilt, d. h. befundet und/oder diagnostiziert, wurden oder aus einer speziell angelegten Musterfall-Datenbank stammen. Das erste Erfassungsmodul weist hierbei eine Auswerteeinheit auf, die aus den über das Netzwerk erhaltenen Befundungen und/oder Diagnosen der Befunder zumindest einen vom Grad der Übereinstimmung der Befundungen und/oder Diagnosen der gleichen medizinischen Daten abhängigen numerischen Wert berechnet. Das zweite Erfassungsmodul weist in gleicher Weise eine zweite Auswerteeinheit auf, die aus den über das Netzwerk erhaltenen Befundungen und/oder Diagnosen der Befunder und einer früheren Beurteilung der gleichen medizinischen Daten durch den gleichen Befunder bzw. einer Beurteilung der medizinischen Daten aus der Musterfall-Datenbank zumindest einen vom Grad der Übereinstimmung abhängigen numerischen Wert berechnet. Aus den auf diese Weise erhaltenen numerischen Werten lassen sich je nach durchgeführtem Vergleich Aussagen über die Zuverlässigkeit eines Befunders, die Qualität der Befundungen und/oder Diagnosen eines Befunders oder die Zuverlässigkeit einer Befundung oder Diagnose selbst treffen.The present system for recording the variance in the diagnosis and / or diagnosis based on medical data comprises a transfer interface for receiving the medical data, for example from a connected database or via a network. The data can also come directly from the data collection point, for example a resident doctor or a clinic. The system comprises a device for the automatic distribution of the medical data received via a network of findings for diagnosis and / or diagnosis. Finders are to be understood here as people, usually doctors, who are specially trained to diagnose the corresponding medical data. These findings are managed by the system or taken from a connected database. The distribution of the medical data can take place by direct transmission over the network or by provision in a corresponding memory area, for example on a server, to which the individual finders have access. In this case, the finder creates the finding and / or the diagnosis on the basis of the medical data and transmits the result, which has been created in accordance with predetermined formal rules, to the system. The system comprises a first acquisition module, which is designed for the distribution of the same medical data with a predeterminable frequency to a number of findings, and / or a second acquisition module, which is designed for the distribution of additional medical data with a predefinable frequency to one or more findings , whereby these additional medical data have been assessed in the past by the same finder and / or diagnosed, or came from a specially created sample case database. The first acquisition module has an evaluation unit that calculates at least one numerical value depending on the degree of agreement of the findings and / or diagnoses of the same medical data from the findings and / or diagnoses of the finders received via the network. In the same way, the second recording module has a second evaluation unit, which derives from the findings and / or diagnoses of the findings received via the network and an earlier assessment of the same medical data by the same findings or an assessment of the medical data from the sample case database calculated at least one numerical value depending on the degree of correspondence. Depending on the comparison carried out, the numerical values obtained in this way can be used to make statements about the reliability of a report, the quality of the findings and / or diagnoses of a report or the reliability of a report or diagnosis itself.

Mit dem vorliegenden System lässt sich somit die Varianz der Befundung und/oder Diagnosestellung auf Basis medizinischer Daten, insbesondere digitaler medizinischer Bilder, in einem vernetzten medizinischen Leistungssystem messen, so dass Aussagen hinsichtlich der Reproduzierbarkeit oder der Streuung der Ergebnisse getroffen werden können. Die Erfassung der Varianz erfolgt hierbei automatisch, so dass der Zeit- und Arbeitsaufwand vernachlässigbar ist. Durch die automatisierte und effiziente Erfassung lässt sich ein hoher Qualitätsstandard erreichen.With the present system you can thus the variance of the diagnosis and / or diagnosis based medical data, especially digital medical images, measure in a networked medical performance system, making statements with regard to the reproducibility or the spread of the results can be hit. The variance is recorded automatically, so that the Time and effort is negligible. Through the automated and efficient detection a high quality standard to reach.

Das System lässt sich in bekannte Routinebefundungsprozesse integrieren, um die intra- und interindividuelle Variabilität zu erfassen. In besonderen nachfolgend erläuterten Ausführungsformen des Systems können Alarmfunktionen vorgesehen sein, die eine erhebliche Abweichung von einem vorgegebenen Qualitätsstandard anzeigen. Weiterhin kann eine automatisierte Bewertung stattfinden, in wieweit eine Streuung einer Befundung oder Diagnose zu unterschiedlichen klinischen Konsequenzen führt und damit relevant oder vernachlässigbar ist.The system can be integrated into known routine diagnosis processes integrate to capture intra- and inter-individual variability. In particular, explained below embodiments of the system Alarm functions can be provided that have a significant deviation of a given quality standard Show. Furthermore, an automated evaluation can take place to what extent a spread of a diagnosis or diagnosis is different leads to clinical consequences and therefore relevant or negligible is.

In einer Weiterbildung des vorliegenden Systems sind die Auswerteeinheiten derart ausgebildet, dass sie Teilergebnissen der Befundungen oder Diagnosen nach einem vorgegebenen Schlüssel spezielle numerische Werte, im Folgenden zur Unterscheidung zu dem berechneten numerischen Wert als erste numerische Werte bezeichnet, in Abhängigkeit vom Inhalt des jeweiligen Teilergebnisses zuordnen. Der Schlüssel berücksichtigt vorzugsweise die Bedeutung bzw. Tragweite von Unterschieden in den Teilergebnissen, so dass bei Unterschieden mit großer Bedeutung eine größere Differenz zwischen der ersten numerischen Werte erhalten wird als bei Unterschieden mit geringerer Bedeutung. Zusätzlich können den einzelnen Teilergebnissen über einen weiteren Schlüssel Gewichtungsfaktoren zugeordnet werden, die bei der Berechnung des numerischen Wertes einfließen.In a further development of the present Systems, the evaluation units are designed such that they Partial results of the findings or diagnoses according to a given key special numerical values, in the following to distinguish it from the calculated numerical value referred to as first numerical values, depending on Assign the content of the respective partial result. The key is taken into account preferably the meaning or scope of differences in the partial results, so that when there are differences of great importance, a bigger difference is obtained between the first numerical values than for differences of lesser importance. In addition, the individual partial results another key Weighting factors are assigned, which are used in the calculation of the numerical value.

Die Berechnung des numerischen Wertes als Maß für die Übereinstimmung von Befundungen und/oder Diagnosen erfolgt in einer Ausführungsform der vorliegenden Systems durch eine Summierung über die Differenzen der ersten numerischen Werte der einzelnen Teilergebnisse, ggf. multipliziert mit den jeweiligen Gewichtungsfaktoren.The calculation of the numerical value as Measure of agreement of findings and / or diagnoses takes place in one embodiment of the present system by summing the differences of the first numerical values of the individual partial results, multiplied if necessary with the respective weighting factors.

Vorzugsweise umfasst das vorliegende System eine Konfigurationseinheit, über die der Benutzer die Häufigkeit der Verteilung der zusätzlichen medizinischen Daten an einen Befunder und/oder die Häufigkeit der Verteilung medizinischer Daten an mehrere Befunder vorgeben kann. In einer weiteren Ausbildung dieser Konfigurationseinheit sind zusätzliche Eingabemöglichkeiten vorgesehen, über die der Benutzer weitere Parameter festlegen kann, wie bspw. den Zeitraum, über den bereits befundete medizinische Daten als zusätzliche Daten ausgewählt werden.Preferably the present comprises System a configuration unit through which the user the frequency the distribution of additional medical data to a finder and / or frequency Specify the distribution of medical data to multiple reviewers can. In a further embodiment of this configuration unit are additional input options provided about which the user can set further parameters, such as the Period, over the medical data already found are selected as additional data.

Das vorliegende System umfasst für die Auswahl der Befunder, denen zusätzliche medizinische Daten vorgelegt werden, sowie für die Auswahl der zusätzlichen medizinischen Daten vorzugsweise einen Zufallsgenerator.The present system includes for selection the finder who additional medical data are presented, as well as for the selection of additional medical data preferably a random number generator.

In einer Weiterbildung des vorliegenden Systems umfassen die Auswerteeinheiten eine Einrichtung, die die berechneten numerischen Werte daraufhin überprüft, ob sie innerhalb vorgegebener Grenzwerte liegen. Bei Überschreitung eines speziell vorgebbaren Schwellwertes, der eine deutliche Qualitätsunterschreitung anzeigt, wird eine Alarmmitteilung an eine entsprechend vorgesehene Qualitätsüberwachungsstelle, insbesondere an einen Supervisor, übermittelt.In a further development of the present Systems include the evaluation units a device that the The calculated numerical values are checked to see if they are within the specified range Limit values. If exceeded a threshold value that can be specified in advance, which is clearly below the quality displays, an alarm message is sent to a correspondingly provided Quality inspection agency, in particular to a supervisor.

Als Algorithmen, die in der Auswerteeinheit zur Berechnung des numerischen Wertes für den Grad der Übereinstimmung eingesetzt werden, können Auswertealgorithmen auf Basis von neuronalen Netzen, Fuzzy Logic, causal probabilistischen Netzen, einfacher Logik oder anderen mathematischen Verfahren zum Einsatz kommen. Durch diese Auswertealgorithmen wird bewertet, ob die Variabilität in der Befundung der medizinischen Daten innerhalb eines tolerablen Rahmens liegt. Weiterhin werden durch Befunder-spezifische Auswertung Schwachstellen einzelner Befunder aufgezeigt. Ein tolerabler Rahmen in der Streuung der Befunde oder Diagnosen kann über unterschiedliche Wege definiert werden. Bspw. kann vorgegeben werden, wie weit die Ergebnisse bei der Befundung der gleichen medizinischen Daten durch den gleichen Befunder auseinander liegen dürfen. So kann bspw. bei der Beurteilung eines medizinischen Bildes festgelegt werden, dass bei Befundung des gleichen Bildes durch den gleichen Befunder zumindest 8 von 10 aufgefundenen möglichen Läsionen gleich sein müssen.As algorithms in the evaluation unit for Calculation of the numerical value for the degree of agreement can be used Evaluation algorithms based on neural networks, fuzzy logic, causal probabilistic networks, simple logic or other mathematical procedures are used. These evaluation algorithms evaluate whether the variability in diagnosing medical data within a tolerable range Frame. Furthermore, by evaluator-specific evaluation Weaknesses of individual findings identified. A tolerable framework in the spread of the findings or diagnoses can be defined in different ways become. For example. can be specified how far the results in the same medical data being diagnosed by the same Finders may be apart. For example, when assessing a medical image be that when the same image is diagnosed by the same Finders must have at least 8 out of 10 possible lesions found the same.

Eine weitere Möglichkeit besteht im Einsatz von Expertensystemen zur Festlegung der entsprechenden Grenzwerte. Diese Expertensysteme modellieren die Domäne, d. h. die einzelnen möglichen Teilergebnisse bei den speziellen medizinischen Daten, inkl. Diagnosen und Kosten, um die Größe von Abweichungen festzustellen, die zu anderen Diagnosen, Therapien oder Kosten führen, und legen auf dieser Basis die tolerablen Grenzwerte fest. Eine weitere Möglichkeit besteht im Einsatz selbst lernender Systeme, die an den Musterfällen der Musterfall-Datenbank geeicht werden.Another option is to use Expert systems to determine the corresponding limit values. This Expert systems model the domain, i. H. the individual possible partial results for special medical data, including diagnoses and costs, about the size of deviations determine which lead to other diagnoses, therapies or costs, and on this basis determine the tolerable limit values. Another possibility consists in the use of self-learning systems based on the model cases of Sample case database can be calibrated.

Mit dem vorliegenden System lässt sich die Varianz-Messung auch in den laufenden medizinischen Routinebefundungsprozess integrieren. Insbesondere lässt sich das vorliegende System in vernetzten Anwendungen einsetzen, wie sie in den Veröffentlichungen der Beschreibungseinleitung beschrieben sind.With the present system you can the variance measurement also in the ongoing medical diagnosis process integrate. In particular, lets the present system is used in networked applications, as in the publications the introduction to the description.

Das vorliegende System wird nachfolgend anhand von Ausführungsbeispielen in Verbindung mit der Figur nochmals beispielhaft erläutert.The present system is described below of embodiments explained in connection with the figure again as an example.

Die Figur zeigt hierbei ein Beispiel für den schematischen Aufbau des vorliegenden Systems. Die medizinischen Daten 10, die zur Befundung anstehen, werden über eine Übergabeschnittstelle 1 einer Einrichtung 2 zur Verteilung der medizinischen Daten an Befunder 12 zugeführt. Die Einrichtung 2 hat Zugriff auf eine Datenbank 3, in der die Befunder 12 verwaltet werden. Nach Auswahl der für die jeweiligen medizinischen Daten geeigneten Befunder werden diese Daten an den oder die ausgewählten Befunder 12 verteilt, von denen die Daten über das Netzwerk 13 abgerufen werden können. Die Befunder 12 beurteilen daraufhin die ihnen zugeteilten medizinischen Daten 10 und stellen einen Befund aus, der über das Netzwerk 13 rückübermittelt wird. Zumindest ein Teil der auf diese Weise befundeten medizinischen Daten wird in einer Datenbank 9 zusammen mit dem Befund und dem Befunder 12 abgespeichert.The figure shows an example of the schematic structure of the present system. The medical data 10 that are pending, are transferred via a transfer interface 1 a facility 2 for the distribution of medical data to finders 12 fed. The facility 2 has access to a database 3 in which the finder 12 to get managed. After the selection of the suitable findings for the respective medical data, these data are sent to the selected findings 12 distributed, of which the data over the network 13 can be accessed. The finder 12 then assess the medical data assigned to them 10 and issue a finding that is across the network 13 is returned. At least part of the medical data found in this way is stored in a database 9 together with the finding and the finding 12 stored.

Das beispielhafte System umfasst im vorliegenden Fall ein erstes Erfassungsmodul 4 sowie ein zweites Erfassungsmodul 6, die jeweils erste und zweite Auswerteeinheiten 5 und 7 aufweisen. Das erste Erfassungsmodul 4 sorgt dafür, dass mit einer vorgebbaren Häufigkeit einzelne medizinische Daten nicht nur einem, sondern mehreren Befundern 12 zugeführt werden.In the present case, the exemplary system comprises a first acquisition module 4 and a second registration module 6 , the first and second evaluation units 5 and 7 exhibit. The first registration module 4 ensures that individual medical data with a predeterminable frequency is not just one but several findings 12 are fed.

Die dann zurück übermittelten Befunde werden mit der Auswerteeinheit 5 verarbeitet, um einen den Grad der Übereinstimmung angebenden numerischen Wert zu berechnen. Die Häufigkeit, mit der einzelne medizinische Daten an mehrere Befunder 12 übermittelt werden, wird von einem Benutzer 15 über eine Konfigurationseinheit 14 vorgegeben.The findings then transmitted back are processed with the evaluation unit 5 processed to calculate a numerical value indicating the degree of match. The frequency with which individual medical data are sent to several reports 12 will be submitted by a user 15 via a configuration unit 14 specified.

Das zweite Erfassungsmodul 6 sorgt dafür, dass neben den über die Übergabeschnittstelle 1 erhaltenen medizinischen Daten mit einer vorgegebenen Häufigkeit auch zusätzliche medizinische Daten 11 an einzelne Befunder 12 verteilt werden. Diese zusätzlichen medizinischen Daten 11 werden entweder aus der Datenbank 9 mit den bereits befundeten Daten entnommen und jeweils dem gleichen Befunder 12 zugeführt, der sie bereits in der Vergangenheit beurteilt hat, oder aus einer Musterfall-Datenbank 8, vorzugsweise einer Goldstandard-Datenbank, entnommen. Diese Musterfall-Datenbank 8 enthält ausgewählte Musterfälle, deren Befund eindeutig ist und zusammen mit den zusätzlichen medizinischen Daten ebenfalls in der Datenbank 8 enthalten ist. Nach dem Erhalt des zugehörigen Befundes durch einen der Befunder 12 wird dieser Befund durch die Auswerteeinheit 7 entsprechend mit dem bereits vorliegenden Befund verglichen und daraus ein numerischer Wert für den Grad der Übereinstimmung berechnet. Die Häufigkeit der Einschleusung zusätzlicher medizinischer Daten durch das Erfassungsmodul 6 wird auch hier durch einen Benutzer 15 über die Konfigurationseinheit 14 vorgegeben.The second registration module 6 ensures that in addition to the via the transfer interface 1 received medical data with a predetermined frequency also additional medical data 11 to individual findings 12 be distributed. This additional medical data 11 are either from the database 9 with the data already found and taken from the same report 12 fed, who has already assessed them in the past, or from a sample case database 8th , preferably from a gold standard database. This sample case database 8th contains selected sample cases, the finding of which is clear and together with the additional medical data also in the database 8th is included. After receiving the related finding from one of the finders 12 is this finding by the evaluation unit 7 correspondingly compared with the already existing finding and a numerical value for the degree of agreement is calculated therefrom. The frequency of the introduction of additional medical data by the acquisition module 6 is also here by a user 15 via the configuration unit 14 specified.

In der Figur ist weiterhin ein Zufallsgenerator 16 dargestellt, der für eine zufällige Auswahl der Befundern 12 sowie der zusätzlichen medizinischen Bilder 11 eingesetzt wird, anhand derer die Varianz gemessen wird.In the figure there is also a random generator 16 shown for a random selection of the findings 12 and the additional medical images 11 is used, on the basis of which the variance is measured.

Im vorliegenden Beispiel, das sich auf die Befundung von medizinischen Bildern, bspw. Röntgenbildern oder Kernspinaufnahmen, bezieht, können durch die Konfigurationseinheit 14 folgende Werte festgelegt werden:In the present example, which relates to the diagnosis of medical images, for example X-ray images or magnetic resonance images, the configuration unit can 14 the following values can be set:

- The number of images obtained from the routine process, which are branched off to the diagnosis for quality assurance, ie in the database 9 be filed;
- the Percentage of images presented again to the same findings become;
- the time interval in which the images are again the same findings be presented;
- the Percentage of images given to multiple reviewers;
- the Type of images that a reporter receives;
- the origin of the images, from routine operation (the database 9 ) or from a gold standard database 8th ;
- the Communication paths for all participants in the system;
- alarm limits and alarm situations.

Die Alarmgrenzen- und Situationen repräsentieren Grenzwerte, die von den berechneten numerischen Werten nicht über- bzw. unterschritten werden dürfen, wenn ein bestimmter Qualitätsstandard aufrechterhalten werden soll. Bei einer Über- oder Unterschreitung der Grenzwerte, die durch die Auswerteeinheiten 7 und 5 erkannt wird, erfolgt eine Aktivierung einer Alarmeinheit 17, die entsprechend eine Mitteilung an einen Supervisor des Systems sendet, der daraufhin umgehend Maßnahmen in die Wege leiten kann.The alarm limits and situations represent limit values that the calculated numerical values must not exceed or fall below if a certain quality standard is to be maintained. If the limit values are exceeded or undershot by the evaluation units 7 and 5 an alarm unit is activated 17 , which sends a message to a system supervisor, who can then take immediate action.

Selbstverständlich werden die berechneten numerischen Werte dokumentiert, so dass entsprechende Berichte erstellt oder die Ergebnisse über bestimmte Zeiträume hinweg durch das System direkt graphisch dargestellt werden können.Of course, the calculated ones Numerical values are documented so that appropriate reports can be created or the results can be directly graphically represented by the system over certain periods.

Die Arbeitsweise der zweiten Erfassungseinrichtung 6 mit der integrierten Auswerteeinheit 7 wird nachfolgend anhand des beispielhaften Anwendungsgebietes der diabetischen Retinopathie nochmals erläutert. Für den Test der intra-individuellen Variabilität werden von der zweiten Erfassungseinrichtung 6 Bilder ausgewählt, die vom gleichen Befunder in der Vergangenheit bereits einmal befundet wurden. Dieser Test wird so mit eingesetzt, um die Zuverlässigkeit der Arbeitsweise eines Befunders hinsichtlich der Befundung zu überprüfen. Der Unterschied in den dabei erhaltenen Befundungen ist ein Maß für diese Zuverlässigkeit. Die Berechnung der Unterschiede erfolgt durch die Auswerteeinheit 7 vollautomatisch. Über die Konfigurationseinheit 14 kann vorgegeben werden, mit welcher Häufigkeit eine derartige Überprüfung bei einem Befunder vorgenommen wird. Vernünftige Werte liegen bei 1 – 10% der gesamten durch den Befunder zu befundenden medizinischen Daten.The operation of the second detection device 6 with the integrated evaluation unit 7 is explained again below using the exemplary application area of diabetic retinopathy. For the test of intra-individual variability, the second recording device 6 Images selected that have already been diagnosed by the same person in the past. This test is used in order to check the reliability of the way an assessor works with regard to the assessment. The difference in the findings obtained is a measure of this reliability. The evaluation unit calculates the differences 7 fully automatic. Via the configuration unit 14 The frequency with which such a check is carried out for a report can be specified. Reasonable values are 1 - 10% of the entire medical data to be found by the finder.

Ein weiterer Faktor bei diesem Test ist der Zeitraum, aus dem die zusätzlichen Bilder stammen. Die Bilder sollten nicht zu aktuell sein, damit sich der Befunder nicht daran erinnert. Auf der anderen Seite sollten sie auch nicht zu lange zeitlich zurück liegen, da sich die Erfahrung des Befunders in der Regel mit der Zeit vergrößert und somit die Ergebnisse zwangsläufig zuverlässiger werden. Praktikable Zeiträume liegen, je nach Menge der durch den Befunder regelmäßig befundeten Bilder, zwischen einer Woche und einem Jahr.Another factor in this test is the period from which the additional images originate. The Images should not be too up-to-date so that the findings are not reminded of that. On the other hand, they shouldn't either back in time because the experience of the findings is usually related to the Time enlarged and hence the results inevitably reliable become. Practical periods lie, depending on the amount of findings regularly found by the finder Pictures, between a week and a year.

Für die Berechnung eines den Grad der Übereinstimmung der jeweiligen Befunde repräsentierenden numerischen Wertes können Algorithmen eingesetzt werden. Diese Algorithmen können beliebig gewonnen sein, z.B. auf Fuzzy Logic, neuronale Netze, bayes'sche Verfahren o.a. basieren.For the calculation of a the degree of agreement of each Findings numerical value Algorithms are used. These algorithms can be arbitrary won, e.g. on fuzzy logic, neural networks, Bayesian methods, etc. based.

Ein Beispiel eines einfachen Algorithmus, der eingesetzt werden kann, folgt: Der Befund enthält eine Reihe von Teilergebnissen, d. h. elementaren Feststellungen, und ihre vorgegebenen Kennungen, beispielsweise Worte oder Wortfolgen. Die Kennungen werden in der Regel aus einer vorgegebenen Liste für jedes Teilergebnis gewählt. Um Unterschiede berechnen zu können, wird jeder Kennung der Liste ein (erster) numerischer Wert zugeordnet. Im vorliegenden Fall werden diese numerischen Werte so gewählt, dass sie auch die Bedeutung der Unterschiede zwischen den einzelnen Alternativen bei der Festlegung des Teilergebnisses berücksichtigen. Im vorliegenden Beispiel kann das berechnete Ergebnis eines Vergleichs, d. h. der mit der Auswerteeinheit 7 berechnete numerische Wert eine Zahl zwischen 0 – bei identischem Ergebnis – und 100 – beim größtmöglichen Unterschied – sein. Hierzu werden folgende Beispiele angeführt:
Für das Vorliegen von Mikroaneurysmen kommen die Alternativen „keine", „fraglich" und „definitiv" in Frage. Diesen drei Alternativen können die numerischen Werte 0, 50 und 100 zugeordnet werden, wenn dem Unterschied zwischen „keine" und „fraglich" die gleiche Bedeutung zukommt wie dem Unterschied zwischen „fraglich" und „definitiv". Wird dem Unterschied zwischen „fraglich" und „definitiv" eine größere Bedeutung zugeordnet als dem Unterschied zwischen „keine" und „fraglich", so können bspw. die Werte 0, 10 und 100 zugeordnet werden, so dass der erstgenannte Unterschied etwa 10-fach höher bewertet wird als der letztgenannte Unterschied.An example of a simple algorithm that can be used follows: The finding contains a number of partial results, ie elementary findings, and their predefined identifiers, for example words or word sequences. The identifiers are usually selected from a given list for each partial result. To be able to calculate differences, each identifier in the list is assigned a (first) numerical value. In the present case, these numerical values are chosen such that they also take into account the meaning of the differences between the individual alternatives when determining the partial result. In the present example, the calculated result of a comparison, ie that with the evaluation unit 7 calculated numerical value should be a number between 0 - with the same result - and 100 - with the greatest possible difference. The following examples are given:
For the presence of microaneurysms, the alternatives "none", "questionable" and "definitely" come into question. These three alternatives can be assigned the numerical values 0, 50 and 100 if the difference between "none" and "questionable" is the same The meaning is as important as the difference between "questionable" and "definitive". If the difference between "questionable" and "definitive" is assigned a greater meaning than the difference between "none" and "questionable", the values 0, 10 can be used, for example and 100 are assigned, so that the first-mentioned difference is valued approximately 10 times higher than the last-mentioned difference.

In gleicher Weise werden den Alternativen für das Vorliegen von Hämorrhagien „nein", „ja – ohne Clusterhämorrhagien" und „ja – Clusterhämorrhagien" bspw. die Werte 0, 80 und 100 oder die Werte 0, 20 und 100 zugeordnet, je nachdem, welcher Unterschied in der Befundung als gravierender angesehen wird.In the same way, the alternatives for the present of hemorrhages "no", "yes - without cluster hemorrhages" and "yes - cluster hemorrhages", for example the values 0, 80 and 100 or assigned the values 0, 20 and 100, depending on which difference in the findings is considered to be more serious.

Entsprechendes gilt für die Feststellung des Vorliegens von HE (harte Exsudate) mit den Optionen „keine", „innerhalb eines temporalen Bogens", „außerhalb", „beide" mit den numerischen Werten 0, 90, 90 und 100, wenn die Detektion der HE wichtiger ist als die Unterscheidung zwischen "innerhalb" und "außerhalb" oder mit den Werten 0, 90, 20, 100, wenn die Erfassung von innerhalb der Temporale liegenden HE sehr wichtig ist.The same applies to the determination the presence of HE (hard exudates) with the options "none", "within of a temporal arch "," outside "," both "with the numerical Values 0, 90, 90 and 100 if the detection of the HE is more important as the distinction between "inside" and "outside" or with the values 0, 90, 20, 100 if the acquisition is from within the temporal HE is very important.

Die einzelnen Teilergebnisse, d. h. das Vorliegen von Mikroaneurysmen, das Vorliegen von Hämorrhagien sowie das Vorliegen von HE werden zusätzlich mit Gewichtungsfaktoren von 0,2, 0,5 und 0,3 versehen, um deren Wichtigkeit für den Befund bei der Auswertung zu berücksichtigen.The individual partial results, i.e. H. the presence of microaneurysms, the presence of hemorrhages and the presence of HE are additionally weighted of 0.2, 0.5 and 0.3 to indicate their importance for the finding to be taken into account in the evaluation.

Mit einer derartigen Zuordnung von numerischen Werten und Gewichtungsfaktoren zu einzelnen Kennungen, d. h. den möglichen Optionen bei Teilergebnissen, sowie den Teilergebnissen, kann dann von der Auswerteeinheit der die Qualität bzw. den Grad der Übereinstimmung der Befunde repräsentierende numerische Wert in folgender Weise berechnet werden. Hierbei sei angenommen, dass der erste Befund keine Mikroaneurysmen, das Vorliegen von Hämorrhagien ohne Clusterhämorrhagien sowie das Vorliegen von HE außerhalb umfasst, während der zweite Befund das Vorliegen von Mikroaneurysmen als fraglich bezeichnet, das Vorliegen von Hämorrhagien mit Clusterhämorrhagien bejaht und das Vorliegen von HE außerhalb feststellt.With such an assignment of numerical values and weighting factors for individual identifiers, d. H. the possible Options for partial results, as well as the partial results, can then from the evaluation unit to the quality or degree of agreement representing the findings numerical value can be calculated in the following way. Here is assumed that the first finding was no microaneurysms, the presence of haemorrhages without cluster hemorrhages and the presence of HE outside includes while the second finding that the presence of microaneurysms is questionable, the presence of hemorrhages with cluster hemorrhages affirmed and determines the presence of HE outside.

Je nach Gewichtung bzw. Zuordnung der numerischen Werte, wie sie vorangehend beispielhaft für zwei unterschiedliche Wertungen angegeben wurden, ergibt sich als numerischer Wert 1:
(50 – 0) × 0, 2 + (100 – 80) × 0, 5 + (90 – 90) × 0, 3 = 20
sowie als numerischer Wert 2:
(10 – 0) × 0, 2 + (100 – 20) × 0, 5 + (20 – 20) × 0, 3 = 42.Depending on the weighting or assignment of the numerical values, as given above for two different ratings, the numerical value is 1:
(50-0) × 0.2 + (100-80) × 0.5 + (90-90) × 0.3 = 20
and as a numerical value 2:
(10-0) × 0.2 + (100-20) × 0.5 + (20-20) × 0.3 = 42.

Die unterschiedlichen Werte sind hierbei auf die unterschiedliche Wertung von Unterschieden in der Befundung zurück zu führen, die durch Vorgabe der zugeordneten Werte festgelegt wird.The different values are here to trace back the different valuation of differences in the diagnosis, which is determined by specifying the assigned values.

Für einen Test der inter-individuellen Variabilität lässt sich die gleiche Vorgehensweise, d. h. die gleiche Zuordnung von Werten zu Einzelergebnissen sowie der gleiche Auswertealgorithmus wählen. Der Unterschied besteht lediglich darin, dass dem Befunder diesmal nicht von ihm bereits befundete Bilder, sondern Bilder aus einer Goldstandard-Datenbank 8 vorgelegt werden. Die Befundung dieser Bilder ist eindeutig und bspw. durch mehrere Experten über eine Expertengruppe bestätigt. Der Unterschied in den Befundungen stellt dann ein Maß für die Qualität der Arbeit des jeweiligen Befunders dar.The same procedure, ie the same assignment of values to individual results and the same evaluation algorithm can be selected for a test of the inter-individual variability. The only difference is that this time the finder did not find images that he had already found, but images from a gold standard database 8th be presented. The diagnosis of these images is clear and confirmed, for example, by several experts via an expert group. The difference in the findings then represents a measure of the quality of the work of the respective assessor.

Claims

System for the automatic recording of the variance in the diagnosis and / or diagnosis based on medical data, in particular medical images, with - a transfer interface ( 1 ) for the receipt of medical data ( 10 ) and - a facility ( 2 ) for the automatic distribution of medical data ( 10 . 11 ) over a network ( 13 ) to finders ( 12 ) for diagnosis and / or diagnosis with - a first registration module ( 4 ), which is used for the distribution of the same medical data ( 10 ) with a predeterminable frequency to several of the findings ( 12 ) and / or - a second detection module ( 6 ), which is used for the distribution of additional medical data ( 11 ) with a predeterminable frequency to one or more of the findings ( 12 ) who has been trained by the same person in the past ( 12 ) were assessed or from a sample case database ( 8th ), characterized in that the first acquisition module ( 4 ) a first evaluation unit ( 5 ) includes from across the network ( 13 ) Findings and / or diagnoses of the findings received ( 12 ) at least one of the degree of agreement of the findings and / or diagnoses of the same medical data ( 10 ) dependent numerical value, and / or that the second acquisition module ( 6 ) a second evaluation unit ( 7 ) includes from across the network ( 13 ) Findings and / or diagnoses of the findings received ( 12 ) and an earlier assessment of the additional medical data ( 11 ) by the same findings in each case ( 12 ) or an assessment of the additional medical data ( 11 ) from the sample case database ( 8th ) calculates at least one numerical value depending on the degree of correspondence.

System according to claim 1, characterized in that the first ( 5 ) and / or second evaluation unit ( 7 ) with several partial results within a diagnosis and / or diagnosis according to a given key, assigning each partial result a first numerical value depending on the content of the partial result and calculating the numerical value dependent on the degree of agreement on the basis of the first numerical values.

System according to claim 2, characterized in that the key the meaning of differences in the content of the partial results big or small differences between the assigned first numeric Values taken into account.

System according to claim 2 or 3, characterized in that the first ( 5 ) and / or second evaluation unit ( 7 ) assigns a weighting factor to the individual partial results according to a given key.

System according to one of claims 1 to 4, characterized in that a configuration unit ( 14 ) is provided, via which a user ( 15 ) the frequency of distribution of additional medical data ( 11 ) and / or the frequency of distribution of the same medical data ( 10 ) to several of the findings ( 12 ) and their number.

System according to one of claims 1 to 5, characterized in that a random generator (16) is provided which the findings ( 12 ) to which additional medical data ( 11 ) and / or the additional medical data ( 11 ) selects.

System according to one of claims 1 to 6, characterized in that the first ( 5 ) and / or second evaluation unit ( 7 ) is designed in such a way that it checks whether a predefined threshold value is exceeded or undershot by the calculated numerical value, and an alarm unit (if exceeded or undershot) ( 17 ) activated, the exceeding or falling below a user ( 15 ) or supervisor.