DE102020211843A1 - Verfahren und Vorrichtung zur Analyse von Histopathologiebilddaten - Google Patents

Verfahren und Vorrichtung zur Analyse von Histopathologiebilddaten Download PDF

Info

Publication number
DE102020211843A1
DE102020211843A1 DE102020211843.4A DE102020211843A DE102020211843A1 DE 102020211843 A1 DE102020211843 A1 DE 102020211843A1 DE 102020211843 A DE102020211843 A DE 102020211843A DE 102020211843 A1 DE102020211843 A1 DE 102020211843A1
Authority
DE
Germany
Prior art keywords
image data
histopathology image
histopathology
his1
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020211843.4A
Other languages
English (en)
Inventor
Sven Kohle
Svenja Lippok
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers Ag De
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Priority to DE102020211843.4A priority Critical patent/DE102020211843A1/de
Priority to US17/474,142 priority patent/US20220092774A1/en
Priority to CN202111105587.9A priority patent/CN114255462A/zh
Publication of DE102020211843A1 publication Critical patent/DE102020211843A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

Bereitgestellt werden Verfahren sowie Systeme zur Analyse von Histopathologiebilddaten. Bereitgestellt wird insbesondere ein Verfahren zum Bereitstellen einer Ähnlichkeitsinformation bezüglich verschiedener Histopathologiebilder eines Patienten mit den Schritten:- Bereitstellen von ersten Histopathologiebilddaten, die auf einer Gewebeprobe beruhen, die einem Patienten zu einem ersten Zeitpunkt entnommen wurde;- Bereitstellen von zweiten Histopathologiebilddaten, die auf einer Gewebeprobe beruhen, die dem Patienten zu einem zweiten von dem ersten verschiedenen Zeitpunkt entnommen wurde;- Analysieren, mit einem Bildverarbeitungsalgorithmus, der ersten Histopathologiebilddaten und der zweiten Histopathologiebilddaten auf eine Ähnlichkeit zwischen wenigstens einem einen pathologischen Befund indizierenden Bereich aus dem ersten Histopathologiebilddaten und wenigstens einem einen pathologischen Befund indizierenden Bereich aus den zweiten Histopathologiebilddaten; sowie- Bestimmen einer Ähnlichkeitsinformation basierend auf dem Schritt des Analysierens; und- Bereitstellen der Ähnlichkeitsinformation.

Description

  • Die vorliegende Erfindung betrifft Verfahren und Vorrichtungen zur Analyse von Histopathologiebilddaten. Insbesondere betrifft die vorliegende Erfindung Verfahren und Vorrichtung zur Analyse verschiedener Histopathologiebilddaten auf Ähnlichkeiten.
  • Die Analyse von Gewebeproben mit Methoden der Histopathologie ist ein zentrales Element in der Krebsdiagnostik. Dabei werden einem Patienten Gewebeproben aus einem Körperbereich entnommen, in dem möglicherweise eine krankhafte Veränderung vorliegt. Aus einer Gewebeprobe werden typischerweise mehrere Sektionen oder Blöcke gewonnen, welche dann in mikrometerdünne Gewebeschnitte geschnitten werden. Um mögliche Gewebsveränderung besser erkennen oder überhaupt erst quantifizieren zu können, werden die Gewebeschnitte mit einer histopathologischen Färbung angefärbt. Die Analyse dieser gefärbten Gewebeschnitte unter dem Mikroskop durch eine Pathologin oder einen Pathologen lässt dann Aussagen über möglicherweise krankhafte Veränderungen des feingeweblichen Aufbaus des untersuchten Gewebes zu.
  • Histopathologische Untersuchungen sind sehr arbeitsintensiv. Neben der Gewebeprobenentnahme als solcher erfordern sie die Präparation der Gewebeschnitte, einschließlich dem Schneiden, Fixieren und Färben der Gewebeschnitte. Dabei ist zu beachten, dass pro Gewebeprobe typischerweise eine Vielzahl an Sektionen und daraus präparierter Gewebeschnitte analysiert werden muss.
  • Um das medizinische Personal zu entlasten, wurden in den letzten Jahrzehnten deshalb immer mehr dieser Arbeitsvorgänge automatisiert und digitalisiert. So werden in modernen Laboren oftmals bereits computergesteuerte Präparations- und Färbeautomaten eingesetzt. Zudem werden die gefärbten Gewebeschnitte für die weitere Verwendung heutzutage meist digitalisiert. Hierfür werden spezialisierte Scanner, sog. Slide Scanner verwendet. Das dabei aufgenommene Bild wird auch als „Whole Slide Image“ bezeichnet. Die so gewonnen Histopathologiebilddaten werden dann von einer Pathologin oder einem Patholgen an einer digitalen Befundungsstation gesichtet und analysiert.
  • Während viele Prozesse histopathologischer Workflows durch die fortschreitende Digitalisierung verbessert und beschleunigt werden können, ist die Befundung als solche - obzwar an einer digitalen Befundungsstation durchgeführt - eine Angelegenheit, bei der die Pathologin bzw. der Pathologe immer noch weitgehend auf das eigene Urteilsvermögen angewiesen ist. Zudem stellt bereits ein Histopathologiebilddatensatz zu einer Gewebeprobe eine große Datenmenge dar. So ist bereits die Größe einzelner Histpathologiebilder vergleichsweise umfangreich. Dies liegt daran, dass Histopathologiebilder einerseits einen Überblick über den gesamten Gewebeschnitt ermöglichen sollten, und andererseits eine ausreichende Auflösung aufweisen müssen, um das Betrachten einzelner Zellen zu ermöglichen. Zudem weist ein Histopathologiebilddatensatz typischerweise nicht nur ein Einzelbild zu einem Gewebeschnitt und einer Sektion auf, sondere mehrere Einzelbilder verschiedener Gewebeschnitte aus der Gewebeprobe, die typischerweise verschiedenen Sektionen entstammen und mit verschiedenen histopathologischen Färbungen eingefärbt wurden. Die Befundung wird zusätzlich dadurch erschwert, dass Histopathologiebilddaten inhärent inhomogen sind, was deren Quantifizierung und reproduzierbare Klassifizierung deutlich verkompliziert. Ähnlich komplex sind die Fragestellungen, die bei der Befundung adressiert werden müssen. Neben der grundsätzlichen Frage, ob eine krankhafte Veränderung vorliegt, ist häufig z.B. eine Aussage zu treffen, ob eine Gewebeveränderung neu entstanden ist oder ob es sich um ein Wiederauftreten einer anamnestisch bekannten Erkrankung handelt.
  • All dies und die Tragweite histopathologischer Befunde für die Behandlung eines Patienten hat bisher einen wirksamen und flächendeckenden Einsatz automatisierter Befundungsroutinen basierend auf den digitalisierten Bilddaten weitgehend verhindert. Dies hat zur Folge, dass Patholgen aufgrund der fortschreitenden Automatisierung der vorgeschalteten Prozesse mit einer immer größer werdenden Arbeitslast konfrontiert sind, aber bei der eigentlichen Befundung weitgehend auf sich alleine gestellt sind. Aufgrund der stetig wachsenden Datenmengen ist es zudem zunehmend schwierig, alle verfügbaren Informationen einzubeziehen und bei der Beurteilung eines Falles zu berücksichtigen.
  • Es ist daher eine Aufgabe der vorliegenden Erfindung, Verfahren und Vorrichtungen bereitzustellen, die einen Nutzer bei der Befundung von digitalen Histopathologiebilddaten unterstützen.
  • Gemäß der Erfindung wird die gestellte Aufgabe mit einem Verfahren, einer Vorrichtung, einem Computerprogrammprodukt bzw. einem computerlesbaren Speichermedium gemäß dem Hauptanspruch und den nebengeordneten Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben.
  • Nachstehend wird die erfindungsgemäße Lösung der Aufgabe sowohl in Bezug auf die beanspruchten Vorrichtungen als auch in Bezug auf die beanspruchten Verfahren beschrieben. Hierbei erwähnte Merkmale, Vorteile oder alternative Ausführungsformen sind ebenso auch auf die anderen beanspruchten Gegenstände zu übertragen und umgekehrt. Mit anderen Worten können die gegenständlichen Ansprüche (die beispielsweise auf eine Vorrichtung gerichtet sind) auch mit den Merkmalen, die in Zusammenhang mit einem Verfahren beschrieben oder beansprucht sind, weitergebildet sein. Die entsprechenden funktionalen Merkmale des Verfahrens werden dabei durch entsprechende gegenständliche Module ausgebildet.
  • Weiterhin wird die erfindungsgemäße Lösung der Aufgabe sowohl in Bezug auf Verfahren und Vorrichtungen zur Visualisierung eines dreidimensionalen Körpers als auch in Bezug auf Verfahren und Vorrichtungen zum Anpassen von trainierten Funktionen beschrieben. Hierbei können Merkmale und alternative Ausführungsformen von Datenstrukturen und/oder Funktionen bei Verfahren und Vorrichtungen zur Bestimmung auf analoge Datenstrukturen und/oder Funktionen bei Verfahren und Vorrichtungen zum Anpassen übertragen werden. Analoge Datenstrukturen können hierbei insbesondere durch die Verwendung der Vorsilbe „Trainings“ gekennzeichnet sein. Weiterhin können die in Verfahren und Vorrichtungen zur Analyse von Histopathologiebilddaten verwendeten trainierten Funktionen insbesondere durch Verfahren und Vorrichtungen zum Anpassen von trainierten Funktionen angepasst worden und/oder bereitgestellt worden sein.
  • Gemäß einer Ausführungsform der Erfindung wird ein Computerimplementiertes Verfahren zum Bereitstellen einer Ähnlichkeitsinformation bezüglich verschiedener Histopathologiebilddaten eines Patienten bereitgestellt. Das Verfahren weist mehrere Schritte auf. Ein Schritt ist auf das Bereitstellen von ersten Histopathologiebilddaten gerichtet. Die ersten Histopathologiebilddaten beruhen auf einer Gewebeprobe, die einem Patienten zu einem ersten Zeitpunkt entnommen wurde. Ein weiterer Schritt ist auf das Bereitstellen von zweiten Histopathologiebilddaten gerichtet. Die zweiten Histopathologiebilddaten beruhen auf einer Gewebeprobe, die dem Patienten zu einem zweiten von dem ersten verschiedenen Zeitpunkt entnommen wurde. Ein weiterer Schritt ist auf das Bestimmen einer Ähnlichkeitsinformation mit einem Bildverarbeitungsalgorithmus basierend auf den ersten und zweiten Histopathologiebilddaten gerichtet. Die Ähnlichkeitsinformation weist eine Angabe bezüglich einer Ähnlichkeit zwischen wenigstens einem einen pathologischen Befund indizierenden Bereich in den ersten Histopathologiebilddaten und wenigstens einem einen pathologischen Befund indizierenden Bereich in den zweiten Histopathologiebilddaten auf. Ein weiterer Schritt ist auf das Bereitstellen der Ähnlichkeitsinformation gerichtet.
  • Erste und zweite Histopathologiebilddaten sind Bilddatensätze, die ein oder mehrere insbesondere zweidimensionale Einzelbilder aufweisen können. Ein anderer Ausdruck für die ersten Histopathologiebilddaten ist erster Histopathologiebilddatensatz. Ein anderer Ausdruck für die zweiten Histopathologiebilddaten ist zweiter Histopathologiebilddatensatz. Das Einzelbild oder die Einzelbilder können jeweils Pixelbilder sein. Das Einzelbild oder die Einzelbilder bilden jeweils einen Gewebeschnitt ab, der aus einer Gewebeprobe des Patienten präpariert wurde. Sind in einem Histopathologiebilddatensatz mehrere Gewebeschnitte abgebildet, können alle diese Gewebeschnitte aus derselben Gewebeprobe präpariert worden sein. Alle Bilddaten in den ersten Histopathologiebilddaten können damit auf Grundlage einer Gewebeprobe erzeugt worden sein und alle Bilddaten in dem zweiten Histopathologiebilddaten können auf Grundlage einer anderen/weiteren Gewebeprobe erzeugt worden sein. Die beiden Gewebeproben können beide demselben Patienten entnommen worden sein, und zwar insbesondere dem gleichen oder wenigstens einem ähnlichen anatomischen Zielbereich des Patienten, allerdings zu unterschiedlichen Zeitpunkten. Zwischen den Zeitpunkten können beispielsweise Tage, Monate oder Jahre sowie diverse medizinische Behandlungen des Patienten liegen.
  • Die Präparation der Gewebeschnitte aus den Gewebeproben kann das Präparieren einer Sektion aus der Gewebeprobe umfassen (beispielsweise mit einem Stanzwerkzeug), welche Sektion in mikrometerdünne Schichten, den Gewebeschnitten, geschnitten wird. Ein anderes Wort für Sektion ist Block oder Stanze. Die in einem Histopathologiebilddaten abgebildeten Gewebeschnitte können dabei insbesondere aus verschiedenen Sektionen aus derselben Gewebeprobe gewonnen worden sein. Bei mikroskopischer Betrachtung können die Einzelbilder der Histopathologiebilddaten den feingeweblichen Aufbau der Gewebeprobe und insbesondere die Zellstruktur bzw. die in der Gewebeprobe enthaltenen Zellen zeigen. Bei Betrachtung auf einer größeren Längenskala können die Einzelbilder einen Überblick über die Gewebestruktur und Gewebedichte zeigen.
  • Die Präparation der Gewebeschnitte umfasst ferner das Färben der Gewebeschnitte mit einer histopathologischen Färbung. Das Färben kann dabei dazu dienen, verschiedene Strukturen in dem Gewebeschnitt, wie z.B. Zellwände oder Zellkerne, hervorzuheben oder eine medizinische Indikation, wie z.B. ein Zellproliferationslevel, zu prüfen. Für verschiedene Zwecke werden dabei verschiedene histopathologische Färbungen verwendet. Insbesondere können alle in einem Histopathologiebilddatensatz enthaltenen Einzelbilder Gewebeschnitte abbilden, die mit derselben histopathologischen Färbung gefärbt worden sind. Alternativ können die in einem Histopathologiebilddatensatz enthaltenen Einzelbilder Gewebeschnitte abbilden, die mit verschiedenen histopathologischen Färbungen gefärbt worden sind.
  • Zur Erzeugung der Histopathologiebilddaten werden die gefärbten Gewebeschnitte digitalisiert bzw. gescannt. Die Gewebeschnitte werden dazu mit einer geeigneten Digitalisierungsstation, wie beispielsweise einem sog. Whole Slide Scanner abgebildet, der bevorzugt den gesamten auf einem Objektträger gezogenen Gewebeschnitt scannt und in ein Pixelbild umwandelt. Um die Farbwirkung durch die histopathologische Färbung zu erhalten, sind die Pixelbilder bevorzugt Farb-Pixelbilder. Da bei der Befundung sowohl der Gesamteindruck des Gewebes als auch die feinaufgelöste Zellstruktur von Belang ist, weisen die in den Histopathologiebilddaten enthaltenen Einzelbilder typischerweise eine sehr große Pixelauflösung auf. Die Datengröße eines Einzelbildes kann typischerweise mehrere Gigabyte betragen. Die digitalisierten Aufnahmen der Gewebeschnitte können ggf. zu einem Histopathologiebilddatensatz zusammengefasst werden. Alternativ kann auch eine einzelne Aufnahme die Histopathologiebilddaten bilden. Die Histopathologiebilddaten können digital verarbeitet werden und insbesondere in einer geeigneten Datenbank archiviert werden.
  • Neben Bilddaten können die Histopathologiebilddaten auch Metadaten enthalten, in denen beispielsweise der Zeitpunkt der Entnahme der Gewebeprobe, ein Patienten-Identifikator, eine oder mehrere verwendete histopathologische Färbungen, ein pathologischer Befund und/oder ein anatomischer Zielbereich, dem die Gewebeprobe entstammt, hinterlegt sind. Alternativ oder zusätzlich können solche Informationen in der die Histopathologiebilddaten archivierenden Datenbank oder in einer davon separaten Datenbank hinterlegt sein. Solche Datenbanken können beispielsweise Teil eines oder mehrerer medizinischer Informationssysteme sein, wie etwa Krankenhaus-Informationssysteme (Hospital Information System - HIS), Radiologie-Informationssysteme (Radiology Information System - RIS), Labor-Informationssysteme (Laboratory Information System - LIS), kardiovaskuläre Informationssysteme (Cardiovascular Information Systems - CVIS) und/oder Picture Archiving and Communicating Systems (PACS).
  • Der Ausdruck „auf einer Gewebeprobe beruhen“ kann daher in Summe bedeuten, dass die jeweiligen Histopathologiebilddaten Bilddaten aufweisen, die Gewebeschnitte zeigen, die aus der Gewebeprobe präpariert und mit einer histopathologischen Färbung gefärbt wurden.
  • ,Bereitstellen‘ kann in Bezug auf die Histopathologiebilddaten bedeuten, dass diese von einer Digitalisierungsstation für die weitere Verwendung zur Verfügung gestellt werden. Weiterhin kann bereitstellen bedeuten, dass sie von einer entsprechenden Datenbank abrufbar sind, abgerufen werden und/oder in eine Recheneinheit geladen werden oder ladbar sind, um die Histopathologiebilddaten z.B. in einer Datenverarbeitungseinrichtung ein oder mehreren Verarbeitungsschritten zu unterziehen.
  • Der Bildverarbeitungsalgorithmus kann insbesondere als Computerprogrammprodukt aufgefasst werden, das zur Bestimmung einer Ähnlichkeitsinformation durch Analyse von Bilddaten bzw. Pixelwerten der ersten und zweiten Histopathologiebilddaten ausgebildet ist. Der Bildverarbeitungsalgorithmus kann Programmbestandteile in Form einer oder mehrerer Instruktionen für einen Prozessor zur Bestimmung der Ähnlichkeitsinformation aufweisen. Bereitgestellt werden kann der Bildverarbeitungsalgorithmus beispielsweise, indem er in einer Speichereinrichtung vorgehalten wird oder in einen Arbeitsspeicher einer geeigneten Datenverarbeitungseinrichtung geladen wird oder allgemein zur Anwendung zur Verfügung gestellt wird.
  • Ein einen pathologischen Befund indizierender Bereich kann insbesondere eine oder mehrere krankhafte Veränderungen des abgebildeten Gewebes anzeigen oder nahelegen. Mit anderen Worten kann ein einen pathologischen Befund indizierender Bereich ein eine oder mehrere krankhafte Veränderungen indizierender Bereich sein. Beispielsweise kann ein einen pathologischen Befund indizierender Bereich ein oder mehrere Tumorzellen oder ein und/oder mehrere krankhafte Gewebestrukturen aufweisen. Die einen pathologischen Befund indizierenden Bereiche können in den ersten und zweiten Histopathologiebilddaten jeweils automatisch und/oder durch einen Nutzer identifiziert werden. Der Nutzer kann z.B. eine Ärztin oder ein Arzt bzw. eine Pathologin oder ein Pathologe sein.
  • Eine Ähnlichkeit zwischen einen pathologischen Befund indizierenden Bereichen kann insbesondere eine morphologische oder strukturelle Ähnlichkeit der fraglichen Bereiche sein. Beispielsweise können ähnliche Bereiche eine ähnliche Gewebestruktur, eine ähnliche Textur, ähnliche Pixel oder Farbwerte, eine ähnliche Zelldichte, eine ähnliche Zellmorphologie, ähnliche Muster und/oder weitere ähnliche Merkmale aufweisen. Der Bildverarbeitungsalgorithmus kann dazu ausgebildet sein, solche und weitere Merkmale automatisch aus den ersten und zweiten Histopathologiebilddaten zu extrahieren und zwischen den ersten und zweiten Histopathologiebilddaten zu vergleichen, um daraus ein quantitatives Maß für die Ähnlichkeit (Ähnlichkeitsmaß) zu bestimmen.
  • Die Ähnlichkeitsinformation wird basierend auf der Ähnlichkeitsanalyse erstellt. Insbesondere kann die Ähnlichkeitsinformation eine Indikation der Ähnlichkeit zwischen den einen pathologischen Befund indizierenden Bereichen aufweisen. Weiterhin kann die Ähnlichkeitsinformation eine Ähnlichkeit zwischen den einen pathologischen Befund indizierenden Bereichen angeben. Insbesondere kann die Ähnlichkeitsinformation ein quantitatives Maß für die Ähnlichkeit (Ähnlichkeitsmaß) angeben oder auf einem solchen basieren.
  • Das Bereitstellen der Ähnlichkeitsinformation kann ein Bereitstellen der Ähnlichkeitsinformation für eine beliebige weitere Verwendung umfassen. Beispielsweise kann die Ähnlichkeitsinformation einem weiteren Algorithmus zur weiteren Analyse bereitgestellt werden. Ferner kann die Ähnlichkeitsinformation für eine Archivierung in einer Datenbank bereitgestellt werden. Weiterhin kann die Ähnlichkeitsinformation einem Nutzer zur Kenntnisnahme mittels einer Nutzerschnittstelle bereitgestellt werden.
  • Durch die Bereitstellung einer Ähnlichkeitsinformation wird eine Aussage zur Verfügung gestellt, inwieweit sich krankhafte Veränderungen in den ersten und zweiten Histopathologiebilddaten ähneln. Mögliche Ähnlichkeiten werden also nicht unspezifisch in gesamten Histopathologiebilddaten gesucht, sondern spezifisch für diejenigen Bereiche, die eine krankhafte Gewebeveränderungen zeigen oder auf eine solche hindeuten. Die Erfinder haben erkannt, dass eine solche Information insbesondere für die Frage relevant sein kann, ob eine Gewebeveränderung neu aufgetreten ist, es sich also um eine neue Erkrankung handelt, oder ob es sich um ein Wiederaufflammen oder Wiederausbreiten einer anamnestisch bereits bekannten Erkrankung handelt. Ein solches Phänomen wird auch als Rezidiv bezeichnet. Es zeigt sich nämlich, dass sich Gewebeveränderungen, die auf ein Wiederaufflammen oder Wiederausbreiten einer Grunderkrankung zurückgehen, ähnliche morphologische und/oder strukturelle Merkmale aufweisen. Die automatisierte Auswertung dieser Ähnlichkeiten macht es nicht nur möglich, subtile oder versteckte Ähnlichkeiten zu entdecken, die dem menschlichen Auge verborgen bleiben können, sondern gewährleistet auch einen raschen, systematischen und erschöpfenden Vergleich der zur Verfügung stehenden Bilddaten. Vor allem Letzteres ist einem Nutzer angesichts der enormen Bildgrößen und Datenmengen ohne unterstützende Verfahren oft nicht möglich. Der Nutzer bekommt dadurch wertvolle Zusatzinformationen an die Hand, wenn es beispielsweise zu entscheiden gilt, ob z.B. ein Therapiekonzept erfolgreich war oder angepasst werden muss. Basierend auf der Identifikation eines medizinisch relevanten Parameters und dessen automatisierter Auswertung in digitalisierten Messdaten haben die Erfinder somit ein Verfahren geschaffen, das den Nutzer bei der Stellung einer medizinischen Diagnose nachhaltig unterstützt.
  • Gemäß einer Ausführungsform kann das Verfahren ferner den Schritt des Identifizierens von einen pathologischen Befund indizierenden Bereichen in den ersten und/oder zweiten Histopathologiebilddaten aufweisen.
  • Mit anderen Worten werden die für die obige Fragestellung relevanten Bereiche, also diejenigen Bereiche in den Histopathologiebilddaten, die eine krankhafte Gewebeveränderung zeigen oder indizieren, automatisch oder semi-automatisch bestimmt. Dabei können die Bereiche sowohl in den ersten Histopathologiebilddaten als auch in den zweiten Histopathologiebilddaten oder nur in einer der beiden identifiziert werden. Bei der Identifizierung kann dabei auf bereits bestehende Annotationen eines Nutzers zurückgegriffen werden, die dieser z.B. während einer früheren Befundung angelegt hat. Dazu können beispielsweise die Metadaten der entsprechenden Histopathologiebilddaten ausgewertet werden. Alternativ oder zusätzlich können jeweils die gesamten Histopathologiebilddaten neu analysiert werden. Beispielsweise kann hierfür der Bildverarbeitungsalgorithmus entsprechend ausgebildet sein, sodass die Identifikation der einen pathologischen Befund indizierenden Bereiche durch Anwenden des Bildverarbeitungsalgorithmus auf die ersten und/oder zweiten Histopathologiebilddaten vollzogen werden kann. Als weitere Alternative kann eine Nutzereingabe betreffend einen pathologischen Befund indizierender Bereiche ausgewertet werden. Beispielsweise kann der Nutzer über eine Nutzerschnittstelle einen oder mehrere Bereiche markieren, welche dann der weiteren Verarbeitung als relevante Bereiche (im Folgenden auch Interessensbereich genannt) zugrunde gelegt werden sollen.
  • Durch die Identifizierung einen pathologischen Befund indizierender Bereiche kann gezielter nach Ähnlichkeiten zwischen krankhaften Gewebeveränderungen gesucht werden. Im Ergebnis kann eine entsprechende Aussage in kürzerer Zeit und mit höherer Konfidenz bereitgestellt werden. Außerdem kann der Nutzer durch eine zumindest teil-automatisierte Auswahl relevanter Bereiche bei seiner Aufgabe, der Erstellung einer medizinischen Diagnose, weiter entlastet werden.
  • Gemäß einer Ausführungsform umfasst die Ähnlichkeitsinformation:
    • - eine Angabe ähnlicher einen pathologischen Befund indizierender Bereiche in den jeweiligen ersten und/oder zweiten Histopathologiebilddaten;
    • - ein Assistenzbild basierend auf den ersten und/oder zweiten Histopathologiebilddaten, in dem ähnliche, einen pathologischen Befund indizierende Bereiche hervorgehoben sind;
    • - eine Lageinformation ähnlicher, einen pathologischen Befund indizierender Bereiche in den ersten und/oder zweiten Histopathologiebilddaten;
    • - eine quantitative Angabe einer Ähnlichkeit ähnlicher, einen pathologischen Befund indizierender Bereiche in den jeweiligen ersten und zweiten Histopathologiebilddaten;
    • - eine Angabe darüber, ob zwischen den ersten und zweiten Histopathologiebilddaten eine Rezidiv-Beziehung besteht.
  • Durch die genannten Ähnlichkeitsinformationen werden Informationen dem Nutzer für die Analyse und Befundung von Histopathologiebilddaten relevante Informationen bereitgestellt. Durch die Angabe der Bereiche mit ähnlichen krankhaften Veränderungen wird der Nutzer gezielt auf Bereiche hingewiesen, die z.B. auf ein Wiederauftreten einer Erkrankung hindeuten könnten. Anhand der Ähnlichkeitsbereiche kann er sich selbst ein Bild von einer möglichen Ähnlichkeit zwischen krankhaften Veränderungen in aufeinanderfolgenden Gewebeproben machen. Die Bereiche können dabei durch eine Lageinformation gekennzeichnet werden, anhand derer die Bereiche z.B. in einer grafischen Darstellung in die ersten und/oder zweiten Histopathologiebilddaten eingezeichnet werden können. Die Lageinformation kann dabei beispielsweise eine Angabe von Koordinaten umfassen.
  • Daneben kann gemäß einigen Ausführungsformen eine Information über einen relativen Anteil der einen pathologischen Befund indizierenden Bereiche in den jeweiligen Histopathologiebilddaten bereitgestellt werden. Der Nutzer erhält so eine Angabe darüber, wie sich krankhafte Gewebeveränderungen über die Zeit entwickelt haben.
  • Daneben können ein oder mehrere Assistenzbilder bereitgestellt werden. Die Assistenzbilder können auf Bilddaten der ersten und/oder zweiten Histopathologiebilddaten beruhen bzw. basierend auf diesen Bilddaten gerendert sein. In den Assistenzbildern können die einen pathologischen Befund indizierenden Bereiche beispielsweise durch eine Markierung, etwa in Form eines Rahmens oder einer Maske, und/oder farblich hervorgehoben sein.
  • Dabei können in den Assistenzbildern insbesondere jeweils die, insbesondere alle, einen pathologischen Befund induzierenden Bereiche und/oder jene einen pathologischen Befund induzierenden Bereiche gekennzeichnet sein, die eine Ähnlichkeit über die Histopathologiebilddaten hinweg aufweisen. Damit erhält der Nutzer einerseits einen Überblick über sämtliche Gewebeveränderungen und bekommt andererseits Bereich aufgezeigt, die auf ein Rezidiv hindeuten. Beispielsweise können allgemein einen pathologischen Befund induzierende Bereiche mit einer Farbe gekennzeichnet sein und ähnliche Bereiche mit einer anderen.
  • Durch die optionale quantitative Angabe einer Ähnlichkeit bekommt ein Nutzer alternativ oder zusätzlich eine Aussage über den Grad der Ähnlichkeit. Er kann dadurch entscheiden welche Bereiche eine große Ähnlichkeit aufweisen und sich in der Analyse auf diese konzentrieren. Die quantitative Angabe kann als Zahlenwert bereitgestellt werden oder beispielsweise in dem Assistenzbild integriert werden (beispielsweise als Zahlenangabe oder in Form einer Farbcodierung).
  • Ferner kann die Ähnlichkeitsinformation eine Angabe über eine Rezidiv-Beziehung zwischen den ersten Histopathologiebilddaten und den zweiten Histopathologiebilddaten enthalten. Dies ist mit anderen Worten eine Angabe darüber, ob krankhafte Veränderungen, die in entweder in den ersten Histopathologiebilddaten oder den zweiten Histopathologiebilddaten sichtbar sind, in ähnlicher Weise in den jeweils anderen Histopathologiebilddaten erkennbar sind. Dies stellt damit eine Aussage darüber dar, ob eine krankhafte Veränderung auf ein Wiederaufflammen oder ein weiteres Wachstum einer bereits präsenten krankhaften Veränderung beruht. Einer Idee der Erfindung folgend, kann eine solche Aussage basierend auf der oder den quantitativen Angaben einer Ähnlichkeit getroffen werden. Beispielsweise kann dazu der Mittelwert oder Median oder ein Maximalwert der quantitativen Angaben einer Ähnlichkeit ausgewertet werden.
  • Gemäß einer Ausführungsform weist der Schritt des Bereitstellens der Ähnlichkeitsinformation ein Anzeigen der Ähnlichkeitsinformation für einen Nutzer über eine Nutzerschnittstelle auf, wodurch dem Nutzer das Ergebnis der Ähnlichkeitsanalyse unmittelbar zu Kenntnis gebracht werden kann.
  • Gemäß einer Ausführungsform weist das Verfahren ferner den Schritt des Befüllens eines medizinischen Report-Templates basierend auf den Ähnlichkeitsinformationen auf.
  • Durch das automatisierte Befüllen eines Report-Templates kann ein Nutzer bei der Befundung von Histopathologiebilddaten weiter entlastet werden. Das Report-Template kann beispielsweise ein elektronischer medizinischer Report sein. In dem Report-Template können Platzhalter zur Eingabe von fallspezifischen Informationen vorgesehen sein. Im Schritt des Befüllens können ein oder mehrere Platzhalter basierend auf der Ähnlichkeitsinformation befüllt werden.
  • Gemäß einer Ausführungsform umfasst der Schritt des Analysierens ein Identifizieren eines einen pathologischen Befund indizierenden Interessensbereichs in den ersten Histopathologiebilddaten sowie ein Durchsuchen der zweiten Histopathologiebilddaten nach Ähnlichkeitsbereichen, welche Ähnlichkeitsbereiche jeweils eine Ähnlichkeit mit dem Interessensbereich aufweisen. Dabei umfasst der Schritt des Durchsuchens das Anwenden des Bildverarbeitungsalgorithmus auf die zweiten Histopathologiebilddaten und der Schritt des Bestimmens der Ähnlichkeitsinformation basiert auf dem Schritt des Durchsuchens.
  • Mit anderen Worten stellt der Interessensbereich einen oder mehrere einen pathologischen Befund (oder eine krankhafte Veränderung) indizierende Bereich der ersten Histopathologiebilddaten dar. Der Interessensbereich kann insbesondere bereits vorgegeben sein (etwa durch eine frühere Befundung) oder dynamisch vorgegeben werden (etwa durch eine Nutzereingabe oder automatisch). In Abhängigkeit des Interessensbereich werden im Gegenzug die Ähnlichkeitsbereiche in den zweiten Histopathologiebilddaten bestimmt. Die Ähnlichkeitsbereiche können als einen pathologischen Befund (oder eine krankhafte Veränderung) indizierende Bereiche der zweiten Histopathologiebilddaten aufgefasst werden. Eine Ähnlichkeit zwischen den Interessensbereichen und den Ähnlichkeitsbereichen kann wieder eine morphologische und/oder strukturelle Ähnlichkeit umfassen. Beispielsweise können ähnliche Bereiche eine ähnliche Gewebestruktur, eine ähnliche Textur, ähnliche Pixel- oder Farbwerte, eine ähnliche Zelldichte, eine ähnliche Zellmorphologie, ähnliche Muster und/oder weitere ähnliche Merkmale aufweisen. Der Bildverarbeitungsalgorithmus kann dazu ausgebildet sein, solche und weitere Merkmale automatisch aus dem Interessensbereich und möglichen Ähnlichkeitsbereichen zu extrahieren und zu vergleichen. Der Bildverarbeitungsalgorithmus kann ferner dazu ausgebildet sein, basierend auf dem Vergleich ein quantitatives Maß für die Ähnlichkeit (Ähnlichkeitsmaß) zu bestimmen. Ähnlichkeitsbereiche können dann insbesondere diejenigen Bereiche sein, bei denen das Ähnlichkeitsmaß über einer vorgegebenen oder vorgebbaren Schwelle liegt. Eine solche Schwelle kann dabei automatisch bestimmt oder von einem Nutzer vorgegeben werden. Ferner kann die Schwelle semi-automatisch dadurch bestimmt werden, dass einem Nutzer eine Schwelle vorgeschlagen wird.
  • Durch die Identifizierung der Interessensbereiche in den ersten Histopathologiebilddaten, kann in dem zweiten Datensatz spezifisch nach dazu ähnlichen Bereichen gesucht werden. Dadurch können morphologische und/oder strukturelle Ähnlichkeiten krankhafter Veränderungen in zeitversetzten Gewebeproben des Patienten gezielter entdeckt und aufgezeigt werden. Dadurch wird der Nutzer in die Lage versetzt, eine fundierte Aussage darüber zu treffen ob z.B. eine krankhafte Veränderung in einer neu entnommenen Gewebeprobe ein Rezidiv einer bereits bekannten krankhaften Veränderung ist. Der Nutzer kann dadurch bei der Befundung und vor allem der Stellung einer Diagnose bzw. Prognose wirksam unterstützt werden.
  • Gemäß einer Ausführungsform weist der Interessenbereich einen oder mehrere einzelne, in den ersten Histopathologiebilddaten definierte Bereiche auf.
  • Die einzelnen Bereiche können dabei jeweils einen oder mehrere pathologische Befunde indizieren bzw. eine oder mehrere krankhafte Gewebeveränderungen zeigen. Die einzelnen Bereiche können beispielsweise Ausschnitte aus den ersten Histopathologiebilddaten aufweisen und damit ebenfalls (Pixel-)Bilddaten aufweisen. Damit kann der Interessensbereich ebenfalls (Pixel-)Bilddaten aufweisen. Insbesondere kann einer oder mehrere der in den Histopathologiebilddaten definierten Bereiche auch ein (komplettes) Einzelbild der ersten Histopathologiebilddaten oder die gesamten Histopathologiebilddaten umfassen. Entsprechend kann auch der Interessensbereich ein oder mehrere Einzelbilder der ersten Histopathologiebilddaten oder die gesamten Histopathologiebilddaten umfassen. Die in den ersten Histopathologiebilddaten definierten Bereiche können verschiedene Formen aufweisen. Beispielsweise können die definierten Bereiche rechteckig oder kreisförmig oder eine beliebige andere Begrenzung aufweisen sein. Durch die Berücksichtigung mehrerer Bereiche für den Interessensbereich kann eine größere Datengrundlage für die Suche nach ähnlichen Bereichen bereitgestellt werden. Umgekehrt kann der Interessensbereich auf nur einen Bereich oder Ausschnitt in den ersten Histopathologiebilddaten beschränkt werden, wenn nur dieser relevant erscheint. Insgesamt wird durch die adaptive Definition des Interessensbereichs eine gute Anpassung an die jeweiligen Gegebenheiten ermöglicht.
  • Gemäß einer Ausführungsform umfasst der Schritt des Identifizierens des Interessensbereichs ein Bestimmen des Interessensbereichs durch den Bildverarbeitungsalgorithmus, und/oder ein Auswerten einer Annotation eines Nutzers, welche Annotation den Interessensbereich kennzeichnet. Dabei kann die Annotation insbesondere nach dem Schritt des Bereitstellens der ersten Histopathologiebilddaten durch eine manuelle Eingabe eines Nutzers über eine Nutzerschnittstelle bereitgestellt werden.
  • Der Interessensbereich kann mit anderen Worten automatisch und/oder manuell durch einen Nutzer bestimmt werden. Dadurch kann der Interessensbereich fallspezifisch und flexibel festgelegt werden. Insbesondere kann die Annotation des Nutzers ein oder mehrere Bereiche in den ersten Histopathologiebilddaten kennzeichnen. Dazu können dem Nutzer ein oder mehrere Referenzbilder der ersten Histopathologiebilddaten in einer Nutzschnittstelle gezeigt werden. Ein Referenzbild kann eine auf Grundlage der jeweiligen Histopathologiebilddaten erzeugte Darstellung zur Anzeige mittels einer Nutzerschnittstelle sein. Eine Annotation eines Nutzers durch eine Nutzereingabe kann beispielsweise durch ein Zeigen auf einen relevanten Bereich eines Referenzbilds, ein Ziehen eines Rahmens um einen relevanten Bereich in dem Referenzbild, und/oder ein Einkreisen eines relevanten Bereichs in dem Referenzbild angelegt werden. Dies kann z.B. mit einer Maus oder einem elektronischen Stift oder durch Gestensteuerung bewerkstelligt werden. Ferner können ein oder mehrere Annotationen z.B. von einer früheren Befundung vorhanden sein. Diese können als Metadaten zu den ersten Histopathologiebilddaten gespeichert sein (beispielsweise in den ersten Histopathologiebilddaten selbst oder in einer separaten Datenbank). Durch Auswerten dieser bereits angelegten Annotationen können diese zur Definition des Interessensbereichs genutzt werden. Insbesondere ist auch möglich, basierend auf einer Annotation eines Nutzers automatische weitere relevante Bereiche in den ersten Histopathologiebilddaten zu identifizieren und dem Interessensbereich zuzuordnen. Dabei kann in den ersten Histopathologiebilddaten nach Bereichen gesucht werden, die eine Ähnlichkeit zu den durch die Annotation des Nutzers gekennzeichneten Bereiche aufweisen. Entsprechend kann der Bildverarbeitungsalgorithmus dazu ausgebildet sein, in Histopathologiebilddaten automatisch nach einen pathologischen Befund indizierenden Bereichen zu suchen und dabei gegebenenfalls durch eine Annotation eines Nutzers vorausgewählte Bereiche zu berücksichtigen.
  • Gemäß einer Ausführungsform umfasst der Schritt des Durchsuchens ein Extrahieren einer Merkmalssignatur basierend auf dem Interessensbereich und ein Ermitteln der Ähnlichkeitsinformation basierend auf der extrahierten Merkmalssignatur.
  • Die Merkmalssignatur kann ein oder mehrere Merkmale aufweisen, die dem Interessensbereich und insbesondere den Bilddaten des Interessensbereich extrahiert bzw. aus diesen berechnet wurden. Daneben kann die Merkmalssignatur basierend auf (oder unter zusätzlicher Berücksichtigung von) weiteren Informationen, wie z.B. einem Umgebungsbereich um den Interessensbereich, den gesamten ersten Histopathologiebilddaten und/oder Metadaten zu den ersten Histopathologiebilddaten extrahiert werden. Die Merkmalssignatur kann insbesondere den Interessensbereich charakterisieren. Die Merkmale der Merkmalssignatur können zu einem Merkmalsvektor zusammengefasst sein. Insbesondere kann die Merkmalssignatur einen solchen Merkmalsvektor aufweisen. Die Merkmale können morphologische und/oder strukturelle und/oder eine Textur betreffende und/oder ein Muster betreffende Merkmale sein. Insbesondere können die Merkmale eine Gewebestruktur oder eine Gewebedichte umfassen. Ferner können die Merkmale eine Zelldichte, eine Zellmorphologie, eine Verteilung einer histopathologischen Färbung, eine Zellgröße, eine Verteilung einer oder mehrerer bestimmter Zellklasse(n) und dergleichen aufweisen.
  • Ferner kann der Bildbearbeitungsalgorithmus dazu ausgebildet sein, die Ähnlichkeitsinformation basierend auf der Merkmalssignatur zu ermitteln.
  • Das Ermitteln der Ähnlichkeitsinformation kann ein Bestimmen möglicher Ähnlichkeitsbereiche in den zweiten Histopathologiebilddaten umfassen. Ferner kann das Ermitteln der Ähnlichkeitsinformation ein Extrahieren einer Merkmalssignatur jeweils aus den möglichen Ähnlichkeitsbereichen umfassen. Dabei kann wie bei der basierend auf dem Interessensbereich extrahierten Merkmalssignatur vorgegangen werden. Ferner kann das Ermitteln der Ähnlichkeitsinformation ein Vergleichen der basierend auf den möglichen Ähnlichkeitsbereichen extrahierten Merkmalssignatur jeweils mit der basierend auf dem Interessensbereich extrahierten Merkmalssignatur umfassen. Ferner kann das Ermitteln der Ähnlichkeitsinformation ein Bestimmen eines Ähnlichkeitsmaßes basierend auf dem Vergleich jeweils für die möglichen Ähnlichkeitsbereiche und das Ermitteln der Ähnlichkeitsinformation basierend auf dem oder den Ähnlichkeitsmaßen umfassen.
  • Der Schritt des Vergleichens kann insbesondere auf der Bestimmung eines Abstands der jeweiligen Merkmalssignaturen, der Berechnung einer Kosinus-Ähnlichkeit der Merkmalssignaturen und/oder der Berechnung einer gewichteten Summe des Unterschieds bzw. der Ähnlichkeit einzelner Merkmale der Merkmalssignaturen basieren. Als Ähnlichkeitsbereiche können insbesondere diejenigen Bereiche der zweiten Histopathologiebilddaten identifiziert werden, deren zugehöriges Ähnlichkeitsmaß größer als eine vorgegebene oder vorgebbare Schwelle ist.
  • Durch die Verwendung von Merkmalssignaturen werden einfach zu implementierende und gut übertragbare Parameter für einen Abgleich verschiedener Bilddaten definiert. Zudem können die in den Merkmalssignaturen enthaltenen Merkmale auf übergeordneten, aus den Bilddaten abgeleiteten Observablen beruhen, welche die Eigenschaften der abgebildeten Strukturen oftmals besser charakterisieren als die zugrundeliegenden Bilddaten selbst.
  • Gemäß einer Ausführungsform weist der Bildverarbeitungsalgorithmus eine oder mehrere trainierte Funktionen auf.
  • Eine trainierte Funktion bildet allgemein Eingabedaten auf Ausgabedaten ab. Hierbei können die Ausgabedaten insbesondere von einem oder mehreren Parametern der trainierten Funktion abhängen. Der eine oder die mehreren Parameter der trainierten Funktion können durch ein Training bestimmt und/oder angepasst werden. Das Bestimmen und/oder das Anpassen des einen Parameters oder der mehreren Parameter der trainierten Funktion kann insbesondere auf einem Paar aus Trainingseingabedaten und zugehörigen Trainingsausgabedaten basieren, wobei die trainierte Funktion zur Erzeugung von Trainingsabbildungsdaten auf die Trainingseingabedaten angewendet wird. Insbesondere können das Bestimmen und/oder das Anpassen auf einem Vergleich der Trainingsabbildungsdaten und der Trainingsausgabedaten basieren. Im Allgemeinen wird auch eine trainierbare Funktion, d.h. eine Funktion mit noch nicht angepassten Parametern, als trainierte Funktion bezeichnet. Durch ein Training ein oder mehrerer, optional in dem Bildverarbeitungsalgorithmus enthaltener, trainierbarer Funktionen kann der Bildverarbeitungsalgorithmus dazu ausgebildet werden, eine oder mehrere in Zusammenhang mit dem Bildverarbeitungsalgorithmus beschriebene Aufgaben auszuführen, so z.B. das Analysieren der ersten Histopathologiebilddaten und der zweiten Histopathologiebilddaten auf eine Ähnlichkeit zwischen wenigstens einem einen pathologischen Befund indizierenden Bereich aus dem ersten Histopathologiebilddaten und wenigstens einem einen pathologischen Befund indizierenden Bereich aus den zweiten Histopathologiebilddaten, das Durchsuchen der zweiten Histopathologiebilddaten nach Ähnlichkeitsbereichen, das Identifizieren eines einen pathologischen Befund indizierenden Interessensbereiches in den ersten Histopathologiebilddaten, das Bestimmen einer Ähnlichkeitsinformation, das Extrahieren einer Merkmalssignatur und/oder das Ermitteln der Ähnlichkeitsbereiche bzw. der Ähnlichkeitsinformation basierend auf der extrahierten Merkmalssignatur. Werden mehrere dieser Aufgaben durch eine trainierte Funktion realisiert, kann der Bildverarbeitungsalgorithmus für jede dieser Aufgaben eine separate trainierte Funktion aufweisen. Alternativ oder zusätzlich kann eine trainierte Funktion zur Erledigung mehrerer dieser Aufgaben bis hin zu allen ausgebildet oder trainiert sein.
  • Andere Begriffe für trainierte Funktion sind trainierte Abbildungsvorschrift, Abbildungsvorschrift mit trainierten Parametern, Funktion mit trainierten Parametern, Algorithmus basierend auf künstlicher Intelligenz, Algorithmus des maschinellen Lernens. Ein Beispiel für eine trainierte Funktion ist ein künstliches neuronales Netzwerk. Anstatt des Begriffs „neuronales Netzwerk“ kann auch der Begriff „neuronales Netz“ verwendet werden. Ein neuronales Netzwerk ist im Grunde genommen wie ein biologisches neuronales Netz - etwa ein menschliches Gehirn - aufgebaut. Insbesondere umfasst ein künstliches neuronales Netzwerk eine Eingabeschicht und eine Ausgabeschicht. Es kann ferner mehrere Schichten zwischen Eingabe- und Ausgabeschicht umfassen. Jede Schicht umfasst mindestens einen, vorzugsweise mehrere, Knoten. Jeder Knoten kann als biologische Verarbeitungseinheit verstanden werden, z.B. als Neuron. Mit anderen Worten entspricht jedes Neuron einer Operation, die auf Eingabedaten angewendet wird. Knoten einer Schicht können durch Kanten oder Verbindungen mit Knoten anderer Schichten verbunden sein, insbesondere durch gerichtete Kanten oder Verbindungen. Diese Kanten oder Verbindungen definieren den Datenfluss zwischen den Knoten des Netzwerks. Die Kanten oder Verbindungen sind mit einem Parameter assoziiert, der häufig als „Gewicht“ oder „Kantengewicht“ bezeichnet wird. Dieser Parameter kann die Wichtigkeit der Ausgabe eines ersten Knotens für die Eingabe eines zweiten Knotens regulieren, wobei der erste Knoten und der zweite Knoten durch eine Kante verbunden sind. Insbesondere kann eine trainierte Funktion auch ein tiefes künstliches neuronales Netzwerk aufweisen (englischer Fachbegriff sind „deep neural network“ oder „deep artificial neural network“).
  • Insbesondere kann ein neuronales Netzwerk trainiert werden. Insbesondere wird das Training eines neuronalen Netzwerks basierend auf den Trainingseingabedaten und den zugehörigen Trainingsausgabedaten gemäß einer „überwachten“ Lerntechnik (ein englischer Fachbegriff ist „supervised learning“) durchgeführt, wobei die bekannten Trainingseingabedaten in das neuronale Netzwerk eingegeben und die vom Netzwerk generierten Ausgabedaten mit den zugehörigen Trainingsausgabedaten verglichen werden. Das künstliche neuronale Netzwerk lernt und passt die Kantengewichte für die einzelnen Knoten unabhängig an, solange die Ausgabedaten der letzten Netzwerkschicht den Trainingsausgabedaten nicht ausreichend entsprechen.
  • Gemäß einer Ausführungsform weist wenigstens eine der trainierten Funktionen ein faltendes neuronales Netzwerk und insbesondere ein bereichsbasiertes faltendes neuronales Netzwerk auf.
  • Ein englischer Fachbegriff für faltendes neuronales Netzwerk ist convolutional neural network. Insbesondere kann das faltende neuronale Netzwerk als tiefes faltendes neuronales Netzwerk ausgebildet sein (ein englischer Fachbegriff ist „deep convolutional neural network“). Das neuronale Netzwerk weist dabei ein oder mehrere Faltungsschichten (ein englischer Fachbegriff ist „convolutional layer“) und ein oder mehrere Entfaltungsschichten (ein englischer Fachbegriff ist „deconvolutional layer“) auf. Insbesondere kann das neuronale Netzwerk eine Sammelschicht umfassen (ein englischer Fachbegriff ist „pooling layer“). Durch die Verwendung von Faltungsschichten und/oder Entfaltungsschichten kann ein neuronales Netzwerk besonders effizient zur Bildverarbeitung eingesetzt werden, da trotz vieler Verbindungen zwischen Knotenschichten nur wenige Kantengewichte (nämlich die den Werten des Faltungskerns entsprechenden Kantengewichte) bestimmt werden müssen. Bei einer gleichen Zahl von Trainingsdaten kann damit auch die Genauigkeit des neuronalen Netzwerks verbessert werden.
  • Ein englischer Fachbegriff für bereichsbasiertes faltendes neuronales Netzwerk ist region-based convolutional neural network. Das bereichsbasierte faltende neuronale Netzwerk kann eine sog. schnelles bereichsbasiertes faltendes neuronales Netzwerk (ein englischer Fachbegriff hierfür ist fast region-based convolutional neural network“) oder ein schnelleres bereichsbasiertes faltendes neuronales Netzwerk (ein englischer Fachbegriff hierfür ist fast region-based convolutional neural network“) aufweisen. Bereichsbasierte faltende neuronale Netzwerke sind dadurch gekennzeichnet, dass sie integrierte Funktionalitäten zur Definition möglicherweise relevanter Bildbereiche aufweisen, womit sie für eine bereichsweise Bestimmung von Ähnlichkeiten gemäß Ausführungsformen der Erfindung geeignet sind.
  • Gemäß einer Ausführungsform umfasst das Verfahren ferner einen Schritt des Empfangens einer Rückmeldung des Nutzers betreffend die Ähnlichkeitsinformation über eine Nutzerschnittstelle sowie einen Schritt des Anpassens der trainierten Funktion, wodurch dieser im Einsatz fortwährend verbessert werden kann (ein englischer Ausdruck hierfür ist ,continuous learning‘).
  • Gemäß einer Ausführungsform liegt der zweite Zeitpunkt vor dem ersten Zeitpunkt. Mit anderen Worten handelt es sich bei den ersten Histopathologiebilddaten damit um Daten einer Follow-Up Untersuchung. Damit kann der Nutzer z.B. Interessensbereiche in den ersten Histopathologiebilddaten definieren und es werden dazu automatisch Ähnlichkeitsbereiche in den zweiten Histopathologiebilddaten gesucht und dem Nutzer bereitgestellt. Auf dieser Grundlage kann der Nutzer dann z.B. entscheiden, ob eine krankhafte Veränderung in dem von ihm markierten Interessensbereich ein Rezidiv einer krankhaften Veränderung ist, die schon in den zweiten Histopathologiebilddaten ersichtlich war.
  • Gemäß einer Ausführungsform umfasst der Schritt des Bereitstellens der zweiten Histopathologiebilddaten ein Zugreifen auf eine Datenbank für Histopathologiebilddaten und ein Auswählen der zweiten Histopathologiebilddaten aus den in der Datenbank gespeicherten Histopathologiebilddaten basierend auf den ersten Histopathologiebilddaten und/oder den ersten Histopathologiebilddaten zugeordneten Metadaten. Gemäß Ausführungsformen kann das Auswählen alternativ oder zusätzlich auf den zweiten Histopathologiebilddaten zugeordneten Metadaten basieren.
  • Gemäß einer Ausführungsform können die Metadaten aufweisen:
    • - eine Patientenkennung zur Identifikation des Patienten,
    • - eine Information über einen anatomischen Zielbereich des Patienten, aus dem die Gewebeprobe entnommen wurde, auf der die ersten Histopathologiebilddaten beruhen,
    • - eine Information über einen anatomischen Zielbereich des Patienten, aus dem die Gewebeprobe entnommen wurde, auf der die zweiten Histopathologiebilddaten beruhen,
    • - eine Information hinsichtlich der bei der Bereitstellung der ersten Histopathologiebilddaten verwendeten histopathologischen Färbung bzw. Färbungen,
    • - eine Information hinsichtlich der bei der Bereitstellung der zweiten Histopathologiebilddaten verwendeten histopathologischen Färbung bzw. Färbungen,
    • - eine Verdachtsdiagnose oder ein Verdachtsbefund basieren auf den ersten Histopathologiebilddaten,
    • - eine Diagnose oder ein Befund basieren auf den zweiten Histopathologiebilddaten,
    • - eine Information bezüglich des zweiten Zeitpunkts. und/oder
    • - eine Information bezüglich des ersten Zeitpunkts.
  • Dadurch können die zweiten Histopathologiebilddaten nicht nur automatisch gefunden werden, sondern es können auch besonders geeignete zweite Histopathologiebilddaten bereitgestellt werden. Dadurch kann der Nutzer weiter entlastet werden. Dabei kann das Bereitstellen ferner basierend auf den zweiten Histopathologiebilddaten zugeordneten Metadaten und insbesondere basierend auf einem Vergleich der den ersten Histopathologiebilddaten zugeordneten Metadaten mit den den zweiten Histopathologiebilddaten zugeordneten Metadaten basieren. Die Verdachtsdiagnose bzw. der Verdachtsbefund kann dabei insbesondere von dem Nutzer über die Nutzerschnittstelle eingebeben werden.
  • Gemäß einer Ausführungsform umfasst der Schritt des Bereitstellens der ersten Histopathologiebilddaten ein Auswählen der ersten Histopathologiebilddaten durch einen Nutzer über eine Nutzerschnittstelle. Dadurch kann der Nutzer gezielt die ersten Histopathologiebilddaten auswählen, die er bearbeiten will.
  • Gemäß einer Ausführungsform liegt der erste Zeitpunkt vor dem zweiten Zeitpunkt. Mit anderen Worten handelt es sich bei den zweiten Histopathologiebilddaten damit um Daten einer Follow-Up Untersuchung. Damit muss der Nutzer z.B. nicht erst Interessensbereiche in Histopathologiebilddaten definieren, sondern es werden auch bekannte Interessensbereichen in den - in dieser Ausführungsform „alten“ - ersten Histopathologiebilddaten verwendet. Auf dieser Grundlage werden dann automatisch Ähnlichkeitsbereiche in den zweiten Histopathologiebilddaten gesucht und bereitgestellt.
  • Gemäß einer Ausführungsform umfasst der Schritt des Bereitstellens der ersten Histopathologiebilddaten ein Zugreifen auf eine Datenbank für Histopathologiebilddaten und ein Auswählen der ersten Histopathologiebilddaten aus den in der Datenbank gespeicherten Histopathologiebilddaten basierend auf den zweiten Histopathologiebilddaten und/oder den zweiten Histopathologiebilddaten zugeordneten Metadaten.
  • Gemäß einer Ausführungsform können die Metadaten aufweisen:
    • - eine Information über einen anatomischen Zielbereich des Patienten, aus dem die Gewebeprobe entnommen wurde, auf der die ersten Histopathologiebilddaten beruhen,
    • - eine Information über einen anatomischen Zielbereich des Patienten, aus dem die Gewebeprobe entnommen wurde, auf der die zweiten Histopathologiebilddaten beruhen,
    • - eine Information hinsichtlich der bei der Bereitstellung der ersten Histopathologiebilddaten verwendeten histopathologischen Färbung bzw. Färbungen,
    • - eine Information hinsichtlich der bei der Bereitstellung der zweiten Histopathologiebilddaten verwendeten histopathologischen Färbung bzw. Färbungen,
    • - eine Verdachtsdiagnose oder ein Verdachtsbefund basieren auf den zweiten Histopathologiebilddaten,
    • - eine Diagnose oder ein Befund basieren auf den ersten Histopathologiebilddaten,
    • - eine Information bezüglich des zweiten Zeitpunkts. und/oder
    • - eine Information bezüglich des ersten Zeitpunkts.
  • Dadurch können die ersten Histopathologiebilddaten nicht nur automatisch gefunden werden, sondern es können auch besonders geeignete erste Histopathologiebilddaten bereitgestellt werden. Dadurch kann der Nutzer weiter entlastet werden. Dabei kann das Bereitstellen ferner basierend auf den ersten Histopathologiebilddaten zugeordneten Metadaten und insbesondere basierend auf einem Vergleich der den ersten Histopathologiebilddaten zugeordneten Metadaten mit den den zweiten Histopathologiebilddaten zugeordneten Metadaten basieren. Durch die Berücksichtigung einer Verdachtsdiagnose bzw. eines Verdachtsbefundes können die ersten Histopathologiebilddaten zielegerichtet aufgefunden werden. Da z.B. gezielt nach zweiten Histopathologiebilddaten gesucht werden kann, die eine ähnlichen Befund bzw. eine ähnliche Diagnose aufweisen. Die Verdachtsdiagnose bzw. der Verdachtsbefund können gemäß Ausführungsformen der Erfindung durch den Nutzer über eine Nutzerschnittstelle eingegeben werden.
  • Gemäß einer Ausführungsform umfasst der Schritt des Bereitstellens der zweiten Histopathologiebilddaten ein Auswählen der zweiten Histopathologiebilddaten durch einen Nutzer über eine Nutzerschnittstelle. Dadurch kann der Nutzer gezielt die Histopathologiebilddaten auswählen, die er bearbeiten will.
  • Gemäß einer Ausführungsform wurde die Gewebeprobe, auf welcher die ersten Histopathologiebilddaten beruhen und die Gewebeprobe, auf welcher die zweiten Histopathologiebilddaten beruhen, jeweils dem gleichen bzw. demselben bzw. wenigstens einem ähnlichen anatomischen Zielbereich des Patienten entnommen. Der gleiche anatomische Zielbereich kann beispielsweise heißen, dass die Gewebeprobe demselben Organ oder derselben Anatomie oder demselben Gewebebereich des Patienten entnommen wurde. Der gleiche anatomische Zielbereich kann ferner bedeuten, dass die jeweiligen Entnahmestellen der Gewebeproben bezogen auf den Patienten annährend dieselben Koordinaten aufweisen.
  • Gemäß einer weiteren Ausführungsform wird ein computerimplementiertes Verfahren zum Bereitstellen einer Ähnlichkeitsinformation bezüglich verschiedener Histopathologiebilddaten eines Patienten bereitgestellt. Das Verfahren weist mehrere Schritte auf. Ein Schritt ist auf ein Bereitstellen von ersten Histopathologiebilddaten gerichtet, die auf einer Gewebeprobe beruhen, die einem Patienten zu einem ersten Zeitpunkt entnommen wurde. Ein weiterer Schritt ist auf ein Bereitstellen von zweiten Histopathologiebilddaten gerichtet, die auf einer Gewebeprobe beruhen, die dem Patienten zu einem zweiten von dem ersten verschiedenen Zeitpunkt entnommen wurde. Ein weiterer Schritt ist auf ein Identifizieren eines Interessensbereichs in den ersten Histopathologiebilddaten gerichtet. Ein weiterer Schritt ist auf ein Durchsuchen der zweiten Histopathologiebilddaten nach Ähnlichkeitsbereichen gerichtet, welche Ähnlichkeitsbereiche jeweils eine Ähnlichkeit mit dem Interessensbereich aufweisen. Dabei weist der Schritt des Durchsuchens das Anwenden des Bildverarbeitungsalgorithmus auf die zweiten Histopathologiebilddaten auf. Ein weiterer Schritt ist auf ein Bestimmen einer Ähnlichkeitsinformation basierend auf dem Schritt des Durchsuchens gerichtet. Ein weiterer Schritt ist auf ein Bereitstellen der Ähnlichkeitsinformation gerichtet.
  • Gemäß einer Ausführungsform wird ein System zum Bereitstellen einer Ähnlichkeitsinformation bezüglich verschiedener Histopathologiebilddaten eines Patienten bereitgestellt. Das System weist eine Schnittstelle und eine Steuerung auf. Die Schnittstelle ist zum Empfangen erster Histopathologiebilddaten und zweiter Histopathologiebilddaten ausgebildet, wobei die ersten Histopathologiebilddaten auf einer Gewebeprobe beruhen, die einem Patienten zu einem ersten Zeitpunkt entnommen wurde, und die zweiten Histopathologiebilddaten auf einer Gewebeprobe beruhen, die dem Patienten zu einem zweiten von dem ersten verschiedenen Zeitpunkt entnommen wurde. Die Recheneinheit ist dazu ausgebildet, basierend auf den ersten und zweiten Histopathologiebilddaten eine Ähnlichkeitsinformation mit einem Bildverarbeitungsalgorithmus zu bestimmen, welche Ähnlichkeitsinformation eine Angabe einer Ähnlichkeit zwischen wenigstens einem einen pathologischen Befund indizierenden Bereich aus dem ersten Histopathologiebilddaten und wenigstens einem einen pathologischen Befund indizierenden Bereich aus den zweiten Histopathologiebilddaten aufweist. Die Recheneinheit ist ferner dazu ausgebildet, die Ähnlichkeitsinformation bereitzustellen.
  • Die Steuerung kann als zentrale oder dezentrale Recheneinheit ausgebildet sein. Die Recheneinheit kann einen oder mehrere Prozessoren aufweisen. Die Prozessoren können als zentrale Verarbeitungseinheit (ein englischer Fachausdruck hierfür ist „central processing unit“, kurz CPU) und/oder als Grafikprozessor (ein englischer Fachausdruck hierfür ist „graphics processing unit“, kurz GPU) ausgebildet sein. Alternativ kann die Steuerung als lokaler oder Cloud-basierter Verarbeitungsserver implementiert sein.
  • Die Schnittstelle kann allgemein zum Datenaustausch zwischen der Steuerung und weiteren Komponenten ausgebildet sein. Die Schnittstelle kann in Form von einer oder mehreren einzelnen Datenschnittstellen implementiert sein, welche ein Hardware- und/oder Software-Interface, z.B. einen PCI-Bus, eine USB-Schnittstelle, eine Fire-Wire-Schnittstelle, eine ZigBee- oder eine Bluetooth-Schnittstelle aufweisen können. Die Schnittstelle kann ferner eine Schnittstelle eines Kommunikationsnetzwerks aufweisen, wobei das Kommunikationsnetzwerk ein Local Area Network (LAN), beispielsweise ein Intranet oder ein Wide Area Network (WAN) aufweisen kann. Entsprechend können die ein oder mehreren Datenschnittstellen eine LAN-Schnittstelle oder eine Wireless LAN-Schnittstelle (WLAN oder Wi-Fi) aufweisen.
  • Die Vorteile der vorgeschlagenen Vorrichtung entsprechen im Wesentlichen den Vorteilen des vorgeschlagenen Verfahrens. Merkmale, Vorteile oder alternative Ausführungsformen können ebenso auf die anderen beanspruchten Gegenstände übertragen werden und umgekehrt.
  • Gemäß einer Ausführungsform weist das System ferner eine Datenbank zur Speicherung mehrerer Histopathologiebilddaten und einer Nutzerschnittstelle zur Interaktion mit einem Nutzer auf. Die Schnittstelle ist in Datenverbindung mit der Datenbank und der Nutzerschnittstelle. Die Steuerung ist ferner dazu ausgebildet, die ersten Histopathologiebilddaten aus der Datenbank basierend auf einer manuellen Nutzereingabe des Nutzers in der Nutzerschnittstelle auszuwählen und über die Schnittstelle zu empfangen. Die Steuerung ist ferner dazu ausgebildet, die zweiten Histopathologiebilddaten aus der Datenbank basierend auf den ersten Histopathologiebilddaten und/oder basierend auf den ersten Histopathologiebilddaten zugeordneten Metadaten auszuwählen.
  • Die Erfindung betrifft in einem weiteren Aspekt ein Computerprogrammprodukt, das ein Programm umfasst und direkt in einen Speicher einer programmierbaren Steuerung ladbar ist und Programmmittel, z.B. Bibliotheken und Hilfsfunktionen, aufweist, um ein Verfahren zur Bereitstellung einer Ähnlichkeitsinformation insbesondere gemäß den vorgenannten Ausführungsformen auszuführen, wenn das Computerprogrammprodukt ausgeführt wird.
  • Ferner betrifft die Erfindung in einem weiteren Aspekt ein computerlesbares Speichermedium, auf welchem lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte eines Verfahrens zur Bereitstellung einer Ähnlichkeitsinformation gemäß den vorgenannten Ausführungsformen auszuführen, wenn die Programmabschnitte von dem der Steuerung ausgeführt werden.
  • Die Computerprogrammprodukte können dabei eine Software mit einem Quellcode, der noch kompiliert und gebunden oder der nur interpretiert werden muss, oder einen ausführbaren Softwarecode umfassen, der zur Ausführung nur noch in die Verarbeitungseinheit zu laden ist. Durch die Computerprogrammprodukte können die Verfahren schnell, identisch wiederholbar und robust ausgeführt werden. Die Computerprogrammprodukte sind so konfiguriert, dass sie mittels der Recheneinheit die erfindungsgemäßen Verfahrensschritte ausführen können. Die Recheneinheit muss dabei jeweils die Voraussetzungen wie beispielsweise einen entsprechenden Arbeitsspeicher, einen entsprechenden Prozessor, eine entsprechende Grafikkarte oder eine entsprechende Logikeinheit aufweisen, sodass die jeweiligen Verfahrensschritte effizient ausgeführt werden können.
  • Die Computerprogrammprodukte sind beispielsweise auf einem computerlesbaren Speichermedium gespeichert oder auf einem Netzwerk oder Server hinterlegt, von wo sie in den Prozessor der jeweiligen Recheneinheit geladen werden können, der mit der Recheneinheit direkt verbunden oder als Teil der Recheneinheit ausgebildet sein kann. Weiterhin können Steuerinformationen der Computerprogrammprodukte auf einem computerlesbaren Speichermedium gespeichert sein. Die Steuerinformationen des computerlesbaren Speichermediums können derart ausgebildet sein, dass sie bei Verwendung des Datenträgers in einer Recheneinheit ein erfindungsgemäßes Verfahren durchführen. Beispiele für computerlesbaren Speichermedium sind eine DVD, ein Magnetband oder ein USB-Stick, auf welchem elektronisch lesbare Steuerinformationen, insbesondere Software, gespeichert ist. Wenn diese Steuerinformationen von dem Datenträger gelesen und in eine Recheneinheit gespeichert werden, können alle erfindungsgemäßen Ausführungsformen der vorab beschriebenen Verfahren durchgeführt werden. So kann die Erfindung auch von dem besagten computerlesbaren Medium und/oder dem besagten computerlesbaren Speichermedium ausgehen. Die Vorteile der vorgeschlagenen Computerprogrammprodukte bzw. der zugehörigen computerlesbaren Medien entsprechen im Wesentlichen den Vorteilen der vorgeschlagenen Verfahren.
  • Weitere Besonderheiten und Vorteile der Erfindung werden aus den nachfolgenden Erläuterungen von Ausführungsbeispielen anhand von schematischen Zeichnungen ersichtlich. In diesem Zusammenhang genannte Modifikationen können jeweils miteinander kombiniert werden, um neue Ausführungsformen auszubilden. In unterschiedlichen Figuren werden für gleiche Merkmale die gleichen Bezugszeichen verwendet.
  • Es zeigen:
    • 1 eine schematische Darstellung einer Ausführungsform eines Systems zur Bereitstellung einer Ähnlichkeitsinformation basierend auf Histopathologiebilddaten,
    • 2 ein Ablaufdiagramm eines Verfahrens zur Bereitstellung einer Ähnlichkeitsinformation basierend auf Histopathologiebilddaten gemäß einer Ausführungsform,
    • 3 ein Ablaufdiagramm eines Verfahrens zur Bereitstellung einer Ähnlichkeitsinformation basierend auf Histopathologiebilddaten gemäß einer weiteren Ausführungsform,
    • 4 eine schematische Darstellung von aus Histopathologiebilddaten extrahierten Interessensbereichen gemäß einer Ausführungsform,
    • 5 eine schematische Darstellung von aus Histopathologiebilddaten extrahierten Interessensbereichen gemäß einer weiteren Ausführungsform,
    • 6 eine schematische Darstellung von in Histopathologiebilddaten bestimmten Ähnlichkeitsbereichen gemäß einer Ausführungsform,
    • 7 ein Ablaufdiagramm eines Verfahrens zur Bereitstellung einer Ähnlichkeitsinformation basierend auf Histopathologiebilddaten gemäß einer weiteren Ausführungsform,
    • 8 ein Ablaufdiagramm eines Verfahrens zur Bestimmung von Ähnlichkeitsbereichen in Histopathologiebilddaten gemäß einer Ausführungsform,
    • 9 eine schematische Darstellung einer Ausführungsform eines Bildverarbeitungsalgorithmus, der zum Bereitstellen einer Ähnlichkeitsinformation basierend auf Histopathologiebilddaten ausgebildet ist,
    • 10 eine schematische Darstellung einer weiteren Ausführungsform eines Bildverarbeitungsalgorithmus, der zum Bereitstellen einer Ähnlichkeitsinformation basierend auf Histopathologiebilddaten ausgebildet ist,
    • 11 eine schematische Darstellung einer weiteren Ausführungsform eines Bildverarbeitungsalgorithmus, der zum Bereitstellen einer Ähnlichkeitsinformation basierend auf Histopathologiebilddaten ausgebildet ist, und
    • 12 ein Ablaufdiagramm eines Verfahrens zur Bereitstellung einer Ähnlichkeitsinformation basierend auf Histopathologiebilddaten gemäß einer weiteren Ausführungsform.
  • In 1 ist ein System 1 zur Bereitstellung einer Ähnlichkeitsinformation AEI basierend auf Histopathologiebilddaten HIS1, HIS2 gemäß einer Ausführungsform dargestellt. Das System 1 weist eine Nutzerschnittstelle 10, eine Recheneinheit 20, eine Schnittstelle 30, und eine Speichereinheit 60 auf. Die Recheneinheit 20 ist grundsätzlich zur Berechnung und Bereitstellung einer Ähnlichkeitsinformation AEI basierend auf Histopathologiebilddaten HIS1, HIS2 ausgebildet. Die Histopathologiebilddaten HIS1, HIS2 können der Recheneinheit 20 über die Schnittstelle 30 von der Speichereinheit 60 bereitgestellt werden.
  • Die Speichereinheit 60 kann als zentrale oder dezentrale Datenbank ausgebildet sein. Die Speichereinheit 60 kann insbesondere Teil eines Serversystems sein. Die Speichereinheit 60 kann insbesondere Teil eines medizinischen Informationssystems wie etwa eines Krankenhausinformationssystem (ein englischer Fachbegriff hierfür ist hospital information system oder kurz HIS) und/der eines PACS-Systems sein (PACS steht dabei für picture archiving and communication system) und/oder eines Labor-Informationssystem (LIS) sein.
  • In der Speichereinheit 60 sind Histopathologiebilddaten HIS1, HIS2 archiviert. Histopathologiebilddaten HIS1, HIS2 sind Bilddaten, die auf einer Gewebeprobe eines Patienten beruhen, die diesem zu einem gewissen Zeitpunkt aus einem anatomischen Ziel- oder Entnahmebereich entnommen wurden. Der anatomische Entnahmebereich kann beispielsweise ein Organ oder ein Gewebebereich sein, die z.B. mit einer bildgebenden Modalität wie einem MR- oder CT-Gerät identifiziert wurden. Die Gewebeprobe wurde dem Patienten z.B. im Wege einer Biopsie, einer Operation als Operationspräparat oder Exzision entnommen. Aus den Gewebeproben werden mikrometerdünne Gewebeschnitte erzeugt. Typischerweise werden aus einer Gewebeprobe mit einem Stanzzylinder mehrere Bereiche (sog. Stanzen oder Blöcke) ausgestanzt, die dann in dünne Schichten geschnitten werden. Die entstehenden Gewebeschnitte können dann durch verschiedene Techniken fixiert, präpariert und vorbereitet werden, bevor sie schließlich durch eine histopathologische Färbung eingefärbt werden. Histologische Färbungen dienen einerseits dazu, den Kontrast der in den Schnitten enthaltenen Gewebe- bzw. Zellstrukturen zu erhöhen. Andererseits können histologische Färbungen gezielt eingesetzt werden, um spezifische Merkmale hervorzuheben und damit spezifischen pathologische Fragestellungen zu adressieren. Es gibt eine Vielzahl verschiedener histologischer Färbungen, die im Laufe der letzten 120 Jahre entwickelt wurden. An erster Stelle steht meist die Hämatoxylin-Eosin-Färbung (H&E-Färbung) als Routine- und Übersichtsfärbung. Darüberhinausgehende, häufig Spezialfärbungen genannte, histologische Färbungen sind z.B. Kongorot, Trichrom-Färbungen oder Auramin O. Daneben können auch Immunhistochemische Färbungen verwendet werden, mit welchen Proteine oder andere Strukturen mit Hilfe von markierten Antikörpern sichtbar gemacht werden können. Beispiele hierfür sind Ki67 als Zellproliferationsmarker, Her2-Immunofärbungen als für Brustkrebs spezifischer Marker, CD8-Immunofärbungen zur Markierung von T-Zellen, oder PD-L1-Immunofärbungen als prognostischer Marker für den Erfolg von Immuntherapien. In modernen Laboren werden zumindest für gängige Färbungen meist computergesteuerte Färbeautomaten eingesetzt. Meistens wird ein erster Gewebeschnitt eines Blocks mit einer H&E-Färbung angefärbt. Bei Bedarf und je nach Fragestellung werden im Nachgang der Befundung der mit H&E gefärbten Gewebeschnitte weitere Gewebeschnitte der jeweiligen Blöcke mit Spezialfärbungen angefärbt und analysiert.
  • Zur Befundung werden die fertig präparierten und gefärbten Gewebeschnitte heutzutage häufig digitalisiert. Hierfür werden spezialisierte Scanner, sog. Slide Scanner, verwendet. Das dabei aufgenommene Bild wird auch als „Whole Slide Image“ bezeichnet. Die dabei aufgenommen Bilddaten sind typischerweise zweidimensionale Pixeldaten, wobei jedem Pixel ein Farbwert zugeordnet ist.
  • Da einer Gewebeprobe typischerweise mehrere Stanzen entnommen werden, die mit der gleichen Histopathologischen Färbung behandelt werden, weisen die Histopathologiebilddaten HIS1, HIS2 typischerweise mehrere Einzelbilder (mehrere einzelne „Whole Slide Images“ bzw. mehrere einzelne Pixelbilder) auf.
  • Zusätzlich können Histopathologiebilddaten HIS1, HIS2 Metadaten aufweisen, in welchen zusätzliche Informationen zu den jeweiligen Histopathologiebilddaten HIS1, HIS2 hinterlegt sein können. Beispielsweise können die Metadaten eine oder mehrere der folgenden Informationen aufweisen: einen Zeitpunkt, zu dem die den jeweiligen Histopathologiebilddaten HIS1, HIS2 zugrundeliegende Gewebeprobe dem Patienten entnommen wurde, eine den Patienten identifizierende elektronischen Kennung, wie etwa eine Patienten-ID oder einen Namen, eine Angabe, welche histopathologische Färbung für die jeweiligen Histopathologiebilddaten HIS1, HIS2 verwendet wurde, eine Angabe über eine frühere Befundung der Histopathologiebilddaten HIS1, HIS2, eine einen befundenden Nutzer identifizierende Kennung (z.B. der Name oder eine Nutzer-ID), eine Angabe eines einen pathologischen Befund indizierenden Bereichs in den jeweiligen Histopathologiebilddaten HIS1, HIS2, wie etwa einen Interessensbereich IB, und/oder eine Angabe über den anatomischen Entnahmebereich des Patienten, aus dem die den jeweiligen Histopathologiebilddaten HIS1, HIS2 zugrunde liegende Gewebeprobe entnommen wurde. Die Metadaten können beispielsweise in einem Header der Histopathologiebilddaten HIS1, HIS2 oder in einem von den eigentlichen Bilddaten separaten Datencontainer der Histopathologiebilddaten HIS1, HIS2 gespeichert sein. Alternativ oder ergänzend können solche Metadaten auch in einer elektronischen Krankenakte (ein englischer Ausdruck hierfür ist „Electronic Medical Record“ oder kurz EMR) des Patienten, d.h. separat von den Histopathologiebilddaten HIS1, HIS2, hinterlegt sein. Solche elektronische Krankenakten können beispielsweise in der Speichereinrichtung 60 oder in einer separat hiervon eingerichteten Speichereinrichtung archiviert sein, mit der die Recheneinheit 20 über die Schnittstelle 30 in Verbindung stehen kann.
  • Die Nutzerschnittstelle 10 weist eine Anzeigeeinheit 11 und eine Eingabeeinheit 12 auf. Die Nutzerschnittstelle 10 kann als tragbares Rechnersystem, wie etwa als Smartphone, Tablet-Computer, oder Laptop ausgebildet sein. Ferner kann die Nutzerschnittstelle 10 als Desktop-PC ausgebildet sein. Die Eingabeeinheit 12 kann in die Anzeigeeinheit 11 integriert sein, beispielsweise in Form eines berührungsempfindlichen Bildschirms. Als Alternative dazu oder zusätzlich kann die Eingabeeinheit 12 eine Tastatur oder ein Computermaus und/oder einen digitalen Stift aufweisen. Die Anzeigeeinheit 11 ist dazu ausgebildet, einzelne oder mehrere Bilder aus den Histopathologiebilddaten HIS1, HIS2 (im Folgenden werden diese angezeigten Einzelbilder auch „Referenzbilder RB“ genannt), ermittelte Ähnlichkeitsinformation AEI oder Assistenzbilder AB darzustellen, welche Assistenzbilder AB dem Nutzer die Ähnlichkeitsinformation AEI illustrieren. Die Nutzerschnittstelle 10 ist ferner dazu ausgebildet, von dem Nutzer eine Eingabe hinsichtlich des Interessensbereichs IB zu erhalten, der für eine Befundung relevant ist. Der Nutzer kann dabei eine Ärztin oder ein Arzt und insbesondere eine Pathologin oder ein Pathologe sein.
  • Die Nutzerschnittstelle 10 weist einen oder mehrere Prozessoren 13 auf, die dazu ausgebildet sind, eine Software zur Ansteuerung der Anzeigeeinheit 11 und der Eingabeeinheit 12 auszuführen, um eine grafische Nutzerschnittstelle bereitzustellen, die es dem Nutzer ermöglicht, Histopathologiebilddaten HIS1, HIS2 für eine Befundung auszuwählen, Interessensbereiche IB einzugeben und die gefundene Ähnlichkeitsinformation AEI zu begutachten. Der Nutzer kann die Software beispielsweise über die Nutzerschnittstelle 10 aktivieren, beispielsweise, indem er sie von einem App-Store herunterlädt. Gemäß weiteren Ausführungsformen kann die Software auch ein Client-Server Computerprogramm in Form einer Web-Applikation sein, die in einem Browser läuft.
  • Die Schnittstelle 30 kann ein oder mehrere einzelne Datenschnittstellen aufweisen, die den Datenaustausch zwischen den Komponenten 10, 20, 60 des Systems 1 gewährleisten. Die ein oder mehreren Datenschnittstellen können Teil der Nutzerschnittstelle 10, der Recheneinheit 20 und/oder der Speichereinheit 60 sein. Die ein oder mehreren Datenschnittstellen können ein Hardware- und/oder Software-Interface, z.B. einen PCI-Bus, eine USB-Schnittstelle, eine Fire-Wire-Schnittstelle, eine ZigBee- oder eine Bluetooth-Schnittstelle aufweisen. Die ein oder mehreren Datenschnittstellen können eine Schnittstelle eines Kommunikationsnetzwerks aufweisen, wobei das Kommunikationsnetzwerk ein Local Area Network (LAN), beispielsweise ein Intranet oder ein Wide Area Network (WAN) aufweisen kann. Entsprechend können die ein oder mehreren Datenschnittstellen eine LAN-Schnittstelle oder eine Wireless LAN-Schnittstelle (WLAN oder Wi-Fi) aufweisen.
  • Die Recheneinheit 20 kann einen Prozessor aufweisen. Der Prozessor kann eine Central Processing Unit (CPU), eine Graphics Processing Unit (GPU), einen digitalen Signalprozessor (DSP), einen Bildverarbeitungsprozessor, einen integrierten (digitalen oder analogen) Schaltkreis oder Kombinationen der vorgenannten Komponenten und weitere Einrichtungen zur Verarbeitung von Histopathologiebilddaten HIS1, HIS2 gemäß Ausführungsformen der Erfindung aufweisen. Die Recheneinheit 20 kann als einzelne Komponente implementiert sein oder mehrere Komponenten aufweisen, die parallel oder seriell arbeiten.
  • Alternativ kann die Recheneinheit 20 eine reale oder virtuelle Gruppe von Rechnern aufweisen, wie etwa ein Cluster oder eine Cloud. Ein solches System kann Server-System genannt werden. Je nach Ausführungsform kann die Recheneinheit 20 als lokaler Server oder als Cloudserver ausgebildet sein. Ferner kann die Recheneinheit 20 einen Arbeitsspeicher, wie einen RAM, aufweisen, um beispielsweise die Histopathologiebilddaten HIS1, HIS2 temporär zu speichern. Alternativ kann ein solcher Arbeitsspeicher auch in der Nutzerschnittstelle 10 angeordnet sein. Die Recheneinheit 20 ist z.B. durch computerlesbare Instruktionen, durch Design und/oder Hardware derart ausgebildet, dass sie ein oder mehrere Verfahrensschritte gemäß Ausführungsformen der vorliegenden Erfindung ausführen kann. Insbesondere kann die Recheneinheit 20 dazu ausgebildet sein, ein oder mehrere weiter unten beschriebene Bildverarbeitungsalgorithmen TF-A, TF-B, TF-C, TF-A' auszuführen.
  • Die Recheneinheit 20 kann Untereinheiten oder Module 21-24 aufweisen, die dazu ausgebildet sind, einem Nutzer im Rahmen einer fortgesetzten Mensch-Maschine Interaktion Ähnlichkeitsinformation AEI zur Verfügung zu stellen und ihn so bei der Befundung zu unterstützen.
  • Das Modul 21 ist zur Bereitstellung von Histopathologiebilddaten ausgebildet, die neu befundet werden sollen (je nach Zeitpunkt der Gewebeprobenentnahme entweder die mit HIS1 oder HIS2 bezeichneten Histopathologiebilddaten). Beispielsweise kann Modul 21 dazu ausgebildet sein, solche Histopathologiebilddaten HIS1 oder HIS2 von der Speichereinheit 60 zu empfangen und in die Recheneinheit 20 oder die Nutzerschnittstelle 10 zu laden. Dies kann beispielsweise auf einen über die Nutzerschnittstelle 10 eingegebenen Befehl des Nutzers hin geschehen oder automatisch ausgelöst werden. Ferner kann das Modul 21 dazu ausgebildet sein, dem Nutzer auf einen Befehl hin einzelne Bilder der zu befundenen Histopathologiebilddaten HIS1 oder HIS2 als Referenzbilder RB über die Nutzerschnittstelle 10 anzuzeigen. Das Modul 21 kann ferner dazu ausgebildet sein, innerhalb der Histopathologiebilddaten HIS1 oder HIS2 einen Interessensbereich IB zu ermitteln, welcher Interessensbereich IB einen pathologischen Befund indizieren kann. Hierfür kann das Modul 21 beispielsweise eine entsprechende Nutzereingabe von der Nutzerschnittstelle 10 empfangen, eine in den Histopathologiebilddaten HIS1 oder HIS2 vorhandene Annotation durch einen Nutzer auswerten, und/oder den Interessensbereich IB automatisch bestimmen. Hinsichtlich der letztgenannten Alternative kann das Modul 21 dazu ausgebildet sein, einen geeigneten Bildverarbeitungsalgorithmus auf die Histopathologiebilddaten HIS1 oder HIS2 anzuwenden (beispielsweise den weiter unten beschriebenen zweiten Bildverarbeitungsalgorithmus TF-B).
  • Das Modul 22 ist zur Bereitstellung von Histopathologiebilddaten ausgebildet, mit denen die zu befundenden Histopathologiebilddaten verglichen werden können, um eine Aussage über die Progression einer Tumor-Erkrankung eines Patienten zu treffen (je nach Zeitpunkt der Gewebeprobenentnahme entweder die mit HIS1 oder HIS2 bezeichneten Histopathologiebilddaten). Dazu kann das Modul 22 insbesondere dazu ausgebildet sein, nach Histopathologiebilddaten HIS1 oder HIS2 des Patienten von vergangenen Untersuchungen zu suchen, welche bevorzugt Gewebe aus dem gleichen oder wenigstens einem ähnlichen anatomischen Entnahmebereich des Patienten zeigen. Das Modul 22 kann dazu ausgebildet sein, eine geeignete Suchanfrage zu formulieren und beispielsweise die Speichereinrichtung 60 zu durchsuchen. Ähnlich wie Modul 21 kann Modul 22 dazu ausgebildet sein, in den Vergleichs-Histopathologiebilddaten HIS1 oder HIS2 ebenfalls Interessensbereiche IB zu identifizieren - beispielsweise durch Auswertung einer bereits vorhandenen Annotation von einer früheren Befundung oder durch Anwenden eines geeigneten Bildverarbeitungsalgorithmus.
  • Das Modul 23 ist dazu ausgebildet, in den zu befundenden Histopathologiebilddaten HIS1 oder HIS2 und/oder den Histopathologiebilddaten HIS1 oder HIS2 aus früheren Untersuchungen, insbesondere morphologische und/oder strukturelle und/oder Textur-bezogene, Ähnlichkeiten zwischen den jeweils gezeigten Tumorgewebe bzw. Tumorzellen zu ermitteln. Solche Ähnlichkeiten können beispielsweise anzeigen, ob ein in den neu zu befundenen Histopathologiebilddaten HIS1 oder HIS2 ersichtlicher Tumor ein Rezidiv eines bereits in den alten Histopathologiebilddaten HIS1 oder HIS2 abgebildeten Tumors ist, oder ob es sich um einen neu entstandenen Tumor handelt. Das Modul 23 kann dazu ausgebildet sein, erkannte Ähnlichkeiten als Ähnlichkeitsinformation AEI bereitzustellen. Insbesondere kann das Modul 23 dazu ausgebildet sein, geeignete Bildverarbeitungsalgorithmen auf die Histopathologiebilddaten HIS1, HIS2 anzuwenden, um eine Ähnlichkeitsinformation AEI zu erhalten. Beispielswiese kann das Modul 23 dazu ausgebildet sein, einen oder mehrere der weiter unten beschriebenen Bilderarbeitungsalgorithmen TF-A, TF-C oder TF-A' anzuwenden.
  • Modul 24 kann als Visualisierungsmodul aufgefasst werden, das dazu ausgelegt ist, dem Nutzer das Ergebnis der Ähnlichkeitsanalyse von Modul 23 z.B. über die Nutzerschnittstelle 10 anzuzeigen. Hierfür kann Modul 24 dazu ausgebildet sein, dem Nutzer basierend auf den Histopathologiebilddaten HIS1, HIS2 ein oder mehrere Assistenzbilder AB bereitzustellen, in denen Ähnlichkeitsbereiche AEB grafisch und/oder farblich und/oder anderweitig hervorgehoben sind. Ähnlichkeitsbereiche AEB sind dabei wie erwähnt diejenigen Bereich in den Histopathologiebilddaten HIS1 oder HIS2, die ausgehend von der vorherigen zur neu zu befundenden Gewebeprobe eine große Ähnlichkeit in der Gestalt der Tumorgewebe/Tumorzellen zeigen. Zusätzlich kann Modul 24 dazu ausgebildet sein, die Ergebnisse der Ähnlichkeitsanalyse von Modul 23 zu archivieren (z.B. in der Speichereinheit 60 oder einer beliebigen anderen Speichereinheit) oder einem weiteren Modul bzw. einer weiteren Software zur Weiterverarbeitung bereitzustellen.
  • Die vorgenommene Unterteilung der Recheneinheit 20 in Elemente 21-24 dient dabei lediglich der einfacheren Erklärung der Funktionsweise der Recheneinheit 20 und ist nicht beschränkend zu verstehen. Die Elemente 21-24 bzw. deren Funktionen können auch in einem Element zusammengefasst sein. Die Elemente 21-24 können dabei insbesondere auch als Computerprogrammprodukte oder Computerprogrammsegmente aufgefasst werden, welche bei Ausführung in der Recheneinheit 20 ein oder mehrere der nachstehend beschriebenen Verfahrensschritte realisieren.
  • Die Recheneinheit 20 und der Prozessor 13 können zusammen die Steuerung 40 bilden. Es sei angemerkt, dass das gezeigte Layout der Steuerung 40, d.h. die geschilderte Aufteilung auf die Recheneinheit 20 und den Prozessor 13, ebenfalls nur beispielhaft zu verstehen ist. So kann die Recheneinheit 20 vollständig in dem Prozessor 13 integriert sein und umgekehrt. Insbesondere können die Verfahrensschritte durch ausführen eines entsprechenden Computerprogrammprodukts (z.B. einer auf der Nutzerschnittstelle installierten Software) vollständig auf dem Prozessor 13 der Nutzerschnittstelle 10 laufen, welche dann über die Schnittstelle 30 direkt z.B. mit der Speichereinheit wechselwirkt. Mit anderen Worten wäre dann die Recheneinheit 20 identisch mit dem Prozessor 13.
  • Wie bereits erwähnt kann die Recheneinheit 20 gemäß einigen Ausführungsformen alternativ als Server-System, wie z.B. ein lokaler Server oder ein Cloud-Server, aufgefasst werden. Bei einer derartigen Ausgestaltung kann die Nutzerschnittstelle 10 als „Frontend“ oder „Client“ bezeichnet werden, während die Recheneinheit 20 als „Backend“ dann aufgefasst werden kann. Eine Kommunikation zwischen der Nutzerschnittstelle 10 und der Recheneinheit 20 kann dann beispielsweise basierend auf einem https-Protokoll ausgeführt sein. Die Rechenleistung kann in solchen Systemen zwischen dem Client und dem Server aufgeteilt sein. In einem „Thin Client“ System verfügt der Server über den Großteil der Rechenleistung, während der Client in einem „Thick Client“ System mehr Rechenleistung bereitstellt. Ähnliches gilt für die Daten (hier: insbesondere die Histopathologiebilddaten HIS1, HIS2). Während im „Thin Client“-System die Daten meist auf dem Server verbleiben und nur die Ergebnisse an den Client übermittelt werden, werden dem Client im „Thick-Client“-System auch Daten übermittelt.
  • Gemäß weiteren Ausführungsformen kann die beschriebene Funktionalität auch als sog. Cloud-Service bereitgestellt werden. Die entsprechend ausgebildete Recheneinheit ist dann als Cloud-Platform ausgebildet. In diese Cloud-Platform können dann die zu analysierenden Daten also die Histopathologiebilddaten hochgeladen werden.
  • In 2 ist ein schematisches Ablaufdiagramm eines Verfahrens zur Bereitstellung einer Ähnlichkeitsinformation AEI basierend auf Histopathologiebilddaten HIS, HIS2 von zeitversetzt entnommenen Gewebeproben eines Patienten dargestellt. Die Reihenfolge der Verfahrensschritte ist weder durch die dargestellte Abfolge noch durch die gewählte Nummerierung beschränkt. So kann die Reihenfolge der Schritte ggf. vertauscht und einzelne Schritte können weggelassen werden.
  • In 2 wird die Ähnlichkeitsinformation AEI basierend auf einem Vergleich von ersten Histopathologiebilddaten HIS1 und zweiten Histopathologiebilddaten HIS2 erzeugt. Die ersten Histopathologiebilddaten HIS1 sind dabei basierend auf einer Gewebeprobe des Patienten erzeugt, die diesem zu einem ersten Zeitpunkt entnommen wurde. Die zweiten Histopathologiebilddaten HIS2 basieren auf einer Gewebeprobe des gleichen Patienten, die dem Patienten zu einem von dem ersten Zeitpunkt verschiedenen zweiten Zeitpunkt entnommen wurde. Die Gewebeproben wurden dabei jeweils dem gleichen oder wenigstens einem ähnlichen anatomischen Zielbereich des Patienten entnommen. 2 stellt dabei den allgemeinen Fall dar, der lediglich von verschiedenen ersten und zweiten Zeitpunkten ausgeht. Dabei können die ersten Histopathologiebilddaten HIS1 auf einer Gewebeprobe beruhen, die dem Patienten vor der Gewebeprobe entnommen wurde, auf der die zweiten Histopathologiebilddaten HIS2 beruhen - oder umgekehrt. Weiter konkretisiert werden diese beiden Optionen dann in den nachfolgend dargestellten 3 und 6.
  • Im allgemeinen Fall von 2 ist ein erster Schritt S10 auf das Bereitstellen erster Histopathologiebilddaten HIS1 gerichtet. Die Bereitstellung kann dabei durch ein Abrufen der ersten Histopathologiebilddaten HIS1 von der Speichereinheit 60 und/oder einem Laden der ersten Histopathologiebilddaten HIS1 in die Recheneinheit 20 realisiert sein.
  • Ein zweiter Schritt S20 ist auf das Bereitstellen zweiter Histopathologiebilddaten HIS2 gerichtet. Die Bereitstellung kann dabei ebenfalls durch einen Abruf der zweiten Histopathologiebilddaten HIS2 von der Speichereinheit 60 und/oder einem Laden der zweiten Histopathologiebilddaten HIS2 in die Recheneinheit 20 realisiert sein.
  • Im nächsten Schritt S30 wird ein eine Ähnlichkeitsinformation AEI erzeugt. Dazu werden die ersten Histopathologiebilddaten HIS1 und die zweiten Histopathologiebilddaten HIS2 in einen ersten Bildverarbeitungsalgorithmus TF-A eingegeben. Dieser „matcht“ in den ersten Histopathologiebilddaten HIS1 und den zweiten Histopathologiebilddaten HIS2 ähnliche Bereiche basierend auf einer definierten Ähnlichkeitsmetrik. Die Ähnlichkeitsmetrik kann dabei insbesondere ein Maß für morphologische und strukturelle Ähnlichkeiten der Bereiche sein. Die ähnlichen Bereiche können dabei insbesondere einen pathologischen Befund indizierende Bereiche sein. Beispielsweise können solche, einen pathologischen Befund indizierende Bereiche jene Bereiche in den ersten Histopathologiebilddaten HIS1 und zweiten Histopathologiebilddaten HIS2 sein, die Tumorgewebe bzw. Tumorzellen oder allg. krankhafte Gewebeveränderungen aufweisen. Dadurch, dass die ähnlichen Bereiche eine Ähnlichkeitsbeziehung zwischen zu verschiedenen Zeitpunkten aufgenommenen Gewebeproben herstellen, kann abgeleitet werden, ob die einen pathologischen Befund indizierenden Bereiche in den ersten Histopathologiebilddaten HIS1 und den zweiten Histopathologiebilddaten HIS2 in Bezug zueinander stehen. Wurden beispielsweise in den ersten Histopathologiebilddaten HIS1 Bereiche identifiziert, die ein oder mehreren Bereichen in den zweiten Histopathologiebilddaten HIS2 ähneln, liegen z.B. morphologisch ähnliche krankhafte Gewebeveränderungen vor. Dies wiederum indiziert, dass krankhafte Gewebeveränderungen in den ersten Histopathologiebilddaten HIS1 ein Rezidiv von krankhaften Gewebeveränderungen in den zweiten Histopathologiebilddaten HIS2 darstellen oder umgekehrt (je nachdem, welche der den jeweiligen Histopathologiebilddaten HIS1 oder HIS2 zugrundeliegende Gewebeprobe früher entnommen wurde).
  • Entsprechend kann die Ähnlichkeitsinformation AEI eine Information darüber enthalten, ob zwischen den ersten Histopathologiebilddaten HIS1 und den zweiten Histopathologiebilddaten HIS2 eine Rezidiv-Beziehung besteht. Ferner kann die Ähnlichkeitsinformation AEI eine Lageinformation über die ähnlichen, einen pathologischen Befund indizierenden Bereiche in den ersten Histopathologiebilddaten HIS1 und/oder den zweiten Histopathologiebilddaten HIS2 enthalten, welche Lageinformation beispielsweise eine umrandende Box und/oder Koordinaten der ähnlichen Bereich aufweisen kann. Ferner kann die Ähnlichkeitsinformation AEI eine Angabe hinsichtlich des Ähnlichkeitsgrades zwischen den ähnlichen Bereichen der ersten Histopathologiebilddaten HIS1 und der zweiten Histopathologiebilddaten HIS2 enthalten. Ferner kann die Ähnlichkeitsinformation AEI ein oder mehrere Assistenzbilder AB aufweisen, die auf den ersten Histopathologiebilddaten HIS1 und/oder den zweiten Histopathologiebilddaten HIS2 beruhen können und in denen z.B. ähnliche, einen pathologischen Befund indizierende Bereiche hervorgehoben sein können.
  • In einem weiteren Schritt S40 wird die Ähnlichkeitsinformation AEI schließlich bereitgestellt. Bereitgestellt kann allgemein bedeuten, dass die Ähnlichkeitsinformation AEI für eine Verwendung zur Verfügung gestellt wird. Beispielsweise kann die Ähnlichkeitsinformation AEI einem Nutzer über die Nutzerschnittstelle 10 angezeigt werden. Zusätzlich oder alternativ kann die Ähnlichkeitsinformation AEI in der Speichereinheit 60 archiviert werden oder in einen weiteren Algorithmus zur Weiterverarbeitung eingegeben werden.
  • In einem optionalen Schritt S50 wird auf Grundlage der Ähnlichkeitsinformation AEI schließlich automatisch ein medizinischer Report bzw. Befundbericht erstellt. Dies kann umfassen, dass ein geeignetes Template mit den Ähnlichkeitsinformation AEI vorbefüllt und dem Nutzer zur Kenntnisnahme und weiteren Bearbeitung über die Nutzerschnittstelle 10 bereitgestellt wird.
  • Zur weiteren Verdeutlichung wird nun in der in 3 gezeigten Ausführungsform auf den Fall eingegangen, dass die ersten Histopathologiebilddaten HIS1 auf einer später entnommen Gewebeprobe beruhen als die zweiten Histopathologiebilddaten HIS2. Mit anderen Worten liegt der zweite Zeitpunkt somit zeitlich vor dem ersten Zeitpunkt und die ersten Histopathologiebilddaten HIS1 können als „Follow-Up“ der zweiten Histopathologiebilddaten HIS2 angesehen werden. Die Reihenfolge der Verfahrensschritte ist weder durch die dargestellte Abfolge noch durch die gewählte Nummerierung beschränkt. So kann die Reihenfolge der Schritte ggf. vertauscht und einzelne Schritte können weggelassen werden.
  • Ein erster Schritt S10` ist auf das Bereitstellen der ersten Histopathologiebilddaten HIS1 gerichtet. Die ersten Histopathologiebilddaten HIS1 können beispielsweise von einem Nutzer in der Nutzerschnittstelle 10 ausgewählt werden. Die Recheneinheit 20 kann die ersten Histopathologiebilddaten HIS1 dann von der Speichereinheit 60 abrufen und z.B. in einen Arbeitsspeicher oder eine andere Speichereinrichtung der Recheneinheit 20 laden.
  • In einem nächsten Schritt S15` wird dann ein Interessensbereich IB in den ersten Histopathologiebilddaten HIS1 bestimmt. Der Interessensbereich IB ist insbesondere ein Bereich in (oder ein Ausschnitt aus) den ersten Histopathologiebilddaten HIS1, der eine für einen pathologischen Befund relevante Morphologie zeigt. Mit anderen Worten kann der Interessensbereich als ein einen pathologischen Befund indizierender Bereich (oder Ausschnitt) der ersten Histopathologiebilddaten HIS1 aufgefasst werden. Der Interessensbereich IB kann dabei einen oder mehrere einzelne Bereiche (oder Ausschnitte) ROI, ROI1, ROI2, usw. aufweisen (vgl. 4 und 5). Gemäß einigen Implementierungen kann der Interessensbereich IB weiterhin auch die gesamten ersten Histopathologiebilddaten HIS1 umfassen. Der Interessenbereich IB kann automatisch (Schritt S15A), oder manuell (Schritt S15B) bestimmt werden.
  • Zur automatischen Bestimmung des Interessenbereichs IB in Schritt S15A können die ersten Histopathologiebilddaten HIS1 in einen zweiten Bildverarbeitungsalgorithmus TF-B eingeben werden, der dazu ausgebildet ist, in Histopathologiebilddaten HIS1, HIS2 für die pathologische Befundung relevante Bereiche, also insbesondere krankhafte Gewebeveränderungen zeigende Bereiche zu identifizieren. Wie weiter unten erläutert, kann der zweite Bildverarbeitungsalgorithmus TF-B insbesondere eine trainierte Funktion aufweisen.
  • Zur manuellen Bestimmung des Interessenbereichs IB in Schritt S15B, kann das System 1 derart ausgebildet sein, dass der Nutzer aus den ersten Histopathologiebilddaten HIS1 ein oder mehrere Referenzbilder RB auswählen und in der Nutzerschnittstelle 10 begutachten kann. Das System 1 und insbesondere die Nutzerschnittstelle 10 können ferner derart ausgebildet sein, dass der Nutzer den Interessensbereich IB mit einer Annotation kennzeichnen kann, welche Annotation der Nutzer mit einer Nutzereingabe über die Nutzerschnittstelle 10 eingeben kann. Beispielsweise kann das System 1 derart ausgebildet sein, dass der Nutzer den Interessensbereich IB durch Markieren für ihn relevanter Bereiche in einem oder mehreren Referenzbildern RB mit einem Mausklick oder durch Einrahmen annotieren kann.
  • Daneben ist auch eine semi-automatische Bestimmung des Interessensbereich IB denkbar, bei dem möglicherweise relevante Bereiche durch den zweiten Bildverarbeitungsalgorithmus TF-B automatisch bestimmt und dem Nutzer über die Nutzerschnittstelle 10 zur Auswahl angezeigt werden. Die von dem Nutzer bestätigten Bereiche werden dann für den Interessensbereich IB übernommen.
  • Ein nächster Schritt S20` ist dann auf die Bereitstellung der zweiten Histopathologiebilddaten HIS2 gerichtet, welche auf Gewebeproben beruhen, die dem Patienten vor der Gewebeprobeentnahme für die ersten Histopathologiebilddaten HIS1 entnommen wurden. Dazu kann die Recheneinheit 20 derart ausgebildet sein, dass sie die Speichereinheit 60 nach geeigneten zweiten Histopathologiebilddaten HIS2 durchsucht und diese lädt. Gemäß einigen Ausführungsformen können die so gefundenen zweiten Histopathologiebilddaten HIS2 dem Nutzer zur Auswahl angezeigt werden. Der Nutzer wird so in die Lage versetzt, einen aus seiner Sicht gut geeigneten zweiten Histopathologiebilddaten HIS2 selbst aus einer Vorauswahl auszuwählen. Gemäß Ausführungsformen der Erfindung können die in Frage kommenden zweiten Histopathologiebilddaten HIS2 dem Nutzer in Form eines Zeitstrahls in einer grafischen Benutzerschnittstelle zur Auswahl angezeigt werden, was den Nutzer einen raschen und umfassenden Überblick verschafft. Einzelnen Punkte auf dem Zeitstrahl können dabei die zur Verfügung stehenden zweiten Histopathologiebilddaten HIS2 angeben. Als Alternative kann die Recheneinheit 20 dazu ausgebildet sein, geeignete zweite Histopathologiebilddaten HIS2 autonom auszuwählen. Alternativ können das System 1 und insbesondere die Nutzerschnittstelle 10 auch derart ausgebildet sein, dass der Nutzer die zweiten Histopathologiebilddaten HIS2 vollständig selbst auswählt, etwa durch eigenständiges Durchsuchen der in der Speichereinheit 60 gespeicherten Histopathologiebilddaten.
  • Um zur Ermittlung der Ähnlichkeitsinformation AEI gemäß Ausführungsformen der Erfindung geeignet zu sein, sollten die zweiten Histopathologiebilddaten HIS2 wenigstens dem gleichen Patienten zugeordnet sein, wie die ersten Histopathologiebilddaten HIS1. Die Wahrscheinlichkeit, zum Interessensbereich IB ähnliche Bereiche aufzufinden und somit aussagekräftige Ähnlichkeitsinformation AEI bereitzustellen, steigt außerdem, wenn die zweiten Histopathologiebilddaten HIS2 ferner auf einer Gewebeprobe beruhen, die dem gleichen oder wenigstens einem ähnlichen anatomischen Zielbereich entnommen wurde, wie die Gewebeprobe aus der die ersten Histopathologiebilddaten HIS1 erzeugt wurden. Zudem können bessere Ergebnisse erzielt werden, wenn für die ersten Histopathologiebilddaten HIS1 und die zweiten Histopathologiebilddaten HIS2 die gleiche Färbung verwendet wurde. Zusätzlich kann ein geeigneter Zeitabstand zwischen ersten und zweiten Zeitpunkten von Relevanz sein. Diese Informationen können bei der Bereitstellung der zweiten Histopathologiebilddaten HIS2 als Metadaten berücksichtigt werden. Diese Metadaten können beispielsweise automatisch aus den ersten Histopathologiebilddaten HIS1 extrahiert werden, automatisch aus einem medizinischen Informationssystem abgerufen werden und/oder durch den Nutzer bereitgestellt werden. Beispielsweise können Informationen betreffend den Patienten, den anatomischen Zielbereich oder die Färbung in einem Header der ersten Histopathologiebilddaten HIS1 hinterlegt sein und von dort extrahiert werden. Alternativ können diese Informationen durch Aufrufen einer in dem medizinischen Informationssystem hinterlegten elektronischen Patientenakte gewonnen werden. Zusätzlich kann der Nutzer nach den Metadaten gefragt werden, etwa durch Bereitstellen einer entsprechenden Eingabemaske über die Nutzerschnittstelle 10. Daneben kann ein geeignetes Zeitfenster für den Zeitabstande zwischen dem ersten und dem zweiten Zeitpunkt vorbelegt sein.
  • Gemäß einigen Ausführungsformen kann auch vorgesehen sein, den in Schritt S15 bestimmten Interessensbereich IB und/oder davon abgeleitete Informationen (wie etwa eine Merkmalssignatur - siehe unten) bei dem Bereitstellen der zweiten Histopathologiebilddaten HIS2 zu berücksichtigen. Dies kann insbesondere dann sinnvoll sein, wenn auch in den zweiten Histopathologiebilddaten HIS2 bereits solche Interessensbereiche IB aus vorherigen Befundungen/Analysen annotiert sind.
  • Der nächste Schritt S30` ist auf die Ermittlung der Ähnlichkeitsinformation AEI gerichtet. Dazu ist in einem Teilschritt S30A' vorgesehen, die zweiten Histopathologiebilddaten HIS2 nach Ähnlichkeitsbereichen AEB zu durchsuchen. Dazu können die zweiten Histopathologiebilddaten HIS2 in einen dritten Bildverarbeitungsalgorithmus TF-C eingeben werden. Optional können zusätzlich die ersten Histopathologiebilddaten HIS1 und/oder die Interessensbereiche IB in den dritten Bildverarbeitungsalgorithmus TF-C eingegeben werden. Der dritte Bildverarbeitungsalgorithmus TF-C kann allgemein dazu ausgebildet sein, in Histopathologiebilddaten nach Bereichen zu suchen, die eine Ähnlichkeit mit vorgebbaren Bilddaten aufweisen. Im vorliegenden Fall sind diese vorgebbaren Bilddaten durch den Interessensbereich IB gegeben. Zur Feststellung, ob zwischen Bilddaten eine Ähnlichkeit besteht, kann der dritte Bildverarbeitungsalgorithmus TF-C ferner dazu ausgebildet sein, eine definierte Ähnlichkeitsmetrik anzuwenden, wie weiter unten erläutert werden wird.
  • Die Ähnlichkeitsbereiche AEB sind mit anderen Worten die einen pathologischen Befund indizierenden Bereiche der zweiten Histopathologiebilddaten HIS2. Die Ähnlichkeitsbereiche AEB können eine morphologische Ähnlichkeit mit dem Interessensbereich IB aufweisen. Ferner können die Ähnlichkeitsbereiche AEB ähnliche Muster oder Strukturen wie der Interessensbereich IB aufweisen. Ferner kann der Ähnlichkeitsbereich AEB eine ähnliche Merkmalssignatur wie der Interessensbereich IB aufweisen. Eine Merkmalssignatur kann beispielsweise als ein Satz oder Vektor abstrakter Merkmale verstanden werden, die aus den Bild- und/oder Metadaten extrahiert werden können. Für die Durchsuchung nach Ähnlichkeitsbereichen können die zweiten Histopathologiebilddaten HIS2 beispielsweise, abgerastert` werden und die Bilddaten der zweiten Histopathologiebilddaten HIS2 können so Schritt für Schritt mit den Bilddaten des Interessensbereich IB verglichen werden. Die Ähnlichkeitsbereiche AEB können insbesondere eine Ähnlichkeit mit dem Interessensbereich IB aufweisen, die oberhalb eines vorbestimmten Ähnlichkeitslevels oder Ähnlichkeitsmaßes liegt. Das Ähnlichkeitslevel bzw. Ähnlichkeitsmaß kann einen Grad an Übereinstimmung zwischen verschiedenen Bilddaten angeben. Die Ähnlichkeit, die mit dem vorbestimmten Ähnlichkeitsmaß verglichen wird, kann z.B. das Ergebnis der o.g. Ähnlichkeitsmetrik sein. Das vorbestimmte Ähnlichkeitsmaß kann z.B. manuell oder automatisch vorgegeben werden. Es ist zu beachten, dass die Suche nach Ähnlichkeitsbereichen AEB auch ein negatives Ergebnis liefern kann, wenn in den zweiten Histopathologiebilddaten HIS2 keine Bereiche vorhanden sind, die dem Interessensbereich IB ähneln.
  • Optional können in Schritt S30A' ferner bestehende Annotationen in den zweiten Histopathologiebilddaten HIS2 berücksichtigt werden, die bereits einen pathologischen Befund aus einer früheren Befundung indizieren (also mithin „Interessensbereiche“ in den zweiten Histopathologiebilddaten HIS2).
  • Basierend auf dem ersten Teilschritt S30A' wird dann in einem zweiten Teilschritt S30B` die Ähnlichkeitsinformation AEI bestimmt. Die Ähnlichkeitsinformation AEI können zum Beispiel eine Angabe über die Ähnlichkeitsbereiche AEB, wie etwa deren Lage in den zweiten Histopathologiebilddaten HIS2, deren Größe, eine quantitative Angabe über deren Ähnlichkeiten usw. aufweisen. Wurden in Schritt S30B` keine Ähnlichkeitsbereiche AEB gefunden, kann das in den Ähnlichkeitsinformation AEI entsprechend angegeben werden. Weiterhin kann die Ähnlichkeitsinformation AEI eine Visulisierung für den Nutzer umfassen. Eine Visualisierung kann dabei beispielsweise auf den zweiten Histopathologiebilddaten HIS2 basieren. Insbesondere kann basierend auf den zweiten Histopathologiebilddaten HIS2 ein Assistenzbild AB erzeugt werden, in dem einer oder mehrere Ähnlichkeitsbereiche AEB hervorgehoben sind (vgl. 6). Eine Hervorhebung kann dabei beispielsweise durch eine Umrahmung und/oder durch eine farblich abgesetzte Markierung der Ähnlichkeitsbereiche ausgeführt sein. Hinsichtlich der farblich abgesetzten Markierung ist es weiterhin möglich, die Ähnlichkeit der einzelnen Ähnlichkeitsbereiche AEB durch einen Farbcode anzuzeigen, bei dem ein Farbverlauf Abstufungen in den für die einzelnen Ähnlichkeitsbereiche AEB berechneten Ähnlichkeitswerte zugeordnet ist. Alternativ oder zusätzlich kann die Ähnlichkeitsinformation AEI eine Aussage über eine Wahrscheinlichkeit aufweisen, dass der Interessensbereich IB mit den Ähnlichkeitsbereichen AEB in einer Rezidiv-Beziehung steht. Dies kann anzeigen, dass die in dem Interessensbereich IB gezeigten krankhafte Gewebeveränderungen ein Rezidiv der in den Ähnlichkeitsbereichen AEB gezeigten krankhaften Gewebeveränderungen sind, was auf ein Wiederaufflammen einer Erkrankung hindeuten kann. Neben Ähnlichkeitsbereichen AEB können die zweiten Histopathologiebilddaten HIS2 noch weitere einen pathologischen Befund indizierende Bereiche aufweisen, die zwar z.B. eine krankhafte Gewebeveränderung anzeigen, aber keine Ähnlichkeiten mit den einen pathologischen Befund indizierenden Bereichen der ersten Histopathologiebilddaten HIS1 aufweisen. Diese Bereiche können im Assistenzbild AB ebenfalls und bevorzugt von den Ähnlichkeitsbereichen AEB verschieden hervorgehoben werden - etwa durch eine Hervorhebung in einer anderen Farbe.
  • In einem Schritt S40` werden die Ähnlichkeitsinformation AEI schließlich bereitgestellt. Schritt S40` entspricht dabei im Wesentlichen Schritt S40 und die in Schritt S40 beschriebenen Handlungen können auch in Schritt S40` vorgenommen werden. Insbesondere kann dem Nutzer in Schritt S40` das Assistenzbild AB mittels der Nutzerschnittstelle 10 angezeigt werden. Alternativ oder zusätzlich kann das Assistenzbild AB in der Speichereinheit 60 archiviert werden.
  • Der optionale Schritt S50` entspricht im Wesentlichen Schritt S50 aus 2. Insbesondere können in Schritt S50' das Assistenzbild AB und/oder Metadaten aus den ersten Histopathologiebilddaten HIS1 und/oder zweiten Histopathologiebilddaten HIS2 und/oder Aussagen über eine Rezidiv-Wahrscheinlichkeit automatisch in ein Template eines medizinischen Befundberichts oder einen Report eingegeben werden, der dann einem Nutzer über die Nutzerschnittstelle 10 zur Verfügung gestellt oder in der Speichereinheit 60 archiviert werden kann.
  • Der optionale Schritt S60` ist ein Wiederholungsschritt. Schritt S60` stellt darauf ab, dass je nach Krankheitshistorie des Patienten mehrere zweite Histopathologiebilddaten HIS2 für einen Abgleich mit den „aktuellen“ ersten Histopathologiebilddaten HIS1 in Frage kommen können. Wie in Zusammenhang mit Schritt S20` erläutert, können die in Frage kommenden zweiten Histopathologiebilddaten HIS2 zwar zur Auswahl vorgelegt werden. Je nach Implementierung ist dies aber nicht zwingend vorgesehen. Zudem kann der Nutzer möglicherweise mehrere zweite Histopathologiebilddaten HIS2 auswählen. In diesen Fällen liegen mehrere zweite Histopathologiebilddaten HIS2 vor, die für die Analyse der fortfolgenden Schritte in Frage kommen. Deshalb kann in dem optionalen Schritt S60' vorgesehen sein, dass die Schritte S20', S30', S40' und S50' für die unterschiedlichen zweiten Histopathologiebilddaten HIS2 wiederholt werden, wobei jedem Durchlauf andere zweite Histopathologiebilddaten HIS2 zugrunde gelegt werden, bis alle in Frage kommenden zweiten Histopathologiebilddaten HIS2 abgearbeitet sind.
  • In 7 ist eine weitere Ausführungsform eines Verfahrens zur Bereitstellung einer Ähnlichkeitsinformation AEI für Histopathologiebilddaten HIS1, HIS2 dargestellt. Die Reihenfolge der Verfahrensschritte ist weder durch die dargestellte Abfolge noch durch die gewählte Nummerierung beschränkt. So kann die Reihenfolge der Schritte ggf. vertauscht und einzelne Schritte können weggelassen werden. Im Unterschied zur in 3 gezeigten Ausführungsform liegt in dieser Ausführungsform der erste Zeitpunkt vor dem zweiten Zeitpunkt. Mit anderen Worten gehen die ersten Histopathologiebilddaten HIS1 auf eine Gewebeprobe zurück, die dem Patienten zeitlich vor der Gewebeprobe entnommen wurde, auf die die zweiten Histopathologiebilddaten HIS2 zurückgehen. Die zweiten Histopathologiebilddaten HIS2 sind also diesmal ein Ergebnis einer gerade zur Befundung vorliegenden „Follow-Up“-Untersuchung, während die ersten Histopathologiebilddaten HIS1 zu Voruntersuchungen gehören (sog. „Priors“). Als weiterer Unterschied wird zudem in der in Zusammenhang mit 7 gezeigten Ausführungsform davon ausgegangen, dass in den ersten Histopathologiebilddaten HIS1 durch frühere Befundungen bereits relevante Bereiche definiert sind, die einen pathologischen Befund indizieren und die Grundlage für Interessensbereiche IB darstellen können.
  • In einem ersten Schritt S20" werden zunächst die zweiten Histopathologiebilddaten HIS2 bereitgestellt. Schritt S20" entspricht hinsichtlich der technischen Implementierung im Wesentlichen Schritt S10` aus 3. Entsprechend sind die in Zusammenhang mit Schritt S10` beschriebenen Einzelschritte, Alternativen, Erläuterungen und Wirkungen auf Schritt S20" analog anwendbar.
  • In Schritt S10" werden dann mit den ersten Histopathologiebilddaten HIS1 geeignete Referenzdaten aus früheren Untersuchungen des Patienten gesucht. Schritt S10" entspricht dabei technisch im Wesentlichen Schritt S20` aus 3. Die in Zusammenhang mit der Bereitstellung der zweiten Histopathologiebilddaten HIS2 in Schritt S20` beschriebenen Einzelschritte, Alternativen, Erläuterungen und Wirkungen sind auf die Bereitstellung der ersten Histopathologiebilddaten HIS1 nach Schritt S10" analog anwendbar.
  • Im Unterschied zu 3 wird in Schritt S15" der Interessensbereich IB nicht in dem „Follow-Up“ Histopathologiebilddaten definiert, sondern in den „Priors“. Dies sind in der in 7 gezeigten Ausführungsform die ersten Histopathologiebilddaten HIS1. Der Interessensbereich IB ist dabei wieder ein Bereich, der eine für einen pathologischen Befund relevantes Muster zeigt. Insbesondere kann der Interessensbereich IB dabei wieder einen oder mehrere einzelne Bereiche ROI, ROI1, ROI2, usw. aufweisen (vgl. 4 und 5). Der Interessenbereich IB wird in Schritt S15" bevorzugt automatisch bestimmt. Zur automatischen Bestimmung des Interessenbereichs IB können die ersten Histopathologiebilddaten HIS1 in den bereits erwähnten zweiten Bildverarbeitungsalgorithmus TF-B eingeben werden, der dazu ausgebildet ist, in Histopathologiebilddaten HIS1, HIS2 für die pathologische Befundung relevante Bereiche, also insbesondere krankhafte Gewebeveränderungen wie Tumorgewebe zeigende Bereiche zu identifizieren. Alternativ können bereits bestehende Annotationen in den ersten Histopathologiebilddaten HIS1 automatisch ausgewertet werden, die z.B. ein Nutzer im Wege einer früheren Befundung in den ersten Histopathologiebilddaten HIS1 angelegt hat. Diese Annotationen können z.B. als Markierungen von Interessensbereichen IB in den ersten Histopathologiebilddaten HIS1 oder zugehörigen Metadaten hinterlegt sein.
  • Der nächste Schritt S30" ist auf die Ermittlung der Ähnlichkeitsinformation AEI gerichtet. Dazu ist in einem Teilschritt S30A" vorgesehen, die zweiten Histopathologiebilddaten HIS2 nach Ähnlichkeitsbereichen AEB zu durchsuchen. Als systematischer Unterschied zu der in 3 gezeigten Ausführungsform werden die Ähnlichkeitsbereiche AEB also nicht in den „Priors“ HIS1, sondern in den „Follow-Up“-Daten HIS2 gesucht. Hinsichtlich der technischen Implementierung entspricht Schritt S30A" dabei im Wesentlichen Schritt S30A' aus 3 und die in Zusammenhang mit Schritt S30A" beschriebenen Einzelschritte, Erläuterungen, Alternativen und Wirkungen sind auf Schritt S30A" analog übertragbar.
  • Basierend auf dem Teilschritt S30A" werden dann in einem zweiten Teilschritt S30B" die Ähnlichkeitsinformation AEI bestimmt. Schritt S30B" entspricht dabei im Wesentlichen Schritt S30B' aus 3 und die in Zusammenhang mit Schritt S30B' beschriebenen Einzelschritte, Erläuterungen, Alternativen und Wirkungen sind auf Schritt S30B" analog übertragbar. Insbesondere kann in der in 7 gezeigten Ausführungsform ebenfalls vorgesehen sein, ein Assistenzbild AB zu erzeugen, das auf den zweiten Histopathologiebilddaten HIS2 basiert. Als systematischer Unterschied würde in der in 7 gezeigten Ausführungsform ein Assistenzbild AI allerdings bevorzugt auf Grundlage der Follow-Up Untersuchung erzeugt.
  • Die Schritte S40" und S50" entsprechen im Wesentlichen den Schritten S40' und S50' aus 3 und die in Zusammenhang mit den Schritten S40' und S50' beschriebenen Einzelschritte, Erläuterungen, Alternativen und Wirkungen sind auf Schritt S40" und S50" analog übertragbar.
  • Der optionale Schritt S60" ist schließlich ein zu Schritt S60' analoger Wiederholungsschritt - mit dem Unterschied, dass Schritt S60" auf die ersten Histopathologiebilddaten HIS1 gerichtet ist. Entsprechend ist in dem optionalen Schritt S60" vorgesehen, dass die Schritte S10", S15", S30", S40" und S50" für unterschiedliche erste Histopathologiebilddaten HIS1 wiederholt werden, wobei jedem Durchlauf andere erste Histopathologiebilddaten HIS1 zugrunde gelegt werden, bis alle in Frage kommenden ersten Histopathologiebilddaten HIS1 abgearbeitet sind.
  • Es wird angemerkt, dass die beiden in 3 und 7 gezeigten Ausführungsformen miteinander kombinierbar sind. Entsprechend können Interessensbereiche IB sowohl in den ersten Histopathologiebilddaten HIS1 als auch in den zweiten Histopathologiebilddaten HIS2 definiert werden, welche dann zur Bestimmung von Ähnlichkeitsbereichen AEB auf Ähnlichkeiten untersucht werden können. Umgekehrt kann auf die dezidierte Ermittlung von Interessensbereichen IB auch gänzlich verzichtet werden und die ersten Histopathologiebilddaten HIS1 und die zweiten Histopathologiebilddaten HIS2 können als solche und in ihrer Gesamtheit mit Hilfe eines geeigneten Bildverarbeitungsalgorithmus TF-A auf einen pathologischen Befund indizierende Bereiche analysiert werden, die sich über den Zeitraum zwischen ersten und zweiten Zeitpunkt hinweg ähneln.
  • In 8 ist ein Verfahren zur Bestimmung von Ähnlichkeitsbereichen in Histopathologiebilddaten HIS1, HIS2 dargestellt. Die Reihenfolge der Verfahrensschritte ist weder durch die dargestellte Abfolge noch durch die gewählte Nummerierung beschränkt. So kann die Reihenfolge der Schritte ggf. vertauscht und einzelne Schritte können weggelassen werden. Insbesondere kann der dritte Bildverarbeitungsalgorithmus TF-C dazu ausgebildet sein, ein oder mehrere der in Zusammenhang mit 8 erläuterten Schritt zu implementieren.
  • Die in 8 gezeigte Ausführungsform geht davon aus, dass ein Interessensbereich IB vorliegt. Somit können die in 8 dargestellten Schritte beispielsweise an die Schritte S15' bzw. S15" anschließen. Davon ausgehend ist ein erster Schritt A10 auf ein Extrahieren einer Merkmalssignatur fIB basierend auf dem Interessensbereich IB gerichtet. Die Merkmalssignatur fIB kann mehrere einzelne Merkmale aufweisen, die aus dem Interessensbereich IB extrahiert wurden und den Interessensbereich IB in Summe charakterisieren. Die Merkmalssignatur fIB kann einen sog. Merkmalsvektor aufweisen, in dem einzelne Merkmale zusammengefasst sind. Ist der Interessensbereich IB aus mehreren einzelnen Bereichen ROI, ROI1, ROI2, ROI3 zusammengesetzt, können die einzelnen Merkmale der Merkmalssignatur fIB über die einzelnen Bereiche gemittelt werden. Die Merkmale können beispielsweise ein Muster, eine Textur und/oder eine Struktur in dem Interessensbereich IB umfassen. Weiterhin können die Merkmale der Merkmalssignatur fIB Parameter aufweisen, welche die (Zell-)Dichte und oder die Dichte eines histopathologischen Markers in dem Interessensbereich IB kennzeichnen. Ferner können ein oder mehrere Merkmale der Merkmalssignatur fIB Parameter aufweisen, die einen Farbwert, eine Graustufe oder einen Kontrastwert in dem Interessensbereich IB ausweisen. Zusätzlich können ein oder mehrere Merkmale der Merkmalssignatur fIB auf Charakteristika gerichtet sein, die außerhalb des Interessensbereichs IB liegen. Beispielsweise können dies Informationen zu umgebendem Gewebe sein oder Informationen, die Metadaten zu den ersten Histopathologiebilddaten HIS1 entnommen wurden. Die Merkmalssignatur fIB kann mit einem separaten Bildverarbeitungsalgorithmus generiert werden, in den der Interessensbereich IB sowie optional die ersten Histopathologiebilddaten HIS1 und etwaige Metadaten eingegeben werden. Beispielsweise können hierfür sog. Textur-Klassifikationsalgorithmen (vgl. z.B.: Hamilton et al., „Fast automated cell phenotype image classification,“ BMC Bioinformatics, 8:110, 2007, DOI: 10.1186/1471-2105-8-110) oder trainierte Funktionen, wie etwa ein faltendes neuronales Netzwerk (s.u.), verwendet werden. Der vorgenannte Bildverarbeitungsalgorithmus kann insbesondere als Sub-Routine des dritten Bildverarbeitungsalgorithmus TF-C implementiert sein.
  • In einem nächsten Schritt A20 werden in den zweiten Histopathologiebilddaten HIS2 mögliche Ähnlichkeitsbereiche AEB identifiziert. Dies kann beispielsweise durch systematisches Abrastern der zweiten Histopathologiebilddaten HIS2 geschehen. Dabei kann beispielsweise ein „Moving Window“ über die zweiten Histopathologiebilddaten HIS2 bewegt werden oder die zweiten Histopathologiebilddaten HIS2 können durch ein Gitter in mögliche Ähnlichkeitsbereiche AEB unterteilt werden. Als weitere Alternative können mögliche Ähnlichkeitsbereiche AEB auch dynamisch d.h. mit variabler Größe festgelegt werden. Hierbei können zusammenhängende Bereiche anhand in einem Bereich konsistenter Bildwerte, wie Graustufen, Kontrast, Dichte, etc. identifiziert werden. Daneben ist eine Identifikation möglicher Ähnlichkeitsbereiche durch eine Auswertung von Bildkanten möglich (vgl. Zitnick et al., „Edge Boxes: Locating Object Proposals from Edges,“ Computer Vision - ECCV, 2014, pp 391-405). Zudem ist der Einsatz einer trainierten Funktion und insbesondere eines faltenden neuronalen Netzwerks möglich. Als eine weitere Möglichkeit kann bereits bei der Identifizierung möglicher Ähnlichkeitsbereiche AEB eine Priorisierung vorgenommen werden und es können nur solche Bereiche der zweiten Histopathologiebilddaten HIS2 als mögliche Ähnlichkeitsbereiche AEB identifiziert werden, die mit einiger Wahrscheinlichkeit als Ähnlichkeitsbereiche AEB in Frage kommen. Hierfür kann beispielsweise eine Segmentierung verwendet werden, die weniger relevante Bereiche, wie etwa nekrotische Gewebebereiche, der zweiten Histopathologiebilddaten HIS2 von der weiteren Analyse ausschließt. Alternativ dazu oder zusätzlich kann ein dem zweiten Bildverarbeitungsalgorithmus TF-B ähnlicher Algorithmus angewandt werden, der dazu ausgebildet ist, in Histopathologiebilddaten relevant Bereiche automatisch zu erkennen.
  • In einem nächsten Schritt A30 werden den möglichen Ähnlichkeitsbereichen AEB der Merkmalssignatur fIB entsprechende Merkmalssignaturen fAEB extrahiert. Dabei kann im Wesentlichen wie in Schritt A10 beschrieben vorgegangen werden.
  • In einem nächsten Schritt A40 werden die den möglichen Ähnlichkeitsbereichen AEB extrahierten Merkmalssignaturen fAEB mit der Merkmalssignatur fIB des Interessenbereichs IB verglichen. Dabei kann insbesondere für jeden möglichen Ähnlichkeitsbereich AEB eine Ähnlichkeitsmetrik bestimmt werden, welche Ähnlichkeitsmetrik ein Maß für eine Ähnlichkeit oder eine Übereinstimmung der aus dem jeweiligen möglichen Ähnlichkeitsbereich AEB extrahierten Merkmalssignatur fAEB mit der Merkmalssignatur fIB des Interessensbereichs IB darstellt. Beispielsweise kann die Ähnlichkeitsmetrik als ein Abstand der Merkmalssignaturen im Merkmalsraum definiert sein. Werden die Merkmalssignaturen als Merkmalsvektoren aufgefasst, kann die Ähnlichkeitsmetrik beispielsweise als Kosinus-Ähnlichkeit definiert sein.
  • In Schritt A50 werden basierend auf dem Vergleich aus den möglichen Ähnlichkeitsbereichen AEB die Ähnlichkeitsbereiche AEB ausgewählt. Dabei können z.B. all jene mögliche Ähnlichkeitsbereiche AEB als Ähnlichkeitsbereiche AEB klassifiziert werden, deren zugehörige Ähnlichkeitsmetrik ein Maß an Ähnlichkeit mit dem Interessensbereich IB ausweist, das oberhalb einer festgelegten Schwelle liegt. Die Schwelle kann automatisch oder manuell festgelegt werden.
  • An Schritt A50 können dann zum Beispiel die Schritte S30B' bzw. S30B" anschließen.
  • Gemäß Ausführungsformen der Erfindung werden Verfahrensschritte der in 2, 3, 7 und 8 gezeigten Ausführungsformen durch einen oder mehrere Bildverarbeitungsalgorithmen TF-A, TF-B, TF-C ausgeführt. Die 9, 10 und 11 zeigen Ausführungsformen dieser Bildverarbeitungsalgorithmen. Der in 9 gezeigte Bildverarbeitungsalgorithmus entspricht dem in Zusammenhang mit 2 eingeführten ersten Bildverarbeitungsalgorithmus TF-A. Er erhält die ersten Histopathologiebilddaten HIS1 und die zweiten Histopathologiebilddaten HIS2 als Eingangsdaten und gibt als Ausgabedaten die Ähnlichkeitsbereiche AEB und/oder die Ähnlichkeitsinformation AEI aus. Der in 10 gezeigte Bildverarbeitungsalgorithmus entspricht dem in Zusammenhang mit den 3 und 7 erwähnten dritten Bildverarbeitungsalgorithmus TF-C. Dieser erhält die Interessenbereiche IB sowie die zweiten Histopathologiebilddaten HIS2 als Eingabedaten und gibt die Ähnlichkeitsbereiche AEB und/oder die Ähnlichkeitsinformation AEI als Ausgabedaten aus. In 11 ist eine Abwandlung TF-A' des ersten Bildverarbeitungsalgorithmus TF-A dargestellt. Der Bildverarbeitungsalgorithmus TF-A' zeichnet sich dadurch aus, dass in ihm der zweite Bildverarbeitungsalgorithmus TF-B und der dritte Bildverarbeitungsalgorithmus TF-C als Subroutinen implementiert sind. Wie erwähnt ist der zweite Bildverarbeitungsalgorithmus TF-B derart ausgebildet, dass er Interessensbereiche IB in Histopathologiebilddaten HIS1, HIS2 erkennt. Optional können wenigstens Teile des zweiten Bildverarbeitungsalgorithmus TF-B in dem dritten Bildverarbeitungsalgorithmus TF-C implementiert sein.
  • Gemäß einigen Ausführungsformen weisen die Bildverarbeitungsalgorithmen TF-A, TF-B, TF-C, TF-A' ein oder mehrere trainierte Funktionen auf. Diese trainierten Funktionen können gemäß Ausführungsformen ein neuronales Netz aufweisen. Neuronale Netzwerk können eine Vielzahl von aufeinanderfolgenden Schichten aufweisen. Jede Schicht umfasst mindestens einen, vorzugsweise mehrere Knoten. Im Wesentlichen kann jeder Knoten eine mathematische Operation ausführen, die einen oder mehrere Eingabewerte einem Ausgabewert zuordnet. Die Knoten jeder Schicht können mit allen oder nur einer Teilmenge von Knoten einer vorherigen und/oder nachfolgenden Schicht verbunden sein. Zwei Knoten sind „verbunden“, wenn ihre Ein- und/oder Ausgänge verbunden sind. Die Kanten oder Verbindungen sind mit einem Parameter assoziiert, der häufig als „Gewicht“ oder „Kantengewicht“ bezeichnet wird. Eingabewerte für die Knoten der jeweils ersten Schicht können beispielsweise die Pixelwerte der ersten Histopathologiebilddaten HIS1, bzw. der zweiten Histopathologiebilddaten HIS2 oder der Interessensbereiche IB sein. Die jeweils letzte Schicht wird oft als Ausgabeschicht bezeichnet. Ausgabewerte der Knoten der Ausgabeschicht können je nach Bildverarbeitungsalgorithmus beispielsweise Pixelwerte oder Koordinaten des Interessensbereich IB oder der Ähnlichkeitsbereiche AEB sein. Zudem können die Ausgabewerte der Ausgabeschicht Ähnlichkeitsinformation AEI sein. Zwischen der Eingabeschicht und der Ausgabeschicht befindet sich eine Anzahl von verborgenen Schichten (ein englischer Fachbegriff ist „hidden layers“).
  • Gemäß einigen Ausführungsformen können die trainierten Funktionen insbesondere ein faltendes neuronales Netzwerk (ein englischer Fachbegriff hierfür ist „convolutional neural network“ oder kurz CNN) oder ein tiefes faltendes neuronales Netzwerk (ein englischer Fachbegriff ist „deep convolutional neural network“) aufweisen. Solche trainierten Funktionen weisen dann ein oder mehrere Faltungsschichten (ein englischer Fachbegriff ist „convolutional layer“) und, optional, ein oder mehrere Entfaltungsschichten (ein englischer Fachbegriff ist „deconvolutional layer“) auf. Ferner kann die trainierte Funktion Sammelschichten (ein englischer Fachbegriff ist „pooling layer“) und Up-Sampling-Schichten sowie vollständig verbundene Schichten (ein englischer Fachbegriff ist „fully connected layer“) aufweisen. Faltungsschichten falten die Eingabe und geben ihr Ergebnis an die nächste Ebene weiter, indem ein Bildfilter über die Eingabe bewegt wird. Faltungsschichten können sich insbesondere dann als vorteilhaft erweisen, wenn, wie in einigen Ausführungsformen, nach ähnlichen Bildbereichen gesucht werden soll. Die Sammelschichten reduzieren die Dimensionen der Daten, indem die Ausgaben von Knotengruppen einer Schicht auf einen einzelnen Knoten in der nächsten Schicht zusammengefasst werden. Up-Sampling-Schichten und Entfaltungsschichten kehren die Aktionen der Faltungsschichten und der Sammelschichten um. Vollständig verbundene Schichten verbinden jeden Knoten vorhergehender Schichten mit Knoten nachfolgender Schichten, so dass im Wesentlichen jeder Knoten eine „Stimme“ erhält.
  • Gemäß einigen Ausführungsformen weisen die trainierten Funktionen sog. „bereichsbasierte“ faltende neuronale Netzwerke (ein englischer Fachbegriff ist „region-based convolutional neural network“ oder kurz R-CNN) auf. Eine Schwierigkeit in Zusammenhang mit der Suche nach Interessensbereichen IB oder Ähnlichkeitsbereichen AEB kann sein, dass solche Bereiche an unterschiedlichen Stellen in den Histopathologiebilddaten HIS1 und HIS2 vorkommen und unterschiedliche Größen und Formen aufweisen können. Diese Problematik kann durch das beispielhaft in Zusammenhang mit Schritt A20 beschriebene systematische „Abrastern“ der Histopathologiebilddaten HIS1, HIS2 zwar grundsätzlich adressiert werden, allerdings oft nur unter erheblichen Rechen- und damit Zeitaufwand. Im Wesentlichen wählen bereichsbasierte faltende neuronale Netzwerke zunächst einige Auswahlbereiche aus den zu analysierenden Bilddaten aus (wobei hier die in Zusammenhang mit Schritt A20 beschriebenen Techniken angewandt werden können). Dann wird ein faltendes neuronales Netz dazu verwendet, Merkmalssignaturen aus den Auswahlbereichen zu extrahieren, anhand derer die Auswahlbereiche mit einem Klassifikator klassifiziert werden können. Als Klassifikator werden dabei häufig sog. Stützvektormaschinen (ein englischer Fachbegriff hierfür ist „Support Vector Machine“, oder kurz SVM) oder weitere neuronale Netzwerkschichten verwendet. Für weiterführende Offenbarung zu bereichsbasierten faltenden neuronalen Netzwerken wird exemplarisch auf Girshick et al., „Rich feature hierarchies for accurate object detection and semantic segmentation,“ arXiv:1311.2524, verwiesen.
  • Basierend auf dieser Grundkonfiguration existieren einige Weiterentwicklungen, die ebenfalls in den trainierten Funktionen gemäß Ausführungsformen der Erfindung implementiert werden können und vereinheitlichend ebenfalls als bereichsbasierte faltende neuronale Netzwerke bezeichnet werden. Ist also davon die Rede, dass eine oder mehrere trainierte Funktionen ein bereichsbasiertes faltendes neuronales Netzwerk aufweisen, schließt dies auch die nachfolgend beschriebenen und weitere Weiterentwicklungen ein. Eine dieser Weiterentwicklung wird als „schnelles“ bereichsbasiertes faltendes neuronales Netzwerk bezeichnet (ein englischer Fachbegriff hierfür ist „fast region-based convolutional neural network“, oder kurz „fast R-CNN“). Hierbei werden Merkmalssignaturen losgelöst von den Auswahlbereichen für das gesamte Bild ermittelt und dann je nach Auswahlbereich „gepoolt“. Dadurch können Mehrfachberechnungen von Merkmalssignaturen bei überlappenden Auswahlbereichen eliminiert werden (vgl. Girshick, „Fast R-CNN,“ 2015 IEEE International Conference on Computer Vision (ICCV), DOI: 10.1109/ICCV.2015.169). Eine weitere Weiterentwicklung wird als „schnelleres“ bereichsbasiertes faltendes neuronales Netzwerk bezeichnet (ein englischer Fachbegriff hierfür ist „faster region-based convolutional neural network“, oder kurz „faster R-CNN“). Hierbei wird die selektive Auswahl der Auswahlbereiche durch eine Auswahl mittels einem (faltenden) neuronalen Netzwerk ersetzt (vgl. Ren et al., „Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,“ Advances in Neural Information Processing Systems. Vol. 28, 2015).
  • Gemäß einigen Ausführungsformen können bereichsbasierte faltende neuronale Netzwerke insbesondere bei einer automatischen Ermittlung der Interessensbereiche IB oder der Durchsuchung nach Ähnlichkeitsbereichen AEB - also mithin in dem zweiten Bildverarbeitungsalgorithmus TF-B und dem dritten Bildverarbeitungsalgorithmus TF-C - implementiert sein, wobei bei der Suche nach Ähnlichkeitsbereichen AEB gegen die Interessensbereiche IB oder deren Merkmalssignaturen fIB klassifiziert wird. Selbstverständlich kann auch der erste Bildverarbeitungsalgorithmus TF-A ein bereichsbasiertes faltendes neuronales Netzwerk enthalten.
  • Als Alternative zu bereichsbasierten faltenden neuronalen Netzwerken können auch „gewöhnliche“ faltende neuronale Netzwerke darauf trainiert werden, den gleichen Funktionsumfang wie bereichsbasierte faltende neuronale Netzwerke aufzuweisen (also die im Wesentlichen gleichen Ausgabedaten bereitzustellen). Solche Lösungen werden auch als YOLO (you only look once) -Lösungen bezeichnet (vgl. Redmon et al., „You Only Look Once: Unified, Real-Time Object Detection,“ arXiv:1506.02640) .
  • Eine trainierte Funktion lernt durch Anpassen von Gewichten oder Gewichtungsparametern (z.B. der Kantengewichte) einzelner Schichten und Knoten. Eine trainierte Funktion kann beispielsweise durch Verfahren des überwachten Lernens trainiert werden (ein englischer Fachbegriff hierfür ist „supervised learning“). Hier kann beispielsweise das Verfahren der Rückpropagation verwendet werden (ein englischer Fachbegriff hierfür ist „back propagation“). Während des Trainings wird die trainierte Funktion auf Trainingseingangsdaten angewendet, um entsprechende Ausgabewerte zu erzeugen, deren Zielwerte in Form von Trainingsausgangsdaten bekannt sind. Die Differenz zwischen den Ausgabewerten und den Trainingsausgangsdaten kann verwendet werden, um eine Kosten- oder Verlustfunktional als Maß dafür einzuführen, wie gut oder schlecht die trainierte Funktion die ihr gestellte Aufgabe erfüllt. Ziel des Trainings ist es, ein (lokales) Minimum des Kostenfunktionals zu finden, indem die Parameter (z.B. die Kantengewichte) der trainierten Funktion iterativ angepasst werden. Die trainierte Funktion wird dadurch schließlich in die Lage versetzt, akzeptable Ergebnisse über eine (ausreichend) große Kohorte von Trainingseingangsdaten zu liefern. Dieses Optimierungsproblem kann unter Verwendung eines stochastischen Gradientenverfahrens (ein englischer Fachbegriff hierfür ist „stochastic gradient descent“) oder anderer auf dem Fachgebiet bekannte Ansätze durchgeführt werden.
  • Für den in 9 dargestellten ersten Bildverarbeitungsalgorithmus TF-A würden, falls dieser eine trainierte Funktion aufweist, Trainingsdatensätze jeweils erste Trainings-Histopathologiebilddaten HIS1 und zweite Trainings-Histopathologiebilddaten HIS2 sowie, je nach Konfiguration des ersten Bildverarbeitungsalgorithmus TF-A, zugehörige verifizierte Ähnlichkeitsbereiche AEB bzw. verifizierte Ähnlichkeitsinformation AEI aufweisen. Die ersten Trainings-Histopathologiebilddaten HIS1 und die zweiten Trainings-Histopathologiebilddaten HIS2 entsprechen dabei den ersten Histopathologiebilddaten HIS1 bzw. den zweiten Histopathologiebilddaten HIS2. Insbesondere gehören sie also zum gleichen Patienten und beruhen auf Gewebeproben, die dem Patienten zu unterschiedlichen Zeitpunkten aber aus dem gleichen anatomischen Zielbereich entnommen wurden. Die verifizierten Ähnlichkeitsbereiche AEB bzw. Ähnlichkeitsinformation AEI könnten dabei auf einer Annotation eines Nutzers beruhen, die dieser basierend auf einer Analyse bzw. Befundung der ersten Trainings-Histopathologiebilddaten HIS1 und der zweiten Trainings-Histopathologiebilddaten HIS2 vorgenommen hat. Entsprechend der hier verwendeten Nomenklatur wären die ersten Histopathologiebilddaten HIS1 und die zweiten Histopathologiebilddaten HIS2 die Trainingseingangsdaten und die Zielwerte bzw. die Trainingsausgangsdaten wären die verifizierten Ähnlichkeitsbereich AEB bzw. Ähnlichkeitsinformation AEI. Ein Training des ersten Bildverarbeitungsalgorithmus TF-A könnte dann ein Anwenden des Bildverarbeitungsalgorithmus TF-A auf die erste Trainings-Histopathologiebilddaten HIS1 und zweite Trainings-Histopathologiebilddaten HIS2 zur Erzeugung von Ausgabewerten sowie ein Vergleichen der Ausgabewerte mit den verifizierten Ähnlichkeitsbereichen AEB bzw. Ähnlichkeitsinformation AEI umfassen. Basierend auf dem Vergleich können dann ein oder mehrere Parameter des ersten Bildverarbeitungsalgorithmus TF-A angepasst werden.
  • Für den zweiten Bildverarbeitungsalgorithmus TF-B umfassen geeignete Trainingsdatensätze Trainings-Histopathologiebilddaten HIS1, HIS2 sowie verifizierte Interessensbereiche IB. Da es eine Aufgabe des zweiten Bildverarbeitungsalgorithmus TF-B ist, für eine pathologische Befundung relevante Bereiche (also einen pathologischen Befund indizierende Bereiche) automatisch zu erkennen, können die verifizierten Interessensbereiche IB insbesondere durch eine Annotation eines Nutzers erhalten werden, welche beispielsweise Tumorzellen in den ersten Histopathologiebilddaten HIS1 ausweisen. Ein Training des zweiten Bildverarbeitungsalgorithmus TF-B kann dann ein Anwenden des zweiten Bildverarbeitungsalgorithmus TF-B auf die Trainings-Histopathologiebilddaten HIS1, HIS2 zur Erzeugung von Ausgabewerten sowie ein Vergleichen der Ausgabewerte mit den verifizierten Interessensbereichen umfassen. Basierend auf dem Vergleich können dann ein oder mehrere Parameter des zweiten Bildverarbeitungsalgorithmus TF-B angepasst werden.
  • Für den in 10 dargestellten dritten Bildverarbeitungsalgorithmus TF-C umfassen geeignete Trainingsdatensätze entsprechend jeweils Trainings-Interessensbereiche IB und zweite Trainings-Histopathologiebilddaten HIS2 sowie, je nach Konfiguration des dritten Bildverarbeitungsalgorithmus TF-C, zugehörige verifizierte Ähnlichkeitsbereiche AEB bzw. verifizierte Ähnlichkeitsinformation AEI. Die Trainings-Interessenbereiche können dabei im Prinzip beliebige aus Histopathologiebilddaten extrahierte Bereiche sein. Insbesondere kann es sich dabei um einen beliebigen Interessensbereich IB aus den zweiten Histopathologiebilddaten HIS2 handeln. Um den dritten Bildverarbeitungsalgorithmus TF-C aber noch besser auf die Situation im Feld vorzubereiten, ist es bevorzugt, dass die Trainings-Interessensbereiche IB einen pathologischen Befund indizieren. Solche Trainings-Interessensbereiche IB können beispielsweise durch einen Nutzer annotiert werden. Weiterhin ist bevorzugt, das die Trainings-Interessenbereiche IB aus Histopathologiebilddaten entnommen wurden, die, wie die ersten Histopathologiebilddaten HIS1, zum gleichen Patienten (und anatomischen Zielbereich) wie die zweiten Trainings-Histopathologiebilddaten HIS2 gehören, aber auf einer zu einem unterschiedlichen Zeitpunkt entnommenen Gewebeprobe beruhen. Für die verifizierten Ähnlichkeitsbereiche AEB und verifizierten Ähnlichkeitsinformation AEI kann wie oben beschrieben vorgegangen werden. Ein Training des dritten Bildverarbeitungsalgorithmus TF-C könnte dann ein Anwenden des dritten Bildverarbeitungsalgorithmus TF-C auf den Trainings-Interessenbereich IB und die zweiten Trainings-Histopathologiebilddaten HIS2 zur Erzeugung von Ausgabewerten sowie ein Vergleichen der Ausgabewerte mit den verifizierten Ähnlichkeitsbereichen AEB bzw. Ähnlichkeitsinformation AEI umfassen. Basierend auf dem Vergleich können dann ein oder mehrere Parameter des dritten Bildverarbeitungsalgorithmus TF-C angepasst werden.
  • Basierend auf dem dritten Bildverarbeitungsalgorithmus TF-C kann ferner eine Abwandlung geschaffen werden, die in der Lage ist, Ähnlichkeitsbereiche AEB innerhalb eines Histopathologiebilddatensatzes HIS1, HIS2 zu erkennen. Mit anderen Worten kann ein Nutzer so z.B. einen Interessensbereich IB in einem Histopathologiebilddatensatz HIS1, HIS2 vorgeben und der Bildverarbeitungsalgorithmus TF-C sucht automatisch alle Ähnlichkeitsbereiche in demselben Histopathologiebilddatensatz HIS1, HIS2. Ein entsprechendes Verfahren ist in 12 dargestellt. Die Reihenfolge der Verfahrensschritte ist weder durch die dargestellte Abfolge noch durch die gewählte Nummerierung beschränkt. So kann die Reihenfolge der Schritte ggf. vertauscht und einzelne Schritte können weggelassen werden.
  • Ein erster Schritt M10 ist auf das Bereitstellen von Histopathologiebilddaten gerichtet. Die Histopathologiebilddaten können beispielsweise den ersten Histopathologiebilddaten HIS1 entsprechen.
  • Ein zweiter Schritt M20 ist auf das Bereitstellen eines Interessensbereich IB gerichtet. Schritt M20 kann dabei wie Schritt S15' ausgestaltet sein.
  • Ein dritter Schritt M30 ist auf das Durchsuchen der Histopathologiebilddaten HIS1, HIS2 nach Ähnlichkeitsbereichen AEB gerichtet, welche Ähnlichkeitsbereiche AEB jeweils eine Ähnlichkeit mit dem einen oder den mehreren Interessensbereichen IB aufweisen. Der Schritt des Durchsuchens weist insbesondere das Anwenden des (ggf. angepassten) dritten Bildverarbeitungsalgorithmus TF-C auf die Histopathologiebilddaten HIS1, HIS2 auf. Im Übrigen kann Schritt M30 wie Schritt S30A' ausgestaltet sein.
  • Ein vierter Schritt M40 ist auf das Bereitstellen einer Ähnlichkeitsinformation AEI basierend auf den Ähnlichkeitsbereichen AEB gerichtet. Schritt M40 kann dabei analog zu Schritt S30B' ausgestaltet sein.
  • Ein fünfter Schritt M50 ist auf das Bereitstellen der Ähnlichkeitsinformation AEI gerichtet. Insbesondere kann das Bereitstellen der Ähnlichkeitsinformation AEI ein Anzeigen bzw. Hervorheben der Ähnlichkeitsbereiche in den Histopathologiebilddaten HIS1, HIS2 für einen Nutzer in einer Nutzschnittstelle 10 umfassen.
  • Der dritte Bildverarbeitungsalgorithmus TF-C kann, sofern dieser eine trainierte Funktion aufweist, dadurch auf das Verfahren nach 12 angepasst werden, dass Trainingsdatensätze bereitgestellt werden, die einen Trainings-Interessensbereich IB und Trainings-Histopathologiebilddaten HIS1, HIS2 sowie zugehörige verifizierte Ähnlichkeitsbereiche AEB in den Trainings-Histopathologiebilddaten umfassen. Die verifizierten Ähnlichkeitsbereiche AEB können dabei wieder auf einer Annotation eines Nutzers während einer Analyse bzw. Befundung der Histopathologiebilddaten beruhen. Ein Training kann dann ein Eingeben des Trainings-Interessenbereichs IB und der Trainings-Histopathologiebilddaten HIS1, HIS2 in den dritten Bildverarbeitungsalgorithmus TF-C umfassen, um entsprechende Ausgabewerte zu erzeugen. Diese Ausgabewerte werden dann mit den verifizierten Ähnlichkeitsbereichen AEB verglichen. Basierend auf dem Vergleich kann der dritte Bildverarbeitungsalgorithmus TF-C dann angepasst werden.
  • Wo noch nicht explizit geschehen, jedoch sinnvoll und im Sinne der Erfindung, können einzelne Ausführungsbeispiele, einzelne ihrer Teilaspekte oder Merkmale mit einander kombiniert bzw. ausgetauscht werden, ohne den Rahmen der hiesigen Erfindung zu verlassen. Mit Bezug zu einem Ausführungsbeispiel beschriebene Vorteile der Erfindung treffen ohne explizite Nennung, wo übertragbar, auch auf andere Ausführungsbeispiele zu.
  • Die folgenden Punkte sind ebenfalls Teil der Offenbarung.
    1. 1. Computer-implementiertes Verfahren zum Bereitstellen einer Ähnlichkeitsinformation (AEI) bezüglich verschiedener Histopathologiebilddaten (HIS1, HIS2) eines Patienten mit den Schritten:
      • - Bereitstellen (S10', S10") von ersten Histopathologiebilddaten (HIS1), die auf einer Gewebeprobe beruhen, die einem Patienten zu einem ersten Zeitpunkt entnommen wurde;
      • - Bereitstellen (S20', S20") von zweiten Histopathologiebilddaten (HIS2), die auf einer Gewebeprobe beruhen, die dem Patienten zu einem zweiten, von dem ersten verschiedenen Zeitpunkt entnommen wurde;
      • - Identifizieren (S15', S15'') eines Interessensbereichs (IB) in den ersten Histopathologiebilddaten (HIS1);
      • - Durchsuchen (S30A', S30A'') der zweiten Histopathologiebilddaten (HIS2) nach Ähnlichkeitsbereichen (AEB), welche Ähnlichkeitsbereiche (AEB) jeweils eine Ähnlichkeit mit dem Interessensbereich (IB) aufweisen, wobei der Schritt des Durchsuchens (S15', S15") das Anwenden eines Bildverarbeitungsalgorithmus (TF-A, TF-B, TF-C, TF-A') auf die zweiten Histopathologiebilddaten (HIS2) umfasst;
      • - Bestimmen (S30B', S30B'') einer Ähnlichkeitsinformation (AEI) basierend auf dem Schritt des Durchsuchens (S30A', S30A''); und
      • - Bereitstellen (S40', S40'') der Ähnlichkeitsinformation (AEI) .
    2. 2. Verfahren nach 1, bei dem der Interessenbereich (IB) einen oder mehrere einzelne, in den ersten Histopathologiebilddaten (HIS1) definierte Bereiche (ROI, ROI1, ROI2, ROI3) aufweist, die insbesondere jeweils einen pathologischen Befund indizieren.
    3. 3. Verfahren nach einem der vorhergehenden Punkte, bei dem die Ähnlichkeitsinformation (AEI) umfasst:
      • - eine Angabe der Ähnlichkeitsbereiche (AEB);
      • - eine quantitative Angabe der jeweiligen Ähnlichkeit der Ähnlichkeitsbereiche (AEB);
      • - eine Lageinformation der Ähnlichkeitsbereiche (AEB) in den zweiten Histopathologiebilddaten (HIS2);
      • - ein Assistenzbild (AB) basierend auf den zweiten Histopathologiebilddaten (HIS2), in dem die Ähnlichkeitsbereiche (AEB) hervorgehoben sind;
      • - eine Wahrscheinlichkeit, dass zwischen den ersten und zweiten Histopathologiebilddaten (HIS1, HIS2) eine Rezidiv-Beziehung besteht.
    4. 4. Verfahren nach einem der vorhergehenden Punkte, bei dem der erste Zeitpunkt vor dem zweiten Zeitpunkt liegt.
    5. 5. Verfahren nach 4, bei dem der Schritt des Bereitstellens der ersten Histopathologiebilddaten (HIS1) umfasst:
      • - Zugreifen auf eine Datenbank (60) für Histopathologiebilddaten;
      • - Auswahl der zweiten Histopathologiebilddaten (HIS2) aus den in der Datenbank (60) gespeicherten Histopathologiebilddaten basierend auf den ersten Histopathologiebilddaten (HIS1) und/oder dem ersten Histopathologiebilddaten (HIS1) zugeordneten Metadaten.
    6. 6. Verfahren nach 5, bei dem die Metadaten aufweisen:
      • - eine Patientenkennung zur Identifikation des Patienten,
      • - eine Information über einen anatomischen Bereich des Patienten, aus dem die Gewebeprobe entnommen wurde, auf der die ersten Histopathologiebilddaten (HIS1) beruhen, und/oder
      • - eine Information bezüglich des ersten Zeitpunkts.
    7. 7. Verfahren nach einem der vorhergehenden Punkte, bei dem der zweite Zeitpunkt vor dem ersten Zeitpunkt liegt.
    8. 8. Verfahren nach 7, bei dem der Schritt des Bereitstellens (S20') der zweiten Histopathologiebilddaten (HIS2) umfasst:
      • - Zugreifen auf eine Datenbank (60) für Histopathologiebilddaten;
      • - Auswahl der zweiten Histopathologiebilddaten (HIS2) aus den in der Datenbank (60) gespeicherten Histopathologiebilddaten basierend auf den ersten Histopathologiebilddaten (HIS1) und/oder den ersten Histopathologiebilddaten (HIS1) zugeordneten Metadaten.
    9. 9. Verfahren nach 8, bei dem die Metadaten aufweisen:
      • - eine Patientenkennung zur Identifikation des Patienten,
      • - eine Information über einen anatomischen Bereich des Patienten, aus dem die Gewebeprobe entnommen wurde, auf der die ersten Histopathologiebilddaten (HIS1) beruhen, eine Information hinsichtlich der bei der Bereitstellung der ersten Histopathologiebilddaten (HIS1) verwendeten histopathologischen Färbung und/oder
      • - eine Information bezüglich des ersten Zeitpunkts.

Claims (17)

  1. Computer-implementiertes Verfahren zum Bereitstellen einer Ähnlichkeitsinformation (AEI) bezüglich verschiedener Histopathologiebilddaten (HIS1, HIS2) eines Patienten mit den Schritten: - Bereitstellen (S10, S10', S10") von ersten Histopathologiebilddaten (HIS1), die auf einer Gewebeprobe beruhen, die einem Patienten zu einem ersten Zeitpunkt entnommen wurde; - Bereitstellen (S20, S20', S20") von zweiten Histopathologiebilddaten (HIS2), die auf einer Gewebeprobe beruhen, die dem Patienten zu einem zweiten, von dem ersten verschiedenen Zeitpunkt entnommen wurden; - Analysieren, mit einem Bildverarbeitungsalgorithmus (TF-A, TF-B, TF-C, TF-A'), der ersten Histopathologiebilddaten (HIS1) und der zweiten Histopathologiebilddaten auf eine Ähnlichkeit zwischen wenigstens einem einen pathologischen Befund indizierenden Bereich (IB) aus den ersten Histopathologiebilddaten (HIS1) und wenigstens einem einen pathologischen Befund indizierenden Bereich (AEB) aus den zweiten Histopathologiebilddaten (HIS2); - Bestimmen (S30, S30', S30'') einer Ähnlichkeitsinformation (AEI) basierend auf dem Schritt des Analysierens; und - Bereitstellen (S40, S40', S40'') der Ähnlichkeitsinformation.
  2. Verfahren nach Anspruch 1, bei dem die Ähnlichkeitsinformation (AEI) umfasst: - eine Angabe ähnlicher, einen pathologischen Befund indizierender Bereiche (IB, AEB) in den jeweiligen ersten und/oder zweiten Histopathologiebilddaten (HIS1, HIS2); - eine quantitative Angabe der jeweiligen Ähnlichkeit ähnlicher einen pathologischen Befund indizierender Bereiche (IB, AEB) in den jeweiligen ersten und/oder zweiten Histopathologiebilddaten (HIS1, HIS2); - eine Lageinformation ähnlicher einen pathologischen Befund indizierender Bereiche (IB, AEB) in den ersten und/oder zweiten Histopathologiebilddaten (HIS1, HIS2); ein Assistenzbild (AB) basierend auf den ersten und/oder zweiten Histopathologiebilddaten (HIS2), in dem ähnliche, einen pathologischen Befund indizierende Bereiche (IB, AEB) hervorgehoben sind; eine Wahrscheinlichkeit, dass zwischen den ersten und zweiten Histopathologiebilddaten (HIS1, HIS2) eine Rezidiv-Beziehung besteht.
  3. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Schritt des Bereitstellens (S40) der Ähnlichkeitsinformation (AEI) ein Anzeigen der Ähnlichkeitsinformation (AEI) für einen Nutzer über eine Nutzerschnittstelle (10) aufweist.
  4. Verfahren nach einem der vorhergehenden Ansprüche, ferner mit dem Schritt Befüllen (S50) eines medizinischen Report-Templates basierend auf der Ähnlichkeitsinformation (AEI).
  5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Schritt (S30', S30'') des Bestimmens der Ähnlichkeitsinformation (AEI) umfasst: - Identifizieren (S15', S15'') eines einen pathologischen Befund indizierenden Interessensbereiches (IB) in den ersten Histopathologiebilddaten (HIS1); - Durchsuchen (S30A', S30A'') der zweiten Histopathologiebilddaten (HIS2) nach Ähnlichkeitsbereichen (AEB), welche Ähnlichkeitsbereiche (AEB) jeweils eine Ähnlichkeit mit dem Interessensbereich (IB) aufweisen, wobei der Schritt des Durchsuchens (S30A', S30A'') das Anwenden des Bildverarbeitungsalgorithmus (TF-A, TF-B, TF-C, TF-A') auf die zweiten Histopathologiebilddaten (HIS2) umfasst; und - Bestimmen (S30B', S30B") der Ähnlichkeitsinformation (AEI) basierend auf dem Schritt des Durchsuchens (S30A', S30A'').
  6. Verfahren nach Anspruch 5, bei dem der Interessenbereich (IB) einen oder mehrere einzelne in den ersten Histopathologiebilddaten (HIS1) definierte Bereiche (ROI, ROI1, ROI2, ROI3) aufweist, die insbesondere jeweils einen pathologischen Befund indizieren.
  7. Verfahren nach einem der Ansprüche 5 oder 6, bei dem der Schritt des Identifizierens (S15', S15") des Interessensbereichs (IB) umfasst: Bestimmen (S15A', S15A'') des Interessensbereichs (IB) durch den Bildverarbeitungsalgorithmus (TF-A, TF-B, TF-A'), und/oder Auswerten (S15B', S15B") einer Annotation eines Nutzers, welche Annotation den Interessensbereich (IB) kennzeichnet, wobei die Annotation optional nach dem Schritt des Bereitstellens der ersten Histopathologiebilddaten (HIS1) durch eine manuelle Eingabe eines Nutzers über eine Nutzerschnittstelle (10) bereitgestellt wird.
  8. Verfahren nach einem der Ansprüche 5 bis 7, bei dem der Schritt des Durchsuchens (S30A', S30A'') umfasst: Extrahieren (A10) einer Merkmalssignatur (fIB) basierend auf dem Interessensbereich (IB); Ermitteln (A20-A40) der Ähnlichkeitsinformation (AEI) basierend auf der extrahierten Merkmalssignatur (fIB).
  9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Bildverarbeitungsalgorithmus (TF-A, TF-B, TF-C, TF-A') eine trainierte Funktion aufweist.
  10. Verfahren nach Anspruch 9, bei dem die trainierte Funktion ein faltendes neuronales Netzwerk und insbesondere ein bereichsbasiertes faltendes neuronales Netzwerk aufweist.
  11. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der zweite Zeitpunkt vor dem ersten Zeitpunkt liegt.
  12. Verfahren nach Anspruch 11, bei dem der Schritt des Bereitstellens (S20') der zweiten Histopathologiebilddaten (HIS2) umfasst: - Zugreifen auf eine Datenbank (60) für Histopathologiebilddaten; und - Auswählen der zweiten Histopathologiebilddaten (HIS2) aus den in der Datenbank (60) gespeicherten Histopathologiebilddaten basierend auf den ersten Histopathologiebilddaten (HIS1) und/oder den ersten Histopathologiebilddaten (HIS1) zugeordneten Metadaten.
  13. Verfahren nach Anspruch 12, bei dem die Metadaten aufweisen: - eine Patientenkennung zur Identifikation des Patienten, - eine Information über einen anatomischen Entnahmebereich des Patienten, aus dem die Gewebeprobe entnommen wurde, auf der die ersten Histopathologiebilddaten (HIS1) beruhen, eine Information hinsichtlich der bei der Bereitstellung der ersten Histopathologiebilddaten (HIS1) verwendeten histopathologischen Färbung und/oder - eine Information über den ersten Zeitpunkt.
  14. System (1) zum Bereitstellen einer Ähnlichkeitsinformation (AEI) bezüglich verschiedener Histopathologiebilddaten (HIS1, HIS2) eines Patienten umfassend: - eine Schnittstelle (10, 30) und eine Steuerung (40) - wobei die Schnittstelle (10, 30) zum Empfangen erster Histopathologiebilddaten (HIS1) und zweiter Histopathologiebilddaten (HIS2) ausgebildet ist, wobei die ersten Histopathologiebilddaten (HIS1) auf einer Gewebeprobe beruhen, die einem Patienten zu einem ersten Zeitpunkt entnommen wurde, und die zweiten Histopathologiebilddaten (HIS2) auf einer Gewebeprobe beruhen, die dem Patienten zu einem zweiten von dem ersten verschiedenen Zeitpunkt entnommen wurde; und wobei die Recheneinheit (40) ferner dazu ausgebildet ist: basierend auf den ersten und zweiten Histopathologiebilddaten (HIS1, HIS2) eine Ähnlichkeitsinformation (AEI) mit einem Bildverarbeitungsalgorithmus (TF-A, TF-B, TF-C, TF-A') zu bestimmen, welche Ähnlichkeitsinformation (AEI) eine Angabe einer Ähnlichkeit zwischen wenigstens einem einen pathologischen Befund indizierenden Bereich (IB) aus dem ersten Histopathologiebilddaten (HIS1) und wenigstens einem einen pathologischen Befund indizierenden Bereich (AEB) aus den zweiten Histopathologiebilddaten (HIS2) aufweist; und die Ähnlichkeitsinformation (AEI) bereitzustellen.
  15. System nach Anspruch 14, ferner mit einer Datenbank (60) zur Speicherung mehrerer Histopathologiebilddaten; und einer Nutzerschnittstelle (10) zur Interaktion mit einem Nutzer; wobei die Schnittstelle (30) in Datenverbindung mit der Datenbank (60) und der Nutzerschnittstelle (10) steht, und die Recheneinheit (40) ferner dazu ausgebildet ist: die ersten Histopathologiebilddaten (HIS1) aus der Datenbank (60) basierend auf einer manuellen Nutzereingabe des Nutzers in die Nutzerschnittstelle (10) auszuwählen und über die Schnittstelle (30) zu empfangen; und die zweiten Histopathologiebilddaten (HIS2) aus der Datenbank (60) basierend auf den ersten Histopathologiebilddaten (HIS1) und/oder den ersten Histopathologiebilddaten (HIS1) zugeordneten Metadaten auszuwählen.
  16. Computerprogrammprodukt, welches ein Programm umfasst und direkt in einen Speicher einer programmierbaren Recheneinheit einer Steuerung (40) ladbar ist, mit Programmmitteln, um ein Verfahren nach den Ansprüchen 1 bis 13 auszuführen, wenn das Programm in der Steuerung (40) ausgeführt wird.
  17. Computerlesbares Speichermedium, auf welchem lesbare und ausführbare Programmabschnitte gespeichert sind, um alle Schritte der Verfahren nach einem der Ansprüche 1 bis 13 auszuführen, wenn die Programmabschnitte von der Steuerung (40) ausgeführt werden.
DE102020211843.4A 2020-09-22 2020-09-22 Verfahren und Vorrichtung zur Analyse von Histopathologiebilddaten Pending DE102020211843A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102020211843.4A DE102020211843A1 (de) 2020-09-22 2020-09-22 Verfahren und Vorrichtung zur Analyse von Histopathologiebilddaten
US17/474,142 US20220092774A1 (en) 2020-09-22 2021-09-14 Method and apparatus for analysis of histopathology image data
CN202111105587.9A CN114255462A (zh) 2020-09-22 2021-09-22 用于分析组织病理学图像数据的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020211843.4A DE102020211843A1 (de) 2020-09-22 2020-09-22 Verfahren und Vorrichtung zur Analyse von Histopathologiebilddaten

Publications (1)

Publication Number Publication Date
DE102020211843A1 true DE102020211843A1 (de) 2022-03-24

Family

ID=80473787

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020211843.4A Pending DE102020211843A1 (de) 2020-09-22 2020-09-22 Verfahren und Vorrichtung zur Analyse von Histopathologiebilddaten

Country Status (3)

Country Link
US (1) US20220092774A1 (de)
CN (1) CN114255462A (de)
DE (1) DE102020211843A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4276845A1 (de) * 2022-05-11 2023-11-15 Siemens Healthcare GmbH Verfahren zum bereitstellen eines bearbeiteten medizinischen bildes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080015448A1 (en) 2006-06-22 2008-01-17 Keely Patricia J Stromal collagen in the diagnosis and characterization of breast cancer
US7894645B2 (en) 2000-08-10 2011-02-22 Ohio State University High-resolution digital image processing in the analysis of pathological materials

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7894645B2 (en) 2000-08-10 2011-02-22 Ohio State University High-resolution digital image processing in the analysis of pathological materials
US20080015448A1 (en) 2006-06-22 2008-01-17 Keely Patricia J Stromal collagen in the diagnosis and characterization of breast cancer

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4276845A1 (de) * 2022-05-11 2023-11-15 Siemens Healthcare GmbH Verfahren zum bereitstellen eines bearbeiteten medizinischen bildes

Also Published As

Publication number Publication date
US20220092774A1 (en) 2022-03-24
CN114255462A (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN106815481B (zh) 一种基于影像组学的生存期预测方法及装置
Huang et al. Time-efficient sparse analysis of histopathological whole slide images
Rybak et al. The digital bee brain: integrating and managing neurons in a common 3D reference system
DE102007003260A1 (de) System und Verfahren zum Markieren und Identifizieren von Lymphknoten in medizinischen Bildern
CN106030608A (zh) 生物组织分析诊断系统与方法
DE102011053044A1 (de) System und Verfahren zur Analyse und sichtbaren Darstellung lokaler klinischer Merkmale
JP2021535484A (ja) 自動的な腫瘍検出及び分類のためのシステム
DE102007018034A1 (de) Automatische Bildanalyse und Quantifizierung für Fluoreszenz-In Situ-Hybridisierung
EP3287914A1 (de) Ermittlung von ergebnisdaten auf basis von medizinischen messdaten aus verschiedenen messungen
WO2005122092A1 (de) Verfahren und vorrichtung zur segmentierung einer digitalen abbildung von zellen
Cao et al. An automatic breast cancer grading method in histopathological images based on pixel-, object-, and semantic-level features
DE102021210435A1 (de) Verfahren und Vorrichtung zur Visualisierung von dreidimensionalen Objekten
EP4016543A1 (de) Verfahren und vorrichtung zur bereitstellung einer medizinischen information
DE102005043395A1 (de) Intelligentes Teilen von Volumendaten
DE112005002109T5 (de) Kombinatorische, computerunterstützte Diagnose
DE102020211843A1 (de) Verfahren und Vorrichtung zur Analyse von Histopathologiebilddaten
DE102017203315A1 (de) Verfahren und Datenverarbeitungseinheit zur Auswahl eines Protokolls für eine medizinische Bildgebungsuntersuchung
DE10255527B4 (de) Erzeugung von Kandidaten für gefäßassoziierte Pulmonalknoten
DE102020211945A1 (de) Verfahren und Anordnung zur automatischen Lokalisierung von Organsegmenten in einem dreidimensionalen Bild
EP3579010B1 (de) Verbesserte bestimmung von quantitativen gewebeparametern
US20220366619A1 (en) Systems and methods to process electronic images to adjust attributes of the electronic images
DE102022202838A1 (de) Verfahren und Systeme zum Bereitstellen von Trainingsdatensätzen zum Trainieren eines maschinell erlernten Segmentierungsalgorithmus zur Verwendung in der digitalen Pathologie
DE112022001991T5 (de) Tumorzelen-isolinien
DE102020122552A1 (de) Verfahren, einrichtung und system zur bestimmung von biopsieparametern
DE102020213305A1 (de) Verfahren und Vorrichtung zur Visualisierung von dreidimensionalen Objekten

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009000000

Ipc: G06V0010000000

R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: SIEMENS HEALTHINEERS AG, DE

Free format text: FORMER OWNER: SIEMENS HEALTHCARE GMBH, MUENCHEN, DE