DE102022209009A1 - Segmentierung eines digitalen Bildes mittels kaskadierter neuronaler Netze - Google Patents
Segmentierung eines digitalen Bildes mittels kaskadierter neuronaler Netze Download PDFInfo
- Publication number
- DE102022209009A1 DE102022209009A1 DE102022209009.8A DE102022209009A DE102022209009A1 DE 102022209009 A1 DE102022209009 A1 DE 102022209009A1 DE 102022209009 A DE102022209009 A DE 102022209009A DE 102022209009 A1 DE102022209009 A1 DE 102022209009A1
- Authority
- DE
- Germany
- Prior art keywords
- resolution
- resolution digital
- low
- neural network
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 82
- 230000011218 segmentation Effects 0.000 title claims abstract description 53
- 101100177329 Rattus norvegicus Hdgfl3 gene Proteins 0.000 claims abstract description 32
- 101100395581 Schizosaccharomyces pombe (strain 972 / ATCC 24843) hrp3 gene Proteins 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 26
- 101710198595 Hypoxic response protein 1 Proteins 0.000 claims description 16
- 102100021015 Ubiquitin carboxyl-terminal hydrolase 6 Human genes 0.000 claims description 16
- 101001043562 Homo sapiens Low-density lipoprotein receptor-related protein 2 Proteins 0.000 claims description 12
- 102100021922 Low-density lipoprotein receptor-related protein 2 Human genes 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 7
- 241001530812 Goupia glabra Species 0.000 description 7
- 101100339677 Arabidopsis thaliana HRS1 gene Proteins 0.000 description 5
- 102100026559 Filamin-B Human genes 0.000 description 5
- 101000913551 Homo sapiens Filamin-B Proteins 0.000 description 5
- 101100129874 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PGD1 gene Proteins 0.000 description 5
- 101100129591 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp6 gene Proteins 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- ZZTAIADKUHXVCI-UHFFFAOYSA-N n-(3-nitro-2,4-dihydro-1h-1,3,5-triazin-6-yl)nitramide Chemical compound [O-][N+](=O)NC1=NCN([N+]([O-])=O)CN1 ZZTAIADKUHXVCI-UHFFFAOYSA-N 0.000 description 2
- 101100493731 Arabidopsis thaliana BBX21 gene Proteins 0.000 description 1
- 101100493735 Arabidopsis thaliana BBX25 gene Proteins 0.000 description 1
- 101000617546 Homo sapiens Presenilin-2 Proteins 0.000 description 1
- 101100096895 Mus musculus Sult2a2 gene Proteins 0.000 description 1
- 101150012532 NANOG gene Proteins 0.000 description 1
- 102100022036 Presenilin-2 Human genes 0.000 description 1
- 101100311254 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) STH1 gene Proteins 0.000 description 1
- 101100396520 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) TIF3 gene Proteins 0.000 description 1
- 101100277996 Symbiobacterium thermophilum (strain T / IAM 14863) dnaA gene Proteins 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- NJHLGKJQFKUSEA-UHFFFAOYSA-N n-[2-(4-hydroxyphenyl)ethyl]-n-methylnitrous amide Chemical compound O=NN(C)CCC1=CC=C(O)C=C1 NJHLGKJQFKUSEA-UHFFFAOYSA-N 0.000 description 1
- 210000002023 somite Anatomy 0.000 description 1
- 101150038107 stm1 gene Proteins 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Verfahren zur Bestimmung einer dritten hochaufgelösten digitalen Segmentierung (HRS3) in einem dritten hochaufgelösten digitalen Bild (HRP3) mittels folgender Verfahrensschritte:
- Empfangen eines dritten hochaufgelösten digitalen Bildes (HRP3)
- Bereitstellen einer dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3);
- Bestimmung einer dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) als Segmente niedrigaufgelöst repräsentiert, ausgehend von der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) und mittels eines trainierten neuronalen Hilfsnetzes (NNHT).
- Bestimmung der dritten hochaufgelösten digitalen Segmentierung (HRS3) in dem dritten hochaufgelösten digitalen Bild (HRP3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem dritten hochaufgelösten digitalen Bild (HRP3) als Segmente hochaufgelöst repräsentiert, ausgehend von dem dritten hochaufgelösten digitalen Bild (HRP3) und ausgehend von der dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes als Segmente niedrigaufgelöst repräsentiert, mittels eines trainierten neuronalen Hauptnetzes (NNMT).
- Empfangen eines dritten hochaufgelösten digitalen Bildes (HRP3)
- Bereitstellen einer dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3);
- Bestimmung einer dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) als Segmente niedrigaufgelöst repräsentiert, ausgehend von der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) und mittels eines trainierten neuronalen Hilfsnetzes (NNHT).
- Bestimmung der dritten hochaufgelösten digitalen Segmentierung (HRS3) in dem dritten hochaufgelösten digitalen Bild (HRP3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem dritten hochaufgelösten digitalen Bild (HRP3) als Segmente hochaufgelöst repräsentiert, ausgehend von dem dritten hochaufgelösten digitalen Bild (HRP3) und ausgehend von der dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes als Segmente niedrigaufgelöst repräsentiert, mittels eines trainierten neuronalen Hauptnetzes (NNMT).
Description
- Stand der Technik
- Es ist grundsätzlich bekannt, in digitalen Bildern Segmentierungen vorzunehmen, beispielsweise manuell.
- Offenbarung der Erfindung
- Die vorliegende Erfindung beruht auf dem Wunsch, eine derartige Segmentierung in effizienter Weise, automatisiert, zwar hochauflösend aber doch mit überschaubarem Aufwand zu erhalten.
- Der Kerngedanke der Erfindung besteht in der geschickten Kombination kaskadierter neuronaler Netze. Die unabhängigen Ansprüche dieser Anmeldung betreffen daher ein entsprechendes Trainingsverfahren und ein zugehöriges I nferenzverfahren.
- Genauer ist erfindungsgemäß vorgesehen, dass das Training gemäß einem Verfahren nach dem unabhängigen Anspruch 1 und die Bestimmung von hochaufgelösten Segmentierungen gemäß einem Verfahren nach dem nebengeordneten Anspruch 7 erfolgt. Die Unteransprüche geben vorteilhafte Weiterbildungen an.
- Das erfindungsgemäße Verfahren und seine Weiterbildungen haben ferner den Vorteil, besonders robust zu sein, also beispielsweise nicht durch kleine Bildfehler gestört zu werden.
- Das erfindungsgemäße Verfahren und seine Weiterbildungen haben ferner den Vorteil, flexibel auf verschiedenartige Bilder adaptierbar zu sein.
- Ferner stellen sie eine hinreichend hohe Bildauflösung bereit, beispielsweise um in der hochaufgelösten Segmentierung genaue Vermessungen durchführen zu können.
- Ausführbeispiel
- Ein Ausführbeispiel ist in den Figuren illustriert und sieht vor, dass eine dritte hochaufgelöste digitale Segmentierung HRS3 in einem dritten digitalen Bild HRP3 mittels folgender Verfahrensschritte erstellt wird (siehe insbesondere
1 und2 ): - Schritt 1 SI1: Beispielsweise ein Computer empfängt ein drittes hochaufgelöstes digitales Bild HRP3, beispielsweise ein Bild mit der Auflösung n*m, wobei n=m=1024. Dann
- Schritt 2 SI2: Beispielsweise empfängt der Computer eine dritte niedrigaufgelöste Kopie LRC3 des dritten hochaufgelösten digitalen Bildes HRP3. Alternativ wäre es auch möglich, dass eine Berechnung der dritten niedrigaufgelöste Kopie LRC3 des dritten hochaufgelösten digitalen Bildes HRP3 durch den Computer erfolgt und somit nachfolgend bereitsteht. Es handelt sich beispielsweise um eine Kopie mit der Auflösung n'*m', wobei n'=m'=128. Dann
- Schritt 3 SI3: Mittels eines trainierten neuronalen Hilfsnetzes NNHT, beispielsweise einem neuronalen Netz vom Typ U-Net (siehe: Ronneberger O, Fischer P, Brox T (2015). „U-Net: Convolutional Networks for Biomedical Image Segmentation“; https://arxiv.org/abs/1505.04597), wird ausgehend von der dritten niedrigaufgelösten Kopie LRC3 des dritten hochaufgelösten digitalen Bildes HRP3 eine dritte niedrigaufgelöste digitale Segmentierung LRS3, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in der dritten niedrigaufgelösten Kopie LRC3 des dritten hochaufgelösten digitalen Bildes HRP3 als Segmente niedrigaufgelöst repräsentiert, durch den Computer bestimmt. Das trainierte neuronale Hilfsnetzes NNHT kann ein Faltungsnetz sein, dessen receptive field eine Größe hat, die mit der Größe der niedrigaufgelösten digitalen Bilder identisch ist. Dann
- Schritt 4 SI4: Mittels eines trainierten neuronalen Hauptnetzes NNMT, beispielsweise einem neuronalen Netzes vom Typ Faltungsnetz, wird ausgehend von dem dritten hochaufgelösten digitalen Bild HRP3 und ausgehend von der dritten niedrigaufgelösten digitalen Segmentierung LRS3, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in der dritten niedrigaufgelösten Kopie LRC3 des hochaufgelösten digitalen Bildes als Segmente niedrigaufgelöst repräsentiert, eine dritten hochaufgelöste digitale Segmentierung HRS3 in dem dritten hochaufgelösten digitalen Bild, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in dem hochaufgelösten digitalen Bild als Segmente hochaufgelöst repräsentiert, durch den Computer bestimmt.
- Das trainierte neuronale Hauptnetz NNMT kann ein Faltungsnetz sein, dessen receptive field kleiner ist als das receptive field des neuronalen Hilfsnetzes. Das trainierte neuronale Hauptnetz NNMT kann die Funktion eines Upsamplers haben, welches die Ergebnisse des trainierte neuronale Hilfsnetzes NNHT, also die dritte niedrigaufgelöste digitale Segmentierung LRS3, verfeinert.
- Dabei kann ein zweites neuronales Netz NN2 so trainiert worden sein, dass ein trainiertes zweites neuronales Netz NN2T, insbesondere das oben bereits erwähnte trainierte neuronale Hilfsnetz NNHT, resultiert, und zwar beispielsweise mittels folgender Verfahrensschritte (siehe
3 ): - Schritt 5 STH1: Auf einem Computer, beispielsweise dem ober bereits erwähntem Computer oder auf einem anderen Computer, werden beispielsweise 100 Datensätze zweiter Art DS2 bereitgestellt, wobei jeder Datensatz zweiter Art DS2 ein zweites niedrigaufgelöstes digitales Bild LRP2 enthält und eine zweite niedrigaufgelöste digitale Segmentierung LRS2 des zweiten niedrigaufgelösten digitalen Bilds LRP2 enthält, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in dem zweiten niedrigaufgelösten digitalen Bild LRP2 als Segmente niedrigaufgelöst repräsentiert. Es versteht sich dabei, dass jedem Datensatz zweiter Art DS2 ein individuelles Bild zugeordnet ist. Die Herkunft der zweiten niedrigaufgelösten digitalen Segmentierung LRS2 des zweiten niedrigaufgelösten digitalen Bildes LRP2, die hier dem Training des zweiten neuronalen Netzes dient, kann beispielsweise händische Erzeugung sein.
- Schritt 6 STH2: Auf dem Computer erfolgt ein Trainieren des zweiten neuronalen Netzes NN2 mit den zweiten niedrig aufgelösten digitalen Bildern LRP2 als Eingangsdaten und den zweiten niedrig aufgelösten digitalen Segmentierungen LRS2 als Sollausgangsdaten, sodass ein trainiertes zweites neuronales Netz NN2T entsteht. Hierzu kann vorgesehen sein, dass auf Basis der Datensätze zweiter Art DS2 eine zweite Kostenfunktion bestimmt wird und dass nachfolgend der Wert der zweiten Kostenfunktion minimiert wird, indem Parameter des zweiten neuronalen Netzes NN2 optimiert werden. Es können beispielsweise Methoden des Transfer-Learnings verwendet werden.
- Dabei kann ein erstes neuronales Netz NN1 so trainiert worden sein, dass ein trainiertes erstes neuronales Netz NN1T, insbesondere das oben bereits erwähnte trainierte neuronale Hauptnetz NNMT, resultiert, und zwar beispielsweise mittels folgender Verfahrensschritte (siehe
4 ): - Schritt 7 STM1: Auf einem Computer, beispielsweise einem der oben bereits erwähnten Computern oder auf einem anderen Computer, werden beispielsweise 500 Datensätze erster Art DS1 bereitgestellt, wobei jeder Datensatz erster Art ein erstes hochaufgelöstes digitales Bild HRP1 aufweist und eine dem ersten hochaufgelösten digitalen Bild zugeordnete erste hochaufgelöste digitale Segmentierung HRS1, welche zumindest eine flächige Erstreckung eines ersten Bereichs FP1 und eines zweiten Bereichs FP2 und insbesondere eines dritten Bereichs SZ in dem hochaufgelösten digitalen Bild HRP1 als Segmente hochaufgelöst repräsentiert, aufweist und ferner eine erste niedrigaufgelöste digitale Segmentierung LRS1 aufweist, welche zumindest eine flächige Erstreckung des ersten Bereichs FP1 und des zweiten Bereichs FP2 und insbesondere des dritten Bereichs SZ in dem ersten hochaufgelösten digitalen Bild HRP1 als Segmente niedrigaufgelöst repräsentiert. Es versteht sich dabei, dass jedem Datensatz erster Art DS1 eine individuelles Bild zugeordnet ist. Die Herkunft der ersten niedrigaufgelösten digitalen Segmentierungen LRS1, die hier dem Training des ersten neuronalen Netzes NN1 dient, kann einerseits beispielsweise händische Erzeugung sein. Andererseits können sie aber auch allesamt oder teilweise durch das zuvor beschriebene trainierte zweite neuronale Netz NN2T erzeugt worden sein, bzw. durch eine Vielzahl derartiger trainierte zweite neuronale Netz NN2T erzeugt worden sein; und zwar jeweils ausgehend von ersten niedrigaufgelösten Kopien LRC1 der hochaufgelösten digitalen Bilder HRP1.
- Die Herkunft der hochaufgelösten digitalen Segmentierungen HRS1, die hier dem Training des ersten neuronalen Netzes NN1 dienen, kann beispielsweise händische Erzeugung sein.
- Schritt 8, STM2: Auf dem Computer erfolgt ein Trainieren des ersten neuronalen Netzes NN1 mit den ersten hochaufgelösten Bildern HRP1 und zusätzlich mit den ersten niedrigaufgelösten digitalen Segmentierungen LRS1 als Eingangsdaten des ersten neuronalen Netzes NN1 und den ersten hochaufgelösten Segmentierungen HRS1 als Sollausgangsdaten des ersten neuronalen Netzes NN1, sodass ein trainiertes erstes neuronales Netz NN1T entsteht. Hierzu kann vorgesehen sein, dass auf Basis der Datensätze erster Art DS1 eine erste Kostenfunktion bestimmt wird und dass nachfolgend der Wert der ersten Kostenfunktion minimiert wird, indem Parameter des ersten neuronalen Netzes NN1 optimiert werden.
- Im Rahmen der Anmeldung soll durch die Verwendung der an die Zahlen eins, zwei und drei angelehneten Bezeichnungen „erster/ersten; zweiter/zweiten; dritter/dritten“ lediglich die Unterscheidbarkeit von ihrer Funktion nach verschiedenen Objekten bewirkt werden. Dies soll aber nicht so verstanden werden, dass beispielsweise die Existenz eines mit „dritter/dritten“ bezeichneten Objekts die Existenz weiterer Objekte, die dann mit „zweiter/zweiten; erster/ersten“ zu bezeichnen wären, notwendig voraussetzt.
- In einer konkreten Anwendung zeigen die Bilder Querschliffe von stoffschlüssigen Verbindungen, insbesondere Querschliffe von Schweißnähten. Dann sind:
- - die ersten hochaufgelösten digitalen Bilder HRP1: hochaufgelöste digitale Bilder von Querschliffen durch eine erste stoffschlüssige Verbindung; insbesondere hochaufgelöste digitale Bilder von Querschliffen durch eine erste Schweißnaht;
- - die ersten hochaufgelösten digitalen Segmentierungen HRS1: hochaufgelöste digitale Segmentierungen des Querschliffs durch die ersten stoffschlüssigen Verbindungen; insbesondere hochaufgelöste digitale Segmentierungen des Querschliffs durch die ersten Schweißnähte;
- - der erste Bereich FP1: ein erster Fügepartner;
- - der zweite Bereich FP2: ein zweiter Fügepartner;
- - der optional vorhandene dritte Bereich SZ: eine im Fall einer stoffschlüssigen Verbindung zwingend vorhandene Verbindungszone; insbesondere eine im Fall einer Schweißnaht zwingend vorhandenen Schmelzzone;
- - die ersten niedrigaufgelösten digitalen Segmentierungen LRS1:
- niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die erste stoffschlüssige Verbindung; insbesondere niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die erste Schweißnaht:
- - die zweiten niedrigaufgelösten digitalen Bilder LRP2: niedrigaufgelöste digitale Bilder eines Querschliffs durch eine zweite stoffschlüssige Verbindung; insbesondere niedrigaufgelöste digitale Bilder eines Querschliffs durch eine zweite Schweißnaht;
- - die zweiten niedrigaufgelösten digitalen Segmentierungen LRS2:
- niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die zweite stoffschlüssige Verbindung; insbesondere niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die zweite Schweißnaht;
- - die ersten niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder LRC1: niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder des Querschliffs durch die erste stoffschlüssige Verbindung; insbesondere niedrigaufgelöste Kopien der hochaufgelösten digitalen Bilder des Querschliffs durch die erste Schweißnaht;
- - die dritten hochaufgelösten digitalen Segmentierungen HRS3: hochaufgelöste digitale Segmentierungen des Querschliffs durch die dritten stoffschlüssigen Verbindungen; insbesondere hochaufgelöste digitale Segmentierungen des Querschliffs durch die dritten Schweißnähte;
- - die dritten hochaufgelösten digitales Bilder HRP3: hochaufgelöste digitale Bilder von Querschliffen durch eine erste stoffschlüssige Verbindung; insbesondere hochaufgelöste digitale Bilder von Querschliffen durch eine erste Schweißnaht;
- - die dritten niedrigaufgelösten digitalen Segmentierungen LRS3:
- niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die dritte stoffschlüssige Verbindung; insbesondere niedrigaufgelöste digitale Segmentierungen eines Querschliffs durch die dritte Schweißnaht; und
- - die dritten niedrigaufgelösten Kopie LRC3: niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder des Querschliffs durch die dritte stoffschlüssige Verbindung; insbesondere niedrigaufgelöste Kopien der hochaufgelösten digitalen Bilder des Querschliffs durch die dritte Schweißnaht.
Claims (12)
- Verfahren zum Trainieren eines ersten neuronalen Netzes (NN1), das einer hochaufgelösten Segmentierung in digitalen Bildern dient, mittels folgender Schritte: - Bereitstellen von Datensätzen erster Art (DS1), wobei jeder Datensatz erster Art (DS1) zumindest folgendes enthält: a) ein erstes hochaufgelöstes digitales Bild (HRP1), b) eine dem ersten hochaufgelösten digitalen Bild (HRP1) zugeordnete erste hochaufgelöste digitale Segmentierung (HRS1), welche zumindest eine flächige Erstreckung eines ersten Bereichs (FP1) und eines zweiten Bereichs (FP2) und insbesondere eines dritten Bereichs (SZ) in dem ersten hochaufgelösten digitalen Bild (HRP1) als Segmente hochaufgelöst repräsentiert, c) eine erste niedrigaufgelöste digitale Segmentierung (LRS1), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem ersten hochaufgelösten digitalen Bild (HRP1) als Segmente niedrigaufgelöst repräsentiert; - Trainieren des ersten neuronalen Netzes (NN1) mit den ersten hochaufgelösten Bildern (HRP1) und zusätzlich mit den ersten niedrigaufgelösten digitalen Segmentierungen (LRS1) als Eingangsdaten des ersten neuronalen Netzes (NN1) und den ersten hochaufgelösten Segmentierungen (HRS1) als Sollausgangsdaten des ersten neuronalen Netzes (NN1), sodass ein trainiertes erstes neuronales Netz (NN1T) entsteht.
- Verfahren nach
Anspruch 1 , wobei das Trainieren des ersten neuronalen Netzes (NN1) vorsieht, dass auf Basis der Datensätze erster Art (DS1) eine erste Kostenfunktion bestimmt wird und dass nachfolgend der Wert der ersten Kostenfunktion minimiert wird, indem Parameter des ersten neuronalen Netzes (NN1) optimiert werden. - Verfahren nach
Anspruch 1 oder2 , wobei die erste niedrigaufgelöste digitale Segmentierung (LRS1), welche zumindest die flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem ersten hochaufgelösten digitalen Bild (HRP1) als Segmente niedrigaufgelöst repräsentiert, für jeden Datensatz erster Art (DS1) bereitgestellt wird, indem das Verfahren zusätzlich folgende Schritte enthält: - Bereitstellen von Datensätzen zweiter Art (DS2), wobei jeder Datensatz zweiter Art (DS2) folgendes enthält: d) ein zweites niedrigaufgelöstes digitales Bild (LRP2), e) eine zweite niedrigaufgelöste digitale Segmentierung (LRS2), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem zweiten niedrigaufgelösten digitalen Bild (LRP2) als Segmente niedrigaufgelöst repräsentiert; - Trainieren eines zweiten neuronalen Netzes (NN2) mit den zweiten niedrig aufgelösten digitalen Bildern (LRP2) als Eingangsdaten und den zweiten niedrig aufgelösten digitalen Segmentierungen (LRS2) als Sollausgangsdaten, sodass ein trainiertes zweites neuronales Netz (NN2T) entsteht; - Bereitstellen von ersten niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder (LRC1) - Mit dem trainierten zweiten neuronalen Netz (NN2T) und ausgehend von den ersten niedrigaufgelösten Kopien der hochaufgelösten digitalen Bilder (LRC1): Bestimmung der ersten niedrigaufgelösten digitalen Segmentierungen (LRS1), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in den ersten hochaufgelösten digitalen Bildern (HRP1) als Segmente niedrigaufgelöst repräsentiert. - Verfahren nach
Anspruch 3 , wobei das Trainieren des zweiten neuronalen Netzes (NN2) vorsieht, dass auf Basis der Datensätze zweiter Art (DS2) eine zweite Kostenfunktion bestimmt wird und dass nachfolgend der Wert der zweiten Kostenfunktion minimiert wird, indem Parameter des zweiten neuronalen Netzes (NN2) optimiert werden. - Verfahren nach einem der vorangehenden Ansprüche, wobei die Datensätze erster Art (DS1) in ihrer Gesamtheit erste hochaufgelöste digitale Bilder von Objekten (HRP1) umfassen, die untereinander nicht gleichartig sind.
- Verfahren nach einem der vorangehenden Ansprüche, wobei die zweiten niedrigaufgelösten digitalen Bilder (LRP2) die ersten niedrigaufgelösten Kopien der ersten hochaufgelösten digitalen Bilder (LRC1) umfassen.
- Verfahren zur Bestimmung einer dritten hochaufgelösten digitalen Segmentierung (HRS3) in einem dritten hochaufgelösten digitalen Bild (HRP3) mittels folgender Verfahrensschritte: - Empfangen eines dritten hochaufgelösten digitalen Bildes (HRP3) - Bereitstellen einer dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3); - Bestimmung einer dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) als Segmente niedrigaufgelöst repräsentiert, ausgehend von der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes (HRP3) und mittels eines trainierten neuronalen Hilfsnetzes (NNHT). - Bestimmung der dritten hochaufgelösten digitalen Segmentierung (HRS3) in dem dritten hochaufgelösten digitalen Bild (HRP3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in dem dritten hochaufgelösten digitalen Bild (HRP3) als Segmente hochaufgelöst repräsentiert, ausgehend von dem dritten hochaufgelösten digitalen Bild (HRP3) und ausgehend von der dritten niedrigaufgelösten digitalen Segmentierung (LRS3), welche zumindest eine flächige Erstreckung des ersten Bereichs (FP1) und des zweiten Bereichs (FP2) und insbesondere des dritten Bereichs (SZ) in der dritten niedrigaufgelösten Kopie (LRC3) des dritten hochaufgelösten digitalen Bildes als Segmente niedrigaufgelöst repräsentiert, mittels eines trainierten neuronalen Hauptnetzes (NNMT).
- Verfahren nach
Anspruch 7 , wobei das trainierte neuronale Hauptnetz (NNMT) trainiert ist, entsprechend dem ersten neuronalen Netz (NN1) gemäß einem derAnsprüche 1 bis6 . - Verfahren nach
Anspruch 7 oder8 , wobei das trainierte neuronale Hilfsnetz (NNHT) trainiert ist, entsprechend dem zweiten neuronalen Netz (NN2) gemäß einem derAnsprüche 1 bis6 . - Verfahren nach einem der vorangehenden Ansprüche, wobei die hochaufgelösten digitalen Bilder (HRP1, HRP3) und/oder die hochaufgelösten digitalen Segmentierungen (HRS1, HRS3) durch n*m Pixel gegeben sind; und wobei die niedrigaufgelösten digitalen Bilder (LRP2, LRC1, LRC3) bzw. die niedrigaufgelösten digitalen Segmentierungen (LRS1, LRS2, LRS3) durch n'*m' Pixel gegeben sind und wobei eine der Beziehungen aus {a), b)} gilt oder beide der Beziehungen aus {a), b)} gelten: a): n/n' ≥ 4, b): m/m' ≥ 4; z.B. n=m=1024 und n'=m'=128.
- Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite neuronale Netz (NN2, NN2T) bzw. das neuronale Hilfsnetz (NNHT) und das erste neuronale Netz (NN1, NN1T) bzw. das neuronale Hauptnetz (NNMT) Faltungsnetze sind und wobei Größe des receptive fields des zweiten neuronalen Netzes (NN2, NN2T) bzw. des neuronalen Hilfsnetzes (NNHT) größer ist als die Größe des receptive fields des ersten neuronalen Netzes (NN1, NN1T) bzw. des neuronale Hauptnetzes (NNMT).
- Verfahren nach einem der vorangehenden Ansprüche, wobei das zweite neuronale Netz (NN2, NN2T) bzw. des neuronalen Hilfsnetz (NNHT) ein neuronales Netz vom Typ U-Net ist.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022209009.8A DE102022209009A1 (de) | 2022-08-31 | 2022-08-31 | Segmentierung eines digitalen Bildes mittels kaskadierter neuronaler Netze |
| PCT/EP2023/069261 WO2024046638A1 (de) | 2022-08-31 | 2023-07-12 | Segmentierung eines digitalen bildes mittels kaskadierter neuronaler netze |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022209009.8A DE102022209009A1 (de) | 2022-08-31 | 2022-08-31 | Segmentierung eines digitalen Bildes mittels kaskadierter neuronaler Netze |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102022209009A1 true DE102022209009A1 (de) | 2024-02-29 |
Family
ID=87245713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102022209009.8A Pending DE102022209009A1 (de) | 2022-08-31 | 2022-08-31 | Segmentierung eines digitalen Bildes mittels kaskadierter neuronaler Netze |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102022209009A1 (de) |
| WO (1) | WO2024046638A1 (de) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200129168A (ko) * | 2017-09-27 | 2020-11-17 | 구글 엘엘씨 | 고해상도 이미지 세분화를 위한 종단간 네트워크 모델 |
| CA3195077A1 (en) * | 2020-10-07 | 2022-04-14 | Dante DE NIGRIS | Systems and methods for segmenting 3d images |
-
2022
- 2022-08-31 DE DE102022209009.8A patent/DE102022209009A1/de active Pending
-
2023
- 2023-07-12 WO PCT/EP2023/069261 patent/WO2024046638A1/de unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024046638A1 (de) | 2024-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE2909153C2 (de) | Einrichtung zur digitalen Analyse von Bild- oder Zeichenmustern | |
| DE102011113546B4 (de) | Korrektur fehlerhafter pixel in digitalen farbbildern | |
| DE60020887T2 (de) | Optischer fluss und bildaufbau | |
| DE102006046746A1 (de) | Systeme, Verfahren und Vorrichtung zum Erzeugen einer Datenbank von Bildern anhand von Kategoriekennzahlen | |
| DE112008003337T5 (de) | Eigenschaftsanalysegerät | |
| DE10327949A1 (de) | Verfahren und Vorrichtung zum Ansprechen auf Schwellenereignisse von Heterogenen Meßquellen | |
| DE112017006976T5 (de) | Überlagerungspositionskorrektureinrichtung und überlagerungspositionskorrekturverfahren | |
| WO2003042920A1 (de) | Verfahren und vorrichtung zum entzerren einer eingescannten abbildung | |
| DE60224125T2 (de) | Signalverarbeitungsgerät, Signalverarbeitungsverfahren des Geräts, Operationsprozessprogramm des Verfahrens und Speichermedium zum Speichern des Programms | |
| DE3905234C2 (de) | ||
| DE102022209009A1 (de) | Segmentierung eines digitalen Bildes mittels kaskadierter neuronaler Netze | |
| DE102004017145A1 (de) | Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind | |
| DE10024374B4 (de) | Verfahren und Vorrichtung zum Messen des in einem Bild enthaltenen Rauschens | |
| DE60320076T2 (de) | Verfahren zur elektronischen farbentfernung unter nutzung räumlicher beziehungen zur verbesserung der genauigkeit | |
| DE112017006779T5 (de) | Kamerasystem einschliesslich objektiv mit vergrösserungsgradient | |
| DE102022209007A1 (de) | Segmentierung eines Schliffbilds einer Schweißnaht mittels künstlicher Intelligenz | |
| DE10327576A1 (de) | Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation | |
| EP2064674A1 (de) | Mischung unterschiedlich bearbeiteter röntgenbilddaten | |
| DE112021005620T5 (de) | Verfahren und Vorrichtung zur Farbwiederherstellung von Unterwasserbildern und -videos | |
| DE10221389A1 (de) | Verfahren zur Ermittlung eines Pixelwertes eines Pixel aufweisenden Bildes, Gewichtungsmatrix und Recheneinrichtung | |
| EP3518180B1 (de) | Verfahren zur erstellung einer bildstapel-datenstruktur | |
| EP1397002B1 (de) | Gradientengestütztes Verfahren zur Bildpunktinterpolation | |
| DE102012215527B4 (de) | Verfahren und Vorrichtung zur Verbesserung einer Bildauflösung | |
| DE112017007292T5 (de) | Überwachungsbildschirmdaten-erzeugungsvorrichtung,, verfahren zur erzeugung von überwachungsbildschirmdaten und programm zur erzeugung von überwachungsbildschirmdaten | |
| DE112017007165T5 (de) | Bildverarbeitungsvorrichtung und abbildungsvorrichtung |