JP2022517571A - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents
画像処理方法及び装置、電子機器並びに記憶媒体 Download PDFInfo
- Publication number
- JP2022517571A JP2022517571A JP2021539065A JP2021539065A JP2022517571A JP 2022517571 A JP2022517571 A JP 2022517571A JP 2021539065 A JP2021539065 A JP 2021539065A JP 2021539065 A JP2021539065 A JP 2021539065A JP 2022517571 A JP2022517571 A JP 2022517571A
- Authority
- JP
- Japan
- Prior art keywords
- result
- convolution
- feature map
- deconvolution
- division
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 226
- 230000008569 process Effects 0.000 claims abstract description 179
- 238000012545 processing Methods 0.000 claims abstract description 130
- 238000012549 training Methods 0.000 claims description 52
- 238000013528 artificial neural network Methods 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 abstract description 19
- 230000006870 function Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 10
- 230000004927 fusion Effects 0.000 description 9
- 206010003658 Atrial Fibrillation Diseases 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000005484 gravity Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 208000019622 heart disease Diseases 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000011298 ablation treatment Methods 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 208000020446 Cardiac disease Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002498 deadly effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
本願は、2019年4月1日に中国特許庁に提出された、出願番号201910258038.1、発明の名称「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
<技術分野>
本開示は、画像処理技術に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得るステップS11と、
畳み込み結果に基づいて、位置決め処理で位置決め結果を得るステップS12と、
位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得るステップS13と、
逆畳み込み結果に対して分割処理を行って、被処理画像から目標対象物を分割するステップS14と、を含む。
被処理画像に対して畳み込み処理を行って、得られた特徴マップを畳み込み対象特徴マップとするステップS111と、
畳み込み対象特徴マップの解像度が第1閾値に到達していない場合に、畳み込み対象特徴マップに対して畳み込み処理を行って、得られた結果を新たに畳み込み対象特徴マップとするステップS112と、
畳み込み対象特徴マップの解像度が第1閾値に到達した場合に、得られた解像度が漸減した全ての特徴マップを畳み込み結果とするステップS113と、を含んでもよい。
畳み込み結果に基づいて分割処理を行って、分割結果を得るステップS121と、
分割結果に基づいて、畳み込み結果に対して位置決め処理を行って、位置決め結果を得るステップS122と、を含んでもよい。
分割結果に基づいて、畳み込み結果における目標対象物に対応する位置情報を決定するステップS1221と、
位置情報に基づいて、畳み込み結果に対して位置決め処理を行って、位置決め結果を得るステップS1222と、を含んでもよい。
分割結果の座標位置を読み取るステップS12211と、
座標位置を領域中心として、畳み込み結果内の各解像度での特徴マップにおいて目標対象物全体をカバーできる領域位置をそれぞれ決定して、畳み込み結果における目標対象物に対応する位置情報とするステップS12212と、を含んでもよい。
位置決め結果に含まれる全ての特徴マップのうち、解像度が最も低い特徴マップを逆畳み込み対象特徴マップとするステップS131と、
逆畳み込み対象特徴マップの解像度が第2閾値に到達していない場合に、逆畳み込み対象特徴マップに対して逆畳み込み処理を行って、逆畳み込み処理結果を得るステップS132と、
解像度が漸増する順に、位置決め結果における逆畳み込み対象特徴マップの次の特徴マップを決定するステップS133と、
逆畳み込み処理結果と次の特徴マップを融合して、融合した結果を新たに逆畳み込み対象特徴マップとするステップS134と、
逆畳み込み対象特徴マップの解像度が第2閾値に到達した場合に、逆畳み込み対象特徴マップを逆畳み込み結果とするステップS135と、を含んでもよい。
予め設定されたトレーニングセットによって第1分割サブネットワークをトレーニングするステップS151と、
予め設定されたトレーニングセット及びトレーニング済みの第1分割サブネットワークによって第2分割サブネットワークをトレーニングするステップS152と、を含んでもよい。
心臓類疾病は、現在致死率が最も高い疾患の一つであり、例えば、心房細動は、現在最も一般的な不整脈の一つであり、一般の人々で発生する確率が2%に達しているが、高齢者の発病率がより高くなり且つ一定の致死率があるものであり、人間の健康に対する深刻な脅威になっている。心房に対する精確な分割は心房細動を理解・分析するための鍵であり、通常で目的となる心房細動の手術焼灼治療計画の作成を支援するために用いられる。また、心臓の他の腔の分割は他種類の心臓病の治療と手術計画にも同様に重要な意義を有している。しかしながら、医用画像における心臓の腔の分割方法には正確率が高くなく、計算効率が低い等の欠点がやはり存在し、一部の方法が高い正確率を図ったが、3次元情報が不足して分割結果の平滑さに欠けており、グローバル情報が不足し、計算効率が低下しており、或いは2つのネットワークに分けて分割トレーニングを行う必要があって時間や空間上の冗長性が一定の程度で存在する等のような実際の問題がやはり存在している。
V-Net又は3D-U-Netに基づく3次元完全畳み込みニューラルネットワークにおけるエンコーダ構造のようなものを採用して入力画像に対して複数回の畳み込み処理を行うが、この例において、畳み込み処理の過程は畳み込み、プーリング、batch norm及びPReluを含んでもよく、複数回の畳み込み処理で、毎回の畳み込み処理の入力については前回の畳み込み処理で得られた結果を採用し、この例において合計4回の畳み込み処理が実行されたことで、解像度が576×576×96、288×288×48、144×144×24、及び72×72×12の特徴マップをそれぞれ生成することができるとともに、入力画像の特徴チャンネルが8から128個に増加している。
上記の4つの特徴マップが得られた後、そのうちの最小解像度の特徴マップ、この例において72×72×12の特徴マップに一つのsoftmax層を通過させることで、それぞれ画素関連位置が目標腔であるか否かの確率を表す2つの解像度が72×72×12である確率出力が得られ、これら2つの確率出力を第1分割サブネットワークの出力結果として、dice loss、交差エントロピー又は他の損失関数を用いて、この出力結果と直接72×72×12にダウンサンプリングしたmaskとの間の損失を算出し、算出された損失に基づいて、逆伝播アルゴリズムを用いて第1分割サブネットワークのネットワークパラメータを更新し、第1分割サブネットワークのネットワークモデルが収束すると、第1分割サブネットワークのトレーニングが完了することを示すようにしてもよい。
段階的な逆畳み込み処理によって、領域画像を段階的に240×160×96の解像度に回復してもよいが、具体的な過程は、以下の通りであってもよい。72×72×12の特徴マップにおいて切り出された30×20×12の大きさの領域に対して逆畳み込み処理を行うことで解像度が60×40×24の特徴マップが得られ、この特徴マップを、その前の144×144×24の特徴マップにおいて切り出された60×40×24の大きさの領域と融合して、融合後の解像度が60×40×24の特徴マップが得られ、更にこの特徴マップに対して逆畳み込み処理を行って解像度が120×80×48の特徴マップが得られ、残りのその前の288×288×48の特徴マップにおいて切り出された120×80×48の領域と融合されて、融合後の解像度が120×80×48の特徴マップが得られ、融合後の特徴マップに対して再度逆畳み込み処理を行って解像度が240×160×96の特徴マップが得られ、更にそれを576×576×96の特徴マップにおいて切り出された240×160×96の領域と融合して、段階的な逆畳み込み処理後の最終画像が得られ、このようにしてこの最終画像に心臓の腔の局所情報とグローバル情報が含まれ、この最終画像にsoftmax層を通過させることで、それぞれ画素関連位置が目標の腔であるか否かの確率を表す2つの解像度が576×576×96の確率出力が得られ、これらの2つの確率出力を第2分割サブネットワークの出力結果として、dice loss、交差エントロピー又は他の損失関数によって、この出力結果とmaskとの間の損失を算出し、算出された損失に基づいて、逆伝播アルゴリズムを用いて第2分割サブネットワークのネットワークパラメータを更新して、第2分割サブネットワークのネットワークモデルが収束すると、第2分割サブネットワークのトレーニングが完了することを示すようにしてもよい。
まず、中心切り出しと拡張の方法を用いて、心臓の腔の分割をすべき被分割画像の解像度をニューラルネットワークの予め設定された大きさに調整し、この例では576×576×96とし、そして、この被分割画像データを上記のトレーニング済みのニューラルネットワークに入力し、被分割画像がトレーニング済みのニューラルネットワークでトレーニング過程と類似する過程を経って、つまり、先に畳み込み処理によって4つの解像度の大きさの特徴マップを生成し、そして粗分割結果が得られ、この粗分割結果に基づいて上記の4つの解像度の大きさの特徴マップを切り出して、更に切り出し結果に対して逆畳み込み処理を行って逆畳み込み結果が得られ、この逆畳み込み結果に対して更に分割処理を行って目標の腔の分割結果が得られ、この分割結果がニューラルネットワークの出力結果として出力され、更にこの出力された分割結果を入力された被分割画像と同じ次元にマッピングして、最終的な心臓の腔分割結果が得られる。
Claims (31)
- 被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得ることと、
前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得ることと、
前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得ることと、
前記逆畳み込み結果に対して分割処理を行って、前記被処理画像から目標対象物を分割することと、を含むことを特徴とする画像処理方法。 - 前記被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得ることは、
被処理画像に対して段階的な畳み込み処理を行って、少なくとも1つの解像度が漸減した特徴マップを前記畳み込み結果として得ることを含むことを特徴とする請求項1に記載の方法。 - 前記被処理画像に対して段階的な畳み込み処理を行って、少なくとも1つの解像度が漸減した特徴マップを前記畳み込み結果として得ることは、
被処理画像に対して畳み込み処理を行って、得られた特徴マップを畳み込み対象特徴マップとすることと、
前記畳み込み対象特徴マップの解像度が第1閾値に到達していない場合に、前記畳み込み対象特徴マップに対して畳み込み処理を行って、得られた結果を新たに畳み込み対象特徴マップとすることと、
前記畳み込み対象特徴マップの解像度が第1閾値に到達した場合に、得られた解像度が漸減した全ての特徴マップを前記畳み込み結果とすることと、を含むことを特徴とする請求項2に記載の方法。 - 前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得ることは、
前記畳み込み結果に基づいて分割処理を行って、分割結果を得ることと、
前記分割結果に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることと、を含むことを特徴とする請求項1~3のいずれか一項に記載の方法。 - 前記畳み込み結果に基づいて分割処理を行って、分割結果を得ることは、
前記畳み込み結果のうち解像度が最も低い特徴マップに対して分割処理を行って、分割結果を得ることを含むことを特徴とする請求項4に記載の方法。 - 前記分割結果に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることは、
前記分割結果に基づいて、前記畳み込み結果において前記目標対象物に対応する位置情報を決定することと、
前記位置情報に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることと、を含むことを特徴とする請求項4又は5に記載の方法。 - 前記分割結果に基づいて、畳み込み結果において前記目標対象物に対応する位置情報を決定することは、
前記分割結果の座標位置を読み取ることと、
前記座標位置を領域中心として、前記畳み込み結果内の各解像度での特徴マップにおいて前記目標対象物全体をカバーできる領域位置をそれぞれ決定し、畳み込み結果において前記目標対象物に対応する位置情報とすることと、を含むことを特徴とする請求項6に記載の方法。 - 前記位置情報に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることは、
前記位置情報に基づいて、前記畳み込み結果内の各解像度での特徴マップに対してそれぞれクロップ処理を行って、位置決め結果を得ることを含むことを特徴とする請求項6又は7に記載の方法。 - 前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得ることは、
前記位置決め結果に含まれる全ての特徴マップのうち、解像度が最も低い特徴マップを逆畳み込み対象特徴マップとすることと、
前記逆畳み込み対象特徴マップの解像度が第2閾値に到達していない場合に、前記逆畳み込み対象特徴マップに対して逆畳み込み処理を行って、逆畳み込み処理結果を得ることと、
解像度が漸増する順に、前記位置決め結果のうち前記逆畳み込み対象特徴マップとなる次の特徴マップを決定することと、
前記逆畳み込み処理結果と前記次の特徴マップを融合して、前記融合した結果を新たに逆畳み込み対象特徴マップとすることと、
前記逆畳み込み対象特徴マップの解像度が第2閾値に到達した場合に、前記逆畳み込み対象特徴マップを逆畳み込み結果とすることと、を含むことを特徴とする請求項1~7のいずれか一項に記載の方法。 - 前記分割処理は、
被分割対象をsoftmax回帰させて、回帰結果を得ることと、
前記回帰結果に対する最大値の比較を行うことによって、前記被分割対象に対する分割処理を完了させることと、を含むことを特徴とする請求項1~9のいずれか一項に記載の方法。 - 前記方法は、前記被処理画像に対して段階的な畳み込み処理及び分割処理を行うための第1分割サブネットワークと、前記位置決め結果に対して段階的な逆畳み込み処理及び分割処理を行うための第2分割サブネットワークとを含むニューラルネットワークによって実現されることを特徴とする請求項1~10のいずれか一項に記載の方法。
- 前記ニューラルネットワークのトレーニング過程は、
予め設定されたトレーニングセットによって前記第1分割サブネットワークをトレーニングすることと、
前記予め設定されたトレーニングセット及びトレーニング済みの第1分割サブネットワークによって前記第2分割サブネットワークをトレーニングすることと、を含むことを特徴とする請求項11に記載の方法。 - 前記被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得る前に、
前記被処理画像を予め設定された解像度となるように調整することを更に含むことを特徴とする請求項1~12のいずれか一項に記載の方法。 - 前記被処理画像は3次元医用画像であることを特徴とする請求項1~13のいずれか一項に記載の方法。
- 被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得るための畳み込みモジュールと、
前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得るための位置決めモジュールと、
前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得るための逆畳み込みモジュールと、
前記逆畳み込み結果に対して分割処理を行って、前記被処理画像から目標対象物を分割するための目標対象物取得モジュールと、を含むことを特徴とする画像処理装置。 - 前記畳み込みモジュールは、
被処理画像に対して段階的な畳み込み処理を行って、少なくとも1つの解像度が漸減した特徴マップを前記畳み込み結果として得るために用いられることを特徴とする請求項15に記載の装置。 - 前記畳み込みモジュールは、更に、
被処理画像に対して畳み込み処理を行って、得られた特徴マップを畳み込み対象特徴マップとすることと、
前記畳み込み対象特徴マップの解像度が第1閾値に到達していない場合に、前記畳み込み対象特徴マップに対して畳み込み処理を行って、得られた結果を新たに畳み込み対象特徴マップとすることと、
前記畳み込み対象特徴マップの解像度が第1閾値に到達した場合に、得られた解像度が漸減した全ての特徴マップを前記畳み込み結果とすることとに用いられることを特徴とする請求項16に記載の装置。 - 前記位置決めモジュールは、
前記畳み込み結果に基づいて分割処理を行って、分割結果を得るための分割サブモジュールと、
前記分割結果に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得るための位置決めサブモジュールと、を含むことを特徴とする請求項15~17のいずれか一項に記載の装置。 - 前記分割サブモジュールは、
前記畳み込み結果のうち解像度が最も低い特徴マップに対して分割処理を行って、分割結果を得るために用いられることを特徴とする請求項18に記載の装置。 - 前記位置決めサブモジュールは、
前記分割結果に基づいて、前記畳み込み結果において前記目標対象物に対応する位置情報を決定することと、
前記位置情報に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることとに用いられることを特徴とする請求項18又は19に記載の装置。 - 前記位置決めサブモジュールは、更に、
前記分割結果の座標位置を読み取ることと、
前記座標位置を領域中心として、前記畳み込み結果内の各解像度での特徴マップにおいて前記目標対象物全体をカバーできる領域位置をそれぞれ決定し、畳み込み結果において前記目標対象物に対応する位置情報とすることとに用いられることを特徴とする請求項20に記載の装置。 - 前記位置決めサブモジュールは、更に、
前記位置情報に基づいて、前記畳み込み結果内の各解像度での特徴マップに対してそれぞれクロップ処理を行って、位置決め結果を得るために用いられることを特徴とする請求項20又は21に記載の装置。 - 前記逆畳み込みモジュールは、
前記位置決め結果に含まれる全ての特徴マップのうち、解像度が最も低い特徴マップを逆畳み込み対象特徴マップとすることと、
前記逆畳み込み対象特徴マップの解像度が第2閾値に到達していない場合に、前記逆畳み込み対象特徴マップに対して逆畳み込み処理を行って、逆畳み込み処理結果を得ることと、
解像度が漸増する順に、前記位置決め結果のうち前記逆畳み込み対象特徴マップとなる次の特徴マップを決定することと、
前記逆畳み込み処理結果と前記次の特徴マップを融合して、前記融合した結果を新たに逆畳み込み対象特徴マップとすることと、
前記逆畳み込み対象特徴マップの解像度が第2閾値に到達した場合に、前記逆畳み込み対象特徴マップを逆畳み込み結果とすることとに用いられることを特徴とする請求項15~22のいずれか一項に記載の装置。 - 前記分割処理は、
分割対象をsoftmax回帰させて、回帰結果を得ることと、
前記回帰結果に対する最大値の比較を行うことによって、前記分割対象に対する分割処理を完了させることと、を含むことを特徴とする請求項15~23のいずれか一項に記載の装置。 - 前記装置は、前記被処理画像に対して段階的な畳み込み処理及び分割処理を行うための第1分割サブネットワークと、前記位置決め結果に対して段階的な逆畳み込み処理及び分割処理を行うための第2分割サブネットワークと、を含むニューラルネットワークによって実現されることを特徴とする請求項15~24のいずれか一項に記載の装置。
- 予め設定されたトレーニングセットによって前記第1分割サブネットワークをトレーニングすることと、
前記予め設定されたトレーニングセット及びトレーニング済みの第1分割サブネットワークによって前記第2分割サブネットワークをトレーニングすることとに用いられるトレーニングモジュールを更に含むことを特徴とする請求項25に記載の装置。 - 前記畳み込みモジュールの前に、
前記被処理画像を予め設定された解像度となるように調整するための解像度調整モジュールを更に含むことを特徴とする請求項15~26のいずれか一項に記載の装置。 - 前記被処理画像は3次元医用画像であることを特徴とする請求項15~27のいずれか一項に記載の装置。
- プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、請求項1~14のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。 - コンピュータプログラムコマンドが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、請求項1~14のいずれか一項に記載の方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
- コンピュータにより読み取り可能なコードを含み、前記コンピュータにより読み取り可能なコードが電子機器で作動すると、前記電子機器のプロセッサに請求項1~14のいずれか一項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910258038.1A CN109978886B (zh) | 2019-04-01 | 2019-04-01 | 图像处理方法及装置、电子设备和存储介质 |
CN201910258038.1 | 2019-04-01 | ||
PCT/CN2019/107844 WO2020199528A1 (zh) | 2019-04-01 | 2019-09-25 | 图像处理方法及装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022517571A true JP2022517571A (ja) | 2022-03-09 |
Family
ID=67082222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021539065A Pending JP2022517571A (ja) | 2019-04-01 | 2019-09-25 | 画像処理方法及び装置、電子機器並びに記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210319560A1 (ja) |
JP (1) | JP2022517571A (ja) |
CN (1) | CN109978886B (ja) |
SG (1) | SG11202106290TA (ja) |
TW (3) | TWI758233B (ja) |
WO (1) | WO2020199528A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978886B (zh) * | 2019-04-01 | 2021-11-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110807463B (zh) * | 2019-09-17 | 2022-10-11 | 珠海格力电器股份有限公司 | 图像分割方法、装置、计算机设备和存储介质 |
US11335045B2 (en) * | 2020-01-03 | 2022-05-17 | Gyrfalcon Technology Inc. | Combining feature maps in an artificial intelligence semiconductor solution |
CN113706548B (zh) * | 2020-05-09 | 2023-08-22 | 北京康兴顺达科贸有限公司 | 基于ct影像对胸部前纵隔病灶自动分割的方法 |
CN113516614A (zh) | 2020-07-06 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 脊柱影像的处理方法、模型训练方法、装置及存储介质 |
CN112150449B (zh) * | 2020-09-29 | 2022-11-25 | 太原理工大学 | 一种脑卒中病灶分割方法和系统 |
CN112233194B (zh) * | 2020-10-15 | 2023-06-02 | 平安科技(深圳)有限公司 | 医学图片优化方法、装置、设备及计算机可读存储介质 |
CN112308867B (zh) * | 2020-11-10 | 2022-07-22 | 上海商汤智能科技有限公司 | 牙齿图像的处理方法及装置、电子设备和存储介质 |
US11461989B2 (en) * | 2020-12-04 | 2022-10-04 | Himax Technologies Limited | Monitor method and monitor system thereof wherein mask is used to cover image for detecting object |
TWI768759B (zh) * | 2021-03-11 | 2022-06-21 | 瑞昱半導體股份有限公司 | 具有超解析放大機制的影像放大裝置及方法 |
CN113225226B (zh) * | 2021-04-30 | 2022-10-21 | 上海爱数信息技术股份有限公司 | 一种基于信息熵的云原生系统观测方法及系统 |
CN113012178A (zh) * | 2021-05-07 | 2021-06-22 | 西安智诊智能科技有限公司 | 一种肾脏肿瘤图像分割方法 |
US11475158B1 (en) * | 2021-07-26 | 2022-10-18 | Netskope, Inc. | Customized deep learning classifier for detecting organization sensitive data in images on premises |
CN114708608B (zh) * | 2022-06-06 | 2022-09-16 | 浙商银行股份有限公司 | 一种银行票据全自动化特征工程方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017158575A1 (en) * | 2016-03-17 | 2017-09-21 | Imagia Cybernetics Inc. | Method and system for processing a task with robustness to missing input information |
WO2018081537A1 (en) * | 2016-10-31 | 2018-05-03 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for image segmentation using controlled feedback |
JP2018147431A (ja) * | 2017-03-09 | 2018-09-20 | コニカミノルタ株式会社 | 画像認識装置及び画像認識方法 |
JP2019036009A (ja) * | 2017-08-10 | 2019-03-07 | 富士通株式会社 | 制御プログラム、制御方法、及び情報処理装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7058210B2 (en) * | 2001-11-20 | 2006-06-06 | General Electric Company | Method and system for lung disease detection |
US7899514B1 (en) * | 2006-01-26 | 2011-03-01 | The United States Of America As Represented By The Secretary Of The Army | Medical image processing methodology for detection and discrimination of objects in tissue |
WO2016172612A1 (en) * | 2015-04-23 | 2016-10-27 | Cedars-Sinai Medical Center | Automated delineation of nuclei for three dimensional (3-d) high content screening |
RU2719028C1 (ru) * | 2016-09-07 | 2020-04-16 | Электа, Инк. | Система и способ для обучающихся моделей планов радиотерапевтического лечения с прогнозированием распределений дозы радиотерапии |
CN106530320B (zh) * | 2016-09-30 | 2019-12-17 | 深圳大学 | 一种端到端的图像分割处理方法及系统 |
TWI624804B (zh) * | 2016-11-07 | 2018-05-21 | 盾心科技股份有限公司 | 利用超解析重建法生成高解析度影像的方法與系統 |
CN107016681B (zh) * | 2017-03-29 | 2023-08-25 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
CN108776969B (zh) * | 2018-05-24 | 2021-06-22 | 复旦大学 | 基于全卷积网络的乳腺超声图像肿瘤分割方法 |
CN108682015B (zh) * | 2018-05-28 | 2021-10-19 | 安徽科大讯飞医疗信息技术有限公司 | 一种生物图像中的病灶分割方法、装置、设备及存储介质 |
CN108765422A (zh) * | 2018-06-13 | 2018-11-06 | 云南大学 | 一种视网膜图像血管自动分割方法 |
CN108986115B (zh) * | 2018-07-12 | 2020-12-18 | 佛山生物图腾科技有限公司 | 医学图像分割方法、装置及智能终端 |
CN109063609A (zh) * | 2018-07-18 | 2018-12-21 | 电子科技大学 | 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法 |
CN108986891A (zh) * | 2018-07-24 | 2018-12-11 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、电子设备及存储介质 |
CN109145769A (zh) * | 2018-08-01 | 2019-01-04 | 辽宁工业大学 | 融合图像分割特征的目标检测网络设计方法 |
CN109166130B (zh) * | 2018-08-06 | 2021-06-22 | 北京市商汤科技开发有限公司 | 一种图像处理方法及图像处理装置 |
CN109035261B (zh) * | 2018-08-09 | 2023-01-10 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、电子设备及存储介质 |
CN109191476B (zh) * | 2018-09-10 | 2022-03-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109493317B (zh) * | 2018-09-25 | 2020-07-07 | 哈尔滨理工大学 | 基于级联卷积神经网络的3d多椎骨分割方法 |
CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
CN109978886B (zh) * | 2019-04-01 | 2021-11-09 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2019
- 2019-04-01 CN CN201910258038.1A patent/CN109978886B/zh active Active
- 2019-09-25 WO PCT/CN2019/107844 patent/WO2020199528A1/zh active Application Filing
- 2019-09-25 SG SG11202106290TA patent/SG11202106290TA/en unknown
- 2019-09-25 JP JP2021539065A patent/JP2022517571A/ja active Pending
- 2019-10-16 TW TW110140808A patent/TWI758233B/zh active
- 2019-10-16 TW TW110140810A patent/TWI758234B/zh active
- 2019-10-16 TW TW108137213A patent/TWI750518B/zh active
-
2021
- 2021-06-23 US US17/356,398 patent/US20210319560A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017158575A1 (en) * | 2016-03-17 | 2017-09-21 | Imagia Cybernetics Inc. | Method and system for processing a task with robustness to missing input information |
WO2018081537A1 (en) * | 2016-10-31 | 2018-05-03 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for image segmentation using controlled feedback |
JP2018147431A (ja) * | 2017-03-09 | 2018-09-20 | コニカミノルタ株式会社 | 画像認識装置及び画像認識方法 |
JP2019036009A (ja) * | 2017-08-10 | 2019-03-07 | 富士通株式会社 | 制御プログラム、制御方法、及び情報処理装置 |
Non-Patent Citations (3)
Title |
---|
JING LIU, ET AL: "Automatic Detection and Segmentation of Mitochondria from SEM", 2018 40TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (E, JPN6022037057, 2018, US, pages 628 - 631, XP033431840, ISSN: 0005029520, DOI: 10.1109/EMBC.2018.8512393 * |
KAIMING HE, ET AL: "Mask R-CNN", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), JPN6022037055, 2017, US, pages 2980 - 2988, XP033283165, ISSN: 0005029518, DOI: 10.1109/ICCV.2017.322 * |
OLAF RONNEBERGER, ET AL: "U-Net: Convolutional Networks for Biomedical Image Segmentation", IN INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION (MICCAI), JPN6022037056, 2015, US, pages 1 - 8, ISSN: 0005029519 * |
Also Published As
Publication number | Publication date |
---|---|
TWI758233B (zh) | 2022-03-11 |
TW202207156A (zh) | 2022-02-16 |
CN109978886B (zh) | 2021-11-09 |
CN109978886A (zh) | 2019-07-05 |
TWI758234B (zh) | 2022-03-11 |
SG11202106290TA (en) | 2021-07-29 |
TW202209343A (zh) | 2022-03-01 |
TWI750518B (zh) | 2021-12-21 |
TW202038188A (zh) | 2020-10-16 |
WO2020199528A1 (zh) | 2020-10-08 |
US20210319560A1 (en) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022517571A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
CN110047078B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN109829920B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP6944051B2 (ja) | キーポイント検出方法及び装置、電子機器並びに記憶媒体 | |
JP6916970B2 (ja) | ビデオ処理方法及び装置、電子機器並びに記憶媒体 | |
CN110569854B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP7262659B2 (ja) | 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体 | |
JP6986167B2 (ja) | 画像生成方法および装置、電子機器並びに記憶媒体 | |
JP2022515722A (ja) | 画像セグメンテーション方法及び装置、電子機器並びに記憶媒体 | |
WO2020088328A1 (zh) | 一种结肠息肉图像的处理方法和装置及系统 | |
JP2022511217A (ja) | 画像処理方法及び装置、電子機器、コンピュータ読取可能記憶媒体及びコンピュータプログラム | |
JP2022530413A (ja) | 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム | |
CN112541928A (zh) | 网络训练方法及装置、图像分割方法及装置和电子设备 | |
JP7096888B2 (ja) | ネットワークモジュール、割り当て方法及び装置、電子機器並びに記憶媒体 | |
JP2022528012A (ja) | 被写界深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム | |
JP2022522551A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
JP2022532330A (ja) | 画像上の位置決めのインタラクティブ表示方法、装置、電子機器及び記憶媒体 | |
CN111724361B (zh) | 实时显示病灶的方法及装置、电子设备和存储介质 | |
JP2022518583A (ja) | ニューラルネットワークトレーニングおよび画像分割方法、装置、機器 | |
JP2022547372A (ja) | 画像処理方法及び装置、電子デバイス、記憶媒体及びプログラム製品 | |
CN111860388A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN115457024A (zh) | 冷冻电镜图像处理方法、装置、电子设备及存储介质 | |
CN111738998A (zh) | 病灶位置动态检测方法及装置、电子设备和存储介质 | |
CN117152128B (zh) | 神经影像的病灶识别方法、装置、电子设备和存储介质 | |
CN113553460A (zh) | 影像检索方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210702 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221206 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230404 |