JP2022533404A - 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム Download PDF

Info

Publication number
JP2022533404A
JP2022533404A JP2021568935A JP2021568935A JP2022533404A JP 2022533404 A JP2022533404 A JP 2022533404A JP 2021568935 A JP2021568935 A JP 2021568935A JP 2021568935 A JP2021568935 A JP 2021568935A JP 2022533404 A JP2022533404 A JP 2022533404A
Authority
JP
Japan
Prior art keywords
image
segmentation
target
feature map
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021568935A
Other languages
English (en)
Inventor
袁▲じん▼
▲趙▼▲亮▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Publication of JP2022533404A publication Critical patent/JP2022533404A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本願は、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関し、前記方法は、処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定することと、前記少なくとも１つの目標画像領域に対して第２分割処理を実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定することと、前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定することとを含む。【選択図】図１

Description

本願は、２０１９年０９月２０日に中国特許局に提出された、出願番号がＣＮ２０１９１０８９５２２７．Ｘである中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本願実施例は、コンピュータ技術分野に関し、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関するが、これらに限定されない。
画像処理の技術分野では、関心領域または目標領域に対する分割が、画像分析及び目標識別の基礎となる。例えば、医用画像では分割することにより、１つまたは複数の臓器または組織間の境界を明確に識別することができる。医用画像の正確な分割は、多くの臨床アプリケーションにとって不可欠である。
本願実施例は、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムを提供する。
本願実施例は画像処理方法を提供し、前記方法は、処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定することと、前記少なくとも１つの目標画像領域に対して第２分割処理を実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定することと、前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定することとを含む。
本願実施例において、画像内の目標画像領域を決定するために、処理される画像を分割し、目標の第１分割結果を決定するために目標画像領域を再分割し、処理される画像の第２分割結果を決定するために第１分割結果を融合して分割することができ、それにより、複数回の分割を介して、処理される画像内の目標の分割結果の精度を向上させることを分かることができる。
本願のいくつかの実施例において、前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定することは、各第１分割結果を融合して、融合結果を取得することと、前記処理される画像に基づき、前記融合結果に対して第３分割処理を実行して、前記処理される画像の第２分割結果を取得することとを含む。
このように、各目標画像領域内の目標の第１分割結果を取得した後、各第１分割結果に対して融合処理を実行して、融合結果を取得することができ、融合結果及び元の処理される画像を融合分割ネットワークに入力してさらに分割処理を実行し、それにより、完全な画像で分割効果を完成させることができるため、分割精度を向上させることができる。
本願のいくつかの実施例において、処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定することは、前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも１つの目標画像領域を決定することとを含む。
本願実施例は、処理される画像の特徴を抽出することができ、その後、特徴マップの分割により、特徴マップ内の複数の目標のバウンディングボックスを取得することができ、それにより、処理される画像内の目標画像領域を決定することができ、目標画像領域を決定することにより、処理される画像の目標のおおよその位置領域を決定することができ、即ち、処理される画像の大まかな分割を実現することができることを分かることができる。
本願のいくつかの実施例において、前記少なくとも１つの目標画像領域に対して第２分割処理をそれぞれ実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定することは、少なくとも１つの目標画像領域に対して特徴抽出を実行して、前記少なくとも１つの目標画像領域の第１特徴マップを取得することと、前記第１特徴マップに対してＮ（Ｎは１より大きいか等しい整数である）レベルのダウンサンプリングを実行して、Ｎレベルの第２特徴マップを取得することと、第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得することと、第Ｎレベルの第３特徴マップを分類して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を取得することとを含む。
このように、目標画像領域の解像を低下させ、処理のデータ量を低減させるために、任意の目標画像領域に対して、畳み込み及びダウンサンプリング処理を実行することにより目標画像領域の特徴を取得する、さらに、各目標画像領域の基で処理することができるため、各目標画像領域の第１分割結果を取得することができ、即ち、各目標画像領域の細かい分割を実現することができる。
本願のいくつかの実施例において、第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得することは、ｉ（ｉは整数である）が１からＮを順次に取るものである場合、アテンションメカニズムに基づいて、第ｉレベルのアップサンプリングを実行して取得した第３特徴マップを第Ｎ－ｉレベルの第２特徴マップに接続して、第ｉレベルの第３特徴マップを取得することを含み、Ｎはダウンサンプリング及びアップサンプリングのレベル数である。
このように、アテンションメカニズムを使用することにより、特徴マップ間のスキップ接続を拡張することができ、特徴マップ間の情報転送をよりよく実現する。
本願のいくつかの実施例において、前記処理される画像は３次元膝画像を含み、前記第２分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも１つを含む。
本願実施例において、膝画像内の大腿骨軟骨画像領域、脛骨軟骨画像領域または膝蓋骨軟骨画像領域を決定するために３次元膝画像を分割し、その後、第１分割結果を決定するために、大腿骨軟骨画像領域、脛骨軟骨画像領域及び膝蓋骨軟骨画像領域を再分割し、膝画像の第２分割結果を決定するために第１分割結果を融合して分割することができ、それにより、それにより、複数回の分割を介して、膝画像内の大腿骨軟骨、脛骨軟骨または膝蓋骨軟骨の分割結果の精度を向上させることを分かることができる。
本願のいくつかの実施例において、前記方法はニューラルネットワークによって実現され、前記方法は、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることをさらに含み、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む。
本願実施例がサンプル画像及びサンプル画像の注釈分割結果に従って画像分割用のニューラルネットワークをトレーニングすることができることを分かることができる。
本願のいくつかの実施例において、前記ニューラルネットワークは、第１分割ネットワーク、少なくとも１つの第２分割ネットワーク及び融合分割ネットワークを含み、前記プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることは、サンプル画像を前記第１分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、各目標に対応する第２分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第１分割結果を出力することと、各サンプル画像領域内の目標の第１分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第２分割結果を出力することと、複数のサンプル画像の第２分割結果及び注釈分割結果に従って、前記第１分割ネットワーク、前記第２分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することとを含む。
このように、第１分割ネットワーク、第２分割ネットワーク及び融合分割ネットワークのトレーニングプロセスを実現して、高精度のニューラルネットワークを取得することができる。
本願実施例は、さらに画像処理装置を提供し、前記装置は、処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定するように構成される第１分割モジュールと、前記少なくとも１つの目標画像領域に対して第２分割処理を実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定するように構成される第２分割モジュールと、前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定するように構成される融合及び分割モジュールとを備える。
本願実施例において、画像内の目標画像領域を決定するために、処理される画像を分割し、目標の第１分割結果を決定するために目標画像領域を再分割し、処理される画像の第２分割結果を決定するために第１分割結果を融合して分割することができ、それにより、複数回の分割を介して、処理される画像内の目標の分割結果の精度を向上させることを分かることができる。
本願のいくつかの実施例において、前記融合及び分割モジュールは、各第１分割結果を融合して、融合結果を取得するように構成される融合サブモジュールと、前記処理される画像に基づき、前記融合結果に対して第３分割処理を実行して、前記処理される画像の第２分割結果を取得するように構成される分割サブモジュールとを備える。
このように、各目標画像領域内の目標の第１分割結果を取得した後、各第１分割結果に対して融合処理を実行して、融合結果を取得し、融合結果及び元の処理される画像を融合分割ネットワークに入力してさらに分割処理を実行することができ、それにより、完全な画像で分割効果を完成させることができるため、分割精度を向上させることができる。
本願のいくつかの実施例において、前記第１分割モジュールは、前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得するように構成される第１抽出サブモジュールと、前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定するように構成される第１分割サブモジュールと、特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも１つの目標画像領域を決定するように構成される決定サブモジュールとを備える。
本願実施例は、処理される画像の特徴を抽出することができ、その後、特徴マップの分割により、特徴マップ内の複数の目標のバウンディングボックスを取得することができ、それにより、処理される画像内の目標画像領域を決定することができ、目標画像領域を決定することにより、処理される画像の目標のおおよその位置領域を決定することができ、即ち、処理される画像の大まかな分割を実現することができることを分かることができる。
本願のいくつかの実施例において、前記第２分割モジュールは、少なくとも１つの目標画像領域に対して特徴抽出を実行して、前記少なくとも１つの目標画像領域の第１特徴マップを取得するように構成される第２抽出サブモジュールと、前記第１特徴マップに対してＮ（Ｎは１より大きいか等しい整数である）レベルのダウンサンプリングを実行して、Ｎレベルの第２特徴マップを取得するように構成されるダウンサンプリングサブモジュールと、第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得するように構成されるアップサンプリングサブモジュールと、第Ｎレベルの第３特徴マップを分類して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を取得するように構成される分類サブモジュールとを備える。
このように、目標画像領域の解像を低下させ、処理のデータ量を低減させるために、任意の目標画像領域に対して、畳み込み及びダウンサンプリング処理を実行することにより目標画像領域の特徴を取得する、さらに、各目標画像領域の基で処理することができるため、各目標画像領域の第１分割結果を取得することができ、即ち、各目標画像領域の細かい分割を実現することができる。
本願のいくつかの実施例において、前記アップサンプリングサブモジュールは、ｉ（ｉは整数である）が１からＮを順次に取るものである場合、アテンションメカニズムに基づいて、第ｉレベルのアップサンプリングを実行して取得した第３特徴マップを第Ｎ－ｉレベルの第２特徴マップに接続して、第ｉレベルの第３特徴マップを取得するように構成される接続サブモジュールを備え、Ｎはダウンサンプリング及びアップサンプリングのレベル数である。
このように、アテンションメカニズムを使用することにより、特徴マップ間のスキップ接続を拡張することができ、特徴マップ間の情報転送をよりよく実現する。
本願のいくつかの実施例において、前記処理される画像は３次元膝画像を含み、前記第２分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも１つを含む。
本願実施例において、膝画像内の大腿骨軟骨画像領域、脛骨軟骨画像領域または膝蓋骨軟骨画像領域を決定するために３次元膝画像を分割し、その後、第１分割結果を決定するために、大腿骨軟骨画像領域、脛骨軟骨画像領域及び膝蓋骨軟骨画像領域を再分割し、膝画像の第２分割結果を決定するために第１分割結果を融合して分割することができ、それにより、それにより、複数回の分割を介して、膝画像内の大腿骨軟骨、脛骨軟骨または膝蓋骨軟骨の分割結果の精度を向上させることを分かることができる。
本願のいくつかの実施例において、前記装置はニューラルネットワークによって実現され、前記装置は、さらに、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするように構成されるトレーニングモジュールを備え、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む。
本願実施例がサンプル画像及びサンプル画像の注釈分割結果に従って画像分割用のニューラルネットワークをトレーニングすることができることを分かることができる。
本願のいくつかの実施例において、前記ニューラルネットワークは、第１分割ネットワーク、少なくとも１つの第２分割ネットワーク及び融合分割ネットワークを含み、前記トレーニングモジュールは、サンプル画像を前記第１分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力するように構成される領域決定サブモジュールと、各目標に対応する第２分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第１分割結果を出力するように構成される第２分割サブモジュールと、各サンプル画像領域内の目標の第１分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第２分割結果を出力するように構成される第３分割サブモジュールと、複数のサンプル画像の第２分割結果及び注釈分割結果に従って、前記第１分割ネットワーク、前記第２分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールとを備える。
このように、第１分割ネットワーク、第２分割ネットワーク及び融合分割ネットワークのトレーニングプロセスを実現して、高精度のニューラルネットワークを取得することができる。
本願実施例は、さらに電子機器を提供し、前記電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは、前記メモリによって記憶された命令を呼び出して、上記のいずれか１つの画像処理方法を実行するように構成される。
本願実施例は、さらにコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行されると、上記のいずれか１つの画像処理方法が実現される。
本願実施例は、さらにコンピュータプログラムを提供し、前記コンピュータプログラムはコンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器によって実行されるときに、前記電子機器におけるプロセッサは、上記のいずれか１つの画像処理方法を実行する。
本願実施例において、画像内の目標画像領域を決定するために、処理される画像を分割し、目標の第１分割結果を決定するために目標画像領域を再分割し、処理される画像の第２分割結果を決定するために第１分割結果を融合して分割することができ、それにより、複数回の分割を介して、処理される画像内の目標の分割結果の精度を向上させる。
上記した一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本願を限定するものではないことを理解されたい。以下、図面を参照した例示的な実施例にに対する詳細な説明によれば、本願の他の特徴および態様は明らかになる。
ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本願と一致する実施例を示し、明細書とともに本願実施例の技術的解決策を説明するために使用される。
本願実施例で提供する画像処理方法の例示的なフローチャートである。 本願実施例で提供する３次元核磁気共鳴膝関節データの矢状スライスの概略図である。 本願実施例で提供する３次元核磁気共鳴膝関節データの冠状スライスの概略図である。 本願実施例で提供する３次元核磁気共鳴膝関節画像の軟骨形状の概略図である。 本願実施例で提供する、画像処理方法を実現するためのネットワークのアーキテクチャの概略図である。 本願実施例で提供する第１分割処理の概略図である。 本願実施例における、第１分割処理後の後続の分割プロセスの概略図である。 本願実施例で提供する特徴マップ接続の概略図である。 本願実施例で提供する特徴マップ接続の別の概略図である。 本願実施例で提供する画像処理装置の概略的な構造図である。 本願実施例で提供する電子機器の概略的な構造図である。 本願実施例で提供する別の電子機器の概略的な構造図である。
以下、本願の様々な例示的な実施例、特徴および態様を、図面を参照して詳細に説明する。図面における同じ参照番号は、同じまたは類似の機能の要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。
ここで、排他的に使用される「例示的」は、「例、実施例または説明として使用される」ことを意図する。ここで、「例示的」として使用されるいずれかの実施例は、他の実施例より適切または優れると解釈する必要はない。
本明細書における「および／または」という用語は、関連付けられたオブジェクトを説明する単なる関連付けであり、３種類の関係が存在することができることを示し、例えば、Ａおよび／またはＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合など３つの場合を表す。さらに、本明細書における「少なくとも１つ」という用語は、複数のうちの１つまたは複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、ＢおよびＣで構成されたセットから選択された任意の１つまたは複数の要素を含むことを示す。
さらに、本願をよりよく説明するために、以下の具体的な実施形態において多くの特定の詳細が与えられる。当業者は、特定のいくつかの詳細なしに、本願を同様に実施することができることを理解するはずである。いくつかの具現例において、当業者に周知の方法、手段、要素および回路は、本願の要旨を強調するために、詳細に説明しない。
関節炎は変形性関節症であり、手関節、股関節及び膝関節に発生しやすく、膝関節が発生する可能性が最も高い。したがって、関節炎に対する臨床分析と診断を行う必要があり、膝関節領域は、関節骨、軟骨及び半月板などの重要な組織で構成される。これらの組織は複雑な構造を持っており、これらの組織の画像のコントラストは高くない場合がある。しかしながら、膝関節軟骨は非常に複雑な組織構造及び不明確な組織境界を持っているため、膝関節軟骨の正確な分割をどのように実現するかが、緊急に解決する必要がある技術的な問題である。
関連技術では、様々な方法を使用して膝関節構造を評価することができ、最初の例において、膝関節の磁気共鳴検査（ＭＲ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）データを取得することができ、膝関節のＭＲデータに基づいて軟骨形態学的結果（軟骨の厚さ、軟骨の表面積など）を取得し、軟骨形態学的結果は膝関節炎の症状及び構造的重症度を決定するのに役たつ。２番目の例において、軟骨マスク間の幾何学的関係の進化に基づく半定量的評点方法によって、磁気共鳴骨関節炎の膝関節評点（ＭＯＡＫＳ：ＭＲＩ Ｏｓｔｅｏａｒｔｈｒｉｔｉｓ Ｋｎｅｅ Ｓｃｏｒｅ）を研究することができる。３番目の例において、３次元軟骨タグは膝関節の広範な定量的測定の潜在的な標準でもであり、膝関節軟骨マーカは、関節腔が狭くなった幅及び導出された距離マップを計算するのに役たつため、膝関節炎の構造変化を評価するための参照と見なされる。
上記に記載の適用シナリオに基づき、本願実施例は画像処理方法を提案し、図１は、本願実施例で提供する画像処理方法の例示的なフローチャートであり、図１に示されたように、前記画像処理方法は、次のステップを含む。
ステップＳ１１において、処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定する。
ステップＳ１２において、前記少なくとも１つの目標画像領域に対して第２分割処理をそれぞれ実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定する。
ステップＳ１３において、前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定する。
本願のいくつかの実施例において、前記画像処理方法は画像処理装置によって実行され、画像処理装置は、ユーザ機器（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよく、前記方法は、プロセッサがメモリに記憶されたコンピュータ読み取り可能な命令を呼び出す方式により実現されることができる。または、サーバを介して当該方法を実行することができる。
本願のいくつかの実施例において、処理される画像は、３次元膝画像などの３次元画像データであってもよく、３次元膝画像は、膝断面方向の複数のスライス画像を含み得る。処理される画像内の目標は膝軟骨を含み得、膝軟骨は、大腿骨軟骨（ＦＣ：Ｆｅｍｏｒａｌ Ｃａｒｔｉｌａｇｅ）、脛骨軟骨（ＴＣ：Ｔｉｂｉａｌ Ｃａｒｔｉｌａｇｅ）及び膝蓋骨軟骨（ＰＣ：Ｐａｔｅｌｌａｒ Ｃａｒｔｉｌａｇｅ）のうちの少なくとも１つを含み得る。画像収集機器を介して、測定対象（患者など）の膝領域をスキャンして、処理される画像を取得し、画像収集機器は、電子コンピュータ断層スキャン（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）機器、ＭＲ機器などであってもよい。処理される画像は、他の領域または他のタイプの画像であってもよいことを理解されたい。本願は、処理される画像領域、タイプ及び具体的な取得方式に対して限定しない。
図２ａは、本願実施例で提供する３次元核磁気共鳴膝関節データの矢状スライスの概略図であり、図２ｂは、本願実施例で提供する３次元核磁気共鳴膝関節データの冠状スライスの概略図であり、図２ｃは、本願実施例で提供する３次元核磁気共鳴膝関節画像の軟骨形状の概略図である。図２ａ、図２ｂ及び図２ｃに示されたように、膝領域は、大腿骨（（ＦＢ：Ｆｅｍｏｒａｌ Ｂｏｎｅ）、脛骨（ＴＢ：Ｔｉｂｉａｌ Ｂｏｎｅ）及び膝蓋骨（ＰＢ：Ｐａｔｅｌｌａｒ Ｂｏｎｅ）を含み、ＦＣ、ＴＣ及びＰＣは、ＦＢ、ＴＢ及びＰＢを覆い、膝関節に接続する。
本願のいくつかの実施例において、幅の範囲及び薄い軟骨構造をキャプチャするために、膝関節炎をさらに評価し、通常、ビックサイズ（数百万のボクセル）及び高解像度で磁気共鳴データをスキャンし、例えば、図２ａ、図２ｂ及び図２ｃのそれぞれは、共有骨関節炎イニシアティブ（ＯＡＩ：Ｏｓｔｅｏａｒｔｈｒｉｔｉｓ Ｉｎｉｔｉａｔｉｖｅ）データベースの３次元磁気共鳴膝関節データであり、解像度は０．３６５ｍｍ×０．３６５ｍｍ×０．７ｍｍであり、ピクセルサイズは３８４×３８４×１６０である。上記の図２ａ、図２ｂ及図２ｃに示された高ピクセル解像度を有する３次元磁気共鳴データは、臓器の形状、構造及び強度に関する情報を詳細に表示する、ピクセルサイズの大きい３次元磁気共鳴膝関節データは、膝関節領域内の全ての主要な軟骨及び半月板組織をキャプチャするのに役たち、３次元の処理及び臨床測定分析に便利である。
本願のいくつかの実施例において、処理される画像内の目標（膝領域の各軟骨など）の位置を決めるように、処理される画像に対して第１分割処理を実行することができる。処理される画像に対して第１分割処理を実行する前に、処理される画像の物理的空間（Ｓｐａｃｉｎｇ）の解像度及びピクセル値の値の範囲などを融合させるなど、処理される画像に対して前処理することができる。当該方式により、画像サイズの均一化、ネットワーク収束の加速などの効果を実現することができる。本願は、前処理の具体的な内容及び処理方式に対して限定しない。
本願のいくつかの実施例において、ステップＳ１１において、３次元の処理される画像に対して第１分割（即ち、大まかな分割）処理を実行して、処理される画像における、３次元バウンディングボックスによって限定された関心領域（ＲＯＩ）の位置を決定することができるため、３次元バウンディングボックスに従って、処理される画像から少なくとも１つの目標画像領域をインターセプトする。処理される画像から複数の目標画像領域を切り取った場合に応答して、各目標画像領域は異なるタイプの目標に応答することができ、例えば、目標が膝軟骨である場合、各目標画像領域は、それぞれ大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨の画像領域に対応することができる。本願は、目標の具体的なタイプに対して限定しない。
本願のいくつかの実施例において、第１分割ネットワークを介して、処理される画像に対して第１分割を実行することができ、第１分割ネットワークは、例えば、ＶＮｅｔのエンコーディング－デコーディング構造（即ち、マルチレベルのダウンサンプリング＋マルチレベルのアップサンプリング）、または高速の領域畳み込みニューラルネットワーク（Ｆａｓｔ ＲＣＮＮ：Ｆａｓｔ Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを使用して、３次元バウンディングボックスを検出することができ、本願は第１分割ネットワークのネットワーク構造に対して限定しない。
本願のいくつかの実施例において、処理される画像内の少なくとも１つの目標画像領域を取得した後、ステップＳ１２において、少なくとも１つの目標画像領域に対して第２分割（即ち、細かい分割）処理を実行して、少なくとも１つの目標画像領域内の目標の第１分割結果を取得することができる。各目標に対応する第２分割ネットワークを介して各目標画像領域をそれぞれ分割することにより、各目標画像領域の第１分割結果を取得することができる。例えば、目標が膝軟骨（大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨を含む）である場合、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨にそれぞれ対応する３つの第２分割ネットワークを設定することができる。各第２分割ネットワークは、例えば、ＶＮｅｔのエンコーディング－デコーディング構造を使用することができ、本願は各第２分割ネットワークの具体的なネットワーク構造に対して限定しない。
本願のいくつかの実施例において、複数の第１分割結果を決定した場合、ステップＳ１３において、各目標画像領域の第１分割結果を融合して、融合結果を取得し、また、処理される画像に基づき、融合結果に対して第３分割処理を実行して、処理される画像内の目標の第２分割結果を取得することができる。このように、複数の目標融合の全体的な結果に基づいて更なる分割処理を実行することができるため、分割精度を向上させることができる。
本願実施例の画像処理方法に基づき、画像内の目標画像領域を決定するために、処理される画像を分割し、目標の第１分割結果を決定するために目標画像領域を再分割し、処理される画像の第２分割結果を決定するために第１分割結果を融合して分割することができ、それにより、複数回の分割を介して、処理される画像内の目標の分割結果の精度を向上させる。
図３は、本願実施例で提供する、画像処理方法を実現するためのネットワークのアーキテクチャの概略図であり、図３に示されたように、処理される画像が３Ｄ膝画像３１であることを例に挙げて本発明の適用シナリオを説明する。３Ｄ膝画像３１は上記の処理される画像であり、３Ｄ膝画像３１を画像処理装置３０に入力することができ、画像処理装置３０は、上記の実施例に記載の画像処理方法に基づき３Ｄ膝画像３１を処理して、膝軟骨分割結果３５を生成して出力することができる。
本願のいくつかの実施例において、３Ｄ膝画像３１を第１分割ネットワーク３２に入力して大まかな軟骨分割を実行して、各膝軟骨の関心領域（ＲＯＩ）の３次元バウンディングボックスを取得し、３Ｄ膝画像３１から各膝軟骨の画像領域をインターセプトすることができ、前記各膝軟骨の画像領域は、ＦＣ、ＴＣ及びＰＣの画像領域を含む。
本願のいくつかの実施例では、各膝軟骨の画像領域を対応する第２分割ネットワーク３３にそれぞれ入力して細かい軟骨分割を実行して、各膝軟骨の細かい分割結果、即ち、各膝軟骨の正確な位置を取得することができる。その後、各膝軟骨の細かい分割結果を融合して重ね合わせ、融合結果及び膝画像を両方とも融合分割ネットワーク３４に入力して処理して、最終的な膝軟骨分割結果３５を取得し、ここで、融合分割ネットワーク３４は、３Ｄ膝画像に従って融合結果に対して第３分割処理を実行するために使用される。大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨の分割結果の融合に基づき、膝画像に基づいて更なる分割処理を実行することができるため、膝軟骨の正確な分割を実現することができることを分かることができる。
本願のいくつかの実施例において、ステップＳ１１において、処理される画像に対して大まかな分割を実行することができる。ステップＳ１１は、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、
特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも１つの目標画像領域を決定することとを含み得る。
例えば、処理される画像は、高解像度の３次元画像データであってもよい。降低処理される画像の解像度を低下させ、処理するデータ量を低減させるために、第１分割ネットワークの畳み込み層またはダウンサンプリング層を介して処理される画像の特徴を抽出することができる。その後、第１分割ネットワークの第１分割サブネットワークを介して、取得した特徴マップを分割して、特徴マップ内の複数の目標のバウンディングボックスを取得することができ、当該第１分割サブネットワークは、複数のダウンサンプリング層及び複数のアップサンプリング層（または複数の畳み込み層－逆畳み込み層）、複数の残差層、活性層、正規化層などを含み得る。本願は、第１分割サブネットワークの具体的な構造に対して限定しない。
本願のいくつかの実施例において、各目標のバウンディングボックスに従って、元の処理される画像から、処理される画像における各目標の画像領域を分割して、少なくとも１つの目標画像領域を取得することができる。
図４は、本願実施例で提供する第１分割処理の概略図であり、図４に示されたように、第１分割ネットワークの畳み込み層またはダウンサンプリング層（未図示）を介して、高解像度の処理される画像４１に対して特徴抽出を実行して、特徴マップ４２を取得することができる。例えば、処理される画像４１の解像度は０．３６５ｍｍ×０．３６５ｍｍ×０．７ｍｍであり、ピクセルサイズは３８４×３８４×１６０であり、処理された後、特徴マップ４２の解像度は０．７３ｍｍ×０．７３ｍｍ×０．７ｍｍであり、ピクセルサイズは１９２×１９２×１６０である。このように、処理するデータ量を低減することができる。
本願のいくつかの実施例において、第１分割サブネットワーク４３を介して特徴マップを分割することができ、当該第１分割サブネットワーク４３はエンコーディング－デコーディング構造であり、異なる規模の特徴マップを取得するために、エンコーディング部分は、３つの残差ブロック及びダウンサンプリング層を含み、例えば、取得した各特徴マップのチャネル数は８、１６、３２であり、チャネル数が４である特徴マップに復元するなど、特徴マップの規模を元の入力のサイズに復元するために、デコーディング部分は、３つの残差ブロック及びアップサンプリング層を含む。ここで、残差ブロックは、複数の畳み込み層、全結合層などを含み得、残差ブロック内の畳み込み層のフィルタ（ｆｉｌｔｅｒ）サイズは３であり、ステップサイズは１であり、ゼロパディングする。ダウンサンプリング層は、フィルタフィルタサイズが２であり、ステップサイズが２である畳み込み層を含み、アップサンプリング層は、フィルタサイズが２であり、ステップサイズが２である逆畳み込み層を含む。本願は、残差ブロックの構造、アップサンプリング層及びダウンサンプリング層の数及びフィルタパラメータに対して限定しない。
本願のいくつかの実施例において、チャネル数が４である特徴マップ４２をエンコーディング部分の最初の残差ブロックに入力し、出力した残差結果をダウンサンプリング層に入力して、チャネル数が８である特徴マップを取得することができ、また、当該チャネル数が８である特徴マップを次の残差ブロックに入力し、出力した残差結果を次のダウンサンプリング層に入力して、チャネル数が１６である特徴マップを取得し、これによって類推すれば、チャネル数が３２である特徴マップを取得することができる。その後、チャネル数が３２である特徴マップをデコーディング部分の最初の残差ブロックに入力し、出力された残差結果をアップサンプリング層に入力して、チャネル数が１６である特徴マップを取得し、これによって類推すれば、チャネル数が４である特徴マップを取得することができる。
本願のいくつかの実施例において、第１分割サブネットワーク４３の活性層（ＰＲｅＬＵ）及びバッチ正規化層を介して、当該チャネル数が４である特徴マップを活性化及びバッチ正規化し、正規化後の特徴マップ４４を出力することができ、特徴マップ４４内の複数の目標のバウンディングボックスを決定することができ、図４の３つの点線ボックスを参照されたい。これらのバウンディングボックスによって限定された領域は、即ち目標のＲＯＩである。
本願のいくつかの実施例において、複数の目標のバウンディングボックスに基づき、処理される画像４１をインターセプトして、バウンディングボックスによって限定された目標画像領域（図４のＦＣ画像領域４５１、ＴＣ画像領域４５２及びＰＣ画像領域４５３を参照）を取得することができる。各目標画像領域の解像度と処理される画像４１の解像度が同じであり、それにより、画像内の情報の損失を防ぐ。
図４に示された画像分割方式を通じて、処理される画像内の目標画像領域を決定することができ、処理される画像の大まかな分割を実現することを分かることができる。
本願のいくつかの実施例において、ステップＳ１２において、処理される画像の各目標画像領域のそれぞれに対して細かい分割を実行することができる。ここで、ステップＳ１２は、
少なくとも１つの目標画像領域に対して特徴抽出を実行して、前記少なくとも１つの目標画像領域の第１特徴マップを取得することと、
前記第１特徴マップに対してＮ（Ｎは１より大きいか等しい整数である）レベルのダウンサンプリングを実行して、Ｎレベルの第２特徴マップを取得することと、
第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得することと、
第Ｎレベルの第３特徴マップを分類して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を取得することと、を含み得る。
例えば、複数の目標画像領域がある場合、各目標画像領域に対応する目標のタイプに基づき、対応する各第２分割ネットワークを介して各目標画像領域に対して細かい分割を実行することができる。例えば、目標が膝軟骨である場合、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨にそれぞれ対応する３つの第２分割ネットワークを設定することができる。
目標画像領域の解像度を低下させ、処理するデータ量を低減させるために、このように、任意の目標画像領域に対して、対応する第２分割ネットワークの畳み込み層またはダウンサンプリング層を介して目標画像領域の特徴を抽出することができる。処理後、チャネル数が４である特徴マップなど、当該目標画像領域の第１特徴マップを取得する。
本願のいくつかの実施例において、対応する第２分割ネットワークのＮ个ダウンサンプリング層（Ｎは１より大きいか等しい整数である）を介して、第１特徴マップに対してＮレベルダウンサンプリングを実行して、特徴マップの規模を順次に低下させて、チャネル数が８、１６、３２である３つのレベルの第２特徴マップなど、各レベルの第２特徴マップを取得することができ、Ｎ個のアップサンプリング層を介して、第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、特徴マップの規模を順次に復元して、チャネル数が１６、８、４である３つのレベルの第３特徴マップなど、各レベルの第３特徴マップを取得することができる。
本願のいくつかの実施例において、第２分割ネットワークのｓｉｇｍｏｉｄ層を介して第Ｎレベルの第３特徴マップを活性化させ、第Ｎレベルの第３特徴マップをシングルチャネルに縮小することができ、それによって、当該第Ｎレベルの第３特徴マップにおける目標に属する位置（例えば、前景領域と呼ばれる）と目標に属しない位置（例えば、背景領域と呼ばれる）の分類を実現する。例えば、前景領域内の特徴点の値は１に近く、背景領域内の特徴点の値は０に近い。このように、当該目標画像領域内の目標の第１分割結果を取得することができる。
当該方式を通じて、各目標画像領域をそれぞれ処理して、各目標画像領域の第１分割結果を取得することができ、各目標画像領域の細かい分割を実現する。
図５は、本願実施例における、第１分割処理後の後続の分割プロセスの概略図であり、図５に示されたように、ＦＣの第２分割ネットワーク５１１、ＴＣの第２分割ネットワーク５１２及びＰＣの第２分割ネットワーク５１３が設定されることができる。各第２分割ネットワークの畳み込み層またはダウンサンプリング層（未図示）を介して、高解像度の各目標画像領域（即ち、図５のＦＣ画像領域４５１、ＴＣ画像領域４５２及びＰＣ画像領域４５３）に対して特徴抽出を実行して、各第１特徴マップ、即ち、ＦＣ、ＴＣ及ＰＣの第１特徴マップを取得する。その後、各第１特徴マップを対応する第２分割ネットワークのエンコーディング－デコーディング構造に入力して分割する。
本願実施例において、取得した各第２特徴マップのチャネル数が８、１６であるなど、異なる規模の第２特徴マップを取得するために、各第２分割ネットワークのエンコーディング部分は、２つの残差ブロック及びダウンサンプリング層を含み、チャネル数が４である第３特徴マップに復元するなど、特徴マップの規模を元の入力のサイズに復元するために、各第２分割ネットワークのデコーディング部分は、２つの残差ブロック及びアップサンプリング層を含む。ここで、残差ブロックは、複数の畳み込み層、全結合層などを含み得、残差ブロック内の畳み込み層のフィルタ（ｆｉｌｔｅｒ）サイズは３であり、ステップサイズは１であり、ゼロパディングする。ダウンサンプリング層は、フィルタフィルタサイズが２であり、ステップサイズが２である畳み込み層を含み、アップサンプリング層は、フィルタサイズが２であり、ステップサイズが２である逆畳み込み層を含む。このように、の受容野のバランスをとることができ、グラフィックプロセッサ（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のメモリ消費を減らすことができ、例えば、メモリリソースが限られた（例えば、１２ＧＢである）ＧＰＵに基づいて本願実施例の画像処理方法を実現することができる。
当業者は、実際の状況に応じて、第２分割ネットワークのエンコーディング－デコーディング構造を設定することができることを理解されたい。本願は、第２分割ネットワークの残差ブロックの構造、アップサンプリング層及びダウンサンプリング層の数及びフィルタパラメータに対して限定しない。
本願のいくつかの実施例において、チャネル数が４である第１特徴マップをエンコーディング部分の最初の残差ブロックに入力し、出力した残差結果をダウンサンプリング層に入力して、チャネル数が８である最初のレベルの第２特徴マップを取得することができ、また、当該チャネル数が８である特徴マップを次の残差ブロックに入力し、出力した残差結果を次のダウンサンプリング層に入力して、チャネル数が１６である第２レベルの第２特徴マップを取得することができる。そして、チャネル数が１６である第２レベルの第２特徴マップをデコーディング部分の最初の残差ブロックに入力し、出力した残差結果をアップサンプリング層に入力して、チャネル数が８である最初のレベルの第３特徴マップを取得することができ、また、当該チャネル数が８である特徴マップを次の残差ブロックに入力し、出力した残差結果を次のアップサンプリング層に入力して、チャネル数が４である第２レベルの第３特徴マップを取得することができる。
本願のいくつかの実施例において、各第２分割ネットワークのｓｉｇｍｏｉｄ層は、チャネル数が４である第２レベルの第３特徴マップをシングルチャネルに縮小し、それにより、各目標画像領域内の目標の第１分割結果、即ち、図５のＦＣ分割結果５２１、ＴＣ分割結果５２２及びＰＣ分割結果５２３を取得することができる。
本願のいくつかの実施例において、第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得するステップは、
ｉ（ｉは整数である）が１からＮを順次に取るものである場合、アテンションメカニズムに基づいて、第ｉレベルのアップサンプリングを実行して取得した第３特徴マップを第Ｎ－ｉレベルの第２特徴マップに接続して（即ち、スキップ接続する）、第ｉレベルの第３特徴マップを取得することを含み得、Ｎはダウンサンプリング及びアップサンプリングのレベル数である。
例えば、分割処理の効果を向上させるために、アテンションメカニズムを使用して特徴マップ間のスキップ接続を拡張することができ、それによって、特徴マップ間の情報転送をよりよく実現する。第ｉレベルのアップサンプリングによって取得された第３特徴マップ（１≦ｉ≦Ｎ）にとって、それ自体を対応する第Ｎ－ｉレベルの第２特徴マップに接続して、接続結果を第ｉレベルの第３特徴マップとして使用することができ、ｉ＝Ｎである場合、第Ｎレベルのアップサンプリングすることによって取得された特徴マップを第１特徴マップ接続に接続することができる。本願は、Ｎの値に対して限定しない。
図６は、本願実施例で提供する特徴マップ接続の概略図であり、図６に示されたように、ダウンサンプリング及びアップサンプリングのレベル数Ｎ＝５である場合に、第１特徴マップ６１（チャネル数は４である）をダウンサンプリングして、第１レベルの第２特徴マップ６２１（チャネル数は８である）を取得することができ、各レベルのダウンサンプリングを介して、第５レベルの第２特徴マップ６２２（チャネル数は１２８である）を取得することができる。
本願のいくつかの実施例において、第２特徴マップ６２２に対して５レベルのアップサンプリングを実行して、各第３特徴マップを取得することができる。アップサンプリングのレベル数ｉ＝１である場合、第１レベルのアップサンプリングによって取得された第３特徴マップは第４レベルの第２特徴マップ（チャネル数は６４である）に接続して、第１レベルの第３特徴マップ６３１（チャネル数は６４である）を取得することができ、同様に、ｉ＝２である場合、第２レベルのアップサンプリングによって取得された第３特徴マップは第３レベルの第２特徴マップ（チャネル数は３２である）に接続することができ、ｉ＝３である場合、第３レベルのアップサンプリングによって取得された第３特徴マップは第２レベルの第２特徴マップ（チャネル数は１６）に接続することができ、ｉ＝４である場合、第４レベルのアップサンプリングによって取得された第３特徴マップは第１レベルの第２特徴マップ（チャネル数は８である）に接続することができ、ｉ＝５である場合、第５レベルのアップサンプリングによって取得された第３特徴マップは第１特徴マップ（チャネル数は４である）に接続して、第５レベルの第３特徴マップ６３２を取得することができる。
図５に示されたように、ダウンサンプリング及びアップサンプリングのレベル数Ｎ＝２である場合、第１レベルのアップサンプリングによって取得された第３特徴マップ（チャネル数は８である）は、チャネル数が８である第１レベルの第２特徴マップに接続することができ、第２レベルのアップサンプリングによって取得された第３特徴マップ（チャネル数は４である）は、チャネル数が４である第１特徴マップに接続することができる。
図７は、本願実施例で提供する特徴マップ接続の別の概略図であり、図７に示されたように、任意の第２分割ネットワークにおいて、当該第２分割ネットワークの第２レベルの第２特徴マップ（チャネル数は１６である）は
Figure 2022533404000002
として示され、当該第２特徴マップに対して第１レベルのアップサンプリングを実行することによって取得された第３特徴マップ（チャネル数は８である）は
Figure 2022533404000003
として示され、第１レベルの第２特徴マップ（チャネル数は８である）は
Figure 2022533404000004
として示され、アテンションメカニズムに基づいて、
Figure 2022533404000005
により、第１レベルのアップサンプリングによって取得された第３特徴マップ
Figure 2022533404000006
と第１レベルの第２特徴マップ
Figure 2022533404000007
を接続（図７の点線の円の部分に対応する）して、接続後の第１レベルの第３特徴マップを取得することができる。ここで、
Figure 2022533404000008
はチャネル次元に沿った接続を示し、
Figure 2022533404000009
は第１レベルの第２特徴マップ
Figure 2022533404000010
の注意力の重みを示し、
Figure 2022533404000011
は要素ごとの乗算を示す。ここで、
Figure 2022533404000012
は式（１）で示すことができる。
式（１）として、
Figure 2022533404000013
である。
式（１）において、
Figure 2022533404000014
は、それぞれ、
Figure 2022533404000015
を畳み込むことを示し、例えば、畳み込みのフィルタサイズは１であり、ステップサイズは１である。
Figure 2022533404000016
は、畳み込み後の足し算結果を活性化することを示し、活性化関数は、例えば、ＲｅＬＵ活性化関数である。ｍは活性化結果を畳み込むことを示し、例えば、畳み込みのフィルタサイズは１であり、ステップサイズは１である。
このように、本願実施例によれば、アテンションメカニズムを使用することにより、特徴マップ間の情報転送をよりよく実現し、目標画像領域の分割効果を改善し、多重解像度コンテキストを使用して細部をキャプチャすることができる。
本願のいくつかの実施例において、ステップＳ１３は、各第１分割結果を融合して、融合結果を取得することと、前記処理される画像に従って、前記融合結果に対して第３分割を実行して、前記処理される画像の第２分割結果を取得することとを含み得る。
例えば、各目標画像領域内の目標の第１分割結果を取得した後、各第１分割結果に対して融合処理を実行して、融合結果を取得し、融合結果及び元の処理される画像を融合分割ネットワークに入力してさらに分割処理を実行するすることができ、それにより、完全な画像で分割効果を完成させることができる。
図５に示されたように、大腿骨軟骨ＦＣ分割結果５２１、脛骨軟骨ＴＣ分割結果５２２及膝蓋骨軟骨ＰＣ分割結果５２３を融合して、融合結果５３を取得することができる。当該融合結果５３は背景チャネルを除外して、３種類の軟骨のチャネルのみを保留する。
図５に示されたように、融合分割ネットワーク５４が設けられ、当該融合分割ネットワーク５４は、エンコーディング－デコーディング構造のニューラルネットワークである。融合結果５３（３つの軟骨チャネルを含む）及び元の処理される画像４１（１つのチャネルを含む）を４つのチャネルの画像データとして使用し、それらを融合分割ネットワーク５４に入力して処理することができる。
本願のいくつかの実施例において、融合分割ネットワーク５４のエンコーディング部分は、１つの残差ブロック及ダウンサンプリング層を含み、デコーディング部分は１つの残差ブロック及びアップサンプリング層を含む。ここで、残差ブロックは、複数の畳み込み層、全結合層などを含み得、残差ブロック内の畳み込み層のフィルタ（ｆｉｌｔｅｒ）サイズは３であり、ステップサイズは１であり、ゼロパディングする。ダウンサンプリング層は、フィルタフィルタサイズが２であり、ステップサイズが２である畳み込み層を含み、アップサンプリング層は、フィルタサイズが２であり、ステップサイズが２である逆畳み込み層を含む。本願は、残差ブロックの構造、アップサンプリング層及びダウンサンプリング層のフィルタパラメータ、及び残差ブロック、アップサンプリング層及びダウンサンプリング層の数の全てに対して限定しない。
本願のいくつかの実施例において、４つのチャネルの画像データをエンコーディング部分の残差ブロックに入力して、出力された残差結果をダウンサンプリング層に入力して、チャネル数が８である特徴マップを取得し、チャネル数が８である特徴マップをデコーディング部分の残差ブロックに入力して、出力された残差結果をアップサンプリング層に入力して、チャネル数が４である特徴マップを取得し、その後、チャネル数が４である特徴マップを活性化して、シングルチャネルの特徴マップを取得することができ、最終的な第２分割結果５５として使用する。
当該方式により、完全な軟骨構造から分割効果をさらに改善することができる。
本願のいくつかの実施例において、本願実施例の画像処理方法はニューラルネットワークによって実現されることができ、ニューラルネットワークは、少なくとも、第１分割ネットワーク、少なくとも１つの第２分割ネットワーク及び融合分割ネットワークを含む。当該ニューラルネットワークを適用する前に、当該ニューラルネットワークをトレーニングすることができる。
ここで、当該ニューラルネットワークをトレーニングする方法は、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることを含み得、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む。
例えば、トレーニングセットを事前に設定して、本願実施例に係るニューラルネットワークをトレーニングすることができる。当該トレーニングセットは、複数のサンプル画像（即ち、３次元膝画像）を含み得、サンプル画像内の各膝軟骨（即ち、ＦＣ、ＴＣ及びＰＣ）の位置を注釈して、各サンプル画像の注釈分割結果として使用する。
トレーニングプロセスにおいて、サンプル画像をニューラルネットワークに入力して処理して、サンプル画像の第２分割結果を出力し、サンプル画像の第２分割結果及び注釈分割結果に従ってニューラルネットワークのネットワーク損失を決定し、ネットワーク損失に従ってニューラルネットワークのネットワークパラメータを調整することができる。複数回の調整後、プリセット条件（例えば、ネットワーク収束）を満たす場合、トレーニング後のニューラルネットワークを取得することができる。
本願実施例がサンプル画像及びサンプル画像の注釈分割結果に従って画像分割用のニューラルネットワークをトレーニングすることができることを分かることができる。
本願のいくつかの実施例において、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするステップは、
サンプル画像を前記第１分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、
各目標に対応する第２分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第１分割結果を出力することと、
各サンプル画像領域内の目標の第１分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第２分割結果を出力することと、
複数のサンプル画像の第２分割結果及び注釈分割結果に従って、前記第１分割ネットワーク、前記第２分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することとを含み得る。
例えば、サンプル画像を第１分割ネットワークに入力して大まかな分割を実行して、サンプル画像内の目標のサンプル画像領域、即ち、ＦＣ、ＴＣ及ＰＣの画像領域を取得し、各目標に対応する第２分割ネットワークに各サンプル画像領域をそれぞれ入力して細かい分割を実行して、各サンプル画像領域内の目標の第１分割結果を取得し、また、各第１分割結果を融合し、取得された融合結果及びサンプル画像を融合分割ネットワークに同時に入力して、完全な軟骨構造から分割効果をさらに改善して、サンプル画像内の目標の第２分割結果を取得することができる。
本願のいくつかの実施例において、複数のサンプル画像をそれぞれニューラルネットワークに入力して処理して、複数のサンプル画像の第２分割結果を取得することができる。複数のサンプル画像の第２分割結果及び注釈分割結果に従って、第１分割ネットワーク、第２分割ネットワーク及び融合分割ネットワークのネットワーク損失を決定することができる。ニューラルネットワークの総損失は、式（２）で示すことができる。
式（２）として、
Figure 2022533404000017
である。
式（２）では、
Figure 2022533404000018
は、ｊ番目のサンプル画像を示すことができ、
Figure 2022533404000019
は、ｊ番目のサンプル画像タグを示すことができ、
Figure 2022533404000020
は、ｊ番目のサンプル画像の画像領域を示し、
Figure 2022533404000021
は、ｊ番目のサンプル画像の領域タグを示し、ｃは、それぞれｆ、ｔ及びｐのうちの１つであり、ｆ、ｔ及びｐは、それぞれＦＣ、ＴＣ及びＰＣを示し、
Figure 2022533404000022
は、第１分割ネットワークのネットワーク損失を示し、
Figure 2022533404000023
は、各第２分割ネットワークのネットワーク損失を示し、
Figure 2022533404000024
は、融合分割ネットワークのネットワーク損失を示すことができる。ここで、各ネットワークの損失は、実際の適用シナリオによって設定されることができ、一例において、各ネットワークのネットワーク損失は、例えば、マルチレベルのクロスエントロピー損失関数であってもよい。別の例において、上記のニューラルネットワークをトレーニングする場合、弁別器を設置することができ、弁別器はサンプル画像内の目標の第２分割結果を弁別するために使用され、弁別器及び融合分割ネットワークは敵対的なネットワークを構成し、それに対応して、融合分割ネットワークのネットワーク損失は敵対的損失を含み得、敵対的損失は、第２分割結果に対する弁別器の弁別結果に基づいて取得されることができ、本発明の実施例では、敵対的損失に基づいてニューラルネットワークの損失を取得することができ、形状及び空間で制約された共同学習を実現するために、敵対的なネットワークからのトレーニング誤差（敵対的損失で具現され）を各目標に対応する第２分割ネットワークに逆伝播することができ、それにより、ニューラルネットワークの損失に基づきニューラルネットワークをトレーニングして、トレーニング後のニューラルネットワークが、異なる軟骨間の形状及び空間的関係に基づいて、異なる軟骨画像の分割を正確に実現するようにすることができる。
上記の内容は、各レベルニューラルネットワークの損失関数に対する説明の例に過ぎず、本願はこれらに対して限定しないことを留意されたい。
本願のいくつかの実施例において、ニューラルネットワークの総損失を取得した後、ネットワーク損失に従ってニューラルネットワークのネットワークパラメータを調整することができる。複数回の調整後、プリセット条件（例えば、ネットワーク収束）を満たす場合、トレーニング後のニューラルネットワークを取得することができる。
このように、第１分割ネットワーク、第２分割ネットワーク及び融合分割ネットワークのトレーニングプロセスを実現して、高精度のニューラルネットワークを取得することができる。
本願のいくつかの実施例において、表１は、５つの異なる方法に対応する膝軟骨分割の指標を示す。ここで、Ｐ２は、敵対的なネットワークに基づいてニューラルネットワークをトレーニングし、トレーニングされたニューラルネットワークを使用して、図３ないし図７に示されたネットワークフレームワークで画像処理を実行する方法を示す。Ｐ１は、ニューラルネットワークをトレーニング時に敵対的なネットワークを使用しないが、トレーニングされたニューラルネットワークを使用して図３ないし図７に示されたネットワークフレームワークで画像処理を実行する方法を示す。Ｄ１は、Ｐ２に対応する方法に基づき、ＤｅｎｓｅＡＳＰＰネットワーク構造を使用して、残差ブロック、及びアテンションメカニズムベースのスキップ接続するネットワーク構造を切り替えることによって取得された画像処理方法を示す。Ｄ２は、Ｐ２に対応する方法に基づき、ＤｅｎｓｅＡＳＰＰネットワーク構造を使用して、図６に示された、アテンションメカニズムベースのスキップ接続するネットワーク構造における最深層のネットワーク構造を切り替えることによって取得された画像処理方法を示し、最深層のネットワーク構造は、第１レベルのアップサンプリングによって取得された第３特徴マップ及び第４レベルの第２特徴マップ（チャネル数は６４である）が接続するネットワーク構造の実現を示す。Ｃ０は、図４に示された第１分割サブネットワーク４３を介して画像に対して分割処理を実行する方法を示し、Ｃ０によって取得された分割結果は大まかな分割結果である。
表１にはＦＣ、ＴＣ及びＰＣ分割の評価指標が示され、表１には、全ての軟骨分割の評価指標が示され、ここで、全ての軟骨の分割処理とは、ＦＣ、ＴＣ及びＰＣを全体として均一に分割し、背景部分と差別をつける分割方法を示す。
表１では、３つの画像分割評価指標を使用していくつかの画像処理方法の効果を比較することができ、当該３つの画像分割評価指標は、それぞれ、ダイス類似度係数（ＤＳＣ：Ｄｉｃｅ Ｓｉｍｉｌａｒｉｔｙ Ｃｏｅｆｆｉｃｉｅｎｔ）、体積要素重複誤差（ＶＯＥ：Ｖｏｌｕｍｅｔｒｉｃ Ｏｖｅｒｌａｐ Ｅｒｒｏｒ）及び平均表面距離（ＡＳＤ：Ａｖｅｒａｇｅ ｓｕｒｆａｃｅ ｄｉｓｔａｎｃｅ）である。ＤＳＣ指標は、ニューラルネットワークによって取得された画像分割結果と画像から分割された標記結果（実際の分割結果）の類似度を反映し、ＶＯＥ及びＡＳＤは、ニューラルネットワークによって取得された画像分割結果と画像分割の標記結果の違いを反映し、ＤＳＣが高いほど、ニューラルネットワークによって取得された画像分割結果は実際の状況に近くなり、ＶＯＥまたはＡＳＤが低いほど、ニューラルネットワークによって取得された画像分割結果と実際の状況の違いは低くなる。
表１において、指標値が位置するセルが２つの行に分割され、ここで、第１行は、表示複数のサンプリング点の指標の平均値を示し、第２行は、複数のサンプリング点の指標の標準偏差を示す。例えば、Ｄ１の方法を使用して分割する場合、ＦＣのＤＳＣの指標は２つの行に分割され、それぞれ０．８６２及び０．０２４であり、ここで、０．８６２は平均値を示し、０．０２４は標準偏差を示す。
表１から分かることができるように、Ｐ２をＰ１、Ｄ１、Ｄ２及びＣ０と比較すると、ＤＳＣが最も高く、ＶＯＥ及びＡＳＤが最も低いため、Ｐ１、Ｄ１、Ｄ２及びＣ０と比べて、Ｐ２を使用して取得された画像分割結果は実際の状況により一致する。
Figure 2022533404000025
本願実施例の画像処理方法によれば、大まかな分割により、処理される画像内の目標（例えば、膝関節軟骨）のＲＯＩを決定し、複数の並行する分割主体を適用してそれらのそれぞれの関心領域内の軟骨を正確に表記し、その後、融合層を介して３つの軟骨を融合して、複雑な後続の処理ステップを実行する必要なく、融合学習により、端から端への分割を実行して、元の高解像度で関心領域に対して細かい分割を実行することを保証し、サンプルの不均衡の問題が軽減され、それにより、処理される画像内の複数の目標の正確な分割が実現される。
関連技術では、膝関節炎の診断手順において、放射線科医は、関節変性の手がかりを検出し、対応する定量的パラメータを手動で測定するために、３次元医用画像を１つずつ調べる必要がある。しかしながら、膝関節炎の症状を視覚的に判断することは難しく、異なる個人の放射線写真表現は大きく異なる可能性があるため、膝関節炎の研究において、関連技術では、膝関節軟骨及び半月板の分割の自動化実現方法が提案されていて、最初の例において、多平面の二次元の深層畳み込みニューラルネットワーク（ＤＣＮＮ：Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）から共同目的関数を学習することができるため、脛骨軟骨分類器が提案されるが、脛骨軟骨分類器を提案するために使用される２．５次元の特徴学習戦略は、臓器／組織分割の３次元空間中の包括的な情報の表現には不十分である。２番目の例において、骨骼と軟骨上のマルチイメージ登録よって生成された空間的演繹的知識を使用して、軟骨分類の包括的な決定を確立することができる。３番目の例において、３次元の可変な片面メッシュベースの軟骨の再構築を駆動するために、二次元の完全畳み込みネットワーク（ＦＣＮ）を使用して組織確立予測器をトレーニングすることもできる。これらの方法は良好な精度を有するが、結果が形状及び空間パラメータの設定に対して多少敏感になる可能性がある。
本願実施例の画像処理方法によれば、融合合層は、複数の主体からの各軟骨を融合することだけでなく、融合ネットワークから各主体へのトレーニング損失を逆伝播することにより、当該多主体学習フレームワークは、各関心領域で細かい粒度の分割を取得し、異なる軟骨間の空間的制約を確保することができ、それにより、形状及び空間的制約の共同学習を実現し、即ち、形状及び空間パラメータの設定に敏感ではない。当該方法は、ＧＰＵリソースの限定を満たすことができ、困難なデータに対してスムーズなトレーニングを実行することができる。さらに、当該方法は、アテンションメカニズムを使用してスキップ接続を最適化し、多重解像度コンテキスト機能をより有効に活用して、細部をキャプチャし、精度をさらに向上させることができる。
本願実施例の画像処理方法は、人工知能ベースの膝関節炎の診断、評価及び手術計画システムなどの適用シナリオに適用されることができる。例えば、医師は、当該方法を使用して正確な軟骨分割を効果的に取得して、膝関節疾患を分析することができ、研究者は、骨関節炎に対する大規模な分析のために、当該方法を使用して大量のデータを処理することができ、膝手術計画に役立つ。本願は、特定の適用シナリオに対して限定しない。
本願で述べた上述の各方法の実施例は、原理および論理に違反することなく、互いに組み合わせて、組み合わせされた実施例を生成することができ、ページの制限により、本願を繰り返して説明しないことを理解されたい。当業者は、具体的な実施形態の上記の方法において、各ステップの具体的な実行順序はそれらの機能と可能な内部ロジックによって決定されることを理解することができる。
なお、本願は、さらに、本願で提供する任意の画像処理方法を実現するために使用されることができる、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを提供し、対応する技術的解決策及び説明は、方法部分の対応する説明を参照することができ、ここでは繰り返して説明しない。
図８は、本願実施例で提供する画像処理装置の概略的な構造図であり、図８に示されたように、前記画像処理装置は、
処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定するように構成される第１分割モジュール７１と、前記少なくとも１つの目標画像領域に対して第２分割処理を実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定するように構成される第２分割モジュール７２と、前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定するように構成される融合及び分割モジュール７３とを備える。
本願のいくつかの実施例において、前記融合及び分割モジュールは、各第１分割結果を融合して、融合結果を取得するように構成される融合サブモジュールと、前記処理される画像に基づき、前記融合結果に対して第３分割処理を実行して、前記処理される画像の第２分割結果を取得するように構成される分割サブモジュールとを備える。
本願のいくつかの実施例において、前記第１分割モジュールは、前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得するように構成される第１抽出サブモジュールと、前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定するように構成される第１分割サブモジュールと、特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも１つの目標画像領域を決定するように構成される決定サブモジュールとを備える。
本願のいくつかの実施例において、前記第２分割モジュールは、少なくとも１つの目標画像領域に対して特徴抽出を実行して、前記少なくとも１つの目標画像領域の第１特徴マップを取得するように構成される第２抽出サブモジュールと、前記第１特徴マップに対してＮ（Ｎは１より大きいか等しい整数である）レベルのダウンサンプリングを実行して、Ｎレベルの第２特徴マップを取得するように構成されるダウンサンプリングサブモジュールと、第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得するように構成されるアップサンプリングサブモジュールと、第Ｎレベルの第３特徴マップを分類して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を取得するように構成される分類サブモジュールとを備える。
本願のいくつかの実施例において、前記アップサンプリングサブモジュールは、ｉ（ｉは整数である）が１からＮを順次に取るものである場合、アテンションメカニズムに基づいて、第ｉレベルのアップサンプリングを実行して取得した第３特徴マップを第Ｎ－ｉレベルの第２特徴マップに接続して、第ｉレベルの第３特徴マップを取得するように構成される接続サブモジュールを備え、Ｎはダウンサンプリング及びアップサンプリングのレベル数である。
本願のいくつかの実施例において、前記処理される画像は３次元膝画像を含み、前記第２分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも１つを含む。
本願のいくつかの実施例において、前記装置はニューラルネットワークによって実現され、前記装置は、さらに、プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするように構成されるトレーニングモジュールを備え、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む。
本願のいくつかの実施例において、前記ニューラルネットワークは、第１分割ネットワーク、少なくとも１つの第２分割ネットワーク及び融合分割ネットワークを含み、前記トレーニングモジュールは、サンプル画像を前記第１分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力するように構成される領域決定サブモジュールと、各目標に対応する第２分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第１分割結果を出力するように構成される第２分割サブモジュールと、各サンプル画像領域内の目標の第１分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第２分割結果を出力するように構成される第３分割サブモジュールと、複数のサンプル画像の第２分割結果及び注釈分割結果に従って、前記第１分割ネットワーク、前記第２分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールとを備える。
いくつかの実施例において、本願実施例で提供される装置が有する機能または含まれたモジュールは、上文の方法の実施例で説明された方法を実行するように構成されることができ、その具体的な具現は、上文の方法の実施例の描述を参照することができ、簡潔にするために、ここでは繰り返して説明しない。
本願実施例は、さらにコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提案し、前記コンピュータプログラム命令がプロセッサによって実行されると、上記のいずれか１つの画像処理方法が実現される。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体または揮発性コンピュータ可読記憶媒体であってもよい。
本願実施例は、さらに電子機器を提案し、前記電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは、前記メモリによって記憶された命令を呼び出して、上記のいずれか１つの画像処理方法を実行するように構成される。
電子機器は、端末、サーバまたは他の形の機器であってもよい。
本願実施例は、さらにコンピュータプログラムを提案し、前記コンピュータプログラムはコンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器によって実行されるときに、前記電子機器におけるプロセッサは、上記のいずれか１つの画像処理方法を実行する。
図９は、本願実施例の電子機器の概略的な構造図であり、図９に示されたように、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。
図９を参照すると、電子機器８００は、第１処理コンポーネント８０２、第１メモリ８０４、第１電力コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、第１入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ Ｏｕｔｐｕｔ）インターフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの１つまたは複数のコンポーネットを備えることができる。
第１処理コンポーネント８０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような電子機器８００の全般的な操作を制御する。第１処理コンポーネント８０２は、上記の方法のステップのすべてまたは一部を完了するために、１つまたは複数のプロセッサ８２０を備えて命令を実行することができる。加えて、第１処理コンポーネント８０２は、第１処理コンポーネント８０２と他のコンポーネントの間の相互作用を容易にするために、１つまたは複数のモジュールを備えることができる。例えば、第１処理コンポーネント８０２は、マルチメディアコンポーネント８０８と第１処理コンポーネント８０２との間の相互作用を容易にするために、マルチメディアモジュールを備えることができる。
第１メモリ８０４は、機器８００での操作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器８００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。第１メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスク、または光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現されることができる。
第１電力コンポーネント８０６は、電子機器８００の様々なコンポーネントに電力を提供する。第１電力コンポーネント８０６は、電力管理システム、１つまたは複数の電源、及び電子機器８００の電力の生成、管理および分配に関する他のコンポーネントを備えることができる。
マルチメディアコンポーネント８０８は、前記電子機器８００とユーザとの間の、出力インターフェースを提供するスクリーンを備える。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）及びタッチパネル（ＴＰ：Ｔｏｕｃｈ Ｐａｄ）を備えることができる。スクリーンがタッチパネルを備える場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実装されることができる。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサを備える。前記タッチセンサは、タッチまたはスライドの操作の境界を感知するだけでなく、前記タッチまたはスライド動作に関連する持続時間及び圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント８０８は、１つのフロントカメラおよび／またはリアカメラを備える。電子機器８００が撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラおよび／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定された光学レンズシステムであり、または焦点距離と光学ズーム機能を持つことができる。
オーディオコンポーネント８１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイクロフォン（ＭＩＣ）を備え、電子機器８００が通話モード、録音モード及び音声認識モードなどの動作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、第１メモリ８０４にさらに記憶されてもよく、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント８１０は、さらに、オーディオ信号を出力するためのスピーカを備える。
第１入力／出力インターフェース８１２は、第１処理コンポーネント８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを備えることができるが、これらに限定されない。
センサコンポーネント８１４は、電子機器８００に各態様の状態の評価を提供するための１つまたは複数のセンサを備える。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態と、電子機器８００のディスプレイやキーパッドなどのコンポーネントの相対的な位置づけを検出することができ、センサコンポーネント８１４は、電子機器８００または電子機器８００のコンポーネントの位置の変化、ユーザとの電子機器８００の接触の有無、電子機器８００の向きまたは加速／減速、及び電子機器８００の温度の変化も検出することができる。センサコンポ―ネット８１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを備えることができる。センサコンポーネント８１４は、さらに、撮像用途で使用するための光センサ、相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）または電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサなどの光センサを備えることができる。いくつかの実施例において、当該センサコンポーネント８１４は、さらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを備えることができる。
通信コンポーネント８１６は、電子機器８００と他の装置の間の有線または無線通信を容易にするように構成される。電子機器８００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、前記通信コンポーネント８１６は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント８１６は、さらに、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールを備える。例えば、ＮＦＣモジュールでは、無線周波数識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（ＢＴ：Ｂｌｕｅｔｏｏｔｈ（登録商標））技術及び他の技術に基づいて具現されることができる。
例示的な実施例において、電子機器８００は、上記のいずれか１つの方法を実行するように構成される、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ；Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理装置（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができる。
例示的に、コンピュータプログラム命令を含む第１メモリ８０４などの、不揮発性コンピュータ可読記憶媒体をさらに提供し、上記のコンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されて上記のいずれか１つの画像処理方法を完了することができる。
図１０は、本願実施例の別の電子機器の概略的な構造図であり、図１０に示されたように、電子機器１９００は、サーバとして提供されることができる。図１０を参照すると、電子機器１９００は、第２処理コンポーネント１９２２を含み、１つまたは複数のプロセッサと、アプリケーションプログラムなど、第２処理コンポーネント１９２２によって実行可能な命令を記憶するように構成される第２メモリ１９３２によって表されるメモリリソースとさらにを含む。第２メモリ１９３２に記憶されたアプリケーションプログラムは、１つまたは１つ以上の１セットの命令に対応する各モジュールを備えることができる。さらに、第２処理コンポーネント１９２２は、上記のいずれか１つの方法を実行するための命令を実行するように構成される。
電子機器１９００は、さらに、電子装置１９００の電源管理を実行するように構成される１つの第２電力コンポーネント１９２６、電子装置１９００をネットワークに接続するように構成される１つの有線または無線ネットワークインターフェース１９５０、および第２入力／出力（Ｉ／Ｏ）インターフェース１９５８を備えることができる。電子機器１９００は、第２メモリ１９３２に記憶されたＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似したものなどの操作システムに基づいて操作されることができる。
例示的な実施例において、コンピュータプログラム命令を含む第２メモリ１９３２などの、不揮発性コンピュータ可読記憶媒体をさらに提供し、上述のコンピュータプログラム命令は、電子機器１９００の第２処理コンポーネント１９２２によって実行されて上記の方法を完了することができる。
本願実施例は、システム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサが本願の様々な態様を実現するようにするためのコンピュータ可読プログラム命令がロードだれたコンピュータ可読記憶媒体を含み得る。
コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保留および記憶することができる有形機器であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体記憶機器または前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、メモリスティック、フロッピーディスク、命令が記憶されたパンチカードまたは溝の凸構造、および前述の任意の適切な組み合わせなどの機械的符号化機器を含む。ここで使用されるコンピュータ可読記憶媒体は、電波や自由に伝播される他の電磁波、導波管や他の伝播媒体を介して伝播される電磁波（光ファイバーケーブルを介した光パルスなど）、またはワイヤを介して伝送される電子信号などの、一時的な信号として解釈されてはならない。
ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から様々なコンピューティング／処理機器にダウンロードするか、インターネット、メトロポリタンエリアネットワーク、ワイドエリアネットワークおよび／またはワイヤレスネットワークなどのネットワークを介して外部コンピュータまたは外部記憶機器にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバなどを含み得る。各コンピューティング／処理機器におけるネットワークアダプターカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各コンピューティング／処理機器におけるコンピュータ可読記憶媒体に記憶するために、当該コンピュータ可読プログラム命令を転送する。
本願実施例の操作を実行するために使用されるコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または以１つまたは複数のプログラミング言語の任意の組み合わせでプログラミングされたソースコードまたは目標コードであってもよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、ユーザのコンピュータで完全に実行され、またはユーザのコンピュータで部分的に実行されることができ、１つの独立したソフトウェアパッケージとして実行され、部分的にユーザのコンピュータで、部分的にリモートコンピュータで実行されることができ、または完全にリモートコンピュータまたはサーバで実行されることができる。リモートコンピュータに関する場合において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む任意のタイプのネットワークは、ユーザのコンピュータに接続することができ、または、外部のコンピュータに接続することができる（例えば、インターネットサービスプロバイダを使用してインターネットにアクセスすることができる）。いくつかの実施例において、コンピュータ可読命令の状態情報を使用することにより、プログラマブルロジック回路、ＦＰＧＡまたはプログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）などの、電子回路をカスタマイズし、当該電子回路は、コンピュータ可読プログラム命令を実行し、それにより、本願実施例の各態様を実現することができる。
ここで、本願の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロックを参照して本願実施例の各態様を説明する。フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図における各ブロックの組み合わせのすべては、コンピュータ可読プログラム命令によって実行されることができることを理解されたい。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに提供することができ、それにより、マシンを作成して、これらの命令がコンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって実行されるときに、フローチャートおよび／またはブロック図における１つのまたは複数のブロックで規定した機能／動作を実現する装置を作成するようにする。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよく、これらの命令は、コンピュータ、プログラム可能データ処理装置および／または他の機器が特定方式で動作するようにし、それにより、命令が記憶されたコンピュータ可読媒体は、フローチャートおよび／またはブロック図における１つまたは複数のブロックで規定した機能功能／実現する各態様の命令を含む、製品を含む。
コンピュータ可読プログラム命令をコンピュータ、他のプログラム可能な数据処理装置、または他の機器にローディングして、一連の操作ステップをコンピュータ、プログラム可能な数据処理装置または他の機器で実行することができるようにし、コンピュータによって実現されるプロセスを作成し、それにより、コンピュータ、他のプログラム可能な数据処理装置、または他の機器で実行される命令がフローチャートおよび／またはブロック図における１つまたは複数のブロックで規定した機能／動作を実現することができるようにする。
図面におけるフローチャートおよびブロック図は、本願の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能な実装アーキテクチャ、機能および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラムセグメントまたは命令の一部を表すことができ、前記モジュール、プログラムセグメントまたは命令の一部は、規定された論理機能を実現するために使用される１つまたは複数の実行可能な命令を含む。いくつかの代替的な実現では、ブロックで表示された機能は、図面で表示された順序と異なる順序で発生することができる。例えば、連続して示された２つのブロックは、実際には、並行して実行される場合や、逆の順序で実行される場合があり、これは、関連する機能によって決定される。ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、規定された機能または動作を実行する専用のハードウェアに基づくシステムによって実現することができ、またはハードウェアとコンピュータ命令の組み合わせによって実現されることができることにも留意されたい。
以上、本願の各実施例を説明したが、以上の説明は網羅的ではなく、例示的なものに過ぎず、開示された各実施例に限定されない。当業者にとって、説明された各実施例の範囲および思想から逸脱することなく、多くの修正および変更は明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の応用または市場における技術の技術的改善を最もよく説明するか、当業者が本明細書で開示された各実施例を理解することができるようにすることを意図する。
本願は、画像処理方法及び装置、電子機器並びに記憶媒体に関し、前記方法は、処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定することと、前記少なくとも１つの目標画像領域に対して第２分割処理を実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定することと、前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定することとを含む。本願実施例は、画像における目標分割の精度を向上させることができる。
本願実施例は、さらにコンピュータプログラムを提供し、前記コンピュータプログラムはコンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器によって実行されるときに、前記電子機器におけるプロセッサは、上記のいずれか１つの画像処理方法を実行する。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
画像処理方法であって、
処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定することと、
前記少なくとも１つの目標画像領域に対して第２分割処理を実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定することと、
前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定することと、を含む、前記画像処理方法。
（項目２）
前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定することは、
各第１分割結果を融合して、融合結果を取得することと、
前記処理される画像に基づき、前記融合結果に対して第３分割処理を実行して、前記処理される画像の第２分割結果を取得することと、を含む、
項目１に記載の画像処理方法。
（項目３）
前記処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定することは、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、
前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも１つの目標画像領域を決定することと、を含む、
項目１または２に記載の画像処理方法。
（項目４）
前記少なくとも１つの目標画像領域に対して第２分割処理をそれぞれ実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定することは、
前記少なくとも１つの目標画像領域に対して特徴抽出を実行して、前記少なくとも１つの目標画像領域の第１特徴マップを取得することと、
前記第１特徴マップに対してＮ（Ｎは１より大きいか等しい整数である）レベルのダウンサンプリングを実行して、Ｎレベルの第２特徴マップを取得することと、
第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得することと、
第Ｎレベルの第３特徴マップを分類して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を取得することと、を含む、
項目１ないし３のいずれか一項に記載の画像処理方法。
（項目５）
前記第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得することは、
ｉ（ｉは整数である）が１からＮを順次に取るものである場合、アテンションメカニズムに基づいて、第ｉレベルのアップサンプリングを実行して取得した第３特徴マップを第Ｎ－ｉレベルの第２特徴マップに接続して、第ｉレベルの第３特徴マップを取得することを含み、Ｎはダウンサンプリング及びアップサンプリングのレベル数である、
項目４に記載の画像処理方法。
（項目６）
前記処理される画像は３次元膝画像を含み、前記第２分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも１つを含む、
項目１ないし５のいずれか一項に記載の画像処理方法。
（項目７）
前記画像処理方法はニューラルネットワークによって実現され、前記画像処理方法は、
プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることをさらに含み、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
項目１ないし６のいずれか一項に記載の画像処理方法。
（項目８）
前記ニューラルネットワークは、第１分割ネットワーク、少なくとも１つの第２分割ネットワーク及び融合分割ネットワークを含み、
前記プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることは、
サンプル画像を前記第１分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、
各目標に対応する第２分割ネットワークに前記各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第１分割結果を出力することと、
前記各サンプル画像領域内の目標の第１分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第２分割結果を出力することと、
前記複数のサンプル画像の第２分割結果及び注釈分割結果に従って、前記第１分割ネットワーク、前記第２分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することと、を含む、
項目７に記載の画像処理方法。
（項目９）
画像処理装置であって、
処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定するように構成される第１分割モジュールと、
前記少なくとも１つの目標画像領域に対して第２分割処理を実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定するように構成される第２分割モジュールと、
前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定するように構成される融合及び分割モジュールと、を備える、前記画像処理装置。
（項目１０）
前記融合及び分割モジュールは、
各第１分割結果を融合して、融合結果を取得するように構成される融合サブモジュールと、
前記処理される画像に基づき、前記融合結果に対して第３分割処理を実行して、前記処理される画像の第２分割結果を取得するように構成される分割サブモジュールと、を備える、
項目９に記載の画像処理装置。
（項目１１）
前記第１分割モジュールは、
前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得するように構成される第１抽出サブモジュールと、
前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定するように構成される第１分割サブモジュールと、
前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも１つの目標画像領域を決定するように構成される決定サブモジュールと、を備える、
項目９または１０に記載の画像処理装置。
（項目１２）
前記第２分割モジュールは、
前記少なくとも１つの目標画像領域に対して特徴抽出を実行して、前記少なくとも１つの目標画像領域の第１特徴マップを取得するように構成される第２抽出サブモジュールと、
前記第１特徴マップに対してＮ（Ｎは１より大きいか等しい整数である）レベルのダウンサンプリングを実行して、Ｎレベルの第２特徴マップを取得するように構成されるダウンサンプリングサブモジュールと、
第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得するように構成されるアップサンプリングサブモジュールと、
第Ｎレベルの第３特徴マップを分類して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を取得するように構成される分類サブモジュールと、を備える、
項目９ないし１１のいずれか一項に記載の画像処理装置。
（項目１３）
前記アップサンプリングサブモジュールは、
ｉ（ｉは整数である）が１からＮを順次に取るものである場合、アテンションメカニズムに基づいて、第ｉレベルのアップサンプリングを実行して取得した第３特徴マップを第Ｎ－ｉレベルの第２特徴マップに接続して、第ｉレベルの第３特徴マップを取得するように構成される接続サブモジュールを備え、Ｎはダウンサンプリング及びアップサンプリングのレベル数である、
項目１２に記載の画像処理装置。
（項目１４）
前記処理される画像は３次元膝画像を含み、前記第２分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも１つを含む、
項目９ないし１３のいずれか一項に記載の画像処理装置。
（項目１５）
前記画像処理装置は、ニューラルネットワークによって実現され、前記画像処理装置は、さらに、
プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするように構成されるトレーニングモジュールを備え、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
項目９ないし１４のいずれか一項に記載の画像処理装置。
（項目１６）
前記ニューラルネットワークは、第１分割ネットワーク、少なくとも１つの第２分割ネットワーク及び融合分割ネットワークを含み、前記トレーニングモジュールは、
サンプル画像を前記第１分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力するように構成される領域決定サブモジュールと、
各目標に対応する第２分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第１分割結果を出力するように構成される第２分割サブモジュールと、
各サンプル画像領域内の目標の第１分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第２分割結果を出力するように構成される第３分割サブモジュールと、
複数のサンプル画像の第２分割結果及び注釈分割結果に従って、前記第１分割ネットワーク、前記第２分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、
前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールと、を備える、
項目１５に記載の画像処理装置。
（項目１７）
電子機器であって、
プロセッサと、
プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出して、項目１ないし８のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
（項目１８）
コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されると、項目１ないし８のいずれか一項に記載の方法を実現する、前記コンピュータ可読記憶媒体。
（項目１９）
コンピュータプログラムであって、
コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器内で実行すると、前記電子機器におけるプロセッサは、項目１ないし８のいずれか一項に記載の方法を実現するために実行される、前記コンピュータプログラム。

Claims (19)

  1. 画像処理方法であって、
    処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定することと、
    前記少なくとも１つの目標画像領域に対して第２分割処理を実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定することと、
    前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定することと、を含む、前記画像処理方法。
  2. 前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定することは、
    各第１分割結果を融合して、融合結果を取得することと、
    前記処理される画像に基づき、前記融合結果に対して第３分割処理を実行して、前記処理される画像の第２分割結果を取得することと、を含む、
    請求項１に記載の画像処理方法。
  3. 前記処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定することは、
    前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得することと、
    前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定することと、
    前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも１つの目標画像領域を決定することと、を含む、
    請求項１または２に記載の画像処理方法。
  4. 前記少なくとも１つの目標画像領域に対して第２分割処理をそれぞれ実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定することは、
    前記少なくとも１つの目標画像領域に対して特徴抽出を実行して、前記少なくとも１つの目標画像領域の第１特徴マップを取得することと、
    前記第１特徴マップに対してＮ（Ｎは１より大きいか等しい整数である）レベルのダウンサンプリングを実行して、Ｎレベルの第２特徴マップを取得することと、
    第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得することと、
    第Ｎレベルの第３特徴マップを分類して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を取得することと、を含む、
    請求項１ないし３のいずれか一項に記載の画像処理方法。
  5. 前記第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得することは、
    ｉ（ｉは整数である）が１からＮを順次に取るものである場合、アテンションメカニズムに基づいて、第ｉレベルのアップサンプリングを実行して取得した第３特徴マップを第Ｎ－ｉレベルの第２特徴マップに接続して、第ｉレベルの第３特徴マップを取得することを含み、Ｎはダウンサンプリング及びアップサンプリングのレベル数である、
    請求項４に記載の画像処理方法。
  6. 前記処理される画像は３次元膝画像を含み、前記第２分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも１つを含む、
    請求項１ないし５のいずれか一項に記載の画像処理方法。
  7. 前記画像処理方法はニューラルネットワークによって実現され、前記画像処理方法は、
    プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることをさらに含み、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
    請求項１ないし６のいずれか一項に記載の画像処理方法。
  8. 前記ニューラルネットワークは、第１分割ネットワーク、少なくとも１つの第２分割ネットワーク及び融合分割ネットワークを含み、
    前記プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングすることは、
    サンプル画像を前記第１分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力することと、
    各目標に対応する第２分割ネットワークに前記各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第１分割結果を出力することと、
    前記各サンプル画像領域内の目標の第１分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第２分割結果を出力することと、
    前記複数のサンプル画像の第２分割結果及び注釈分割結果に従って、前記第１分割ネットワーク、前記第２分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定することと、
    前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整することと、を含む、
    請求項７に記載の画像処理方法。
  9. 画像処理装置であって、
    処理される画像に対して第１分割処理を実行して、前記処理される画像内の少なくとも１つの目標画像領域を決定するように構成される第１分割モジュールと、
    前記少なくとも１つの目標画像領域に対して第２分割処理を実行して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を決定するように構成される第２分割モジュールと、
    前記第１分割結果及び前記処理される画像に対して融合及び分割処理を実行して、前記処理される画像内の目標の第２分割結果を決定するように構成される融合及び分割モジュールと、を備える、前記画像処理装置。
  10. 前記融合及び分割モジュールは、
    各第１分割結果を融合して、融合結果を取得するように構成される融合サブモジュールと、
    前記処理される画像に基づき、前記融合結果に対して第３分割処理を実行して、前記処理される画像の第２分割結果を取得するように構成される分割サブモジュールと、を備える、
    請求項９に記載の画像処理装置。
  11. 前記第１分割モジュールは、
    前記処理される画像に対して特徴抽出を実行して、前記処理される画像の特徴マップを取得するように構成される第１抽出サブモジュールと、
    前記特徴マップを分割して、前記特徴マップ内の目標のバウンディングボックスを決定するように構成される第１分割サブモジュールと、
    前記特徴マップ内の目標のバウンディングボックスに従って、前記処理される画像から少なくとも１つの目標画像領域を決定するように構成される決定サブモジュールと、を備える、
    請求項９または１０に記載の画像処理装置。
  12. 前記第２分割モジュールは、
    前記少なくとも１つの目標画像領域に対して特徴抽出を実行して、前記少なくとも１つの目標画像領域の第１特徴マップを取得するように構成される第２抽出サブモジュールと、
    前記第１特徴マップに対してＮ（Ｎは１より大きいか等しい整数である）レベルのダウンサンプリングを実行して、Ｎレベルの第２特徴マップを取得するように構成されるダウンサンプリングサブモジュールと、
    第Ｎレベルの第２特徴マップに対してＮレベルのアップサンプリングを実行して、Ｎレベルの第３特徴マップを取得するように構成されるアップサンプリングサブモジュールと、
    第Ｎレベルの第３特徴マップを分類して、前記少なくとも１つの目標画像領域内の目標の第１分割結果を取得するように構成される分類サブモジュールと、を備える、
    請求項９ないし１１のいずれか一項に記載の画像処理装置。
  13. 前記アップサンプリングサブモジュールは、
    ｉ（ｉは整数である）が１からＮを順次に取るものである場合、アテンションメカニズムに基づいて、第ｉレベルのアップサンプリングを実行して取得した第３特徴マップを第Ｎ－ｉレベルの第２特徴マップに接続して、第ｉレベルの第３特徴マップを取得するように構成される接続サブモジュールを備え、Ｎはダウンサンプリング及びアップサンプリングのレベル数である、
    請求項１２に記載の画像処理装置。
  14. 前記処理される画像は３次元膝画像を含み、前記第２分割結果は膝軟骨の分割結果を含み、前記膝軟骨は、大腿骨軟骨、脛骨軟骨及び膝蓋骨軟骨のうちの少なくとも１つを含む、
    請求項９ないし１３のいずれか一項に記載の画像処理装置。
  15. 前記画像処理装置は、ニューラルネットワークによって実現され、前記画像処理装置は、さらに、
    プリセットされたトレーニングセットに従って前記ニューラルネットワークをトレーニングするように構成されるトレーニングモジュールを備え、前記トレーニングセットは、複数のサンプル画像及び各サンプル画像の注釈分割結果を含む、
    請求項９ないし１４のいずれか一項に記載の画像処理装置。
  16. 前記ニューラルネットワークは、第１分割ネットワーク、少なくとも１つの第２分割ネットワーク及び融合分割ネットワークを含み、前記トレーニングモジュールは、
    サンプル画像を前記第１分割ネットワークに入力して、前記サンプル画像内の各目標の各サンプル画像領域を出力するように構成される領域決定サブモジュールと、
    各目標に対応する第２分割ネットワークに各サンプル画像領域をそれぞれ入力して、各サンプル画像領域内の目標の第１分割結果を出力するように構成される第２分割サブモジュールと、
    各サンプル画像領域内の目標の第１分割結果及び前記サンプル画像を融合分割ネットワークに入力して、前記サンプル画像内の目標の第２分割結果を出力するように構成される第３分割サブモジュールと、
    複数のサンプル画像の第２分割結果及び注釈分割結果に従って、前記第１分割ネットワーク、前記第２分割ネットワーク及び前記融合分割ネットワークのネットワーク損失を決定するように構成される損失決定サブモジュールと、
    前記ネットワーク損失に従って、前記ニューラルネットワークのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールと、を備える、
    請求項１５に記載の画像処理装置。
  17. 電子機器であって、
    プロセッサと、
    プロセッサ実行可能命令を記憶するように構成されるメモリと、を備え、
    前記プロセッサは、前記メモリに記憶された命令を呼び出して、請求項１ないし８のいずれか一項に記載の方法を実行するように構成される、前記電子機器。
  18. コンピュータプログラムが記憶された、コンピュータ可読記憶媒体であって、
    前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１ないし８のいずれか一項に記載の方法を実現する、前記コンピュータ可読記憶媒体。
  19. コンピュータプログラムであって、
    コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器内で実行すると、前記電子機器におけるプロセッサは、請求項１ないし８のいずれか一項に記載の方法を実現するために実行される、前記コンピュータプログラム。
JP2021568935A 2019-09-20 2020-07-07 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム Pending JP2022533404A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910895227.XA CN110675409A (zh) 2019-09-20 2019-09-20 图像处理方法及装置、电子设备和存储介质
CN201910895227.X 2019-09-20
PCT/CN2020/100728 WO2021051965A1 (zh) 2019-09-20 2020-07-07 图像处理方法及装置、电子设备、存储介质和计算机程序

Publications (1)

Publication Number Publication Date
JP2022533404A true JP2022533404A (ja) 2022-07-22

Family

ID=69077288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021568935A Pending JP2022533404A (ja) 2019-09-20 2020-07-07 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム

Country Status (5)

Country Link
US (1) US20220198775A1 (ja)
JP (1) JP2022533404A (ja)
CN (1) CN110675409A (ja)
TW (1) TWI755853B (ja)
WO (1) WO2021051965A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111311609B (zh) * 2020-02-14 2021-07-02 推想医疗科技股份有限公司 一种图像分割方法、装置、电子设备及存储介质
CN111275721B (zh) * 2020-02-14 2021-06-08 推想医疗科技股份有限公司 一种图像分割方法、装置、电子设备及存储介质
CN111414963B (zh) * 2020-03-19 2024-05-17 北京市商汤科技开发有限公司 图像处理方法、装置、设备和存储介质
CN111445493B (zh) * 2020-03-27 2024-04-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111583264B (zh) * 2020-05-06 2024-02-27 上海联影智能医疗科技有限公司 图像分割网络的训练方法、图像分割方法和存储介质
CN111739025B (zh) * 2020-05-08 2024-03-19 北京迈格威科技有限公司 一种图像处理方法、装置、终端及存储介质
CN111583283B (zh) * 2020-05-20 2023-06-20 抖音视界有限公司 图像分割方法、装置、电子设备及介质
CN113515981A (zh) 2020-05-22 2021-10-19 阿里巴巴集团控股有限公司 识别方法、装置、设备和存储介质
CN112184635A (zh) * 2020-09-10 2021-01-05 上海商汤智能科技有限公司 目标检测方法、装置、存储介质及设备
CN112315383B (zh) * 2020-10-29 2022-08-23 上海高仙自动化科技发展有限公司 机器人的巡检清洁方法、装置、机器人和存储介质
CN112561868B (zh) * 2020-12-09 2021-12-07 深圳大学 一种基于多视角级联深度学习网络的脑血管分割方法
KR20220161839A (ko) * 2021-05-31 2022-12-07 한국전자기술연구원 Gan 구조를 활용한 영상 영역 분할 방법 및 시스템
CN113538394B (zh) * 2021-07-26 2023-08-08 泰康保险集团股份有限公司 一种图像分割方法、装置、电子设备及存储介质
CN113642233B (zh) * 2021-07-29 2023-12-29 太原理工大学 一种通信机制优化的群体智能协同方法
CN115934306A (zh) * 2021-08-08 2023-04-07 联发科技股份有限公司 一种电子设备、生成输出数据的方法及机器可读存储介质
CN113837980A (zh) * 2021-10-12 2021-12-24 Oppo广东移动通信有限公司 分辨率的调整方法、装置、电子设备及存储介质
CN113910269B (zh) * 2021-10-27 2022-12-20 因格(苏州)智能技术有限公司 一种机器人总控系统
CN117115458A (zh) * 2023-04-24 2023-11-24 苏州梅曼智能科技有限公司 一种基于对抗互补UNet的工业图像特征提取方法
CN116934708A (zh) * 2023-07-20 2023-10-24 北京长木谷医疗科技股份有限公司 胫骨平台内外侧低点计算方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166107A (zh) * 2018-04-28 2019-01-08 北京市商汤科技开发有限公司 一种医学图像分割方法及装置、电子设备和存储介质
CN109829920A (zh) * 2019-02-25 2019-05-31 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110033005A (zh) * 2019-04-08 2019-07-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110197491A (zh) * 2019-05-17 2019-09-03 上海联影智能医疗科技有限公司 图像分割方法、装置、设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1792265A1 (en) * 2004-08-18 2007-06-06 Virtualscopics, LLC. Use of multiple pulse sequences for 3d discrimination of sub-structures of the knee
US8345976B2 (en) * 2010-08-06 2013-01-01 Sony Corporation Systems and methods for segmenting digital images
TWI494083B (zh) * 2012-05-31 2015-08-01 Univ Nat Yunlin Sci & Tech Magnetic resonance measurement of knee cartilage with ICP and KD-TREE alignment algorithm
US9858675B2 (en) * 2016-02-11 2018-01-02 Adobe Systems Incorporated Object segmentation, including sky segmentation
CN106934397B (zh) * 2017-03-13 2020-09-01 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
CN108109170B (zh) * 2017-12-18 2022-11-08 上海联影医疗科技股份有限公司 医学图像扫描方法及医学影像设备
CN109993726B (zh) * 2019-02-21 2021-02-19 上海联影智能医疗科技有限公司 医学图像的检测方法、装置、设备和存储介质
CN110135428B (zh) * 2019-04-11 2021-06-04 北京航空航天大学 图像分割处理方法和装置
CN110675409A (zh) * 2019-09-20 2020-01-10 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166107A (zh) * 2018-04-28 2019-01-08 北京市商汤科技开发有限公司 一种医学图像分割方法及装置、电子设备和存储介质
CN109829920A (zh) * 2019-02-25 2019-05-31 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110033005A (zh) * 2019-04-08 2019-07-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110197491A (zh) * 2019-05-17 2019-09-03 上海联影智能医疗科技有限公司 图像分割方法、装置、设备和存储介质

Also Published As

Publication number Publication date
TWI755853B (zh) 2022-02-21
US20220198775A1 (en) 2022-06-23
CN110675409A (zh) 2020-01-10
TW202112299A (zh) 2021-04-01
WO2021051965A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
JP2022533404A (ja) 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
TWI770754B (zh) 神經網路訓練方法及電子設備和儲存介質
CN109829920B (zh) 图像处理方法及装置、电子设备和存储介质
US20210158533A1 (en) Image processing method and apparatus, and storage medium
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN112767329B (zh) 图像处理方法及装置、电子设备
TWI754375B (zh) 圖像處理方法、電子設備、電腦可讀儲存介質
EP3992851A1 (en) Image classification method, apparatus and device, storage medium, and medical electronic device
Kou et al. Microaneurysms segmentation with a U-Net based on recurrent residual convolutional neural network
WO2020211293A1 (zh) 一种图像分割方法及装置、电子设备和存储介质
TW202131281A (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
CN114820584B (zh) 肺部病灶定位装置
CN113222038B (zh) 基于核磁图像的乳腺病灶分类和定位方法及装置
EP3998579A1 (en) Medical image processing method, apparatus and device, medium and endoscope
Mercan et al. From patch-level to ROI-level deep feature representations for breast histopathology classification
WO2021259390A2 (zh) 一种冠脉钙化斑块检测方法及装置
Huang et al. Mask RCNN algorithm for nuclei detection on breast cancer histopathological images
Yang et al. AX-Unet: A deep learning framework for image segmentation to assist pancreatic tumor diagnosis
Krishna et al. An interpretable decision-support model for breast cancer diagnosis using histopathology images
Bahadir et al. Artificial intelligence applications in histopathology
Nishikawa et al. Pathologic image classification of flat urothelial lesions using pathologic criteria-based deep learning
TW202346826A (zh) 影像處理方法
Zaman et al. Patch-wise 3D segmentation quality assessment combining reconstruction and regression networks
Liu et al. An end to end thyroid nodule segmentation model based on optimized U-net convolutional neural network
Pan et al. Automatic pancreas segmentation in abdominal CT image with contrast enhancement block

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230623