JP2022502739A - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

画像処理方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP2022502739A
JP2022502739A JP2021515101A JP2021515101A JP2022502739A JP 2022502739 A JP2022502739 A JP 2022502739A JP 2021515101 A JP2021515101 A JP 2021515101A JP 2021515101 A JP2021515101 A JP 2021515101A JP 2022502739 A JP2022502739 A JP 2022502739A
Authority
JP
Japan
Prior art keywords
image
processed
division result
topology structure
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021515101A
Other languages
English (en)
Other versions
JP7186287B2 (ja
Inventor
ヘジェ クイ，
シンロン リュウ，
ニン ファン，
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー リミテッド
Publication of JP2022502739A publication Critical patent/JP2022502739A/ja
Application granted granted Critical
Publication of JP7186287B2 publication Critical patent/JP7186287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本開示は、被処理画像に対して特徴抽出を行って、中間処理画像を得るステップ(S11)と、中間処理画像に対して分割処理を行って、第１分割結果を得るステップ(S12)と、第１分割結果の構造情報に基づいて、第１分割結果に対して構造再構成を行って、被処理画像における目標対象物の最終分割結果を得るステップ(S13)と、を含む画像処理方法及び装置、電子機器並びに記憶媒体に関する。本開示の方法は、被処理画像における目標対象物の構造情報に基づいて被処理画像の分割結果を更に補正して、分割結果の完全性と正確性を高めて、更に画像処理の精度を高くすることができる。【選択図】図１

Description

本開示は、画像処理技術分野に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
人体の肺は、新陳代謝によって発生されたガスを交換する場所であり、豊富な気管と血管組織を有しており、構造が複雑であり、また、肺の血管動静脈が絡み合って付随しているようになっており、分割難度が更に高くなってしまうので、肺画像における血管をどのように精確に分割するかは、現在急いで解決しなければならない切迫した課題となっている。
本開示は、画像処理の技術的手段を提供する。
本開示の一方面によれば、被処理画像に対して特徴抽出を行って、中間処理画像を得ることと、前記中間処理画像に対して分割処理を行って、第１分割結果を得ることと、前記第１分割結果の構造情報に基づいて、前記第１分割結果に対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得ることと、を含む画像処理方法を提供する。
本開示の実施例では、被処理画像に対して特徴抽出を行ってから分割処理を行って初歩的な分割結果を得、更にこの初歩的な分割結果に基づいて、その構造情報を用いて構造再構成を行うことによって、被処理画像における目標対象物の最終分割結果を得ることができる。上記過程によれば、被処理画像における目標対象物の構造情報に基づいて、被処理画像の分割結果を更に補正して、分割結果の完全性と正確性を高め、更に画像処理の精度を高くすることができる。
可能な一実現形態では、被処理画像に対して特徴抽出を行って、中間処理画像を得ることは、前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることと、各前記被処理部分画像に対して特徴抽出を行って、各被処理部分画像にそれぞれ対応する中間処理部分画像を得ることと、前記所定の方向に沿って全ての前記中間処理部分画像を繋ぎ合わせて、中間処理画像を得ることと、を含む。
本開示の実施例では、被処理画像を切り割って複数の被処理部分画像を得てから、各被処理部分画像に対してそれぞれ特徴抽出を行い、続いて特徴抽出で得られた複数の中間処理部分画像を所定の方向に沿って繋ぎ合わせることにより対応する中間処理画像を得る過程によって、被処理画像が大き過ぎる時に、被処理画像を複数の適切な大きさの被処理部分画像に切り割って、特徴抽出のための入力画像の大きさを効果的に低減し、大き過ぎる入力画像のせいで特徴抽出結果の正確性が低下する確率を低くし、特徴抽出の精度を高め、得られる中間処理画像に高い正確性を持たせ、更に画像処理全過程の精度を高めることができると共に、大き過ぎる被処理画像によるメモリ不足の確率を低くし、メモリ消費を効果的に低減することができる。
可能な一実現形態では、前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることは、前記被処理画像において複数の切り割り中心を決定することと、前記切り割り中心の位置に応じて、前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることであって、切り割り中心のそれぞれは、対応する被処理部分画像の中心に位置し、隣接する被処理部分画像の間には重畳領域があることと、を含む。
本開示の実施例では、切り割りにより隣接する被処理部分画像の間に重畳領域があるようにすることによって、被処理画像を切り割ることに起因して一部の目標対象物関連画像情報が損失する確率をある程度に低くして、得られる特徴抽出結果の完全度と正確度を高め、更に最終的に得られる分割結果の精度と完全度を高め、即ち画像処理精度を高めることができる。
可能な一実現形態では、前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることの前に、前記被処理画像を前記所定の方向以外の方向に、特定パラメータに基づいて縮小拡大処理することを更に含む
本開示の実施例では、被処理画像を所定の方向以外の方向に縮小拡大処理することによって、被処理画像のサイズを統一して、後続の画像処理を行いやすくし、画像処理の効率を高めることができる。
可能な一実現形態では、被処理画像に対して特徴抽出を行って、中間処理画像を得ることの前に、トレーニングサンプルデータセットを取得することと、前記トレーニングサンプルデータセットに基づいて、特徴抽出のためのニューラルネットワークをトレーニングすることと、を更に含む。
本開示の実施例では、特徴抽出のためのニューラルネットワークをトレーニングすることによって、ニューラルネットワークにより被処理画像に対する特徴抽出を実現して、得られる中間処理画像の精度を高め、更に画像処理の精度を高めることができる。
可能な一実現形態では、トレーニングサンプルデータセットを取得することは、生データを補正して、補正ラベル付きデータを得ることと、前記補正ラベル付きデータに基づいてトレーニングサンプルデータセットを取得することと、を含む
本開示の実施例では、生データを補正してラベル付きデータを取得することによって、トレーニングデータの品質を高めて、トレーニングして得られるニューラルネットワークの精度を高め、更に特徴抽出の精度を高めて画像処理の精度をより高くすることができる。
可能な一実現形態では、前記トレーニングサンプルデータセットに基づいて、特徴抽出のためのニューラルネットワークをトレーニングすることは、前記トレーニングサンプルデータセットと予め設定された重み係数に基づいて、前記ニューラルネットワークのグローバル損失と偽陽性ペナルティ損失をそれぞれ取得することと、前記グローバル損失と前記偽陽性ペナルティ損失に基づいて、前記ニューラルネットワークの損失関数を決定することと、前記損失関数の逆伝播により、前記ニューラルネットワークをトレーニングすることと、を含む。
本開示の実施例では、上記形態の損失関数によって、目標対象物が画像全体で占める比率が小さいことに起因してトレーニングして得られるニューラルネットワークの偽陽性率が高く再現率が低いという問題を効果的に低減することができるので、トレーニングして得られるニューラルネットワークの正確度を高めて、被処理画像に対して特徴抽出を行って得られる中間処理画像の精度を高め、更に最終分割結果の精度を高め、画像処理の正確性を高めることができる。
可能な一実現形態では、前記中間処理画像に対して分割処理を行って、第１分割結果を得ることは、深層学習フレームワークによってグラフィックプロセッサで実現されるＧｒｏｗ Ｃｕｔにより、前記中間処理画像に対して分割処理を行って、第１分割結果を得ることを含む。
本開示の実施例では、Ｇｒｏｗ Ｃｕｔにより中間処理画像を分割処理する時に、Ｇｒｏｗ Ｃｕｔを深層学習フレームワークによってＧＰＵで実現することで、分割処理の速度を大幅に高めて、画像処理方法全体の速度を高めることができる。
可能な一実現形態では、前記第１分割結果の構造情報に基づいて、前記第１分割結果に対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得ることは、前記第１分割結果に対して中心抽出を行って、中心領域画像、及び前記中心領域画像における全ボクセルポイントと前記第１分割結果における目標対象物の境界との間の距離フィールド値のセットである距離フィールド値セットを得ることと、前記中心領域画像に基づいて、前記目標対象物の第１トポロジ構造マップを生成することと、前記第１トポロジ構造マップに対して接続処理を行って、第２トポロジ構造マップを得ることと、前記距離フィールド値セットに基づいて、前記第２トポロジ構造マップに対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得ることと、を含む。
本開示の実施例では、第１分割結果に基づいて構造化再構成を行い、即ち実際のデータに基づいて構造化再構成を行うことによって、最終分割結果により高い真実性を持たせることができる。
可能な一実現形態では、前記第１トポロジ構造マップに対して接続処理を行って、第２トポロジ構造マップを得ることは、前記第１トポロジ構造マップにおいて前記目標対象物に対応する接続領域を抽出することと、前記第１トポロジ構造マップにおいて前記接続領域との接続値が接続閾値よりも低いボクセルポイントを除去して、第２トポロジ構造マップを得ることと、を含む。
本開示の実施例では、第１トポロジ構造マップに対して接続処理を行って、第２トポロジ構造マップを得る過程によって、第１分割結果の接続性を効果的に高め、第１分割結果におけるノイズ点を除去し、第１分割結果を効果的に補正し、得られる最終分割結果の正確性を高めることができる。
可能な一実現形態では、前記距離フィールド値セットに基づいて、前記第２トポロジ構造マップに対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得ることは、前記第２トポロジ構造マップにおける各点を球心とし、前記距離フィールド値セットにおける各距離フィールド値を半径として描画し、前記描画されたものに含まれる重畳領域を前記第２トポロジ構造マップに加え、前記被処理画像における目標対象物の最終分割結果を得ることを含む。
本開示の実施例では、第２トポロジ構造マップと距離フィールド値セットを用いて目標対象物に対して構造化再構成を行って最終分割結果を得ることによって、目標対象物の各ノードとブランチ情報を効果的に表現することができ、精度が高い。
可能な一実現形態では、被処理画像に対して特徴抽出を行って、中間処理画像を得ることの前に、前記被処理画像に対して、再サンプリング、数値限定、及び正規化のうち１つ又は複数を含む前処理を行うことを更に含む。
本開示の実施例では、被処理画像を前処理することによって、後で被処理画像に対して特徴抽出、分割処理、及び構造再構成を順に行う処理効率を高め、画像処理全過程の時間を短縮すると共に、画像分割の正確度を高めて画像処理結果の精度を高くすることができる。
本開示の一方面によれば、被処理画像に対して特徴抽出を行って、中間処理画像を得るための特徴抽出モジュールと、前記中間処理画像に対して分割処理を行って、第１分割結果を得るための分割モジュールと、前記第１分割結果の構造情報に基づいて、前記第１分割結果に対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得るための構造再構成モジュールと、を含む画像処理装置を提供する。
可能な一実現形態では、前記特徴抽出モジュールは、前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得るための切り割りサブモジュールと、各前記被処理部分画像に対して特徴抽出を行って、各被処理部分画像にそれぞれ対応する中間処理部分画像を得るための特徴抽出サブモジュールと、前記所定の方向に沿って全ての前記中間処理部分画像を繋ぎ合わせて、中間処理画像を得るための繋ぎ合わせサブモジュールと、を含む。
可能な一実現形態では、前記切り割りサブモジュールは、前記被処理画像において複数の切り割り中心を決定することと、前記切り割り中心の位置に応じて、前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることであって、切り割り中心のそれぞれは、対応する被処理部分画像の中心に位置し、隣接する被処理部分画像の間には重畳領域があることとに用いられる。
可能な一実現形態では、前記切り割りサブモジュールの前に、前記被処理画像を前記所定の方向以外の方向に、特定パラメータに基づいて縮小拡大処理するための縮小拡大サブモジュールを更に含む。
可能な一実現形態では、前記特徴抽出モジュールの前に、トレーニングサンプルデータセットを取得するためのサンプル取得サブモジュールと、前記トレーニングサンプルデータセットに基づいて、特徴抽出のためのニューラルネットワークをトレーニングするためのトレーニングサブモジュールとを備えるトレーニングモジュールを更に含む。
可能な一実現形態では、前記サンプル取得サブモジュールは、生データを補正して、補正ラベル付きデータを得ることと、前記補正ラベル付きデータに基づいてトレーニングサンプルデータセットを取得することとに用いられる。
可能な一実現形態では、前記トレーニングサブモジュールは、前記トレーニングサンプルデータセットと予め設定された重み係数に基づいて、前記ニューラルネットワークのグローバル損失と偽陽性ペナルティ損失をそれぞれ取得することと、前記グローバル損失と前記偽陽性ペナルティ損失に基づいて、前記ニューラルネットワークの損失関数を決定することと、前記損失関数の逆伝播により、前記ニューラルネットワークをトレーニングすることとに用いられる。
可能な一実現形態では、前記分割モジュールは、深層学習フレームワークによってグラフィックプロセッサで実現されるＧｒｏｗ Ｃｕｔにより、前記中間処理画像に対して分割処理を行って、第１分割結果を得ることに用いられる。
可能な一実現形態では、前記構造再構成モジュールは、前記第１分割結果に対して中心抽出を行って、中心領域画像、及び前記中心領域画像における全ボクセルポイントと前記第１分割結果における目標対象物の境界との間の距離フィールド値のセットである距離フィールド値セットを得るための中心抽出サブモジュールと、前記中心領域画像に基づいて、前記目標対象物の第１トポロジ構造マップを生成するためのトポロジ構造生成サブモジュールと、前記第１トポロジ構造マップに対して接続処理を行って、第２トポロジ構造マップを得るための接続処理サブモジュールと、前記距離フィールド値セットに基づいて、前記第２トポロジ構造マップに対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得るための構造再構成サブモジュールと、を含む。
可能な一実現形態では、前記接続処理サブモジュールは、前記第１トポロジ構造マップにおいて前記目標対象物に対応する接続領域を抽出することと、前記第１トポロジ構造マップにおいて前記接続領域との接続値が接続閾値よりも低いボクセルポイントを除去して、第２トポロジ構造マップを得ることとに用いられる。
可能な一実現形態では、前記構造再構成サブモジュールは、前記第２トポロジ構造マップにおける各点を球心とし、前記距離フィールド値セットにおける各距離フィールド値を半径として描画し、前記描画されたものに含まれる重畳領域を前記第２トポロジ構造マップに加え、前記被処理画像における目標対象物の最終分割結果を得ることに用いられる。
可能な一実現形態では、前記特徴抽出モジュールの前に、前記被処理画像に対して、再サンプリング、数値限定、及び正規化のうち１つ又は複数を含む前処理を行うための前処理モジュールを更に含む。
本開示の一方面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、上記画像処理方法を実行するように構成される電子機器を提供する。
本開示の一方面によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、上記画像処理方法を実現させるコンピュータ読取可能記憶媒体を提供する。
以上の一般説明および以下の詳細説明は本開示を限定するのではなく、単なる例示的および解釈的であることを理解されたい。
以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴及び方面は明瞭になる。
明細書の一部として組み込まれた図面は、本開示に合致する実施例を示し、更に明細書と共に本開示の技術的手段を説明するために用いられる。
本開示の一実施例による画像処理方法のフローチャートを示す。 本開示の一実施例による画像処理方法のフローチャートを示す。 本開示の一実施例によるＵｎｅｔ＋＋ネットワークの構造模式図を示す。 本開示の一実施例によるＲｅｓＶＮｅｔネットワークの構造模式図を示す。 本開示の一実施例による冗長切り割りの過程の模式図を示す。 本開示の一実施例による画像処理方法のフローチャートを示す。 本開示の一実施例による画像処理方法のフローチャートを示す。 本開示の一実施例による画像処理方法のフローチャートを示す。 本開示の一実施例による画像処理方法のフローチャートを示す。 本開示の一実施例による第１トポロジ構造マップの模式図を示す。 本開示の一実施例による画像処理方法のフローチャートを示す。 本開示の一実施例による接続処理を行う模式図を示す。 本開示の一応用例による模式図を示す。 本開示の一実施例による画像処理装置のブロック図を示す。 本開示の実施例による電子機器のブロック図を示す。 本開示の実施例による電子機器のブロック図を示す。
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を作る必要がない。
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。
本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組合を示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣから構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示が同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素および回路について、詳細な説明を行わない。
本開示で言及された上記各方法の実施例は、原理や論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙幅に限りがあるため、詳細は本開示では再度説明しない。
また、本開示は画像処理装置、電子機器、コンピュータ読取可能記憶媒体、プログラムを更に提供し、いずれも本開示で提供されるいずれか１つの画像処理方法を実現するために用いることができ、対応する技術的解決手段及び説明は方法の部分の対応する記載を参照すればよく、詳細は再度説明しない。
図１は本開示の一実施例による画像処理方法のフローチャートを示し、この方法は画像処理装置に利用可能であり、画像処理装置は端末装置、サーバ又は他の処理装置等であってよい。そのうち、端末装置は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置等であってよい。
いくつかの可能な実現形態では、この画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ読取可能なコマンドを呼び出すことで実現されてよい。
図１に示すように、前記画像処理方法は、
被処理画像に対して特徴抽出を行って、中間処理画像を得るステップＳ１１と、
中間処理画像に対して分割処理を行って、第１分割結果を得るステップＳ１２と、
第１分割結果の構造情報に基づいて、第１分割結果に対して構造再構成を行って、被処理画像における目標対象物の最終分割結果を得るステップＳ１３と、を含んでよい。
本開示の実施例では、画像処理のための被処理画像は、３次元画像であってもよいし、２次元画像であってもよく、実際の状況に応じて選択可能であり、本開示の実施例において制限されるものではなく、被処理画像が３次元画像であれば、この被処理画像が複数のボクセルポイントで共同で構成されるものであり、被処理画像が２次元画像であれば、この被処理画像が複数の画素点で共同で構成されるものであることに注意されたく、以下で開示される各実施例においていずれも３次元画像を例とするので、ボクセルポイントで記述することになり、詳細は再度説明しない。画像処理のための被処理画像の数量も本開示の実施例で制限されるものではなく、１枚であってもよいし、複数枚であってもよく、実際の状況に応じて決定すればよい。
ただし、本開示の実施例の画像処理方法は、肺画像の処理に利用可能であり、例えば、肺画像における目標領域を認識することに利用可能であり、この目標領域は、肺画像における血管樹であってもよく、肺画像における他の器官、病巣、組織等であってもよい。可能な一実現形態では、本開示の実施例の画像処理方法は、肺癌病巣切除手術過程に利用可能であり、本開示の実施例の画像処理方法によって切除領域を決定することができ、一例において、本開示の実施例の画像処理方法は、肺血管関連疾病の診断に利用可能であり、本開示の実施例の画像処理方法によって、肺の血管樹の視覚的形態の３次元空間における変化を決定して、医者による関連疾病の診断を支援することができる。
本開示の実施例の画像処理方法は肺画像処理への応用に限定されなく、いかなる画像処理にも利用可能であることに注意されたく、一例において、本開示の実施例の画像処理方法は他の器官又は組織内の血管構造の分割に利用可能であり、一例において、本開示の実施例の画像処理方法は他の器官又は組織内の病巣の分割に利用可能であり、本開示はそれについて限定しない。
本開示の実施例の画像処理方法は、被処理画像に対して特徴抽出を行ってから分割処理を行って初歩的な分割結果を得、この初歩的な分割結果に基づいて、その中に含まれる構造情報を用いて構造再構成を行うことにより被処理画像における目標対象物の最終分割結果を得る過程によって、初歩的な分割結果に基づいて構造再構成を行って最終的な分割結果が得られ、直接分割処理によって分割結果が得られることに比べると、初歩的な分割結果を更に精細に補正することができるため、最終分割結果により正確な構造化情報を含め、更に分割結果の完全性と正確性を高めて、画像処理の精度を高くすることができる。
ステップＳ１１の実現形態は、限定されるものではなく、被処理画像の特徴を抽出できるいかなる方法をステップＳ１１の実現形態としてもよい。可能な一実現形態では、完全な被処理画像から直接抽出して出力結果を中間処理画像としてよい。図２は本開示の一実施例による画像処理方法のフローチャートを示し、図に示すように、可能な一実現形態では、ステップＳ１１は、
被処理画像を所定の方向に切り割って、複数の被処理部分画像を得るステップＳ１１１と、
各被処理部分画像に対して特徴抽出を行って、各被処理部分画像にそれぞれ対応する中間処理部分画像を得るステップＳ１１２と、
所定の方向に沿って全ての中間処理部分画像を繋ぎ合わせて、中間処理画像を得るステップＳ１１３と、を含んでよい。
上記過程において、被処理画像を切り割る所定の方向は、限定されるものではなく、実際の状況に応じて決定可能であり、ここで限定しない。可能な一実現形態では、被処理画像は、矢状面方向ｘ、冠状面方向ｙ及び軸方向ｚの合計３つの方向を含む３次元画像であってよく、一例において、所定の方向が軸方向であるｚ方向であってよく、この時に被処理画像をｚ方向に沿って切り割って複数の対応する３次元被処理部分画像を得るようにしてよく、一例において、所定の方向が矢状面方向であるｘ方向であってよく、この時に被処理画像をｘ方向に沿って切り割って複数の対応する３次元被処理部分画像を得るようにしてよい。可能な一実現形態では、被処理画像は矢状面方向ｘと冠状面方向ｙの合計２つの方向を含む２次元画像であってよく、一例において、所定の方向が矢状面方向であるｘ方向であってよく、この時に被処理画像をｘ方向に沿って切り割って複数の対応する２次元被処理部分画像を得るようにしてよく、一例において、所定の方向が冠状面方向であるｙ方向であってよく、この時に被処理画像をｙ方向に沿って切り割って複数の対応する２次元被処理部分画像を得るようにしてよく、一例において、所定の方向が矢状面方向であるｘ方向と冠状面方向であるｙ方向を同時に含んでよく、この時に被処理画像をｘ方向とｙ方向に沿って同時に切り割って複数の対応する２次元被処理部分画像を得るようにしてよい。
切り割って得られる複数の被処理部分画像は、数量や大きさが限定されるものではなく、実際の切り割り手法及び切り割られる被処理画像の大きさに応じて決定可能であり、ここで具体的な数値について制限を加えない。
上記ステップでは、特徴抽出手法も限定されなく、可能な一実現形態では、ニューラルネットワークによって特徴抽出を実現してよい。ニューラルネットワークによって特徴を抽出する時に、具体的にどのようなニューラルネットワークを使用するかについてはここで限定せず、実際の状況に応じて柔軟的に選択可能である。可能な一実現形態では、３Ｄ畳み込みニューラルネットワークによって特徴抽出を実行してよく、一例において、３Ｄ畳み込みニューラルネットワークによって被処理部分画像に対して特徴抽出を行う具体的な過程は、被処理部分画像を１つのシングルチャンネルボクセルブロックとして３Ｄ畳み込みニューラルネットワークに入力し、３Ｄ畳み込みニューラルネットワークによる処理を介して対応する出力結果、即ち入力された被処理部分画像と同じ大きさの２チャンネルテンソルを得ることができ、２つのチャンネルの一方が各ボクセルポイントが背景に属する確率を表し、２つのチャンネルの他方が各ボクセルポイントが目標対象物に属する確率を表す。３Ｄ畳み込みニューラルネットワークに様々な可能な実現形態が考えられるので、本開示の実施例では、具体的にどの具体的な３Ｄ畳み込みニューラルネットワークを使用するかについても限定せず、実際の状況に応じて決定可能であり、本開示の実施例で提供された例によって限定されることがない。一例において、特徴抽出を行う３Ｄ畳み込みニューラルネットワークは、Ｕｎｅｔ＋＋ネットワークであってよく、図３は本開示の一実施例によるＵｎｅｔ＋＋ネットワークの構造模式図を示し、図に示すように、一例において、Ｕｎｅｔ＋＋ネットワークを利用すれば、複数回のダウンサンプリン及び対応するアップサンプリング過程、スキップ接続過程によって、解像度が異なるマルチスケールの多層出力を生成することができ、これらの多層出力を結合すれば、最終的に確率マップとして存在する特徴抽出結果を得ることができる。一例において、特徴抽出を行う３Ｄ畳み込みニューラルネットワークは、ＲｅｓＶＮｅｔネットワークであってよく、図４は本開示の一実施例によるＲｅｓＶＮｅｔネットワークの構造模式図を示し、図に示すように、一例において、ＲｅｓＶＮｅｔネットワークを利用すれば、上記例と異なるダウンサンプリングおよびアップサンプリング過程によって、このネットワークに適応するスキップ接続過程と合わせて、解像度が異なるマルチスケールの多層出力を生成することができ、これらの多層出力を結合すれば、最終的に確率マップとして存在する特徴抽出結果を得ることができる。
被処理画像を切り割って複数の被処理部分画像を得てから、各被処理部分画像に対してそれぞれ特徴抽出を行い、続いて特徴抽出で得られた複数の中間処理部分画像を所定の方向に沿って繋ぎ合わせることにより対応する中間処理画像を得る過程によって、被処理画像が大き過ぎる時に、被処理画像を複数の適切な大きさの被処理部分画像に切り割って、特徴抽出のための入力画像の大きさを効果的に低減し、大き過ぎる入力画像のせいで特徴抽出結果の正確性が低下する確率を低くし、特徴抽出の精度を高め、得られる中間処理画像に高い正確性を持たせ、更に画像処理全過程の精度を高めることができると共に、大き過ぎる被処理画像によるメモリ不足の確率を低くし、メモリ消費を効果的に低減することができる。
以上で開示された実施例に記載したように、ステップＳ１１１で得られる複数の被処理部分画像は、数量や大きさがいずれも限定されるものではなく、実際の切り割り状況に応じて決定可能である。実際には、ステップＳ１１１の具体的な実現形態も限定されなく、即ち、被処理画像を切り割る手法はある決まった手法に限定されなく、被処理画像におけるいかなる画像情報も損失させない切り割り方法であれば、ステップＳ１１１の実現形態とすることができる。
可能な一実現形態では、ステップＳ１１１の実現形態は、非冗長切り割りであってよく、この時にステップＳ１１１は、被処理画像において複数の切り割り中心を決定することと、切り割り中心の位置に応じて、被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることであって、切り割り中心のそれぞれは、対応する被処理部分画像の中心に位置し、隣接する被処理部分画像の間には重畳領域がないことと、を含んでよい。この時に、これらの被処理部分画像を所定の方向に順に繋ぎ合わせれば、最初の完全な被処理画像に復することができる。このような非冗長切り割り過程で、切り割り中心の数量は限定されるものではなく、実際の状況に応じて柔軟的に選択可能であり、即ち、最終的に得られる被処理部分画像の数量が限定されるものではない。切り割って得られる複数の被処理部分画像は、所定の方向の長さが同じであってもよいし、異なっていてもよく、即ち、切り割る時に、被処理画像を平均に切り割ってもよく、被処理画像を非平均に切り割ってもよい。
可能な一実現形態では、ステップＳ１１１の実現形態は、冗長切り割りであってよく、この時にステップＳ１１１は、被処理画像において複数の切り割り中心を決定することと、切り割り中心の位置に応じて、被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることであって、切り割り中心のそれぞれは、対応する被処理部分画像の中心に位置し、隣接する被処理部分画像の間には重畳領域があることと、を含んでよい。この時に、これらの隣接する被処理部分画像を所定の方向に繋ぎ合わせれば、完全な被処理画像が得られることに加えて、この完全な被処理画像においていずれか２つの隣接する被処理部分画像間に余分な画像ブロックが見られる。このような冗長切り割り過程で、切り割り中心の数量は限定されるものではなく、実際の状況に応じて柔軟的に選択可能であり、即ち、最終的に得られる被処理部分画像の数量が限定されるものではない。それに加えて、このような冗長切り割り過程で、切り割って得られる複数の被処理部分画像は、所定の方向の長さが同じであってもよいし、異なっていてもよく、即ち、切り割る時に、被処理画像を平均に切り割ってもよく、被処理画像を非平均に切り割ってもよい。
図５は本開示の一実施例による冗長切り割りの過程の模式図を示し、図に示すように、一例において、切り割られる被処理画像が３次元画像であり、その大きさをｚ×ｘ×ｙと記してよく、この例において冗長切り割りの特定方向がｚ方向であり、この被処理画像を平均に切り割ることになり、図から分かるように、この被処理画像を切り割る具体的な過程は、まずこの被処理画像において３つの切り割り中心を特定し、続いてｚ方向に沿って、それぞれこれらの３つの切り割り中心から上方および下方の２４個ずつのボクセルポイントの長さで切り割って、隣接する位置に重畳領域がある３つの被処理部分画像が最終的に得られ、各被処理部分画像の大きさが４８×ｘ×ｙであり、一番目の被処理部分画像と二番目の被処理部分画像の間に８×ｘ×ｙの大きさの重畳領域があり、二番目の被処理部分画像と三番目の被処理部分画像の間にも８×ｘ×ｙの大きさの重畳領域があるようになってよい。
被処理画像を冗長切り割りの手法によって切り割ることによって、被処理画像を切り割ることに起因して一部の目標対象物関連画像情報が損失する確率をある程度に低くして、得られる特徴抽出結果の完全度と正確度を高め、更に最終的に得られる分割結果の精度と完全度を高め、即ち画像処理精度を高めることができる。可能な一実現形態では、冗長切り割りと非冗長切り割りの両方を組み合わせてよく、即ち、実際の状況に応じて、被処理画像の一部の領域に冗長切り割りを採用し、残りの領域に非冗長切り割りを採用するように柔軟的に選択可能である。
ステップＳ１１１は実現形態が限定されるものではないため、それに対応するステップＳ１１３も実現形態が限定されるものでもなく、ステップＳ１１１の具体的な実現過程に従って決定可能である。可能な一実現形態では、ステップＳ１１１には切り割り手法として非冗長切り割りが採用されることがあり、この時に、それに対して、ステップＳ１１３の実現過程は、全ての中間処理部分画像を所定の方向に順に繋ぎ合わせ、中間処理画像を得るようになってよい。可能な一実現形態では、ステップＳ１１１には切り割り手法として冗長切り割りが採用されることがあり、この時に、それに対して、ステップＳ１１３の実現過程は、全ての中間処理部分画像を所定の方向に順に繋ぎ合わせ、ただし、隣接する中間処理部分画像間の重畳領域について、対応する２つの隣接する中間処理部分画像の平均値をその重畳領域の値とするようになってよい。一例において、上記図５に対応する例の切り割り結果については、繋ぎ合わせ過程は、図に示すように、切り割って得られた３つの被処理部分画像に対してそれぞれ特徴抽出を行って３つの対応する中間処理部分画像を得、これらの３つの中間処理部分画像をそれぞれ中間処理部分画像１、中間処理部分画像２及び中間処理部分画像３と記し、ｚ方向に沿って３つの中間処理部分画像を順に繋ぎ合わせるようになってよく、それに応じて、中間処理部分画像１と中間処理部分画像２の間に重畳領域があるようになり、重畳領域１と記し、中間処理部分画像２と中間処理部分画像３の間に重畳領域があるようになり、重畳領域２と記し、これらの３つの中間処理部分画像がいずれも確率マップで表されてよいので、重畳領域１は、その確率値として中間処理部分画像１のこの領域における確率値と中間処理部分画像２のこの領域における確率値との平均値を取ってよく、重畳領域２は、その確率値として中間処理部分画像２のこの領域における確率値と中間処理部分画像３のこの領域における確率値との平均値を取ってよく、非重畳領域は、その確率値としてこの領域に対応する中間処理部分画像の確率値を直接採用すればよく、この時に被処理画像全体に対応する中間処理画像が得られ、この中間処理画像が確率マップとして存在する。
以上で開示された各実施例に加えて、ステップＳ１１の過程において、ステップＳ１１１の前に、被処理画像を所定の方向以外の方向に、特定パラメータに基づいて縮小拡大処理することを更に含んでもよい。特徴抽出がニューラルネットワークによって実現されることがあるので、特徴抽出の処理効率を高くするために、被処理画像をサイズ上で統一することが考えられ、従って、被処理画像を縮小拡大処理してよく、ニューラルネットワークに入力される被処理部分画像が被処理画像を所定の方向に切り割って得られたものであるので、これらの被処理部分画像については、その所定の方向の大きさを切り割り手法を調整することによって統一することができるので、ステップＳ１１１の前に、被処理画像を所定の方向以外の方向のみに縮小拡大することが考えられる。一例において、被処理画像は、矢状面方向ｘ、冠状面方向ｙ及び軸方向ｚの合計３つの方向を含む３次元画像であってよく、所定の方向が軸方向であるｚ方向であってよく、この時にｘ方向とｙ方向に被処理画像を特定パラメータに基づいて縮小拡大してよい。一例において、被処理画像は、矢状面方向ｘと冠状面方向ｙの合計２つの方向を含む２次元画像であってよく、所定の方向が矢状面方向であるｘ方向であってよく、この時にｙ方向に被処理画像を特定パラメータに基づいて縮小拡大してよい。特定パラメータは実際の状況に応じて柔軟的に決定可能であり、ここで限定されるものではなく、後続の特徴抽出に適応する特定パラメータになるように被処理画像を縮小拡大できるものであれば、本方法に適用することができる。一例において、被処理画像は、矢状面方向ｘ、冠状面方向ｙ及び軸方向ｚの合計３つの方向を含む３次元画像であってよく、所定の方向が軸方向であるｚ方向であってよく、特定パラメータは、ｘ方向において１６の倍数になり、ｙ方向においても１６の倍数になってよく、この時にｘ方向とｙ方向に被処理画像を特定パラメータに基づいて縮小拡大してよく、即ち被処理画像をｘ方向とｙ方向に１６の整数倍に切り上げる。
以上で開示された実施例から分かるように、画像処理方法において特徴抽出を行う必要があるので、可能な一実現形態では、特徴抽出はニューラルネットワークによって実現されてよく、ニューラルネットワークの具体的なネットワーク構造を得るには、トレーニングすることが必要である。従って、本開示の実施例で提案された方法では、ステップＳ１１の前に、ニューラルネットワークをトレーニングするステップＳ１０を更に含んでもよく、Ｓ１０の具体的な実現形態は限定されるものではなく、図６は本開示の一実施例による画像処理方法のフローチャートを示し、図に示すように、可能な一実現形態では、ステップＳ１０は、
トレーニングサンプルデータセットを取得するステップＳ１０１と、
トレーニングサンプルデータセットに基づいて、特徴抽出のためのニューラルネットワークをトレーニングするステップＳ１０２と、を含んでよい。
ただし、ステップＳ１０１の実現形態は限定されるものではなく、図７は本開示の一実施例による画像処理方法のフローチャートを示し、図に示すように、可能な一実現形態では、ステップＳ１０１は、
生データを補正して、補正ラベル付きデータを得るステップＳ１０１１と、
補正ラベル付きデータに基づいてトレーニングサンプルデータセットを得るステップＳ１０１２と、を含んでよい。
可能な一実現形態では、生データは、従来のニューラルネットワークにおけるトレーニングデータの生成方法によって生成したマスクｍａｓｋラベル付きデータであってよく、一例において、目標対象物が肺の血管樹である時に、肺の血管の関係が複雑であるので、従来のニューラルネットワークにおけるトレーニングデータの生成方法によって生成した生データは品質が一般に低く、最終的に得られるトレーニング済みのニューラルネットワークの精確度に影響する。従って、可能な一実現形態では、生データを補正してラベル付きデータを取得する手法によってトレーニングデータの品質を高めるようにしてよく、一例において、ステップＳ１０１１の実現形態は、従来の方法でｍａｓｋラベル付きデータを生成してから、当業者によって手動で補正して、精度の高いトレーニングに利用可能なラベル付きデータを得るようになってよく、ただし、従来の方法でｍａｓｋラベル付きデータを生成する実現形態は限定されるものではなく、一例において、ｍａｓｋラベル付きデータを生成する時にｍａｓｋ閾値を０．０２に設定してよく、この閾値よりも高いボクセルポイントを前景とし、１をラベルとして付け、この閾値よりも低いボクセルポイントを背景とし、０をラベルとして付ける。可能な一実現形態では、ステップＳ２４によってトレーニングサンプルデータセットを取得する時に、トレーニングサンプルデータセットにおけるデータ値の範囲を限定してよく、具体的な限定方式が制限されなく、一例において、トレーニング際の数値範囲を［−０．５，０．５］に限定してよい。
ステップＳ１０１２の実現形態も限定されるものではなく、可能な一実現形態では、補正ラベル付きデータは複数の完全なトレーニングサンプル画像を含んでよく、補正ラベル付きデータに含まれる完全なトレーニングサンプル画像の数量はここで限定されるものではなく、実際の状況に応じて柔軟的に選択可能である。可能な一実現形態では、完全なトレーニングサンプル画像は、目標対象物が補正ラベル付けられた完全な肺画像を含んでよく、一例において、目標対象物が血管樹であってよく、この時の完全なトレーニングサンプル画像は、血管樹が補正ラベル付けられた肺画像を含んでよく、且つこの肺画像は切り割られておらず、最初の完全な画像となる。
従って、可能な一実現形態では、ステップＳ１０１２は、全ての完全なトレーニングサンプル画像をそのままトレーニングサンプルデータセットとすることを含んでよい。しかしながら、以上で開示された各実施例から分かるように、特徴抽出の対象が肺画像を切り割ってから得られた肺部分画像である可能性があるので、特徴抽出のためのニューラルネットワークに入力される画像は、肺部分画像、即ち完全な肺画像に基づいて切り割ってから得られた肺部分画像であってもよい。ニューラルネットワークを切り割られた肺部分画像に対する特徴抽出に適したものするために、可能な一実現形態では、ニューラルネットワークをトレーニングするためのトレーニングサンプルデータセットに含まれる画像は、完全なトレーニングサンプル画像を切り割ってから得られたトレーニングサンプル部分画像であってもよい。従って、可能な一実現形態では、ステップＳ１０１２は、完全なトレーニングサンプル画像を切り割って、トレーニングサンプル部分画像を得てトレーニングサンプルデータセットとすることを含んでよい。一例において、完全なトレーニングサンプル画像を切り割って、トレーニングサンプル部分画像を得ることは、
完全なトレーニングサンプル画像を所定の方向以外の方向に沿って所定の大きさに縮小拡大し、完全なトレーニングサンプル画像の大きさを所定の方向に変わらないように保持して、完全なトレーニングサンプル画像のサイズを統一して、縮小拡大後の完全なトレーニングサンプル画像を得ることを含んでよい。
全ての縮小拡大した完全なトレーニングサンプル画像を所定の方向にカスケード接続して、カスケード接続トレーニングサンプル画像を得る。
カスケード接続トレーニングサンプル画像に対してランダムにサンプリングして切り割って、トレーニングサンプル部分画像を得る。
可能な一実現形態では、完全なトレーニングサンプル画像を縮小拡大する所定の大きさは、具体的なサイズ値が限定されるものではなく、一例において、完全なトレーニングサンプル画像は矢状面方向ｘ、冠状面方向ｙ及び軸方向ｚの合計３つの方向を含む３次元画像であってよく、ここで、所定の方向がｚ方向であり、矢状面方向ｘと冠状面方向ｙに沿った縮小拡大の所定の大きさがいずれも３２０であるので、サイズがｚ×ｘ×ｙの完全なトレーニングサンプル画像をｘ方向およびｙ方向に縮小拡大してよく、得られた縮小拡大後の完全なトレーニングサンプル画像の大きさがｚ×３２０×３２０になる。
一例において、全ての縮小拡大後の完全なトレーニングサンプル画像を所定の方向にカスケード接続して、カスケード接続トレーニングサンプル画像を得る過程は以下のようになってよい。本開示の例において、完全なトレーニングサンプル画像の数量が合計ｎ個であり、これらのｎ個の完全なトレーニングサンプル画像を上記例によって縮小拡大して、大きさがそれぞれｚｉ×３２０×３２０となるｎ個のボクセルブロック、即ちｎ個の縮小拡大後の完全なトレーニングサンプル画像が得られ、ここで、ｚｉがｉ番目の完全なトレーニングサンプルのｚ方向のサイズを表し、ｉとして１〜ｎの値を取る。これらのｎ個のボクセルブロックをｚ方向にカスケード接続して、次元がｎ×ｚ×３２０×３２０のカスケード接続ボクセルブロックが得られることになり、これらのｎ個の縮小拡大後の完全なトレーニングサンプル画像のｚ方向のサイズに基づいて、ｚ方向にランダムにサンプリングする時にｚ方向に選択可能な数値範囲を決定することができる。
上記カスケード接続トレーニングサンプル画像が得られた後、カスケード接続トレーニングサンプル画像に対してランダムにサンプリングして切り割って、トレーニングサンプル部分画像を得るようにしてよく、一例において、得られたカスケード接続トレーニングサンプル画像が上記開示例におけるカスケード接続トレーニングサンプルとなり、この時にｚ軸に沿ってカスケード接続トレーニングサンプル画像に対してランダムにサンプリングしてよく、ランダムサンプリング過程がランダムに行われるが、最終的に得られる全てのトレーニングサンプル部分画像に全てのラベル付きデータに対応する完全なトレーニングサンプル画像内のトレーニングデータが含まれ得ることが要求されることに注意されたく、一例において、サンプリング過程は、まず乱数値計算によって整数ｊを生成し、この整数ｊがカスケード接続トレーニングサンプル画像からｊ番目の縮小拡大後の完全なトレーニングサンプル画像を選定することを表し、続いてｊ番目の縮小拡大後の完全なトレーニングサンプル画像のｚ軸方向において、サンプリング中心の座標をランダムに計算し、このランダムのサンプリング中心の座標に基づいて、このｊ番目の縮小拡大後の完全なトレーニングサンプル画像から所定の高さ値のボクセルブロックを切り抜き、一例において、この所定の高さ値が１６であるようになってよい。
以上で開示された各実施例によれば、トレーニングサンプルデータセットを得ることができ、得られたトレーニングサンプルデータセットに基づいて、ステップＳ１０２で特徴抽出のためのニューラルネットワークをトレーニングすることができ、ステップＳ１０２の実現形態も限定されるものではなく、図８は本開示の一実施例による画像処理方法のフローチャートを示し、図に示すように、可能な一実現形態では、ステップＳ１０２は、
トレーニングサンプルデータセットと予め設定された重み係数に基づいて、ニューラルネットワークのグローバル損失と偽陽性ペナルティ損失をそれぞれ取得するステップＳ１０２１と、
グローバル損失と偽陽性ペナルティ損失に基づいて、ニューラルネットワークの損失関数を決定するステップＳ１０２２と、
損失関数逆伝播により、ニューラルネットワークをトレーニングするステップＳ１０２３と、を含んでよい。
ステップＳ１０２１の実現形態は限定されるものではなく、可能な一実現形態では、ステップＳ１０２１の実現形態は、トレーニングサンプルデータセットと第１重み係数に基づいて、ニューラルネットワークのグローバル損失を得ることと、トレーニングサンプルデータセット、第１重み係数および第２重み係数に基づいて、ニューラルネットワークの偽陽性ペナルティ損失を得ることと、を含んでよい。
可能な一実現形態では、トレーニングサンプルデータセットと第１重み係数に基づいて、ニューラルネットワークのグローバル損失を得ることは、第１重み係数を調整して、目標対象物の損失重みを増加することで、ニューラルネットワークのグローバル損失を得ることを含んでよい。一例において、ニューラルネットワークのグローバル損失の具体的な実現形態は以下のようになってよい。
Figure 2022502739
 ただし、Ｌ１（Ｗ）はニューラルネットワークのグローバル損失であり、Ｙ＋は正サンプルセットであり、Ｙ−は負サンプルセットであり、Ｐ（ｙｊ＝１｜Ｘ；Ｗ）はｙｊが正サンプルに属すると予測する確率値であり、Ｐ（ｙｊ＝０｜Ｘ；Ｗ）はｙｊが負サンプルに属すると予測する確率値である。
目標対象物が前景として、肺画像全体で占める比率が小さいため、一般のグローバル損失関数を採用すれば、前景背景比率の不平衡により、ニューラルネットワーク全体が画像に対して特徴抽出を行う時にオーバーセグメンテーションが発生しやすく、Ｙ＋とＹ−といった２つの第１重み係数を導入することで、比率が小さい目標対象物による損失に更に大きい重みを付与すると共に、上記開示例におけるグローバル損失関数を採用することで、トレーニングデータセットの具体的な大きさを問わず、目標対象物と背景との間の平衡化過程が数値的に安定していることを保証し、即ちトレーニング過程の勾配安定性を高めることができる。
可能な一実現形態では、トレーニングサンプルデータセット、第１重み係数および第２重み係数に基づいて、ニューラルネットワークの偽陽性ペナルティ損失を得ることは、第１重み係数を基に第２重み係数を導入することによって、ニューラルネットワークの間違った予測を懲罰するための偽陽性ペナルティ損失を得ることを含んでよい。一例において、偽陽性ペナルティ損失の具体的な実現形態は、以下のようになってよい。
Figure 2022502739
 ただし、Ｌ２（Ｗ）はニューラルネットワークの偽陽性ペナルティ損失であり、Ｙｆ＋は偽陽性予測セットであり、Ｙｆーは偽陰性予測セットであり、Ｙ＋は正サンプルセットであり、Ｙ−は負サンプルセットであり、Ｐ（ｙｊ＝１｜Ｘ；Ｗ）はｙｊが正サンプルに属すると予測する確率値であり、Ｐ（ｙｊ＝０｜Ｘ；Ｗ）はｙｊが負サンプルに属すると予測する確率値であり、γ１は偽陽性予測の重み係数であり、γ２は偽陰性予測の重み係数であり、γ１とγ２の値は間違った予測の確率と中間値との差の絶対値に依存するものであり、中間値の値はタスクの種類に応じて柔軟的に決定可能であり、本開示の例において、中間値は０．５を取る。
上記開示例から分かるように、目標対象物が前景として、肺画像全体で占める比率が小さいため、一般のグローバル損失関数を採用すれば、前景背景比率の不平衡により、ニューラルネットワーク全体が画像に対して特徴抽出を行う時にオーバーセグメンテーションが発生しやすいので、ニューラルネットワークによるトレーニング過程で生成する予測結果に一般に高い偽陽性率と低い再現率が考えられ、偽陽性率が高く再現率が低いという問題を低減するために、γ１とγ２といった２つの第２重み係数を導入することによって、ニューラルネットワークの間違った予測を懲罰して、ニューラルネットワークの予測過程での偽陽性率を低くして、ニューラルネットワークのトレーニング正確度を高めることができる。
上記開示例によれば、可能な一実現形態では、ステップＳ１０２２の実現形態は、グローバル損失の関数と偽陽性ペナルティ損失の関数を加算することによって、ニューラルネットワークの損失関数、即ちＬ（Ｗ）＝Ｌ１（Ｗ）＋Ｌ２（Ｗ）を得るようになってよく、ただし、Ｌ（Ｗ）がニューラルネットワークの損失関数である。
ニューラルネットワークをトレーニングする過程では、上記損失関数によってニューラルネットワークのパラメータを調整することに加えて、いくつかの評価関数によってトレーニングされたニューラルネットワークの優劣を評価してもよく、具体的にはどのような評価関数を用いるかについては限定せず、実際の状況に応じて柔軟的に選択可能であり、可能な一実現形態では、Ｄｉｃｅ関数を評価関数としてよく、一例において、Ｄｉｃｅ関数は具体的に以下の式で表す。
Figure 2022502739
 ただし、Ｄは評価結果であり、Ｖは肺画像における全てのボクセルポイントを表し、ｐｉはｉ番目のボクセルポイントが目標対象物として予測される確率であり、ｌｉはｉ番目のボクセルポイントの実際のラベルである。
トレーニングサンプルデータセットと予め設定された重み係数に基づいて、ニューラルネットワークのグローバル損失と偽陽性ペナルティ損失をそれぞれ取得し、更にグローバル損失と偽陽性ペナルティ損失に基づいてニューラルネットワークの損失関数を決定し、最後に損失関数逆伝播によりニューラルネットワークをトレーニングすることによって、目標対象物が画像全体で占める比率が小さいことに起因してトレーニングして得られるニューラルネットワークの偽陽性率が高く再現率が低いという問題を効果的に低減することができるので、トレーニングして得られるニューラルネットワークの正確度を高めて、被処理画像に対して特徴抽出を行って得られる中間処理画像の精度を高め、更に最終分割結果の精度を高め、画像処理の正確性を高めることができる。
以上で開示された各実施例を任意に組合せた形態によって中間処理画像を取得した後、ステップＳ１２によって中間処理画像を分割処理して第１分割結果を得るようにしてよい。ステップＳ１２の実現形態も限定されるものではなく、中間処理画像を分割して第１分割結果を得ることができるものであれば、ステップＳ１２の実現形態としてよい。
可能な一実現形態では、ステップＳ１２は、深層学習フレームワークによってグラフィックプロセッサで実現されるＧｒｏｗ Ｃｕｔにより、前記中間処理画像に対して分割処理を行って、第１分割結果を得ることを含んでよい。Ｇｒｏｗ Ｃｕｔは、インタラクティブな画像分割方法であり、一例において、Ｇｒｏｗ Ｃｕｔを用いて中間処理画像を分割して第１分割結果を得る具体的な過程は、以下のようになってよい。
まず、Ｇｒｏｗ Ｃｕｔ方法におけるシードポイントの高閾値と低閾値を設定してよく、具体的な設定値はここで限定されなく、実際の状況に応じて選択してよい。シードポイントの高閾値、低閾値が設定された後、低閾値以下の点を目標対象物の所在する領域でない背景領域を表す背景シードポイントとしてよく、０をラベルとして付け、高閾値以上の点を目標の所在する領域を表す前景シードポイントとしてよく、１をラベルとして付け、シードポイントの強度値を１に設定してよく、なお、中間処理画像が２チャンネルテンソルであってよく、２つのチャンネルの一方が各ボクセルポイントが背景に属する確率を表し、２つのチャンネルの他方がボクセルポイントが目標対象物に属する確率を表すことは以上で開示された実施例によって説明されたので、上記設定によって、中間処理画像における各ボクセルポイントの２チャンネル初期状態ベクトルを得ることができる。
中間処理画像における各ボクセルポイントの２チャンネル初期状態ベクトルが得られた後、隣近範囲ｗｉｎｄｏｗ ｓｉｚｅを設定し、シードポイントを起点として順に隣近点状態を比較し、以下の条件を満たすか否かを判断するようにしてよい。
Figure 2022502739
 ただし、ｐは保護者を表すボクセルポイントであり、ｑは侵入者を表すボクセルポイントであり、
Figure 2022502739
 は保護者を表すボクセルポイントの特徴ベクトルであり、
Figure 2022502739
 は侵入者を表すボクセルポイントの特徴ベクトルであり、
Figure 2022502739
 は侵入者を表すボクセルポイントと保護者を表すボクセルポイントとの間の特徴ベクトルの距離であり、θｐ ｔは保護者を表すボクセルポイントのエネルギー値であり、θｑ ｔは侵入者を表すボクセルポイントのエネルギー値であり、ｇ（ｘ）は［０，１］の範囲におけるｘに従って単調に減少する関数であり、且つ上記形式に限定されるものではなく、
Figure 2022502739
 はボクセルポイントの特徴ベクトルの取れる最大値である。
以上の条件を満たした場合に、侵入者を表すボクセルポイントの有するエネルギーが保護者を表すボクセルポイントの有するエネルギーよりも大きく、この時、侵入者を表すボクセルポイントが保護者を表すボクセルポイントを併呑でき、対応する画素点の特徴ベクトルが更新され得る。各ボクセルポイントの特徴ベクトルがいずれも変化しなくなるまで、この比較過程を繰り返すれば、この時に得られた結果がＧｒｏｗ Ｃｕｔによる中間処理画像の分割結果、即ち第１分割結果となり、本開示の実施例では、目標対象物として分割されたボクセルポイントを保護者を表すボクセルポイントと見なし、背景として分割されたボクセルポイントを侵入者を表すボクセルポイントと見なしてよく、シードポイントが選定された後、分割の起点ボクセルポイントとして目標対象物を表すあるボクセルポイントを選定し、続いて設定された隣近範囲に応じて、シードポイントまでの距離が隣近範囲にあるボクセルポイントを選定し、これらの点をシードポイントの隣近点と見なしてよく、上記式によってシードポイントと比較して、隣近範囲内のボクセルポイントが保護者を表すボクセルポイントと区分されるか、侵入者を表すボクセルポイントと区分されるか、即ち、目標対象物を表すボクセルポイントとされるか、背景を表すボクセルポイントとされるかを判断し、中間処理画像全体の分割が完了して第１分割結果が得られるまで、上記過程を繰り返すようにしてよい。
可能な一実現形態では、Ｇｒｏｗ Ｃｕｔは中央処理装置ＣＰＵによって実現され得る。しかし、上記開示例から分かるように、可能な一実現形態では、Ｇｒｏｗ Ｃｕｔにより中間処理画像を分割する過程における具体的な計算過程は、実現時に畳み込み演算で実現されてよく、Ｇｒｏｗ Ｃｕｔにおいて畳み込み演算により計算すると、深層学習フレームワークを使用でき、一例において、この深層学習フレームワークがＰｙＴｏｒｃｈであってよく、Ｇｒｏｗ Ｃｕｔ全過程をグラフィックプロセッサＧＰＵにより処理すれば、ＧＰＵが画像処理においてより高い演算速度を有するので、Ｇｒｏｗ Ｃｕｔにより中間処理画像を分割処理する時に、Ｇｒｏｗ Ｃｕｔを深層学習フレームワークによってＧＰＵ中で実現することによって、ステップＳ１２の速度を大幅に高めて画像処理方法全体の速度を効果的に高めることができる。
可能な一実現形態では、第１分割結果を得るために、他のアルゴリズムによって中間処理画像を分割してもよく、ここで例を一つ一つ挙げなく、実際の状況に応じて柔軟的に選択すればよい。
以上で開示された各実施例を任意に組合せた形態によって第１分割結果が得られた後、ステップＳ１３によって第１分割結果に対して構造再構成を行って、被処理画像における目標対象物の最終分割結果を得るようにしてよい。ステップＳ１３の実現形態も限定されるものではなく、第１分割結果に基づいて構造補正を行って目標対象物の最終分割結果を得ることができるものであれば、ステップＳ１３の実現形態としてよい。
図９は本開示の一実施例による画像処理方法のフローチャートを示し、図に示すように、可能な一実現形態では、ステップＳ１３は、
第１分割結果に対して中心抽出を行って、中心領域画像、及び中心領域画像における全ボクセルポイントと第１分割結果における目標対象物の境界との間の距離フィールド値のセットである距離フィールド値セットを得るステップＳ１３１と、
中心領域画像に基づいて、目標対象物の第１トポロジ構造マップを生成するステップＳ１３２と、
第１トポロジ構造マップに対して接続処理を行って、第２トポロジ構造マップを得るステップＳ１３３と、
距離フィールド値セットに基づいて、第２トポロジ構造マップに対して構造再構成を行って、被処理画像における目標対象物の最終分割結果を得るステップＳ１３４と、を含んでよい。
ただし、ステップＳ１３１の実現形態は限定されるものではなく、可能な一実現形態では、ステップＳ１３１の実現形態は、以下のようになってよい。第１分割結果に対して中心抽出を行って、目標対象物が第１分割結果で所在する主な位置を反映する中心領域画像を得ることができ、この時に第１分割結果における、中心領域画像における各ボクセルポイントと目標対象物の第１分割結果における境界との間の最短距離を順に計算してよく、中心領域画像における各ボクセルポイントと目標対象物の境界との最短距離をこのボクセルポイントの距離フィールド値と記してよく、全ての中心領域画像におけるボクセルポイントの距離フィールド値を１つのセットに統計し、統計されたセットを距離フィールド値セットと記してよい。
以上で開示された実施例では、第１分割結果に対して中心抽出を行う形態は限定されるものではなく、目標対象物が第１分割結果で所在する主な位置を反映する中心領域画像を得ることができるものであれば、中心抽出の実現形態としてよい。可能な一実現形態では、中間軸変換関数ｍｅｄｉａｌ ａｘｉｓによって第１分割結果に対して中心抽出を行ってよい。一例において、被処理画像の目標対象物が肺画像における血管樹であってよく、この時に本開示の例において、ステップＳ１３１の具体的な過程は、ｍｅｄｉａｌ ａｘｉｓによって第１分割結果に対して中心抽出を行って肺画像内の血管樹の中心線を生成し、この時に中心線における各ボクセルポイントと第１分割結果における血管樹境界との最短距離をそれぞれ統計し、統計結果をセットとして表示し、距離フィールド値セットを得るようになってよい。
ステップＳ１３２の実現形態も限定されるものではなく、中心領域画像のトポロジ構造を統計して第１トポロジ構造マップを生成することができるものであれば、ステップＳ１３２の実現形態としてよい。可能な一実現形態では、ｎｅｔｗｏｒｋｘといったツールによって中心領域画像を処理して、第１トポロジ構造マップを生成してよい。図１０は本開示の一実施例による第１トポロジ構造マップの模式図を示し、図に示すように、一例において、被処理画像の目標対象物が肺画像における血管樹であってよく、この時に図から分かるように、ステップＳ１３２で生成した第１トポロジ構造マップが肺の血管樹のトポロジ構造マップであってよい。
ステップＳ１３３の実現形態も限定されるものではなく、第１トポロジ構造マップをその接続構造に基づいて絞り込んで第２トポロジ構造マップを得ることができるものであれば、ステップＳ１３３の実現形態としてよく、即ち、接続処理の実現形態が限定されるものではなく、第１トポロジ構造マップにおける接続状態に基づいて第１トポロジ構造マップの接続性を適切に補正できるものであれば、接続処理の実現形態としてよい。図１１は本開示の一実施例による画像処理方法のフローチャートを示し、図に示すように、可能な一実現形態では、ステップＳ１３３は、
第１トポロジ構造マップにおける目標対象物に対応する接続領域を抽出するステップＳ１３３１と、
第１トポロジ構造マップにおける接続領域との接続値が接続閾値よりも低いボクセルポイントを除去して、第２トポロジ構造マップを得るステップＳ１３３２と、を含んでよい。
ステップＳ１３３は生成した第１トポロジ構造マップを補正することを主な目的としており、第１トポロジ構造マップに大量のノイズ点がある可能性があるので、正確性がより高く、目標対象物の接続性と完全性を更に反映できる第２トポロジ構造マップを得るために、これらのノイズ点を除去する必要がある。従って、可能な一実現形態では、第１トポロジ構造マップにおける目標対象物の所在する接続領域を統計してよく、これらの孤立弱接続領域がノイズ点となる可能性が高いので、第１トポロジ構造マップにおける孤立弱接続領域を除去して、第２トポロジ構造マップを得るようにしてよい。第１トポロジ構造マップにおけるどの領域が孤立弱接続領域であるかを判断する形態は限定されるものではなく、実際の状況に応じて柔軟的に選択可能であり、可能な一実現形態では、接続閾値を設定してよく、この接続閾値の具体的な値は実際の状況に応じて設定可能であり、ここで限定しない。接続閾値が設定された後、第１トポロジ構造マップにおける各ボクセルポイントと接続領域との間の接続値をそれぞれ計算し、接続閾値と比較するようにしてよく、接続値が接続閾値よりも低いボクセルポイントを弱接続領域と見なしてよく、第１トポロジ構造マップから除去する必要がある。図１２は本開示の一実施例による接続処理の模式図を示し、図に示すように、一例において、被処理画像の目標対象物は肺画像における血管樹であってよく、第１トポロジ構造マップは図１０における模式図であってよく、この時に図１２から分かるように、接続した樹状構造の他に、若干の相対的に孤立した点が存在し、この時にこれらの孤立点を除去してよく、そのように得られたトポロジ構造マップを第２トポロジ構造マップとしてよい。
ステップＳ１３４の実現形態も限定されるものではなく、距離フィールド値セット及び第２トポロジ構造マップに基づいて構造再構成を行えるものであれば、ステップＳ１３４の実現形態としてよい。可能な一実現形態では、ステップＳ１３４は、第２トポロジ構造マップにおける各点を球心とし、距離フィールド値セットにおける各距離フィールド値を半径として描画し、描画されたものに含まれる重畳領域を第２トポロジ構造マップに加え、被処理画像における目標対象物の最終分割結果を得ることを含んでよい。一例において、被処理画像の目標対象物は肺画像における血管樹であってよく、この時に第２トポロジ構造マップは精細化処理をなされた血管樹トポロジマップであってよく、この時にステップＳ１３４の具体的な過程は、精細化処理をなされた血管樹トポロジマップの中心線において各点を球心とし、距離フィールド中に記録された距離を半径として球を描画して、若干の球心の異なる描画球が得られ、これらのそれぞれの描画球間の相互に重畳した領域を統計して、血管樹トポロジマップの中心線と結合して、完全な血管樹構造が得られ、被処理画像における目標対象物の最終分割結果とするようになってよい。
上記構造化再構成の過程は、第１分割結果に基づいて行われるものであり、即ち、合成データではなく、実際データに基づいて構造化再構成を行うことになり、従って、得られた最終分割結果はより高い真実性を有する。また、中心抽出によって第１分割結果の中心領域画像と距離フィールド値セットを取得し、且つこの中心領域画像に基づいて第１トポロジ構造マップを生成し、第１トポロジ構造マップに対して接続処理を行って第２トポロジ構造マップを得る過程は、第１分割結果の接続性を効果的に高め、第１分割結果におけるノイズ点を除去し、第１分割結果を効果的に補正し、得られる最終分割結果の正確性を高めることができ、更に、第２トポロジ構造マップと距離フィールド値セットを用いて目標対象物に対して構造化再構成を行って得られた最終分割結果は目標対象物の各ノードとブランチ情報を効果的に表現することができ、精度が高い。
可能な一実現形態では、ステップＳ１１の前に、被処理画像に対して、再サンプリング、数値限定、及び正規化のうち１つ又は複数を含む前処理を行うことを更に含んでもよい。可能な一実現形態では、前処理の形態は上述したいくつかの可能な実現形態以外に、他の形態を含んでもよく、実際の状況に応じて柔軟的に選択可能であり、画像処理方法全体の精度を高めることができるものであれば、前処理の実現形態としてよい。一例において、被処理画像に対して再サンプリングを行う過程は、線形補間方法を用いて被処理画像の全データを一定の解像度で再サンプリングし、同型解像度にマッピングするようになってよく、一例において、この同型解像度が１ｍｍ ｘ１ｍｍ ｘ１ｍｍであってよい。被処理画像に対して数値限定を行う具体的な限定数値は限定されるものではなく、一例において、被処理画像の最初画像数値限定範囲を［−１５００．０，３００．０］にしてよい。同様に、被処理画像の正規化については、その正規化の結果も限定されるものではなく、一例において、被処理画像を最終的に［０，１］に正規化してよい。
被処理画像を前処理することによって、後で被処理画像に対して特徴抽出、分割処理、及び構造再構成を順に行う処理効率を高め、画像処理全過程の時間を短縮すると共に、画像分割の正確度を高めて画像処理結果の精度を高くすることができる。
（応用シーンの例）
血管樹分割は、医学映像分析の分野において盛んに研究されている課題であり、精確な血管分析は、医学診断、治療計画及び臨床効果評価において非常に重要な研究価値及び応用価値を有している。病巣肺葉切除、肺塞栓等の一般の肺血管疾病の重要な根拠となる肺血管を正確に分割することは肺関連疾病の診断と治療において重要な作用を発揮する。
しかしながら、人体の肺は新陳代謝によって発生されたガスを交換する場所であり、豊富な気管と血管組織を有しており、構造が複雑であり、また、ノイズ、造影及び体積効果等の要因に影響されるため、ＣＴ画像にはコントラストが低く、境界が明らかでない等の問題が存在し、更に、肺の血管動静脈が絡み合って付随しているようになっており、分割難度が更に高くなってしまう。従って、肺画像における血管樹の分割方法はやはり速度が遅く、分割精度が低く境界において誤って判断されることがある等の欠点が存在しており、ある程度の改善を図った方法があるが、肺の縁部領域のオーバーセグメンテーション現象が多く、分割過程で血管樹断裂が発生しやすい等の実際の問題が依然として存在している。
従って、精度が高く分割結果の完全性が強い分割方法は医者の作業量を大幅に減少して、肺関連疾病の治療効果を高めることができる。
図１３は本開示の一応用例による模式図を示し、図に示すように、本開示の実施例において画像処理方法が提供され、図から分かるように、この画像処理方法によって肺画像に対して血管樹分割を行う具体的な過程は、
まず、この例においてサイズがｚ×ｘ×ｙのシングルチャンネル階調画像である完全な３次元肺画像に対してデータ前処理を行ってから、３Ｄニューラルネットワークに入力して特徴抽出を行って、２チャンネルの出力確率マップを得るようになってよく、ただし、２チャンネルの出力確率マップにおいて、１つのチャンネルが各ボクセルポイントが肺血管に属する確率を表し、もう１つのチャンネルが各ボクセルポイントが背景に属する確率を表し、２チャンネルの出力確率マップの大きさがいずれもｚ×ｘ×ｙである。
本開示の例において採用される３Ｄニューラルネットワークは具体的にはＶＮｅｔ畳み込みニューラルネットワークであり、この３次元肺画像に対して畳み込みニューラルネットワークによって特徴抽出を行う具体的な過程は、
まず、大きさがｚ×ｘ×ｙの３次元肺画像を矢状面方向であるｘ方向と冠状面方向であるｙ方向の２つの方向に沿って縮小拡大して、この３次元肺画像をｘとｙの２つの方向にいずれも１６の倍数にし、それぞれｘ’とｙ’と記し、続いて軸方向であるｚ方向に３次元肺画像を切り割るようになってよく、本開示の例において、切り割ることによって得られた各３次元肺部分画像のｚ方向の高さが４８ボクセルになるはずであり、且ついずれか２つの隣接する３次元肺部分画像がｚ方向に８ボクセルの重畳領域を有し、得られた各３次元肺部分画像の大きさがいずれも４８×ｘ’×ｙ’である。
３次元肺画像を切り割った後、得られた各３次元肺部分画像からそれぞれＶＮｅｔ畳み込みニューラルネットワークによって複数の中間処理部分画像を得、これらの中間処理部分画像はいずれも大きさが４８×ｘ’×ｙ’の２チャンネルボクセルブロックであり、２つのチャンネルはそれぞれボクセルポイントが背景および血管樹に属する確率を表す。
これらの中間処理部分画像を３次元肺画像の切り割り方式によって逆方向に繋ぎ合わせ、切り割る時に隣接する３次元肺部分画像がｚ方向に８ボクセルの重畳領域を有するので、これらの中間処理部分画像において、隣接する中間処理部分画像がｚ方向において同様に８ボクセルの重畳領域を有し、この時に、重畳領域のボクセルポイントの確率はそれに対応する２つの中間処理部分画像における対応のボクセルポイントの確率の平均値を取り、残りのボクセルポイントの確率は対応する中間処理部分画像における対応のボクセルポイントの確率の値を取ってよい。
繋ぎ合わせた後の中間処理画像をｘとｙ方向に沿って上述した縮小拡大手法で逆方向へ縮小拡大し、最初の大きさに復し、大きさがｚ×ｘ×ｙの２チャンネルの出力確率マップを得る。
大きさがｚ×ｘ×ｙの２チャンネルの出力確率マップが得られた後、Ｇｒｏｗ Ｃｕｔアルゴリズムによってこの２チャンネルの出力確率マップを分割して、二値化マップを得るようにしてよく、本開示の例において、Ｇｒｏｗ ＣｕｔアルゴリズムはＰｙＴｏｒｃｈフレームワークによってＧＰＵで実現されてよく、即ち確率マップを二値化マップに変換する過程をＧＰＵによって行ってよい。
上記二値化マップが得られた後、ｍｅｄｉａｌ ａｘｉｓによってこの二値化マップを処理して、血管樹の中心線画像を生成すると共に、二値化マップにおける目標対象物を表す各ボクセルポイントのその中心線からの距離フィールド値を記録して、距離フィールド値セットを得るようにしてよい。続いて、生成した血管樹の中心線画像に対してＮｅｔｗｏｒｋＸによって血管樹トポロジ構造を生成し、生成した血管樹トポロジ構造における血管樹の接続領域を統計し、血管樹の縁での孤立弱接続領域のボクセルを除去し、その原因はこの部分がノイズ点である可能性が非常に高いことにあり、最終的には接続性が強い血管樹主枝マップが得られる。
続いて、接続性が強い血管樹主枝マップの中心線における各点を球心とし、距離フィールド値セットに記録された距離を半径として球を描画してよく、球と球が相互に重畳し、最終的に完全な血管樹構造、即ちこの３次元肺画像における肺の血管樹の最終分割結果が形成される。
本開示の画像処理方法を採用すれば、肺の血管樹全体の分割精度を高め、偽陽性を低下させると共に、ブランチ、端点等を含む比較的に正確な肺血管樹構造化情報を取得して、肺血管分割結果を更に精細に補正することができ、それとともに、構造再構成の過程において得られた構造化情報を他の肺疾病の診断の補助にも利用可能である。
本開示の実施例の画像処理方法は上記肺画像処理への応用に限定されなく、いかなる画像処理にも利用可能であり、本開示によって限定されないことに注意されたい。
本開示で言及された上記各方法の実施例は、原理や論理を違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙幅に限りがあるため、詳細は本開示では再度説明しない。
具体的な実施形態の上記方法において、各ステップの記述順序は厳密にその順に従って実行することを限定するものではなく、実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順序はその機能および可能な内在的論理によって決定されるべきであることが当業者に理解される。
図１４は本開示の実施例による画像処理装置のブロック図を示し、図に示すように、前記画像処理装置は、
被処理画像に対して特徴抽出を行って、中間処理画像を得るための特徴抽出モジュール２１と、
中間処理画像に対して分割処理を行って、第１分割結果を得るための分割モジュール２２と、
第１分割結果の構造情報に基づいて、第１分割結果に対して構造再構成を行って、被処理画像における目標対象物の最終分割結果を得るための構造再構成モジュール２３と、を含む。
可能な一実現形態では、特徴抽出モジュールは、被処理画像を所定の方向に切り割って、複数の被処理部分画像を得るための切り割りサブモジュールと、各被処理部分画像に対して特徴抽出を行って、各被処理部分画像にそれぞれ対応する中間処理部分画像を得るための特徴抽出サブモジュールと、所定の方向に沿って全ての中間処理部分画像を繋ぎ合わせて、中間処理画像を得るための繋ぎ合わせサブモジュールと、を含む。
可能な一実現形態では、切り割りサブモジュールは、被処理画像において複数の切り割り中心を決定することと、切り割り中心の位置に応じて、被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることであって、切り割り中心のそれぞれは、対応する被処理部分画像の中心に位置し、隣接する被処理部分画像の間には重畳領域があることとに用いられる。
可能な一実現形態では、切り割りサブモジュールの前に、被処理画像を前記所定の方向以外の方向に、特定パラメータに基づいて縮小拡大処理するための縮小拡大サブモジュールを更に含む。
可能な一実現形態では、特徴抽出モジュールの前に、トレーニングサンプルデータセットを取得するためのサンプル取得サブモジュールと、トレーニングサンプルデータセットに基づいて、特徴抽出のためのニューラルネットワークをトレーニングするためのトレーニングサブモジュールとを備えるトレーニングモジュールを更に含む。
可能な一実現形態では、サンプル取得サブモジュールは、生データを補正して、補正ラベル付きデータを得ることと、補正ラベル付きデータに基づいてトレーニングサンプルデータセットを得ることとに用いられる。
可能な一実現形態では、トレーニングサブモジュールは、トレーニングサンプルデータセットと予め設定された重み係数に基づいて、ニューラルネットワークのグローバル損失と偽陽性ペナルティ損失をそれぞれ取得することと、グローバル損失と偽陽性ペナルティ損失に基づいて、ニューラルネットワークの損失関数を決定することと、損失関数逆伝播により、ニューラルネットワークをトレーニングすることとに用いられる。
可能な一実現形態では、分割モジュールは、深層学習フレームワークによってグラフィックプロセッサで実現されるＧｒｏｗ Ｃｕｔにより、中間処理画像に対して分割処理を行って、第１分割結果を得ることに用いられる。
可能な一実現形態では、構造再構成モジュールは、第１分割結果に対して中心抽出を行って、中心領域画像、及び中心領域画像における全ボクセルポイントと第１分割結果における目標対象物の境界との間の距離フィールド値のセットである距離フィールド値セットを得るための中心抽出サブモジュールと、中心領域画像に基づいて、目標対象物の第１トポロジ構造マップを生成するためのトポロジ構造生成サブモジュールと、第１トポロジ構造マップに対して接続処理を行って、第２トポロジ構造マップを得るための接続処理サブモジュールと、距離フィールド値セットに基づいて、第２トポロジ構造マップに対して構造再構成を行って、被処理画像における目標対象物の最終分割結果を得るための構造再構成サブモジュールと、を含む。
可能な一実現形態では、接続処理サブモジュールは、第１トポロジ構造マップにおける目標対象物に対応する接続領域を抽出することと、第１トポロジ構造マップにおける接続領域との接続値が接続閾値よりも低いボクセルポイントを除去して、第２トポロジ構造マップを得ることとに用いられる。
可能な一実現形態では、構造再構成サブモジュールは、第２トポロジ構造マップにおける各点を球心とし、距離フィールド値セットにおける各距離フィールド値を半径として描画し、描画されたものに含まれる重畳領域を第２トポロジ構造マップに加え、被処理画像における目標対象物の最終分割結果を得ることに用いられる。
可能な一実現形態では、特徴抽出モジュールの前に、被処理画像に対して、再サンプリング、数値限定、及び正規化のうち１つ又は複数を含む前処理を行うための前処理モジュールを更に含む。
いくつかの実施例では、本開示の実施例で提供された装置が有する機能又はモジュールは、上記方法の実施例に記載の方法を実行するために用いられ、その具体的な実現は上記方法の実施例の説明を参照すればよく、説明を簡潔にするために、詳細は再度説明しない。
本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、上記方法を実現させるコンピュータ読取可能記憶媒体を更に提案する。コンピュータ読取可能記憶媒体は非揮発性のコンピュータ読取可能記憶媒体であってもよい。
本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、上記方法を実現するように構成される電子機器を更に提案する。
電子機器は、端末、サーバ又は他の形態のデバイスとして提供されてよい。
図１５は例示的な一実施例によって示された電子機器８００のブロック図である。例えば、装置８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってよい。
図１５を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含でもよい。
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話呼出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するために、一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は一つの前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば写真モードまたは撮影モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント８１４は電子機器８００の各面で状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いることができる。
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行することができる。
図１６は例示的な一実施例によって示された電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供てもよい。図１６を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成された有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行することができる。
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能プログラム命令を有しているコンピュータ読み取り可能記憶媒体を含んでもよい。
コンピュータ読み取り可能記憶媒体は命令実行装置に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能プログラム命令はコンピュータ読み取り可能記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能プログラム命令を実行することにより、本開示の各方面を実現できるようにしてもよい。
なお、ここで本開示の実施例による方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各方面を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されるときフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現ように装置を製造してもよい。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能記憶媒体に、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。
コンピュータ読み取り可能プログラムは、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例によるシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

Claims (26)

  1. 被処理画像に対して特徴抽出を行って、中間処理画像を得ることと、
    前記中間処理画像に対して分割処理を行って、第１分割結果を得ることと、
    前記第１分割結果の構造情報に基づいて、前記第１分割結果に対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得ることと、を含むことを特徴とする画像処理方法。
  2. 被処理画像に対して特徴抽出を行って、中間処理画像を得ることは、
    前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることと、
    各前記被処理部分画像に対して特徴抽出を行って、各被処理部分画像にそれぞれ対応する中間処理部分画像を得ることと、
    前記所定の方向に沿って前記中間処理部分画像を繋ぎ合わせて、中間処理画像を得ることと、を含むことを特徴とする請求項１に記載の方法。
  3. 前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることは、
    前記被処理画像において複数の切り割り中心を決定することと、
    前記切り割り中心の位置に応じて、前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることであって、切り割り中心のそれぞれは、対応する被処理部分画像の中心に位置し、隣接する被処理部分画像の間には重畳領域があることと、を含むことを特徴とする請求項２に記載の方法。
  4. 前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることの前に、
    前記被処理画像を前記所定の方向以外の方向に、特定パラメータに基づいて縮小拡大処理することを更に含むことを特徴とする請求項２又は３に記載の方法。
  5. 被処理画像に対して特徴抽出を行って、中間処理画像を得ることの前に、
    トレーニングサンプルデータセットを取得することと、
    前記トレーニングサンプルデータセットに基づいて、特徴抽出のためのニューラルネットワークをトレーニングすることと、を更に含むことを特徴とする請求項１−４のいずれか一項に記載の方法。
  6. トレーニングサンプルデータセットを取得することは、
    生データを補正して、補正ラベル付きデータを得ることと、
    前記補正ラベル付きデータに基づいてトレーニングサンプルデータセットを取得することと、を含むことを特徴とする請求項５に記載の方法。
  7. 前記トレーニングサンプルデータセットに基づいて、特徴抽出のためのニューラルネットワークをトレーニングすることは、
    前記トレーニングサンプルデータセットと予め設定された重み係数に基づいて、前記ニューラルネットワークのグローバル損失と偽陽性ペナルティ損失をそれぞれ取得することと、
    前記グローバル損失と前記偽陽性ペナルティ損失に基づいて、前記ニューラルネットワークの損失関数を決定することと、
    前記損失関数の逆伝播により、前記ニューラルネットワークをトレーニングすることと、を含むことを特徴とする請求項５又は６に記載の方法。
  8. 前記中間処理画像に対して分割処理を行って、第１分割結果を得ることは、
    深層学習フレームワークによってグラフィックプロセッサで実現されるＧｒｏｗ Ｃｕｔにより、前記中間処理画像に対して分割処理を行って、第１分割結果を得ることを含むことを特徴とする請求項１〜７のいずれか一項に記載の方法。
  9. 前記第１分割結果の構造情報に基づいて、前記第１分割結果に対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得ることは、
    前記第１分割結果に対して中心抽出を行って、中心領域画像、及び前記中心領域画像における全ボクセルポイントと前記第１分割結果における目標対象物の境界との間の距離フィールド値のセットである距離フィールド値セットを得ることと、
    前記中心領域画像に基づいて、前記目標対象物の第１トポロジ構造マップを生成することと、
    前記第１トポロジ構造マップに対して接続処理を行って、第２トポロジ構造マップを得ることと、
    前記距離フィールド値セットに基づいて、前記第２トポロジ構造マップに対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得ることと、を含むことを特徴とする請求項１〜８のいずれか一項に記載の方法。
  10. 前記第１トポロジ構造マップに対して接続処理を行って、第２トポロジ構造マップを得ることは、
    前記第１トポロジ構造マップにおいて前記目標対象物に対応する接続領域を抽出することと、
    前記第１トポロジ構造マップにおいて前記接続領域との接続値が接続閾値よりも低いボクセルポイントを除去して、第２トポロジ構造マップを得ることと、を含むことを特徴とする請求項９に記載の方法。
  11. 前記距離フィールド値セットに基づいて、前記第２トポロジ構造マップに対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得ることは、
    前記第２トポロジ構造マップにおける各点を球心とし、前記距離フィールド値セットにおける各距離フィールド値を半径として描画し、前記描画されたものに含まれる重畳領域を前記第２トポロジ構造マップに加え、前記被処理画像における目標対象物の最終分割結果を得ることを含むことを特徴とする請求項９又は１０に記載の方法。
  12. 被処理画像に対して特徴抽出を行って、中間処理画像を得ることの前に、
    前記被処理画像に対して、再サンプリング、数値限定、及び正規化のうち１つ又は複数を含む前処理を行うことを更に含むことを特徴とする請求項１〜１１のいずれか一項に記載の方法。
  13. 被処理画像に対して特徴抽出を行って、中間処理画像を得るための特徴抽出モジュールと、
    前記中間処理画像に対して分割処理を行って、第１分割結果を得るための分割モジュールと、
    前記第１分割結果の構造情報に基づいて、前記第１分割結果に対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得るための構造再構成モジュールと、を含むことを特徴とする画像処理装置。
  14. 前記特徴抽出モジュールは、
    前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得るための切り割りサブモジュールと、
    各前記被処理部分画像に対して特徴抽出を行って、各被処理部分画像にそれぞれ対応する中間処理部分画像を得るための特徴抽出サブモジュールと、
    前記所定の方向に沿って前記中間処理部分画像を繋ぎ合わせて、中間処理画像を得るための繋ぎ合わせサブモジュールと、を含むことを特徴とする請求項１３に記載の装置。
  15. 前記切り割りサブモジュールは、
    前記被処理画像において複数の切り割り中心を決定することと、
    前記切り割り中心の位置に応じて、前記被処理画像を所定の方向に切り割って、複数の被処理部分画像を得ることであって、切り割り中心のそれぞれは、対応する被処理部分画像の中心に位置し、隣接する被処理部分画像の間には重畳領域があることとに用いられることを特徴とする請求項１４に記載の装置。
  16. 前記切り割りサブモジュールの前に、
    前記被処理画像を前記所定の方向以外の方向に、特定パラメータに基づいて縮小拡大処理するための縮小拡大サブモジュールを更に含むことを特徴とする請求項１４又は１５に記載の装置。
  17. 前記特徴抽出モジュールの前に、
    トレーニングサンプルデータセットを取得するためのサンプル取得サブモジュールと、
    前記トレーニングサンプルデータセットに基づいて、特徴抽出のためのニューラルネットワークをトレーニングするためのトレーニングサブモジュールとを備えるトレーニングモジュールを更に含むことを特徴とする請求項１３〜１６のいずれか一項に記載の装置。
  18. 前記サンプル取得サブモジュールは、
    生データを補正して、補正ラベル付きデータを得ることと、
    前記補正ラベル付きデータに基づいてトレーニングサンプルデータセットを取得することとに用いられることを特徴とする請求項１７に記載の装置。
  19. 前記トレーニングサブモジュールは、
    前記トレーニングサンプルデータセットと予め設定された重み係数に基づいて、前記ニューラルネットワークのグローバル損失と偽陽性ペナルティ損失をそれぞれ取得することと、
    前記グローバル損失と前記偽陽性ペナルティ損失に基づいて、前記ニューラルネットワークの損失関数を決定することと、
    前記損失関数の逆伝播により、前記ニューラルネットワークをトレーニングすることとに用いられることを特徴とする請求項１７又は１８に記載の装置。
  20. 前記分割モジュールは、
    深層学習フレームワークによってグラフィックプロセッサで実現されるＧｒｏｗ Ｃｕｔにより、前記中間処理画像に対して分割処理を行って、第１分割結果を得ることに用いられることを特徴とする請求項１３〜１９のいずれか一項に記載の装置。
  21. 前記構造再構成モジュールは、
    前記第１分割結果に対して中心抽出を行って、中心領域画像、及び前記中心領域画像における全ボクセルポイントと前記第１分割結果における目標対象物の境界との間の距離フィールド値のセットである距離フィールド値セットを得るための中心抽出サブモジュールと、
    前記中心領域画像に基づいて、前記目標対象物の第１トポロジ構造マップを生成するためのトポロジ構造生成サブモジュールと、
    前記第１トポロジ構造マップに対して接続処理を行って、第２トポロジ構造マップを得るための接続処理サブモジュールと、
    前記距離フィールド値セットに基づいて、前記第２トポロジ構造マップに対して構造再構成を行って、前記被処理画像における目標対象物の最終分割結果を得るための構造再構成サブモジュールと、を含むことを特徴とする請求項１３〜２０のいずれか一項に記載の装置。
  22. 前記接続処理サブモジュールは、
    前記第１トポロジ構造マップにおいて前記目標対象物に対応する接続領域を抽出することと、
    前記第１トポロジ構造マップにおいて前記接続領域との接続値が接続閾値よりも低いボクセルポイントを除去して、第２トポロジ構造マップを得ることとに用いられることを特徴とする請求項２１に記載の装置。
  23. 前記構造再構成サブモジュールは、
    前記第２トポロジ構造マップにおける各点を球心とし、前記距離フィールド値セットにおける各距離フィールド値を半径として描画し、前記描画されたものに含まれる重畳領域を前記第２トポロジ構造マップに加え、前記被処理画像における目標対象物の最終分割結果を得ることに用いられることを特徴とする請求項２１又は２２に記載の装置。
  24. 前記特徴抽出モジュールの前に、
    前記被処理画像に対して、再サンプリング、数値限定、及び正規化のうち１つ又は複数を含む前処理を行うための前処理モジュールを更に含むことを特徴とする請求項１３〜２３のいずれか一項に記載の装置。
  25. プロセッサと、
    プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
    前記プロセッサは、前記メモリに記憶されたコマンドを呼び出して請求項１〜１２のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
  26. コンピュータプログラムコマンドが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、請求項１〜１２のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ読取可能記憶媒体。
JP2021515101A 2019-04-18 2019-09-19 画像処理方法及び装置、電子機器並びに記憶媒体 Active JP7186287B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910315190.9 2019-04-18
CN201910315190.9A CN110047078B (zh) 2019-04-18 2019-04-18 图像处理方法及装置、电子设备和存储介质
PCT/CN2019/106642 WO2020211284A1 (zh) 2019-04-18 2019-09-19 图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2022502739A true JP2022502739A (ja) 2022-01-11
JP7186287B2 JP7186287B2 (ja) 2022-12-08

Family

ID=67277838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515101A Active JP7186287B2 (ja) 2019-04-18 2019-09-19 画像処理方法及び装置、電子機器並びに記憶媒体

Country Status (7)

Country Link
US (1) US20210158533A1 (ja)
JP (1) JP7186287B2 (ja)
KR (1) KR20210082234A (ja)
CN (1) CN110047078B (ja)
SG (1) SG11202013156UA (ja)
TW (1) TWI779238B (ja)
WO (1) WO2020211284A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047078B (zh) * 2019-04-18 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110428003B (zh) * 2019-07-31 2022-04-22 清华大学 样本类别标签的修正方法、装置以及电子设备
CN112418240A (zh) * 2019-08-21 2021-02-26 上海商汤临港智能科技有限公司 图像处理方法、装置、设备和存储介质
CN112446911A (zh) * 2019-08-29 2021-03-05 阿里巴巴集团控股有限公司 中心线提取、界面交互与模型训练方法、系统及设备
CN110751179B (zh) * 2019-09-18 2022-04-12 无锡祥生医疗科技股份有限公司 超声设备
US11868437B1 (en) * 2019-09-30 2024-01-09 Sighthound, Inc. Training set enhancement for neural networks
US11348246B2 (en) * 2019-11-11 2022-05-31 Adobe Inc. Segmenting objects in vector graphics images
CN111178445A (zh) * 2019-12-31 2020-05-19 上海商汤智能科技有限公司 图像处理方法及装置
CN111179264B (zh) * 2020-01-10 2023-10-03 中国人民解放军总医院 标本的复原图制作方法、装置、标本处理系统、电子设备
CN111325759B (zh) * 2020-03-13 2024-04-16 上海联影智能医疗科技有限公司 血管分割方法、装置、计算机设备及可读存储介质
CN111402268B (zh) * 2020-03-16 2023-05-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
CN111461065B (zh) * 2020-04-24 2024-01-05 上海联影医疗科技股份有限公司 管状结构识别方法、装置、计算机设备和可读存储介质
EP3916633A1 (de) * 2020-05-25 2021-12-01 Sick Ag Kamera und verfahren zum verarbeiten von bilddaten
CN111862045B (zh) * 2020-07-21 2021-09-07 上海杏脉信息科技有限公司 血管模型的生成方法及装置
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备
CN112785573A (zh) * 2021-01-22 2021-05-11 上海商汤智能科技有限公司 图像处理方法及相关装置、设备
CN113450277B (zh) * 2021-06-29 2023-08-22 上海长征医院 一种医学图像处理方法、介质及电子设备
CN113628215B (zh) * 2021-06-29 2022-10-04 展讯通信（上海）有限公司 图像处理方法、系统、设备及存储介质
DE102022003324A1 (de) 2021-09-15 2023-03-16 Mercedes-Benz Group AG System für die Verbesserung der Lokalisierung von wichtigen Verkehrspunkten und Verfahren davon
CN114092712A (zh) * 2021-11-29 2022-02-25 北京字节跳动网络技术有限公司 图像生成方法、装置、可读介质和电子设备
US20230177747A1 (en) * 2021-12-06 2023-06-08 GE Precision Healthcare LLC Machine learning generation of low-noise and high structural conspicuity images
CN114004836B (zh) * 2022-01-04 2022-04-01 中科曙光南京研究院有限公司 一种基于深度学习的自适应生物医学影像分割方法
US20230237620A1 (en) * 2022-01-27 2023-07-27 Sonic Star Global Limited Image processing system and method for processing image
CN118037622A (zh) * 2022-11-07 2024-05-14 华为云计算技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN115761383B (zh) * 2023-01-06 2023-04-18 北京匠数科技有限公司 一种图像分类方法、装置、电子设备及介质
CN116486086B (zh) * 2023-04-28 2023-10-03 安徽星太宇科技有限公司 一种基于热红外遥感影像的目标检测方法
CN116758085B (zh) * 2023-08-21 2023-11-03 山东昆仲信息科技有限公司 一种气体污染红外图像视觉辅助检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090136103A1 (en) * 2005-06-24 2009-05-28 Milan Sonka System and methods for image segmentation in N-dimensional space
JP2012088796A (ja) * 2010-10-15 2012-05-10 Kddi Corp 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
CN108122236A (zh) * 2017-12-18 2018-06-05 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法
CN108171703A (zh) * 2018-01-18 2018-06-15 东北大学 一种从胸部ct图像中自动提取气管树的方法
CN108898578A (zh) * 2018-05-29 2018-11-27 杭州晟视科技有限公司 一种医疗图像的处理方法、装置及计算机存储介质
CN109493328A (zh) * 2018-08-31 2019-03-19 上海联影智能医疗科技有限公司 医学图像显示方法、查看设备以及计算机设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184428B (zh) * 2005-04-01 2013-09-25 视声公司 利用超声波使血管结构三维可视化的方法
US8073226B2 (en) * 2006-06-30 2011-12-06 University Of Louisville Research Foundation, Inc. Automatic detection and monitoring of nodules and shaped targets in image data
CN102324109B (zh) * 2011-09-26 2014-06-18 上海理工大学 基于模糊隶属度模型的非实质性肺结节三维分割方法
CN102917175A (zh) * 2012-09-13 2013-02-06 西北工业大学 基于相机阵列合成孔径成像的遮挡多目标自动抠像方法
CN103247071B (zh) * 2013-03-29 2015-11-11 哈尔滨工业大学深圳研究生院 一种构建三维血管模型方法及设备
CN103247073B (zh) * 2013-04-18 2016-08-10 北京师范大学 基于树状结构的三维脑血管模型构造方法
CN104156935B (zh) * 2013-05-14 2018-01-02 东芝医疗系统株式会社 图像分割装置、图像分割方法和医学图像设备
US9530206B2 (en) * 2015-03-31 2016-12-27 Sony Corporation Automatic 3D segmentation and cortical surfaces reconstruction from T1 MRI
CN105631880B (zh) * 2015-12-31 2019-03-22 百度在线网络技术（北京）有限公司 车道线分割方法和装置
CN107977969B (zh) * 2017-12-11 2020-07-21 北京数字精准医疗科技有限公司 一种内窥镜荧光图像的分割方法、装置及存储介质
CN109345549A (zh) * 2018-10-26 2019-02-15 南京览众智能科技有限公司 一种基于自适应复合近邻图的自然场景图像分割方法
CN110047078B (zh) * 2019-04-18 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090136103A1 (en) * 2005-06-24 2009-05-28 Milan Sonka System and methods for image segmentation in N-dimensional space
JP2012088796A (ja) * 2010-10-15 2012-05-10 Kddi Corp 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
CN108122236A (zh) * 2017-12-18 2018-06-05 上海交通大学 基于距离调制损失的迭代式眼底图像血管分割方法
CN108171703A (zh) * 2018-01-18 2018-06-15 东北大学 一种从胸部ct图像中自动提取气管树的方法
CN108898578A (zh) * 2018-05-29 2018-11-27 杭州晟视科技有限公司 一种医疗图像的处理方法、装置及计算机存储介质
CN109493328A (zh) * 2018-08-31 2019-03-19 上海联影智能医疗科技有限公司 医学图像显示方法、查看设备以及计算机设备

Also Published As

Publication number Publication date
KR20210082234A (ko) 2021-07-02
US20210158533A1 (en) 2021-05-27
JP7186287B2 (ja) 2022-12-08
SG11202013156UA (en) 2021-02-25
WO2020211284A1 (zh) 2020-10-22
TWI779238B (zh) 2022-10-01
CN110047078A (zh) 2019-07-23
TW202038848A (zh) 2020-11-01
CN110047078B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
JP7186287B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
US20210319560A1 (en) Image processing method and apparatus, and storage medium
JP7118244B2 (ja) グラフィックコード認識方法及び装置、並びに、端末及びプログラム
CN109829920B (zh) 图像处理方法及装置、电子设备和存储介质
TWI754375B (zh) 圖像處理方法、電子設備、電腦可讀儲存介質
WO2020211293A1 (zh) 一种图像分割方法及装置、电子设备和存储介质
WO2022151755A1 (zh) 目标检测方法及装置、电子设备、存储介质、计算机程序产品和计算机程序
CN112541928A (zh) 网络训练方法及装置、图像分割方法及装置和电子设备
CN112767329A (zh) 图像处理方法及装置、电子设备
TWI765386B (zh) 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質
CN111325729A (zh) 基于生物医学影像的生物组织的分割方法和通信终端
CN113012166A (zh) 颅内动脉瘤分割方法及装置、电子设备和存储介质
WO2022032998A1 (zh) 图像处理方法及装置、电子设备、存储介质和程序产品
CN112967291A (zh) 图像处理方法及装置、电子设备和存储介质
CN114820584A (zh) 肺部病灶定位装置
CN112927239A (zh) 图像处理方法、装置、电子设备及存储介质
CN115239999A (zh) 蛋白质电子密度图处理方法、装置、电子设备和存储介质
CN114418931A (zh) 术后剩余肺叶的提取方法及装置、电子设备和存储介质
KR20220012407A (ko) 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체
WO2022012038A1 (zh) 图像处理方法及装置、电子设备、存储介质和程序产品
CN116523914B (zh) 一种动脉瘤分类识别装置、方法、设备、存储介质
CN115171873A (zh) 慢阻肺的识别方法及装置、电子设备和存储介质
CN114782390A (zh) 检测模型的确定方法、息肉检测方法、装置、介质及设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7186287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150