JP2022505498A - 画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体 - Google Patents

画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体 Download PDF

Info

Publication number
JP2022505498A
JP2022505498A JP2021521764A JP2021521764A JP2022505498A JP 2022505498 A JP2022505498 A JP 2022505498A JP 2021521764 A JP2021521764 A JP 2021521764A JP 2021521764 A JP2021521764 A JP 2021521764A JP 2022505498 A JP2022505498 A JP 2022505498A
Authority
JP
Japan
Prior art keywords
image
predetermined
registration
mutual information
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021521764A
Other languages
English (en)
Inventor
ソン，タオ
Original Assignee
シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド filed Critical シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
Publication of JP2022505498A publication Critical patent/JP2022505498A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Figure 2022505498000001
本開示の実施例は画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体を開示する。方法は、レジストレーション対象画像及びレジストレーション用基準画像を取得することと、前記レジストレーション対象画像及び前記基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力することと、前記所定のニューラルネットワークモデルによって、前記レジストレーション対象画像の前記基準画像へのレジストレーションを行い、レジストレーション結果を得ることと、を含む。これにより、画像レジストレーションの精度及びリアルタイム性を向上させることができる。
【選択図】図１

Description

［関連出願の相互参照］
本開示は、２０１８年１２月１９日に中国特許局に提出された、出願番号２０１８１１５５９６００．６、出願名称「画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。
［技術分野］
本開示はコンピュータビジョンの技術分野に関し、具体的には画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体に関する。
画像のレジストレーションとは、同一シーンや同一ターゲットの、異なる取得時刻、異なるセンサ、異なる条件下における２つまたは複数の画像をレジストレーションするプロセスであり、医療画像の処理に広く使用されている。医療画像のレジストレーションは、医療画像処理の分野における重要な技術であり、臨床診断及び治療にますます重要な役割を果たしている。
現代医療では、一般的に、複数のモダリティまたは複数の時点で取得された医療画像を総合的に分析する。この場合、分析する前に複数の画像のレジストレーションを行う必要がある。従来の変形可能なレジストレーション方法は、画素点ごとの１つの対応関係を計算し、類似度測定関数によってレジストレーション済みの画像と基準画像との類似度を計算するプロセスを、適切な結果が得られるまで、繰り返し反復する。
本開示の実施例は画像処理の技術的解決手段を提供する。
本開示の実施例の第１の方面は、レジストレーション対象画像及びレジストレーション用基準画像を取得することと、前記レジストレーション対象画像及び前記基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力することと、前記所定のニューラルネットワークモデルによって、前記レジストレーション対象画像の前記基準画像へのレジストレーションを行い、レジストレーション結果を得ることと、を含む画像処理方法を提供する。
選択可能的な一実施形態において、前記方法は、レジストレーション対象画像及びレジストレーション用基準画像を取得する前に、元のレジストレーション対象画像及び元の基準画像を取得し、前記元のレジストレーション対象画像及び前記元の基準画像に対して画像正規化処理を行い、目標パラメータを満たす前記レジストレーション対象画像及び前記基準画像を取得することを、さらに含む。これにより、画像内の無関係の情報を除去し、有用な実情報を回復し、関連情報の検出性を向上させ、データを最大限に簡略化することができ、特徴抽出、画像の分割、マッチング及び認識の信頼性を改善することができる。
選択可能的な一実施形態において、前記元のレジストレーション対象画像及び前記元の基準画像に対して画像正規化処理を行い、目標パラメータを満たす前記レジストレーション対象画像及び前記基準画像を取得することは、前記元のレジストレーション対象画像を所定の範囲内のグレースケール値、所定の画像サイズを有するレジストレーション対象画像に変換することと、前記元の基準画像を前記所定の範囲内のグレースケール値、前記所定の画像サイズを有する基準画像に変換することと、を含む。これにより、後続の画像処理をより正確且つ安定的にすることができる。
選択可能的な一実施形態において、前記所定のニューラルネットワークモデルは、レジストレーションモデルと、相互情報量推定ネットワークモデルとを含み、前記所定のニューラルネットワークモデルのトレーニングプロセスは、前記所定のレジストレーション対象画像及び前記所定の基準画像を取得し、前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して変形場を生成することと、前記変形場及び前記所定のレジストレーション対象画像に基づいて前記所定の基準画像へのレジストレーションを行う過程において、前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像と前記所定の基準画像との相互情報量を推定し、相互情報量の損失を得ることと、前記相互情報量の損失に基づいて、前記レジストレーションモデル及び前記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを得ることと、を含む。該所定のニューラルネットワークモデルによってレジストレーション対象画像の基準画像へのレジストレーションを行い、レジストレーション結果を取得することにより、画像レジストレーションの精度及びリアルタイム性を向上させることができる。
選択可能的な一実施形態において、前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像と前記所定の基準画像との相互情報量を推定し、相互情報量の損失を得ることは、前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像及び前記所定の基準画像に基づいて同時確率分布及び周辺確率分布を取得することと、前記同時確率分布パラメータ及び前記周辺確率分布パラメータに基づいて、前記相互情報量の損失を算出することと、を含む。これにより、生成モデルの敵対的トレーニングを改善し、教師あり学習の分類タスクにおけるボトルネックを解消することができる。
選択可能的な一実施形態において、前記相互情報量の損失に基づいて、前記レジストレーションモデル及び前記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを得ることは、前記相互情報量の損失に基づいて、前記レジストレーションモデルのパラメータである第１閾値回数を更新し、前記相互情報量の損失に基づいて、前記相互情報量推定ネットワークモデルのパラメータである第２閾値回数を更新し、前記トレーニングされた所定のニューラルネットワークモデルを得ることを含む。これにより、上記レジストレーションモデル及び相互情報量推定ネットワークモデルのパラメータを継続的に更新して、２つのネットワークのトレーニングが完成できるように指導する。
選択可能的な一実施形態において、前記方法は、所定のオプティマイザによって、前記所定のニューラルネットワークモデルのパラメータである所定の学習率及び第３閾値回数を更新することをさらに含む。これにより、トレーニングされた最終的な所定のニューラルネットワークモデルを得ることができる。
選択可能的な一実施形態において、前記方法は、前記所定のレジストレーション対象画像及び前記所定の基準画像を取得する後に、前記所定のレジストレーション対象画像及び前記所定の基準画像に対して画像正規化処理を行い、所定のトレーニングパラメータを満たす前記所定のレジストレーション対象画像及び前記所定の基準画像を得ることをさらに含み、前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して変形場を生成することは、前記所定のトレーニングパラメータを満たす前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して前記変形場を生成することを含む。
ここで、正規化処理は、後続の損失算出において勾配爆発を回避するために行われる。
本開示の実施例の第２の方面は、レジストレーション対象画像及びレジストレーション用基準画像を取得するために用いられる取得モジュールと、前記レジストレーション対象画像及び前記基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力することと、前記所定のニューラルネットワークモデルによって、前記レジストレーション対象画像の前記基準画像へのレジストレーションを行い、レジストレーション結果を得ることとに用いられるレジストレーションモジュールと、を含む画像処理装置を提供する。
選択可能的な一実施形態において、前記画像処理装置は、元のレジストレーション対象画像及び元の基準画像を取得し、前記元のレジストレーション対象画像及び前記元の基準画像に対して画像正規化処理を行い、目標パラメータを満たす前記レジストレーション対象画像及び前記基準画像を取得するために用いられる前処理モジュールをさらに含む。
選択可能的な一実施形態において、前記前処理モジュールは具体的に、前記元のレジストレーション対象画像を所定の範囲内のグレースケール値、所定の画像サイズを有するレジストレーション対象画像に変換することと、前記元の基準画像を前記所定の範囲内のグレースケール値、前記所定の画像サイズを有する基準画像に変換することとに用いられる。
選択可能的な一実施形態において、前記所定のニューラルネットワークモデルは、レジストレーションモデルと相互情報量推定ネットワークモデルとを含み、前記レジストレーションモジュールは、前記所定のレジストレーション対象画像及び前記所定の基準画像を取得し、前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して変形場を生成するために用いられるレジストレーションユニットと、前記レジストレーションモジュールが前記変形場及び前記所定のレジストレーション対象画像に基づいて前記所定の基準画像へのレジストレーションを行う過程において、前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像と前記所定の基準画像との相互情報量を推定し、相互情報量の損失を得るために用いられる相互情報量推定ユニットと、前記相互情報量の損失に基づいて、前記レジストレーションモデル及び前記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを得るために用いられる更新ユニットと、を含む。
選択可能的な一実施形態において、前記相互情報量推定ユニットは具体的に、前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像及び前記所定の基準画像に基づいて同時確率分布及び周辺確率分布を取得することと、前記同時確率分布パラメータ及び前記周辺確率分布パラメータに基づいて、前記相互情報量の損失を算出することとに用いられる。
選択可能的な一実施形態において、前記更新ユニットは具体的に、前記相互情報量の損失に基づいて、前記レジストレーションモデルのパラメータである第１閾値回数を更新し、前記相互情報量の損失に基づいて、前記相互情報量推定ネットワークモデルのパラメータである第２閾値回数を更新し、前記トレーニングされた所定のニューラルネットワークモデルを得るために用いられる。
選択可能的な一実施形態において、前記更新ユニットは、所定のオプティマイザによって、前記所定のニューラルネットワークモデルのパラメータである所定の学習率及び第３閾値回数を更新するためにも用いられる。
選択可能的な一実施形態において、前記前処理モジュールは、前記所定のレジストレーション対象画像及び前記所定の基準画像を取得した後に、前記所定のレジストレーション対象画像及び前記所定の基準画像に対して画像正規化処理を行い、所定のトレーニングパラメータを満たす前記所定のレジストレーション対象画像及び前記所定の基準画像を得るためにも用いられ、前記レジストレーションモジュールは、前記所定のトレーニングパラメータを満たす前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して変形場を生成するためにも用いられる。
本開示の実施例の第３の方面は、プロセッサ、及び前記プロセッサにより実行されるように構成される１つまたは複数のプログラムを記憶するためのメモリを含み、前記プログラムが、本開示の実施例の第１の方面の方法のいずれか１つに記載のステップの一部または全てを実行するためのコマンドを含む電子機器を提供する。
本開示の実施例の第４の方面は、コンピュータに本開示の実施例の第１の方面の方法のいずれか１つに記載のステップの一部または全てを実行させる電子データ交換用のコンピュータプログラムを記憶するために用いられるコンピュータ読取可能記憶媒体を提供する。
本開示の実施例の第５の方面は、電子機器において実行されると、前記電子機器のプロセッサに本開示の実施例の第１の方面の方法のいずれか１つに記載のステップの一部または全てを実現するためのコマンドを実行させるコンピュータ読取可能コードを含むコンピュータプログラムを提供する。
本開示の実施例は、レジストレーション対象画像及びレジストレーション用基準画像を取得し、レジストレーション対象画像及び基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力し、該所定のニューラルネットワークモデルによって、レジストレーション対象画像の基準画像へのレジストレーションを行い、レジストレーション結果を得る。これにより、画像レジストレーションの精度及びリアルタイム性を向上させることができる。
以下、本開示の実施例または従来技術の解決手段をより明確に説明するために、実施例または従来技術の記述に必要な図面を簡単に説明する。
本開示の実施例に開示される画像処理方法のフローチャートである。 本開示の実施例に開示される所定のニューラルネットワークのトレーニング方法のフローチャートである。 本開示の実施例に開示される画像処理装置の構成模式図である。 本開示の実施例に開示される別の画像処理装置の構成模式図である。
以下、当業者が本開示の解決手段をよりよく理解できるように、本開示の実施例における図面を参照しながら、本開示の実施例における技術的解決手段を明確に、完全に説明する。説明される実施例は本開示の実施例の一部に過ぎず、全ての実施例ではない。当業者により本開示の実施例に基づき創造的な労力をせずに得られる他の全ての実施例は、いずれも本開示の保護範囲に属する。
本開示の明細書、特許請求の範囲及び上記図面における「第１」、「第２」などの用語は、特定の順序を記述するものではなく、異なる対象を区別するためのものである。また、「含む」、「備える／有する」という用語及びそれらのいかなる変形は、非排他的に含むことを意図する。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品または機器は、挙げられたステップまたはユニットに限定されるものではなく、挙げられないステップまたはユニットも選択可能的に含み、あるいは、これらのプロセス、方法、製品または機器に固有の他のステップまたはユニットも選択可能的に含む。
本明細書において、「実施例」は、実施例に関連して記述される特定の特徴、構造または特性が、本開示の少なくとも１つの実施例に含まれ得ることを意味する。本明細書の各箇所の「実施例」という用語の全ては、必ずしも同じ実施例を指すものではなく、また、他の実施例と相互排他的な独立または代替の実施例でもない。当業者であれば、本明細書に記載の実施例は他の実施例と組み合わせることができることを明示的及び暗黙的に理解できる。
本開示の実施例に係る画像処理装置は複数の他の端末機器からのアクセスを許可する。上記画像処理装置は端末機器を含めて電子機器であってもよく、具体的な実現において、上記端末機器は、例えば、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／またはタッチパネル）を有する携帯電話、ラップトップ型コンピュータまたはタブレットコンピュータのような他の携帯機器を含むが、これらに限定されない。さらに、いくつかの実施例において、前記機器は携帯通信機器ではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／またはタッチパネル）を有するデスクトップコンピュータであることも理解されたい。
本開示の実施例におけるディープラーニングの概念は人工ニューラルネットワークの研究から生じる。複数の隠れ層が含まれる多層パーセプトロンはディープラーニング構造の１つである。ディープラーニングは、低レベル特徴を組み合わせることで、より抽象的な高レベルの属性カテゴリまたは特徴を形成し、データの分散的な特徴表現を特定する。
ディープラーニングは、データの表現学習に基づく機械学習方法である。観測値（例えば１つの画像）は様々な方式で表現されてもよい。例えば、各画素点の強度値のベクトルで表現されてもよく、または一連のエッジ、特定形状の領域などでより抽象的に表現されてもよい。特定の表現方法を使用すれば、実例からタスク学習（例えば、顔認識または表情認識）をより容易に行うことができる。ディープラーニングのメリットは、手動による特徴抽出に代えて、教師なしまたは半教師ありの特徴学習、及び階層的特徴抽出のような効率的なアルゴリズムを使用することにある。ディープラーニングは、機械学習の研究における新しい分野であり、人間の脳の仕組みを模倣して、データ例えば画像、音声及びテキストを解釈するように人間の脳を模倣して分析学習するニューラルネットワークを確立することを目的とする。
以下、本開示の実施例について詳細に説明する。
図１は本開示の実施例に開示される画像処理のフローチャートである。図１に示すように、この画像処理方法は、上記画像処理装置により実行されることができ、以下のステップを含む。
１０１、レジストレーション対象画像及びレジストレーション用基準画像を取得する。
画像のレジストレーションは、同一シーンや同一ターゲットの、異なる取得時刻、異なるセンサ、異なる条件下における２つまたは複数の画像をレジストレーションするプロセスであり、医療画像の処理に広く使用されている。医療画像のレジストレーションは、医療画像処理の分野における重要な技術であり、臨床診断及び治療にますます重要な役割を果たしている。現代医療では、一般的に、複数のモダリティまたは複数の時点で取得された医療画像を総合的に分析する。この場合、分析する前に複数の画像のレジストレーションを行う必要がある。
本開示の実施例に記載のレジストレーション対象画像（ｍｏｖｉｎｇ）及びレジストレーション用基準画像（ｆｉｘｅｄ）の両方とも、少なくとも１種の医療画像機器により取得される医療画像であってもよい。特に、例えば肺ＣＴのような変形が発生し得る器官の画像の場合、レジストレーション対象画像及びレジストレーション用基準画像は、一般的に、同一器官の異なる時点または異なる条件における画像である。
レジストレーションされる医療画像は多様なものであり得る。画像において、画像グレースケール値、画像サイズなどの特徴の多様性として表現される。選択可能的に、ステップ１０１の前に、元のレジストレーション対象画像及び元の基準画像を取得し、前記元のレジストレーション対象画像及び前記元の基準画像に対して画像正規化処理を行い、目標パラメータを満たす上記レジストレーション対象画像及び上記基準画像を取得するようにしてもよい。
上記目標パラメータは、画像特徴を表すパラメータ、即ち上記元の画像データの様式を統一させるための所定のパラメータとして捉えることができる。例えば、上記目標パラメータは、画像解像度、画像グレースケール、画像サイズなどの特徴を表すパラメータを含んでもよい。
上記元のレジストレーション対象画像は、少なくとも１種の医療画像機器により取得される医療画像であり、特に変形可能な器官の画像であってもよい。それは多様性を有し、画像において、当該多様性が画像グレースケール値、画像サイズなどの特徴の多様性として表現される。レジストレーションの前に、元のレジストレーション対象画像及び元の基準画像に対して基本的な前処理を行ってもよく、上記元のレジストレーション対象画像のみに対して前処理を行ってもよい。前処理は、上記画像正規化処理を含んでもよい。画像の前処理の主な目的は、画像内の無関係の情報を除去し、有用な実情報を回復し、関連情報の検出性を向上させ、データを最大限に簡略化することで、特徴抽出、画像の分割、マッチング及び認識の信頼性を改善することにある。
本開示の実施例における画像正規化とは、画像に対して一連の標準化変換処理を行い、一定の標準様式画像に変換させるプロセスを意味し、該標準様式画像は正規化画像と呼ばれる。画像正規化では、画像の不変モーメントによって、他の変換関数から画像変換への影響を排除できるようなパラメータ群を求めて、処理すべき元の画像を、平行移動、回転、拡大縮小などのアフィン変換に対する不変性をもつ唯一の標準様式画像に変換するようにしてもよい。したがって、上記画像正規化処理によって、様式が統一された画像を得ることができ、後続処理の安定性及び正確度が高まる。
具体的には、上記元のレジストレーション対象画像を所定の範囲内のグレースケール値、所定の画像サイズを有するレジストレーション対象画像に変換し、上記元の基準画像を上記所定の範囲内のグレースケール値、上記所定の画像サイズを有する基準画像に変換するようにしてもよい。
ここで、上記変換は、主に、様式が統一されるレジストレーション対象画像及び基準画像を得るために行われ、上記元のレジストレーション対象画像及び元の基準画像を同じ範囲内のグレースケール値、同じ画像サイズを有する画像に変換してもよく、同じ画像サイズのみまたは同じ範囲内のグレースケール値のみを有する画像に変換してもよい。これにより、後続の画像処理をより正確且つ安定的にすることができる。
本開示の実施例における画像処理装置には、上記グレースケール値の所定の範囲及び上記所定の画像サイズが記憶されていてもよい。ｓｉｍｐｌｅ ＩＴＫというソフトウェアによって再サンプリング（ｒｅｓａｍｐｌｅ）の操作を行って、上記レジストレーション対象画像及び上記基準画像の位置や、解像度をほぼ一致させることができる。ＩＴＫはオープンソースのクロスプラットフォームシステムであり、開発者に画像分析のための一連のソフトウェアツールを提供する。
上記所定の画像サイズが４１６ ｘ ４１６ ｘ ８０の長幅高さであり、切り取りまたはパディング（ゼロパディング）によって上記レジストレーション対象画像と上記基準画像の画像サイズを４１６ ｘ ４１６ ｘ ８０に統一させるようにしてもよい。
元の画像データは、前処理が行われることにより、その多様性が低減され、ニューラルネットワークモデルによってより安定的に判断されることができる。
異なる時刻または／及び異なる条件で得られた２つの医療画像１と２のレジストレーションとは、画像１の各点と画像２の各点とが一対一に対応し、対応される２つの点が同じ解剖位置に対応するようなマッピング関係Ｐを探し出す。マッピング関係Ｐは一連の空間的に連続な変換と表現される。一般的に、空間的な幾何変換として、剛体変換（Ｒｉｇｉｄ ｂｏｄｙ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、アフィン変換（Ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、射影変換（Ｐｒｏｊｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）及び非線形変換（Ｎｏｎｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）が挙げられる。
剛体変換とは、物体内部の任意の２点間の距離及び平行関係を保つ変換である。アフィン変換とは、最も簡単な非剛体変換であり、平行性を保つが、角を保たず且つ距離が変化する変換である。多くの重要な臨床適用において、変形可能な画像レジストレーション方法の適用の必要がある。例えば、腹部及び胸部の器官の画像レジストレーションを行う場合、生理的運動または患者の移動によって内部器官及び組織の位置、寸法及び形態が変化すると、変形可能な変換によって画像の歪みを補償する必要がある。
本開示の実施例において、上記前処理は上記剛体変換を含んでもよい。即ち、画像の剛体変換を行ってから、本開示の実施例に記載の方法によって上記画像のレジストレーションを実現する。
画像処理の分野において、物体の位置（平行移動変換）及び向き（回転変換）のみが変わるが、形状が変わらない変換は上記剛体変換と呼ばれる。
１０２、上記レジストレーション対象画像及び上記基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力する。
本開示の実施例において、画像処理装置に事前にトレーニングされた上記所定のニューラルネットワークモデルが記憶されるようにしてもよい。
上記所定のニューラルネットワークモデルは、ニューロンの相互情報量推定によってトレーニングされ、具体的に、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされるようにしてもよい。
上記所定のニューラルネットワークモデルは、レジストレーションモデルと相互情報量推定ネットワークモデルを含み、上記所定のニューラルネットワークモデルのトレーニングプロセスは、上記所定のレジストレーション対象画像及び上記所定の基準画像を取得し、上記所定のレジストレーション対象画像及び上記所定の基準画像を上記レジストレーションモデルに入力して変形場を生成することと、上記変形場及び上記所定のレジストレーション対象画像に基づいて上記所定の基準画像へのレジストレーションを行う過程において、上記相互情報量推定ネットワークモデルによって、上記所定のレジストレーション対象画像と上記所定の基準画像との相互情報量を推定し、相互情報量の損失を得ることと、上記相互情報量の損失に基づいて、上記レジストレーションモデル及び上記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを得ることと、を含むようにしてもよい。
例えば、ニューラルネットワークの勾配降下アルゴリズムによって、高次元の連続確率変数間の相互情報量を推定することができる。例えば、ＭＩＮＥ（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｎｅｕｒａｌ ｅｓｔｉｍａｉｔｏｎ）アルゴリズムは、次元的に及びサンプル寸法的に線形測定可能であり、逆伝播アルゴリズムを使用してトレーニングされることができる。ＭＩＮＥアルゴリズムは相互情報量を最大化または最小化させ、生成モデルの敵対的トレーニングを改善し、教師あり学習の分類タスクにおけるボトルネックを解消することができる。
１０３、上記所定のニューラルネットワークモデルによって、上記レジストレーション対象画像の上記基準画像へのレジストレーションを行い、レジストレーション結果を得る。
画像のレジストレーションは、一般的に、まず２つの画像に対して特徴抽出を行って特徴点を取得する。その後、類似度測定を行うことでマッチングした特徴点対を探し出す。次に、マッチングした特徴点対によって画像空間座標変換パラメータを得る。最後に、座標変換パラメータによって画像のレジストレーションを行う。
本開示の実施例において、所定のニューラルネットワークモデルの畳み込み層は３Ｄ畳み込みであるようにしてもよい。上記所定のニューラルネットワークモデルによって変形場（ｄｅｆｏｒｍａｂｌｅ ｆｉｅｌｄ）を生成した後、３Ｄの空間変換層によって、変形の必要があるレジストレーション対象画像に対して変形可能な変換を行い、レジストレーションされたレジストレーション結果画像（ｍｏｖｅｄ）を含む上記レジストレーション結果を得るようにしてもよい。
ここで、上記所定のニューラルネットワークモデルにおいて、変形場の平滑度を保証するために、Ｌ２損失関数を用いて変形場の勾配を制約する。１つのニューラルネットワークによって相互情報量を損失関数として推定し、レジストレーション済みの画像と基準画像との間の類似度を評価してネットワークのトレーニングを指導する。
従来、教師ありディープラーニングによってレジストレーションを行い、信頼できる基準がほとんどないので、従来のレジストレーション方法によってマークを取得しなければならない。よって、処理時間が長く、レジストレーションの精度が制限される。また、従来の方法でレジストレーションする場合、各画素点の変換関係を算出する必要があり、計算量が膨大で、膨大な時間が掛かる。
カテゴリ未知の（マークされていない）トレーニングサンプルに基づいて、パターン認識における１つ以上の問題を解決することは、教師なし学習と呼ばれる。本開示の実施例は、教師なしディープラーニングによるニューラルネットワークを使用して画像のレジストレーションを行い、変形が発生し得る如何なる器官のレジストレーションに用いられることができる。本開示の実施例は、ＧＰＵによって上記方法を実行することにより、数秒内にレジストレーション結果を得ることができ、より効率的である。
本開示の実施例は、レジストレーション対象画像及びレジストレーション用基準画像を取得し、レジストレーション対象画像及び基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力し、該所定のニューラルネットワークモデルによって、レジストレーション対象画像の基準画像へのレジストレーションを行い、レジストレーション結果を得る。これにより、画像レジストレーションの精度及びリアルタイム性を向上させることができる。
図２は本開示の実施例に開示される別の画像処理方法のフローチャートであり、具体的には所定のニューラルネットワークのトレーニング方法のフローチャートであり、図１のもとにさらに最適化されて得られたものである。本開示の実施例のステップを実行する主体は画像処理装置であってもよい。当該画像処理装置は、図１に示す実施例の方法における装置と同じまたは異なる画像処理装置であってもよい。図２に示すように、この画像処理方法は、以下のステップを含む。
２０１、所定のレジストレーション対象画像及び所定の基準画像を取得し、上記所定のレジストレーション対象画像及び上記所定の基準画像を上記レジストレーションモデルに入力して変形場を生成する。
ここで、図１の実施例と同様に、上記所定のレジストレーション対象画像（ｍｏｖｉｎｇ）及び上記所定の基準画像（ｆｉｘｅｄ）の両方とも、様々な医療画像機器により取得される医療画像であってもよい。特に、例えば肺ＣＴのような変形可能な器官の画像の場合、レジストレーション対象画像及びレジストレーション用基準画像は、一般的に、同一器官の異なる時点または異なる条件における画像である。ここで、「所定」という用語は、図１の実施例におけるレジストレーション対象画像及び基準画像と区別するために付した語であり、所定のレジストレーション対象画像及び所定の基準画像は、主に該所定のニューラルネットワークモデルの入力として、該所定のニューラルネットワークモデルのトレーニングに用いられる。
レジストレーションされる医療画像は多様なものであり得る。画像において、画像グレースケール値、画像サイズなどの特徴の多様性として表現される。選択可能的に、上記方法は、上記所定のレジストレーション対象画像及び上記所定の基準画像を取得する後に、上記所定のレジストレーション対象画像及び上記所定の基準画像に対して画像正規化処理を行い、所定のトレーニングパラメータを満たす上記所定のレジストレーション対象画像及び上記所定の基準画像を得ることをさらに含み、上記所定のレジストレーション対象画像及び上記所定の基準画像を上記レジストレーションモデルに入力して変形場を生成することは、上記所定のトレーニングパラメータを満たす上記所定のレジストレーション対象画像及び上記所定の基準画像を上記レジストレーションモデルに入力して変形場を生成することを含むようにしてもよい。
上記所定のトレーニングパラメータは、グレースケール値の所定の範囲及び所定の画像サイズ（例えば、４１６ ｘ ４１６ ｘ ８０）を含んでもよい。上記画像正規化の処理プロセスは図１に示す実施例のステップ１０１の具体的な説明を参照すればよい。選択可能的に、まずレジストレーションの前に行われる前処理は、剛体変換及びデータ正規化を含む。具体的には、ｓｉｍｐｌｅ ＩＴＫというソフトウェアによって再サンプリングの操作を行って、所定のレジストレーション対象画像及び所定の基準画像の位置や、解像度をほぼ一致させることができる。後続のトレーニングプロセスの操作を容易にするために、画像が所定の大きさになるようにカットアウトまたはパディングを行うことができる。予め設定された入力画像の画像サイズの長さ、幅、高さを４１６ ｘ ４１６ ｘ ８０と仮定すると、切り取りまたはパディング（ゼロパディング）によって、所定のレジストレーション対象画像及び所定の基準画像の画像サイズを４１６ ｘ ４１６ ｘ ８０に統一させる必要がある。肺ＣＴにおける重要な情報のために、ウィンドウ幅を［－１２００，６００］として、所定のレジストレーション対象画像及び所定の基準画像を［０，１］に正規化し、即ち、原画像における６００超のものを１とし、－１２００未満のものを０とするようにしてもよい。
異なる器官組織のＣＴにおける表現は異なり、つまり、対応するグレーレベルは異なる可能性がある。ウィンドウ幅（ｗｉｎｄｏｗｉｎｇ）とは、ハンスフィールド（発明者）ユニット（Ｈｏｕｎｓｆｉｅｌｄ Ｕｎｉｔ、ＨＵ）で得られたデータを用いて映像を算出するプロセスを意味する。異なる放射強度（Ｒａｉｏｄｅｎｓｉｔｙ）は２５６個の異なる程度のグレースケール値に対応し、これらの異なるグレースケール値は、ＣＴ値の範囲に応じて減衰値が再定義されることができる。ＣＴ範囲の中心値を一定と仮定すると、定義される範囲が狭くなった場合は狭いウィンドウ（Ｎａｒｒｏｗ Ｗｉｎｄｏｗ）と呼ばれ、細部の微小変化が識別されるようになる。これは、映像処理の概念で対比圧縮と呼ばれる。
本開示の実施例において、重要な情報をより良好に抽出するために、異なる組織に応じてＣＴにおいて広く認められたウィンドウ幅、ウィンドウレベルを設定するようにしてもよい。ここで、［－１２００，６００］の具体的な値－１２００，６００はウィンドウレベルを表し、範囲の大きさ即ちウィンドウ幅は１８００である。上記画像正規化処理は、後続の損失算出において勾配爆発を回避するために行われる。
ここで、変形場の勾配の大幅の変化による変異、シワ及び空洞に対処するために、平滑性という性質を持つＬ２損失関数を使用するようにしてもよい。勾配は近接する画素点の差値で表されるものであり、つまり、近接する画素点間の過度な変化による大きな変形を回避するためにＬ２損失関数を使用する。
前処理された所定のレジストレーション対象画像及び所定の基準画像をトレーニングされるニューラルネットワークに入力して変形場（ｄｅｆｏｒｍａｂｌｅ ｆｉｅｌｄ）を生成し、その後、上記変形場及び上記所定のレジストレーション対象画像に基づいて上記所定の基準画像へのレジストレーションを行い、即ち、この変形場及び所定の基準画像を用いて変形後のレジストレーション結果画像（ｍｏｖｅｄ）を生成する。
２０２、上記変形場及び上記所定のレジストレーション対象画像に基づいて上記所定の基準画像へのレジストレーションを行う過程において、相互情報量推定ネットワークモデルによって、レジストレーション済みの画像と上記所定の基準画像との相互情報量を推定し、相互情報量の損失を得る。
本開示の実施例における所定のニューラルネットワークモデルは、相互情報量推定ネットワークモデル及びレジストレーションモデルを含むようにしてもよい。レジストレーション済みの画像は、今回、該レジストレーションネットワークによって、所定のレジストレーション対象画像の所定の基準画像へのレジストレーションを行った画像である。一実施態様では、上記相互情報量推定ネットワークモデルによって、上記レジストレーション済みの画像及び上記所定の基準画像に基づいて同時確率分布及び周辺確率分布を取得し、その後、上記同時確率分布パラメータ及び上記周辺確率分布パラメータに基づいて、相互情報量の損失を算出するようにしてもよい。
例えば、ニューラルネットワークの勾配降下アルゴリズムによって、高次元の連続確率変数間の相互情報量を推定することができる。例えば、ＭＩＮＥ（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｎｅｕｒａｌ ｅｓｔｉｍａｉｔｏｎ）アルゴリズムは、次元的に及びサンプル寸法的に線形測定可能であり、逆伝播アルゴリズムを使用してトレーニングされることができる。ＭＩＮＥアルゴリズムは相互情報量を最大化または最小化させ、生成モデルの敵対的トレーニングを改善し、教師あり学習の分類タスクにおけるボトルネックを解消することができる。以下の相互情報量の計算式（１）から前記相互情報量の損失を算出することができる。
Figure 2022505498000002
ここで、Ｘ、Ｚは、２つの入力画像（レジストレーション済みの画像及び所定の基準画像）であり、同次線形方程式の解の集合からなるベクトル空間である解空間、つまり集合として理解される。相互情報量の損失を算出するための上記パラメータは、上記２つの入力画像の解空間に属する。
Figure 2022505498000003

は数学的な期待を示し、ＰＸＺは同時確率分布であり、ＰＸとＰＺは周辺確率分布であり、θは上記相互情報量推定ネットワークの初期化パラメータであり、ｎは正整数で、サンプルの数を示す。
ここで、トレーニングにおいて相互情報量が大きいほど、レジストレーションの結果が正確であることを意味する。式中のｓｕｐは最小上界を示す。トレーニングにおいてこの最小上界を増大することは、相互情報量を最大化することを意味する。上記Ｔは上記相互情報量推定ネットワークモデル（そのパラメータが含まれる）を示し、上記の式とともに相互情報量を推定し、Ｔにも更新必要なパラメータがある。この式及びＴにより相互情報量の損失を構成する。
２０３、上記相互情報量の損失に基づいて、上記レジストレーションモデル及び上記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを得る。
本開示の実施例では、ニューロンによって相互情報量をレジストレーション済みの画像と基準画像との類似度の評価基準として推定し、即ち、ステップ２０２及びステップ２０３を繰り返し実行し、上記レジストレーションモデル及び相互情報量推定ネットワークモデルのパラメータを継続して更新し、２つのネットワークのトレーニングが完成できるように指導するようにしてもよい。
選択可能的に、上記相互情報量の損失に基づいて、上記レジストレーションモデルのパラメータである第１閾値回数を更新し、上記相互情報量の損失に基づいて、上記相互情報量推定ネットワークモデルのパラメータである第２閾値回数を更新し、上記トレーニングされた所定のニューラルネットワークモデルを得るようにしてもよい。
画像処理装置に上記第１閾値回数及び第２閾値回数が記憶されて、上記第１閾値回数と第２閾値回数と異なり、上記第１閾値回数は上記第２閾値回数より大きいようにしてもよい。
上記更新に係る第１閾値回数及び第２閾値回数とは、ニューラルネットワークのトレーニングにおけるエポック（ｅｐｏｃｈ）を意味する。１つのエポックは、少なくとも１つのトレーニングサンプルの１回の順伝播及び１回の逆伝播を示すことができる。
例えば、上記レジストレーションモデル及び相互情報量推定ネットワークモデルは、独立してパラメータ更新を行うことができる。例えば、第１閾値回数を１２０とし、第２閾値回数を５０とすると、最初の５０個のｅｐｏｃｈで、相互情報量推定ネットワークモデル及びレジストレーションモデルを更新し、５０個のｅｐｏｃｈの後、レジストレーションモデルの１２０個のｅｐｏｃｈの更新が完了するまで、相互情報量推定ネットワークモデルのネットワークパラメータを凍結させ、レジストレーションモデルのみを更新する。
選択可能的に、所定のオプティマイザによって、上記所定のニューラルネットワークモデルのパラメータである所定の学習率及び第３閾値回数を更新し、トレーニングされた最終的な所定のニューラルネットワークモデルを得るようにしてもよい。
オプティマイザにおいて使用されるアルゴリズムは、一般的に、異なるパラメータごとに学習率を調整し、頻繁に変化しているパラメータについてより小さいストライドで更新し、一方、疎なパラメータについてより大きいストライドで更新することができる自己適応的な勾配最適化アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ、ＡｄａＧｒａｄ）、及び、勾配の二乗の指数移動平均に応じて学習率の変化を調整し、不安定な（Ｎｏｎ－Ｓｔａｔｉｏｎａｒｙ）目的関数の場合に良好に収束することができるＲＭＳＰｒｏｐアルゴリズムを含む。
ここで、上記所定のオプティマイザとして、ＡｄａＧｒａｄ及びＲＭＳＰｒｏｐの２つの最適化アルゴリズムの利点を結合したＡＤＡＭのオプティマイザを用いることができる。勾配の１次モーメントの推定（Ｆｉｒｓｔ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ、即ち勾配の平均値）及び２次モーメントの推定（Ｓｅｃｏｎｄ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ、即ち勾配の中心化されていない分散）を総合的に考慮し、更新のストライドを算出する。
上記第３閾値回数は、前記第１閾値回数及び第２閾値回数と同様に、ｅｐｏｃｈを意味する。画像処理装置または上記所定のオプティマイザに、上記第３閾値回数及び所定の学習率を記憶して更新を制御するようにしてもよい。例えば、学習率を０．００１とし、第３閾値回数を３００ｅｐｏｃｈとする。さらに、例えば、それぞれ４０、１２０及び２００ｅｐｏｃｈに達すると学習率を半減するように学習率の調整ルールを設定し、該学習率の調整ルールでパラメータ更新の学習率を調整するようにしてもよい。
上画像処理装置は、記トレーニングされた所定のニューラルネットワークモデルを得た後、図１の実施例における方法の一部または全てを実行することができ、即ち、上記所定のニューラルネットワークモデルによって、レジストレーション対象画像の基準画像へのレジストレーションを行い、レジストレーション結果を得ることができる。
一般に、ほとんどの技術は、非パラメータ的な方法で相互情報量を推定し（例えば、ヒストグラムを使用）、計算量が大きいだけでなく、逆伝播ができず、ニューラルネットワークに適用することができない。本開示の実施例では、ニューロンによって相互情報量を推定して画像の類似度損失を評価する。これにより、トレーニングされた所定のニューラルネットワークモデルは、画像のレジストレーション、特に変形が発生し得るあらゆる器官の医療画像のレジストレーションに適用でき、異なる時点での追跡画像を変形してレジストレーションを行うことができ、レジストレーション効率が高く、結果がより正確になる。
一般に、何らかの手術では、手術前または手術中に、品質及び速度が異なる１種以上のスキャンを行って医療画像を得る必要がある。一方、医療画像のレジストレーションは１種以上のスキャンの完了後にしか行われ得ず、手術中のリアルタイム性の要求を満たせず、さらなる時間をかけて手術の結果を判定する必要がある。レジストレーションした結果として手術の結果が好ましくない場合、後続の手術治療が必要となることがある。これは、医者及び患者の双方の時間の無駄、治療の手遅れを招いてしまう。一方、本開示の実施例に係る所定のニューラルネットワークモデルによってレジストレーションを行う方法は、例えば、腫瘍切除の手術中にリアルタイムにレジストレーションを行い、腫瘍が完全に切除されるか否かを判断するように、手術中のリアルタイムの医療画像レジストレーションに適用することができ、時効性が高まる。
本開示の実施例は、所定のレジストレーション対象画像及び所定の基準画像を取得し、上記所定のレジストレーション対象画像及び上記所定の基準画像を上記レジストレーションモデルに入力して変形場を生成し、上記変形場及び上記所定のレジストレーション対象画像に基づいて上記所定の基準画像へのレジストレーションを行う過程において、相互情報量推定ネットワークモデルによって、レジストレーション済みの画像と上記所定の基準画像との相互情報量を推定し、相互情報量の損失を取得し、前記相互情報量の損失に基づいて、上記レジストレーションモデル及び上記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを取得する。これにより、変形可能なレジストレーションに適用し、画像のレジストレーションの精度及びリアルタイム性を高めることができる。
以上、主に方法の実行手順で本開示の実施例の解決手段を説明した。画像処理装置は、上記機能を実現するために、各機能を実行するための対応するハードウェア構造及び／またはソフトウェアモジュールを含むことが理解されたい。当業者であれば、本明細書に開示する実施例に記載の各例のユニット及びアルゴリズムのステップに基づいて、本開示がハードウェア、またはハードウェアとコンピュータソフトウェアの組み合わせで実現可能であることは容易に認識できる。機能がハードウェアで実行されるか、それともコンピュータソフトウェアでハードウェアを駆動することにより実行されるかは、技術的解決手段の特定の応用及び設計制約条件によって決定される。専門技術者であれば、各特定の応用に応じて異なる方法で記述した機能を実現できる。このような実現は本開示の範囲を超えたものであると理解すべきではない。
本開示の実施例は、上記方法の例に従って画像処理装置の機能モジュールの分割を行うことができる。例えば、各機能に対応して個々の機能モジュールに分割してもよく、２つ以上の機能を１つの処理モジュールに統合してもよい。上記統合されたモジュールはハードウェアで実現されてもよく、ソフトウェア機能モジュールで実現されてもよい。説明すべきは、本開示の実施例におけるモジュールの分割は例示的なものであり、論理機能の分割に過ぎず、実際的な実現において別の分割形態で分割してもよい。
図３は本開示の実施例に開示される画像処理装置の構成模式図である。図３に示すように、該画像処理装置３００は、レジストレーション対象画像及びレジストレーション用基準画像を取得するために用いられる取得モジュール３１０と、上記レジストレーション対象画像及び上記基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力することと、上記所定のニューラルネットワークモデルによって、上記レジストレーション対象画像を上記基準画像へのレジストレーションを行い、レジストレーション結果を得ることとに用いられるレジストレーションモジュール３２０と、を含む。
選択可能的に、上記画像処理装置３００は、元のレジストレーション対象画像及び元の基準画像を取得し、上記元のレジストレーション対象画像及び上記元の基準画像に対して画像正規化処理を行い、目標パラメータを満たす上記レジストレーション対象画像及び上記基準画像を取得するために用いられる前処理モジュール３３０をさらに含む。
選択可能的に、上記前処理モジュール３３０は具体的に、上記元のレジストレーション対象画像を所定の範囲内のグレースケール値、所定の画像サイズを有するレジストレーション対象画像に変換することと、上記元の基準画像を上記所定の範囲内のグレースケール値、上記所定の画像サイズを有する基準画像に変換することとに用いられる。
選択可能的に、上記所定のニューラルネットワークモデルは、レジストレーションモデルと、相互情報量推定ネットワークモデルとを含み、上記レジストレーションモジュール３２０は、上記所定のレジストレーション対象画像及び上記所定の基準画像を取得し、上記所定のレジストレーション対象画像及び上記所定の基準画像を上記レジストレーションモデルに入力して変形場を生成するために用いられるレジストレーションユニット３２１と、上記レジストレーションモジュールが上記変形場及び上記所定のレジストレーション対象画像に基づいて上記所定の基準画像へのレジストレーションを行う過程において、上記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像と上記所定の基準画像との相互情報量を推定し、相互情報量の損失を得るために用いられる相互情報量推定ユニット３２２と、上記相互情報量の損失に基づいて、上記レジストレーションモデル及び上記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを得るために用いられる更新ユニット３２３と、を含む。
選択可能的に、上記相互情報量推定ユニット３２２は具体的に、上記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像及び上記所定の基準画像に基づいて同時確率分布及び周辺確率分布を取得することと、上記同時確率分布パラメータ及び上記周辺確率分布パラメータに基づいて、上記相互情報量の損失を算出することとに用いられる。
選択可能的に、上記更新ユニット３２３は具体的に、上記相互情報量の損失に基づいて、上記レジストレーションモデルのパラメータである第１閾値回数を更新し、上記相互情報量の損失に基づいて、上記相互情報量推定ネットワークモデルのパラメータである第２閾値回数を更新し、上記トレーニングされた所定のニューラルネットワークモデルを得るために用いられる。
選択可能的に、上記更新ユニット３２３は、所定のオプティマイザによって、上記所定のニューラルネットワークモデルのパラメータである所定の学習率及び第３閾値回数を更新するためにも用いられる。
選択可能的に、上記前処理モジュール３３０は、上記所定のレジストレーション対象画像及び上記所定の基準画像に対して画像正規化処理を行い、所定のトレーニングパラメータを満たす上記所定のレジストレーション対象画像及び上記所定の基準画像を得るためにも用いられ、上記レジストレーションモジュールは、上記所定のトレーニングパラメータを満たす上記所定のレジストレーション対象画像及び上記所定の基準画像を上記レジストレーションモデルに入力して変形場を生成するためにも用いられる。
図３の実施例における画像処理装置３００は、図１及び／または図２の実施例の方法の一部または全てを実行することができる。
実施図３に示す画像処理装置３００を実施すると、画像処理装置３００はレジストレーション対象画像及びレジストレーション用基準画像を取得し、レジストレーション対象画像及び基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力し、該所定のニューラルネットワークモデルによって、レジストレーション対象画像の基準画像へのレジストレーションを行い、レジストレーション結果を得ることができる。これにより、画像レジストレーションの精度及びリアルタイム性を向上させることができる。
いくつかの実施例では、本開示の実施例で提供された装置に備える機能またはモジュールは、上記方法の実施例に記載の方法を実行するために利用可能であり、その具体的な実施形態は上記方法の実施例の説明を参照すればよく、簡単化するために、ここで重複説明は割愛する。
図４は本開示の実施例に開示される電子機器の構成模式図である。図４に示すように、該電子機器４００は、プロセッサ４０１及びメモリ４０２を含み、さらに、バス４０３を含んでもよい。プロセッサ４０１とメモリ４０２はバス４０３を介して相互に接続可能であり、バス４０３は、周辺機器相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩと略される）バス、または拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡと略される）バスなどであってもよい。バス４０３は、アドレスバス、データバス、制御バスなどに分かれてもよい。図示の便宜上、図４において１つの太線のみで示されているが、１つのバスまたは１タイプのバスしかないことを意味しない。ここで、電子機器４００は入出力機器４０４をさらに含んでもよく、入出力機器４０４は表示スクリーン、例えば液晶表示スクリーンを含んでもよい。メモリ４０２は、コマンドを含む１つまたは複数のプログラムを記憶するために用いられる。プロセッサ４０１は、メモリ４０２に記憶されているコマンドを呼び出し、上記図１及び図２の実施例に記載の方法のステップの一部または全てを実行させるために用いられる。上記プロセッサ４０１は、図３の画像処理装置３００における各モジュールの機能を対応して実現することができる。
実施図４に示す電子機器４００を実施すると、電子機器４００はレジストレーション対象画像及びレジストレーション用基準画像を取得し、レジストレーション対象画像及び基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力し、該所定のニューラルネットワークモデルによって、レジストレーション対象画像の基準画像へのレジストレーションを行い、レジストレーション結果を得ることができる。これにより、画像レジストレーションの精度及びリアルタイム性を向上させることができる。
本開示の実施例は、コンピュータに上記方法の実施例に記載の画像処理方法のいずれか１つのステップの一部または全てを実行させる電子データ交換用のコンピュータプログラムを記憶するために用いられるコンピュータ読取可能記憶媒体をさらに提供する。
本開示の実施例は、機器において実行されると、機器のプロセッサに上記実施例のいずれか１つに係る画像処理方法を実現するためのコマンドを実行させるコンピュータ読取可能コードを含むコンピュータプログラム製品をさらに提供する。
説明すべきは、前述した各方法の実施例について、説明を簡略化するため、一連の動作の組み合わせとして記載したが、本開示によれば、いくつかのステップが他の順序でまたは同時に行うことが分かるから、当業者であれば、本開示は説明した動作の順序に限定されないことが理解される。また、当業者であれば、本明細書に記載の実施例はいずれも選択可能的な実施例であり、係る動作及びモジュールは必ず本開示に必須なものではないことが理解される。
上記実施例では、各実施例に対する記述の着目点が異なり、ある実施例において詳細に記述または記載されていない部分は、他の実施例の関連説明を参照すればよい。
本開示が提供する数個の実施例では、開示する装置は、他の形態で実現できることを理解すべきである。例えば、上述した装置の実施例は例示的なものに過ぎない。例えば、前記モジュール（またはユニット）の分割は、論理機能の分割に過ぎず、実際的な実現において別の分割形態で分割してもよい。例えば複数のモジュールまたはコンポーネントは、組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した互いの結合、直接結合または通信接続は、いくつかのインタフェース、機器またはモジュールを介した間接結合または通信接続であってもよいし、電気的または他の形態での接続であってもよい。
別々の部材として説明した前記モジュールは、物理的に分離されてもなくてもよく、モジュールとして示された部材は、物理モジュールであってもなくてもよく、一箇所に位置しても複数のネットワークモジュールに分散してもよい。本実施例の解決手段の目的を達成するために、実際の必要に応じてモジュールの一部または全てを選択することができる。
また、本開示の各実施例における各機能モジュールは、一つの処理モジュールに統合されてもよいし、それぞれ物理的に個別のモジュールとされてもよいし、二つ以上で一つのモジュールに統合されてもよい。上記統合されたモジュールは、ハードウェアで実現されてもよく、ソフトウェア機能モジュールで実現されてもよい。
前記統合されたモジュールは、ソフトウェア機能モジュールで実現され、かつ独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本開示の技術的解決手段の実質的な部分、従来技術に寄与する部分、または該技術的解決手段の全てまたは一部は、ソフトウェア製品で実現されることができる。該コンピュータソフトウェア製品は、メモリに記憶され、一つのコンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法のステップの全てまたは一部を実行させる若干のコマンドを含む。前記記憶媒体は、ＵＳＢメモリ、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ，ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）、モバイルハードディスク、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
当業者であれば、上記実施例の各方法におけるステップの全てまたは一部は、プログラムによって関連ハードウェアにコマンドを出すことにより完了されることを理解できる。このプログラムは、フラッシュディスク、読み出し専用メモリ、ランダムアクセスメモリ、磁気ディスクまたは光ディスクなどを含むコンピュータ読み取り可能記憶媒体に記憶可能である。
以上、本開示の実施例を詳細に説明した。本明細書では、具体例をもって本開示の原理及び実施形態を説明したが、以上の実施例に関する説明は本開示の方法及びその主旨を理解し易くするためのものに過ぎる。また、当業者であれば、本開示の思想に基づいて、具体的な実施形態と適用範囲を変更することが可能である。したがって、本明細書の内容は本開示を制限するものと理解すべきではない。

Claims (19)

  1. レジストレーション対象画像及びレジストレーション用基準画像を取得することと、
    前記レジストレーション対象画像及び前記基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力することと、
    前記所定のニューラルネットワークモデルによって、前記レジストレーション対象画像の前記基準画像へのレジストレーションを行い、レジストレーション結果を得ることと、を含むことを特徴とする画像処理方法。
  2. レジストレーション対象画像及びレジストレーション用基準画像を取得する前に、
    元のレジストレーション対象画像及び元の基準画像を取得し、前記元のレジストレーション対象画像及び前記元の基準画像に対して画像正規化処理を行い、目標パラメータを満たす前記レジストレーション対象画像及び前記基準画像を取得することを、さらに含むことを特徴とする請求項１に記載の画像処理方法。
  3. 前記元のレジストレーション対象画像及び前記元の基準画像に対して画像正規化処理を行い、目標パラメータを満たす前記レジストレーション対象画像及び前記基準画像を取得することは、
    前記元のレジストレーション対象画像を所定の範囲内のグレースケール値、所定の画像サイズを有するレジストレーション対象画像に変換することと、
    前記元の基準画像を前記所定の範囲内のグレースケール値、前記所定の画像サイズを有する基準画像に変換することと、を含むことを特徴とする請求項２に記載の画像処理方法。
  4. 前記所定のニューラルネットワークモデルは、レジストレーションモデルと、相互情報量推定ネットワークモデルとを含み、前記所定のニューラルネットワークモデルのトレーニングプロセスは、
    前記所定のレジストレーション対象画像及び前記所定の基準画像を取得し、前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して変形場を生成することと、
    前記変形場及び前記所定のレジストレーション対象画像に基づいて前記所定の基準画像へのレジストレーションを行う過程において、前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像と前記所定の基準画像との相互情報量を推定し、相互情報量の損失を得ることと、
    前記相互情報量の損失に基づいて、前記レジストレーションモデル及び前記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを得ることと、を含むことを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
  5. 前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像と前記所定の基準画像との相互情報量を推定し、相互情報量の損失を得ることは、
    前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像及び前記所定の基準画像に基づいて同時確率分布及び周辺確率分布を取得することと、
    前記同時確率分布パラメータ及び前記周辺確率分布パラメータに基づいて、前記相互情報量の損失を算出することと、を含むことを特徴とする請求項４に記載の画像処理方法。
  6. 前記相互情報量の損失に基づいて、前記レジストレーションモデル及び前記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを得ることは、
    前記相互情報量の損失に基づいて、前記レジストレーションモデルのパラメータである第１閾値回数を更新し、前記相互情報量の損失に基づいて、前記相互情報量推定ネットワークモデルのパラメータである第２閾値回数を更新し、前記トレーニングされた所定のニューラルネットワークモデルを得ることを含むことを特徴とする請求項４または５に記載の画像処理方法。
  7. 所定のオプティマイザによって、前記所定のニューラルネットワークモデルのパラメータである所定の学習率及び第３閾値回数を更新することをさらに含むことを特徴とする請求項６に記載の画像処理方法。
  8. 前記所定のレジストレーション対象画像及び前記所定の基準画像を取得する後に、
    前記所定のレジストレーション対象画像及び前記所定の基準画像に対して画像正規化処理を行い、所定のトレーニングパラメータを満たす前記所定のレジストレーション対象画像及び前記所定の基準画像を得ることをさらに含み、
    前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して変形場を生成することは、
    前記所定のトレーニングパラメータを満たす前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して前記変形場を生成することを含む、ことを特徴とする請求項４に記載の画像処理方法。
  9. レジストレーション対象画像及びレジストレーション用基準画像を取得するために用いられる取得モジュールと、
    前記レジストレーション対象画像及び前記基準画像を、所定のレジストレーション対象画像と所定の基準画像との相互情報量の損失に基づいてトレーニングされた所定のニューラルネットワークモデルに入力することと、前記所定のニューラルネットワークモデルによって、前記レジストレーション対象画像の前記基準画像へのレジストレーションを行い、レジストレーション結果を得ることとに用いられるレジストレーションモジュールと、を含むことを特徴とする画像処理装置。
  10. 元のレジストレーション対象画像及び元の基準画像を取得し、前記元のレジストレーション対象画像及び前記元の基準画像に対して画像正規化処理を行い、目標パラメータを満たす前記レジストレーション対象画像及び前記基準画像を取得するために用いられる前処理モジュールをさらに含む、ことを特徴とする請求項９に記載の画像処理装置。
  11. 前記前処理モジュールは、具体的に、
    前記元のレジストレーション対象画像を所定の範囲内のグレースケール値、所定の画像サイズを有するレジストレーション対象画像に変換することと、
    前記元の基準画像を前記所定の範囲内のグレースケール値、前記所定の画像サイズを有する基準画像に変換することとに用いられることを特徴とする請求項１０に記載の画像処理装置。
  12. 前記所定のニューラルネットワークモデルは、レジストレーションモデルと、相互情報量推定ネットワークモデルとを含み、前記レジストレーションモジュールは、
    前記所定のレジストレーション対象画像及び前記所定の基準画像を取得し、前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して変形場を生成するために用いられるレジストレーションユニットと、
    前記レジストレーションモジュールが前記変形場及び前記所定のレジストレーション対象画像に基づいて前記所定の基準画像へのレジストレーションを行う過程において、前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像と前記所定の基準画像との相互情報量を推定し、相互情報量の損失を得るために用いられる相互情報量推定ユニットと、
    前記相互情報量の損失に基づいて、前記レジストレーションモデル及び前記相互情報量推定ネットワークモデルのパラメータを更新し、トレーニングされた所定のニューラルネットワークモデルを得るために用いられる更新ユニットと、を含む、ことを特徴とする請求項９から１１のいずれか一項に記載の画像処理装置。
  13. 前記相互情報量推定ユニットは、具体的に、
    前記相互情報量推定ネットワークモデルによって、レジストレーション済みの画像及び前記所定の基準画像に基づいて同時確率分布及び周辺確率分布を取得することと、
    前記同時確率分布パラメータ及び前記周辺確率分布パラメータに基づいて、前記相互情報量の損失を算出することとに用いられることを特徴とする請求項１２に記載の画像処理装置。
  14. 前記更新ユニットは、具体的に、
    前記相互情報量の損失に基づいて、前記レジストレーションモデルのパラメータである第１閾値回数を更新し、前記相互情報量の損失に基づいて、前記相互情報量推定ネットワークモデルのパラメータである第２閾値回数を更新し、前記トレーニングされた所定のニューラルネットワークモデルを得るために用いられることを特徴とする請求項１２または１３に記載の画像処理装置。
  15. 前記更新ユニットは、所定のオプティマイザによって、前記所定のニューラルネットワークモデルのパラメータである所定の学習率及び第３閾値回数を更新するためにも用いられることを特徴とする請求項１４に記載の画像処理装置。
  16. 前記前処理モジュールは、前記所定のレジストレーション対象画像及び前記所定の基準画像を取得した後、前記所定のレジストレーション対象画像及び前記所定の基準画像に対して画像正規化処理を行い、所定のトレーニングパラメータを満たす前記所定のレジストレーション対象画像及び前記所定の基準画像を得るためにも用いられ、
    前記レジストレーションモジュールは、前記所定のトレーニングパラメータを満たす前記所定のレジストレーション対象画像及び前記所定の基準画像を前記レジストレーションモデルに入力して前記変形場を生成するためにも用いられることを特徴とする請求項１２に記載の画像処理装置。
  17. プロセッサ、及び前記プロセッサにより実行されるように構成される１つまたは複数のプログラムを記憶するためのメモリを含み、前記プログラムは、請求項１から８のいずれか一項に記載の方法を実行するためのコマンドを含むことを特徴とする電子機器。
  18. コンピュータに請求項１から８のいずれか一項に記載の方法を実行させる電子データ交換用のコンピュータプログラムを記憶するために用いられることを特徴とするコンピュータ読取可能記憶媒体。
  19. 電子機器において実行されると、前記電子機器のプロセッサに請求項１から８のいずれか一項に記載の方法を実現するためのコマンドを実行させるコンピュータ読取可能コードを含むことを特徴とするコンピュータプログラム。
JP2021521764A 2018-12-19 2019-10-31 画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体 Pending JP2022505498A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811559600.6A CN109741379A (zh) 2018-12-19 2018-12-19 图像处理方法、装置、电子设备及计算机可读存储介质
CN201811559600.6 2018-12-19
PCT/CN2019/114563 WO2020125221A1 (zh) 2018-12-19 2019-10-31 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
JP2022505498A true JP2022505498A (ja) 2022-01-14

Family

ID=66360763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021521764A Pending JP2022505498A (ja) 2018-12-19 2019-10-31 画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体

Country Status (7)

Country Link
US (1) US20210209775A1 (ja)
JP (1) JP2022505498A (ja)
KR (1) KR20210048523A (ja)
CN (2) CN111292362A (ja)
SG (1) SG11202102960XA (ja)
TW (1) TW202044198A (ja)
WO (1) WO2020125221A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110660020B (zh) * 2019-08-15 2024-02-09 天津中科智能识别产业技术研究院有限公司 一种基于融合互信息的对抗生成网络的图像超分辨率方法
CN110782421B (zh) * 2019-09-19 2023-09-26 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN111161332A (zh) * 2019-12-30 2020-05-15 上海研境医疗科技有限公司 同源病理影像配准预处理方法、装置、设备及存储介质
CN113724300A (zh) * 2020-05-25 2021-11-30 北京达佳互联信息技术有限公司 图像配准方法、装置、电子设备及存储介质
CN111724421B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN111738365B (zh) * 2020-08-06 2020-12-18 腾讯科技（深圳）有限公司 图像分类模型训练方法、装置、计算机设备及存储介质
CN112348819A (zh) * 2020-10-30 2021-02-09 上海商汤智能科技有限公司 模型训练方法、图像处理及配准方法以及相关装置、设备
CN112529949A (zh) * 2020-12-08 2021-03-19 北京安德医智科技有限公司 一种基于t2图像生成dwi图像的方法及系统
CN112598028B (zh) * 2020-12-10 2022-06-07 上海鹰瞳医疗科技有限公司 眼底图像配准模型训练方法、眼底图像配准方法和装置
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113706450A (zh) * 2021-05-18 2021-11-26 腾讯科技（深圳）有限公司 图像配准方法、装置、设备及可读存储介质
CN113255894B (zh) * 2021-06-02 2022-12-06 华南农业大学 Bp神经网络模型的训练方法、病虫害检测方法及电子设备
CN113516697B (zh) * 2021-07-19 2024-02-02 北京世纪好未来教育科技有限公司 图像配准的方法、装置、电子设备及计算机可读存储介质
CN113808175B (zh) * 2021-08-31 2023-03-10 数坤(北京)网络科技股份有限公司 一种图像配准方法、装置、设备及可读存储介质
CN113936173A (zh) * 2021-10-08 2022-01-14 上海交通大学 一种最大化互信息的图像分类方法、设备、介质及系统
CN114693642B (zh) * 2022-03-30 2023-03-24 北京医准智能科技有限公司 一种结节匹配方法、装置、电子设备及存储介质
CN115423853A (zh) * 2022-07-29 2022-12-02 荣耀终端有限公司 一种图像配准方法和设备
CN115393402B (zh) * 2022-08-24 2023-04-18 北京医智影科技有限公司 图像配准网络模型的训练方法、图像配准方法及设备
CN116309751B (zh) * 2023-03-15 2023-12-19 浙江医准智能科技有限公司 影像处理方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
JP2013146540A (ja) * 2011-12-20 2013-08-01 Fujifilm Corp 画像処理装置および画像処理方法、並びに、画像処理プログラム
JP2014095667A (ja) * 2012-11-12 2014-05-22 Mitsubishi Electric Corp 目標類識別装置及び目標類識別方法
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100470587C (zh) * 2007-01-26 2009-03-18 清华大学 一种医学图像中腹部器官分割方法
CN102208109B (zh) * 2011-06-23 2012-08-22 南京林业大学 X射线图像和激光图像的异源图像配准方法
KR102294734B1 (ko) * 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
US10575774B2 (en) * 2017-02-27 2020-03-03 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial radiomics
CN107292872A (zh) * 2017-06-16 2017-10-24 艾松涛 图像处理方法/系统、计算机可读存储介质及电子设备
CN107886508B (zh) * 2017-11-23 2021-11-23 上海联影医疗科技股份有限公司 差分减影方法和医学图像处理方法及系统
CN108846829B (zh) * 2018-05-23 2021-03-23 平安科技（深圳）有限公司 病变部位识别装置、计算机装置及可读存储介质
CN109035316B (zh) * 2018-08-28 2020-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN111292362A (zh) * 2018-12-19 2020-06-16 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235796A (ja) * 2009-09-17 2012-12-06 Sharp Corp 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
JP2013146540A (ja) * 2011-12-20 2013-08-01 Fujifilm Corp 画像処理装置および画像処理方法、並びに、画像処理プログラム
JP2014095667A (ja) * 2012-11-12 2014-05-22 Mitsubishi Electric Corp 目標類識別装置及び目標類識別方法
US20160093048A1 (en) * 2014-09-25 2016-03-31 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JU-HWAN SEO, 外1名: ""Learning similarity metric for comparing RGB-D image patches by CNN"", 2017 14TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS AND AMBIENT INTELLIGENCE (URAI), JPN6022023809, 1 July 2017 (2017-07-01), US, pages 490 - 491, ISSN: 0004799344 *
古堂和音, 外3名: ""ペアワイズ分類における深層学習の検証"", 第７回データ工学と情報マネジメントに関するフォーラム （第１３回日本データベース学会年次大会）, JPN6022023812, 4 March 2015 (2015-03-04), JP, ISSN: 0004799343 *
長柄快, 外4名: ""ディープラーニングを用いた教師なし学習によるレジストレーション手法の初期的検討"", 電子情報通信学会技術研究報告, vol. 第117巻, 第518号, JPN6022023811, 12 March 2018 (2018-03-12), JP, pages 7 - 12, ISSN: 0004971600 *

Also Published As

Publication number Publication date
US20210209775A1 (en) 2021-07-08
SG11202102960XA (en) 2021-04-29
CN111292362A (zh) 2020-06-16
CN109741379A (zh) 2019-05-10
KR20210048523A (ko) 2021-05-03
WO2020125221A1 (zh) 2020-06-25
TW202044198A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
JP2022505498A (ja) 画像処理方法、装置、電子機器及びコンピュータ読取可能記憶媒体
TWI754195B (zh) 圖像處理方法及其裝置、電子設備及電腦可讀儲存媒體
Maier et al. A gentle introduction to deep learning in medical image processing
Pishchulin et al. Building statistical shape spaces for 3d human modeling
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
Sarafianos et al. 3d human pose estimation: A review of the literature and analysis of covariates
EP3273387B1 (en) Medical image segmentation with a multi-task neural network system
WO2020133636A1 (zh) 前列腺手术中外包膜智能检测和预警方法及系统
US9898858B2 (en) Human body representation with non-rigid parts in an imaging system
US20160174902A1 (en) Method and System for Anatomical Object Detection Using Marginal Space Deep Neural Networks
JP2009146405A (ja) 人体姿勢推定システム、方法およびプログラム
US20230169727A1 (en) Generative Nonlinear Human Shape Models
Laga A survey on nonrigid 3d shape analysis
CN112750531A (zh) 一种中医自动化望诊系统、方法、设备和介质
CN114155402A (zh) 用于改善机器学习模型泛化能力的合成训练数据生成
Claes A robust statistical surface registration framework using implicit function representations-application in craniofacial reconstruction
Mountney et al. Context specific descriptors for tracking deforming tissue
Danilov et al. Use of semi-synthetic data for catheter segmentation improvement
Hadi et al. Comparison Between Convolutional Neural Network CNN and SVM in Skin Cancer Images Recognition
KR102426925B1 (ko) 3d 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램
CN112766063B (zh) 基于位移补偿的微表情拟合方法和系统
Zhao et al. SPSVO: a self-supervised surgical perception stereo visual odometer for endoscopy
Maximilian et al. Learning the shape of female breasts: an open-access 3D statistical shape model of the female breast built from 110 breast scans
Yun et al. Nonlinear Representation and Dimensionality Reduction
Wang Structure-Aware Representation Learning and its Medical Applications

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230124