JP2022530413A - 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム Download PDF

Info

Publication number
JP2022530413A
JP2022530413A JP2021563034A JP2021563034A JP2022530413A JP 2022530413 A JP2022530413 A JP 2022530413A JP 2021563034 A JP2021563034 A JP 2021563034A JP 2021563034 A JP2021563034 A JP 2021563034A JP 2022530413 A JP2022530413 A JP 2022530413A
Authority
JP
Japan
Prior art keywords
image
processing
result
classification network
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021563034A
Other languages
English (en)
Inventor
ホンゾー ハン
ニン ホアン
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2022530413A publication Critical patent/JP2022530413A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本願の実施例は、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関する。前記方法は、第１画像及び第２画像をターゲット分類ネットワークに入力し、分類結果を得ることと、前記分類結果に基づいて、変化データに対して予測を行い、予測結果を得ることであって、前記変化データは、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を表す、ことと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年０９月２６日に提出された、出願番号が２０１９１０９１８４５０．１である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、コンピュータビジョン技術分野に関し、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関するが、これらに限定されない。
深層学習が迅速に成長し、画像処理分野において、著しい成果を取得とした。現在、深層学習に基づいた画像処理技術は、病巣進展を予測するために、複数の処理プロセスを行う必要がある。これにより、処理プロセスが煩わしくなり、且つこれにより得られた予測結果の正確性も高くない。
本願の実施例は、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムを提供する。
本願の実施例は、画像処理方法を提供する。前記方法は、
第１画像及び第２画像をターゲット分類ネットワークに入力し、分類結果を得ることと、
前記分類結果に基づいて、変化データに対して予測を行い、予測結果を得ることであって、前記変化データは、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を表す、ことと、を含む。
本願の実施例の技術的解決手段において、１つのターゲット分類ネットワークを用いることで、分類結果を得ることができるため、画像処理プロセスを簡略化する。また、該分類結果は、第１画像及び第２画像を該ターゲット分類ネットワークに入力することで得られたものである。また、分類結果に基づいて、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を予測することで、予測結果の正確性を向上させる。
本願の幾つかの実施例において、前記方法は、
分類ネットワークに対して訓練を行い、訓練された分類ネットワークを得ることと、
前記訓練された分類ネットワークを前記ターゲット分類ネットワークとすることと、を更に含む。
本願の実施例の技術的解決手段により、訓練された分類ネットワークをターゲット分類ネットワークとする。従って、ターゲット分類ネットワークを用いることで、分類結果を得ることができる。分類結果に基づいて、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を予測することで、予測結果の正確性を向上させる。
本願の幾つかの実施例において、分類ネットワークに対して訓練を行い、訓練された分類ネットワークを得ることは、
第１画像及び第２画像に対して画像重畳処理を行った後、処理されるべき画像を得ることであって、前記第１画像及び前記第２画像は、異なる種類の画像データである、ことと、
前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることと、を含む。
本願の実施例の技術的解決手段により、第１画像及び第２画像に対して画像重畳処理を行った後に得られた処理されるべき画像に基づいて、分類ネットワークの訓練を行う。このような２つの画像データを総合的に考慮して該分類ネットワークにおいて訓練を行うため、訓練の正確度を得ることができる。
本願の幾つかの実施例において、処理されるべき画像を得ることは、
前記ターゲット対象の輪郭に基づいて、前記第１画像及び前記第２画像に対してそれぞれ画像切り出しを行い、切り出し後の第１サブ画像データ及び第２サブ画像データを得ることと、
前記第１サブ画像データ及び前記第２サブ画像データを前記処理されるべき画像とすることと、を含む。
本願の実施例の技術的解決手段により、前記ターゲット画像の輪郭に基づいて、第１画像及び前記第２画像に対してそれぞれ切り出しを行い、切り出し後の第１サブ画像データ及び第２サブ画像データを得て該分類ネットワークの訓練に用いることで、訓練効率を向上させることができる。
本願の幾つかの実施例において、前記第１サブ画像データ及び前記第２サブ画像データは、寸法が同じである画像データである。
本願の実施例の技術的解決手段において、寸法が同じである画像データを用いることで、画像重畳処理プロセスにおいて、画素位置合わせを必要とせず、第１サブ画像データ及び第２サブ画像データを直接的に用いて画像重畳を実現すればよい。画像重畳の処理効率を向上させる。
本願の幾つかの実施例において、前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることは、
前記第１サブ画像データ及び前記第２サブ画像データをそれぞれ対応するヒストグラムに変換し、ヒストグラムの均等化処理を行い、均等化処理結果を得ることと、
前記均等化処理結果に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得ることと、を含む。
本願の実施例の技術的解決手段により、画像データを対応するヒストグラムに変換し、ヒストグラムの均等化処理を行うことで、画像のヒストグラム分布をほぼ均一な分布に変更し、画像のコントラストを向上させ、画像をより明瞭にすることができる。
本願の幾つかの実施例において、前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることは、
前記第１サブ画像データ及び前記第２サブ画像データに含まれる対応する画素点に対して正規化処理を行い、正規化処理結果を得ることと、
前記正規化処理結果に基づいて前記分類ネットワークに対して訓練を行い、前記訓練された分類ネットワークを得ることと、を含む。
本願の実施例の技術的解決手段により、画素点に対して正規化処理を行うことで、画素点の分布性をまとめることができる。これにより、処理されるべき画素点を正規化処理した後に所定の範囲内に制限することができる。つまり、正規化処理は、後続の一連の処理をより便利かつ迅速にするために用いられ、分類ネットワークの訓練の収束速度の向上に寄与する。
本願の幾つかの実施例において、前記分類ネットワークは、少なくとも１つの分類処理モジュールを備え、
前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることは、
前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにより特徴抽出、次元削減処理及びグローバル平均値プーリング処理を行い、損失関数を得ることと、
前記損失関数の逆伝播に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得ることと、を含む。
本願の実施例の技術的解決手段により、処理されるべき画像に対して、少なくとも１つの分類処理モジュールにより特徴抽出、次元削減処理及びグローバル平均値プーリング処理を行うことで、損失関数を得ることができる。前記損失関数の逆伝播により、前記分類ネットワークを訓練し、訓練により該ターゲット分類ネットワークを得る。
本願の幾つかの実施例において、各分類処理モジュールは少なくとも畳み込み層を含み、
前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにより特徴抽出、次元削減処理及びグローバル平均値プーリング処理を行い、損失関数を得ることは、
前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにおける対応する畳み込み層により、特徴抽出を行った後、次元削減処理を行い、第１処理結果を得ることと、
前記第１処理結果に対してグローバル平均値プーリング処理を行った後に全結合層に入力し、第２処理結果を得ることであって、前記第２処理結果は、抽出された特徴の予測変化状況を表すためのものである、ことと、
前記第２処理結果及び手動アノテーション結果に基づいて、前記損失関数を得ることと、を含む。
本願の実施例の技術的解決手段により、次元削減処理後に得られた第１処理結果に基づいて、第２処理結果を得、前記第２処理結果及び手動アノテーション結果に基づいて、前記損失関数を得ることができる。これにより、前記損失関数の逆伝播に基づいて、前記分類ネットワークを訓練し、訓練により該ターゲット分類ネットワークを得る。
本願の幾つかの実施例において、前記分類処理モジュールが残差モジュールである場合、各残差モジュールは、畳み込み層、正規化層及び活性化層を含み、
前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにおける対応する畳み込み層により特徴抽出を行った後、
前記処理されるべき画像に対して少なくとも１つの残差モジュールにおける対応する畳み込み層により特徴抽出を行った後に得られた第１抽出結果に対して、正規化層及び活性化層により処理を行った後に第２抽出結果を得ることと、
前記第２抽出結果及び前記処理されるべき画像に基づいて、第３抽出結果を得ることと、を更に含む。
本願の実施例の技術的解決手段によれば、分類処理モジュールが残差モジュールである場合、該モジュールの構造は、畳み込み層、正規化層及び活性化層を含み、残差モジュールにおける対応する畳み込み層により特徴抽出を行った後に得られた第１抽出結果に対して、正規化層及び活性化層により処理を行った後に第２抽出結果を得る。前記第２抽出結果及び前記処理されるべき画像に基づいて、第３抽出結果を得ることができる。これにより、該第３抽出結果に基づいて、損失関数を算出するための第１処理結果を得る。損失関数を得た後、前記損失関数の逆伝播に基づいて、前記分類ネットワークを訓練することができる。これにより、訓練により該ターゲット分類ネットワークを得る。
本願の幾つかの実施例において、次元削減処理を行い、第１処理結果を得ることは、
前記第３抽出結果に基づいて、次元削減処理を行い、前記第１処理結果を得ることを含む。
本願の実施例の技術的解決手段により、第３抽出結果に対して次元削減処理を行い、損失関数を算出するための第１処理結果を得る。損失関数を得た後、前記損失関数の逆伝播に基づいて、前記分類ネットワークを訓練することができる。これにより、訓練により、該ターゲット分類ネットワークを得る。
本願の実施例は、画像処理装置を更に提供する。前記装置は、
第１画像及び第２画像をターゲット分類ネットワークに入力し、分類結果を得るように構成される分類パートと、
前記分類結果に基づいて、変化データに対して予測を行い、予測結果を得るように構成される予測パートであって、前記変化データは、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を表す、予測パートと、を備える。
本願の幾つかの実施例において、前記装置は、訓練パートを更に備え、前記訓練パートは、
分類ネットワークに対して訓練を行い、訓練された分類ネットワークを得、
前記訓練された分類ネットワークを前記ターゲット分類ネットワークとするように構成される。
本願の幾つかの実施例において、前記訓練パートは、
第１画像及び第２画像に対して画像重畳処理を行った後、処理されるべき画像を得るように構成される重畳サブパートであって、前記第１画像及び前記第２画像は、異なる種類の画像データである、重畳サブパートと、
前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得るように構成される訓練サブパートと、を備える。
本願の幾つかの実施例において、前記訓練パートは、
前記ターゲット対象の輪郭に基づいて、前記第１画像及び前記第２画像に対してそれぞれ画像切り出しを行い、切り出し後の第１サブ画像データ及び第２サブ画像データを得、前記第１サブ画像データ及び前記第２サブ画像データを前記処理されるべき画像とするように構成される切り出しサブパートを更に備える。
本願の幾つかの実施例において、前記第１サブ画像データ及び前記第２サブ画像データは、寸法が同じである画像データである。
本願の幾つかの実施例において、前記訓練パートは、
前記第１サブ画像データ及び前記第２サブ画像データをそれぞれ対応するヒストグラムに変換し、ヒストグラムの均等化処理を行い、均等化処理結果を得、前記均等化処理結果に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得るように構成される均等化処理サブパートを更に備える。
本願の幾つかの実施例において、前記訓練パートは、
前記第１サブ画像データ及び前記第２サブ画像データに含まれる対応する画素点に対して正規化処理を行い、正規化処理結果を得、前記正規化処理結果に基づいて前記分類ネットワークに対して訓練を行い、前記訓練された分類ネットワークを得るように構成される正規化処理サブパートを更に備える。
本願の幾つかの実施例において、前記分類ネットワークは、少なくとも１つの分類処理モジュールを備え、
前記訓練サブパートは、
前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにより特徴抽出、次元削減処理及びグローバル平均値プーリング処理を行い、損失関数を得、前記損失関数の逆伝播に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得るように構成される。
本願の幾つかの実施例において、各分類処理モジュールは少なくとも畳み込み層を含み、
前記訓練サブパートは、
前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにおける対応する畳み込み層により、特徴抽出を行った後、次元削減処理を行い、第１処理結果を得ることと、前記第１処理結果に対してグローバル平均値プーリング処理を行った後に全結合層に入力し、第２処理結果を得ることであって、前記第２処理結果は、抽出された特徴の予測変化状況を表すためのものである、ことと、前記第２処理結果及び手動アノテーション結果に基づいて、前記損失関数を得ることと、を実行するように構成される。
本願の幾つかの実施例において、前記分類処理モジュールが残差モジュールである場合、各残差モジュールは、畳み込み層、正規化層及び活性化層を含み、
前記訓練サブパートは、
前記処理されるべき画像に対して少なくとも１つの残差モジュールにおける対応する畳み込み層により特徴抽出を行った後に得られた第１抽出結果に対して、正規化層及び活性化層により処理を行い、第２抽出結果を得、前記第２抽出結果及び前記処理されるべき画像に基づいて、第３抽出結果を得るように構成される。
本願の幾つかの実施例において、前記訓練サブパートは、前記第３抽出結果に基づいて、次元削減処理を行い、前記第１処理結果を得るように構成される。
本願の実施例は、電子機器を更に提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、上記いずれか１つの画像処理方法を実行するように構成される。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されると、前記プロセッサに上記いずれか１つの画像処理方法を実現させる。
本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されると、前記電子機器におけるプロセッサに、上記いずれか１つの画像処理方法を実行させる。
本願の実施例において、第１画像及び第２画像をターゲット分類ネットワークに入力し、分類結果を得る。前記分類結果に基づいて、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況に対して予測を行い、予測結果を得る。１つのターゲット分類ネットワークを用いることで、分類結果を得ることができるため、本願の実施例の技術的解決手段により、画像処理プロセスを簡略化する。該分類結果は、第１画像及び第２画像を該ターゲット分類ネットワークに入力することで得られたものである。また、分類結果に基づいて、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を予測する。従って、本願の実施例の技術的解決手段により、予測結果の正確度を向上させる。
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
本願の実施例による画像処理方法を示すフローチャートである。 本願の実施例の１つの適用シーンを示す概略図である。 本願の実施例による分類ネットワークの訓練プロセスを示す概略図である。 本願の実施例による画像処理方法を実現させる分類ネットワークアーキテクチャを示す概略図である。 本願の実施例による画像処理装置の構造を示す概略図である。 本願の実施例による電子機器の構造を示す概略図である。 本願の実施例によるもう１つの電子機器の構造を示す概略図である。
以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
画像処理の１つの適用方向は、医用画像の処理を最適化することで、より簡単な処理プロセスにより、より正確な予測結果を得ることである。該予測結果は、所定領域病巣に対して処理を行う場合に該所定領域に及ぼす影響の程度に対する予測結果であってもよい。例えば、病巣は、腹部、肺部、腎部、脳部、心臓などに位置してもよい。所定領域が肺部であれば、肺部における、病巣が位置する部位に対して手術により処置を行った後に肺部に及ぼす影響の程度（例えば、重症度又は非重症度など）に対して予測を行う必要がある。
例えば、肺部病巣に対して放射線治療を行う前に、放射線治療が肺部に及ぼす影響の程度を予測する必要がある。肺部に対して放射線治療を行う場合、放射線肺炎を招く可能性がある。放射線肺炎は、病巣（例えば、肺癌、乳腺癌、食道癌、悪性リンパ腫又は胸部の他の悪性腫瘍）に対して放射線治療を行った後、放射野内の正常な肺組織の損傷が原因で起こる炎症反応である。軽症者は、無症状であり、炎症が自己消散し得る。重症者の肺臓に広範な線維症が発生し、呼吸機能の損害を招き、ひいては呼吸不全を招く。炎症反応の程度は、放射線量及び放射線治療前の病巣の状態に密接に関連する。肺癌に対して放射線治療を行った後の放射線肺炎の重症度を予測する必要がある。該プロセスは煩わしく、まず、肺癌病巣を含む電子コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）画像から、画像特徴を抽出し、次に、抽出された画像特徴から、処理されるべき画像特徴を選択し、続いて、分類器において分類を行い、分類結果に基づいて、画像における指定領域に及ぼす影響の程度を予測する。
関連技術において、画像特徴の抽出は、ラジオミクスにより実現可能である。ラジオミクスにより画像特徴を抽出することは、放射線撮像方法で画像特徴を抽出することである。また、該画像特徴と臨床症状（例えば、指定領域に及ぼす影響の程度の予測）等の関係を検討する。画像特徴を抽出した後、特徴に対して選択する。サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ：ＳＶＭ）などの分類器により、指定領域に及ぼす影響の程度（例えば、重症度又は非重症度など）を予測することができる。これから分かるように、画像処理プロセス全体は、複数の段階を含む。煩わしいだけでなく、これにより得られた予測結果の正確性も高くない。正確性が高くないことを引き起こす原因は以下のとおりである。
１）各段階において、手動で設定されたハイパーパラメータは多く存在する。手動で設定されたハイパーパラメータの選択が正確であるかどうかは、最終的な予測結果に大きな影響を及ぼす。つまり、手動で設定されたハイパーパラメータの選択が不正確であると、最終的な予測結果も正確ではない。
２）放射線治療に用いられる放射線量の予測と画像処理プロセスの予測をそれぞれ行う。ここで、肺内部の放射線量全体に対して平均値を求めるなどの方法で、線量定数を得、上記予測プロセスを実現させることができる。例えば、一般的に、グレイ（Ｇｒａｙ：Ｇｙ）単位で、放射の吸収線量を評価する。医者は、肺内吸収線量が所定値を超える組織が肺部全体に占める百分率を該線量定数として統計することができる。例えば、Ｖ２０は、肺内吸収線量が２０Ｇｙを超える組織の体積が肺部全体体積に占める百分率である。該線量定数を用いた処理方法は、大まか過ぎて、異なる病巣での線量も異なることを考慮していない。病巣が腹部、肺部、腎部、脳部、心臓などの異なる領域に位置する場合、用いられる線量は、異なることが明らかである。これに対応して、放射線治療後の影響も異なる。例えば、肺部全体の内部の放射線量が少なく、統計された定数も小さいが、放射線を、主な気管、血管、心臓などの肝心な器官に照射する場合にも、深刻な結果を招く。つまり、該線量定数による処理方法に用いられる定数は、統計量だけであり、異なる領域空間における放射線の分布を考慮していない。従って、該線量定数を用いた処理方法で得られた予測正確率も高くない。
要するに、関連技術において、放射線治療後の肺炎の重症度の予測タスクは主にジオミクス方式で解決され、効率が高くなく、ロバスト性が低く、放射線分布を考慮しておらず、正確率が低いなどの欠点がある。一部のジオミクス方法は、望ましい正確率を実現させるが、そのプロセスにおける特徴選択最適化及び線量定数、ＳＶＭによるハイパーパラメータ選択により、その方法のロバスト性が低く、他のデータセットに広く適用されることが困難である。それと同時に、放射線量に対して定数化処理を行うことができる。つまり、肺内全体又は癌領域の放射線量を定数として統計することができるが、このように演算を行うと、放射線の分布特徴を失う。
本願の実施例によれば、放射線治療後の肺炎の重症度の予測を例として、深層学習訓練を行った後に得られたターゲット分類ネットワーク（例えば、分類ニューラルネットワーク。該ネットワークは、三次元のものであってもよい）について、肺部画像と放射線分布画像（該２つの画像はいずれも三次元画像であってもよい）を同時に該ターゲット分類ネットワークに入力することができる。従って、該ターゲット分類ネットワークにより、病巣が位置する指定領域又は関連領域の、各部位での画像及び放射線分布を総合的に得ることができ、予測正確性を向上させることができる。また、該ターゲット分類ネットワークにより分類により、放射線治療後に発生する肺炎の重症度を直接的に一段階で出力することができる。本願の実施例は、画像処理の予測プロセスにおいて、放射線量の分布を考慮するだけでなく、類似したタスクデータセットにも広く適用可能である。例えば、いずれか１つの病院の放射線肺炎データについて、如何なるパラメータ及び構造を変更する必要もなく、本願の実施例を直接的に適用し放射線肺炎の重症度を予測することができる。また、適用シーンは、病巣が腹部、肺部、腎部、脳部、心臓などの異なる領域又は関連領域に位置する場合の予測に限定されず、正確な予測結果を迅速に得ることができる。
図１は、本願の実施例による画像処理方法を示すフローチャートである。該画像処理方法は、画像処理装置に適用される。例えば、該処理装置は、端末装置、サーバ又は他の処理機器により実行されてもよい。ここで、端末装置は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。本願の幾つかの実施例において、該画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図１に示すように、該プロセスは以下を含む。
ステップＳ１０１において、第１画像及び第２画像をターゲット分類ネットワークに入力し、分類結果を得る。
本願の幾つかの実施例において、第１画像は、病巣が存在する画像（病巣が位置する領域のＣＴ画像であってもよい）であってもよい、例えば、病巣が腹部、肺部、腎部、脳部、心臓などの異なる領域に位置する画像又は関連領域の画像である。第２画像は、病巣が位置する領域又は関連領域に対して放射線治療を行うために用いられる放射線量の分布図である。実際に実行する場合、病巣が存在する画像及び放射線量の分布図という２つ画像をターゲット分類ネットワークに入力し、分類結果を得ることができる。
ステップＳ１０２において、前記分類結果に基づいて、変化データに対して予測を行い、予測結果を得る。
ここで、変化データは、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を表す。
本願の幾つかの実施例において、該ターゲット対象は、例えば腹部、肺部、腎部、脳部、心臓尾などのような、病巣が位置する器官であってもよい。該領域分布は、異なる領域において、異なる病巣に対して用いられる放射線量の分布であってもよい。該変化状況は、病巣に対して一旦放射線治療を行った後に病巣が位置する器官（例えば、肺部）に発生する炎症の重症度（例えば、重症度の確率又は非重症度の確率）であってもよい。例えば、分類結果に基づいて、病巣が存在する画像における肺部に対して、放射線量分布図における射線分布に基づいて得られた炎症の重症度を予測し、予測結果を得ることができる。
本願の実施例の技術的解決手段により、ターゲット分類ネットワークのみにより、分類を行うと、予測を実現させることができる。従って、複数段階の煩わしい操作を必要とせず、ワンステップでエンドツーエンド方式により予測結果を得ることができる。病巣が存在する画像と放射線量分布図の相互影響を総合的に考慮し、両者を別々に単独して処理することなく、放射線量分布図を複合入力とする。上記画像間の相互影響により、異なる位置での異なる放射線量が及ぼす異なる影響を十分に考慮し、予測の正確率を向上させる。また、該ターゲット分類ネットワークは、人為的なハイパーパラメータによる調整を必要とせず、深層学習訓練されたターゲット分類ネットワークを用いることができる。画像処理プロセス全体における適応的調整を実現させ、予測正確率の向上に寄与する。
本願の実施例の画像処理方法は、肺癌手術前の放射線治療計画、放射線肺炎予測などのシーンに適用可能である。図２は、本願の実施例による適用シーンを示す概略図である。図２に示すように、肺癌患者のＣＴ画像２０１は、上記第１画像であり、放射線量分布図２０２は、上記第２画像である。医師は、肺癌患者のＣＴ画像を得た後、放射線治療手術に対して計画を行う必要がある。この場合、放射線量分布図及び肺癌患者のＣＴ画像を上記画像処理装置２００に入力することができる。前記画像処理装置において、上述した実施例に記載の画像処理方法により処理を行うことで、放射線治療後に発生する放射線肺炎の重症度の予測結果を得ることができ、更に、放射線治療後に発生する放射線肺炎の重症度に対して予測を行うことができる。従って、医師が手術後のリスクを事前に予知して、未然防止又は放射線治療計画の修正を行うことを支援する。
本願の幾つかの実施例において、分類ネットワークに対して訓練を行い、訓練された分類ネットワークを得、前記訓練された分類ネットワークを前記ターゲット分類ネットワークとすることができる。
図３は、本願の実施例による分類ネットワークの訓練プロセスを示す概略図である。該分類ネットワークの訓練プロセスは、画像処理装置により実現してもよい。例えば、画像処理装置は、端末装置、サーバ又は他の処理機器により実行されてもよい。ここで、端末装置は、ユーザ装置、携帯機器、セルラ電話、コードレス電話、ＰＤＡ、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。本願の幾つかの実施例において、該画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図３に示すように、該分類ネットワークの訓練プロセスは、以下を含んでもよい。
ステップＳ３０１において、第１画像及び第２画像に対して画像重畳処理を行った後、処理されるべき画像を得る。
本願の実施例において、第１画像及び第２画像は、異なる種類の画像データであってもよい。
本願の幾つかの実施例において、第１画像及び第２画像に対して画像重畳処理を行った後、前記ターゲット対象の輪郭に基づいて、前記第１画像及び前記第２画像に対してそれぞれ画像切り出しを行い、切り出し後の第１サブ画像データ及び第２サブ画像データを得ることができる。
ターゲット対象の輪郭は、病巣の輪郭ではなく、病巣が位置する領域又は関連領域の輪郭である。例えば、病巣が位置する肺部の全ての肺部輪郭、又は、病巣が位置する心臓、腎臓などの輪郭である。異なる領域によって、異なる線量を用いる。
本願の幾つかの実施例において、第１サブ画像データ及び第２サブ画像データは、寸法が同じである画像データであってもよい。例えば、肺部輪郭に応じて、三次元の第１画像及び前記第２画像に対して切り出しを行う。両者は、同一の大きさを有する。続いて、第１サブ画像データ及び第２サブ画像データを前記処理されるべき画像とする。
本願の幾つかの実施例において、前記第１サブ画像データ及び前記第２サブ画像データは、サイズが異なる画像データであってもよい。この場合、前記第１サブ画像データ及び前記第２サブ画像データに含まれる対応する画素点に対して画素位置合わせ処理を行い、位置合わせされた第１サブ画像データ及び位置合わせされた第２サブ画像データを得る。位置合わせされた第１サブ画像データ及び位置合わせされた第２サブ画像データに含まれる対応する画素点に対して重畳を行うことで画像重畳処理を実現させた後、前記処理されるべき画像を得る。
ステップＳ３０２において、前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得る。
本願の実施例は、ステップＳ３０１－ステップＳ３０２により、分類ネットワークに対して訓練を行うことで、訓練された分類ネットワークを得ることができる。前記訓練された分類ネットワークを前記ターゲット分類ネットワークとする。
本願の幾つかの実施例において、前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることは、第１サブ画像データ及び第２サブ画像データをそれぞれ対応するヒストグラムに変換し、ヒストグラムの均等化処理を行い、均等化処理結果を得ることと、前記均等化処理結果に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得ることと、を含んでもよい。
本願の幾つかの実施例において、前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることは、第１サブ画像データ及び第２サブ画像データに含まれる対応する画素点に対して正規化処理を行い、正規化処理結果を得ることと、前記正規化処理結果に基づいて前記分類ネットワークに対して訓練を行い、前記訓練された分類ネットワークを得ることと、を含む。
本願の幾つかの実施例において、まず、第１サブ画像データ及び第２サブ画像データをそれぞれ対応するヒストグラムに変換し、ヒストグラムの均等化処理を行うことで、均等化処理結果を得ることができる。続いて、該均等化処理結果における対応する第１サブ画像データ及び第２サブ画像データに含まれる対応する画素に対して正規化処理を行うことができる。例えば、該２つのサブ画像に対してヒストグラム均等化を行った後、両者を正規化した後に結合し、デュアルチャネル四次元行列で表される画像データを得る。該画像データを分類ネットワークに入力する。まず、該分類ネットワークの畳み込み層により画像データに対して層ごとに特徴抽出及び次元削減処理を行う。最後に、全結合層による処理で、放射線治療後に発生する放射線炎症の重症度の確率を得る。
本願の幾つかの実施例において、分類ネットワークは、少なくとも１つの分類処理モジュールを備えてもよく、
対応的に、前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることは、前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにより特徴抽出（例えば、畳み込み層により特徴抽出を行う）、次元削減処理（例えば、プーリング処理）及びグローバル平均値プーリング処理を行い、損失関数を得ることと、前記損失関数の逆伝播に基づいて、前記分類ネットワークを訓練し（例えば、前記損失関数に基づいて算出された誤差により逆伝播を行う）、前記訓練された分類ネットワークを得ることと、を含んでもよい。
本願の幾つかの実施例において、各分類処理モジュールは少なくとも畳み込み層を含み、前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにより特徴抽出、次元削減処理及びグローバル平均値プーリング処理を行い、損失関数を得ることは、処理されるべき画像に対して、少なくとも１つの分類処理モジュールにおける対応する畳み込み層により、層ごとに特徴抽出を行った後、層ごとに次元削減処理を行い、第１処理結果を得ることと、第１処理結果に対してグローバル平均値プーリング処理を行った後に全結合層に入力し、第２処理結果を得ることであって、第２処理結果は、分類ネットワークから出力された予測結果であり、抽出された特徴の予測変化状況を表すためのものである、ことと、第２処理結果及び手動アノテーション結果（例えば、医師によりアノテーションされた真実の変化状況）に基づいて、前記損失関数を得ることと、を含んでもよい。
つまり、分類ネットワークから出力された予測結果及び医師によりアノテーションされた真実の変化状況に基づいて、該損失関数を得ることができる。損失関数により反映される予測変化状況と真実の状況との誤差が処理の範囲内であると（例えば、誤差がゼロである）、生成された予測変化状況と真実状況との差異が収束条件に達したことを表す。これにより、分類ネットワークの訓練を終了し、訓練されたターゲット分類ネットワークを得る。
本願の幾つかの実施例において、前記分類処理モジュールが残差モジュールである場合、各残差モジュールは、畳み込み層、正規化層及び活性化層を含んでもよく、
対応的に、処理されるべき画像に対して、少なくとも１つの分類処理モジュールにおける対応する畳み込み層により層ごとに特徴抽出を行った後、処理されるべき画像に対して少なくとも１つの残差モジュールにおける対応する畳み込み層により特徴抽出を行った後に得られた第１抽出結果に対して、正規化層及び活性化層により処理を行った後に第２抽出結果を得ることと、前記第２抽出結果及び前記処理されるべき画像に基づいて、第３抽出結果を得ることであって、第３抽出結果は、次元削減処理に用いられる、ことと、を更に含んでもよい。つまり、残差モジュールの入力は、「処理されるべき画像」である。残差モジュールの入力及び残差モジュールにおける最後の活性化層の出力を加算することで得られた最終的な抽出結果は、該第３抽出結果である。残差モジュールにより、特徴抽出を行った後、層ごとに次元削減処理を行い、第１処理結果を得ることもできる。例えば、該第３抽出結果に基づいて層ごとに次元削減処理を行い、第１処理結果を得る。
図４は、本願の実施例による画像処理方法を実現させる分類ネットワークアーキテクチャを示す概略図である。図４に示すように、該分類ネットワーク（例えば、分類ニューラルネットワーク）は、少なくとも１つの分類処理モジュール１１を備えてもよい。分類処理モジュール１１は、残差モジュール１２であってもよく、全結合層１３を更に備えてもよい。各残差モジュール１２は、少なくとも１つの畳み込み層１２１、少なくとも１つの正規化層１２２及び少なくとも１つの活性化層を備えてもよい。該分類ネットワークにより、抽出された画像における有用な特徴を自動的に学習する。特徴抽出後に特徴選択を行うことなく、これらの特徴を用いて予測を行う。従って、関連技術に比べて、予測の正確性を向上させる。
放射線治療後の放射線肺炎の重症度の予測を例として説明する。分類ネットワークを訓練する過程において、まず、肺部画像及び放射線分布画像（該２つの画像は、いずれも三次元画像であってもよい）に対して、肺部輪郭に応じてそれぞれ切り出しを行い、大きさが同じである２つのサブ画像を得る。２つのサブ画像に対してヒストグラム均等化を行い、両者を正規化した後に結合し、デュアルチャネル四次元行列で表される画像データを得る。該四次元行列を分類ネットワークに入力し、分類処理モジュール１１の畳み込み層（具体的には、各残差モジュール１２における畳み込み層１２１、正規化層１２２及び活性化層１２３による処理であってもよい）により、画像に対して層ごとに特徴抽出及び次元削減処理を行い、最後に、全結合層１３により、放射線治療後に発生する放射線肺炎の重症度の確率を得る。
一例において、分類ネットワークを訓練するプロセスは以下を含んでもよい。
１において、図４に示すように、肺部輪郭に応じて、肺部三次元画像及び放射線量分布画像に対して切り出しを行い、大きさが同じである（２００ｘ２４０ｘ２４０）画像を得る。続いて、ビデオメモリに適応するために、ダウンサンプリングにより、大きさが（１００ｘ１２０ｘ１２０）である画像を得る。肺部画像に対応するダウンサンプリングされた画像と放射線分布画像に対応するダウンサンプリングされた画像を結合して四次元行列（２ｘ１００ｘ１２０ｘ１２０）を得る。
２において、Ｒｅｓ－Ｎｅｔ（図４に示すＲｅｓＮｅＸｔ５０）、Ｄｅｎｓｅ－Ｎｅｔなどの構造のような三次元畳み込みニューラルネットワークを用いて、結合した四次元行列に対して畳み込み、正規化及び活性化操作を行い、特徴チャネルを２個から２０４８に増加させる。更に、特徴に対してグローバル平均値プーリングを行うことで一次元ベクトルを得、該一次元ベクトルを全結合層に入力し、２つの値（重症の確率又は非重症の確率）を出力し、最後に、ｓｏｆｔｍａｘ関数により、最終的な予測結果（予測確率）を得る。
本願の実施例において、分類ネットワークとして、シリアライズ、モジュールしたニューラルネットワークを用いることができる。
シリアライズは、ニューラルネットワークにおけるシリアライズしたモジュールに基づいて、ニューラルネットワークに入力されたデータ（例えば、切り出された大きさが同じである２つのサブ画像を結合することで得られた四次元行列）を順に処理することである。モジュール化は、ニューラルネットワークにおけるモジュールで本願の実施例を実現できる他のモジュールを任意に置き換えることができ、モジュールが置き換えられた後に本願を実現させることもできることである。これらはいずれも本願の保護範囲内に含まれる。
上記切り出された大きさが同じである２つのサブ画像を結合した後に得られた画像は、四次元行列（２チャネルの四次元行列であってもよい）に相当する。畳み込み層により特徴抽出を行うことは、少なくとも１つの畳み込みカーネルにより、入力された四次元行列に対して畳み込み処理を行い、チャネル数が畳み込みカーネルの数である四次元行列を出力することであってもよい。畳み込みカーネル数の増加に伴い、行列のチャネル数も２０４８までに増加する。正規化層により正規化処理を行う。該四次元行列を式（１）により正規化処理することができる。
Ｘ＝（Ｘ－ｕ）／ｖ （１）
ここで、Ｘは、四次元行列であり、ｕは、行列平均値であり、ｖは、行列分散である。
活性化層により活性化操作を行うための実現形態として、活性化関数により非線形要因を加えることで、ニューラルネットワークの表現能力を向上させることができる。
グローバル平均値プーリングは、各チャネルの三次元行列の平均値を求め、長さがチャネル数である一次元ベクトルを得ることである。特徴に対してグローバル平均値プーリングを行い、一次元ベクトルを得た後、全結合層により、該一次元ベクトルに対してニューラルネットワークで演算を行い、最終的に２つの値（重症又は非重症の確率）を得る。最後に、ｓｏｆｔｍａｘにより、マルチクラスの出力数値（重症又は非重症の確率）を相対的確率に変換して最終的予測結果とする。
３において、予測確率及び真実確率に対して、重み付きクロスエントロピー損失関数により演算を行い、生成された予測変化状況と真実の状況との誤差を得、逆導出を行った後に該分類ネットワークにおける各パラメータの勾配を得る。また、深層学習オプティマイザ（例えば、Ａｄａｍオプティマイザ）により、更新された差分値を算出して元パラメータと加算し、該分類ネットワークパラメータの更新を実現させる。該プロセスを絶え間なく反復して誤差が所定の範囲内（例えば、誤差がゼロである）になって該分類ネットワークが収束するまで継続する。これにより、訓練されたターゲット分類ネットワークを得ることができる。
具体的な実施形態の上記方法において、各ステップの記述順番は、具体的な実行順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
本願で言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。
なお、本願の実施例は、画像処理装置、電子機器、コンピュータ可読記憶媒体及びプログラムを更に提供する。上記はいずれも、本願の実施例で提供されるいずれか１つの画像処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。
図５は、本願の実施例による画像処理装置の構造を示す概略図である。図５に示すように、本願の実施例の画像処理装置は、第１画像及び第２画像をターゲット分類ネットワークに入力し、分類結果を得るように構成される分類パート３１と、前記分類結果に基づいて、変化データに対して予測を行い、予測結果を得るように構成される予測パート３２であって、前記変化データは、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を表す、予測パート３２と、を備える。
本願の幾つかの実施例において、前記装置は、訓練パートを更に備え、前記訓練パートは、
分類ネットワークに対して訓練を行い、訓練された分類ネットワークを得、
前記訓練された分類ネットワークを前記ターゲット分類ネットワークとするように構成される。
本願の幾つかの実施例において、前記訓練パートは、
第１画像及び第２画像に対して画像重畳処理を行った後、処理されるべき画像を得るように構成される重畳サブパートであって、前記第１画像及び前記第２画像は、異なる種類の画像データである、重畳サブパートと、
前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得るように構成される訓練サブパートと、を備える。
本願の幾つかの実施例において、前記訓練パートは、
前記ターゲット対象の輪郭に基づいて、前記第１画像及び前記第２画像に対してそれぞれ画像切り出しを行い、切り出し後の第１サブ画像データ及び第２サブ画像データを得、前記第１サブ画像データ及び前記第２サブ画像データを前記処理されるべき画像とするように構成される切り出しサブパートを更に備える。
本願の幾つかの実施例において、前記第１サブ画像データ及び前記第２サブ画像データは、寸法が同じである画像データである。
本願の幾つかの実施例において、前記訓練パートは、
前記第１サブ画像データ及び前記第２サブ画像データをそれぞれ対応するヒストグラムに変換し、ヒストグラムの均等化処理を行い、均等化処理結果を得、前記均等化処理結果に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得るように構成される均等化処理サブパートを更に備える。
本願の幾つかの実施例において、前記訓練パートは、
前記第１サブ画像データ及び前記第２サブ画像データに含まれる対応する画素点に対して正規化処理を行い、正規化処理結果を得、前記正規化処理結果に基づいて前記分類ネットワークに対して訓練を行い、前記訓練された分類ネットワークを得るように構成される正規化処理サブパートを更に備える。
本願の幾つかの実施例において、前記分類ネットワークは、少なくとも１つの分類処理モジュールを備え、
前記訓練サブパートは、前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにより特徴抽出、次元削減処理及びグローバル平均値プーリング処理を行い、損失関数を得、前記損失関数の逆伝播に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得るように構成される。
本願の幾つかの実施例において、各分類処理モジュールは少なくとも畳み込み層を含み、
前記訓練サブパートは、前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにおける対応する畳み込み層により、特徴抽出を行った後、次元削減処理を行い、第１処理結果を得ることと、前記第１処理結果に対してグローバル平均値プーリング処理を行った後に全結合層に入力し、第２処理結果を得ることであって、前記第２処理結果は、抽出された特徴の予測変化状況を表すためのものである、ことと、前記第２処理結果及び手動アノテーション結果に基づいて、前記損失関数を得ることと、を実行するように構成される。
本願の幾つかの実施例において、前記分類処理モジュールが残差モジュールである場合、各残差モジュールは、畳み込み層、正規化層及び活性化層を含み、
前記訓練サブパートは、前記処理されるべき画像に対して少なくとも１つの残差モジュールにおける対応する畳み込み層により特徴抽出を行った後に得られた第１抽出結果に対して、正規化層及び活性化層により処理を行い、第２抽出結果を得、前記第２抽出結果及び前記処理されるべき画像に基づいて、第３抽出結果を得るように構成される。
本願の幾つかの実施例において、前記訓練サブパートは、前記第３抽出結果に基づいて、次元削減処理を行い、前記第１処理結果を得るように構成される。
幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法の実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法の実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されると、プロセッサに上記いずれか１つの画像処理方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。
本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、上記いずれか１つの画像処理方法を実行するように構成される。
電子機器は、端末、サーバ又は他の形態の機器であってもよい。
本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されると、前記電子機器におけるプロセッサに、上記いずれか１つの画像処理方法を実行させる。
図６は、本願の実施例による電子機器の構造を示す概略図である。図６に示すように、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。
図６を参照すると、電子機器８００は、第１処理コンポーネント８０２、第１メモリ８０４、第１電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、第１入力／出力（Ｉｎｐｕｔ Ｏｕｔｐｕｔ：Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。
第１処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。第１処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、第１処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、第１処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と第１処理コンポーネント８０２とのインタラクションに寄与する。
第１メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。第１メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＰＲＯＭ）、読出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
第１電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。第１電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）及びタッチパネル（ＴｏｕｃｈＰａｎｅｌ：ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更に第１メモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
第１入力／出力インタフェース８１２は、第１処理コンポーネント８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変化を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）又は電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ：ＲＦＩＤ）技術、赤外線データ協会（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）技術、超広帯域（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ：ＵＷＢ）技術、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ：ＢＴ）技術及び他の技術に基づいて実現される。
例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ：ＤＳＰ）、デジタル信号処理機器（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
例示的な実施例において、コンピュータプログラム命令を記憶した第１メモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され、上記いずれか１つの画像処理方法を完了する。
図７は、本願の実施例によるもう１つの電子機器の構造を示す概略図である。図７に示すように、電子機器９００は、サーバとして提供されてもよい。図７を参照すると、電子機器９００は、第２処理コンポーネント９２２を備える。それは、１つ又は複数のプロセッサ、及び第２メモリ９３２で表されるメモリリソースを更に備える。該メモリリソースは、アプリケーションプログラムのような、第２処理コンポーネント９２２により実行される命令を記憶するためのものである。第２メモリ９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は１つ以上のモジュールを含んでもよい。なお、第２処理コンポーネント９２２は、命令を実行して、上記方法を実行するように構成される。
電子機器９００は、電子機器９００の電源管理を実行するように構成される第２電源コンポーネント９２６と、電子機器９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース９５０と、第２入力出力（Ｉ／Ｏ）インタフェース９５８と、を更に備えてもよい。電子機器９００は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したもの等、第２メモリ９３２に記憶されているオペレーティングシステムを実行することができる。
例示的な実施例において、例えば、コンピュータプログラム命令を含む第２メモリ９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器９００の第２処理コンポーネント９２２により実行されて上記方法を完了する。
本願の実施例は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ：ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。
本願の操作を実行するように構成されるコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、任意の種類のネットワーク（ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）又はワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＷＡＮ）を含む）を通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、ＦＰＧＡ又はプログラマブル論理アレイ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ：ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。
ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行されると、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能／操作を実現する各態様の命令を含む製品を備える。
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現させる。
図面におけるフローチャート及びブロック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。
本願の実施例は、画像処理方法及び装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関する。前記方法は、第１画像及び第２画像をターゲット分類ネットワークに入力し、分類結果を得ることと、前記分類結果に基づいて、変化データに対して予測を行い、予測結果を得ることであって、前記変化データは、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を表す、ことと、を含む。

Claims (25)

  1. 画像処理方法であって、
    第１画像及び第２画像をターゲット分類ネットワークに入力し、分類結果を得ることと、
    前記分類結果に基づいて、変化データに対して予測を行い、予測結果を得ることであって、前記変化データは、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を表す、ことと、を含む、方法。
  2. 前記方法は、
    分類ネットワークに対して訓練を行い、訓練された分類ネットワークを得ることと、
    前記訓練された分類ネットワークを前記ターゲット分類ネットワークとすることと、を更に含むことを特徴とする
    請求項１に記載の方法。
  3. 前記分類ネットワークに対して訓練を行い、訓練された分類ネットワークを得ることは、
    前記第１画像及び前記第２画像に対して画像重畳処理を行った後、処理されるべき画像を得ることであって、前記第１画像及び前記第２画像は、異なる種類の画像データである、ことと、
    前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることと、を含むことを特徴とする
    請求項２に記載の方法。
  4. 前記処理されるべき画像を得ることは、
    前記ターゲット対象の輪郭に基づいて、前記第１画像及び前記第２画像に対してそれぞれ画像切り出しを行い、切り出し後の第１サブ画像データ及び第２サブ画像データを得ることと、
    前記第１サブ画像データ及び前記第２サブ画像データを前記処理されるべき画像とすることと、を含むことを特徴とする
    請求項３に記載の方法。
  5. 前記第１サブ画像データ及び前記第２サブ画像データは、寸法が同じである画像データであることを特徴とする
    請求項４に記載の方法。
  6. 前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることは、
    前記第１サブ画像データ及び前記第２サブ画像データをそれぞれ対応するヒストグラムに変換し、ヒストグラムの均等化処理を行い、均等化処理結果を得ることと、
    前記均等化処理結果に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得ることと、を含むことを特徴とする
    請求項４又は５に記載の方法。
  7. 前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることは、
    前記第１サブ画像データ及び前記第２サブ画像データに含まれる対応する画素点に対して正規化処理を行い、正規化処理結果を得ることと、
    前記正規化処理結果に基づいて前記分類ネットワークに対して訓練を行い、前記訓練された分類ネットワークを得ることと、を含むことを特徴とする
    請求項４又は５に記載の方法。
  8. 前記分類ネットワークは、少なくとも１つの分類処理モジュールを備え、
    前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得ることは、
    前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにより特徴抽出、次元削減処理及びグローバル平均値プーリング処理を行い、損失関数を得ることと、
    前記損失関数の逆伝播に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得ることと、を含むことを特徴とする
    請求項３から７のうちいずれか一項に記載の方法。
  9. 各分類処理モジュールは少なくとも畳み込み層を含み、
    前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにより特徴抽出、次元削減処理及びグローバル平均値プーリング処理を行い、損失関数を得ることは、
    前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにおける対応する畳み込み層により、特徴抽出を行った後、次元削減処理を行い、第１処理結果を得ることと、
    前記第１処理結果に対してグローバル平均値プーリング処理を行った後に全結合層に入力し、第２処理結果を得ることであって、前記第２処理結果は、抽出された特徴の予測変化状況を表すためのものである、ことと、
    前記第２処理結果及び手動アノテーション結果に基づいて、前記損失関数を得ることと、を含むことを特徴とする
    請求項８に記載の方法。
  10. 前記分類処理モジュールが残差モジュールである場合、各残差モジュールは、畳み込み層、正規化層及び活性化層を含み、
    前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにおける対応する畳み込み層により特徴抽出を行った後、
    前記処理されるべき画像に対して少なくとも１つの残差モジュールにおける対応する畳み込み層により特徴抽出を行った後に得られた第１抽出結果に対して、正規化層及び活性化層により処理を行った後に第２抽出結果を得ることと、
    前記第２抽出結果及び前記処理されるべき画像に基づいて、第３抽出結果を得ることと、を更に含むことを特徴とする
    請求項９に記載の方法。
  11. 前記次元削減処理を行い、第１処理結果を得ることは、
    前記第３抽出結果に基づいて、次元削減処理を行い、前記第１処理結果を得ることを含むことを特徴とする
    請求項１０に記載の方法。
  12. 画像処理装置であって、
    第１画像及び第２画像をターゲット分類ネットワークに入力し、分類結果を得るように構成される分類パートと、
    前記分類結果に基づいて、変化データに対して予測を行い、予測結果を得るように構成される予測パートであって、前記変化データは、前記第１画像におけるターゲット対象を前記第２画像における領域分布に基づいて処理を行うことで得られた変化状況を表す、予測パートと、を備える、装置。
  13. 前記装置は、訓練パートを更に備え、前記訓練パートは、
    分類ネットワークに対して訓練を行い、訓練された分類ネットワークを得、
    前記訓練された分類ネットワークを前記ターゲット分類ネットワークとするように構成されることを特徴とする
    請求項１２に記載の装置。
  14. 前記訓練パートは、
    第１画像及び第２画像に対して画像重畳処理を行った後、処理されるべき画像を得るように構成される重畳サブパートであって、前記第１画像及び前記第２画像は、異なる種類の画像データである、重畳サブパートと、
    前記処理されるべき画像を訓練サンプルとして前記分類ネットワークに入力して訓練を行い、前記訓練された分類ネットワークを得るように構成される訓練サブパートと、を備えることを特徴とする
    請求項１３に記載の装置。
  15. 前記訓練パートは、
    前記ターゲット対象の輪郭に基づいて、前記第１画像及び前記第２画像に対してそれぞれ画像切り出しを行い、切り出し後の第１サブ画像データ及び第２サブ画像データを得、前記第１サブ画像データ及び前記第２サブ画像データを前記処理されるべき画像とするように構成される切り出しサブパートを更に備えることを特徴とする
    請求項１４に記載の装置。
  16. 前記第１サブ画像データ及び前記第２サブ画像データは、寸法が同じである画像データであることを特徴とする
    請求項１５に記載の装置。
  17. 前記訓練パートは、
    前記第１サブ画像データ及び前記第２サブ画像データをそれぞれ対応するヒストグラムに変換し、ヒストグラムの均等化処理を行い、均等化処理結果を得、前記均等化処理結果に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得るように構成される均等化処理サブパートを更に備えることを特徴とする
    請求項１５又は１６に記載の装置。
  18. 前記訓練パートは、
    前記第１サブ画像データ及び前記第２サブ画像データに含まれる対応する画素点に対して正規化処理を行い、正規化処理結果を得、前記正規化処理結果に基づいて前記分類ネットワークに対して訓練を行い、前記訓練された分類ネットワークを得るように構成される正規化処理サブパートを更に備えることを特徴とする
    請求項１５又は１６に記載の装置。
  19. 前記分類ネットワークは、少なくとも１つの分類処理モジュールを備え、
    前記訓練サブパートは、前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにより特徴抽出、次元削減処理及びグローバル平均値プーリング処理を行い、損失関数を得、前記損失関数の逆伝播に基づいて、前記分類ネットワークを訓練し、前記訓練された分類ネットワークを得るように構成されることを特徴とする
    請求項１４から１８のうちいずれか一項に記載の装置。
  20. 各分類処理モジュールは少なくとも畳み込み層を含み、
    前記訓練サブパートは、前記処理されるべき画像に対して、前記少なくとも１つの分類処理モジュールにおける対応する畳み込み層により、特徴抽出を行った後、次元削減処理を行い、第１処理結果を得ることと、前記第１処理結果に対してグローバル平均値プーリング処理を行った後に全結合層に入力し、第２処理結果を得ることであって、前記第２処理結果は、抽出された特徴の予測変化状況を表すためのものである、ことと、前記第２処理結果及び手動アノテーション結果に基づいて、前記損失関数を得ることと、を実行するように構成されることを特徴とする
    請求項１９に記載の装置。
  21. 前記分類処理モジュールが残差モジュールである場合、各残差モジュールは、畳み込み層、正規化層及び活性化層を含み、
    前記訓練サブパートは、前記処理されるべき画像に対して少なくとも１つの残差モジュールにおける対応する畳み込み層により特徴抽出を行った後に得られた第１抽出結果に対して、正規化層及び活性化層により処理を行い、第２抽出結果を得、前記第２抽出結果及び前記処理されるべき画像に基づいて、第３抽出結果を得るように構成されることを特徴とする
    請求項２０に記載の装置。
  22. 前記訓練サブパートは、前記第３抽出結果に基づいて、次元削減処理を行い、前記第１処理結果を得るように構成されることを特徴とする
    請求項２１に記載の装置。
  23. 電子機器であって、
    プロセッサと、
    プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、
    前記プロセッサは、請求項１から１１のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
  24. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されると、前記プロセッサに請求項１から１１のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
  25. コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されると、前記電子機器におけるプロセッサに、請求項１から１１のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。
JP2021563034A 2019-09-26 2020-07-07 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム Pending JP2022530413A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910918450.1 2019-09-26
CN201910918450.1A CN110705626A (zh) 2019-09-26 2019-09-26 一种图像处理方法及装置、电子设备和存储介质
PCT/CN2020/100692 WO2021057174A1 (zh) 2019-09-26 2020-07-07 图像处理方法及装置、电子设备、存储介质和计算机程序

Publications (1)

Publication Number Publication Date
JP2022530413A true JP2022530413A (ja) 2022-06-29

Family

ID=69197459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021563034A Pending JP2022530413A (ja) 2019-09-26 2020-07-07 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム

Country Status (5)

Country Link
JP (1) JP2022530413A (ja)
KR (1) KR20210153700A (ja)
CN (1) CN110705626A (ja)
TW (1) TW202113871A (ja)
WO (1) WO2021057174A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705626A (zh) * 2019-09-26 2020-01-17 北京市商汤科技开发有限公司 一种图像处理方法及装置、电子设备和存储介质
CN111368923B (zh) * 2020-03-05 2023-12-19 上海商汤智能科技有限公司 神经网络训练方法及装置、电子设备和存储介质
CN113706583B (zh) * 2021-09-01 2024-03-22 上海联影医疗科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN113689355B (zh) * 2021-09-10 2022-07-08 数坤(北京)网络科技股份有限公司 图像处理方法、装置、存储介质及计算机设备
CN114120420B (zh) * 2021-12-01 2024-02-13 北京百度网讯科技有限公司 图像检测方法和装置
CN114298177A (zh) * 2021-12-16 2022-04-08 广州瑞多思医疗科技有限公司 一种适用于深度学习训练数据的扩充增强方法、系统及可读存储介质
KR20230125412A (ko) * 2022-02-21 2023-08-29 계명대학교 산학협력단 컴퓨터 단층 촬영 영상의 라디오믹스 파라미터를 이용한 요로결석의 요산석 분류 방법 및 분석장치
CN117152128B (zh) * 2023-10-27 2024-02-27 首都医科大学附属北京天坛医院 神经影像的病灶识别方法、装置、电子设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02294786A (ja) * 1989-05-09 1990-12-05 Hitachi Ltd 画像輝度レベル値の自動正規化方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
KR20180060968A (ko) * 2016-11-28 2018-06-07 고려대학교 산학협력단 데이터마이닝을 이용한 방사선 치료 계획의 검증 방법
US20180247410A1 (en) * 2017-02-27 2018-08-30 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial radiomics
CN108717866A (zh) * 2018-04-03 2018-10-30 陈辛元 一种预测放疗计划剂量分布的方法、装置、设备及存储介质
CN108766563A (zh) * 2018-05-25 2018-11-06 戴建荣 基于剂量组学的放射治疗结果预测方法和系统
CN108830028A (zh) * 2017-05-04 2018-11-16 戴立言 一种设备及非诊断性确定对象功能等效均匀剂量的方法
CN109166613A (zh) * 2018-08-20 2019-01-08 北京东方瑞云科技有限公司 基于机器学习的放射治疗计划评估系统及方法
US20190030370A1 (en) * 2017-07-25 2019-01-31 Elekta, Inc. Systems and methods for determining radiation therapy machine parameter settings
CN109523532A (zh) * 2018-11-13 2019-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN109966662A (zh) * 2019-04-30 2019-07-05 四川省肿瘤医院 一种验证放射治疗剂量的方法及系统
CN110211664A (zh) * 2019-04-25 2019-09-06 安徽大学 一种基于机器学习自动设计放射治疗方案的系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705626A (zh) * 2019-09-26 2020-01-17 北京市商汤科技开发有限公司 一种图像处理方法及装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02294786A (ja) * 1989-05-09 1990-12-05 Hitachi Ltd 画像輝度レベル値の自動正規化方法
KR20180060968A (ko) * 2016-11-28 2018-06-07 고려대학교 산학협력단 데이터마이닝을 이용한 방사선 치료 계획의 검증 방법
US20180247410A1 (en) * 2017-02-27 2018-08-30 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial radiomics
CN108830028A (zh) * 2017-05-04 2018-11-16 戴立言 一种设备及非诊断性确定对象功能等效均匀剂量的方法
US20190030370A1 (en) * 2017-07-25 2019-01-31 Elekta, Inc. Systems and methods for determining radiation therapy machine parameter settings
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN108717866A (zh) * 2018-04-03 2018-10-30 陈辛元 一种预测放疗计划剂量分布的方法、装置、设备及存储介质
CN108766563A (zh) * 2018-05-25 2018-11-06 戴建荣 基于剂量组学的放射治疗结果预测方法和系统
CN109166613A (zh) * 2018-08-20 2019-01-08 北京东方瑞云科技有限公司 基于机器学习的放射治疗计划评估系统及方法
CN109523532A (zh) * 2018-11-13 2019-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110211664A (zh) * 2019-04-25 2019-09-06 安徽大学 一种基于机器学习自动设计放射治疗方案的系统
CN109966662A (zh) * 2019-04-30 2019-07-05 四川省肿瘤医院 一种验证放射治疗剂量的方法及系统

Also Published As

Publication number Publication date
WO2021057174A1 (zh) 2021-04-01
CN110705626A (zh) 2020-01-17
TW202113871A (zh) 2021-04-01
KR20210153700A (ko) 2021-12-17

Similar Documents

Publication Publication Date Title
JP2022530413A (ja) 画像処理方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
TWI758234B (zh) 影像處理方法及影像處理裝置、電子設備和電腦可讀儲存媒體
TWI720598B (zh) 關鍵點檢測方法及裝置、電子設備和儲存介質
WO2021147257A1 (zh) 网络训练、图像处理方法及装置、电子设备和存储介质
CN109829920B (zh) 图像处理方法及装置、电子设备和存储介质
CN110047078B (zh) 图像处理方法及装置、电子设备和存储介质
CN112767329B (zh) 图像处理方法及装置、电子设备
JP2022537974A (ja) ニューラルネットワーク訓練方法及び装置、電子機器並びに記憶媒体
CN112541928A (zh) 网络训练方法及装置、图像分割方法及装置和电子设备
CN111899268B (zh) 图像分割方法及装置、电子设备和存储介质
JP2022522551A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN113496512B (zh) 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113349810B (zh) 脑出血病灶识别及血肿扩大预测系统及装置
CN111724361B (zh) 实时显示病灶的方法及装置、电子设备和存储介质
JP2022547372A (ja) 画像処理方法及び装置、電子デバイス、記憶媒体及びプログラム製品
TWI765386B (zh) 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質
CN112396119A (zh) 一种图像处理方法及装置、电子设备和存储介质
WO2022012038A1 (zh) 图像处理方法及装置、电子设备、存储介质和程序产品
CN111738998A (zh) 病灶位置动态检测方法及装置、电子设备和存储介质
CN117152128B (zh) 神经影像的病灶识别方法、装置、电子设备和存储介质
CN113553460B (zh) 影像检索方法及装置、电子设备和存储介质
CN115171873A (zh) 慢阻肺的识别方法及装置、电子设备和存储介质
CN114972200A (zh) 慢阻肺的分级方法及装置、电子设备和存储介质
CN113487537A (zh) 乳腺癌超声高回声晕的信息处理方法、装置及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211022

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230711