JP2022537866A - 画像分類方法、画像分類装置、画像処理方法、医療用電子機器、画像分類機器、及びコンピュータプログラム - Google Patents

画像分類方法、画像分類装置、画像処理方法、医療用電子機器、画像分類機器、及びコンピュータプログラム Download PDF

Info

Publication number
JP2022537866A
JP2022537866A JP2021548679A JP2021548679A JP2022537866A JP 2022537866 A JP2022537866 A JP 2022537866A JP 2021548679 A JP2021548679 A JP 2021548679A JP 2021548679 A JP2021548679 A JP 2021548679A JP 2022537866 A JP2022537866 A JP 2022537866A
Authority
JP
Japan
Prior art keywords
image
target
target image
feature
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021548679A
Other languages
English (en)
Other versions
JP7297081B2 (ja
Inventor
ジエ，ゼォチュン
ジャオ，ボ
フォン，ジィアシ
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2022537866A publication Critical patent/JP2022537866A/ja
Application granted granted Critical
Publication of JP7297081B2 publication Critical patent/JP7297081B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

画像分類方法、装置、機器、記憶媒体、及び医療用電子機器に関する。画像分類方法は、医用画像である目標画像と、目標画像に関する参照画像とを受信するステップと、同じ方式で、目標画像の第１画像特徴と、参照画像の第２画像特徴とを決定するステップと、第１画像特徴と第２画像特徴とを融合することにより、分類対象画像特徴を決定するステップと、分類対象画像特徴を利用して、目標画像が所定のカテゴリに属する確率を決定するステップと、を含む。

Description

本願は、２０１９年６月２８日に提出された、出願番号が第２０１９１０５７３５６０．９であり、発明の名称が「画像分類方法、装置、機器、記憶媒体、及び医療用電子機器」である、中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。
本願は、画像処理分野に関し、具体的には、画像分類方法、装置、機器、記憶媒体、及び医療用電子機器、並びに画像処理方法に関する。
画像分類とは、一定の分類規則に基づいて、入力画像を１組の予め定義されたカテゴリに自動的に分けることである。例えば、画像に含まれるセマンティック情報に基づいて、入力画像に対してオブジェクト分類やシナリオ分類などを行ってもよい。例えば、入力画像に含まれる所定の目標オブジェクトを認識し、認識されたオブジェクトに基づいて、分類してもよい。また、例えば、入力画像におけるセマンティック情報に基づいて、類似する内容を有する画像を、同じカテゴリに区分してもよい。
本願は、画像分類方法、装置、機器、記憶媒体、及び医療用電子機器、並びに画像処理方法を提供することを目的とする。
本願の一態様によれば、電子機器が実行する画像分類方法が提供されている。前記方法は、医用画像である目標画像と、前記目標画像に関する参照画像とを受信するステップと、同じ方式で、前記目標画像の第１画像特徴と、前記参照画像の第２画像特徴とを決定するステップと、前記第１画像特徴と前記第２画像特徴とを融合することにより、分類対象画像特徴を決定するステップと、前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定するステップと、を含む。前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定する前記ステップは、前記分類対象画像特徴を利用して、複数次元のベクトルを取得するステップであって、該ベクトルにおける要素が、それぞれ、前記目標画像及び前記参照画像が所定のカテゴリに属する信頼スコアを示すものである、ステップと、前記目標画像が所定のカテゴリに属する信頼スコアに基づいて、前記目標画像が所定のカテゴリに属する確率を決定するステップと、を含む。
本願の別の態様によれば、画像分類装置がさらに提供されている。前記画像分類装置は、医用画像である目標画像と、前記目標画像に関する参照画像とを受信するように構成される受信ユニットと、同じ方式で、前記目標画像の第１画像特徴と、前記参照画像の第２画像特徴とを決定するように構成される画像特徴決定ユニットと、前記第１画像特徴と前記第２画像特徴とを融合することにより、分類対象画像特徴を決定するように構成される融合ユニットと、前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定するように構成される分類結果生成ユニットと、を含む。分類結果生成ユニットは、前記分類対象画像特徴を利用して、複数次元のベクトルを取得し、該ベクトルにおける要素が、それぞれ、前記目標画像及び前記参照画像が所定のカテゴリに属する信頼スコアを示すものであり、分類結果生成ユニットは、前記目標画像が所定のカテゴリに属する信頼スコアに基づいて、前記目標画像が所定のカテゴリに属する確率を決定する。
本願のさらなる態様によれば、電子機器が実行する画像処理方法がさらに提供されている。前記方法は、目標画像を受信するステップと、第１ニューラルネットワークを利用して、前記目標画像の第１目標画像特徴を決定するステップと、第２ニューラルネットワークを利用して、前記目標画像の第２目標画像特徴を決定するステップと、前記第１目標画像特徴と前記第２目標画像特徴とに基づいて、前記目標画像の第１画像処理結果及び第２画像処理結果を決定するステップと、前記第１画像処理結果と前記第２画像処理結果とを融合することにより、前記目標画像の画像処理結果を決定するステップと、を含む。前記第１ニューラルネットワークと前記第２ニューラルネットワークは、同じ訓練方法で訓練された異なるネットワークであり、前記第１ニューラルネットワークは、第１訓練セットで訓練されたものであり、前記第２ニューラルネットワークは、第２訓練セットで訓練されたものであり、第１訓練セットと第２訓練セットに含まれる訓練画像における正のサンプルと負のサンプルとの割合が異なる。
本願のさらなる態様によれば、医療用電子機器がさらに提供されている。前記医療用電子機器は、医用画像である目標画像と、前記目標画像に関する参照画像とを収集するように構成される画像収集ユニットと、同じ方式で、前記目標画像の第１画像特徴と、前記参照画像の第２画像特徴とを決定するように構成される画像特徴決定ユニットと、前記第１画像特徴と前記第２画像特徴とを融合することにより、分類対象画像特徴を決定するように構成される融合ユニットと、前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定するように構成される分類結果生成ユニットと、を含む。分類結果生成ユニットは、前記分類対象画像特徴を利用して、複数次元のベクトルを取得し、該ベクトルにおける要素が、それぞれ、前記目標画像及び前記参照画像が所定のカテゴリに属する信頼スコアを示すものであり、分類結果生成ユニットは、前記目標画像が所定のカテゴリに属する信頼スコアに基づいて、前記目標画像が所定のカテゴリに属する確率を決定する。
本願のさらなる態様によれば、メモリとプロセッサとを備える画像分類機器がさらに提供されている。前記メモリには、命令が記憶され、前記プロセッサを利用して前記命令を実行すると、前述した画像分類方法を前記プロセッサに実行させる。
本願のさらなる態様によれば、命令を記憶したコンピュータ読み取り可能な記憶媒体がさらに提供されている。前記命令は、プロセッサによって実行されると、前述した画像分類方法を前記プロセッサに実行させる。
本願の実施例の構成をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単的に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。以下の図面は、意図的に実際のサイズと同じ比率で拡大縮小して描画されたものではなく、本願の主旨を示すのが重点である。
本願による画像処理システムの例示的なシナリオ図を示す。 本願の実施例による画像分類方法の模式的なフローチャートを示す。 本願による画像分類方法の模式的な過程を示す。 人体の左側の乳腺のｃｃ画像及びｍｌｏ画像、並びに、右側の乳腺のｃｃ画像及びｍｌｏ画像を示す。 本願の実施例による画像処理方法の模式的なフローチャートを示す。 本願の実施例による画像分類装置の模式的なブロック図を示す。 本願の実施例による医療用電子機器の模式的なブロック図を示す。 本願の実施例によるコンピューティングデバイスのアーキテクチャを示す。
本発明の実施例の目的、構成、及びメリットをより明確にするために、以下に、本発明の実施例の図面を参照しながら、本発明の実施例の構成を明確かつ完全に説明する。明らかなように、説明される実施例は、本願の実施例の一部に過ぎず、実施例の全部ではない。説明される実施例に基づいて、当業者が創造的な労働をせずに得る全ての他の実施例は、本発明の保護範囲に属する。
別段の定義がない限り、ここで使用される技術用語もしくは科学用語は、当業者が理解する通常の意味を有すべきである。本願で使用される「第１」、「第２」及び類似の単語は、いかなる順番、数量、もしくは重要性を示すものではなく、異なる構成部分を区別するためのものに過ぎない。同様に、「含む」や「備える」などの類似の単語は、そのセンテンスの最初に現れる素子もしくは物品が、該単語の前に挙げられる素子もしくは物品、及びその同等物をカバーするが、他の素子もしくは物品を除外しないことを意味する。「接続」もしくは「連結」などの類似の単語は、物理的もしくは機械的な接続に限定されず、直接的か間接的かを問わず、電気的な接続を含んでもよい。「上」、「下」、「左」、「右」などは、相対位置関係を示すためのものに過ぎず、記述対象のオブジェクトの絶対位置が変わることに応じて、この相対位置関係も変わる可能性がある。
関連技術で使用される画像分類方法では、医用画像を例にすると、通常、関心のある目標画像のみに対して処理を行う。例えば、人体の乳腺の医用画像の場合、通常、関心のある側の乳腺の画像のみに対して画像分類処理を行う。しかしながら、異なる人の個体の医用画像は、組織の密度、脂肪の厚さなどの生理的特徴が大きく異なるので、異なる人について得られた乳腺の医用画像の視覚的効果も大きく異なる。したがって、関心のある側の医用画像のみに対して画像処理を行うと、精確な判断が難しい。しかしながら、画像分類を行う際に同一人の両側の器官の医用画像の比較情報を考慮すると、より精確な画像分類結果及び病気スクリーニング結果を取得することができる。
図１は、本願による画像分類システムの例示的なシナリオ図を示す。図１に示すように、該画像分類システム１００は、ユーザ端末１１０と、ネットワーク１２０と、サーバ１３０と、データベース１４０とを含んでもよい。
ユーザ端末１１０は、例えば図１に示すコンピュータ１１０－１、携帯電話１１０－２であってもよい。理解できるものとして、実際に、ユーザ端末は、データ処理を実行可能な任意の他のタイプの電子機器であってもよい。ユーザ端末は、デスクトップコンピュータ、ノートパソコン、タブレットコンピュータ、スマートフォン、スマートホーム家庭用機器、ウェアラブル機器、車載電子機器、監視機器などを含んでもよいが、これらに限定されない。ユーザ端末は、電子機器が設けられた任意の装備、例えば車両、ロボットなどであってもよい。
本願によるユーザ端末は、処理対象の画像を受信し、本願で提供される方法を利用して画像分類を実現し、さらに病気スクリーニングを実現することができる。例えば、ユーザ端末は、ユーザ端末に設けられた画像収集機器（例えば、カメラ、ビデオカメラなど）によって、処理対象の画像を収集してもよい。また、例えば、ユーザ端末は、独立して設けられた画像収集機器から、処理対象の画像を受信してもよい。さらに、例えば、ユーザ端末は、ネットワークを介して、サーバから処理対象の画像を受信してもよい。ここで記載された処理対象の画像は、個別の画像であってもよいし、ビデオにおける１フレームであってもよい。処理対象の画像が医用画像である場合、ユーザ端末は、医用収集機器から、処理対象の画像を受信してもよい。ここで言う医用画像は、例えば、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、磁気共鳴画像（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、超音波、Ｘ線、核種イメージング（例えば、単光子放射型コンピュータ断層撮影（ＳＰＥＣＴ：Ｓｉｎｇｌｅ－Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、陽電子放出断層撮影（ＰＥＴ：Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ））などの方法によって収集された医用画像であってもよいし、例えば、心電図、脳電図、光学撮影など、人体の生理的情報を表示する画像であってもよい。
いくつかの実施例では、ユーザ端末の処理ユニットを利用して、本願で提供される画像分類方法を実行してもよい。いくつかの実現形態において、ユーザ端末は、ユーザ端末に内蔵されたアプリケーションを利用して、画像分類方法を実行してもよい。他のいくつかの実現形態において、ユーザ端末は、ユーザ端末の外部に記憶されたアプリケーションを呼び出すことにより、本願で提供される画像分類方法を実行してもよい。
他のいくつかの実施例では、ユーザ端末が、受信された処理対象の画像を、ネットワーク１２０を介してサーバ１３０に送信し、サーバ１３０が画像分類方法を実行する。いくつかの実現形態において、サーバ１３０は、サーバに内蔵されたアプリケーションを利用して、画像分類方法を実行してもよい。他のいくつかの実現形態において、サーバ１３０は、サーバの外部に記憶されたアプリケーションを呼び出すことにより、画像分類方法を実行してもよい。
ネットワーク１２０は、単一のネットワーク、又は、少なくとも２つの異なるネットワークの組み合わせであってもよい。例えば、ネットワーク１２０は、ローカルエリアネットワーク、ワイドエリアネットワーク、パブリックネットワーク、プライベートネットワークなどのうちの１種又は数種の組み合わせを含んでもよいが、これらに限定されない。
サーバ１３０は、単独のサーバ、又はサーバクラスタであってもよい。クラスタ内の各サーバは、有線又は無線のネットワークを介して接続される。サーバクラスタは、例えばデータセンターのような集中型であってもよいし、分散型であってもよい。サーバ１３０は、ローカルであっても、リモートであってもよい。
データベース１４０は、一般に記憶機能を有する機器を指してもよい。データベース１４０は、主に、ユーザ端末１１０及びサーバ１３０の動作に利用、生成、及び出力される様々なデータを記憶する。データベース１４０は、ローカルであっても、リモートであってもよい。データベース１４０は、各種のメモリ、例えば、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含んでもよい。上記で言及された記憶機器は、いくつかの例を挙げたものに過ぎず、該システムに使用可能な記憶機器は、これらに限定されない。
データベース１４０は、ネットワーク１２０を介して、サーバ１３０又はその一部と相互接続又は通信するか、或いは、直接にサーバ１３０と相互接続又は通信するか、或いは、上記の２種の方式を組み合わせるようにしてもよい。
いくつかの実施例において、データベース１４０は、独立した機器であってもよい。他のいくつかの実施例において、データベース１４０は、ユーザ端末１１０及びサーバ１３０のうちの少なくとも１つに統合されてもよい。例えば、データベース１４０は、ユーザ端末１１０に設けられてもよいし、サーバ１３０に設けられてもよい。また、例えば、データベース１４０は、一部がユーザ端末１１０に設けられ、他の一部がサーバ１３０に設けられる分散型であってもよい。
以下、本願で提供される画像処理方法の手順を詳細に述べる。
図２は、本願の実施例による画像処理方法の模式的なフローチャートを示す。
図２に示すように、ステップＳ２０２では、目標画像と、目標画像に関する少なくとも１つの参照画像とを受信してもよい。いくつかの実施例において、参照画像は、目標画像と同じタイプの画像であってもよい。例えば、参照画像には、目標画像における目標オブジェクトと同様又は同じタイプの他の目標オブジェクトが含まれてもよい。
いくつかの実施例において、目標画像は、医用画像であってもよい。例えば、目標画像が人体の一方の側の器官の医用画像である場合、参照画像は、同一人の他方の側の器官の同じタイプの医用画像であってもよい。例えば、ここで言う器官は、乳腺、眼、肺、歯など、人体に２つ以上の数で存在する任意の器官であってもよい。
理解できるものとして、本願で開示された原理を逸脱することなく、目標画像における目標オブジェクトと同じタイプの目標オブジェクトを参照画像に含めることができる限り、ここで言う目標画像は、医用画像以外の任意の他のタイプの画像であってもよい。例えば、目標画像は顔画像であってもよい。この場合、参照画像は、他の時間に（例えば、異なる背景、異なる照明、異なる年齢段階で）撮影された顔画像であってもよい。また、例えば、目標画像は、人以外の任意の動物又は植物の画像であってもよい。
いくつかの実施例において、目標画像は、同一の目標オブジェクトに対する複数の画像を含んでもよい。
いくつかの実現形態において、目標画像は、少なくとも２つの角度から取得された目標オブジェクトの画像を含んでもよい。例えば、目標画像は、頭尾方向（ＣＣ：Ｃｒａｎｉｏｃａｕｄａｌ）視角で撮影された人体の乳腺のモリブデンターゲット検出画像と、内外斜位方向（ＭＬＯ：Ｍｅｄｉｏｌａｔｅｒａｌ－Ｏｂｌｉｑｕｅ）視角で撮影された人体の乳腺のモリブデンターゲット検出画像とを含んでもよい。理解できるものとして、目標画像に他のタイプの目標オブジェクトが含まれる場合、当業者は、異なる角度から取得される他の目標画像を取得するために、目標オブジェクトの撮影方式を任意に設定してもよい。
他のいくつかの実現形態において、目標画像は、少なくとも２つの異なる機器によって取得された目標オブジェクトの画像を含んでもよい。例えば、目標画像は、Ｘ線機器によって収集された人体の乳腺の画像と、ＭＲＩ機器によって収集された人体の乳腺の画像とを含んでもよい。理解できるものとして、目標画像に他のタイプの目標オブジェクトが含まれる場合、当業者は、異なる機器によって取得される他の目標画像を取得するために、目標オブジェクトの撮影方式を任意に設定してもよい。例えば、パラメータが異なる少なくとも２つのカメラによって、目標オブジェクトが含まれる目標画像をそれぞれ取得してもよい。
目標画像に複数の画像が含まれる場合、参照画像は、複数の目標画像のうちのそれぞれの目標画像にそれぞれ対応する複数の参照画像を含んでもよい。ここで、各参照画像は、それに対応する目標画像と同じ方式で取得されたものである。
ステップＳ２０４では、目標画像の第１画像特徴と、参照画像の第２画像特徴とを決定してもよい。例えば、同じ方式で、目標画像の第１画像特徴と、参照画像の第２画像特徴とを決定してもよい。
いくつかの実施例では、少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、目標画像に対して畳み込み処理を行うことにより、第１画像特徴を取得してもよい。さらに、第１ニューラルネットワークを利用して、参照画像に対して畳み込み処理を行うことにより、第２画像特徴を取得してもよい。つまり、パラメータを共有するニューラルネットワークを利用して、目標画像及び参照画像を処理してもよい。第１画像特徴及び第２画像特徴は、それぞれ、複数の画像特徴を含んでもよい。
いくつかの実現形態において、第１ニューラルネットワークは、画像から画像特徴を取得できる任意のニューラルネットワークであってもよい。例えば、第１ニューラルネットワークは、少なくとも１つの畳み込み層が含まれる任意のネットワーク、例えば、Ｉｎｃｅｐｔｉｏｎシリーズのネットワーク（例えばＧｏｏｇｌｅｎｅｔなど）、ＶＧＧシリーズのネットワーク、Ｒｅｓｎｅｔシリーズのネットワークなどの任意１つ、又は上記ネットワークの任意１つの少なくとも一部であってもよい。
いくつかの実施例では、目標画像における色特徴、テクスチャ特徴、形状特徴、空間関係特徴などの特徴のうちの少なくとも１種を抽出して第１画像特徴としてもよい。さらに、同じ方法で、参照画像における特徴を抽出して第２画像特徴としてもよい。
ステップＳ２０６では、第１画像特徴と第２画像特徴とを融合することにより、分類対象画像特徴を決定してもよい。
いくつかの実施例では、第１画像特徴と第２画像特徴とを連結することにより、分類対象画像特徴を決定してもよい。
１つの実現形態において、第１画像特徴及び第２画像特徴は、複数のチャネルを有してもよい。例えば、第１画像特徴は、サイズがＨ１＊Ｗ１＊Ｃ１であるテンソルであってもよい。ここで、Ｈ１は、第１画像特徴の第１方向（例えば長さ方向）におけるサイズであってもよく、Ｗ１は、第１画像特徴の第２方向（例えば幅方向）におけるサイズであってもよく、Ｈ１、Ｗ１は、画素数を単位とするサイズであってもよく、Ｃ１は、第１画像特徴のチャネル数であってもよい。第２画像特徴は、サイズがＨ２＊Ｗ２＊Ｃ２であるテンソルであってもよい。ここで、Ｈ２は、第２画像特徴の第１方向（例えば長さ方向）におけるサイズであってもよく、Ｗ２は、第２画像特徴の第２方向（例えば幅方向）におけるサイズであってもよく、Ｈ２、Ｗ２は、画素数を単位とするサイズであってもよく、Ｃ２は、第２画像特徴のチャネル数であってもよい。ここで、Ｃ１、Ｃ２は、１よりも大きい整数である。
このような場合、第１画像特徴と第２画像特徴とを融合することにより、分類対象画像特徴を決定するステップは、第１画像特徴と第２画像特徴とを連結することにより、分類対象画像特徴を決定するステップを含んでもよい。
例えば、第１画像特徴は１０２４個のチャネルを有してもよく、第２画像特徴も１０２４個のチャネルを有してもよい。第１画像特徴と第２画像特徴とを連結することにより、２０４８個のチャネルを有する分類対象画像特徴を取得することができる。この２０４８個のチャネルを有する分類対象画像特徴には、第１画像特徴及び第２画像特徴の情報が融合されており、即ち、目標画像及び参照画像の画像情報が融合されている。
いくつかの実施例では、第１画像特徴と第２画像特徴との対応するチャネルにおける対応する位置の各要素を加算することにより、目標画像及び参照画像の画像情報が融合されている分類対象画像特徴を決定してもよい。
ステップＳ２０８では、ステップＳ２０６で取得された分類対象画像特徴を利用して、目標画像が所定のカテゴリに属する確率を決定してもよい。例えば、融合された分類対象画像特徴は、左右両側の乳腺が乳癌陽性であるか否かの予測に同時に用いられる。
いくつかの実施例では、第１全結合ネットワークを利用して、分類対象画像特徴を処理することにより、目標画像が所定のカテゴリに属する確率を取得してもよい。
例えば、第１全結合ネットワークから複数の次元を有するベクトルを出力するように、第１全結合ネットワークを設定してもよい。該ベクトルにおける各要素は、目標画像及び参照画像が所定のカテゴリに属する信頼スコアを示す。
医用画像に対する分類過程を例にすると、所定のカテゴリは、健康カテゴリと病気カテゴリとを含んでもよい。１つの実現形態において、目標画像は、人体の左側の乳腺の医用画像であってもよく、参照画像は、人体の右側の乳腺の医用画像であってもよい。このような場合、第１全結合ネットワークから出力されるベクトルは、４次元であってもよい。該ベクトルの４つの次元の要素は、それぞれ、左側の乳腺の医用画像が健康カテゴリ、病気カテゴリに属する信頼スコア、及び、右側の乳腺の医用画像が健康カテゴリ、病気カテゴリに属する信頼スコアを示す。
理解できるものとして、異なる適用シナリオに対して、当業者は、実際の状況に応じて、分類用の所定のカテゴリの数を設定してもよい。例えば、所定のカテゴリは、予め定義された動物カテゴリ、植物カテゴリ、シナリオカテゴリなど、任意の可能な分類カテゴリであってもよい。入力画像の数（即ち、目標画像及び参照画像の総数）と、所定のカテゴリの数とに基づいて、第１全結合ネットワークを設定することにより、所定の次元のベクトルを出力してもよい。例えば、入力画像の数がｍであり、所定のカテゴリの数がｎである場合、第１全結合ネットワークから出力されるベクトルは、ｍｎ個の次元を有してもよい。
いくつかの実施例では、第１全結合ネットワークから出力された、複数の次元に対する信頼スコアに基づいて、目標画像及び参照画像が所定のカテゴリに属する確率を決定してもよい。
例えば、左側の乳腺がそれぞれ健康カテゴリ及び病気カテゴリに属する２つの信頼スコアに対して、ｓｏｆｔｍａｘ関数を利用して左側の乳腺用の２つの信頼スコアを正規化することにより、左側の乳腺の医用画像が健康カテゴリに属する確率と、左側の乳腺の医用画像が病気カテゴリに属する確率とを取得してもよい。同様に、ｓｏｆｔｍａｘ関数を利用して、右側の乳腺の医用画像が健康カテゴリに属する確率と、右側の乳腺の医用画像が病気カテゴリに属する確率を取得してもよい。
いくつかの実施例では、目標画像が所定のカテゴリに属する確率が、所定の確率閾値（例えば０．５）よりも大きい場合、目標画像が所定のカテゴリに属すると考えられる。
このように、参照画像の画像情報に基づいて、目標画像に対する画像分類を実現することができる。
本願の実施例で提供される上記画像分類方法によれば、画像分類過程において参照画像及び目標画像の画像情報を融合することができ、目標画像及び参照画像の画像情報が融合された画像特徴に基づいて、目標画像が所定のカテゴリに属する確率を決定することができる。これにより、目標画像に対するより正確な分類が実現される。目標画像及び参照画像が医用画像である場合、病気スクリーニングの正確性を向上させる。例えば、本願の実施例で提供される上記画像分類方法によれば、乳癌病人が乳癌に罹患していることに起因して、両側の乳腺の画像の比較情報が顕著に異なる場合、高確率でこの人のある側が乳癌陽性であると判断できる。
図３Ａは、本願による画像分類方法の模式的な過程を示す。図３Ａに示すように、入力画像は、人体の左側の乳腺のｃｃ画像及びｍｌｏ画像、並びに、右側の乳腺のｃｃ画像及びｍｌｏ画像を含んでもよい。図３Ｂは、人体の左側の乳腺のｃｃ画像及びｍｌｏ画像、並びに、右側の乳腺のｃｃ画像及びｍｌｏ画像を示す。
図３Ａに示すように、上記の４つの入力画像を、それぞれ、パラメータを共有するｇｏｏｇｌｅｎｅｔネットワークに入力することにより、各画像それぞれのベクトル化された画像特徴を取得してもよい。いくつかの実施例では、ｇｏｏｇｌｅｎｅｔネットワークにおけるいずれか１層（例えば、後寄りのいずれか１層、例えばｇｏｏｇｌｅｎｅｔネットワークにおける第ｐｏｏｌ５／７×７＿ｓ１層）から出力された結果を選択して、画像のベクトル化された画像特徴としてもよい。
例えば、ｇｏｏｇｌｅｎｅｔネットワークにおける第ｐｏｏｌ５／７×７＿ｓ１層を利用して、それぞれの入力画像に１つの１０２４次元のベクトル化された特徴を生成してもよい。この４つの１０２４次元の画像特徴ｆｃｃ ｌ、ｆｍｌｏ ｌ、ｆｃｃ Ｒ、ｆｍｌｏ Ｒを融合することにより、４０９６次元の融合特徴Ｆ＝［ｆｃｃ ｌ，ｆｍｌｏ ｌ，ｆｃｃ Ｒ，ｆｍｌｏ Ｒ］を取得することができる。さらに、この融合特徴を全結合層で処理すると、左側の乳腺、右側の乳腺がそれぞれ健康カテゴリ、病気カテゴリに属する信頼スコアｓ＋ ｌ、ｓ－ ｌ、ｓ＋ Ｒ、ｓ－ Ｒをそれぞれ示す４次元のベクトルを取得することができる。ｓｏｆｔｍａｘ関数を利用してｓ＋ ｌ、ｓ－ ｌを正規化することにより、左側の乳腺が健康カテゴリと病気カテゴリに属する確率ｐ＋ ｌとｐ－ ｌを取得してもよい。
Figure 2022537866000002
 同様に、ｓｏｆｔｍａｘ関数を利用してｓ＋ Ｒ、ｓ－ Ｒを正規化することにより、右側の乳腺が健康カテゴリと病気カテゴリに属する確率のｐ＋ Ｒとｐ－ Ｒを取得してもよい。ここで、ｅｘｐ（）は、指数関数である。
左側の乳腺の医用画像を目標画像として、右側の乳腺の医用画像を参照画像とする場合、図３Ａに示す過程によって、目標画像と参照画像がそれぞれ健康カテゴリと病気カテゴリに属する確率を取得することができる。左側の乳腺の医用画像が健康カテゴリに属する確率ｐ＋ ｌの値が、所定の確率閾値（例えば０．５）よりも大きい場合、左側の乳腺の医用画像が健康カテゴリに属すると考えられる。同様に、右側の乳腺の医用画像が属するカテゴリを決定することができる。
本願の実施例で提供される画像分類方法は、乳癌が疑われる患者の乳腺のモリブデンターゲットスキャンフィルムに乳癌が含まれているか否かを認識することに適用可能である。例えば、左右両側の乳腺を比較するネットワーク構造に基づいて、左右両側の乳腺の多視角スキャンフィルムを同時に受信し、各側の乳腺の各スキャンフィルムに対して特徴抽出を個別に行い、次に特徴融合を行い、融合された特徴を、左右両側の乳腺が乳癌陽性であるか否かの予測に同時に用いてもよい。
ニューラルネットワークを利用して、画像特徴を抽出して最後の分類結果を取得する場合、異なるタイプの入力画像について正確な分類効果を実現するために、対応するタイプの訓練セットで、使用されるニューラルネットワーク（例えば、上記で言及された第１ニューラルネットワーク及び／又は第１全結合ネットワーク）を訓練する必要がある。
いくつかの実施例において、第１ニューラルネットワーク及び第１全結合ネットワークは、以下の方式によって訓練されてもよい。例えば、第１ニューラルネットワークの第１訓練セットを決定してもよい。ここで、第１訓練セットには、複数の訓練画像が含まれる。該複数の訓練画像は、目標画像と同じタイプの画像である。例えば、医用画像を例にすると、上記第１ニューラルネットワーク及び第１全結合ネットワークが乳腺の画像の分類に用いられる場合、第１訓練セットに含まれる複数の訓練画像は、所定のタイプに合致することが知られている異なる乳腺の画像のサンプルであってもよい。例えば、第１訓練セットには、第１訓練画像が含まれてもよい。図２に示す方法によれば、第１訓練画像用の第１参照訓練画像を決定することができる。例えば、第１訓練画像が左側の乳腺の医用画像である場合、第１参照訓練画像は、右側の乳腺の医用画像であってもよい。
図２に示す方法を参照すると、第１ニューラルネットワークを利用して、第１訓練画像及び第１参照訓練画像のそれぞれに対して畳み込み処理を行うことにより、第１訓練画像特徴及び第２訓練画像特徴を取得してもよい。さらに、第１訓練画像特徴と第２訓練画像特徴とに基づいて、分類対象訓練画像特徴を決定してもよい。ここで、分類対象訓練画像特徴には、第１訓練画像及び第１訓練参照画像の画像情報が融合されている。さらに、第１全結合ネットワークを利用して分類対象訓練画像特徴を処理することにより、第１訓練画像が所定のカテゴリに属する確率を決定してもよい。
第１ニューラルネットワーク及び第１全結合ネットワークに対する訓練を実現するために、第１訓練画像が所定のカテゴリに属する確率と、第１訓練画像が属する実際のカテゴリとの間の損失が最小となるように、第１ニューラルネットワーク及び第１全結合ネットワークのパラメータを調整してもよい。
クロスエントロピー損失関数を利用して、第１訓練画像が所定のカテゴリに属する確率と、第１訓練画像が属する実際のカテゴリとの間の損失を計算してもよい。
上記のように、乳腺の医用画像を例にすると、第１全結合ネットワークは、左側の乳腺の画像が健康カテゴリ及び病気カテゴリに属する確率、並びに、右側の乳腺の画像が健康カテゴリ及び病気カテゴリに属する確率を出力することができる。このような場合、下式によって、左側の乳腺の画像の損失を計算してもよい。
Figure 2022537866000003
 ここで、ｐ＋ ｌは、左側の乳腺の画像が健康カテゴリに属する確率であり、ｐ－ ｌは、左側の乳腺の画像が病気カテゴリに属する確率であり、ｄは、ラベル付きの真の値であり、左側の乳腺の画像が属する実際のカテゴリが健康カテゴリである場合、ｄ＝０であり、左側の乳腺の画像が属する実際のカテゴリが病気カテゴリである場合、ｄ＝１である。
同様に、下式によって、右側の乳腺の画像の損失を計算してもよい。
Figure 2022537866000004
 ここで、ｐ＋ ｒは、右側の乳腺の画像が健康カテゴリに属する確率であり、ｐ－ ｒは、右側の乳腺の画像が病気カテゴリに属する確率であり、ｄは、ラベル付きの真の値であり、右側の乳腺の画像が属する実際のカテゴリが健康カテゴリである場合、ｄ＝０であり、右側の乳腺の画像が属する実際のカテゴリが病気カテゴリである場合、ｄ＝１である。
本願の実施例によれば、第１ニューラルネットワーク及び第１全結合ネットワークは、カテゴリが知られている両側の乳腺の画像を複数使用して訓練されたものであり、訓練過程において、両側の乳腺の画像の比較情報を学習することができる。このため、異なる人の個体の乳腺スキャンフィルムが組織の密度や脂肪の厚さなどの点に大きく異なる場合においても、訓練済みの第１ニューラルネットワーク及び第１全結合ネットワークは、乳腺スキャンフィルムに基づいて、乳癌の有無についての安定的且つ精確な判断結果を出すことができる。
いくつかの場合、訓練データの正のサンプルと負のサンプルとの割合が不均衡である。例えば、医用画像を例にすると、訓練画像において、病気カテゴリに属するサンプルが少ないが、健康カテゴリに属するサンプルが多いので、サンプルが不均衡であるという問題が存在する。
上述したサンプルが不均衡であるという問題を解決するために、異なる割合の正のサンプルと負のサンプルとが含まれるサンプルセットによって、同じ方法で、パラメータが異なる少なくとも２つのネットワークモデル（例えば、前述した第１ニューラルネットワークと第１全結合ネットワークとが含まれるネットワークモデル）を訓練することにより、入力画像を処理し、異なるネットワークの出力結果に基づいて、入力画像が所定のカテゴリに属する確率を決定してもよい。入力画像は、目標画像と、目標画像の参照画像とを含む。例えば、第１ニューラルネットワークは、第１訓練セットで訓練されたものであり、第２ニューラルネットワークは、第２訓練セットで訓練されたものであり、第１訓練セットと第２訓練セットに含まれる訓練画像における正のサンプルと負のサンプルとの割合が異なる。
図４は、本願の実施例による画像処理方法のフローチャートである。図４に示すように、ステップＳ４０２では、目標画像を受信してもよい。ここで、目標画像は、医用画像又は他の任意のタイプの画像であってもよい。
ステップＳ４０４では、第１ニューラルネットワークを利用して、目標画像の第１目標画像特徴を決定してもよい。例えば、少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、目標画像に対して畳み込み処理を行うことにより、第１目標画像特徴を取得してもよい。第１目標画像特徴は、複数の画像特徴を含んでもよい。
ステップＳ４０６では、第２ニューラルネットワークを利用して、目標画像の第２目標画像特徴を決定してもよい。例えば、少なくとも１つの畳み込み層が含まれる第２ニューラルネットワークを利用して、目標画像に対して畳み込み処理を行うことにより、第２目標画像特徴を取得してもよい。第２目標画像特徴は、複数の画像特徴を含んでもよい。
いくつかの実現形態において、第１ニューラルネットワーク及び第２ニューラルネットワークは、画像から画像特徴を取得できる任意のニューラルネットワークであってもよい。例えば、第１ニューラルネットワークは、少なくとも１つの畳み込み層が含まれる任意のネットワーク、例えば、Ｉｎｃｅｐｔｉｏｎシリーズのネットワーク（例えばＧｏｏｇｌｅｎｅｔなど）、ＶＧＧシリーズのネットワーク、Ｒｅｓｎｅｔシリーズのネットワークなどの任意１つ、又は上記ネットワークの任意１つの少なくとも一部であってもよい。
いくつかの実施例において、第１ニューラルネットワークと第２ニューラルネットワークは、同じ訓練方法で訓練された異なるネットワークであり、第１ニューラルネットワークは、第１訓練セットで訓練されたたものであり、第２ニューラルネットワークは、第２訓練セットで訓練されたものであり、第１訓練セットと第２訓練セットに含まれる訓練画像における正のサンプルと負のサンプルとの割合が異なる。
ステップＳ４０８では、第１目標画像特徴と第２目標画像特徴とに基づいて、目標画像の第１画像処理結果及び第２画像処理結果を決定してもよい。
理解できるものとして、第１ニューラルネットワークと第２ニューラルネットワークが、同じ訓練方法で取得された異なるネットワークであるので、第１画像処理結果と第２画像処理結果は、同じタイプである。例えば、第１画像処理結果及び第２画像処理結果は、画像分類結果、画像分割結果、目標検出結果のうちの少なくとも１つであってもよい。これは、ニューラルネットワークを訓練するために当業者によって採用される具体的な方式及び訓練セットに依存する。
ステップＳ４１０では、第１画像処理結果と第２画像処理結果とを融合することにより、目標画像の画像処理結果を決定する。ここで、第１画像処理結果及び第２画像処理結果のタイプに対応して、画像処理結果は、画像分類結果、画像分割結果、目標検出結果のうちの少なくとも１つを含む。
実験を通じて、ネットワークの正のサンプルの損失と負のサンプルの損失とが近い、正のサンプルと負のサンプルとの割合を決定してもよい。例えば、訓練セットにおける全ての正のサンプルの損失関数と全ての負のサンプルの損失関数とを計算することにより、該訓練セットで訓練されたネットワークの正のサンプルの損失と負のサンプルの損失とを決定してもよい。以下、正のサンプルと負のサンプルとの割合が１：２である場合、ネットワークの正のサンプルの損失と負のサンプルの損失とが近い場合を例にして、本願の原理を説明する。
１つの実現形態では、正のサンプルと負のサンプルとの割合が１：１である第１訓練セット、及び、正のサンプルと負のサンプルとの割合が１：３である第２訓練セットを、サンプリングによって決定してもよい。
本願の原理によれば、正のサンプルと負のサンプルとの割合が１：２である場合、ネットワークの正のサンプルの損失と負のサンプルの損失とが近いため、訓練セットにおける正のサンプルと負のサンプルとの割合を変えることに応じて、訓練により生成されたネットワークの正のサンプルの損失と負のサンプルの損失との割合も変わることが可能である。したがって、正のサンプルと負のサンプルとの割合が１：１である第１訓練セットにおいて、正のサンプルの割合が高まるため、第１訓練セットで訓練されたネットワークの正のサンプルの損失が負のサンプルの損失よりも小さい。同様に、正のサンプルと負のサンプルとの割合が１：３である第２訓練セットにおいて、負のサンプルの割合が高まるため、第２訓練セットで訓練されたネットワークの正のサンプルの損失が負のサンプルの損失よりも大きい。
このような場合、第１訓練セットで訓練されたネットワークは、正のサンプルに対する分類効果がより良く、第２訓練セットで訓練されたネットワークは、負のサンプルに対する分類効果がより良い。例えば、第１訓練セットで訓練されたネットワークを利用して画像分類を行う場合、正のサンプルの入力画像について、第１訓練セットで訓練されたネットワークから出力された、該入力画像が所定のカテゴリに属する確率が、０又は１により近くなり、即ち、該入力画像が所定のカテゴリに属するか否かをより容易に判別できる。これに応じて、第１訓練セットで訓練されたネットワークは、負のサンプルに対する分類効果が悪いので、負のサンプルの入力画像について、第１訓練セットで訓練されたネットワークは、０．５により近い確率を出力し、即ち、該入力画像が属するカテゴリの判別が容易ではない。以上の特性に基づいて、第１訓練セットで訓練されたネットワークと、第２訓練セットで訓練されたネットワークとの出力結果を融合することにより、より精確な予測結果を取得することができる。
同様に、正のサンプルと負のサンプルとの割合が１：１である第１訓練セット、正のサンプルと負のサンプルとの割合が１：３である第２訓練セット、及び正のサンプルと負のサンプルとの割合が１：２である第３訓練セットを、サンプリングにより決定してもよい。上記第１訓練セット、第２訓練セット、及び第３訓練セットで、第１ニューラルネットワーク、第２ニューラルネットワーク、及び第３ニューラルネットワークをそれぞれ訓練してもよい。前述した人体の乳腺の医用画像を例にすると、第１ニューラルネットワーク、第２ニューラルネットワーク、及び第３ニューラルネットワークを利用して、左側の乳腺の医用画像が健康カテゴリに属する３つの出力結果ＰＡ＋ ｌ，ＰＢ＋ ｌ，ＰＣ＋ ｌ、左側の乳腺の医用画像が病気カテゴリに属する３つの出力結果ＰＡ－ ｌ，ＰＢ－ ｌ，ＰＣ－ ｌ、右側の乳腺の医用画像が健康カテゴリに属する３つの出力結果ＰＡ＋ ｒ，ＰＢ＋ ｒ，ＰＣ＋ ｒ、右側の乳腺の医用画像が病気カテゴリに属する３つの出力結果ＰＡ－ ｒ，ＰＢ－ ｒ，ＰＣ－ ｒをそれぞれ出力してもよい。異なる訓練セットによって得られた上記の３つのネットワークから出力された結果を融合（例えば加重平均）することにより、左側の乳腺の医用画像と、右側の乳腺の医用画像とが健康カテゴリ及び病気カテゴリに属する確率を決定してもよい。例えば、下式によって、左側の乳腺の医用画像と、右側の乳腺の医用画像とが健康カテゴリ及び病気カテゴリに属する確率を決定してもよい。
Figure 2022537866000005
 ここで、Ｐ＋ ｌは、左側の乳腺の医用画像が健康カテゴリに属する確率であり、Ｐ－ ｌは、左側の乳腺の医用画像が病気カテゴリに属する確率であり、Ｐ＋ ｒは、右側の乳腺の医用画像が健康カテゴリに属する確率であり、Ｐ－ ｒは、右側の乳腺の画像が病気カテゴリに属する確率である。
同様に、ステップＳ４０２～Ｓ４１０と類似するステップによって、参照画像の第１目標参照画像特徴及び第２目標参照画像特徴を取得してもよい。
図２に戻って参照すると、ステップＳ２０４では、いくつかの実施例において、第１画像特徴は、第１目標画像特徴と、第２目標画像特徴とを含む。第１目標画像特徴は、少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、目標画像に対して畳み込み処理を行って得たものであり、第２目標画像特徴は、第２ニューラルネットワークを利用して、目標画像に対して畳み込み処理を行って得たものである。
第２画像特徴は、第１目標参照画像特徴と、第２目標参照画像特徴とを含む。ここで、第１目標参照画像特徴は、少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、参照画像に対して畳み込み処理を行って得たものであり、第２目標参照画像特徴は、第２ニューラルネットワークを利用して、参照画像に対して畳み込み処理を行って得たものである。
ここで、第１ニューラルネットワークと第２ニューラルネットワークは、同じ訓練方法で訓練された異なるネットワークであり、第１ニューラルネットワークは、前述した第１訓練セットで訓練されたものであり、第２ニューラルネットワークは、前述した第２訓練セットで訓練されたものである。上記のように、第１訓練セットと第２訓練セットに含まれる訓練画像における正のサンプルと負のサンプルとの割合が異なる。したがって、第１ニューラルネットワークと第２ニューラルネットワークは、異なるパラメータを有するため、異なる出力結果を有する。
このような場合、ステップＳ２０６では、分類対象画像特徴は、第１分類対象画像特徴と、第２分類対象画像特徴とを含む。例えば、第１分類対象画像特徴は、第１目標画像特徴と第１目標参照画像特徴とを連結することにより決定されたものであってもよく、第２分類対象画像特徴は、第２目標画像特徴と第２目標参照画像特徴とを連結することにより決定されたものであってもよい。
ステップＳ２０８では、第１全結合ネットワークを利用して、第１分類対象画像特徴を処理することにより、目標画像が所定のカテゴリに属する第１確率を取得してもよい。第２全結合ネットワークを利用して、第２分類対象画像特徴を処理することにより、目標画像が所定のカテゴリに属する第２確率を取得してもよい。第１確率と第２確率とを融合することにより、目標画像が所定のカテゴリに属する確率を決定することができる。例えば、第１確率と第２確率との加重平均値に基づいて、目標画像が所定のカテゴリに属する確率を決定してもよい。ここで、第１全結合ネットワークと第２全結合ネットワークは、同じ訓練方法で訓練された異なるネットワークであり、そのうち、第１全結合ネットワークは、第１訓練セットで訓練されたものであり、第２全結合ネットワークは、第２訓練セットで訓練されたものであり、第１訓練セットと第２訓練セットに含まれる訓練画像における正のサンプルと負のサンプルとの割合が異なる。
本願では、２つ又は３つの異なる訓練セットのみを例にして、本願の原理を解釈しているが、本願の実施例は、これに限定されない。当業者は、実際の状況に応じて、より多くの異なる訓練セットを選択して、画像分類を実行するためのネットワークモデルをより多く取得することができる。
本願で提供される、異なる訓練セットで取得されたネットワークモデルに基づいて実現される上記画像分類方法によれば、関連技術において訓練データの割合が不均衡であるという問題を克服し、画像分類の正確性、及び病気スクリーニングの正確性を向上させることができる。
図５は、本願の実施例による画像分類装置の模式的なブロック図を示す。図５に示すように、画像分類装置５００は、受信ユニット５１０と、画像特徴決定ユニット５２０と、融合ユニット５３０と、分類結果生成ユニット５４０とを含んでもよい。
受信ユニット５１０は、目標画像と、目標画像に関する少なくとも１つの参照画像とを受信するように構成されてもよい。いくつかの実施例において、参照画像は、目標画像と同じタイプの画像であってもよい。例えば、参照画像には、目標画像における目標オブジェクトと同様の目標オブジェクト又は同じタイプの他の目標オブジェクトが含まれてもよい。
ここで、目標画像は、医用画像であってもよい。例えば、目標画像が人体の一方の側の器官の医用画像である場合、参照画像は、同一人の他方の側の器官の同じタイプの医用画像であってもよい。例えば、ここで言う器官は、乳腺、眼、肺、歯など、人体に２つ以上の数で存在する任意の器官であってもよい。
理解できるものとして、本願で開示された原理を逸脱することなく、目標画像における目標オブジェクトと同じタイプの目標オブジェクトを参照画像に含めることができる限り、ここで言う目標画像は、医用画像以外の任意の他のタイプの画像であってもよい。例えば、目標画像は顔画像であってもよい。この場合、参照画像は、他の時間に（例えば、異なる背景、異なる照明、異なる年齢段階で）撮影された顔画像であってもよい。また、例えば、目標画像は、人以外の任意の動物又は植物の画像であってもよい。
いくつかの実施例において、目標画像は、同一の目標オブジェクトに対する複数の画像を含んでもよい。
いくつかの実現形態において、目標画像は、少なくとも２つの角度から取得された目標オブジェクトの画像を含んでもよい。例えば、目標画像は、頭尾方向（ＣＣ：Ｃｒａｎｉｏｃａｕｄａｌ）視角で撮影された人体の乳腺のモリブデンターゲット検出画像と、内外斜位方向（ＭＬＯ：Ｍｅｄｉｏｌａｔｅｒａｌ－Ｏｂｌｉｑｕｅ）視角で撮影された人体の乳腺のモリブデンターゲット検出画像とを含んでもよい。理解できるものとして、目標画像に他のタイプの目標オブジェクトが含まれる場合、当業者は、異なる角度から取得される他の目標画像を取得するために、目標オブジェクトの撮影方式を任意に設定してもよい。
他のいくつかの実現形態において、目標画像は、少なくとも２つの異なる機器によって取得された目標オブジェクトの画像を含んでもよい。例えば、目標画像は、Ｘ線機器によって収集された人体の乳腺の画像と、ＭＲＩ機器によって収集された人体の乳腺の画像とを含んでもよい。理解できるものとして、目標画像に他のタイプの目標オブジェクトが含まれる場合、当業者は、異なる機器によって取得される他の目標画像を取得するために、目標オブジェクトの撮影方式を任意に設定してもよい。例えば、パラメータが異なる少なくとも２つのカメラによって、目標オブジェクトが含まれる目標画像をそれぞれ取得してもよい。
目標画像に複数の画像が含まれる場合、参照画像は、複数の目標画像のうちのそれぞれの目標画像にそれぞれ対応する複数の参照画像を含んでもよい。ここで、各参照画像は、それに対応する目標画像と同じ方式で取得されたものである。
画像特徴決定ユニット５２０は、目標画像の第１画像特徴と、参照画像の第２画像特徴とを決定するように構成されてもよい。例えば、同じ方式で、目標画像の第１画像特徴と、参照画像の第２画像特徴とを決定してもよい。
いくつかの実施例では、少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、目標画像に対して畳み込み処理を行うことにより、第１画像特徴を取得してもよい。さらに、第１ニューラルネットワークを利用して、参照画像に対して畳み込み処理を行うことにより、第２画像特徴を取得してもよい。つまり、パラメータを共有するニューラルネットワークを利用して、目標画像及び参照画像を処理してもよい。第１画像特徴及び第２画像特徴は、それぞれ、複数の画像特徴を含んでもよい。
いくつかの実現形態において、第１ニューラルネットワークは、画像から画像特徴を取得できる任意のニューラルネットワークであってもよい。例えば、第１ニューラルネットワークは、少なくとも１つの畳み込み層が含まれる任意のネットワーク、例えば、Ｉｎｃｅｐｔｉｏｎシリーズのネットワーク（例えばＧｏｏｇｌｅｎｅｔなど）、ＶＧＧシリーズのネットワーク、Ｒｅｓｎｅｔシリーズのネットワークなどの任意１つ、又は上記ネットワークの任意１つの少なくとも一部であってもよい。
いくつかの実施例では、目標画像における色特徴、テクスチャ特徴、形状特徴、空間関係特徴などの特徴のうちの少なくとも１種を抽出して第１画像特徴としてもよい。さらに、同じ方法で、参照画像における特徴を抽出して第２画像特徴としてもよい。
いくつかの実施例では、第１画像特徴は、第１目標画像特徴と、第２目標画像特徴とを含む。第１目標画像特徴は、少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、目標画像に対して畳み込み処理を行って得たものであり、第２目標画像特徴は、第２ニューラルネットワークを利用して、目標画像に対して畳み込み処理を行って得たものである。第１目標画像特徴と第２目標画像特徴は、それぞれ、複数の画像特徴を含んでもよい。
第２画像特徴は、第１目標参照画像特徴と、第２目標参照画像特徴とを含む。ここで、第１目標参照画像特徴は、少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、参照画像に対して畳み込み処理を行って得たものであり、第２目標参照画像特徴は、第２ニューラルネットワークを利用して、参照画像に対して畳み込み処理を行って得たものである。
ここで、第１ニューラルネットワークと第２ニューラルネットワークは、同じ訓練方法で訓練された異なるネットワークであり、第１ニューラルネットワークは、前述した第１訓練セットで訓練されたものであり、第２ニューラルネットワークは、前述した第２訓練セットで訓練されたものである。
融合ユニット５３０は、第１画像特徴と第２画像特徴とを融合することにより、分類対象画像特徴を決定するように構成されてもよい。
いくつかの実施例では、第１画像特徴と第２画像特徴とを連結することにより、分類対象画像特徴を決定してもよい。
ここで、第１画像特徴と第２画像特徴とを融合することにより、分類対象画像特徴を決定するステップは、第１画像特徴と第２画像特徴とを連結することにより、分類対象画像特徴を決定するステップを含んでもよい。
いくつかの実施例では、分類対象画像特徴は、第１分類対象画像特徴と、第２分類対象画像特徴とを含む。例えば、第１分類対象画像特徴は、第１目標画像特徴と第１目標参照画像特徴とを連結することにより決定されたものであってもよく、第２分類対象画像特徴は、第２目標画像特徴と第２目標参照画像特徴とを連結することにより決定されたものであってもよい。
分類結果生成ユニット５４０は、融合ユニット５３０によって生成された分類対象画像特徴を利用して、目標画像が所定のカテゴリに属する確率を決定するように構成されてもよい。いくつかの実施例では、第１全結合ネットワークを利用して、分類対象画像特徴を処理することにより、目標画像が所定のカテゴリに属する確率を取得してもよい。
例えば、第１全結合ネットワークから複数の次元を有するベクトルを出力するように、第１全結合ネットワークを設定してもよい。該ベクトルにおける各要素は、目標画像及び参照画像が所定のカテゴリに属する信頼スコアを示す。
理解できるものとして、異なる適用シナリオの場合、当業者は、実際の状況に応じて、分類用の所定のカテゴリの数を設定してもよい。
いくつかの実施例では、第１全結合ネットワークから出力された、複数の次元に対する信頼スコアに基づいて、目標画像及び参照画像が所定のカテゴリに属する確率を決定してもよい。
例えば、左側の乳腺がそれぞれ健康カテゴリ及び病気カテゴリに属する２つの信頼スコアに対して、ｓｏｆｔｍａｘ関数を利用して左側の乳腺用の２つの信頼スコアを正規化することにより、左側の乳腺の医用画像が健康カテゴリに属する確率と、左側の乳腺の医用画像が病気カテゴリに属する確率とを取得してもよい。同様に、ｓｏｆｔｍａｘ関数を利用して、右側の乳腺の医用画像が健康カテゴリに属する確率と、右側の乳腺の医用画像が病気カテゴリに属する確率を取得してもよい。
いくつかの実施例では、目標画像が所定のカテゴリに属する確率が、所定の確率閾値（例えば０．５）よりも大きい場合、目標画像が所定のカテゴリに属すると考えられる。
いくつかの実施例では、分類結果生成ユニット５４０は、第１全結合ネットワークを利用して、第１分類対象画像特徴を処理することにより、目標画像が所定のカテゴリに属する第１確率を取得してもよい。第２全結合ネットワークを利用して、第２分類対象画像特徴を処理することにより、目標画像が所定のカテゴリに属する第２確率を取得してもよい。第１確率と第２確率とを融合することにより、目標画像が所定のカテゴリに属する確率を決定することができる。例えば、第１確率と第２確率との加重平均値に基づいて、目標画像が所定のカテゴリに属する確率を決定してもよい。
このように、参照画像の画像情報に基づいて、目標画像に対する画像分類を実現することができる。
本願の実施例で提供される上記画像分類装置によれば、画像分類過程において参照画像及び目標画像の画像情報を融合することができ、目標画像及び参照画像の画像情報が融合された画像特徴に基づいて、目標画像が所定のカテゴリに属する確率を決定することができる。これにより、目標画像に対するより正確な分類が実現される。目標画像及び参照画像が医用画像である場合、病気スクリーニングの正確性を向上させる。また、関連技術において訓練データの割合が不均衡であるという問題を克服し、画像分類の正確性、及び病気スクリーニングの正確性をさらに向上させることもできる。
図６は、本願の実施例による医療用電子機器の模式的なブロック図を示す。図６に示すように、医療用電子機器６００は、画像収集ユニット６１０と、画像特徴決定ユニット６２０と、融合ユニット６３０と、分類結果生成ユニット６４０とを含んでもよい。
画像収集ユニット６１０は、目標画像と、目標画像に関する参照画像とを収集することができる。ここで言う医用画像は、例えば、ＣＴ、ＭＲＩ、超音波、Ｘ線、核種イメージング（例えば、ＳＰＥＣＴ、ＰＥＴ）などの方法によって収集された医用画像であってもよいし、例えば、心電図、脳電図、光学撮影など、人体の生理的情報を表示する画像であってもよい。
画像特徴決定ユニット６２０、融合ユニット６３０、及び分類結果生成ユニット６４０は、図５に示す画像特徴決定ユニット５２０、融合ユニット５３０、及び分類結果生成ユニット５４０として実現されてもよく、ここではこれ以上の説明を省略する。
いくつかの実施形態において、本願で提供される医療用電子機器は、ＣＴ、ＭＲＩ、超音波、Ｘ線装置など、任意の医用画像機器であってもよい。画像収集ユニット６１０は、上記医用画像機器のイメージングユニットとして実現されてもよく、画像特徴決定ユニット６２０、融合ユニット６３０、及び分類結果生成ユニット６４０は、医用画像機器の内部処理ユニット（例えば、プロセッサ）によって実現されてもよい。
また、本願の実施例による方法又は装置は、図７に示すコンピューティングデバイスのアーキテクチャで実現されてもよい。図７は、該コンピューティングデバイスのアーキテクチャを示す。図７に示すように、コンピューティングデバイス７００は、バス７１０、１つ又は少なくとも２つのＣＰＵ７２０、読み出し専用メモリ（ＲＯＭ）７３０、ランダムアクセスメモリ（ＲＡＭ）７４０、ネットワークに接続された通信ポート７５０、入出力コンポーネント７６０、ハードディスク７７０などを含んでもよい。コンピューティングデバイス７００の記憶機器、例えば、ＲＯＭ７３０又はハードディスク７７０は、本願で提供される、ビデオから目標を検出するための方法の処理及び／又は通信に使用される各種のデータ又はファイル、並びに、ＣＰＵが実行するプログラム命令を記憶することができる。コンピューティングデバイス７００は、ユーザインタフェース７８０をさらに含んでもよい。勿論、図７に示すアーキテクチャは、例示的なものに過ぎず、異なる機器を実現する場合、実際の必要に応じて、図７に示すコンピューティングデバイスの１つ又は少なくとも２つのコンポーネントを省略してもよい。
本願の実施例は、コンピュータ読み取り可能な記憶媒体として実現されてもよい。本願の実施例によるコンピュータ読み取り可能な記憶媒体には、コンピュータ読み取り可能な命令が記憶されている。コンピュータ読み取り可能な命令は、プロセッサによって実行されると、上記の図面を参照して説明された本願の実施例による方法を実行させることができる。コンピュータ読み取り可能な記憶媒体は、例えば、揮発性メモリ及び／又は不揮発性メモリを含むが、これらに限定されない。揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュ（ｃａｃｈｅ）などを含んでもよい。不揮発性メモリは、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含んでもよい。
当業者が理解できるように、本願に披露された内容は、様々な変形や改良が可能である。例えば、上記に説明された各種の機器又はコンポーネントは、ハードウェアで実現されてもよいし、ソフトウェア、ファームウェア、もしくはこの３つのうちの一部又は全部の組み合わせで実現されてもよい。
また、本願及び特許請求の範囲に示すように、文脈において例外が明確に示されない限り、「一」、「１つ」、「１種」、及び／又は「該」などの用語は、単数を特に指すのではなく、複数を含んでもよい。一般的には、用語「備える」及び「含む」は、明確に標識されたステップ及び要素を含むことのみを示すが、これらのステップ及び要素が排他的な羅列となるのではなく、方法もしくは機器は、他のステップ又は要素を含む可能性もある。
また、本願では、本願の実施例によるシステムにおけるいくつかのユニットへの様々な参照を行っているが、任意の数の異なるユニットは、クライアント及び／又はサーバ上で使用且つ実行されてもよい。ユニットは例示的なものに過ぎず、システム及び方法の異なる態様では、異なるユニットを使用してもよい。
また、本願では、本願の実施例によるシステムが実行する操作を説明するために、フローチャートを使用している。理解すべきものとして、先行又は後続の操作は、必ずしも精確に順序に従って実行されるとは限らない。逆に、各ステップを、逆の順序で、又は同時に処理してもよい。また、他の操作をこれらの過程に追加したり、又はこれらの過程からある１つのステップ又はいくつかのステップの操作を除去したりしてもよい。
別段の定義がない限り、ここで使用される全ての用語（技術用語及び科学用語を含む）は、当業者に共通して理解されるのと同じ意味を有する。また、理解すべきものとして、通常の辞書で定義されているような用語は、関連技術の文脈におけるその意味と一致する意味を有すると解釈されるべきであり、ここで明確に定義されていない限り、理想的な又は極度に形式化された意味で解釈されるべきではない。
上記は、本発明についての説明であるが、本発明を制限するものと見なされるべきではない。本発明の若干の例示的な実施例が説明されているが、当業者は、本発明の新規な教示および利点を逸脱することなく、例示的な実施例に対して多くの修正を行うことができることを容易に理解する。したがって、これらの修正は、全て、特許請求の範囲によって限定される本発明の範囲に含まれることが意図されている。理解すべきものとして、上記は、本発明についての説明であるが、開示された特定の実施例に限定されると見なされるべきではない。また、開示された実施例及び他の実施例に対する修正は、添付の特許請求の範囲に含まれることが意図されている。本発明は、特許請求の範囲及びその同等物によって限定される。

Claims (15)

  1. 電子機器が実行する画像分類方法であって、
    医用画像である目標画像と、前記目標画像に関する参照画像とを受信するステップと、
    同じ方式で、前記目標画像の第１画像特徴と、前記参照画像の第２画像特徴とを決定するステップと、
    前記第１画像特徴と前記第２画像特徴とを融合することにより、分類対象画像特徴を決定するステップと、
    前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定するステップと、を含み、
    前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定する前記ステップは、
    前記分類対象画像特徴を利用して、複数次元のベクトルを取得するステップであって、該ベクトルにおける要素が、それぞれ、前記目標画像及び前記参照画像が所定のカテゴリに属する信頼スコアを示すものである、ステップと、
    前記目標画像が所定のカテゴリに属する信頼スコアに基づいて、前記目標画像が所定のカテゴリに属する確率を決定するステップと、を含む、
    画像分類方法。
  2. 前記目標画像の第１画像特徴と、前記参照画像の第２画像特徴とを決定するステップは、
    少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、前記目標画像に対して畳み込み処理を行うことにより、第１画像特徴を取得するステップと、
    前記第１ニューラルネットワークを利用して、前記参照画像に対して畳み込み処理を行うことにより、第２画像特徴を取得するステップと、を含む、
    請求項１に記載の画像分類方法。
  3. 前記第１画像特徴と前記第２画像特徴とを融合することにより、分類対象画像特徴を決定するステップは、
    前記第１画像特徴と前記第２画像特徴とを連結することにより、前記分類対象画像特徴を決定するステップを含む、
    請求項１又は２に記載の画像分類方法。
  4. 前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定するステップは、
    第１全結合ネットワークを利用して、前記分類対象画像特徴を処理することにより、前記目標画像が所定のカテゴリに属する確率を取得するステップを含む、
    請求項２に記載の画像分類方法。
  5. 前記第１画像特徴は、第１目標画像特徴と、第２目標画像特徴とを含み、前記第１目標画像特徴は、少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、前記目標画像に対して畳み込み処理を行って得たものであり、前記第２目標画像特徴は、第２ニューラルネットワークを利用して、前記目標画像に対して畳み込み処理を行って得たものであり、
    前記第２画像特徴は、第１目標参照画像特徴と、第２目標参照画像特徴とを含み、前記第１目標参照画像特徴は、少なくとも１つの畳み込み層が含まれる前記第１ニューラルネットワークを利用して、前記参照画像に対して畳み込み処理を行って得たものであり、前記第２目標参照画像特徴は、前記第２ニューラルネットワークを利用して、前記参照画像に対して畳み込み処理を行って得たものであり、
    前記第１ニューラルネットワークと前記第２ニューラルネットワークは、同じ訓練方法で訓練された異なるネットワークであり、前記第１ニューラルネットワークは、第１訓練セットで訓練されたものであり、前記第２ニューラルネットワークは、第２訓練セットで訓練されたものであり、第１訓練セットと第２訓練セットに含まれる訓練画像における正のサンプルと負のサンプルとの割合が異なる、
    請求項１に記載の画像分類方法。
  6. 前記分類対象画像特徴は、第１分類対象画像特徴と、第２分類対象画像特徴とを含み、前記第１分類対象画像特徴は、前記第１目標画像特徴と前記第１目標参照画像特徴とを連結することにより決定されたものであり、前記第２分類対象画像特徴は、前記第２目標画像特徴と前記第２目標参照画像特徴とを連結することにより決定されたものである、
    請求項５に記載の画像分類方法。
  7. 前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定するステップは、
    第１全結合ネットワークを利用して、前記第１分類対象画像特徴を処理することにより、前記目標画像が所定のカテゴリに属する第１確率を取得するステップと、
    第２全結合ネットワークを利用して、前記第２分類対象画像特徴を処理することにより、前記目標画像が所定のカテゴリに属する第２確率を取得するステップと、
    前記第１確率と前記第２確率との加重平均値に基づいて、前記目標画像が所定のカテゴリに属する確率を決定するステップと、を含み、
    前記第１全結合ネットワークと前記第２全結合ネットワークは、同じ訓練方法で訓練された異なるネットワークであり、前記第１全結合ネットワークは、第１訓練セットで訓練されたものであり、前記第２全結合ネットワークは、第２訓練セットで訓練されたものであり、第１訓練セットと第２訓練セットに含まれる訓練画像における正のサンプルと負のサンプルとの割合が異なる、
    請求項６に記載の画像分類方法。
  8. 前記第１ニューラルネットワーク及び前記第１全結合ネットワークは、
    前記第１ニューラルネットワークの第１訓練セットを決定するステップであって、前記第１訓練セットには、第１訓練画像が含まれる、ステップと、
    前記第１訓練画像の第１参照訓練画像を決定するステップと、
    前記第１ニューラルネットワークを利用して、前記第１訓練画像及び前記第１参照訓練画像のそれぞれに対して畳み込み処理を行うことにより、第１訓練画像特徴及び第２訓練画像特徴を取得するステップと、
    前記第１訓練画像特徴と前記第２訓練画像特徴とに基づいて、分類対象訓練画像特徴を決定するステップと、
    第１全結合ネットワークを利用して、前記分類対象訓練画像特徴を処理することにより、前記第１訓練画像が所定のカテゴリに属する確率を決定するステップと、
    前記第１訓練画像が所定のカテゴリに属する確率と、前記第１訓練画像が属する実際のカテゴリとの間の損失が最小となるように、前記第１ニューラルネットワーク及び前記第１全結合ネットワークのパラメータを調整するステップと、によって訓練されたものである、
    請求項４又は７に記載の画像分類方法。
  9. 画像分類装置であって、
    医用画像である目標画像と、前記目標画像に関する参照画像とを受信するように構成される受信ユニットと、
    同じ方式で、前記目標画像の第１画像特徴と、前記参照画像の第２画像特徴とを決定するように構成される画像特徴決定ユニットと、
    前記第１画像特徴と前記第２画像特徴とを融合することにより、分類対象画像特徴を決定するように構成される融合ユニットと、
    前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定するように構成される分類結果生成ユニットと、を含み、
    分類結果生成ユニットは、前記分類対象画像特徴を利用して、複数次元のベクトルを取得し、該ベクトルにおける要素が、それぞれ、前記目標画像及び前記参照画像が所定のカテゴリに属する信頼スコアを示すものであり、分類結果生成ユニットは、前記目標画像が所定のカテゴリに属する信頼スコアに基づいて、前記目標画像が所定のカテゴリに属する確率を決定する、
    画像分類装置。
  10. 画像特徴決定ユニットは、さらに、
    少なくとも１つの畳み込み層が含まれる第１ニューラルネットワークを利用して、前記目標画像に対して畳み込み処理を行うことにより、第１画像特徴を取得し、
    前記第１ニューラルネットワークを利用して、前記参照画像に対して畳み込み処理を行うことにより、第２画像特徴を取得するように構成される、
    請求項９に記載の画像分類装置。
  11. 電子機器が実行する画像処理方法であって、
    目標画像を受信するステップと、
    第１ニューラルネットワークを利用して、前記目標画像の第１目標画像特徴を決定するステップと、
    第２ニューラルネットワークを利用して、前記目標画像の第２目標画像特徴を決定するステップと、
    前記第１目標画像特徴と前記第２目標画像特徴とに基づいて、前記目標画像の第１画像処理結果及び第２画像処理結果を決定するステップと、
    前記第１画像処理結果と前記第２画像処理結果とを融合することにより、前記目標画像の画像処理結果を決定するステップと、を含み、
    前記第１ニューラルネットワークと前記第２ニューラルネットワークは、同じ訓練方法で訓練された異なるネットワークであり、前記第１ニューラルネットワークは、第１訓練セットで訓練されたものであり、前記第２ニューラルネットワークは、第２訓練セットで訓練されたものであり、第１訓練セットと第２訓練セットに含まれる訓練画像における正のサンプルと負のサンプルとの割合が異なる、
    画像処理方法。
  12. 前記画像処理結果は、画像分類結果、画像分割結果、目標検出結果のうちの少なくとも１つを含む、
    請求項１１に記載の画像処理方法。
  13. 医療用電子機器であって、
    医用画像である目標画像と、前記目標画像に関する参照画像とを収集するように構成される画像収集ユニットと、
    同じ方式で、前記目標画像の第１画像特徴と、前記参照画像の第２画像特徴とを決定するように構成される画像特徴決定ユニットと、
    前記第１画像特徴と前記第２画像特徴とを融合することにより、分類対象画像特徴を決定するように構成される融合ユニットと、
    前記分類対象画像特徴を利用して、前記目標画像が所定のカテゴリに属する確率を決定するように構成される分類結果生成ユニットと、を含み、
    分類結果生成ユニットは、前記分類対象画像特徴を利用して、複数次元のベクトルを取得し、該ベクトルにおける要素が、それぞれ、前記目標画像及び前記参照画像が所定のカテゴリに属する信頼スコアを示すものであり、分類結果生成ユニットは、前記目標画像が所定のカテゴリに属する信頼スコアに基づいて、前記目標画像が所定のカテゴリに属する確率を決定する、
    医療用電子機器。
  14. メモリとプロセッサとを備える画像分類機器であって、前記メモリには、命令が記憶され、前記プロセッサを利用して前記命令を実行すると、請求項１～８及び１１～１２のいずれか１項に記載の画像分類方法を前記プロセッサに実行させる、画像分類機器。
  15. 請求項１～８及び１１～１２のいずれか１項に記載の画像分類方法をコンピュータに実行させる、コンピュータプログラム。
JP2021548679A 2019-06-28 2020-06-28 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム Active JP7297081B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910573560.9A CN110276411B (zh) 2019-06-28 2019-06-28 图像分类方法、装置、设备、存储介质和医疗电子设备
CN201910573560.9 2019-06-28
PCT/CN2020/098407 WO2020259666A1 (zh) 2019-06-28 2020-06-28 图像分类方法、装置、设备、存储介质和医疗电子设备

Publications (2)

Publication Number Publication Date
JP2022537866A true JP2022537866A (ja) 2022-08-31
JP7297081B2 JP7297081B2 (ja) 2023-06-23

Family

ID=67963631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548679A Active JP7297081B2 (ja) 2019-06-28 2020-06-28 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US11900647B2 (ja)
EP (1) EP3992851A4 (ja)
JP (1) JP7297081B2 (ja)
KR (1) KR102605969B1 (ja)
CN (1) CN110276411B (ja)
WO (1) WO2020259666A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276411B (zh) * 2019-06-28 2022-11-18 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110827294A (zh) * 2019-10-31 2020-02-21 北京推想科技有限公司 网络模型训练方法及装置、病灶区域确定方法及装置
CN111028310B (zh) * 2019-12-31 2023-10-03 上海联影医疗科技股份有限公司 乳腺断层扫描的扫描参数确定方法、装置、终端及介质
CN111311578B (zh) * 2020-02-17 2024-05-03 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备
CN111598131B (zh) * 2020-04-17 2023-08-25 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN112149748B (zh) * 2020-09-28 2024-05-21 商汤集团有限公司 图像分类方法及装置、电子设备和存储介质
CN112138394B (zh) * 2020-10-16 2022-05-03 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113313063A (zh) * 2021-06-21 2021-08-27 暨南大学 麦穗检测方法、电子装置和存储介质
CN113627422A (zh) * 2021-06-30 2021-11-09 华为技术有限公司 一种图像分类方法及其相关设备
CN113283552A (zh) * 2021-07-22 2021-08-20 深圳百胜扬工业电子商务平台发展有限公司 图像的分类方法、装置、存储介质及电子设备
CN113569953A (zh) * 2021-07-29 2021-10-29 中国工商银行股份有限公司 分类模型的训练方法、装置及电子设备
KR102415616B1 (ko) * 2021-10-18 2022-07-01 라이트하우스(주) 예술품의 이미지 표준화 기반 교육 및 거래 서비스 제공 방법, 장치 및 시스템
CN114139031B (zh) * 2021-10-28 2024-03-19 马上消费金融股份有限公司 数据分类方法、装置、电子设备及存储介质
CN114220063B (zh) * 2021-11-17 2023-04-07 浙江大华技术股份有限公司 目标检测方法及装置
CN115130539A (zh) * 2022-04-21 2022-09-30 腾讯科技（深圳）有限公司 分类模型训练、数据分类方法、装置和计算机设备
CN114820592B (zh) * 2022-06-06 2023-04-07 北京医准智能科技有限公司 图像处理装置、电子设备及介质
CN117036894B (zh) * 2023-10-09 2024-03-26 之江实验室 基于深度学习的多模态数据分类方法、装置及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012174178A (ja) * 2011-02-24 2012-09-10 Fuji Xerox Co Ltd 画像処理プログラム及び画像処理装置
US20160253466A1 (en) * 2013-10-10 2016-09-01 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN109146848A (zh) * 2018-07-23 2019-01-04 东北大学 一种融合多模态乳腺图像的计算机辅助参考系统及方法
JP2019028887A (ja) * 2017-08-02 2019-02-21 国立研究開発法人産業技術総合研究所 画像処理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171042B2 (en) * 2000-12-04 2007-01-30 Intel Corporation System and method for classification of images and videos
US6778705B2 (en) * 2001-02-27 2004-08-17 Koninklijke Philips Electronics N.V. Classification of objects through model ensembles
US8498491B1 (en) * 2011-08-10 2013-07-30 Google Inc. Estimating age using multiple classifiers
CN104573708A (zh) * 2014-12-19 2015-04-29 天津大学 组合降采样极限学习机
CN106156807B (zh) * 2015-04-02 2020-06-02 华中科技大学 卷积神经网络模型的训练方法及装置
CN106650550A (zh) * 2015-10-28 2017-05-10 中通服公众信息产业股份有限公司 一种融合车标与车头图像特征的车辆型号识别方法及系统
CN106874279B (zh) * 2015-12-11 2021-01-15 腾讯科技（深圳）有限公司 生成应用类别标签的方法及装置
CN106096670B (zh) * 2016-06-17 2019-07-30 深圳市商汤科技有限公司 级联卷积神经网络训练和图像检测方法、装置及系统
CN106682435B (zh) * 2016-12-31 2021-01-29 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN108771530B (zh) * 2017-05-04 2021-03-30 深圳硅基智能科技有限公司 基于深度神经网络的眼底病变筛查系统
CN107688823B (zh) * 2017-07-20 2018-12-04 北京三快在线科技有限公司 一种图像特征获取方法及装置，电子设备
US20190034734A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated Object classification using machine learning and object tracking
CN109426858B (zh) * 2017-08-29 2021-04-06 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN107665352A (zh) * 2017-09-07 2018-02-06 浙江工业大学 一种基于多通道残差网络的珍珠分类方法
CN107680088A (zh) * 2017-09-30 2018-02-09 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
US20190130188A1 (en) * 2017-10-26 2019-05-02 Qualcomm Incorporated Object classification in a video analytics system
US20190130191A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Bounding box smoothing for object tracking in a video analytics system
CN109934369A (zh) * 2017-12-15 2019-06-25 北京京东尚科信息技术有限公司 用于信息推送的方法及装置
CN109447065B (zh) * 2018-10-16 2020-10-16 杭州依图医疗技术有限公司 一种乳腺影像识别的方法及装置
CN109461495B (zh) * 2018-11-01 2023-04-14 腾讯科技（深圳）有限公司 一种医学图像的识别方法、模型训练的方法及服务器
WO2020102584A2 (en) * 2018-11-14 2020-05-22 Intuitive Surgical Operations, Inc. Convolutional neural networks for efficient tissue segmentation
CN110321920B (zh) * 2019-05-08 2021-10-22 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110276411B (zh) * 2019-06-28 2022-11-18 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110516620B (zh) * 2019-08-29 2023-07-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
US11544495B2 (en) * 2020-07-10 2023-01-03 Adobe Inc. Attributionally robust training for weakly supervised localization and segmentation
US11776129B2 (en) * 2020-12-16 2023-10-03 Qualcomm Incorporated Semantic refinement of image regions
WO2023164145A1 (en) * 2022-02-25 2023-08-31 Regeneron Pharmaceuticals, Inc. Size exclusion chromatography for characterizing host cell proteins

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012174178A (ja) * 2011-02-24 2012-09-10 Fuji Xerox Co Ltd 画像処理プログラム及び画像処理装置
US20160253466A1 (en) * 2013-10-10 2016-09-01 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
JP2019028887A (ja) * 2017-08-02 2019-02-21 国立研究開発法人産業技術総合研究所 画像処理方法
CN109146848A (zh) * 2018-07-23 2019-01-04 东北大学 一种融合多模态乳腺图像的计算机辅助参考系统及方法

Also Published As

Publication number Publication date
EP3992851A1 (en) 2022-05-04
WO2020259666A1 (zh) 2020-12-30
CN110276411A (zh) 2019-09-24
CN110276411B (zh) 2022-11-18
KR20210119526A (ko) 2021-10-05
JP7297081B2 (ja) 2023-06-23
KR102605969B1 (ko) 2023-11-23
US20210390695A1 (en) 2021-12-16
EP3992851A4 (en) 2022-08-10
US11900647B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
JP7297081B2 (ja) 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム
Han et al. Learning more with less: Conditional PGGAN-based data augmentation for brain metastases detection using highly-rough annotation on MR images
CN110996789B (zh) 执行筛查、诊断或其他基于图像的分析任务的系统和方法
WO2021051965A1 (zh) 图像处理方法及装置、电子设备、存储介质和计算机程序
CN112767329B (zh) 图像处理方法及装置、电子设备
US12118739B2 (en) Medical image processing method, apparatus, and device, medium, and endoscope
Pang et al. CTumorGAN: a unified framework for automatic computed tomography tumor segmentation
US20200311923A1 (en) Method and Apparatus for Registration of Different Mammography Image Views
Wang et al. CheXLocNet: Automatic localization of pneumothorax in chest radiographs using deep convolutional neural networks
TW202125415A (zh) 三維目標檢測及模型的訓練方法、設備、儲存媒體
US11663819B2 (en) Image processing method, apparatus, and device, and storage medium
CN113449791B (zh) 基于深度学习的肺炎图像分类方法及系统
CN114445334B (zh) 图像分析的方法、装置、设备及存储介质
Cai et al. Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning
CN118247284B (zh) 图像处理模型的训练方法、图像处理方法
TW202346826A (zh) 影像處理方法
US11521323B2 (en) Systems and methods for generating bullseye plots
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质
Tawfeeq et al. Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap.
CN112288683A (zh) 基于多模态融合的肺结核病判定装置和方法
CN110415239B (zh) 图像处理方法、装置、设备、医疗电子设备以及介质
Reddy et al. Detection and prediction of lung cancer using different algorithms
CN115018795B (zh) 医学影像中的病灶的匹配方法、装置、设备及存储介质
CN115100723B (zh) 面色分类方法、装置、计算机可读程序介质及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230613

R150 Certificate of patent or registration of utility model

Ref document number: 7297081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150