JP2021513435A - 胃腸腫瘍を診断するシステム及び方法 - Google Patents

胃腸腫瘍を診断するシステム及び方法 Download PDF

Info

Publication number
JP2021513435A
JP2021513435A JP2020564808A JP2020564808A JP2021513435A JP 2021513435 A JP2021513435 A JP 2021513435A JP 2020564808 A JP2020564808 A JP 2020564808A JP 2020564808 A JP2020564808 A JP 2020564808A JP 2021513435 A JP2021513435 A JP 2021513435A
Authority
JP
Japan
Prior art keywords
image
training
cancer
network
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020564808A
Other languages
English (en)
Inventor
シュウ，チーチャン
リー，ツァンチャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AiSkopy Inc
Original Assignee
AiSkopy Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AiSkopy Inc filed Critical AiSkopy Inc
Publication of JP2021513435A publication Critical patent/JP2021513435A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Pulmonology (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Business, Economics & Management (AREA)
  • Surgery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

ＩＥＥ画像を表示するディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断するシステム及び方法である。この方法は、内視鏡検査トレーニング画像Ｔ１を収集することと、生成されたセグメンテーションマップから、敵対的ネットワークＡＮにおける生成器ネットワークを用いてリアルなＩＥＥ画像を新たなトレーニング画像サンプルＴ２として自動的に生成することとを含む、ＡＮによって癌領域を有する又は有しないトレーニング画像サンプルをランダムに生成することと、予測ネットワークＬ１ＰＮを用いて、収集されたＴ１及びＴ２から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習することと、予測ネットワークＬ２ＰＮを用いて、レベル２予測結果がＩＥＥ画像の検出された癌領域であることを学習することと、ＡＮを用いずにＬ１ＰＮ及びＬ２ＰＮを用いて、ＩＥＥ画像のレベル１結果及びレベル２結果を予測することとを含む。【選択図】図２

Description

開示されている技術は、内視鏡検査に関し、より詳細には、内視鏡検査によって初期段階胃癌（及び他のＧＩ癌）の早期の診断及び検出に関する。
［関連出願の相互参照］
本出願は、２０１８年２月１２日に出願された米国特許出願第６２／６２９，６００号及び２０１９年２月１１日に出願された米国特許出願第１６／２７３，０１６号に対する優先権を主張し、その内容はどちらも、引用することによりその全体が本明細書の一部をなすものとする。
内視鏡検査によって胃腸（ＧＩ：gastrointestinal）癌を診断する要求が高まってきているが、病変（特に、初期段階癌）を検出することができ見逃すことがない経験を積んだ内視鏡検査医師は限られた数しかいない。したがって、ディープラーニングの進歩によって、正解率／感度／特異度性能を従来の画像特徴解析方法（幾つかの研究では、約５０％〜７０％のレベルにある）よりも大幅に高めている（９５％レベルまで）コンピュータ支援診断は、内視鏡検査を実践して初期段階ＧＩ癌を診断及び検出する医師の支援を容易にすることができる。
既定の画像特徴を用いて初期段階胃癌を診断する従来の画像解析方法は、正解率、感度及び特異度が約５０％〜７０％の範囲でしか動作しないことが分かっている。
本技術のシステム及び方法はそれぞれ、幾つかの態様を有し、それらのいずれの１つも、その望ましい属性を単独で担うものではない。本発明の範囲を限定することなく、幾つかの態様を以下に簡潔に論述する。
本開発技術の１つの態様において、画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断する方法であって、敵対的ネットワーク（ＡＮ）によって、癌領域（複数の場合もある）を有する又は有しないトレーニング画像サンプルをランダムに生成することであって、この生成することは、内視鏡検査トレーニング画像（Ｔ１）を収集することと、トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割することと、トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌ブロックを自動的に生成することを学習することと、トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常ＩＥＥ画像ブロックを自動的に生成することを学習することと、自動的に生成された癌ブロック及び自動的に生成された正常ＩＥＥ画像ブロックに基づいて、白黒画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成することであって、任意の白色ピクセルは癌領域を示し、セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合があることと、生成されたセグメンテーションマップから、ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習することとを含むことと、レベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、収集されたＴ１及びＴ２から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習することであって、Ｔ２はＡＮによって生成されることと、レベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、収集されたＴ１及びＴ２から、レベル２予測結果がＩＥＥ画像の検出された癌領域（複数の場合もある）であることを学習することであって、Ｔ２はＡＮによって生成されることと、ＡＮを用いることなく、Ｌ１ＰＮ及びＬ２ＰＮを用いて、ＩＥＥ画像のレベル１結果及びレベル２結果を予測することとを含む方法がもたらされる。
ＩＥＥ画像は、拡大狭帯域撮像、エンドサイトマイクロスコーピ、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像のうちの少なくとも１つを含むことができる。セグメンテーションマップ（Ｓ１）はグラウンドトゥルースを含むことができる。グラウンドトゥルースは医師によってラベル付けすることができる。方法は、収集された内視鏡検査トレーニング画像に基づいて追加のトレーニング画像を生成することを更に含むことができ、生成することは、収集された内視鏡検査トレーニング画像を回転又は反転させて、１つ以上の拡張されたトレーニング画像を作成することと、収集された内視鏡検査トレーニング画像よりも大きな解像度を有する誘導セグメンテーションマップを準備することと、誘導セグメンテーションマップをランダムにクロッピングして、収集された内視鏡検査トレーニング画像の解像度と等しい解像度を有するサブマップを取得することと、追加のトレーニング画像を生成するためにサブマップを拡張されたトレーニング画像のそれぞれと乗算することとを含む。レベル２予測結果の検出された癌領域（複数の場合もある）はピクセルレベルの解像度にあるものとすることができる。
本開発技術の別の態様において、画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断するシステムであって、敵対的ネットワーク（ＡＮ）によって、癌領域（複数の場合もある）を有する又は有しないトレーニング画像サンプルをランダムに生成する手段であって、内視鏡検査トレーニング画像（Ｔ１）を収集する手段と、トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割する手段と、トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌ブロックを自動的に生成することを学習する手段と、トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常ＩＥＥ画像ブロックを自動的に生成することを学習する手段と、自動的に生成された癌ブロック及び自動的に生成された正常ＩＥＥ画像ブロックに基づいて、白黒画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成する手段であって、任意の白色ピクセルは癌領域を示し、セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合がある、生成する手段と、生成されたセグメンテーションマップから、ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習する手段とを備える、トレーニング画像サンプルをランダムに生成する手段と、レベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、収集されたＴ１及びＴ２から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習する手段であって、Ｔ２はＡＮによって生成される、学習する手段と、レベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、収集されたＴ１及びＴ２から、レベル２予測結果がＩＥＥ画像の検出された癌領域（複数の場合もある）であることを学習する手段であって、Ｔ２はＡＮによって生成される、学習する手段と、ＡＮを用いることなく、Ｌ１ＰＮ及びＬ２ＰＮを用いて、ＩＥＥ画像のレベル１結果及びレベル２結果を予測する手段とを備えるシステムがもたらされる。
ＩＥＥ画像は、拡大狭帯域撮像、エンドサイトマイクロスコーピ、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像のうちの少なくとも１つを含むことができる。セグメンテーションマップ（Ｓ１）はグラウンドトゥルースを含むことができる。グラウンドトゥルースは医師によってラベル付けすることができる。システムは、収集された内視鏡検査トレーニング画像に基づいて追加のトレーニング画像を生成する手段を更に備えることができ、生成する手段は、収集された内視鏡検査トレーニング画像を回転又は反転させて、１つ以上の拡張されたトレーニング画像を作成する手段と、収集された内視鏡検査トレーニング画像よりも大きな解像度を有する誘導セグメンテーションマップを準備する手段と、誘導セグメンテーションマップをランダムにクロッピングして、収集された内視鏡検査トレーニング画像の解像度と等しい解像度を有するサブマップを取得する手段と、追加のトレーニング画像を生成するためにサブマップを拡張されたトレーニング画像のそれぞれと乗算する手段とを備える。レベル２予測結果の検出された癌領域（複数の場合もある）はピクセルレベルの解像度にあるものとすることができる。
本開発技術の別の態様において、画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える胃腸腫瘍又は胃腸病変を診断する内視鏡検査システムにおいて、敵対的ネットワーク（ＡＮ）によって癌領域（複数の場合もある）を有する又は有しないトレーニング画像サンプルをランダムに生成する方法であって、内視鏡検査トレーニング画像（Ｔ１）を準備することと、トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割することと、トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌画像ブロックを自動的に生成することを学習することと、トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常画像ブロックを自動的に生成することを学習することと、自動的に生成された癌画像ブロック及び自動的に生成された正常画像ブロックに基づいて、画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成することと、生成されたセグメンテーションマップから、ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習することとを含む方法がもたらされる。
いずれの白色ピクセルもセグメンテーションマップにおける癌領域を示すことができ、セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合がある。
本開発技術の別の態様において、画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断する方法であって、特徴抽出とその後に続くセグメンテーションとを含むレベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、収集されたトレーニング画像から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習することと、予測ネットワークにフィードする特徴抽出を含むレベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、収集されたトレーニング画像から、レベル２予測結果がＩＥＥ画像の検出された癌領域（複数の場合もある）であることを学習することと、Ｌ１ＰＮ及びＬ２ＰＮを用いてＩＥＥ画像のレベル１結果及びレベル２結果を予測することとを含む方法がもたらされる。
本開発技術の更に別の態様において、処理される放射線画像を受信するように構成された特徴抽出ネットワークと、特徴抽出ネットワークの出力を受信し、癌ローカライゼーション結果を生成するように構成されたセグメンテーションネットワークと、特徴抽出ネットワークの出力を受信し、癌検出結果を生成するように構成された予測ネットワークとを備える、放射線画像を処理するシステムがもたらされる。
本出願は、カラーで作製された少なくとも１つの図面を含む。カラー図面（複数の場合もある）を有する本特許のコピーは、要求及び必要な手数料の支払いに応じて米国特許商標庁によって提供される。
ＡＩ．ＳＫＯＰＹシステムとして知られている画像認識用の人工知能構成要素を備えるコンピュータ支援診断システムの全体的なフレームワークを示すブロック図である。 ＡＩ．ＳＫＯＰＹシステムのトレーニングフェーズを示すブロック図である。 特徴抽出器ネット、セグメンテーションネット、及び予測ネットのネットワークアーキテクチャを示すブロック図である。 敵対的ネットワーク（ＡＮ：adversarial network）のトレーニングフェーズのデータ拡張方法を示すブロック図である。 ＡＮのトレーニングフェーズを示すブロック図である。 生成器ネットワーク及び弁別器ネットワークのネットワークアーキテクチャを示すブロック図である。 レベル１予測及びレベル２予測の双方の試験フェーズを示すブロック図である。 医師注釈付き（physician annotated）癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の画像例である。 医師注釈付き癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の別の画像例である。 医師注釈付き癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の別の画像例である。 医師注釈付き癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の別の画像例である。 医師注釈付き癌エリア出力と対比した癌エリアを特定するレベル２予測ネットワーク出力の更に別の画像例である。
或る特定の例示の実施形態の以下の詳細な説明は、本発明の特定の実施形態の様々な説明を提示する。しかしながら、本発明は、多数の異なる方法で具現化することができる。
本明細書に提示される説明に用いられる術語は、単に本発明の幾つかの特定の実施形態の詳細な説明とともに利用されているだけのものであるので、限定的にも制限的にも解釈されることを意図したものではない。さらに、本発明の実施形態は、幾つかの新規な特徴を含む場合があり、それらの特徴のいずれの１つも、その望ましい属性を単独で担うものではないか、又は、本明細書において説明する本発明の実施に必須のものではない。
関数、アルゴリズム、システム等のデータ関係及びパターンを表すモデルは、入力（入力ベクトルと呼ばれることがある）を受け取り、或る方法で入力に対応する出力（出力ベクトルと呼ばれることがある）を生成することができる。例えば、モデルは、人工ニューラルネットワーク（ＮＮ：neural network）として実施することができる。人工ニューラルネットワークは、動物の生物学的な神経ネットワークと類似した計算実体であるが、コンピューティングデバイスによって実施されるという意味で人工である。ＮＮベースのモデルにおける出力は、フォワードパスを行うことによって得られる。フォワードパスは、モデルのパラメータを表す大きなＮＮ重み行列に、入力特徴ベクトル又は隠れた中間表現に対応するベクトルを乗算することを伴う。音声、手書き、顔等を認識するように設計されたシステム等の認識システムでは、ＮＮベースのモデルは、フォワードパスを介して確率スコアを生成することができる。確率スコアは、入力が特定のラベル、クラス等に対応する確率を示すことができる。
ＮＮのパラメータは、トレーニングと呼ばれるプロセスにおいて設定することができる。例えば、ＮＮベースのモデルは、入力データと、対応する入力データに対するモデルの正しい又は好ましい出力とを含むトレーニングデータを用いてトレーニングすることができる。個々の入力ベクトルの集合は、単一の入力ベクトルの代わりに入力行列を用いることによって同時に処理することができる。モデルが、正しい又は好ましい出力を生成する（すなわち、正しい又は好ましい出力に収束する）まで、ＮＮは入力データを繰り返し処理することができ、ＮＮのパラメータ（例えば、重み行列）を変更することができる。重み値の変更は、バックプロパゲーションと呼ばれるプロセスを通じて行うことができる。バックプロパゲーションは、予想されたモデル出力と取得されたモデル出力との間の差を求めることと、次に、モデルの幾つか又は全てのパラメータの値を変更して、予想されたモデル出力と取得されたモデル出力との間の差を削減する方法を求めることとを含む。
一般的に説明すれば、人工ニューラルネットワークは複数のノード層を有する。人工ニューラルネットワークには、ディープニューラルネットワークが含まれるが、これに限定されるものではない。例示として、ＮＮは、入力層及び出力層、並びに入力層と出力層との間の任意の数の中間層又は隠れ層を備えることができる。個々の層は、任意の数の個別のノードを備えることができる。隣接する層のノードは、互いに接続することができ、隣接する層の様々なノードの間の各接続は、それぞれの重みに関連付けることができる。概念上、ノードは、複数の異なる入力値の関数として出力値を計算する計算ユニットであると考えることができる。入力値は、前層内のノードの出力に、前層内のノードと現在のノードとの間の接続に関連付けられた重みを乗算したものを含むことができる。ＮＮが、入力ベクトルの行列（例えば、トレーニングデータ入力ベクトルのバッチ）の形で入力データを処理するとき、ＮＮは、フォワードパスを実行して出力ベクトルの行列を生成することができる。入力ベクトルはそれぞれ、ＮＮ入力層のｎ個のノードに対応するｎ個の個別のデータ要素又はデータディメンションを含むことができる（ここで、ｎは或る正の整数である）。各データ要素は、浮動小数点数又は整数等の値とすることができる。フォワードパスは、入力ベクトルの行列に、入力層のノードと次層のノードとの間の接続に関連付けられた重みを表す行列を乗算することと、それらの結果に活性化関数を適用することとを含む。このプロセスは、その後、後続の各ＮＮ層について繰り返される。
エンドツーエンドディープラーニング方法論を用いることによって、初期段階胃癌の診断及び癌エリアの検出の性能は、少なくとも１つの研究では、８５％〜９５％の範囲に飛躍的に改善した。
一般に、ディープラーニングは、様々なタスクに関して良好で安定した性能に達するのに大規模なトレーニングセットを必要とする。しかしながら、医用撮像又は新たなデバイスからキャプチャされる撮像等の幾つかの用途では、十分なトレーニングサンプルがない。本開発技術（development）は、指定された物体のローカライゼーション及び検出のための小規模なトレーニングサンプルに関して用いることができる効果的で効率的なディープラーニングフレームワークを提供する。
本開発技術の例示的な使用事例には、内視鏡検査システムにおける胃腸癌の検出及びローカライゼーション、又は、内視鏡検査システムを補う胃腸癌の検出及びローカライゼーションが含まれる。システムは、画像強調内視鏡検査（ＩＥＥ：image enhanced endoscopy）画像（例えば、拡大狭帯域撮像内視鏡検査）に関する早期の胃癌の診断及び検出に的を絞ることができるが、同じワーキングモデル及びプロセスは、他の胃腸の病変／癌、例えば、早期食道癌、バレット食道、及び結腸直腸ポリープ／癌にも同様に適用することができる。
本開発技術の他の追加の臨床応用には、炎症性腸疾患（クローン病、潰瘍性大腸炎）における腸炎（例えば、大腸炎）のモニタリング及び監視が含まれる。
本開発技術は、ＩＥＥのタイプに制限されず、拡大狭帯域撮像、エンドサイトマイクロスコーピ（endocytomicroscopy）、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像を含むＩＥＥに適用可能である。拡大狭帯域撮像は、本明細書では、例示的な使用事例として利用される。
２つの高レベル能力は、以下のとおりである。
１．高性能コンピュータ支援診断システムが、癌領域のローカライゼーション及び検出を提供する。
２．効果的で効率的なディープラーニングフレームワークが、トレーニングに対する小規模なサンプルデータセットの使用を可能にする。
このフレームワークは、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）及び敵対的生成ネットワーク（ＧＡＮ：generative adversarial network）を用いる。システムの目標は、対象領域の検出及びローカライゼーション又はセマンティックセグメンテーションである。既存の技法を以下のリストに提供する。これらの３つの文献のそれぞれは、引用することによって、その全体が本明細書の一部をなすものとする。
１．He, Kaiming他著「Mask r-cnn」（arXiv preprint arXiv:1703.06870 (2017)）。
２．Long, Jonathan、Evan Shelhamer、及びTrevor Darrell著「Fully convolutional networks for semantic segmentation」（Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (2015)）。
３．Shrivastava, Ashish他著「Learning from simulated and unsupervised images through adversarial training」（arXiv preprint arXiv:1612.07828 (2016)）。
或る特定の実施形態では、本開発技術の画像拡張技法は、３つのＧＡＮを含み、コントローラファクタによって制御される指定された同一物の弁別画像を生成することができる。その上、指定された癌領域を有するＭ−ＮＢＩ画像を生成することができる。従来の方法は、指定された癌領域を有するその画像を生成することができない。
以下のものを備える新たなＣＮＮアーキテクチャが設計された。
・全てが３＊３カーネル：従来のＣＮＮは、７＊７カーネル又はそれよりも更に大きなカーネルを最初の１層〜３層に用いて計算複雑度を削減する。しかしながら、そのサイズはこの点で空間解像度を削減し、Ｍ−ＮＢＩにおける特徴は非常に無意味なものとなり、そのため、空間解像度を維持するために、より小さなカーネルサイズが利用される。
・プーリングが用いられず、ストライドされた畳み込みが用いられる：プーリングは空間関係を破壊し、Ｍ−ＮＢＩ画像では、ピクセル間の関係が重要であり、これが、プーリングが用いられない理由である。
・複数の特徴抽出器層（例えば、６つ）、複数のセグメンテーション層（例えば、４つ）、及び複数の予測層（例えば、４つ）：新たなＣＮＮアーキテクチャにおけるこれらの層の数は、幾つかの実験に従って実験的に求められる。或る特定の実施形態では、これらの値は、計算複雑度と性能との間の最良のトレードオフを提供する。
本開発技術の利点は以下のものを含む。
・サンプルの小規模なデータセットしかトレーニングに必要とされない。
・内視鏡検査のリアルタイムのコンピュータ支援診断システム
・高速で正確な癌領域ローカライゼーション
・内視鏡検査システムにおける癌ロケーション検出のための高速で効果的なＣＮＮ
・リアルタイムのコンピュータ支援内視鏡検査診断システム
・小規模なデータセットからのレベル２予測ネットワークのトレーニングフェーズのコンテンツ認識型データ拡張
・癌領域を有する／有しない合成ＮＢＩ画像を生成するのに用いることができるＭ−ＮＢＩ画像合成技法
この開発技術の新たな特徴は以下のとおりである。
１．畳み込みニューラルネットワーク構造は、本開発技術において新しいものである。この特有のＣＮＮ構造（図２、図３及び図５〜図７）は、レベル１出力（癌の有無の全体画像診断）及びレベル２出力（ピクセルレベル癌領域表示）を生成するように設計されている。
２．癌領域を有する／有しないリアルなトレーニングＭ−ＮＢＩ画像の自動生成。
プロセスを実行するステップ及び構成要素のセットの一実施形態
１．敵対的ネットワーク（ＡＮ）によって、癌領域（複数の場合もある）を有する又は有しないトレーニング画像をランダムに生成する。
１．１．トレーニング画像（Ｔ１）を収集する。
１．２．対応するセグメンテーションマップに従って画像を正常ブロック及び癌ブロックに分割する。
１．３．トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ：cancerous generative adversarial network）を用いて癌ブロックを自動的に生成することを学習する。
１．４．トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ：normal generative adversarial network）を用いて正常拡大狭帯域撮像（Ｍ−ＮＢＩ：magnified narrow band imaging）画像ブロックを自動的に生成することを学習する。
１．５．セグメンテーションマップ（白色領域が癌領域を意味するだけの白黒画像）をランダムに生成する。このセグメンテーションマップは、癌が存在しないことを意味する黒色ピクセルのみである場合がある。
１．６．上記１．５に従って、黒色領域は、１．４における結果から満たされるのに対して、白色領域は、１．３における結果から満たされる。
１．７．上記１．６における結果からＡＮにおける生成器ネットワークを用いてリアルなＭ−ＮＢＩ画像を自動的に生成することを学習する。生成された結果は、新たなトレーニングサンプル（Ｔ２）とみなすことができる。
２．Ｌ１ＰＮを用いて、収集されたＴ１及びＴ２からレベル１予測結果（Ｍ−ＮＢＩ画像の癌確率）を学習する。ここで、Ｔ２はＡＮによって生成される。
３．Ｌ２ＰＮを用いて、収集されたＴ１及びＴ２からレベル２予測結果（Ｍ−ＮＢＩ画像の癌領域の検出）を学習する。ここで、Ｔ２はＡＮによって生成される。
４．トレーニングプロセスが行われた後、Ｌ１ＰＮ及びＬ２ＰＮを用いて、Ｍ−ＮＢＩ画像のＬ１結果及びＬ２結果を予測する。このステップでは、ＡＮはもはや必要とされない。
トレーニング画像の処理を行って拡大狭帯域撮像（Ｍ−ＮＢＩ）結果を生成するシステムの３つの最上位レベル構成要素は、以下のとおりである。
Ａ．敵対的ネットワーク（ＡＮ）−これは、Ｌ１ＰＮ及びＬ２ＰＮをトレーニングするのに用いられ、試験フェーズでは用いられない。試験フェーズ＝Ｍ−ＮＢＩ画像の診断結果を生成する。
Ｂ．ＣＮＮのレベル１予測ネットワーク（Ｌ１ＰＮ：Level 1 prediction network）
Ｃ．ＣＮＮのレベル２予測ネットワーク（Ｌ２ＰＮ：Level 2 prediction network）
以下は、ＡＮ、Ｌ１ＰＮ及びＬ２ＰＮの第２レベル構成要素である。
Ａ．敵対的ネットワーク（ＡＮ）
１．トレーニング画像
２．癌ＧＡＮ（ＣＧＡＮ）
３．正常ＧＡＮ（ＮＧＡＮ）
４．生成器ネットワーク
５．弁別器ネットワーク
６．最終ＧＡＮ
７．合成画像
Ｂ．レベル１予測ネットワーク（Ｌ１ＰＮ）
１．Ｌ１ＰＮの損失関数
２．特徴抽出器
３．レベル１予測
Ｃ．レベル２予測ネットワーク（Ｌ２ＰＮ）
１．Ｌ２ＰＮの損失関数
２．特徴抽出器
３．セグメンテーション
４．レベル２セグメンテーションマップ
レベル１予測及びレベル２セグメンテーションマップは、Ｍ−ＮＢＩ画像を生成するのに用いられる。上記ステップのセットにおいて説明したように、リアルなＭ−ＮＢＩ画像は、ＡＮのみを用いて生成される。ＡＮがトレーニングされている間、ＡＮを用いて、任意の正常Ｍ−ＮＢＩ画像及び癌Ｍ−ＮＢＩ画像を合成することができる。これは、トレーニングセットのサイズを拡張するのに用いることができる。大規模なトレーニングセットがあるとき、効果的なＬ１ＰＮ及びＬ２ＰＮをトレーニングすることができる。最後に、Ｌ１ＰＮ及びＬ２ＰＮを用いて、Ｍ−ＮＢＩ画像の癌確率及びそのロケーションを予測することができる。
全結合（ＦＣ：Fully Connected）層及びＳｏｆｔｍａｘ関数をＬ１ＰＮの最後部に配置することができる。これらは、ＣＮＮを良好に機能させる共通のストラテジーである。
図１は、例示的なコンピュータ支援診断システム１００の全体的なフレームワークを示している。ＡＩ．ＳＫＯＰＹシステムと呼ばれる構成要素の人工知能システム１２０は、任意のビデオ信号出力（例えば、ＲＧＢ又はＹＣｂＣｒ）を有する任意の適した既存の内視鏡検査システム１１０から画像入力を受信するのに適用することができる。従来の内視鏡検査システムは、内視鏡検査画像を表示モニタ１６０上に示す。医師は、その場合、内視鏡検査画像を視認し、内視鏡検査システムディスプレイ上の画像を視認することに基づいて、内視鏡検査画像に癌があるか否かについての診断１７０を行うことができる。ＡＩ．ＳＫＯＰＹシステム１２０は、内視鏡検査画像信号（静止フレーム画像又はビデオ）を受信し、この画像信号（静止フレーム画像又はビデオ）のコンテンツを解析することができ、その後、１）癌検出１４０及びその確率と、２）癌領域ローカライゼーション１５０（存在する場合）との２つの情報レベルを有する出力結果をディスプレイ１３０上に生成することができる。
Ｌ１ＰＮ／Ｌ２ＰＮのトレーニングフェーズ
知られているように、ニューラルネットワークは、データセットを用いてトレーニングされると、画像認識機能を提供することができる。図２を参照すると、システム１２０のトレーニングフェーズ２００が記載されている。このフレームワークは３つの主要部分を含む。
１．レベル１予測ネットワーク（Ｌ１ＰＮ）：画像に癌があるか否かを検出する。また、システムは検出結果の信頼度パラメータも提供する。
２．レベル２予測ネットワーク（Ｌ２ＰＮ）：画像内の癌領域（存在する場合）（複数の場合もある）のロケーションをラベル付けする。
３．敵対的ネットワーク（ＡＮ）：癌領域を有する又は有しない合成Ｍ−ＮＢＩ画像を生成するのに用いられる。
システム１２０のトレーニングフェーズの詳細は、以下のとおりに説明される。ラベル２１０ｂを有するトレーニング画像は、特徴抽出器ネットワーク２２０、セグメンテーションネットワーク２３０、予測ネットワーク２４０及び敵対的ネットワーク２８０の４つのネットワークをトレーニングするのに用いられる。まず、トレーニング画像２１０ｂが特徴抽出器ネット２２０（そのアーキテクチャ／構造は図３に示されている）に入力され、或る特定の実施形態では、２５６個の特徴マップが抽出される。各特徴マップは予測ネットワーク２４０に入力され、０〜１の範囲にある２つの応答値が生成される。第１の応答値は、画像における癌の確率Ｐ＋を示し、第２の応答値は、画像における非癌の確率Ｐ−を示す。画像の癌確率Ｐは、以下の式によって求められる。
Figure 2021513435
ネットワーク２２０及び２４０は、予測ネット２４０によって予測されたラベル２５０をグラウンドトゥルース２１０ａ（医師によってラベル付けされる）と比較することによって更新することができる。このブランチはＬ１ＰＮ（ネットワーク２２０〜ネットワーク２４０）と呼ばれる。
図３を参照すると、ネットワークアーキテクチャ３００が示されている。トレーニング画像３１０のセットが、６つの密ブロックによって構築される特徴抽出器ネットワーク３２０［Ｒｅｆ１：Huang、Gao他著「Densely connected convolutional networks」（CVPR, Vol. 1, No. 2, 2017, p. 3）］への入力として提供される。Ｒｅｆ１では、任意の層から全ての後続の層に直接接続を用いる高密度に接続された畳み込みネットワーク（ＤｅｎｓｅＮｅｔ）が提案されている。その結果、第ｌ層は、全ての先行層ｘ０、．．．、ｘｌ−１の特徴マップを入力として受信する。すなわち、ｘｌ＝Ｈｌ（［ｘ０，ｘ１，．．．，ｘｌ−１］）であり、ここで、［ｘ０，ｘ１，．．．，ｘｌ−１］は、層０、．．．、ｌ−１において生成された特徴マップを連結したものを指す。実施を容易にするために、この段落の式におけるＨｌ（・）の複数の入力は、単一のテンソルに連結することができる。画像ｘ０は、Ｌ個の層を有する畳み込みネットワークを通過する。Ｌ個の層のそれぞれは非線形変換Ｈｌ（・）を実施する。ここで、ｌは層のインデックスである。Ｈｌ（・）は、バッチ正規化（ＢＮ：batch normalization）、正規化線形ユニット（ＲｅＬＵ：rectified linear units）、プーリング、又は畳み込み（Ｃｏｎｖ：convolution）等の演算の合成関数とすることができる。第ｌ層の出力はｘｌとして特定される。
ＤｅｎｓｅＮｅｔは、幾つかの密ブロックによって構築される。Ｒｅｆ１の第４頁の表１に述べられているように、通常のＤｅｎｓｅＮｅｔは、少なくとも５８個の密ブロックである。本開発技術では、より効率的な性能を有するように、６つの密ブロックのみが特徴抽出器ネットワークにおいて採用される。このシステムの１つのタスクは、画像に癌があるか否かを特定することである。Ｒｅｆ１に記載されたタスクと比較して、このシステムのタスクは異なっており、したがって、このシステムはそれほど多くの密ブロックを必要としない。
セグメンテーションネットワーク３３０は、特徴抽出器ネットワーク３２０の出力を受信する。セグメンテーションネットワーク３３０は、［Ｒｅｆ２：Long, Jonathan、Evan Shelhamer、及びTrevor Darrell著「Fully convolutional networks for semantic segmentation」（Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2015）］に提案されている完全畳み込みネットワークによって触発されたものであり、畳み込み層は、高密度接続層に置き換えられた最後の層に用いられる［Ｒｅｆ２の第３頁、図２］。セグメンテーションネットワークと完全畳み込みネットワーク（ＦＣＮ：fully convolutional networks）との間の相違は、セグメンテーションネットワークへの入力として特徴抽出器ネットワークが用いられるのに対して、ＦＣＮは、ＡｌｅｘＮｅｔ、Ｖｇｇ１６、又はＧｏｏｇｌｅＮｅｔのネットワークアーキテクチャを最終畳み込み層への入力として用いることである［Ｒｅｆ２の第５頁、表１］。ＡｌｅｘＮｅｔと比較して、ＤｅｎｓｅＮｅｔは、より意味のある特徴表現を提供することができるとともに、セグメンテーション結果においてより高い性能も提供することができる。
図２を再び参照すると、２５６個の特徴マップが、セグメンテーションネットワーク２３０の入力とみなされる（ここで、アーキテクチャは図３を参照することができる）。その場合、セグメンテーションネットワークは、これらの特徴を高解像度セグメンテーション結果にアップサンプリングするのに用いられる。この場合も、特徴抽出器ネットワーク２２０及びセグメンテーションネットワーク２３０は、予測されたセグメンテーションマップ２６０をグラウンドトゥルース２１０ａと比較することによって更新することができる。このブランチは、ネットワーク２２０及びネットワーク２３０を用いるＬ２ＰＮと呼ばれる。Ｌ１ＰＮ及びＬ２ＰＮのトレーニングフェーズの詳細は以下で説明される。
トレーニングフェーズでは、元のトレーニング画像を用いて、既定の損失関数に基づいてＬ１ＰＮ及びＬ２ＰＮの双方がトレーニングされる。その間、トレーニング画像は、タイプコントローラ（ＴＣ：type controller）２９５によって、ＡＮからの生成された画像とランダムに置き換えられる。ＴＣは、生成された画像が癌領域（複数の場合もある）を含むか否かを判断するのに用いられるスカラーである。この場合、ＴＣは０又は１のいずれかである。ＴＣ＝１は、生成された画像が癌領域を含むに違いないことを意味する。ＡＮのトレーニングフェーズは後に説明される。このステップは、トレーニングサンプルの多様性を増大するのに用いられ、小規模なトレーニングセットについて効果的なモデルをトレーニングすることも重要である。その後、特徴抽出器２２０及び予測ネット２４０はトレーニングされる。特徴抽出器ネットワーク及び予測ネットワークにおける最適な重みは、トレーニング処理後に保存される。その後、予測ネットワークにおける全ての重み、及び、特徴抽出器ネットワーク２２０における畳み込み（Ｃｏｎｖ．）１〜Ｃｏｎｖ．５の重みが固定される。その間、セグメンテーションネットワーク２３０における重み及び特徴抽出器ネットワーク２２０におけるＣｏｎｖ．６の重みが、Ｌ２ＰＮにおいて用いられる損失関数によって学習される。最後に、学習された全ての重みはモデルファイルとして保存される。いずれの試験タスクにおいても、システムは、モデルファイルをプリロードして全ての最適な重みを特徴抽出器ネットワーク、セグメンテーションネットワーク、及び予測ネットワークにリストアし、Ｍ−ＮＢＩ画像をＡＩ．ＳＫＯＰＹシステム１２０に供給して、それぞれＬ１結果及びＬ２結果を取得する。
Ｌ１ＰＮのトレーニングフェーズ
Ｌ１ＰＮの損失関数は、任意のラベルごとの損失関数として定義することができる。或る特定の実施形態では、以下のように、交差エントロピーが用いられる。
Figure 2021513435
 上記式において、ｐｉは予測されたラベルであり、ｑｉはＬ１グラウンドトゥルースである（１は癌画像を示し、０は非癌画像を示す）。Ｌ１出力及びそのグラウンドトゥルースはスカラー値であることに留意されたい。このように、損失関数は、予測された結果とそのグラウンドトゥルース（正解）との間の相違を評価するのに用いられ、これは、勾配情報を推論するのに用いることができる。損失関数によって得られる勾配は、特徴抽出器ネットワーク２２０及び予測ネットワーク２４０（図２）における重みを更新するのに用いることができる。更新方法は、標準的な確率勾配降下法（ＳＧＤ：stochastic gradient descent）［Ｒｅｆ４：Kingma, D. P., & Ba, J. L. (2015), Adam: A Method for Stochastic Optimization, International Conference on Learning Representations, 1-13］に基づいている。
Ｌ２ＰＮのトレーニングフェーズ
Ｌ２ＰＮの損失関数は、任意の再構築損失関数として定義することができる。或る特定の実施形態では、以下のように、Ｌ２ノルム距離が、予測されたセグメンテーションマップとそのＬ２グラウンドトゥルースとの間の距離を測定するのに用いられる。
Figure 2021513435
 予測された結果及びそのグラウンドトゥルースは画像タイプであることに留意されたい。Ｌ２ＰＮでも同様に、損失関数２７０（図２）が、標準的なＳＧＤ［Ｒｅｆ４］によって特徴抽出ネットワーク及びセグメンテーションネットワークの重みを更新するのに用いられる。最後に、図２のブロック２２０、２３０及び２４０における重みは、上記の２つの損失関数によって更新することができる。
加えて、効果的なディープラーニングニューラルネットワーク、すなわち、複数のレベルを有するニューラルネットワークは、特に、トレーニング画像の数が相対的に少ないＬ２ＰＮでは、小規模なデータセットを用いてトレーニングすることが困難である可能性がある。したがって、以下のように、この欠点を克服するために、特有のデータ拡張方法が設計及び開発された。
Ｌ２ＰＮのトレーニングフェーズのコンテンツ認識型データ拡張
図４に記載しているように、コンテンツ認識型データ拡張（ＣＤＡ：Content-aware Data Augmentation）方法４００では、任意のトレーニング画像４１０を幾つかのステップによって処理することができる。最初に、標準的なデータ拡張４３０が、上下反転、左右反転、及び９０度回転、１８０度回転、及び２７０度回転を含む、２２４×２２４としてサイズ決めされたトレーニング画像４１０に対して実行される。これによって、元の画像を含む６つの可能な画像が得られる。次に、２０４８×２０４８の解像度を有する誘導セグメンテーションマップ４２０が作成される。ランダムなクロッピング操作４５０が、この誘導セグメンテーションマップ４２０に対して用いられ、２２４×２２４としてサイズ決めされたサブマップ４７０が得られる。次に、画像４７０及び画像４４０が乗算され（４６０）、処理されたトレーニング画像４８０が得られる。このように、各トレーニング画像は、誘導セグメンテーションマップ４２０に従って幾つかの部分にランダムに破損され、トレーニングセットのサイズを拡大する。幾つかの実施形態では、誘導セグメンテーションマップは、任意に変更することができる。
ＡＮのトレーニングフェーズ
敵対的生成ネットワーク（ＧＡＮ）の基本的な考えは、ミニマックス最適化である［Ｒｅｆ３：Goodfellow, Ian他著「Generative adversarial nets」（Advances in neural information processing systems, 2014）］。図５に示す例では、生成器５３０及び５６０は、入力から、弁別器５４０及び５７０を欺くことができる画像を合成することを目的とする。弁別器の主なタスクは、入力画像が合成されているか否かを調べることである。生成器が勝者である場合には、生成された画像をリアリズム画像とみなすことができる。生成器５６０及び弁別器５７０のネットワークアーキテクチャは、図６に生成器６１０及び弁別器６２０として示されている。従来のＧＡＮは、ランダムノイズから任意のリアリズム画像をランダムに生成するのに用いられる［Ｒｅｆ．３］。本開発技術では、癌領域（複数の場合もある）を有する又は有しない合成画像を制御する必要がある。しかしながら、従来のＧＡＮは、合成画像のタイプを指定することができないので、このタスクに用いることができない。本開発技術の新たなＡＮは、図５に示すように、この問題点を解決するのに用いることができる。
図５に示すＡＮには、指定された画像合成タスク用の３つのＧＡＮ（敵対的生成ネットワーク）がある。第１のＧＡＮ及び第２のＧＡＮは、癌画像ブロック又は正常画像ブロックを生成するのに用いられる。この目的のために、トレーニング画像は、癌画像ブロック及び正常画像ブロックにそれぞれ分割される。次に、癌画像ブロック５２０ａを用いて、第１のＧＡＮ（癌ＧＡＮ（ＣＧＡＮ）５３０−ｂｌａｃｋ及び５５０−ｂｌａｃｋと呼ばれる）がトレーニングされ、第１のＧＡＮのパラメータが、以下の標準的なＧＡＮ損失関数によって更新される。
Figure 2021513435
 上記式において、Ｄ１（５５０−ｂｌａｃｋ）は弁別器であり、Ｇ１（５３０−ｂｌａｃｋ）は生成器である。
同様に、正常画像ブロックのＧＡＮモデル（正常ＧＡＮ（ＮＧＡＮ）と呼ばれる）を以下のように同じ方法でトレーニングすることができる。
Figure 2021513435
 上記式において、Ｄ２（５５０−ｂｒｏｗｎ）は弁別器であり、Ｇ２（５３０−ｂｒｏｗｎ）は生成器である。ＮＧＡＮ及びＣＧＡＮにおける構成要素は互いに同じものとすることができることに留意されたい。
ＣＧＡＮ及びＮＧＡＮのモデルがトレーニングされると、生成器ネットワーク５６０は、ランダムに生成されたセグメンテーションマップ５９４に従って、癌画像ブロック及び正常画像ブロックを融合するように適合されている。コントローラファクタ５９６は０又は１にいずれかである。コントローラファクタは、次のように用いることができる。コントローラファクタが１であるとき、癌領域は、セグメンテーションマップにおいて任意の形状及びサイズによってランダムに生成される。コントローラファクタが０であるとき、セグメンテーションマップ５９４は空白画像（すなわち、無癌領域）となる。生成器による合成画像は、弁別器ネットワーク５７０に送信され、この画像が真であるか又は偽であるかが調べられる。弁別器ネットワーク５７０が合成画像を真であるとみなすと、トレーニングプロセスを終了することができる。最後に、最終ＧＡＮ（５６０及び５７０）を以下の式によって更新することができる。
Figure 2021513435
 上記式において、Ｄ３（５７０）は弁別器であり、Ｇ３（５６０）は生成器である。或る特定の実施形態では、このＧＡＮにおける構成要素は、ＮＧＡＮ及びＣＧＡＮと同様に同じものとすることができる。
試験フェーズ
図７に示すように、Ｌ１ＰＮ７５０及びＬ２ＰＮ７６０の試験フェーズ構成７００は、画像７１０、特徴抽出器７２０、セグメンテーション層７３０、及び予測層７４０を備えることができる。Ｍ−ＮＢＩ画像のＬ１予測結果及びＬ２予測結果は、Ｌ１ＰＮ及びＬ２ＰＮに画像を通過させることによって取得することができる。
実験
第１の実験セットには、Ａ（１３０個の画像）、Ｂ（３４３個の画像）及びＣ（ビデオ、３０００個のフレーム）の全部で３つのデータセットがある。Ｔ１：データセットＡ及びＢからの７０個の癌画像及び６０個の正常画像と、Ｔ２：３つのデータセットからの３０個の癌画像及び３０個の正常画像との２つの試験セットがある。結果を表Ｉに列挙する。Ｎｖｉｄｉａ ＧＰＵ Ｔｉｔａｎ Ｘを備えるパーソナルコンピュータでは、画像のランタイムは１０ｍｓであり、フレームレートはほぼ７０フレーム毎秒（ＦＰＳ）である。表ＩはＬ１性能結果を示し、表ＩＩはＬ２性能結果を示す。
Figure 2021513435
Figure 2021513435
第２の実験セットには、Ａ（１３０個の画像）、Ｂ（３４３個の画像）及びＣ（ビデオフレーム、５５６５個の画像）のＬ１試験用の３つのデータセットがある。試験セットは、３０個の正の画像及び３０個の負の画像を含む。表ＩＩＩはＬ１性能結果を示している。Ｌ２試験の場合、Ａ（１３０個の画像）及びＢ（３４３個の画像）の２つのデータセットがある。試験セットは、３０個の正の画像及び３０個の負の画像を含む。表ＩＶはＬ２性能結果を示している。
Ｌ１出力−改善された結果
・３つのデータセット：ビデオフレーム（５５６５個の画像）、セット２（３４３個の画像）、セット１（１３０個の画像）
・トレーニングセット：５９７８個の画像
・試験セット：３０個の正の画像、３０個の負の画像
Figure 2021513435
 ピクセルごとの正解率によるＬ２出力−改善結果
・２つのデータセット：セット２（３４３個の画像）、セット１（１３０個の画像）
・トレーニングセット：４７３個の画像
・試験セット：３０個の正の画像、３０個の負の画像
Figure 2021513435
病院における近年の実験セットでは、試験される１つの構成は、１６ＧＢ ＤＤＲ４ ＲＡＭと、ＧＴＸ１０８０Ｔｉ １１ＧＢグラフィックスカードと、４８０ＧＢ ＳＳＤとともにＩｎｔｅｌ ｉ７−７７００プロセッサを有するＰＣを備える。或る特定の実施形態では、ＨＤＭＩ／ＶＧＡ変換器を用いて、６４０×４８０のシステム解像度を提供した。変更されたＡｌｅｘＮｅｔ（６つの畳み込み層のみ）及びＦＣＮ特徴量に基づく第１バージョンアルゴリズムをこの構成に用いて平均（ＦＰＳ）＝１２．２５を達成した。
別の構成は、Ｎｖｉｄｉａ Ｊｅｔｓｏｎ ＴＸ２モジュールを利用した。このモジュールは、ＣＰＵ複合体としてのデュアルコアＮｖｉｄｉａ Ｄｅｎｖｅｒ２及びクアッドコアＡＲＭ Ｃｏｒｔｅｘ−Ａ５７と、２５６コアＰａｓｃａｌ ＧＰＵと、８ＧＢ ＬＰＤＤＲ４と、３２ＧＢ ｅＭＭＣとを備える。Ｊｅｔｓｏｎ ＴＸ２は、高速で最も電力効率の良い組み込みＡＩコンピューティングデバイスである。変更されたＡｌｅｘＮｅｔ（６つの畳み込み層のみ）及びＦＣＮ特徴量に基づく第２バージョンアルゴリズムをこの構成に用いて平均（ＦＰＳ）＝１０．１５を達成した。この第２バージョンアルゴリズムは、実行複雑度を低減するためにパイソンコード最適化が行われていた点で第１のバージョンと異なっていた。同じＮｖｉｄｉａ Ｊｅｔｓｏｎ ＴＸ２モジュールを利用した第３バージョンアルゴリズムは、６つの密ブロックのスタック、ＦＣＮ特徴及びコンテンツ認識型データ拡張に基づいている。この構成の平均ＦＰＳは８．１である。
代替の実施形態
上記で説明した実施形態の代替形態を次に説明する。或る特定の実施形態では、ＧＡＮは、画像を合成するのに用いることができる任意のＣＮＮに置き換えることができる。或る特定の実施形態では、弁別トレーニングサンプルを生成することができる任意のフレームワークを、前述した実施形態と同様のフレームワークとして扱うことができる。
結論
当業者には、情報及び信号を、様々な異なる技術及び技法のうちの任意のものを用いて表すことができることが分かる。例えば、上記説明全体を通して参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場若しくは磁性粒子、光場若しくは光学粒子、又はそれらの任意の組み合わせによって表すことができる。
当業者には、本明細書に開示された例に関して説明された様々な例示の論理ブロック、モジュール、回路、方法及びアルゴリズムを、電子ハードウェア、コンピュータソフトウェア、又は双方の組み合わせとして実施することができることが更に理解される。ハードウェア及びソフトウェアのこの互換性を明確に示すために、様々な例示の構成要素、ブロック、モジュール、回路、方法及びアルゴリズムが、上記において、それらの機能の点から一般的に説明されている。そのような機能がハードウェアとして実施されるのか又はソフトウェアとして実施されるのかは、特定の用途と、全体的なシステムに課される設計制約とに依存する。当業者は、説明された機能を特定の用途ごとに異なる方法で実施することができるが、そのような実施の決定は、本発明の範囲から逸脱するものと解釈されるべきではない。
本明細書に開示された例に関して説明された様々な例示の論理ブロック、モジュール、及び回路は、本明細書に説明された機能を実行するように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、離散ゲート若しくはトランジスタロジック、離散ハードウェア構成要素、又はそれらの任意の組み合わせを用いて実施又は実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替形態では、このプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械とすることができる。プロセッサは、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰ及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアを伴った１つ以上のマイクロプロセッサの組み合わせ、又は他の任意のそのような構成として実施することもできる。
本明細書に開示された例に関して説明された方法又はアルゴリズムは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、又はそれらの２つの組み合わせにおいて直接具現化することができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、又は現在知られているか若しくは今後利用可能になる他の任意の適した形態のデータ記憶媒体に存在することができる。記憶媒体は、プロセッサが記憶媒体からの情報の読み出し及び記憶媒体への情報の書き込みを行うことができるようにプロセッサに接続することができる。代替形態では、記憶媒体はプロセッサと一体化することができる。プロセッサ及び記憶媒体はＡＳＩＣに存在することができる。
実施形態に応じて、本明細書に説明された方法のうちの任意のものの或る特定の動作、イベント、又は機能は、異なる順序で実行することができ、追加、結合、又は完全に省略することができる（例えば、説明された全ての動作又はイベントが方法の実施に必要であるとは限らない）。その上、或る特定の実施形態では、動作又はイベントは、連続的ではなく同時に実行することができる。
開示された例の上記説明は、当業者が本発明を行い又は用いることを可能にするために提供される。これらの例に対する様々な変更は、当業者に容易に明らかであり、本明細書に定義された一般原理は、本発明の趣旨又は範囲から逸脱することなく、他の例に適用することができる。認識されるように、幾つかの特徴は、他の特徴とは別個に使用又は実施することができるので、本明細書に説明された本発明の或る特定の実施形態は、本明細書に述べた特徴及び利点の全てを提供するとは限らない形で具現化することができる。本明細書に開示された或る特定の発明の範囲は、上記説明ではなく添付の特許請求の範囲によって示される。特許請求の範囲と均等なものの意味及び範囲に含まれる全ての変更は、それらの範囲内に包含される。したがって、本発明は、本明細書に示された例に限定されるように意図されているのではなく、本明細書に開示された原理及び新規な特徴と一致した最も広い範囲を与えられる。
本発明及び従来技術を上回って達成される利点を要約する目的で、本発明の或る特定の目的及び利点が本明細書において上記で説明された。もちろん、必ずしも全てのそのような目的又は利点を本発明のいずれの特定の実施形態によっても達成され得るとは限らないことが理解されるであろう。したがって、例えば、当業者は、本明細書に教示又は示唆され得る他の目的又は利点を必ずしも達成しないが、本明細書に教示又は示唆された１つの利点又は一群の利点を達成又は最大限に活かすように本発明を具現化又は実施することができることを認識する。
これらの実施形態の全ては、本明細書に開示されている本発明の範囲内にあることが意図されている。これらの実施形態及び他の実施形態は、添付図の参照を伴う好ましい実施形態の詳細な説明から当業者に容易に明らかになるが、本発明は、開示されているいずれの特定の好ましい実施形態（複数の場合もある）にも限定されるものではない。

Claims (16)

  1. 画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断する方法であって、
    敵対的ネットワーク（ＡＮ）によって、癌領域を有する又は有しないトレーニング画像サンプルをランダムに生成することであって、該生成することは、
    内視鏡検査トレーニング画像（Ｔ１）を収集することと、
    前記トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割することと、
    前記トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌ブロックを自動的に生成することを学習することと、
    前記トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常ＩＥＥ画像ブロックを自動的に生成することを学習することと、
    前記自動的に生成された癌ブロック及び前記自動的に生成された正常ＩＥＥ画像ブロックに基づいて、白黒画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成することであって、任意の白色ピクセルは癌領域を示し、前記セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合があることと、
    前記生成されたセグメンテーションマップから、前記ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習することと
    を含むことと、
    レベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、前記収集されたＴ１及びＴ２から、レベル１予測結果が前記ＩＥＥ画像の癌確率であることを学習することであって、前記Ｔ２は前記ＡＮによって生成されることと、
    レベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、前記収集されたＴ１及びＴ２から、レベル２予測結果が前記ＩＥＥ画像の検出された癌領域であることを学習することであって、前記Ｔ２は前記ＡＮによって生成されることと、
    前記ＡＮを用いることなく、前記Ｌ１ＰＮ及び前記Ｌ２ＰＮを用いて、前記ＩＥＥ画像の前記レベル１結果及び前記レベル２結果を予測することと
    を含んでなる方法。
  2. 前記ＩＥＥ画像は、拡大狭帯域撮像、エンドサイトマイクロスコーピ、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像のうちの少なくとも１つを含む、請求項１に記載の方法。
  3. 前記セグメンテーションマップ（Ｓ１）はグラウンドトゥルースを含む、請求項１に記載の方法。
  4. 前記グラウンドトゥルースは医師によってラベル付けされる、請求項３に記載の方法。
  5. 前記収集された内視鏡検査トレーニング画像に基づいて追加のトレーニング画像を生成することを更に含み、
    前記生成することは、
    前記収集された内視鏡検査トレーニング画像を回転又は反転させて、１つ以上の拡張されたトレーニング画像を作成することと、
    前記収集された内視鏡検査トレーニング画像よりも大きな解像度を有する誘導セグメンテーションマップを準備することと、
    前記誘導セグメンテーションマップをランダムにクロッピングして、前記収集された内視鏡検査トレーニング画像の前記解像度と等しい解像度を有するサブマップを取得することと、
    追加のトレーニング画像を生成するために前記サブマップを前記拡張されたトレーニング画像のそれぞれと乗算することと
    を含む、請求項１に記載の方法。
  6. 前記レベル２予測結果の前記検出された癌領域はピクセルレベルの解像度にある、請求項１に記載の方法。
  7. 画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断するシステムであって、
    敵対的ネットワーク（ＡＮ）によって、癌領域を有する又は有しないトレーニング画像サンプルをランダムに生成する手段であって、
    内視鏡検査トレーニング画像（Ｔ１）を収集する手段と、
    前記トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割する手段と、
    前記トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌ブロックを自動的に生成することを学習する手段と、
    前記トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常ＩＥＥ画像ブロックを自動的に生成することを学習する手段と、
    前記自動的に生成された癌ブロック及び前記自動的に生成された正常ＩＥＥ画像ブロックに基づいて、白黒画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成する手段であって、任意の白色ピクセルは癌領域を示し、前記セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合がある、生成する手段と、
    前記生成されたセグメンテーションマップから、前記ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習する手段と
    を備える、トレーニング画像サンプルをランダムに生成する手段と、
    レベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、前記収集されたＴ１及びＴ２から、レベル１予測結果が前記ＩＥＥ画像の癌確率であることを学習する手段であって、前記Ｔ２は前記ＡＮによって生成される、学習する手段と、
    レベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、前記収集されたＴ１及びＴ２から、レベル２予測結果が前記ＩＥＥ画像の検出された癌領域であることを学習する手段であって、前記Ｔ２は前記ＡＮによって生成される、学習する手段と、
    前記ＡＮを用いることなく、前記Ｌ１ＰＮ及び前記Ｌ２ＰＮを用いて、前記ＩＥＥ画像の前記レベル１結果及び前記レベル２結果を予測する手段と
    を備えてなるシステム。
  8. 前記ＩＥＥ画像は、拡大狭帯域撮像、エンドサイトマイクロスコーピ、ｉ−ＳＣＡＮ、フレキシブルスペクトル撮像カラー強調、青色レーザ撮像、及びブライトレーザ撮像のうちの少なくとも１つを含む、請求項７に記載のシステム。
  9. 前記セグメンテーションマップ（Ｓ１）はグラウンドトゥルースを含む、請求項７に記載のシステム。
  10. 前記グラウンドトゥルースは医師によってラベル付けされる、請求項９に記載のシステム。
  11. 前記収集された内視鏡検査トレーニング画像に基づいて追加のトレーニング画像を生成する手段を更に備え、
    前記生成する手段は、
    前記収集された内視鏡検査トレーニング画像を回転又は反転させて、１つ以上の拡張されたトレーニング画像を作成する手段と、
    前記収集された内視鏡検査トレーニング画像よりも大きな解像度を有する誘導セグメンテーションマップを準備する手段と、
    前記誘導セグメンテーションマップをランダムにクロッピングして、前記収集された内視鏡検査トレーニング画像の前記解像度と等しい解像度を有するサブマップを取得する手段と、
    追加のトレーニング画像を生成するために前記サブマップを前記拡張されたトレーニング画像のそれぞれと乗算する手段と
    を備えてなる、請求項７に記載のシステム。
  12. 前記レベル２予測結果の前記検出された癌領域はピクセルレベルの解像度にある、請求項７に記載のシステム。
  13. 画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える胃腸腫瘍又は胃腸病変を診断する内視鏡検査システムにおいて、敵対的ネットワーク（ＡＮ）によって癌領域を有する又は有しないトレーニング画像サンプルをランダムに生成する方法であって、
    内視鏡検査トレーニング画像（Ｔ１）を準備することと、
    前記トレーニング画像を対応するセグメンテーションマップ（Ｓ１）に従ってトレーニング正常ブロック及びトレーニング癌ブロックに分割することと、
    前記トレーニング癌ブロックから癌敵対的生成ネットワーク（ＣＧＡＮ）を用いて癌画像ブロックを自動的に生成することを学習することと、
    前記トレーニング正常ブロックから正常敵対的生成ネットワーク（ＮＧＡＮ）を用いて正常画像ブロックを自動的に生成することを学習することと、
    前記自動的に生成された癌画像ブロック及び前記自動的に生成された正常画像ブロックに基づいて、画像を含むセグメンテーションマップ（Ｓ２）をランダムに生成することと、
    前記生成されたセグメンテーションマップから、前記ＡＮにおける生成器ネットワークを用いて、新たなトレーニング画像サンプル（Ｔ２）としてリアルなＩＥＥ画像を自動的に生成することを学習することと
    を含んでなる方法。
  14. いずれの白色ピクセルも前記セグメンテーションマップにおける癌領域を示し、前記セグメンテーションマップは、癌がないことを示す黒色ピクセルのみである場合がある、請求項１３に記載の方法。
  15. 画像強調内視鏡検査（ＩＥＥ）画像を表示する内視鏡検査システムディスプレイを備える内視鏡検査システムにおいて胃腸腫瘍又は胃腸病変を診断する方法であって、
    特徴抽出とその後に続くセグメンテーションとを含むレベル１予測ネットワーク（Ｌ１ＰＮ）を用いて、収集されたトレーニング画像から、レベル１予測結果がＩＥＥ画像の癌確率であることを学習することと、
    予測ネットワークにフィードする特徴抽出を含むレベル２予測ネットワーク（Ｌ２ＰＮ）を用いて、前記収集されたトレーニング画像から、レベル２予測結果が前記ＩＥＥ画像の検出された癌領域であることを学習することと、
    前記Ｌ１ＰＮ及び前記Ｌ２ＰＮを用いて前記ＩＥＥ画像の前記レベル１結果及び前記レベル２結果を予測することと
    を含んでなる方法。
  16. 処理される放射線画像を受信するように構成された特徴抽出ネットワークと、
    前記特徴抽出ネットワークの出力を受信し、癌ローカライゼーション結果を生成するように構成されたセグメンテーションネットワークと、
    前記特徴抽出ネットワークの出力を受信し、癌検出結果を生成するように構成された予測ネットワークと
    を備えてなる、放射線画像を処理するシステム。
JP2020564808A 2018-02-12 2019-02-12 胃腸腫瘍を診断するシステム及び方法 Pending JP2021513435A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862629600P 2018-02-12 2018-02-12
US62/629,600 2018-02-12
US16/273,016 2019-02-11
US16/273,016 US11011275B2 (en) 2018-02-12 2019-02-11 System and method for diagnosing gastrointestinal neoplasm
PCT/US2019/017668 WO2019157508A1 (en) 2018-02-12 2019-02-12 System and method for diagnosing gastrointestinal neoplasm

Publications (1)

Publication Number Publication Date
JP2021513435A true JP2021513435A (ja) 2021-05-27

Family

ID=67541069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020564808A Pending JP2021513435A (ja) 2018-02-12 2019-02-12 胃腸腫瘍を診断するシステム及び方法

Country Status (6)

Country Link
US (1) US11011275B2 (ja)
EP (1) EP3753006A1 (ja)
JP (1) JP2021513435A (ja)
CN (1) CN112041912A (ja)
TW (1) TWI823897B (ja)
WO (1) WO2019157508A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734211B (zh) * 2018-05-17 2019-12-24 腾讯科技（深圳）有限公司 图像处理的方法和装置
WO2019241155A1 (en) * 2018-06-11 2019-12-19 Arterys Inc. Simulating abnormalities in medical images with generative adversarial networks
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11100633B2 (en) * 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US10902238B2 (en) * 2018-11-28 2021-01-26 Toyota Research Institute, Inc. Systems and methods for predicting semantics of a particle using semantic segmentation
KR102034248B1 (ko) * 2019-04-19 2019-10-18 주식회사 루닛 GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템
AU2020327651A1 (en) * 2019-08-13 2022-03-03 University Of Hertfordshire Higher Education Corporation Predicting visible/infrared band images using radar reflectance/backscatter images of a terrestrial region
TWI723547B (zh) * 2019-09-19 2021-04-01 宏碁股份有限公司 風格移轉的方法及其電腦程式產品
CN110852332B (zh) * 2019-10-29 2020-12-01 腾讯科技（深圳）有限公司 训练样本的生成方法、装置、存储介质及电子设备
CN110827297A (zh) * 2019-11-04 2020-02-21 中国科学院自动化研究所 基于改进的条件生成对抗网络的绝缘子分割方法
TWI719713B (zh) * 2019-11-14 2021-02-21 緯創資通股份有限公司 物件偵測方法、電子裝置與物件偵測系統
CN111047582A (zh) * 2019-12-17 2020-04-21 山东大学齐鲁医院 基于深度学习的小肠镜下克罗恩病辅助诊断系统
CN111341438B (zh) * 2020-02-25 2023-04-28 中国科学技术大学 图像处理方法、装置、电子设备及介质
CN111462048A (zh) * 2020-03-09 2020-07-28 平安科技（深圳）有限公司 多标签多示例的图像检测方法、装置、设备及存储介质
CN111488911B (zh) * 2020-03-15 2022-04-19 北京理工大学 基于Mask R-CNN与GAN的图像实体抽取方法
CN111311614B (zh) * 2020-03-27 2021-10-29 西安电子科技大学 基于分割网络和对抗网络的三维点云语义分割方法
CN111524580B (zh) * 2020-04-13 2024-04-19 吴刚 一种基于神经网络的病毒筛查与防疫系统及方法
CN111488865B (zh) 2020-06-28 2020-10-27 腾讯科技（深圳）有限公司 图像优化方法、装置、计算机存储介质以及电子设备
CN111967930A (zh) * 2020-07-10 2020-11-20 西安工程大学 一种基于多网络融合的服装风格识别推荐方法
WO2022076516A1 (en) * 2020-10-09 2022-04-14 The Trustees Of Columbia University In The City Of New York Adaptable automated interpretation of rapid diagnostic tests using self-supervised learning and few-shot learning
CN112837338B (zh) * 2021-01-12 2022-06-21 浙江大学 一种基于生成对抗网络的半监督医学图像分割方法
CN112426119B (zh) * 2021-01-26 2021-04-13 上海孚慈医疗科技有限公司 一种内窥镜筛查处理方法和装置
CN112885464B (zh) * 2021-03-12 2022-10-04 华东师范大学 一种基于Att-Res2-CE-Net的鼻内部疾病实时辅助诊疗系统
CN113159047B (zh) * 2021-04-16 2024-02-06 南通大学 一种基于cgan图像扩增的变电设备红外图像温度值识别方法
CN113052865B (zh) * 2021-04-16 2023-12-19 南通大学 一种基于图像相似度的输电线路小样本温度图像扩增方法
CN114391792B (zh) * 2021-09-13 2023-02-24 南京诺源医疗器械有限公司 基于窄带成像的肿瘤预测方法、装置及成像内镜
TWI830161B (zh) * 2022-02-25 2024-01-21 國立陽明交通大學 腦部腫瘤種類自動判別系統、其伺服計算機裝置及計算機可讀取的儲存媒體
CN116327103B (zh) * 2023-05-30 2023-07-21 北京大学第三医院（北京大学第三临床医学院） 一种基于深度学习的大视角喉镜

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091782A (ja) * 1996-09-10 1998-04-10 Olympus Optical Co Ltd 濃淡画像用特定部位抽出方法
JP2011135983A (ja) * 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
WO2018008593A1 (ja) * 2016-07-04 2018-01-11 日本電気株式会社 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7461048B2 (en) * 2003-07-21 2008-12-02 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
TW201000074A (en) * 2008-06-18 2010-01-01 Qi-Wen Xie Pathologic detecting system by using the detection of perspective image of breast and the method thereof
WO2013091186A1 (zh) * 2011-12-21 2013-06-27 中国科学院自动化研究所 多参数三维磁共振图像脑肿瘤分割方法
WO2014152919A1 (en) * 2013-03-14 2014-09-25 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona For And On Behalf Of Arizona State University Kernel sparse models for automated tumor segmentation
CN106339591B (zh) * 2016-08-25 2019-04-02 汤一平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统
US10679352B2 (en) * 2016-11-07 2020-06-09 Institute Of Automation, Chinese Academy Of Sciences Method for automatic segmentation of brain tumors merging full convolution neural networks with conditional random fields
US10575774B2 (en) * 2017-02-27 2020-03-03 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial radiomics
US10699412B2 (en) * 2017-03-23 2020-06-30 Petuum Inc. Structure correcting adversarial network for chest X-rays organ segmentation
US20190042826A1 (en) * 2017-08-04 2019-02-07 Oregon Health & Science University Automatic nuclei segmentation in histopathology images
JP7076698B2 (ja) * 2017-11-17 2022-05-30 国立研究開発法人国立がん研究センター 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
CN109242844B (zh) * 2018-09-04 2021-08-06 青岛大学附属医院 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091782A (ja) * 1996-09-10 1998-04-10 Olympus Optical Co Ltd 濃淡画像用特定部位抽出方法
JP2011135983A (ja) * 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
WO2018008593A1 (ja) * 2016-07-04 2018-01-11 日本電気株式会社 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LE HOU, ET AL.: "Unsupervised Histopathology Image Synthesis", AEXIV, JPN6023001516, 2017, ISSN: 0004968823 *
MAAYAN FRID-ADAR, ET AL.: "SYNTHETIC DATA AUGMENTATION USING GAN FOR IMPROVED LIVER LESION CLASSIFICATION", ARXIV, JPN6023001515, 2018, ISSN: 0004968822 *

Also Published As

Publication number Publication date
US20190252073A1 (en) 2019-08-15
TWI823897B (zh) 2023-12-01
US11011275B2 (en) 2021-05-18
WO2019157508A1 (en) 2019-08-15
EP3753006A1 (en) 2020-12-23
CN112041912A (zh) 2020-12-04
TW201941217A (zh) 2019-10-16

Similar Documents

Publication Publication Date Title
JP2021513435A (ja) 胃腸腫瘍を診断するシステム及び方法
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
Yap et al. Deep learning in diabetic foot ulcers detection: A comprehensive evaluation
Wang et al. Automatically discriminating and localizing COVID-19 from community-acquired pneumonia on chest X-rays
Altaf et al. Going deep in medical image analysis: concepts, methods, challenges, and future directions
Gottlieb et al. Central reading of ulcerative colitis clinical trial videos using neural networks
Sun et al. Colorectal polyp segmentation by U-Net with dilation convolution
Zhou et al. Cross-level feature aggregation network for polyp segmentation
Liu et al. Detection and diagnosis of colitis on computed tomography using deep convolutional neural networks
Zhu et al. A 3d coarse-to-fine framework for automatic pancreas segmentation
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
Taş et al. Super resolution convolutional neural network based pre-processing for automatic polyp detection in colonoscopy images
CN113129293A (zh) 医学图像分类方法、装置、计算机设备和存储介质
Nizamani et al. Advance Brain Tumor segmentation using feature fusion methods with deep U-Net model with CNN for MRI data
Ma et al. Deep learning for classification and localization of early gastric cancer in endoscopic images
Mahmood et al. Multimodal densenet
Fu et al. Deep supervision feature refinement attention network for medical image segmentation
Wang et al. A novel automatic acne detection and severity quantification scheme using deep learning
CN116958535B (zh) 一种基于多尺度残差推理的息肉分割系统及方法
Maram et al. Brain tumour detection on brats 2020 using u-net
Galdran et al. A hierarchical multi-task approach to gastrointestinal image analysis
Mirza et al. Computer Aided Diagnosis for Gastrointestinal Cancer Classification using Hybrid Rice Optimization with Deep Learning
Waseem Sabir et al. FibroVit—Vision transformer-based framework for detection and classification of pulmonary fibrosis from chest CT images
Singh et al. Counterfactual explainable gastrointestinal and colonoscopy image segmentation
CN113096132A (zh) 图像处理的方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230815