JP2022549051A - ディープラーニングモデルを用いた画像診断装置及びその方法 - Google Patents

ディープラーニングモデルを用いた画像診断装置及びその方法 Download PDF

Info

Publication number
JP2022549051A
JP2022549051A JP2021578265A JP2021578265A JP2022549051A JP 2022549051 A JP2022549051 A JP 2022549051A JP 2021578265 A JP2021578265 A JP 2021578265A JP 2021578265 A JP2021578265 A JP 2021578265A JP 2022549051 A JP2022549051 A JP 2022549051A
Authority
JP
Japan
Prior art keywords
deep learning
learning model
image
normal
diagnostic imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021578265A
Other languages
English (en)
Other versions
JP7304594B2 (ja
Inventor
ヨン イ，ムン
ジン パク，ヨン
ギ チュン，ジョン
シン コ，ヨン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seegene Medical Foundation
Original Assignee
Seegene Medical Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seegene Medical Foundation filed Critical Seegene Medical Foundation
Publication of JP2022549051A publication Critical patent/JP2022549051A/ja
Application granted granted Critical
Publication of JP7304594B2 publication Critical patent/JP7304594B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)

Abstract

入力された医療画像から抽出された画像に対して正常であるのに異常として判断する確率分布及び異常であるのに正常として判断する確率分布に対して個別の加重値を付与した加重損失関数を用いた、学習されたディープラーニングモデルを用いて、入力された医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する、ディープラーニングモデルを用いた画像診断装置及びその方法を開示する。【選択図】 図１

Description

本明細書は、画像に含まれた組織に対して疾病を診断する、ディープラーニングモデルを用いた画像診断装置及び方法を提供する。
一般に、画像診断装置は、医師の診断を助けるために、医療画像からコンピュータを用いて自動で疾病の有無を判別する技術である。
一般の画像診断装置は、ディープラーニングモデルを適用して疾病の有無に対する精度を上げることに注力しているが、疾病の有無に対する精度が上がっても実質的に医師の診断には役立たないのが現状である。
本実施形態は、画像診断の特異度を上げる或いは画像診断の感度を上げるディープラーニングモデルを用いた画像診断装置及びその方法を提供することができる。
また、本実施形態は、疾病に対する治療時期の遅れ又は逃しにより患者に致命的な問題を引き起こす画像診断エラーを最小化する、ディープラーニングモデルを用いた画像診断装置及びその方法を提供することができる。
一側面において、本実施形態は、入力された医療画像から抽出された画像に対して正常であるのに異常として判断する確率分布及び異常であるのに正常として判断する確率分布に対して個別の加重値を付与した加重損失関数を用いた、学習されたディープラーニングモデルを用いて、入力された医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する、ディープラーニングモデルを用いた画像診断装置及びその方法を提供することができる。
他の側面において、本実施形態は、人体の組織を含む医療画像が入力される画像入力部、入力された医療画像から抽出された画像に対して正常であるのに異常として判断する確率分布及び異常であるのに正常として判断する確率分布に対して個別の加重値を付与した加重損失関数を用いた、学習されたディープラーニングモデルを用いて、入力された医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する分類部、及び分類部で分類した結果を出力する結果出力部を含む、ディープラーニングモデルを用いた画像診断装置を提供することができる。
さらに他の側面において、本実施形態は、人体の組織を含む医療画像が入力される画像入力段階、入力された医療画像から抽出された画像に対して正常であるのに異常として判断する確率分布及び異常であるのに正常として判断する確率分布に対して個別の加重値を付与した加重損失関数を用いた、学習されたディープラーニングモデルを用いて、入力された医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する分類段階、及び分類段階で分類した結果を出力する結果出力段階を含む、ディープラーニングモデルを用いた画像診断方法を提供することができる。
本実施形態に係るディープラーニングモデルを用いた画像診断装置及びその方法は、画像診断の特異度を上げる又は画像診断の感度を上げることができる。
また本実施形態に係るディープラーニングモデルを用いた画像診断装置及びその方法は、疾病に対する治療時期の遅れ又は逃しにより患者に致命的な問題を引き起こす画像診断エラーを最小化することができる。
本発明の一実施形態に係るディープラーニングモデルを用いる画像診断装置の概念図である。 図１における分類部の概念図である。 図１における分類部で用いるディープラーニングモデルの構成図である。 図１における分類部で利用するディープラーニングモデルにドロップアウト技術を適用した場合と適用していない場合の、全ノードの連結状態を示す図である。 図１における分類部で利用するディープラーニングモデルにドロップアウト技術を適用した場合と適用していない場合の、全ノードの連結状態を示す図である。 本発明の他の実施形態に係るディープラーニングモデルを用いる画像診断装置の概念図である。 本発明のさらに他の実施形態に係るディープラーニングモデルを用いた画像診断方法のフローチャートである。 実施例３による感度（ｓｅｎｓｉｔｉｖｉｔｙ）、特異度（ｓｐｅｃｉｆｉｃｉｔｙ）、精度（ａｃｃｕｒａｃｙ）を相対的に示す図である。 実施例３による感度（ｓｅｎｓｉｔｉｖｉｔｙ）、特異度（ｓｐｅｃｉｆｉｃｉｔｙ）、精度（ａｃｃｕｒａｃｙ）を相対的に示す図である。 本発明のさらに他の実施形態に係る画像分類装置の概念図である。
以下、本開示の一部の実施形態を、例示的な図面を参照して詳細に説明する。各図における構成要素に参照符号を付加するとき、同一の構成要素には、たとえ異なる図面上に表示されていても、可能な限り同一の符号を付してよい。また、本実施形態を説明するに当たって、関連する公知構成又は機能についての具体的な説明が、本技術思想の要旨を曖昧にし得ると判断される場合には、その詳細な説明は省略してもよい。本明細書上に言及されている「含む」、「有する」、「からなる」などは、「～のみ」が使用されない限り、他の部分が追加されてもよい。構成要素を単数で表現した場合に、特に明示的な記載事項がない限り、複数を含む場合を含むことができる。
また、本開示における構成要素の説明において、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などの用語を使ってもよい。かかる用語は、その構成要素を他の構成要素と区別するだけのもので、その用語によって当該構成要素の本質、順番、順序又は数などが限定されない。
構成要素の位置関係に関する説明において、２つ以上の構成要素が「連結」、「結合」又は「接続」などされると記載された場合、２つ以上の構成要素が直接に「連結」、「結合」又は「接続」されてもよく、２つ以上の構成要素が別の構成要素をさらに「介在」して「連結」、「結合」又は「接続」されてもよいと理解されるべきであろう。ここで、別の構成要素は、互いに「連結」、「結合」又は「接続」される２つ以上の構成要素の一つ以上に含まれてもよい。
構成要素、又は動作方法や製作方法などに関連した時間的流れ関係に関する説明において、例えば、「～後に」、「～に続いて」、「～次に」、「～前に」などで時間的先後関係又は流れ的先後関係が説明される場合に、「直ちに」又は「直接」が使われない限り、連続していない場合も含むことができる。
一方、構成要素に対する数値又はその対応情報（例えば、レベルなど）が言及された場合に、特に明示的な記載がなくても、数値又はその対応情報は、各種要因（例えば、工程上の要因、内部又は外部の衝撃、ノイズなど）によって発生し得る誤差範囲を含むものと解釈されてよい。
本発明の詳細な説明及び請求項を通じて、「学習」或いは「ラーニング」は、手順に従うコンピューティング（ｃｏｍｐｕｔｉｎｇ）によって機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を行うことを表す言葉で、人間の教育活動のような精神的作用を表すように意図されたものでないということが、通常の技術者には理解できよう。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
図１は、本発明の一実施形態に係るディープラーニングモデルを用いる画像診断装置の概念図である。図２は、図１における分類部の概念図である。
図１を参照すると、本発明の一実施形態に係るディープラーニングモデルを用いる画像診断装置１０は、画像が入力される画像入力部１２と、個別の加重値を付与した加重損失関数を用いた、学習されたディープラーニングモデルで画像を分類する分類部１４、分類部１４で分類した結果を出力する結果出力部１６を含む。
画像入力部１２は、生物の組織、例えば、人体の組織を含む医療画像が入力されてよい。例えば、画像入力部１２は、人体の組織に対して医療画像を撮影し、撮影された画像を保存する医療画像システムから、医療画像を受信することができる。
医療画像は、人体の組織、例えば、肝臓、胃、心臓、小腸、大腸などであってよい。また、疾病は、癌、炎症、骨折などであってよい。本明細書では、医療画像は人体の大腸から撮影した画像であり、疾病は大腸癌であるとして説明するが、本発明はこれに制限されない。
本明細書において、ディープラーニングモデル（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）は、人工ニューラルネットワークを多層レイヤに積んだ形態であってよい。すなわち、ディープラーニングモデル（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）は、多層のネットワークからなる深層ニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）で多量のデータを学習させることによってそれぞれの画像の画像を自動で学習し、これにより、目的関数、すなわち、予測精度のエラー（ｅｒｒｏｒ）を最小化させる方法でネットワークを学習させていく形態である。
本明細書において、ディープラーニングモデル（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＤＨＮ（Ｄｅｅｐ Ｈｉｅｒａｃｈｉｃａｌ Ｎｅｔｗｏｒｋ）、ＣＤＢＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔｗｏｒｋ）、ＤＤＮ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｄｅｅｐ Ｎｅｔｗｏｒｋ）などを利用できるが、現在又は将来の様々なディープラーニングモデルを利用してもよい。本明細書ではＣＮＮベースディープラーニングモデルを利用するとして説明するが、本発明は、これに制限されず、現在又は将来の様々なディープラーニングモデルを利用してもよい。
フレームワークは、ディープラーニングモデルを開発する際に共通に用いられる機能をあらかじめ作ってライブラリー形態で提供し、オペレーティングシステムのレベルより下のシステムソフトウェア又はハードウェアプラットホームをうまく使用できるようにする役割を担う。本実施形態において、ディープラーニングフレームワークは、現在公開されている又は将来公開されるいかなるフレームワークを用いてディープラーニングモデルを開発してもよい。
一般に、医学において、特に診断検査医学又は予防医学において、画像診断の尺度として、精度（ａｃｃｕｒａｃｙ）、感度（ｓｅｎｓｉｖｉｔｙ）、特異度（ｓｐｅｆｉｃｉｔｙ）などの概念が重要である。
すなわち、表１のように、検査結果が陽性であり、実際に疾病がある場合を真陽性（ｔｒｕｅ ｐｏｓｉｔｉｖｅ）、実際に疾病がない場合を偽陽性（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）という。検査結果が陰性であり、実際に疾病がある場合を偽陰性（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）、実際に疾病がない場合を真陰性（ｔｒｕｅ ｎｅｇａｔｉｖｅ）という。偽陽性と偽陰性はそれぞれ診断結果のエラーであり、前者をタイプＩエラー（ｔｙｐｅ Ｉ ｅｒｒｏｒ）、後者をタイプＩＩエラー（ｔｙｐｅ ＩＩ ｅｒｒｏｒ）という。
Figure 2022549051000002
このとき、精度、特異度、及び感度を式で表現すると、式１～３の通りである。
Figure 2022549051000003
Figure 2022549051000004
Figure 2022549051000005
一般に、ディープラーニングモデルは、画像診断のために当該組織に病気があるか否かを分類するのに用いられてよい。一般のディープラーニングモデルは、画像診断のために当該組織に病気があるか否か分類するときに、画像診断の精度のみを上げることに焦点を当てている。
画像診断の精度を上げることは、前述のタイプＩエラーとタイプＩＩエラーを同時に最小化することである。タイプＩエラーを最小化することは、特異度を上げることであり、タイプＩＩエラーを最小化することは、感度を上げることである。
一般のディープラーニングモデルは、前述したように、画像診断の精度のみを上げることに焦点を当てているため、画像診断の感度を上げることに焦点を当てる又は画像診断の特異度を上げることに焦点を当てることができなかった。
分類部１４は、画像診断の感度を上げることに焦点を当てた又は画像診断の特異度を上げることに焦点を当てた加重損失関数ベースのディープラーニングモデルを用いて画像診断を行う。
特に、画像診断検査において患者の治療のためには、偽陽性であるタイプＩエラーよりも偽陰性であるタイプＩＩエラーを最小化することが遥かに重要であることがある。なぜなら、画像診断検査から疾病がないとの画像診断結果を得たが、実際に疾病がある患者は、その疾病に対する治療時期を延ばしたり見失ったりしてしまい、致命的な問題を引き起こすことがあり得る。
例えば、分類部１４は、画像診断の感度を上げることに焦点を当てた加重損失関数ベースのディープラーニングモデルを用いて画像診断を行うことができる。
図２を参照すると、分類部１４は、個別の加重値を付与した加重損失関数（ｗｅｉｇｈｔ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を用いた、学習されたディープラーニングモデル（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）を用いて、入力された医療画像に含まれた組織に対して疾病の正常（ｎｏｒｍａｌ）及び異常（ａｂｎｏｒｍａｌ）のいずれか一つに分類する。
一般に、ディープラーニングモデルの目標は、人工ニューラルネットワークの形をしたモデルを用いて入力に対するある確率的な予測をすることであり、この予測が実際値（ｇｒｏｕｎｄ－ｔｒｕｔｈ）確率と極力類似するようにモデルパラメータを調整することである。例えば、実際値確率はｙ＝（１．０，０．０）であるが、ディープラーニングモデルの予測がＹ＝（０．４，０．６）であれば、モデルパラメータは、Ｙがもう少しｙに「近い」値を有し得るように調整される必要がある。ここで、「近い」’ことを判断する尺度、言い換えると、異なるかを判断する方法が必要とされる。そのために、ディープラーニングの分野で損失関数を定義している。例えば、ディープラーニングの分野において、式４のように様々な損失関数が用いられてよい。
Figure 2022549051000006
式４で、Ｌ（ａｂｎｏｒｍａｌ ｜ ｎｏｒｍａｌ）は、正常であるのに異常として判断する確率分布である。Ｌ（ｎｏｒｍａｌ ｜ ａｂｎｏｒｍａｌ）は、異常であるのに正常として判断する確率分布である。
前述したように、分類部１４は、画像診断の特異度を上げることに焦点を当てた又は画像診断の精度を上げることに焦点を当てた加重損失関数ベースのディープラーニングモデルを用いて画像診断を行う。
すなわち、分類部１４に利用される損失関数は、正常であるのに異常として判断する確率分布（Ｌ（ａｂｎｏｒｍａｌ ｜ ｎｏｒｍａｌ））、及び異常であるのに正常として判断する確率分布Ｌ（ｎｏｒｍａｌ ｜ ａｂｎｏｒｍａｌ）に対して個別の加重値を付与した加重損失関数（ｗｅｉｇｈｔｅｄ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）であってよい。
言い換えると、分類部１４に利用される加重損失関数（ｗｅｉｇｈｔ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）は、式５のように、入力された医療画像から抽出された画像に対して正常であるのに異常として判断する確率分布及び異常であるのに正常として判断する確率分布に対して個別の加重値（Ｗ１、Ｗ２、Ｗ１≠Ｗ２）を付与した加重損失関数であってよい。
Figure 2022549051000007
式５で、Ｗ１は、正常であるのに異常として判断する確率分布に付与した第１加重値である。Ｗ２は異常であるのに正常として判断する確率分布に付与した第２加重値である。Ｗ１、Ｗ２は、０より大きい実数である。
特に、一般に、ディープラーニングの分野における分類問題では、次式６のようなクロスエントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）を通常使用する。
Figure 2022549051000008
Figure 2022549051000009
式６のクロスエントロピー（ｃｒｏｓｓ ｅｎｔｒｏｐｙ）を式５の加重損失関数に適用すれば、式７のように整理できる。
Figure 2022549051000010
Figure 2022549051000011
前述したように、診断検査において、患者治療のためには、偽陽性であるタイプＩエラーよりも偽陰性であるタイプＩＩエラーを最小化することが遥かに重要であることがある。
画像診断の精度を上げることに焦点を当てるために、加重損失関数（ｗｅｉｇｈｔ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）は、異常であるのに正常として判断する確率分布に付与した第２加重値Ｗ２が、正常であるのに異常として判断する確率分布に付与した第１加重値Ｗ１よりも大きくてよい（Ｗ１＜Ｗ２）。
計算を容易にするために、第１加重値Ｗ１と第２加重値Ｗ２は、自然数であってよい。例えば、第１加重値Ｗ１は１で、第２加重値Ｗ２が１よりも大きい自然数でよい。
図３は、図１における分類部で利用されるディープラーニングモデルの構成図である。
図３を参照すると、分類部１４で利用するディープラーニングモデルは、入力された医療画像で畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）とサブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ）を行って、医療画像に対する画像（ｆｅａｔｕｒｅ）を抽出する画像抽出領域（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｐａｒｔ）１４２と、抽出された画像に対して加重損失関数を用いて、入力された医療画像に対する分類を行う分類領域（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐａｒｔ）１４４を含む。
畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）は、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｌｙｅｒ）において、医療画像の各領域を、複数のフィルターを用いてピクチャーマップ（ｆｅａｔｕｒｅ ｍａｐ）を生成する。サブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ）又はポーリング（ｐｏｏｌｉｎｇ）は、サブサンプリング層（ｓｕｂｓａｍｐｌｉｎｇ ｌａｙｅｒ）においてピクチャーマップ（ｆｅａｔｕｒｅ ｍａｐ）のサイズを減らし、位置や回転の変化に不変する医療画像に対する画像（ｆｅａｔｕｒｅ）を抽出する。
画像抽出領域１４２は、畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）及び／又はサブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ）を反復することにより、医療画像から点、線、面などの低レベルの画像から複雑で意味のある高レベルの画像までの様々なレベルの画像を抽出することができる。
分類領域１４４は、画像抽出領域１４２で最終的に抽出された画像を、式７の加重損失関数に対する入力値として用いる。
ディープラーニングモデル、例えば、ＣＮＮベースディープラーニングモデルは、画像抽出領域１４２と分類領域（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐａｒｔ）１４４において各個々の層に存在するパラメータを最適に学習させることを目標とする。ディープラーニングモデルでは、データの順序が初期パラメータの値を決定する。
ディープラーニングモデルは、ランダムサンプリング（データの順序がランダム）とレギュレーション技術（ｒｅｇｕｌａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）を適用することができる。ランダムサンプリングは、学習データセットにおいて学習される学習データの順序が異なるということを意味する。
レギュレーション技術は、ノイズまで含まれた学習データに対して、過度に学習されたディープラーニングモデルが、テストや診断において正確性が却って低下するオーバーフィッティングを減らす技術である。レギュレーション技術は、例えば、ドロップアウト技術又はドロップコネクテッド技術などであってよい。
ドロップアウト技術は、特定ノードに対して確率的にパラメータの値を０に指定して学習させる方法である。ドロップコネクテッド技術は、ノード間のコネクテッドをドロップして学習させる方法である。以下ではレギュレーション技術としてドロップアウト技術を取り上げて説明するが、現在又は将来にオーバーフィッティングを減らすいかなる技術又はアルゴリズムであってもよい。
Figure 2022549051000012
図４ｂを参照すると、分類部１４で利用されるディープラーニングモデルは、学習データで学習するときに、各層に存在するノードを特定確率ｐで除去して学習させ、学習が完了して実際の画像を分類するときには、全ノードをそのまま考慮して、ノードごとの加重値を確率ｐに乗じたドロップアウト技術を適用することができる。
ドロップアウト技術は、ディープラーニングモデルが学習するときに、ランダムに各層にあるノードを除去して学習を妨害することにより、学習が学習データに偏るオーバーフィッティング（ｏｖｅｒ－ｆｉｔ）を防止することができる。
図５は、本発明の他の実施形態に係るディープラーニングモデルを用いる画像診断装置の概念図である。
図５を参照すると、本発明の他の実施形態に係るディープラーニングモデルを用いる画像診断装置１１０は、画像が入力される画像入力部（図示せず）と、個別の加重値を付与した加重損失関数を用いた、学習された２つ以上のディープラーニングモデルでそれぞれ画像を分類する分類部１１４、及び分類部１１４で２つ以上のディープラーニングモデル（ＤＥＥＰ ＬＥＡＲＮＩＮＧ Ｍｏｄｅｌ １～Ｎ、Ｎは２よりも大きい自然数）で分類した結果を組み合わせて最終結果を出力する結果出力部１１６を含む。
画像入力部（図示せず）は、図１及び図２を参照して説明した画像入力部１２と同一でよい。
分類部１１４は、学習された２つ以上のディープラーニングモデルでそれぞれ画像を分類し、２つ以上のディープラーニングモデルで分類した結果を出力する。分類部１１４は、図３を参照して説明した画像抽出領域１４２と分類領域１４４とを含む分類部１４を２つ以上含むか、或いは画像抽出領域１４２と分類領域１４４とを含むディープラーニングモデルを２つ以上含むものと理解できる。
ディープラーニングモデルの全部又は一部は、図４ａ及び図４ｂを参照して前述したドロップアウト技術を適用できる。
２つ以上のディープラーニングモデルは、異なるディープラーニングモデルであってよい。したがって、異なるディープラーニングモデルは、同じ加重実数関数を用いて画像を分類しても、異なる感度又は特異度を示すことができる。
一例として、ディープラーニングモデルの少なくとも一部は、同一の１つのディープラーニングモデルを使用するが、１つのディープラーニングモデルに対して、学習に使用された学習データの数や順序を調節して学習したディープラーニングモデルであってよい。
他の例として、ディープラーニングモデルの少なくとも一部は、同一の１つのディープラーニングモデルを使用するが、異なるドロップアウト技術を適用したディープラーニングモデルであってよい。
本実施形態は、ランダムサンプリング（データ順序ランダム）とドロップアウト技術を適用してディープラーニングモデルを生成することができる。
他の例として、ディープラーニングモデルの少なくとも一部は、層の深さ又は層の数が異なるディープラーニングモデルであってよい。例えば、一つのディープラーニングモデルは、層の深さ又は層の数が３５個であり、他のディープラーニングモデルは、層の深さ又は層の数が３５個であってよい。
前述したように、２つ以上のディープラーニングモデルは、構造的に同一の１つのディープラーニングモデルを用いて、異なる２つ以上のディープラーニングモデルを生成した場合、又は構造的に異なるディープラーニングモデルを生成した場合に、それらの組合せを含むことができる。
結果出力部１１６は、２つ以上のディープラーニングモデルの分類結果をアンサンブルさせて、医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類し、最終結果を出力する。
前述したように、ディープラーニングモデルは互いに異なるので、異なる感度又は特異度を示すことができる。したがって、ディープラーニングモデルの分類結果をアンサンブルさせることにより、感度をさらに上げる又は特異度をさらに上げることができる。
結果出力部１１６は、２つ以上のディープラーニングモデルの分類結果を、多数決ベースのアンサンブル、全会一致ベースのアンサンブル、不確実性ベースのアンサンブルのうち１つ又は２つ以上に基づいてアンサンブルさせて、医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類し、最終的に分類結果を出力することができる。
ディープラーニングモデルは、非常に柔軟な非線形アルゴリズム（ｈｉｇｈｌｙ ｆｌｅｘｉｂｌｅ ｎｏｎｌｉｎｅａｒ ａｌｇｏｒｉｔｈｍｓ）を使用する。このため、ディープラーニングモデルの結果値は、大きい偏差を示すことがある。ディープラーニングモデルの分類結果を、多数決ベースのアンサンブル、全会一致ベースのアンサンブル、不確実性ベースのアンサンブルのうち１つ又は２つ以上に基づいてアンサンブルさせ、ディープラーニングモデルの結果値、すなわち分類結果の偏差を減らすことができる。
言い換えると、各ディープラーニングモデルは、学習方式、例えば、サンプリング順序、ドロップアウトのランダム性によって内部パラメータが個別に学習される。同一のデータ、同一のディープラーニングモデルを用いてそれぞれ学習しても、ディープラーニングモデル別に異なる結果を示すことがある。このため、１つのディープラーニングモデルを使用することは判断錯誤の危険につながることがある、したがって、本実施形態は、様々なディープラーニングモデルを生成し、アンサンブル技法を用いて判断錯誤の危険を最小化することができる。
結果出力部１１６は、２つ以上のディープラーニングモデルの分類結果をアンサンブルさせるアンサンブルモデル（Ｅｎｓｅｍｂｌｅ Ｍｏｄｅｌ）として多数決ベースのアンサンブル、全会一致ベースのアンサンブル、不確実性ベースのアンサンブルを適用することができる。
アンサンブルモデルにおいて多数決ベースのアンサンブルは、２つ以上のディープラーニングモデルの分類結果のうち、多数決で最終分類結果を決定するものである。例えば、ディープラーニングモデルの数が５個である場合に、３個のディープラーニングモデルの分類結果は正常（ｎｏｒｍａｌ）で、２個のディープラーニングモデルの分類結果は異常（ａｂｎｏｒｍａｌ）であれば、結果出力部１１６は、多数の分類結果である正常を最終分類結果として出力することができる。
ディープラーニングモデルの分類結果をアンサンブルさせるために用いられるディープラーニングモデルの数は２つ以上に制限されず、多数決で最終分類結果を決定するために奇数であってもよい。
アンサンブルモデルにおいて全会一致ベースのアンサンブルは、全会一致である分類結果を最終的な分類結果として出力するものである。
例えば、前述した例で、５個のディープラーニングモデルの分類結果がいずれも正常（ｎｏｒｍａｌ）である場合に、出力部１１６は、多数の分類結果としての最終分類結果を正常として出力できる。他の例として、前述した例で、５個のディープラーニングモデルの分類結果がいずれも異常（ａｂｎｏｒｍａｌ）である場合、出力部１１６は、多数の分類結果としての最終分類結果を異常として出力できる。
前述したように、３個のディープラーニングモデルの分類結果は正常（ｎｏｒｍａｌ）で、２つのディープラーニングモデルの分類結果は異常（ａｂｎｏｒｍａｌ）であることがある。アンサンブルモデルとして全会一致ベースのアンサンブルを適用した結果出力部１１６は、加重損失関数の加重値の相対的なサイズを反映して最終的に分類結果を決定することができる。
例えば、加重損失関数において第２加重値Ｗ２が第１加重値Ｗ１よりも大きい場合に、異常であるのに正常であるというのがより一層危険な場合がある。１つのディープラーニングモデルでも異常と判断すれば、結果出力部１１６は、最終的に分類結果を異常と決定してよい。
逆に、加重損失関数において、第１加重値Ｗ１が第２加重値Ｗ２よりも大きい場合、正常であるのに異常であるというのがより一層危険であることがある。１つのモデルでも正常であると判断すれば、結果出力部１１６は最終的に分類結果を正常と決定してよい。
アンサンブルモデルとして不確実性ベースのアンサンブルは、２つ以上のディープラーニングモデルの分類結果の統計値を用いて最終的な分類結果を決定するものである。
ディープラーニングの分野において、不確実性とは、ディープラーニングモデルが完璧でないか或いはデータが完全でないときに、ディープラーニングモデルによる学習において生じ得る様々な問題を考慮して結果を確率的に提示しなければならないことを意味する。
前述したように、ディープラーニングモデルを生成する初期に、ドロップアウト技術で任意にノードを除去してテストを数回実施し、これにより算出される結果の統計的な値から、確率的に不確実性を推定できる。
ただし、このような方法は、一度テストをする場合、例えば、１００回以上のテストによって結果の統計的な値で確率を推定するため、エネルギーの消費が大きいという短所がある。すなわち、このような過程はディープラーニングモデルの学習過程にも適用され、学習時間が非常にかかることがある。
したがって、１つのディープラーニングモデルにおいてドロップアウト技術を適用して様々な結果値を算出するのではなく、最初からランダムサンプリングとドロップアウト技術で複数のディープラーニングモデルを生成し、それらの統計値（アンサンブルで合計された分類結果）を不確実性又は不確実性値として得ることができる。
本実施形態は、ランダムサンプリングとドロップアウトを用いて２つ以上のディープラーニングモデルを生成し、２つ以上のディープラーニングモデルからそれらの結果値、すなわち分類結果をアンサンブルして不確実性値を示すことができる。
不確実性ベースのアンサンブルは、平均信頼度（ｃｏｎｆｉｄｅｎｃｅ ａｖｅｒａｇｅ）又は標準偏差（ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ）のいずれか一つを用いて２つ以上のディープラーニングモデルの分類結果をアンサンブルさせることができる。
平均信頼度Θ値は、不確実性値ではなく単純アンサンブル値であり、標準偏差σ値は、不確実性を示す指標の一つである。
平均信頼度Θ値又は標準偏差σ値を下げるほど、最終的な分類結果の感度を上げる又は特異度を下げることができる。これと関連して、実施例４及び５で、式７の加重損失関数においてＷ１：Ｗ２＝１：５０を適用した場合、平均信頼度Θ値又は標準偏差σ値を下げるほど最終的な分類結果の感度を上げることができることを実験的に証明する。
以上、図１～図５を参照して、本発明の実施形態に係るディープラーニングモデルを用いる画像診断装置１０，１１０を説明した。以下では、図６を参照して、本発明のさらに他の実施形態に係るディープラーニングモデルを用いる画像診断方法を説明する。
図６は、本発明のさらに他の実施形態に係るディープラーニングモデルを用いた画像診断方法のフローチャートである。
図６を参照すると、さらに他の実施形態に係るディープラーニングモデルを用いた画像診断方法２００は、人体の組織を含む医療画像が入力される画像入力段階（Ｓ２１０）、入力された医療画像から抽出された画像に対して正常であるのに異常として判断する確率分布及び異常であるのに正常として判断する確率分布に対して個別の加重値を付与した加重損失関数を用いた、学習されたディープラーニングモデルを用いて、入力された医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する分類段階（Ｓ２２０）、及び分類段階（Ｓ２２０）で分類した結果を出力する結果出力段階を含む。
図３を参照して説明したように、ディープラーニングモデルは、入力された医療画像において畳み込みとサブサンプリングを行って医療画像に対する画像を抽出する画像抽出領域と、抽出された画像に対して加重損失関数を用いて、入力された医療画像に対する分類を行う分類領域を含むことができる。
式４～７を参照して説明した通り、加重損失関数で異常であるのに正常と判断する確率分布に付与した第２加重値が、正常であるのに異常として判断する確率分布に付与した第１加重値よりも大きくてよい。
図５を参照して説明したのと同様に、ディープラーニングモデルの数は、２つ以上であってよい。結果出力段階（Ｓ２３０）で、２つ以上のディープラーニングモデルの分類結果をアンサンブルさせて、医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類した分類結果を出力することができる。
図５を参照してディープラーニングモデルを用いた画像診断装置１１０で前述したように、ディープラーニングモデルの全部又は一部は、学習データで学習するときに、各層にあるノードを特定確率ｐで除去して学習させ、学習が完了してテストをするときには、全てのノードをそのまま考慮し、ノードごとの加重値をこの確率ｐに乗じたドロップアウト技術を適用することができる。
ディープラーニングモデルの少なくとも一部は、同一の１つのディープラーニングモデルを使用するが、１つのディープラーニングモデルに対して、学習に用いられた学習データの数や順序を調節して学習することができる。
ディープラーニングモデルの少なくとも一部は、層の深さ又は層の数が他のディープラーニングモデルと異なってよい。
結果出力段階（Ｓ２３０）で、２つ以上のディープラーニングモデルの分類結果を多数決ベースのアンサンブル、全会一致ベースのアンサンブル、不確実性ベースのアンサンブルのうち１つ又は２つ以上に基づいてアンサンブルさせて、医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類し、最終的に分類結果を出力することができる。
不確実性ベースのアンサンブルは、平均信頼度又は標準偏差のいずれか一つを用いて２つ以上のディープラーニングモデルの分類結果をアンサンブルさせることができる。
医療画像は、人体の組織、例えば、肝臓、胃、心臓、小腸、大腸などであってよい。また、疾病は、癌、炎症、骨折などであってよい。例えば、医療画像は、人体の大腸で撮影した画像であり、疾病は、大腸癌であってよい。
前述したように、一般のディープラーニングモデルは、画像診断のために当該組織に病気があるか否か分類するときに画像診断の精度のみを上げることに焦点を当てている。これに対し、前述した本発明の実施形態に係るディープラーニングモデルを用いた画像診断装置及びその方法は、個別の加重値を付与した加重損失関数ベースのディープラーニングモデルを利用するので、画像診断の特異度を上げる又は画像診断の感度を上げることができる。
前述した本発明の実施形態に係るディープラーニングモデルを用いた画像診断装置及びその方法は、個別の加重値を付与した加重損失関数ベースのディープラーニングモデルを利用するので、疾病に対する治療時期の遅れ又は見逃しによって患者に致命的な問題を引き起こす偽陰性であるタイプＩＩエラーを最小化できる効果がある。
前述した本発明の実施形態に係るディープラーニングモデルを用いた画像診断装置及びその方法は、２つ以上のディープラーニングモデルの分類結果をアンサンブルするので、画像診断の特異度をさらに上げる又は画像診断の感度をさらに上げることができる。
以下、本発明の実施形態に係るディープラーニングモデルを用いた画像診断装置及びその方法を適用した実施例を用いて、疾病に対する治療時期の遅れ又は逃しによって患者に致命的な問題を引き起こす偽陰性であるタイプＩＩエラーを最小化するように画像診断の感度をさらに上げることができることを証明する。
実施例１
個別ディープラーニングモデルは、レジデュアルネットワーク（ｒｅｓｉｓｄｕａｌ ｎｅｔｗｏｒｋｓ）を用い、ｄｅｎｓｅｎｅｔ３５を使用した。ドロップアウト技術は、分類層（ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）又は分類領域（図３の１４４）にｐ＝０．５確率を適用した。
Figure 2022549051000013
実施例１で用いたＤｅｎｓｅｎｅｔ（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）は、２０１６年にＧａｏ Ｈｕａｎｇ等が論文（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０８．０６９９３）で発表したＣＮＮモデルの一つである。Ｄｅｎｓｅｎｅｔは、入力値を継続して出力値のチャネル方向に加算するデンスコネクティビティ（Ｄｅｎｓｅ ｃｏｎｎｅｃｔｉｖｉｔｙ）を提案した。表２で、トランジション層（Ｔｒａｎｓｉｔｉｏｎ Ｌａｙｅｒ）は、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｌｙｅｒ）とサブサンプリング層（ｓｕｂｓａｍｐｌｉｎｇ ｌａｙｅｒ）を総称したものである。トランジション層（Ｔｒａｎｓｉｔｉｏｎ Ｌａｙｅｒ）を通過すれば、ピクチャーマップのサイズが減少する。Ｄｅｎｓｅｎｅｔでデンスコネクティビティ（Ｄｅｎｓｅ ｃｏｎｎｅｃｔｉｖｉｔｙ）を適用するためには、ピクチャーマップのサイズが同一であればよい。同一のピクチャーマップのサイズを共有する演算を集めてデンスブロック（ｄｅｎｓｅ ｂｌｏｃｋ）を構成し、その中でデンスコネクティビティ（Ｄｅｎｓｅ ｃｏｎｎｅｃｔｉｖｉｔｙ）を適用する。
仮にデンスブロック（ｄｅｎｓｅ ｂｌｏｃｋ）を全て通過したピクチャーマップの数がｍ個であれば、トランジション層を経るとθｍ個（０＜θ≦１）となる。ここでθ値は、指定されたハイパーパラメータ（ｈｙｐｅｒ ｐａｒａｍｅｔｅｒ）である。仮に１であれば、ピクチャーマップの数は変わらずにそのまま蓄積し続いていく。
式７の加重損失関数で、表３に示すように、第１加重値Ｗ１の値を固定した状態で第２加重値Ｗ２の値を調整しながら個別のディープラーニングモデルを生成した（フレームワークの１段階テスト）。
Figure 2022549051000014
まず、第１加重値Ｗ２の値を、表３で２～１００に調整し、表４で学習データを用いて個別のディープラーニングモデルを生成した（フレームワークの２段階テスト）。
Figure 2022549051000015
生成した個別のディープラーニングモデルをテストした結果、次の表５の通りであった。
Figure 2022549051000016
表５で、感度（ｓｅｎｓｉｔｉｖｉｔｙ）、特異度（ｓｐｅｃｉｆｉｃｉｔｙ）、精度（ａｃｃｕｒａｃｙ）を相対的にグラフ化すると、図７及び図８の通りである。
図７を参照すると、第１加重値Ｗ１の値を固定した状態で第２加重値Ｗ２の値を調整した個別のディープラーニングモデルに対してテストした分類の結果、式７の加重損失関数において第２加重値Ｗ２の値が大きくなるほど、感度（ｓｅｎｓｉｔｉｖｉｔｙ）が特異度（ｓｐｅｃｉｆｉｃｉｔｙ）及び精度（ａｃｃｕｒａｃｙ）に比べて相対的に改善されていることが分かる。
図８を参照すると、第１加重値Ｗ１の値を固定した状態で第２加重値Ｗ２の値を調整した個別のディープラーニングモデルに対してテストした分類の結果、式７の加重損失関数において第２加重値Ｗ２の値が大きくなるほど、感度（ｓｅｎｓｉｔｉｖｉｔｙ）も小さい場合に比べてより改善されていることが分かる。
実施例２
個別ディープラーニングモデルは、レジデュアルネットワークを用いて、ｄｅｎｓｅｎｅｔ３５（表２参照）を使用した。ドロップアウト技術は、分類層又は分類領域（図３で１４４）にｐ＝０．５確率を適用した。
式７の加重損失関数において、表３に示したように、第２加重値Ｗ２の値を固定した状態で第１加重値Ｗ１の値を調整しながら個別ディープラーニングモデルを生成した（フレームワークの１段階テスト）。
まず、第１加重値Ｗ２の値を５０に固定し、表４の学習データを用い、ランダムサンプリング及びドロップアウト技術を適用して５個の個別のディープラーニングモデルを生成した（フレームワークの２段階テスト）。
生成した５個の個別のディープラーニングモデルをテストした結果は、次の表６の通りであった。表６で、ＤｅｎｓｅＮｅｔ３５は、加重損失関数においてＷ１：Ｗ２＝１：１、すなわち一般の損失関数を適用した場合に５個の個別のディープラーニングモデルをテストした結果であり、ＤｅｎｓｅＮｅｔ３５ ｗｅｉｇｈｔは、式７の加重損失関数においてＷ１：Ｗ２＝１：５０を適用した場合に５個の個別のディープラーニングモデルをテストした結果である。
Figure 2022549051000017
表６で、５個の個別のディープラーニングモデルに対してテストした分類の結果、式７の加重損失関数においてＷ１：Ｗ２＝１：５０を適用した場合に、感度（ｓｅｎｓｉｔｉｖｉｔｙ）が特異度（ｓｐｅｃｉｆｉｃｉｔｙ）及び精度（ａｃｃｕｒａｃｙ）に比べて改善されたことが分かる。
実施例３
個別ディープラーニングモデルは、レジデュアルネットワークを用い、ｄｅｎｓｅｎｅｔ６５を使用した。ドロップアウト技術は、分類層（ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）又は分類領域（図３で１４４）にｐ＝０．５確率を適用した。ｄｅｎｓｅｎｅｔ６５は、層の深さ、すなわち、層の数が６５個である以外は、基本的に実施例１においてｄｅｎｓｅｎｅｔ３５と同一である。
式７の加重損失関数において、表３に示しているように、第２加重値Ｗ２の値を固定した状態で第１加重値Ｗ１の値を調整しながら個別ディープラーニングモデルを生成した（フレームワークの１段階テスト）。
まず、第１加重値Ｗ２の値を５０に固定し、表４で学習データを用いてランダムサンプリング及びドロップアウト技術を適用して５個の個別のディープラーニングモデルを生成した（フレームワークの２段階テスト）。
生成した５個の個別のディープラーニングモデルをテストした結果は、次表７の通りであった。表７で、ＤｅｎｓｅＮｅｔ６５は、加重損失関数においてＷ１：Ｗ２＝１：１、すなわち、一般の損失関数を適用した場合に５個の個別のディープラーニングモデルをテストした結果であり、ＤｅｎｓｅＮｅｔ６５ ｗｅｉｇｈｔは、加重損失関数においてＷ１：Ｗ２＝１：５０を適用した場合に５個の個別のディープラーニングモデルをテストした結果である。
Figure 2022549051000018
表７から、５個の個別のディープラーニングモデルに対してテストした分類の結果、加重損失関数においてＷ１：Ｗ２＝１：５０を適用した場合に、感度（ｓｅｎｓｉｔｉｖｉｔｙ）が特異度（ｓｐｅｃｉｆｉｃｉｔｙ）及び精度（ａｃｃｕｒａｃｙ）に比べて改善されたことが分かる。
実施例４
実施例１及び２でそれぞれ生成した５個のディープラーニングモデルの分類結果をアンサンブルさせて、医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類した。
５個のディープラーニングモデルの分類結果を多数決ベースのアンサンブル、全会一致ベースのアンサンブル、不確実性ベースのアンサンブルのうち１つ又は２つ以上に基づいてアンサンブルさせて、医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類した。
実施例４では、不確実性ベースのアンサンブルのために、平均信頼度を用いて５個のディープラーニングモデルの分類結果をアンサンブルさせた（表８参照）。表８は、実施例１及び２における５個のディープラーニングモデルの分類結果と共に、これらをアンサンブルした分類結果を含んでいる。
Figure 2022549051000019
実際にディープラーニングモデルを用いた画像診断装置に実施する場合、平均信頼度Θ値を、最初に感度１００％に到達する値を探して指定することができる。例えば、表８で、平均信頼度Θ＝０．３ ｆｏｒ ＤｅｎｓｅＮｅｔ３５＿ｗｅｉｇｈｔ、平均信頼度Θ＝０．４ ｆｏｒ ＤｅｎｓｅＮｅｔ６５＿ｗｅｉｇｈｔである場合に、最初に感度１００％に到達したので、実際ディープラーニングモデルを用いた画像診断装置では、この平均信頼度値を用いて５個のディープラーニングモデルの分類結果をアンサンブルさせることができる。
実施例５
実施例１及び２でそれぞれ生成した５個のディープラーニングモデルの分類結果をアンサンブルさせて、医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類した。
５個のディープラーニングモデルの分類結果を多数決ベースのアンサンブル、全会一致ベースのアンサンブル、不確実性ベースのアンサンブルのうち１つ又は２つ以上に基づいてアンサンブルさせて、医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類した。
実施例５では、不確実性ベースのアンサンブルのために、標準偏差を用いて５個のディープラーニングモデルの分類結果をアンサンブルさせた（表９参照）。表９は、実施例１及び２に５個のディープラーニングモデルの分類結果と共にこれらをアンサンブルした類結果を含んでいる。
Figure 2022549051000020
実際にディープラーニングモデルを用いた画像診断装置に実施する場合に、標準偏差σ値を、最初に感度１００％に到達する値を探して指定することができる。例えば、表９で、標準偏差σ＝０．３ ｆｏｒ ＤｅｎｓｅＮｅｔ３５＿ｗｅｉｇｈｔ、標準偏差σ＝０．４ ｆｏｒ ＤｅｎｓｅＮｅｔ６５＿ｗｅｉｇｈｔである場合に最初に感度１００％に到達したので、実際ディープラーニングモデルを用いた画像診断装置では、この平均信頼度を用いて５個のディープラーニングモデルの分類結果をアンサンブルさせることができる。
実施例４及び５から、５個のディープラーニングモデルの分類結果を多数決ベースのアンサンブル、全会一致ベースのアンサンブル、不確実性ベースのアンサンブルのうち１つ又は２つ以上に基づいてアンサンブルさせて、医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類した結果、感度（ｓｅｎｓｉｔｉｖｉｔｙ）が相対的に向上していることが分かる。
また、実施例４及び５から、平均信頼度Θ値又は標準偏差σ値を下げるほど最終的な分類結果の感度を上げていることが分かる。具体的に、実施例４及び５から、式７の加重損失関数においてＷ１：Ｗ２＝１：５０を適用した場合、平均信頼度Θ値又は標準偏差σ値を下げるほど最終的な分類結果の感度を上げることができることが分かる。
一方、分類結果の感度を上げることに焦点を当てると、特異度は相対的に低くなり、結果的に精度も低くなることがある。しかし、実施例４及び５から、最終的な分類結果の感度を上げることができる他、特異度及び精度が低くなることも最小化できることが分かる。
以上、図面を参照して、本発明の実施形態に係るディープラーニングモデルを用いた画像診断装置とその診断方法を説明したが、本発明は、これに制限されない。
例えば、本発明は、さらに他の実施形態として、図９に示す画像分類装置３１０を含むことができる。この画像分類装置３１０は、基本的に図１～図５を参照して説明したディープラーニングモデルを用いた画像診断装置１０，１１０と同一であるが、入力画像が医療画像ではなく一般画像であり、その分類結果が、疾病の有無ではなく一般的な画像の分類であってよい。例えば、入力画像は、図９に示すように、イタリック体の数字で、分類結果は、画像に含まれた数字であり、画像分類装置３１０は数字分類装置であってよい。
画像分類装置３１０は、ディープラーニングモデルを用いた画像診断装置１０，１１０と同様に、画像入力部３１２、分類部３１４、結果出力部３１６を含むことができる。それらの構成は、ディープラーニングモデルを用いた画像診断装置１０，１１０の画像入力部１２、分類部１４，１１４、結果出力部１６，１１６と実質的に同一でよい。
上述したディープラーニングモデルを用いた画像診断装置１０，１１０及び画像分類装置３１０は、プロセッサ、メモリ、ユーザ入力装置、プレゼンテーション装置の少なくとも一部を含むコンピューティングデバイスによって具現されてよい。メモリは、プロセッサによって実行されると特定タスクを行い得るようにコードされているコンピュータ可読ソフトウェア、アプリケーション、プログラムモジュール、ルーチン、インストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）、及び／又はデータなどを記憶する媒体である。プロセッサは、メモリに記憶されているコンピュータ読み取り可能なソフトウェア、アプリケーション、プログラムモジュール、ルーチン、インストラクション、及び／又はデータなどを読み込んで実行することができる。ユーザ入力装置は、ユーザにとってプロセッサに特定タスクを実行させるための命令を入力するか或いは特定タスクの実行に必要なデータを入力するための手段であってよい。ユーザ入力装置は、物理的な又は仮想的なキーボードやキーパッド、キーボタン、マウス、ジョイスティック、トラックボール、タッチ敏感型入力手段、又はマイクロホンなどを含むことができる。プレゼンテーション装置は、ディスプレイ、プリンタ、スピーカー、又は振動装置などを含むことができる。
コンピューティングデバイスは、スマートフォン、タブレット、ラップトップ、デスクトップ、サーバー、クライアントなどの様々なデバイスを含むことができる。コンピューティングデバイスは、一つの単一のスタンドアロンデバイスであってもよく、通信網を介して互いに協力する多数のコンピューティングデバイスからなる分散型環境で動作する多数のコンピューティングデバイスを含んでもよい。
また、上述した画像診断方法は、プロセッサを備え、また、プロセッサによって実行されるとディープラーニングモデルを用いた画像診断方法を行い得るようにコードされたコンピュータ可読ソフトウェア、アプリケーション、プログラムモジュール、ルーチン、インストラクション、及び／又はデータ構造などを記憶しているメモリを備えるコンピューティングデバイスによって実行されてよい。
上述した本実施形態は、様々な手段によって具現されてよい。例えば、本実施形態は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア又はそれらの結合などによって具現されてよい。
ハードウェアによる具現では、本実施形態に係るディープラーニングモデルを用いた画像診断方法は、１つ又はそれ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プロセッサ、コントローラ、マイクロコントローラ又はマイクロプロセッサなどによって具現されてよい。
例えば、実施形態に係るディープラーニングモデルを用いた画像診断方法は、深層ニューラルネットワークのニューロン（ｎｅｕｒｏｎ）とシナプス（ｓｙｎａｐｓｅ）が半導体素子によって具現された人工知能半導体装置を用いて具現されてよい。このとき、半導体素子は、現在使用する半導体素子、例えば、ＳＲＡＭ、ＤＲＡＭ又はＮＡＮＤなどであってもよく、次世代半導体素子であるＲＲＡＭ、ＳＴＴ ＭＲＡＭ又はＰＲＡＭなどであってもよく、それらの組合せであってもよい。
実施形態に係るディープラーニングモデルを用いた画像診断方法を、人工知能半導体装置を用いて具現するとき、ディープラーニングモデルをソフトウェアで学習した結果（加重値）を、アレイに配置されたシナプス摸倣素子に転写するか、或いは人工知能半導体装置で学習を進行することもできる。
ファームウェア又はソフトウェアによる具現では、本実施形態に係るディープラーニングモデルを用いた画像診断方法は、以上で説明された機能又は動作を行う装置、手順又は関数などの形態で具現されてよい。ソフトウェアコードはメモリユニットに記憶され、プロセッサによって駆動されてよい。前記メモリユニットは、前記プロセッサの内部又は外部に位置し、既に公知の様々な手段によって前記プロセッサとデータを交換することができる。
また、上で説明した「システム」、「プロセッサ」、「コントローラ」、「コンポーネント」、「モジュール」、「インターフェース」、「モデル」、又は「ユニット」などの用語は、一般に、コンピュータ関連エンティティハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア又は実行中のソフトウェアを意味できる。例えば、前述した構成要素は、プロセッサによって駆動されるプロセス、プロセッサ、コントローラ、制御プロセッサ、個体、実行スレッド、プログラム及び／又はコンピュータでよいが、これに限定されない。例えば、コントローラ又はプロセッサで実行中であるアプリケーションとコントローラ又はプロセッサがいずれも構成要素であってよい。１つ以上の構成要素がプロセス及び／又は実行スレッド内に存在してよく、構成要素は一つの装置（例えば、システム、コンピューティングデバイスなど）に位置する又は２つ以上の装置に分散して位置してよい。
以上の説明は、本開示の技術思想を例示的に説明したものに過ぎず、本開示の属する技術の分野における通常の知識を有する者であれば、本技術思想の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能であろう。また、本実施形態は、本開示の技術思想を限定するためのものではなく説明するためのものであり、このような実施形態によって本技術思想の範囲が限定されるわけではない。本開示の保護範囲は、添付する特許請求の範囲によって解釈されるべきであり、それと同等な範囲内にある技術思想はいずれも、本開示の権利範囲に含まれるものと解釈されるべきであろう。
関連出願の相互参照
本特許出願は、２０１９年０７月０５日に韓国に出願した特許出願番号第１０－２０１９－００８１４１６号に対して、米国特許法１１９（ａ）条（３５ Ｕ．Ｓ．Ｃ §１１９（ａ））に基づいて優先権を主張し、その全内容は参考文献として本特許出願に組み込まれる。なお、本特許出願は、米国以外に国に対しても、上と同一の理由で優先権を主張し、その全内容は参考文献として本特許出願に組み込まれる。
図６を参照すると、さらに他の実施形態に係るディープラーニングモデルを用いた画像診断方法２００は、人体の組織を含む医療画像が入力される画像入力段階（Ｓ２１０）、入力された医療画像から抽出された画像に対して正常であるのに異常として判断する確率分布及び異常であるのに正常として判断する確率分布に対して個別の加重値を付与した加重損失関数を用いた、学習されたディープラーニングモデルを用いて、入力された医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する分類段階（Ｓ２２０）、及び分類段階（Ｓ２２０）で分類した結果を出力する結果出力段階（Ｓ２３０）を含む。
まず、第２加重値Ｗ２の値を、表３で２～１００に調整し、表４で学習データを用いて個別のディープラーニングモデルを生成した（フレームワークの２段階テスト）。
まず、第２加重値Ｗ２の値を５０に固定し、表４の学習データを用い、ランダムサンプリング及びドロップアウト技術を適用して５個の個別のディープラーニングモデルを生成した（フレームワークの２段階テスト）。
まず、第２加重値Ｗ２の値を５０に固定し、表４で学習データを用いてランダムサンプリング及びドロップアウト技術を適用して５個の個別のディープラーニングモデルを生成した（フレームワークの２段階テスト）。
実際にディープラーニングモデルを用いた画像診断装置に実施する場合に、標準偏差σ値を、最初に感度１００％に到達する値を探して指定することができる。例えば、表９で、標準偏差σ＝０．３ ｆｏｒ ＤｅｎｓｅＮｅｔ３５＿ｗｅｉｇｈｔ、標準偏差σ＝０．４ ｆｏｒ ＤｅｎｓｅＮｅｔ６５＿ｗｅｉｇｈｔである場合に最初に感度１００％に到達したので、実際ディープラーニングモデルを用いた画像診断装置では、この標準偏差値を用いて５個のディープラーニングモデルの分類結果をアンサンブルさせることができる。

Claims (20)

  1. 人体の組織を含む医療画像が入力される画像入力部、
    入力された前記医療画像から抽出された画像に対して正常であるのに異常として判断する確率分布及び異常であるのに正常として判断する確率分布に対して個別の加重値を付与した加重損失関数を用いた、学習されたディープラーニングモデルを用いて、入力された前記医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する分類部、及び
    前記分類部で分類した結果を出力する結果出力部を含む、ディープラーニングモデルを用いた画像診断装置。
  2. 前記ディープラーニングモデルは、入力された前記医療画像で畳み込みとサブサンプリングを行って、前記医療画像に対する画像を抽出する画像抽出領域と、抽出された画像に対して前記加重損失関数を用いて、入力された前記医療画像に対する分類を行う分類領域を含む、請求項１に記載のディープラーニングモデルを用いた画像診断装置。
  3. 前記加重損失関数で異常であるのに正常と判断する確率分布に付与した第２加重値が、正常であるのに異常として判断する確率分布に付与した第１加重値よりも大きい、請求項１に記載のディープラーニングモデルを用いた画像診断装置。
  4. 前記ディープラーニングモデルの数は、２つ以上であり、前記結果出力部は、前記２つ以上のディープラーニングモデルの分類結果をアンサンブルさせて、前記医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する、請求項３に記載のディープラーニングモデルを用いた画像診断装置。
  5. 前記ディープラーニングモデルの全部又は一部は、学習データで学習するときに、各層にあるノードを特定確率で除去して学習させ、学習が完了してテストをするときには、全てのノードをそのまま考慮し、ノードごとの加重値を前記確率に乗じたドロップアウト技術を適用した、請求項４に記載のディープラーニングモデルを用いた画像診断装置。
  6. 前記ディープラーニングモデルの少なくとも一部は、同一の１つのディープラーニングモデルを使用し、前記１つのディープラーニングモデルに対して、学習に用いられた学習データの数又は順序を調節して学習した、請求項４に記載のディープラーニングモデルを用いた画像診断装置。
  7. 前記ディープラーニングモデルの少なくとも一部は、層の深さ又は層の数が異なるディープラーニングモデルと異なる、請求項４に記載のディープラーニングモデルを用いた画像診断装置。
  8. 前記結果出力部は、前記２つ以上のディープラーニングモデルの分類結果を多数決ベースのアンサンブル、全会一致ベースのアンサンブル、不確実性ベースのアンサンブルのうち１つ又は２つ以上に基づいてアンサンブルさせて、前記医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する、請求項４に記載のディープラーニングモデルを用いた画像診断装置。
  9. 前記不確実性ベースのアンサンブルは、平均信頼度又は標準偏差のいずれか一つを用いて前記２つ以上のディープラーニングモデルの分類結果をアンサンブルさせる、請求項８に記載のディープラーニングモデルを用いた画像診断装置。
  10. 前記医療画像は、前記人体の大腸で撮影した画像であり、前記疾病は、大腸癌である、請求項９に記載のディープラーニングモデルを用いた画像診断装置。
  11. 人体の組織を含む医療画像が入力される画像入力段階、
    入力された前記医療画像から抽出された画像に対して正常であるのに異常として判断する確率分布及び異常であるのに正常として判断する確率分布に対して個別の加重値を付与した加重損失関数を用いた、学習されたディープラーニングモデルを用いて、入力された前記医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する分類段階、及び
    前記分類段階で分類した結果を出力する結果出力段階を含む、ディープラーニングモデルを用いた画像診断方法。
  12. 前記ディープラーニングモデルは、入力された前記医療画像で畳み込みとサブサンプリングを行って、前記医療画像に対する画像を抽出する画像抽出領域と、抽出された画像に対して前記加重損失関数を用いて、入力された前記医療画像に対する分類を行う分類領域を含む、請求項１１に記載のディープラーニングモデルを用いた画像診断方法。
  13. 前記加重損失関数で異常であるのに正常と判断する確率分布に付与した第２加重値が、正常であるのに異常として判断する確率分布に付与した第１加重値よりも大きい、請求項１１に記載のディープラーニングモデルを用いた画像診断方法。
  14. 前記ディープラーニングモデルの数は、２つ以上であり、
    前記結果出力段階で、前記２つ以上のディープラーニングモデルの分類結果をアンサンブルさせて、前記医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する、請求項１３に記載のディープラーニングモデルを用いた画像診断方法。
  15. 前記ディープラーニングモデルの全部又は一部は、学習データで学習するときに、各層にあるノードを特定確率で除去して学習させ、学習が完了してテストをするときには、全てのノードをそのまま考慮し、ノードごとの加重値を前記確率に乗じたドロップアウト技術を適用した、請求項１４に記載のディープラーニングモデルを用いた画像診断方法。
  16. 前記ディープラーニングモデルの少なくとも一部は、同一の１つのディープラーニングモデルを使用し、前記１つのディープラーニングモデルに対して学習に用いられた学習データの数又は順序を調節して学習した、請求項１４に記載のディープラーニングモデルを用いた画像診断方法。
  17. 前記ディープラーニングモデルの少なくとも一部は、層の深さ又は層の数が異なるディープラーニングモデルと異なる、請求項１４に記載のディープラーニングモデルを用いた画像診断方法。
  18. 前記結果出力段階で、前記２つ以上のディープラーニングモデルの分類結果を多数決ベースのアンサンブル、全会一致ベースのアンサンブル、不確実性ベースのアンサンブルのうち１つ又は２つ以上に基づいてアンサンブルさせて、前記医療画像に含まれた組織に対して疾病の正常及び異常のいずれか一つに分類する、請求項１４に記載のディープラーニングモデルを用いた画像診断方法。
  19. 前記不確実性ベースのアンサンブルは、平均信頼度又は標準偏差のいずれか一つを用いて前記２つ以上のディープラーニングモデルの分類結果をアンサンブルさせる、請求項１８に記載のディープラーニングモデルを用いた画像診断方法。
  20. 前記医療画像は、前記人体の大腸で撮影した画像であり、前記疾病は、大腸癌である、請求項１９に記載のディープラーニングモデルを用いた画像診断方法。
JP2021578265A 2019-07-05 2020-06-30 ディープラーニングモデルを用いた画像診断装置及びその方法 Active JP7304594B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190081416A KR102132375B1 (ko) 2019-07-05 2019-07-05 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
KR10-2019-0081416 2019-07-05
PCT/KR2020/008502 WO2021006522A1 (ko) 2019-07-05 2020-06-30 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법

Publications (2)

Publication Number Publication Date
JP2022549051A true JP2022549051A (ja) 2022-11-24
JP7304594B2 JP7304594B2 (ja) 2023-07-07

Family

ID=71602414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021578265A Active JP7304594B2 (ja) 2019-07-05 2020-06-30 ディープラーニングモデルを用いた画像診断装置及びその方法

Country Status (7)

Country Link
US (1) US20220270756A1 (ja)
EP (1) EP3996103A4 (ja)
JP (1) JP7304594B2 (ja)
KR (1) KR102132375B1 (ja)
CN (1) CN114127858A (ja)
BR (1) BR112022000075A2 (ja)
WO (1) WO2021006522A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7456512B2 (ja) 2020-08-31 2024-03-27 日本電気株式会社 学習装置、学習方法および学習プログラム
KR20230041921A (ko) * 2021-09-17 2023-03-27 주식회사 온택트헬스 체내 장기 또는 근육의 이상 유무를 판단하는 방법 및 장치
WO2023074829A1 (ja) * 2021-10-29 2023-05-04 国立大学法人大阪大学 認知機能評価システム、及び学習方法
KR102437348B1 (ko) * 2021-12-20 2022-08-29 (주)씨어스테크놀로지 웨어러블 심전도 신호 분석 방법
US20240161458A1 (en) * 2022-11-10 2024-05-16 Samsung Electronics Co., Ltd. Method and device with object classification
CN117058467B (zh) * 2023-10-10 2023-12-22 湖北大学 一种胃肠道病变类型识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180025093A (ko) * 2016-08-30 2018-03-08 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
WO2019075410A1 (en) * 2017-10-13 2019-04-18 Ai Technologies Inc. DIAGNOSIS BASED ON DEEP LEARNING AND RECOMMENDATION OF OPHTHALMIC DISEASES AND DISORDERS
US20190130279A1 (en) * 2017-10-27 2019-05-02 Robert Bosch Gmbh Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012123718A1 (en) * 2011-03-14 2012-09-20 The University Of Warwick Histology analysis
US10269114B2 (en) * 2015-06-12 2019-04-23 International Business Machines Corporation Methods and systems for automatically scoring diagnoses associated with clinical images
JP6765911B2 (ja) * 2016-09-15 2020-10-07 三菱重工業株式会社 分類装置、分類方法およびプログラム
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180025093A (ko) * 2016-08-30 2018-03-08 주식회사 루닛 약한 지도 학습 기반의 기계 학습 방법 및 그 장치
WO2019075410A1 (en) * 2017-10-13 2019-04-18 Ai Technologies Inc. DIAGNOSIS BASED ON DEEP LEARNING AND RECOMMENDATION OF OPHTHALMIC DISEASES AND DISORDERS
US20190130279A1 (en) * 2017-10-27 2019-05-02 Robert Bosch Gmbh Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder

Also Published As

Publication number Publication date
BR112022000075A2 (pt) 2022-03-22
CN114127858A (zh) 2022-03-01
JP7304594B2 (ja) 2023-07-07
EP3996103A1 (en) 2022-05-11
WO2021006522A1 (ko) 2021-01-14
KR102132375B1 (ko) 2020-07-09
EP3996103A4 (en) 2023-08-02
US20220270756A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
JP7304594B2 (ja) ディープラーニングモデルを用いた画像診断装置及びその方法
CN111127389B (zh) 用于医疗保健的可扩展人工智能模型生成系统和方法
Elmuogy et al. An efficient technique for CT scan images classification of COVID-19
Maghari COVID-19 Detection in X-ray Images using CNN Algorithm
US20200380339A1 (en) Integrated neural networks for determining protocol configurations
Chagas et al. A new approach for the detection of pneumonia in children using CXR images based on an real-time IoT system
Das et al. CoviLearn: A machine learning integrated smart X-ray device in healthcare cyber-physical system for automatic initial screening of COVID-19
Naralasetti et al. Deep Learning Models for Pneumonia Identification and Classification Based on X-Ray Images.
Asswin et al. Transfer learning approach for pediatric pneumonia diagnosis using channel attention deep CNN architectures
WO2022031807A1 (en) Real time medical image processing using deep learning accelerator with integrated random access memory
Nawaz et al. Ensemble of Autoencoders for Anomaly Detection in Biomedical Data: A Narrative Review
Unnisa et al. Deep neural network architecture and applications in healthcare
Mohammed et al. Corona Virus Detection and Classification with radiograph images using RNN
Vijaya et al. Classification of Pneumonia using InceptionNet, ResNet and CNN
KS et al. CLASSIFICATION OF DEEP LEARNING ALGORITHM FOR RHEUMATOID ARTHRITIS PREDICTOR
Subashini et al. Detection of Covid-19 using Mask R-CNN
KR102490967B1 (ko) 흉부 단순 촬영 영상을 이용한 심장색전성 뇌경색의 진단 보조 방법 및 장치
Mehar et al. Covid-19 Prediction Through Chest X-Ray Image Datasets Using Deep Learning
Kumari et al. Automated Diabetic Retinopathy Grading based on the Modified Capsule Network Architecture
Madan et al. Abnormality Detection in Humerus Bone Radiographs Using DenseNet
US20230298175A1 (en) Machine learning model based method and analysis system for performing covid-19 testing according to eye image captured by smartphone
Nelson et al. Can convolutional neural networks identify external carotid artery calcifications?
Chan et al. Identifying Pediatric Vascular Anomalies With Deep Learning
Abdelhady DEEP LEARNING (CNN) MODEL FOR COVID-19 DETECTION FROM CHEST X-RAY IMAGES
Kumar et al. Recognition of Covid-19 using Capsule Neural Networks on Chest X-rays

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R150 Certificate of patent or registration of utility model

Ref document number: 7304594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150