JP2020089712A - 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム - Google Patents

情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2020089712A
JP2020089712A JP2019100649A JP2019100649A JP2020089712A JP 2020089712 A JP2020089712 A JP 2020089712A JP 2019100649 A JP2019100649 A JP 2019100649A JP 2019100649 A JP2019100649 A JP 2019100649A JP 2020089712 A JP2020089712 A JP 2020089712A
Authority
JP
Japan
Prior art keywords
endoscopic image
prediction
model
diagnostic
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019100649A
Other languages
English (en)
Other versions
JP2020089712A5 (ja
JP6872581B2 (ja
Inventor
貴雄 牧野
Takao Makino
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to CN202410051899.3A priority Critical patent/CN117814732A/zh
Priority to US17/252,942 priority patent/US20210407077A1/en
Priority to DE112019006011.2T priority patent/DE112019006011T5/de
Priority to PCT/JP2019/044578 priority patent/WO2020116115A1/ja
Priority to CN201980043891.XA priority patent/CN112399816B/zh
Publication of JP2020089712A publication Critical patent/JP2020089712A/ja
Publication of JP2020089712A5 publication Critical patent/JP2020089712A5/ja
Application granted granted Critical
Publication of JP6872581B2 publication Critical patent/JP6872581B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】疾病の診断に関する判定結果とともに判定に寄与した領域を提示する情報処理装置等を提供すること。【解決手段】情報処理装置は、内視鏡画像４９を取得する画像取得部と、内視鏡画像４９が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデル６１に、前記画像取得部が取得した内視鏡画像４９を入力して、出力される診断基準予測を取得する第１取得部と、前記内視鏡画像４９から、前記第１取得部が取得した診断基準予測に影響を及ぼした領域を抽出する抽出部６６と、前記第１取得部が取得した診断基準予測と、前記抽出部６６が抽出した領域を示す指標７８１と、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測とを関連づけて出力する出力部とを備える。【選択図】図３４

Description

本発明は、情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラムに関する。
内視鏡画像等のテクスチャ解析を行ない、病理診断に対応した分類を行なう画像処理装置が提案されている。このような診断支援技術を利用することにより、高度に専門的な知識と経験を有しない医師であっても、速やかに診断を行なえる。
特開２０１７−７０６０９号公報
しかしながら、特許文献１の画像処理装置による分類はユーザにとってはブラックボックスである。したがって、出力された分類について、ユーザが分類の理由を理解し、納得できるとは限らない。
たとえば、潰瘍性大腸炎（ＵＣ：Ulcerative Colitis）においては、同一の内視鏡画像を見た専門医同士の間で、判断が分かれる場合があることが知られている。このような疾病である場合、診断支援技術による判定結果について、ユーザである医師が納得できない可能性がある。
一つの側面では、疾病の診断に関する判定結果とともに判定に寄与した領域を提示する情報処理装置等を提供することを目的とする。
情報処理装置は、内視鏡画像を取得する画像取得部と、内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデルに、前記画像取得部が取得した内視鏡画像を入力して、出力される診断基準予測を取得する第１取得部と、前記内視鏡画像から、前記第１取得部が取得した診断基準予測に影響を及ぼした領域を抽出する抽出部と、前記第１取得部が取得した診断基準予測と、前記抽出部が抽出した領域を示す指標と、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測とを関連づけて出力する出力部とを備える。
疾病の診断に関する判定結果とともに判定に寄与した領域を提示する情報処理装置等を提供できる。
診断支援システムの概要を説明する説明図である。 診断支援システムの構成を説明する説明図である。 第１スコア学習モデルの構成を説明する説明図である。 第２モデルの構成を説明する説明図である。 診断支援システムの動作を模式的に説明するタイムチャートである。 プログラムの処理の流れを説明するフローチャートである。 第１変形例の診断支援システムの概要を説明する説明図である。 第２変形例の画面表示を説明する説明図である。 第３変形例の画面表示を説明する説明図である。 第４変形例の動作を模式的に説明するタイムチャートである。 モデルを生成する処理の概要を説明する説明図である。 モデル生成システムの構成を説明する説明図である。 教師データＤＢのレコードレイアウトを説明する説明図である。 教師データ入力画面を説明する説明図である。 教師データ入力画面を説明する説明図である。 学習モデルを生成するプログラムの処理の流れを説明するフローチャートである。 学習モデルを更新するプログラムの処理の流れを説明するフローチャートである。 教師データを収集するプログラムの処理の流れを説明するフローチャートである。 実施の形態３の診断支援システムの概要を説明する説明図である。 第２モデルから取得される特徴量を説明する説明図である。 特徴量とスコアとの変換を説明する説明図である。 特徴量ＤＢのレコードレイアウトを説明する説明図である。 変換器を作成するプログラムの処理の流れを説明するフローチャートである。 実施の形態３の内視鏡検査時のプログラムの処理の流れを説明するフローチャートである。 実施の形態４の診断支援システムの概要を説明する説明図である。 実施の形態４の内視鏡画像とスコアとの変換を説明する説明図である。 実施の形態４の変換器を作成するプログラムの処理の流れを説明するフローチャートである。 実施の形態４の内視鏡検査時のプログラムの処理の流れを説明するフローチャートである。 実施の形態５の診断支援システムの概要を説明する説明図である。 実施の形態６の第１スコア学習モデルの構成を説明する説明図である。 実施の形態６の画面表示を説明する説明図である。 実施の形態７の画面表示を説明する説明図である。 実施の形態８の診断支援システムの概要を説明する説明図である。 実施の形態９の診断支援システムの概要を説明する説明図である。 第１モデルの構成を説明する説明図である。 抽出部の構成を説明する説明図である。 実施の形態９のプログラムの処理の流れを説明するフローチャートである。 注目領域抽出のサブルーチンの処理の流れを説明するフローチャートである。 実施の形態９の第１変形例の画面表示を説明する説明図である。 実施の形態９の第２変形例の画面表示を説明する説明図である。 実施の形態９の第３変形例の画面表示を説明する説明図である。 実施の形態１０の注目領域抽出のサブルーチンの処理の流れを説明するフローチャートである。 実施の形態１１の情報処理装置の機能ブロック図である。 実施の形態１２の診断支援システムの構成を説明する説明図である。
［実施の形態１］
本実施の形態においては、潰瘍性大腸炎の診断を支援する診断支援システム１０を例にして説明する。潰瘍性大腸炎は、大腸の粘膜に炎症が生じる炎症性腸疾患の一つである。患部は直腸から大腸の全周にわたって発生し、口側に向けて進行することが知られている。
症状が強く現れる活動期と、症状が治まる寛解期とを繰り返す場合があること、および、炎症が継続する場合には大腸がんの発症リスクが高くなること等から、発症後は定期的な大腸内視鏡検査による経過観察が推奨されている。
医師は、大腸内視鏡の先端をたとえば盲腸まで挿入した後に、抜去しながら内視鏡画像を観察する。患部、すなわち炎症が発生している部分では、内視鏡画像全体に炎症が拡がってみえる。
ＷＨＯ（World Hearth Organization）等の公的機関、医学会、および各医療機関等で、様々な疾病を診断する際に使用する診断基準がそれぞれ定められている。たとえば潰瘍性大腸炎では、患部の赤みの程度、血管の見え方を意味する血管透見の程度、および、潰瘍の程度等の複数の項目が診断基準に挙げられている。
医師は、診断基準の各項目を検討した上で、総合的に判断して内視鏡１４により観察中の部位を診断する。診断は、観察中の部位が潰瘍性大腸炎の患部であるか否かの判断、および、患部である場合には重度であるか、軽度であるか等の重症度の判断を含む。熟練した医師は、大腸内視鏡を抜去しながら、診断基準の各項目を検討して、観察中の位置についての診断をリアルタイムで行なう。医師は、大腸内視鏡を抜去する過程の診断を総合して、潰瘍性大腸炎により炎症が生じている患部の範囲を判断する。
図１は、診断支援システム１０の概要を説明する説明図である。内視鏡１４（図２参照）を用いて撮影された内視鏡画像４９は、第１モデル６１および第２モデル６２に入力される。第２モデル６２は、内視鏡画像４９が入力された場合に、潰瘍性大腸炎の状態に関する診断予測を出力する。図１に示す例では、正常、すなわち潰瘍性大腸炎の患部ではない確率が７０パーセントであり、軽度の潰瘍性大腸炎である確率が２０パーセントであるという診断予測が出力されている。第２モデル６２の詳細については後述する。
第１モデル６１は、第１スコア学習モデル６１１、第２スコア学習モデル６１２および第３スコア学習モデル６１３を含む。以下の説明において、第１スコア学習モデル６１１から第３スコア学習モデル６１３までを特に区別する必要がない場合には、単に第１モデル６１と記載する場合がある。
第１スコア学習モデル６１１は、内視鏡画像４９が入力された場合に、赤みの程度に関する評価を数値化した第１スコアの予測値を出力する。第２スコア学習モデル６１２は、内視鏡画像４９が入力された場合に、血管透見の程度に関する評価を数値化した第２スコアの予測値を出力する。第３スコア学習モデル６１３は、内視鏡画像４９が入力された場合に、潰瘍の程度に関する評価を数値化した第３スコアの予測値を出力する。
赤みの程度、血管透見の程度および潰瘍の程度は、医師が潰瘍性大腸炎の状態を診断する際に用いる診断基準に含まれる診断基準項目の例示である。第１スコアから第３スコアの予測値は、潰瘍性大腸炎の診断基準に関する診断基準予測の例示である。
図１に示す例では、第１スコアは１０、第２スコアは５０、第３スコアは５であるという予測値が出力されている。なお、第１モデル６１は、易出血性の程度、および、分泌物付着の程度等の、潰瘍性大腸炎に関する様々な診断基準項目に関する評価を数値化したスコアの予測値を出力するスコア学習モデルを含んでも良い。第１モデル６１の詳細については後述する。
第１モデル６１および第２モデル６２の出力が、それぞれ第１取得部および第２取得部に取得される。第１取得部および第２取得部が取得した出力に基づいて、図１の下部に示す画面が表示装置１６（図２参照）に表示される。表示される画面は、内視鏡画像欄７３、第１結果欄７１、第１停止ボタン７１１、第２結果欄７２および第２停止ボタン７２２を含む。
内視鏡画像欄７３には、内視鏡１４を用いて撮影された内視鏡画像４９がリアルタイムで表示されている。第１結果欄７１には、第１モデル６１から出力された診断基準予測が一覧表示されている。第２結果欄７２には第２モデル６２から出力された診断予測が表示されている。
第１停止ボタン７１１は、第１モデル６１の動作停止指示を受け付ける第１受付部の一例である。すなわち、第１停止ボタン７１１が選択された場合、第１モデル６１を使用したスコアの予測値の出力が停止する。第２停止ボタン７２２は、第２モデル６２の動作停止指示を受け付ける第２受付部の一例である。すなわち、第２停止ボタン７２２が選択された場合、第２モデル６２を使用したスコアの予測値の出力が停止する。
医師は、第１結果欄７１に表示された診断基準予測を参照することにより、第２結果欄７２に表示された診断予測が診断基準に照らして妥当であるか否かの根拠を確認し、第１結果欄７１に表示された診断予測を採用するか否かを判断する。
図２は、診断支援システム１０の構成を説明する説明図である。診断支援システム１０は、内視鏡１４と、内視鏡用プロセッサ１１と、情報処理装置２０とを含む。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ（Interface）２６、入力装置Ｉ／Ｆ２７およびバスを備える。
内視鏡１４は、先端部に撮像素子１４１を有する長尺の挿入部１４２を備える。内視鏡１４は、内視鏡コネクタ１５を介して内視鏡用プロセッサ１１に接続されている。内視鏡用プロセッサ１１は、撮像素子１４１から映像信号を受信して各種の画像処理を行ない、医師による観察に適した内視鏡画像４９を生成する。すなわち、内視鏡用プロセッサ１１は、内視鏡１４から取得した映像信号に基づいて内視鏡画像４９を生成する画像生成部の機能を果たす。
制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。
主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。
補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置２３には、第１モデル６１、第２モデル６２、制御部２１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。前述のとおり、第１モデル６１は、第１スコア学習モデル６１１、第２スコア学習モデル６１２および第３スコア学習モデル６１３を含む。なお、第１モデル６１および第２モデル６２は情報処理装置２０に接続された外部の大容量記憶装置に記憶されていてもよい。
通信部２４は、情報処理装置２０とネットワークとの間のデータ通信を行なうインターフェイスである。表示装置Ｉ／Ｆ２６は、情報処理装置２０と表示装置１６とを接続するインターフェイスである。表示装置１６は、第１モデル６１から取得された診断基準予測と、第２モデル６２から取得された診断予測とを出力する出力部の一例である。
入力装置Ｉ／Ｆ２７は、情報処理装置２０とキーボード１７等の入力装置とを接続するインターフェイスである。情報処理装置２０は、汎用のパソコン、タブレット、またはスマートフォン等の情報機器である。
図３は、第１スコア学習モデル６１１の構成を説明する説明図である。第１スコア学習モデル６１１は、内視鏡画像４９が入力された場合に、第１スコアの予測値を出力する。
第１スコアは、熟練した医師がその内視鏡画像４９を見た場合に、潰瘍性大腸炎の診断基準に基づいて判断した赤みの程度を数値化した値である。たとえば、「赤みなし」を０点、「強度の発赤」を１００点のように１００点満点で医師がスコアを定める。
なお、医師は「赤みなし」、「軽度」、「中度」、「重度」のように４段階で判断し、「赤みなし」を０点、「軽度」を１点、「中度」を２点、「重度」を３点のようにスコア化しても良い。スコアは、「重度」の方が小さい数値になるように定めてもよい。
本実施の形態の第１スコア学習モデル６１１は、たとえばＣＮＮ（Convolutional Neural Network）を用いた機械学習により生成された学習モデルである。第１スコア学習モデル６１１は、入力層５３１、中間層５３２、出力層５３３、および、図示を省略する畳み込み層とプーリング層とを有するニューラルネットワークモデル５３により構成される。第１スコア学習モデル６１１の生成方法については、後述する。
第１スコア学習モデル６１１に、内視鏡画像４９が入力される。入力された画像は、畳み込み層およびプーリング層により繰り返し処理が行なわれた後に、全結合層に入力される。出力層５３３に、第１スコアの予測値が出力される。
同様に、第２スコアは、熟練した専門医が内視鏡画像４９を見た場合に、潰瘍性大腸炎の診断基準に基づいて血管透見の程度を判断した数値である。第３スコアは、熟練した専門医が内視鏡画像４９を見た場合に、潰瘍性大腸炎の診断基準に基づいて潰瘍の程度を判断した数値である。第２スコア学習モデル６１２および第３スコア学習モデル６１３の構成は、第１スコア学習モデル６１１と同様であるため、図示および説明を省略する。
図４は、第２モデル６２の構成を説明する説明図である。第２モデル６２は、内視鏡画像４９が入力された場合に、潰瘍性大腸炎の診断予測を出力する。診断予測は、熟練した専門医がその内視鏡画像４９を見た場合に、潰瘍性大腸炎についてどのように診断するかに関する予測である。
本実施の形態の第２モデル６２は、たとえばＣＮＮを用いた機械学習により生成された学習モデルである。第２モデル６２は、入力層５３１、中間層５３２、出力層５３３、および、図示を省略する畳み込み層とプーリング層とを有するニューラルネットワークモデル５３により構成される。第２モデル６２の生成方法については、後述する。
第２モデル６２に、内視鏡画像４９が入力される。入力された画像は、畳み込み層およびプーリング層により繰り返し処理が行なわれた後に、全結合層に入力される。出力層５３３に、診断予測が出力される。
図４においては、出力層５３３は内視鏡画像４９を熟練した専門医が見た場合の判断が、重度の潰瘍性大腸炎である確率、中度の潰瘍性大腸炎である確率、軽度の潰瘍性大腸炎である確率および、正常、すなわち潰瘍性大腸炎の患部ではない確率をそれぞれ出力する４個の出力ノードを有する。
図５は、診断支援システム１０の動作を模式的に説明するタイムチャートである。図５Ａは、撮像素子１４１による撮影のタイミングを示す。図５Ｂは、内視鏡用プロセッサ１１内の画像処理により、内視鏡画像４９を生成するタイミングを示す。図５Ｃは、内視鏡画像４９に基づいて第１モデル６１および第２モデル６２が予測を出力するタイミングを示す。図５Ｄは、表示装置１６への表示のタイミングを示す。図５Ａから図５Ｄまでの横軸は、いずれも時間を示す。
時刻ｔ0に撮像素子１４１により「ａ」のフレームが撮影される。映像信号が内視鏡用プロセッサ１１に伝送される。内視鏡用プロセッサ１１が画像処理を行ない、時刻ｔ1に「ａ」の内視鏡画像４９を生成する。制御部２１は、内視鏡用プロセッサ１１が生成した内視鏡画像４９を取得して、第１モデル６１および第２モデル６２に入力する。時刻ｔ2に、制御部２１は第１モデル６１および第２モデル６２からそれぞれ出力される予測を取得する。
時刻ｔ3に、制御部２１は「ａ」のフレームの内視鏡画像４９および予測を表示装置１６に出力する。以上で、撮像素子１４１が撮影した１フレーム分の画像の処理が終了する。同様に、時刻ｔ6に撮像素子１４１により「ｂ」のフレームが撮影される。時刻ｔ7に「ｂ」の内視鏡画像４９が生成される。制御部２１は、時刻ｔ8に予測を取得し、時刻ｔ9に「ｂ」のフレームの内視鏡画像４９および予測を表示装置１６に出力する。「ｃ」のフレーム以降の動作も同様であるため、説明を省略する。以上により、内視鏡画像４９と、第１モデル６１および第２モデル６２による予測とが同期して表示される。
図６は、プログラムの処理の流れを説明するフローチャートである。図６を使用して説明するプログラムは、制御部２１が内視鏡用プロセッサ１１から１フレームの内視鏡画像４９を取得するたびに実行される。
制御部２１は、内視鏡用プロセッサ１１から内視鏡画像４９を取得する（ステップＳ５０１）。制御部２１は、取得した内視鏡画像４９を第２モデル６２に入力して、出力層５３３から出力される診断予測を取得する（ステップＳ５０２）。制御部２１は、取得した内視鏡画像４９を、第１モデル６１を構成するスコア学習モデルの一つに入力して、出力層５３３から出力されるスコアの予測値を取得する（ステップＳ５０３）。
制御部２１は、第１モデル６１を構成するスコア学習モデルの処理を終了したか否かを判定する（ステップＳ５０４）。終了していないと判定した場合（ステップＳ５０４でＮＯ）、制御部２１は、ステップＳ５０３に戻る。
終了したと判定した場合（ステップＳ５０４でＹＥＳ）、制御部２１は、図１の下部を使用して説明した画像を生成して、表示装置１６に出力する（ステップＳ５０５）。制御部２１は、処理を終了する。
本実施の形態によると、第１モデル６１から出力された診断基準予測と、第２モデル６２から出力された診断予測とを、内視鏡画像４９とともに表示する診断支援システム１０を提供できる。医師は、内視鏡画像４９を観察しながら、熟練した専門医が同じ内視鏡画像４９を見た場合の診断を予測した診断予測、および、診断基準予測を確認できる。
医師は、第１結果欄７１に表示された診断基準予測を参照することにより、第２結果欄７２に表示された診断予測が診断基準に照らして妥当であるか否かの根拠を確認し、第１結果欄７１に表示された診断予測を採用するか否かを判断できる。
第２結果欄７２には、最も確率の高い項目と、その確率のみが表示されても良い。表示する文字数を減らすことにより、文字サイズを大きくできる。医師は、内視鏡画像欄７３を注視しながら、第２結果欄７２の表示の変化を感知できる。
医師は、第１停止ボタン７１１を選択することにより、スコアの予想および表示を停止できる。医師は、第２停止ボタン７２２を選択することにより、診断予測および診断予測の表示を停止できる。医師は、第１停止ボタン７１１または第２停止ボタン７２２を再度選択することにより、診断予測および診断基準予測の表示を再開できる。
第１停止ボタン７１１および第２停止ボタン７２２は、キーボード１７、マウス、タッチパネルまたは音声入力等の任意の入力装置から操作可能である。第１停止ボタン７１１および第２停止ボタン７２２は、内視鏡１４の操作部に設けられた制御ボタン等を用いて操作可能であっても良い。
たとえば、ポリープの切除またはＥＭＲ（Endoscopic Mucosal Resection：内視鏡的粘膜切除術）等の内視鏡下処置を行なう場合には、撮像素子１４１による撮影から表示装置１６への表示までのタイムラグは、できる限り短いことが望ましい。医師は、第１停止ボタン７１１および第２停止ボタン７２２を選択して診断予測および診断基準予測を停止することにより、タイムラグを短くできる。
なお、第１モデル６１を構成する各スコア学習モデルを用いた診断基準予測と、第２モデル６２を用いた診断予測とは、並列処理により実施されても良い。並列処理を用いることにより、表示装置１６への表示のリアルタイム性を向上させることができる。
本実施の形態によると、たとえば潰瘍性大腸炎等の所定の疾病に関する判定結果とともに判定理由を提示する情報処理装置２０等を提供できる。医師は、第２モデル６２により出力される疾病の診断確率と、第１モデル６１により出力される診断基準に関するスコアとの両方を見ることにより、診断基準に基づく正しい結果が出力されている否かを確認できる。
仮に、第２モデル６２による出力と、第１モデル６１により出力との間に齟齬がある場合、医師は潰瘍性大腸炎以外の疾病を疑い、指導医への相談、または、必要な検査の追加等の対処を行なえる。以上により、稀な疾病の見落とし等を避けることができる。
第１モデル６１を用いた診断基準予測と、第２モデル６２を用いた診断予測とは、別々のハードウェアにより実行されても良い。
内視鏡画像４９は、電子カルテシステム等に記録された画像であっても良い。たとえば経過観察時に撮影されたそれぞれの画像を第１モデル６１に入力することにより、各スコアの時間的変化を比較できる診断支援システム１０を提供できる。
［第１変形例］
図７は、第１変形例の診断支援システム１０の概要を説明する説明図である。図２との相違点以外は説明を省略する。表示装置１６は、第１表示装置１６１と第２表示装置１６２とを含む。第１表示装置１６１は、表示装置Ｉ／Ｆ２６に接続されている。第２表示装置１６２は、内視鏡用プロセッサ１１に接続されている。第１表示装置１６１と第２表示装置１６２とは、隣接して配置されていることが望ましい。
第１表示装置１６１には、内視鏡用プロセッサ１１で生成された内視鏡画像４９がリアルタイムで表示される。第２表示装置１６２には、制御部２１が取得した診断予測および診断基準予測が表示される。
本変形例によると、内視鏡画像４９の表示のタイムラグを削減しながら、診断予測および診断基準予測を表示する診断支援システム１０を提供できる。
診断支援システム１０は、３個以上の表示装置１６を有しても良い。たとえば、内視鏡画像４９と、第１結果欄７１と第２結果欄７２とを、それぞれ異なる表示装置１６に表示しても良い。
［第２変形例］
図８は、第２変形例の画面表示を説明する説明図である。図１の下部との相違点以外は説明を省略する。本変形例においては、ＣＰＵ２１は、第１結果欄７１および第２結果欄７２をグラフ形式で出力する。
第１結果欄７１には、３つの診断基準予測が三軸のグラフ形式で表示されている。図８において上向きの軸は、第１スコアすなわち赤みに関するスコアの予測値を示す。右下向きの軸は、第２スコア、すなわち血管透見に関するスコアの予測値を示す。左下向きの軸は、第３スコア、すなわち潰瘍に関するスコアの予測値を示す。
第１スコア、第２スコアおよび第３スコアの予測値が、内側の三角形で表示される。第２結果欄７２には、第２モデル６２から出力された診断予測が棒グラフにより表示されている。本変形例によると、医師は、三角形および棒グラフを見ることにより診断基準予測を直感的に把握できる。
［第３変形例］
図９は、第３変形例の画面表示を説明する説明図である。図９は、クローン病の診断を支援する診断支援システム１０が表示する画面である。クローン病も、潰瘍性大腸炎と同様に炎症性腸疾患の一種である。図９では、第１スコアは腸管の長さ方向に延びる縦走潰瘍の程度を、第２スコアは密集した粘膜隆起である敷石像の程度を、第３スコアは、赤い斑点のアフタの程度をそれぞれ示す。
診断支援システム１０が診断を支援する疾病は、潰瘍性大腸炎およびクローン病に限定しない。適切な第１モデル６１および第２モデル６２を作成可能な任意の疾病の診断を支援する診断支援システム１０を提供できる。ユーザが、内視鏡検査中にどの疾病の診断を支援するかを切替可能であっても良い。複数の表示装置１６に、それぞれの疾病の診断を支援する情報を表示しても良い。
［第４変形例］
図１０は、第４変形例の動作を模式的に説明するタイムチャートである。図５と共通する部分については、説明を省略する。図１０は、第１モデル６１および第２モデル６２を用いた処理に長い時間を要する場合のタイムチャートの例を示す。
時刻ｔ0に撮像素子１４１により「ａ」のフレームが撮影される。内視鏡用プロセッサ１１が画像処理を行ない、時刻ｔ1に「ａ」の内視鏡画像４９を生成する。制御部２１は、内視鏡用プロセッサ１１が生成した内視鏡画像４９を取得して、第１モデル６１および第２モデル６２に入力する。時刻ｔ2に、制御部２１は表示装置１６に「ａ」の内視鏡画像４９を出力する。
時刻ｔ6に撮像素子１４１により「ｂ」のフレームが撮影される。内視鏡用プロセッサ１１が画像処理を行ない、時刻ｔ7に「ｂ」の内視鏡画像４９を生成する。「ｂ」の内視鏡画像４９は、第１モデル６１および第２モデル６２に入力されない。時刻ｔ8に、制御部２１は表示装置１６に「ｂ」の内視鏡画像４９を出力する。
時刻ｔ9に、制御部２１は第１モデル６１および第２モデル６２からそれぞれ出力される「ａ」の内視鏡画像４９に基づく予測を取得する。時刻ｔ10に、制御部２１は「ａ」の内視鏡画像４９に基づく予測を表示装置１６に出力する。時刻ｔ12に、撮像素子１４１により「ｃ」のフレームが撮影される。以後の処理は、時刻ｔ0から時刻ｔ10までと同様であるため、説明を省略する。以上により、内視鏡画像４９と、第１モデル６１および第２モデル６２による予測とが同期して表示される。
本変形例によると、第１モデル６１および第２モデル６２に入力する内視鏡画像４９を間引くことにより、第１モデル６１および第２モデル６２を使用した処理に時間を要する場合であっても、リアルタイムでの表示を実現できる。
［実施の形態２］
本実施の形態は、第１モデル６１および第２モデル６２を生成するモデル生成システム１９に関する。実施の形態１と共通する部分については、説明を省略する。
図１１は、モデルを生成する処理の概要を説明する説明図である。教師データＤＢ６４（図１２参照）に、内視鏡画像４９と、熟練した専門医等の有識者による判断結果とを関連づけた、複数組の教師データが記録されている。有識者による判断結果は、内視鏡画像４９に基づく潰瘍性大腸炎の診断、第１スコア、第２スコアおよび第３スコアである。
内視鏡画像４９と診断結果との組を教師データとした機械学習により、第２モデル６２が生成される。内視鏡画像４９と第１スコアとの組を教師データとした機械学習により、第１スコア学習モデル６１１が生成される。内視鏡画像４９と第２スコアとの組を教師データとした機械学習により、第２スコア学習モデル６１２が生成される。内視鏡画像４９と第３スコアとの組を教師データとした機械学習により、第３スコア学習モデル６１３が生成される。
図１２は、モデル生成システム１９の構成を説明する説明図である。モデル生成システム１９は、サーバ３０と、クライアント４０とを含む。サーバ３０は、制御部３１、主記憶装置３２、補助記憶装置３３、通信部３４およびバスを備える。クライアント４０は、制御部４１、主記憶装置４２、補助記憶装置４３、通信部４４、表示部４６、入力部４７およびバスを備える。
制御部３１は、本実施の形態のプログラムを実行する演算制御装置である。制御部３１には、一または複数のＣＰＵ、マルチコアＣＰＵまたはＧＰＵ等が使用される。制御部３１は、バスを介してサーバ３０を構成するハードウェア各部と接続されている。
主記憶装置３２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等の記憶装置である。主記憶装置３２には、制御部３１が行なう処理の途中で必要な情報および制御部３１で実行中のプログラムが一時的に保存される。
補助記憶装置３３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置３３には、制御部３１に実行させるプログラム、教師データＤＢ６４およびプログラムの実行に必要な各種データが保存される。さらに、制御部３１により生成された第１モデル６１および第２モデル６２も、補助記憶装置３３に保存される。なお、教師データＤＢ６４、第１モデル６１および第２モデル６２は、サーバ３０に接続された外部の大容量記憶装置等に保存されていても良い。
サーバ３０は、汎用のパソコン、タブレット、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。サーバ３０は、分散処理を行なう複数のパソコン等であっても良い。
制御部４１は、本実施の形態のプログラムを実行する演算制御装置である。制御部４１は、本実施の形態のプログラムを実行する演算制御装置である。制御部４１には、一または複数のＣＰＵまたはマルチコアＣＰＵまたはＧＰＵ等が使用される。制御部４１は、バスを介してクライアント４０を構成するハードウェア各部と接続されている。
主記憶装置４２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等の記憶装置である。主記憶装置４２には、制御部４１が行なう処理の途中で必要な情報および制御部４１で実行中のプログラムが一時的に保存される。
補助記憶装置４３は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置４３には、制御部４１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。
通信部４４は、クライアント４０とネットワークとの間のデータ通信を行なうインターフェイスである。表示部４６は、たとえば液晶表示パネルまたは有機ＥＬ（Electro Luminescence）表示パネル等である。入力部４７は、たとえばキーボード１７およびマウス等である。クライアント４０は、表示部４６と入力部４７とが積層されたタッチパネルを有しても良い。
クライアント４０は、教師データを作成する専門医等が使用する、汎用のパソコン、タブレット、またはスマートフォン等の情報機器である。クライアント４０は、制御部３１による制御に基づいてユーザインターフェイスを実現する、いわゆるシンクライアントであってもよい。シンクライアントを用いる場合、クライアント４０が行なう後述する処理の大部分は、制御部４１の代わりに制御部３１で実行される。
図１３は、教師データＤＢ６４のレコードレイアウトを説明する説明図である。教師データＤＢ６４は、第１モデル６１および第２モデル６２の生成に用いる教師データを記録するＤＢである。教師データＤＢ６４は、部位フィールド、疾病フィールド、内視鏡画像フィールド、内視鏡所見フィールド、およびスコアフィールドを有する。スコアフィールドは、赤みフィールド、血管透見フィールドおよび潰瘍フィールドを有する。
部位フィールドには、内視鏡画像４９が撮影された部位が記録されている。疾病フィールドには、教師データを作成する際に専門医等が判断を行なった疾病の名称が記録されている。内視鏡画像フィールドには、内視鏡画像４９が記録されている。内視鏡所見フィールドには、内視鏡画像４９を見て専門医等が判断した疾病の状態、すなわち内視鏡所見が記録されている。
赤みフィールドには、内視鏡画像４９を見て専門医等が判断した、赤みに関する第１スコアが記録されている。血管透見フィールドには、内視鏡画像４９を見て専門医等が判断した、血管透見に関する第２スコアが記録されている。潰瘍フィールドには、内視鏡画像４９を見て専門医等が判断した、血管に関する第３スコアが記録されている。教師データＤＢ６４は、１枚の内視鏡画像４９について１個のレコードを有する。
図１４および図１５は、教師データ入力画面を説明する説明図である。図１４は、既存の第１モデル６１および第２モデル６２を使用せずに教師データを作成する場合に、制御部４１が表示部４６に表示する画面の例を示す。
図１４に示す画面は、内視鏡画像欄７３、第１入力欄８１、第２入力欄８２、次ボタン８９、患者ＩＤ欄８６、疾病名欄８７およびモデルボタン８８を含む。第１入力欄８１は、第１スコア入力欄８１１、第２スコア入力欄８１２および第３スコア入力欄８１３を含む。図１４においては、モデルボタン８８は「モデル不使用」の状態に設定されている。
内視鏡画像欄７３には内視鏡画像４９が表示される。内視鏡画像４９は、教師データを入力する専門医等が実施した内視鏡検査により撮影された画像であっても、サーバ３０から配信された画像であっても良い。専門医等は、内視鏡画像４９に基づいて疾病名欄８７に表示された「潰瘍性大腸炎」に関する診断を行ない、第２入力欄８２の左端に設けられたチェックボックスを選択する。
なお「不適切画像」は、たとえば残渣が多い、または、ブレがある等の事情により、診断に使用するには不適切であると、専門医等が判断したことを意味する。「不適切画像」であると判断された内視鏡画像４９は、教師データＤＢ６４に記録されない。
専門医等は、内視鏡画像４９に基づいて第１スコアから第３スコアを判断して、第１スコア入力欄８１１から第３スコア入力欄８１３にそれぞれ入力する。入力終了後、専門医等は次ボタン８９を選択する。制御部４１は、内視鏡画像４９、第１入力欄８１への入力および第２入力欄８２への入力を、サーバ３０に送信する。制御部３１は、教師データＤＢ６４に新規レコードを追加して、内視鏡画像４９、内視鏡所見および各スコアを記録する。
図１５は、既存の第１モデル６１および第２モデル６２を参照して教師データを作成する場合に、制御部４１が表示部４６に表示する画面の例を示す。図１５においては、モデルボタン８８は「モデル使用中」の状態に設定されている。なお、既存の第１モデル６１および第２モデル６２が生成されていない場合には、モデルボタン８８は「モデル使用中」の状態が選択されないように設定されている。
内視鏡画像４９を第１モデル６１および第２モデル６２に入力した結果が、第１入力欄８１および第２入力欄８２に表示される。第２入力欄８２には、最も確率の高い項目の左端のチェックボックスに、デフォルトでチェックが入った状態になっている。
専門医等は、内視鏡画像４９に基づいて第１入力欄８１の各スコアが正しいか否かを判断し、必要に応じてスコアを変更する。専門医等は、内視鏡画像４９に基づいて第２入力欄８２のチェックが正しいか否かを判断し、必要に応じてチェックボックスを選択しなおす。第１入力欄８１および第２入力欄８２を適切な状態にした後、専門医等は次ボタン８９を選択する。以後の処理は、図１４を使用して説明した、「モデル不使用」である場合と同様であるため、説明を省略する。
図１６は、学習モデルを生成するプログラムの処理の流れを説明するフローチャートである。図１６を使用して説明するプログラムは、第１モデル６１を構成する各学習モデルおよび、第２モデル６２の生成に使用される。
制御部３１は、作成対象の学習モデルを選択する（ステップＳ５２２）。作成対象の学習モデルは、第１モデル６１を構成する各学習モデルのいずれか一つ、または第２モデル６２である。制御部３１は、教師データＤＢ６４から必要なフィールドを抽出して、内視鏡画像４９と出力データとのペアにより構成された教師データを作成する（ステップＳ５２３）。
たとえば、第１スコア学習モデル６１１を生成する場合には、出力データは赤みに関するスコアである。制御部３１は、教師データＤＢ６４から内視鏡画像フィールドおよび赤みフィールドを抽出する。同様に、第２モデル６２を生成する場合には、出力データは内視鏡所見である。制御部３１は、教師データＤＢ６４から内視鏡画像フィールドおよび内視鏡所見フィールドを抽出する。
制御部３１は、ステップＳ５２３で作成した教師データを、訓練データとテストデータとに分離する（ステップＳ５２４）。制御部３１は、訓練データを使用し、誤差逆伝播法等を用いて中間層５３２のパラメータを調整することにより、教師あり機械学習を行ない、学習モデルを生成する（ステップＳ５２５）。
制御部３１は、訓練データを用いて学習モデルの精度を検証する（ステップＳ５２６）。検証は、訓練データ中の内視鏡画像４９を学習モデルに入力した場合に、出力が内視鏡画像４９に対応する出力データと一致する確率を算出することにより行なわれる。
制御部３１は、ステップＳ５２５で生成した学習モデルの精度が合格であるか否かを判定する（ステップＳ５２７）。合格であると判定した場合（ステップＳ５２７でＹＥＳ）、制御部３１は補助記憶装置３３に学習モデルを記録する。（ステップＳ５２８）。
合格でないと判定した場合（ステップＳ５２７でＮＯ）、制御部３１は処理を終了するか否かを判定する（ステップＳ５２９）。たとえば、ステップＳ５２４からステップＳ５２９までの処理を所定の回数繰り返した場合に、制御部３１は処理を終了すると判定する。処理を終了しないと判定した場合（ステップＳ５２９でＮＯ）、制御部３１はステップＳ５２４に戻る。
処理を終了すると判定した場合（ステップＳ５２９でＹＥＳ）、または、ステップＳ５２８の終了後、制御部３１は、処理を終了するか否かを判定する（ステップＳ５３１）。処理を終了しないと判定した場合（ステップＳ５３１でＮＯ）、制御部３１はステップＳ５２２に戻る。処理を終了すると判定した場合（ステップＳ５３１でＹＥＳ）、制御部３１は処理を終了する。
なお、合格であると判定される学習モデルが生成されない場合には、教師データＤＢ６４に記録された各レコードの見直し、および、レコードの追加が行なわれた後に、図１６を使用して説明したプログラムが再度実行される。
図１６を使用して説明したプログラムで更新された第１モデル６１および第２モデル６２は、たとえば医薬品医療機器等法上の承認等の手続が終了した後に、ネットワークを介して、または、記録媒体を介して、情報処理装置２０に配信される。
図１７は、学習モデルを更新するプログラムの処理の流れを説明するフローチャートである。図１７を使用して説明するプログラムは、教師データＤＢ６４に追加のレコードが記録された場合に適宜実行される。なお、追加の教師データは、教師データＤＢ６４とは別のデータベースに記録されても良い。
制御部３１は、更新する対象の学習モデルを取得する（ステップＳ５４１）。制御部３１は、追加の教師データを取得する（ステップＳ５４２）。具体的には、制御部３１は、教師データＤＢ６４に追加されたレコードから、内視鏡画像フィールドに記録された内視鏡画像４９と、ステップＳ５４１で取得した学習モデルに対応する出力データとを取得する。
制御部３１は、内視鏡画像４９を学習モデルの入力データに、内視鏡画像４９に関連づけられた出力データを学習モデルの出力に設定する（ステップＳ５４３）。制御部３１は、誤差逆伝播法により、学習モデルのパラメータを更新する（ステップＳ５４４）。制御部３１は、更新されたパラメータを記録する（ステップＳ５４５）。
制御部３１は、教師データＤＢ６４に追加されたレコードの処理を終了したか否かを判定する（ステップＳ５４６）。終了していないと判定した場合（ステップＳ５４６でＮＯ）、制御部３１はステップＳ５４２に戻る。終了したと判定した場合（ステップＳ５４６でＹＥＳ）、制御部３１は処理を終了する。
図１７を使用して説明したプログラムで更新された第１モデル６１および第２モデル６２は、たとえば医薬品医療機器等法上の承認等の手続が終了した後に、ネットワークを介して、または、記録媒体を介して、情報処理装置２０に配信される。以上により、第１モデル６１および第２モデル６２が更新される。なお、第１モデル６１および第２モデル６２を構成する各学習モデルは、同時に更新されても、個別に更新されても良い。
図１８は、教師データを収集するプログラムの処理の流れを説明するフローチャートである。制御部４１は、図示を省略する電子カルテシステムまたは内視鏡用プロセッサ１１に搭載されたハードディスク等から、内視鏡画像４９を取得する（ステップＳ５５１）。制御部４１は、図１４を使用して説明したモデルボタン８８を介してモデルを使用する旨が選択されているか否かを判定する（ステップＳ５５２）。
モデルを使用する旨が選択されていないと判定した場合（ステップＳ５５２でＮＯ）、制御部４１は図１４を使用して説明した画面を表示部４６に表示する（ステップＳ５５３）。モデルを使用する旨が選択されていると判定した場合（ステップＳ５５２でＹＥＳ）、制御部４１はサーバ３０から第１モデル６１および第２モデル６２を取得する（ステップＳ５６１）。
なお、制御部４１は取得した第１モデル６１および第２モデル６２を補助記憶装置４３に一時的に記憶しても良い。このようにすることにより、制御部４１は２回目以降のステップＳ５６１の処理を省略できる。
制御部４１は、ステップＳ５５１で取得した内視鏡画像４９をステップＳ５６１で取得した第１モデル６１および第２モデル６２にそれぞれ入力して、出力層５３３から出力される推定結果を取得する（ステップＳ５６２）。制御部４１は、図１５を使用して説明した画面を表示部４６に表示する（ステップＳ５６３）。
ステップＳ５５３またはステップＳ５６３の終了後、制御部４１は入力部４７を介してユーザによる判断結果の入力を取得する（ステップＳ５６４）。制御部４１は、第２入力欄８２において「不適切画像」が選択されているか否かを判定する（ステップＳ５６５）。「不適切画像」が選択されていると判定した場合（ステップＳ５６５でＹＥＳ）、制御部４１は処理を終了する。
「不適切画像」が選択されていないと判定した場合（ステップＳ５６５でＮＯ）、制御部４１は内視鏡画像４９と、ユーザによる入力結果とを関連づけた教師レコードをサーバ３０に送信する（ステップＳ５６６）。なお、教師レコードは、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体を介して教師データＤＢ６４に記録されても良い。
制御部３１は、教師データＤＢ６４に新規レコードを作成して、受信した教師レコードを記録する。なお、たとえば複数の有識者が同じ内視鏡画像４９について判断を行ない、所定の数の有識者による判断が一致した場合に、教師データＤＢ６４に記録されても良い。このようにすることにより、教師データＤＢ６４の精度を高めることができる。
本実施の形態によると、教師データを収集、および、第１モデル６１および第２モデル６２の生成と更新とを行なえる。
［実施の形態３］
本実施の形態は、第２モデル６２の中間層５３２から抽出した特徴量に基づいて、診断基準に沿ったスコアを出力する診断支援システム１０に関する。実施の形態１または実施の形態２と共通する部分については、説明を省略する。
図１９は、実施の形態３の診断支援システム１０の概要を説明する説明図である。内視鏡１４を用いて撮影された内視鏡画像４９は、第２モデル６２に入力される。第２モデル６２は、内視鏡画像４９が入力された場合に、潰瘍性大腸炎の診断予測を出力する。後述するように、第２モデル６２の中間層５３２を構成するノードから、第１特徴量６５１、第２特徴量６５２および第３特徴量６５３等の特徴量６５が取得される。
第１モデル６１は、第１変換器６３１、第２変換器６３２および第３変換器６３３を含む。第１特徴量６５１が、第１変換器６３１により赤みの程度を示す第１スコアの予測値に変換される。第２特徴量６５２が、第２変換器６３２により血管透見の程度を示す第２スコアの予測値に変換される。第３特徴量６５３が、第３変換器６３３により潰瘍の程度を示す第３スコアの予測値に変換される。以後の説明において第１変換器６３１から第３変換器６３３までを特に区別しない場合には、変換器６３と記載する。
第１モデル６１および第２モデル６２の出力が、それぞれ第１取得部および第２取得部に取得される。第１取得部および第２取得部が取得した出力に基づいて、図１９の下部に示す画面が表示装置１６に表示される。表示される画面は、実施の形態１で説明した画面と同様であるため、説明を省略する。
図２０は、第２モデル６２から取得される特徴量を説明する説明図である。中間層５３２は、相互に連結された複数のノードを含む。第２モデル６２に内視鏡画像４９が入力された場合、それぞれのノードには内視鏡画像４９の種々の特徴量が現れる。例として、５個のノードに現れるそれぞれの特徴量を、特徴量Ａ６５Ａから特徴量Ｅ６５Ｅまでの記号で示す。
特徴量は、畳み込み層およびプーリング層により繰り返し処理が行なわれた後、全結合層に入力される直前のノードから取得されても、全結合層に含まれるノードから取得されても良い。
図２１は、特徴量とスコアとの変換を説明する説明図である。図２１の上部に、教師データＤＢ６４に含まれる教師データを模式的に示す。教師データＤＢ６４には、内視鏡画像４９と、専門医等の有識者による判断結果とを関連づけた教師データが記録されている。教師データＤＢ６４のレコードレイアウトは、図１３を使用して説明した実施の形態１の教師データＤＢ６４と同様であるため、説明を省略する。
前述のとおり、内視鏡画像４９が第２モデル６２に入力されて、特徴量Ａ６５Ａ等の複数の特徴量が取得される。取得した特徴量と、内視鏡画像４９に関連づけられた第１スコアから第３スコアとの間で相関解析が行なわれて、それぞれのスコアに対して相関の高い特徴量が選択される。図２１においては、第１スコアと特徴量Ａ６５Ａとの相関、第２スコアと特徴量Ｃ６５Ｃとの相関、および、第３スコアと特徴量Ｄ６５Ｄとの相関が高い場合を示す。
第１スコアと特徴量Ａ６５Ａとの回帰分析を行なうことにより第１変換器６３１が求められる。同様に、第２スコアと特徴量Ｃ６５Ｃとの回帰分析により第２変換器６３２が、第３スコアと特徴量Ｄ６５Ｄとの回帰分析により第３変換器６３３が、それぞれ求められる。回帰分析には線形回帰が用いられても、非線形回帰が用いられても良い。回帰分析は、ニューラルネットワークを用いて行なわれても良い。
図２２は、特徴量ＤＢのレコードレイアウトを説明する説明図である。特徴量ＤＢは、教師データと、内視鏡画像４９から取得した特徴量とを関連づけて記録するＤＢである。特徴量ＤＢは、部位フィールド、疾病フィールド、内視鏡画像フィールド、内視鏡所見フィールド、スコアフィールドおよび特徴量フィールドを有する。スコアフィールドは、赤みフィールド、血管透見フィールドおよび潰瘍フィールドを有する。特徴量フィールドは、Ａフィールド、Ｂフィールド等の多数のサブフィールドを有する。
部位フィールドには、内視鏡画像４９が撮影された部位が記録されている。疾病フィールドには、教師データを作成する際に専門医等が判断を行なった疾病の名称が記録されている。内視鏡画像フィールドには、内視鏡画像４９が記録されている。内視鏡所見フィールドには、内視鏡画像４９を見て専門医等が判断した疾病の状態、すなわち内視鏡所見が記録されている。
赤みフィールドには、内視鏡画像４９を見て専門医等が判断した、赤みに関する第１スコアが記録されている。血管透見フィールドには、内視鏡画像４９を見て専門医等が判断した、血管透見に関する第２スコアが記録されている。潰瘍フィールドには、内視鏡画像４９を見て専門医等が判断した、潰瘍に関する第３スコアが記録されている。特徴量フィールドの各サブフィールドには、中間層５３２の各ノードから取得された特徴量Ａ６４Ａ等の特徴量が記録されている。
特徴量ＤＢは、１枚の内視鏡画像４９について１個のレコードを有する。特徴量ＤＢは、補助記憶装置３３に記憶される。特徴量ＤＢは、サーバ３０に接続された外部の大容量記憶装置等に保存されていても良い。
図２３は、変換器６３を作成するプログラムの処理の流れを説明するフローチャートである。制御部３１は、教師データＤＢ６４から１個のレコードを選択する（ステップＳ５７１）。制御部３１は、内視鏡画像フィールドに記録された内視鏡画像４９を第２モデル６２に入力し、中間層５３２の各ノードから特徴量を取得する（ステップＳ５７２）。制御部３１は、特徴量ＤＢに新規レコードを作成し、ステップＳ５７１で取得したレコードに記録されているデータと、ステップＳ５７２で取得した特徴量とを記録する（ステップＳ５７３）。
制御部３１は、処理を終了するか否かを判定する（ステップＳ５７４）。たとえば、所定の数の教師データレコードの処理を終了した場合に、制御部３１は処理を終了すると判定する。処理を終了しないと判定した場合（ステップＳ５７４でＮＯ）、制御部３１はステップＳ５７１に戻る。
処理を終了すると判定した場合（ステップＳ５７４でＹＥＳ）、制御部３１は特徴量ＤＢのスコアフィールドから一つのサブフィールドを選択する（ステップＳ５７５）。制御部３１は、特徴量ＤＢの特徴量フィールドから一つのサブフィールドを選択する（ステップＳ５７６）。
制御部３１は、ステップＳ５７５で選択したスコアと、ステップＳ５７６で選択した特徴量との間の相関解析を行ない、相関係数を算出する（ステップＳ５７７）。制御部３１は、算出した相関係数を主記憶装置３２または補助記憶装置３３に一時的に記録する（ステップＳ５７８）。
制御部３１は、処理を終了するか否かを判定する（ステップＳ５７９）。たとえば、制御部３１は、スコアと特徴量とのすべての組合せの相関解析が完了した場合に、処理を終了すると判定する。制御部３１は、ステップＳ５７７で算出した相関係数が所定の閾値以上である場合に、処理を終了すると判定しても良い。
処理を終了しないと判定した場合（ステップＳ５７９でＮＯ）、制御部３１はステップＳ５７６に戻る。処理を終了すると判定した場合（ステップＳ５７９でＹＥＳ）、制御部３１はステップＳ５７５で選択したスコアと最も相関の高い特徴量を選択する（ステップＳ５８０）。
制御部３１は、ステップＳ５７５で選択したスコアを目的変数、ステップＳ５８０で選択した特徴量を説明変数にした回帰分析を行ない、特徴量をスコアに変換する変換器６３を特定するパラメータを算出する（ステップＳ５８１）。たとえば、ステップＳ５７５で選択したスコアが、第１スコアである場合、ステップＳ５８１で特定された変換器６３は第１変換器６３１であり、ステップＳ５７５で選択したスコアが、第２スコアである場合、ステップＳ５８１で特定された変換器６３は第２変換器６３２である。制御部３１は、算出した変換器６３を補助記憶装置３３に記憶する（ステップＳ５８２）。
制御部３１は、特徴量ＤＢのすべてのスコアフィールドの処理を終了したか否かを判定する（ステップＳ５８３）。終了していないと判定した場合（ステップＳ５８３でＮＯ）、制御部３１はステップＳ５７５に戻る。終了したと判定した場合（ステップＳ５８３でＹＥＳ）、制御部３１は処理を終了する。以上により、第１モデル６１を構成するそれぞれの変換器６３が生成される。
図２３を使用して説明したプログラムで作成された変換器６３を含む第１モデル６１は、たとえば医薬品医療機器等法上の承認等の手続が終了した後に、ネットワークを介して、または、記録媒体を介して、情報処理装置２０に配信される。
図２４は、実施の形態３の内視鏡検査時のプログラムの処理の流れを説明するフローチャートである。図２４のプログラムは図６を使用して説明したプログラムの代わりに、制御部２１により実行される。
制御部２１は、内視鏡用プロセッサ１１から内視鏡画像４９を取得する（ステップＳ５０１）。制御部２１は、取得した内視鏡画像４９を第２モデル６２に入力して、出力層５３３から出力される診断予測を取得する（ステップＳ５０２）。
制御部２１は、第２モデル６２の中間層５３２に含まれる所定のノードから特徴量を取得する（ステップＳ６０１）。所定のノードは、図２３を使用して説明したステップＳ５８０で選択された特徴量が取得されたノードである。制御部２１は、取得した特徴量を変換器６３により変換して、スコアを算出する（ステップＳ６０２）。
制御部２１は、すべてのスコアの算出を終了したか否かを判定する（ステップＳ６０３）。終了していないと判定した場合（ステップＳ６０３でＮＯ）、制御部２１はステップＳ６０１に戻る。終了したと判定した場合（ステップＳ６０３でＹＥＳ）、制御部２１は、図１９の下部を使用して説明した画像を生成して、表示装置１６に出力する（ステップＳ６０４）。制御部２１は、処理を終了する。
本実施の形態によると、深層学習により生成される学習モデルは第２モデル６２のみであるため、比較的少ない計算量で診断支援システム１０を実現できる。
第２モデル６２の中間層５３２から特徴量を取得することにより、人間が通常発想できる範囲の特徴量に限定されずに、スコアとの相関の高い特徴量を得ることができる。したがって、内視鏡画像４９に基づいてそれぞれの診断基準予測を精度良く算出できる。
なお、第１スコア、第２スコアおよび第３スコアのうちの一部は実施の形態１と同様の方法で算出されても良い。
［実施の形態４］
本実施の形態は、深層学習以外の手法に基づいて診断基準予測を算出する情報処理システムに関する。実施の形態１または実施の形態２と共通する部分については、説明を省略する。
図２５は、実施の形態４の診断支援システム１０の概要を説明する説明図である。内視鏡１４を用いて撮影された内視鏡画像４９は、第２モデル６２に入力される。第２モデル６２は、内視鏡画像４９が入力された場合に、潰瘍性大腸炎の診断予測を出力する。
第１モデル６１は、第１変換器６３１、第２変換器６３２および第３変換器６３３を含む。第１変換器６３１は、内視鏡画像４９が入力された場合に、赤みの程度を示す第１スコアの予測値を出力する。第２変換器６３２は、内視鏡画像４９が入力された場合に、血管透見の程度を示す第２スコアの予測値を出力する。第３変換器６３３は、内視鏡画像４９が入力された場合に、潰瘍の程度を示す第３スコアの予測値を出力する。
第１モデル６１および第２モデル６２の出力が、それぞれ第１取得部および第２取得部に取得される。第１取得部および第２取得部が取得した出力に基づいて、図２５の下部に示す画面が表示装置１６に表示される。表示される画面は、実施の形態１で説明した画面と同様であるため、説明を省略する。
図２６は、実施の形態４の内視鏡画像４９とスコアとの変換を説明する説明図である。なお、図２６においては、第２モデル６２の図示を省略する。
本実施の形態では、変換器Ａ６３Ａ、変換器Ｂ６３Ｂ等、内視鏡画像４９が入力された場合に特徴量を出力する様々な変換器６３が用いられる。たとえば、変換器Ａ６３Ａにより内視鏡画像４９が特徴量Ａ６５Ａに変換される。
変換器６３は、たとえば所定の条件を満たす画素の数または比率に基づいて、内視鏡画像４９を特徴量に変換する。変換器６３は、ＳＶＭ（Support Vector Machine）またはランダムフォレスト等を用いた分類により内視鏡画像４９を特徴量に変換しても良い。
変換器６３により変換された特徴量と、内視鏡画像４９に関連づけられた第１スコアから第３スコアとの間で相関解析が行なわれて、それぞれのスコアに対して相関の高い特徴量が選択される。図２６においては、第１スコアと特徴量Ａ６５Ａとの相関、第２スコアと特徴量Ｃ６５Ｃとの相関、および、第３スコアと特徴量Ｄ６５Ｄとの相関が高い場合を示す。
第１スコアと特徴量Ａ６５Ａとの回帰分析を行ない、変換器Ａ６３Ａと組み合わせることにより第１変換器６３１が求められる。同様に、第２スコアと特徴量Ｃ６５Ｃとの回帰分析を行ない、変換器Ｃ６３Ｃと組み合わせるにより第２変換器６３２が求められる。
図２７は、実施の形態４の変換器６３を作成するプログラムの処理の流れを説明するフローチャートである。制御部３１は、教師データＤＢ６４から１個のレコードを選択する（ステップＳ６１１）。制御部３１は、変換器Ａ６３Ａおよび変換器Ｂ６３Ｂ等の複数の変換器６３をそれぞれ使用して、内視鏡画像フィールドに記録された内視鏡画像４９を特徴量に変換する（ステップＳ６１２）。制御部３１は、特徴量ＤＢに新規レコードを作成し、ステップＳ６１１で取得したレコードに記録されているデータと、ステップＳ６１２で取得した特徴量とを記録する（ステップＳ６１３）。
制御部３１は、処理を終了するか否かを判定する（ステップＳ６１４）。たとえば、所定の数の教師データレコードの処理を終了した場合に、制御部３１は処理を終了すると判定する。処理を終了しないと判定した場合（ステップＳ６１４でＮＯ）、制御部３１はステップＳ６１１に戻る。
処理を終了すると判定した場合（ステップＳ６１４でＹＥＳ）、制御部３１は特徴量ＤＢのスコアフィールドから一つのサブフィールドを選択する（ステップＳ５７５）。ステップＳ５７５からステップＳ５８１までの処理は、図２３を使用して説明したプログラムの処理の流れと同一であるため、説明を省略する。
制御部３１は、回帰分析により得た結果と、ステップＳ６１２で内視鏡画像４９を特徴量に変換した変換器６３とを組み合わせて、新たな変換器６３を算出する（ステップＳ６２０）。制御部３１は、算出した変換器６３を補助記憶装置３３に記憶する（ステップＳ６２１）。
制御部３１は、特徴量ＤＢのすべてのスコアフィールドの処理を終了したか否かを判定する（ステップＳ６２２）。終了していないと判定した場合（ステップＳ６２２でＮＯ）、制御部３１はステップＳ５７５に戻る。終了したと判定した場合（ステップＳ６２２でＹＥＳ）、制御部３１は処理を終了する。以上により、第１モデル６１を構成するそれぞれの変換器６３が生成される。
図２７を使用して説明したプログラムで作成された変換器６３を含む第１モデル６１は、たとえば医薬品医療機器等法上の承認等の手続が終了した後に、ネットワークを介して、または、記録媒体を介して、情報処理装置２０に配信される。
図２８は、実施の形態４の内視鏡検査時のプログラムの処理の流れを説明するフローチャートである。図２８のプログラムは図６を使用して説明したプログラムの代わりに、制御部２１により実行される。
制御部２１は、内視鏡用プロセッサ１１から内視鏡画像４９を取得する（ステップＳ５０１）。制御部２１は、取得した内視鏡画像４９を第２モデル６２に入力して、出力層５３３から出力される診断予測を取得する（ステップＳ５０２）。
制御部２１は、取得した内視鏡画像４９を第１モデル６１に含まれる変換器６３に入力して、スコアを算出する（ステップＳ６３１）。
制御部２１は、すべてのスコアの算出を終了したか否かを判定する（ステップＳ６３２）。終了していないと判定した場合（ステップＳ６３２でＮＯ）、制御部２１はステップＳ６３１に戻る。終了したと判定した場合（ステップＳ６３２でＹＥＳ）、制御部２１は、図２５の下部を使用して説明した画像を生成して、表示装置１６に出力する（ステップＳ６３３）。制御部２１は、処理を終了する。
本実施の形態によると、深層学習により生成される学習モデルは第２モデル６２のみであるため、比較的少ない計算量で診断支援システム１０を実現できる。
なお、第１スコア、第２スコアおよび第３スコアのうちの一部は実施の形態１または実施の形態３と同様の方法で算出されても良い。
［実施の形態５］
本実施の形態は、がん、またはポリープ等の、限局性に発生する疾病の診断を支援する診断支援システム１０に関する。実施の形態１または実施の形態２と共通する部分については、説明を省略する。
図２９は、実施の形態５の診断支援システム１０の概要を説明する説明図である。内視鏡１４を用いて撮影された内視鏡画像４９は、第２モデル６２に入力される。第２モデル６２は、内視鏡画像４９が入力された場合に、ポリープ、または、がん等の病変部が存在すると予測された病変領域７４の範囲を予測した領域予測、および、その病変が良性であるか悪性であるか等の診断予測を出力する。図２９においては、病変領域７４内のポリープが「悪性」である確率は５％、「良性」である確率は９５％であると予測されている。
第２モデル６２は、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、または、ＹＯＬＯ（You Only Look Once）等の、任意の物体検出アルゴリズムを使用して生成された学習モデルである。医用画像の入力を受け付けて、病変部が存在する領域および診断予測を出力する学習モデルは従来から使用されているため、詳細については説明を省略する。
第１モデル６１は、第１スコア学習モデル６１１、第２スコア学習モデル６１２および第３スコア学習モデル６１３を含む。第１スコア学習モデル６１１は、病変領域７４内の画像が入力された場合に、境界の明瞭さの程度を示す第１スコアの予測値を出力する。第２スコア学習モデル６１２は、病変領域７４内の画像が入力された場合に、表面の凸凹不整の程度を示す第２スコアの予測値を出力する。第３スコア学習モデル６１３は、病変領域７４内の画像が入力された場合に、赤みの程度を示す第３スコアの予測値を出力する。
図２９に示す例では、第１スコアは５０、第２スコアは５、第３スコアは２０であるという予測値が出力されている。なお、第１モデル６１は、有茎性であるか等の形状、および、分泌物付着の程度等の、ポリープに関する様々な診断基準項目に関する診断基準予測を出力するスコア学習モデルを含んでも良い。
第１モデル６１および第２モデル６２の出力が、それぞれ第１取得部および第２取得部に取得される。第１取得部および第２取得部が取得した出力に基づいて、図２９の下部に示す画面が表示装置１６に表示される。表示される画面は、実施の形態１で説明した画面と同様であるため、説明を省略する。
内視鏡画像４９中に複数の病変領域７４が検出された場合には、それぞれの病変領域７４が第１モデル６１に入力され、診断基準予測が出力される。ユーザは、内視鏡画像欄７３中に表示された病変領域７４を選択することにより、当該病変領域７４に関する診断予測およびスコアを閲覧できる。なお、複数の病変領域７４に関する診断予測およびスコアを、画面上に一覧表示しても良い。
病変領域７４は、円形、楕円形または任意の閉曲線により囲まれていても良い。そのようにする場合には、周辺領域は黒色または白色でマスクすることにより、第１モデル６１への入力に適する形状に補正した画像が、第１モデル６１に入力される。たとえば、複数のポリープが近接している場合に、１個のポリープが含まれる領域を切り出して、第１モデル６１によりスコアを算出できる。
［実施の形態６］
本実施の形態は、第１モデル６１が疾病に関する診断基準に定められたそれぞれのカテゴリである確率を出力する診断支援システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
図３０は、実施の形態６の第１スコア学習モデル６１１の構成を説明する説明図である。図３０を使用して説明する第１スコア学習モデル６１１は、図３を使用して説明した第１スコア学習モデル６１１の代わりに使用される。
第１スコア学習モデル６１１は、内視鏡画像４９が入力された場合に、潰瘍性大腸炎の診断基準に基づいて赤みの程度が、「判定１」、「判定２」および「判定３」の３段階のそれぞれである確率を出力する、３個の出力ノードを出力層５３３に有する。「判定１」は赤みの程度は「正常」であることを、「判定２」は「紅斑」であることを、「判定３」は「強紅斑」であることを、それぞれ意味する。
同様に第２スコア学習モデル６１２においては、「判定１」は血管透見の程度は「正常」であることを、「判定２」は血管透見が「斑状に消失」していることを、「判定３」はほぼ全域にわたって「消失」していることを、それぞれ意味する。
なお、スコア学習モデルの出力層５３３のノードの数は任意である。本実施の形態においては、第３スコア学習モデル６１３は、「判定１」から「判定４」までの４個の出力ノードを出力層５３３に有する。「判定１」は潰瘍の程度は「なし」であることを、「判定２」は「びらん」であることを、「判定３」は「中位」の深さの潰瘍であることを、「判定４」は「深い」潰瘍であることを、それぞれ意味する。
図３１は、実施の形態６の画面表示を説明する説明図である。画面の左上部に、内視鏡画像欄７３が表示されている。画面の右側に、第１結果欄７１および第１停止ボタン７１１が表示されている。内視鏡画像欄７３の下側に、第２結果欄７２および第２停止ボタン７２２が表示されている。
本実施の形態によると、診断基準に定められた定義に沿った表現で第１結果欄７１を表示する診断支援システム１０を提供できる。
［実施の形態７］
本実施の形態は、第１モデル６１による出力と、第２モデル６２による出力との間に齟齬がある場合に、注意喚起の表示を行なう診断支援システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
図３２は、実施の形態７の画面表示を説明する説明図である。図３２に示す例では、正常である確率は７０％、赤みの程度を示す第１スコアは７０、血管透見の程度を示す第２スコアは５０、潰瘍の程度を示す第３スコアは５であるという診断基準予測が出力されている。
画面の下部に警告欄７５が表示されている。警告欄７５は、診断基準によると「赤み」の程度である第１スコアが高値である場合には、「正常」ではないと判定されるべきであるため、第１結果欄７１と第２結果欄７２との間に齟齬があることを示す。齟齬の有無は、診断基準に基づいてルールベースにより判定される。
このように、第１モデル６１による出力と、第２モデル６２による出力との間に齟齬がある場合に、警告欄７５が表示されることにより、ユーザである医師の注意を喚起できる。
［実施の形態８］
本実施の形態は、内視鏡用プロセッサ１１と情報処理装置２０とが一体である診断支援システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
図３３は、実施の形態８の診断支援システム１０の概要を説明する説明図である。なお、図３３においては、光源、送気送水ポンプおよび撮像素子１４１の制御部等の、内視鏡用プロセッサ１１の基本機能を実現する構成については、図示および説明を省略する。
診断支援システム１０は、内視鏡１４と、内視鏡用プロセッサ１１とを含む。内視鏡用プロセッサ１１は、内視鏡接続部１２、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ２６、入力装置Ｉ／Ｆ２７およびバスを備える。
制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ２６、入力装置Ｉ／Ｆ２７は、実施の形態１と同様であるため、説明を省略する。内視鏡１４は、内視鏡コネクタ１５を介して内視鏡接続部１２に接続されている。
本実施の形態によると、制御部２１は内視鏡接続部１２を介して内視鏡１４から映像信号を受信して各種の画像処理を行ない、医師による観察に適した内視鏡画像４９を生成する。制御部２１は、生成した内視鏡画像４９を第１モデル６１に入力して、診断基準に沿った各項目の診断基準予測を取得する。制御部２１は、生成した内視鏡画像４９を第２モデル６２に入力して、疾病の診断予測を取得する。
なお、第１モデル６１および第２モデル６２は、内視鏡１４から取得した映像信号、または、映像信号に基づいて内視鏡画像４９を生成する途中の画像を受け付けるように構成されていても良い。このようにすることにより、医師による観察に適した画像を生成する途中で失われる情報も利用可能な診断支援システム１０を提供できる。
［実施の形態９］
本実施の形態は、内視鏡画像４９中の、第１モデル６１から出力された診断基準予測に影響を及ぼした領域を表示する診断支援システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
図３４は、実施の形態９の診断支援システム１０の概要を説明する説明図である。図３４は、図１を使用して説明した実施の形態１の診断支援システム１０に、第２スコアに影響を及ぼした領域を抽出する抽出部６６を追加した診断支援システム１０を示す。
実施の形態１と同様に、内視鏡画像４９が第１モデル６１および第２モデル６２に入力され、それぞれの出力が第１取得部および第２取得部に取得される。内視鏡画像４９のうち、第２スコアに影響を及ぼした注目領域が、抽出部６６により抽出される。
抽出部６６は、たとえばＣＡＭ（Class Activation Mapping）、Ｇｒａｄ−ＣＡＭ（Gradient-weighted Class Activation Mapping）、または、Ｇｒａｄ−ＣＡＭ＋＋等の、公知の注目領域可視化手法のアルゴリズムにより実現できる。
抽出部６６は、制御部２１により実行されるソフトウェアにより実現されても、画像処理チップ等のハードウェアにより実現されても良い。以下の説明においては、抽出部６６がソフトウェアにより実現される場合を例にして説明する。
制御部２１は、第１取得部および第２取得部が取得した出力と、抽出部６６が抽出した注目領域とに基づいて、図３４の下部に示す画面を表示装置１６に表示する。表示される画面は、内視鏡画像欄７３、第１結果欄７１、第２結果欄７２および注目領域欄７８を含む。
内視鏡画像欄７３には、内視鏡１４を用いて撮影された内視鏡画像４９がリアルタイムで表示されている。第１結果欄７１には、第１モデル６１から出力された診断基準予測が表示されている。第２結果欄７２には第２モデル６２から出力された診断予測が表示されている。
図３４に示す例においては、第１結果欄７１の第２スコアを示す「血管透見」の項目がユーザにより選択されていることが、選択カーソル７６により表示されている。
注目領域欄７８には、抽出部６６により抽出された注目領域が注目領域指標７８１により表示されている。注目領域指標７８１は、第２スコアに対する影響の大小をヒートマップまたは等高線表示により表現する。図３４においては、注目領域指標７８１は、診断基準予測への影響が強い場所ほど細かいハッチングを用いて表示されている注目領域指標７８１は所定の閾値よりも第２スコアに対する影響の強い領域を囲む枠等により表現されても良い。
なお、第１スコアを示す「赤み」の項目がユーザにより選択されている場合には、選択カーソル７６は「赤み」の項目に表示される。抽出部６６は、第１スコアに影響を及ぼした領域を抽出する。同様に、第３スコアを示す「潰瘍」の項目がユーザにより選択されている場合には、選択カーソル７６は「潰瘍」の項目に表示される。抽出部６６は、第３スコアに影響を及ぼした領域を抽出する。いずれの診断基準項目もユーザにより選択されていない場合には、選択カーソル７６は表示されず、注目領域欄７８に注目領域指標７８１は表示されない。
診断支援システム１０は、複数の診断基準項目の選択を同時に受付可能であってもよい。そのようにする場合には、診断支援システム１０は選択を受け付けたそれぞれの診断基準項目に関する診断基準予測に影響を及ぼした領域を抽出する、複数の抽出部６６を有する。
図３５は、第１モデル６１の構成を説明する説明図である。本実施の形態においては、図３を使用して概要を説明した第１モデル６１の構成を、さらに詳しく説明する。
内視鏡画像４９は、特徴量抽出部５５１に入力する。特徴量抽出部５５１は、畳み込み層とプーリング層との繰り返しにより構成されている。畳み込み層においては、複数のフィルタのそれぞれと、入力画像との畳み込み処理が行なわれる。図３５において、積み重なった四角形は、それぞれ異なるフィルタとの畳み込み処理が行なわれた画像を模式的に示す。
プーリング層においては、入力画像が縮小される。特徴量抽出部５５１の最終層では、元の内視鏡画像４９の様々な特徴を反映した小さい画像が複数生成される。これらの画像の各画素を一次元に配列したデータが、全結合層５５２に入力する。特徴量抽出部５５１および全結合層５５２のパラメータは、機械学習により調整されている。
全結合層５５２の出力は、ソフトマックス層５５３により合計が１になるように調整されて、各ノードの予測確率がソフトマックス層５５３から出力される。表１に、ソフトマックス層５５３の出力の例を示す。
Figure 2020089712
たとえば、ソフトマックス層５５３の１番目のノードから、第１スコアの値が０以上２０未満である確率が出力される。ソフトマックス層５５３の２番目のノードから、第１スコアの値が２０以上４０未満である確率が出力される。全ノードの確率の合計は１である。
代表値算出部５５４によりソフトマックス層５５３の出力の代表値であるスコアが算出されて、出力される。代表値は、たとえばスコアの期待値、または中央値等である。
図３６は、抽出部６６の構成を説明する説明図である。制御部２１は、代表値算出部５５４によって算出されたスコアに対応するソフトマックス層５５３の出力ノードに「１」、それ以外の出力ノードに「０」を設定する。制御部２１は、全結合層５５２の逆伝搬を計算する。
制御部２１は、逆伝搬によって得られた特徴量抽出部５５１の最終層の画像に基づいてヒートマップを生成する。以上により、注目領域指標７８１が定められる。
ヒートマップの生成は、たとえばＣＡＭ（Class Activation Mapping）、Ｇｒａｄ−ＣＡＭ（Gradient-weighted Class Activation Mapping）、または、Ｇｒａｄ−ＣＡＭ＋＋等の公知の手法により行なえる。
なお、制御部２１は、特徴量抽出部５５１の逆伝搬を行ない、最終層以外の画像に基づいてヒートマップを生成しても良い。
たとえば、Ｇｒａｄ−ＣＡＭを用いる場合、具体的には、制御部２１は第１スコア学習モデル６１１、第２スコア学習モデル６１２、または第３スコア学習モデル６１３のモデルの種類と、複数の畳み込み層のうちのいずれかの層名とを受け付ける。制御部２１はＧｒａｄ−ＣＡＭのコードに受け付けたモデルの種類と層名とを入力し、勾配を求めた上でヒートマップを生成する。制御部２１は生成したヒートマップ、当該ヒートマップに対応するモデル名と層名とを表示装置１６に表示する。
図３７は、実施の形態９のプログラムの処理の流れを説明するフローチャートである。図３７のプログラムは図６を使用して説明したプログラムの代わりに、制御部２１により実行される。ステップＳ５０１からステップＳ５０４までの処理は、図６を使用して説明したプログラムの処理の流れと同一であるため、説明を省略する。
制御部２１は、注目領域に関する表示の選択を受け付けているか否かを判定する（ステップＳ６５１）。選択を受け付けていると判定した場合（ステップＳ６５１でＹＥＳ）、制御部２１は注目領域抽出のサブルーチンを起動する（ステップＳ６５２）。注目領域抽出のサブルーチンは、内視鏡画像４９から所定の診断基準予測に影響を及ぼした注目領域を抽出するサブルーチンである。注目領域抽出のサブルーチンの処理の流れは後述する。
選択を受け付けていないと判定した場合（ステップＳ６５１でＮＯ）、またはステップＳ６５２の終了後、制御部２１は、図３４の下部を使用して説明した画像を生成して、表示装置１６に出力する（ステップＳ６５３）。その後、制御部２１は処理を終了する。
図３８は、注目領域抽出のサブルーチンの処理の流れを説明するフローチャートである。注目領域抽出のサブルーチンは、内視鏡画像４９から所定の診断基準予測に影響を及ぼした注目領域を抽出するサブルーチンである。注目領域抽出のサブルーチンは、ソフトウェアにより抽出部６６の機能を実現する。
制御部２１は、代表値算出部５５４によって算出されたスコアに対応する、ソフトマックス層５５３の出力ノードを判定する（ステップＳ６８１）。制御部２１は、ステップＳ６８１で判定したノードに「１」、それ以外のソフトマックス層のノードに「０」を設定する。制御部２１は、全結合層５５２の逆伝搬を計算する（ステップＳ６８２）。
制御部２１は、特徴量抽出部５５１の最終層に対応する画像を生成する。制御部２１は、生成した複数の画像に所定の重み付けを行ない、画像上の各部位が、ソフトマックス層５５３に与えた重みを算出する。制御部２１は、重みの大きい部分に基づいて、注目領域指標７８１の形状および位置を定める（ステップＳ６８３）。
本実施の形態によると、内視鏡画像４９のどの部分が、診断基準予測に影響したかを表示する診断支援システム１０を提供できる。注目領域指標７８１と、内視鏡画像欄７３に表示された内視鏡画像４９とを見比べることにより、ユーザは内視鏡画像４９中のどの部分が診断基準予測に寄与したかを理解できる。たとえば、残渣が存在する部分またはフレアが存在する部分等、正常に撮影されていない部分が診断基準予測に寄与している場合には、ユーザは表示された診断基準予測を無視するべきであると判断できる。
内視鏡画像欄７３と注目領域欄７８とを分けて表示することにより、ユーザは注目領域指標７８１により阻害されずに内視鏡画像４９の色および質感等を観察できる。なお、内視鏡画像欄７３と注目領域欄７８とを同一スケールで表示することにより、ユーザは内視鏡画像４９と注目領域指標７８１との位置関係をさらに直感的に把握できる。
［第１変形例］
図３９は、実施の形態９の第１変形例の画面表示を説明する説明図である。本変形例においては、注目領域欄７８に内視鏡画像４９と注目領域指標７８１とを重畳して表示させている。すなわち、ＣＰＵ２１は内視鏡画像欄７３と注目領域欄７８とに同一の内視鏡画像４９を表示する。
本実施の形態によると、ユーザは内視鏡画像４９と注目領域指標７８１との位置関係をに直感的に把握できる。また、内視鏡画像欄７３を見ることにより、注目領域指標７８１に妨げられずに、内視鏡画像４９を観察できる。
［第２変形例］
本変形例は、実施の形態６の診断支援システム１０に対して注目領域指標７８１を表示する機能を追加する。表２に、第１スコア学習モデル６１１のソフトマックス層５５３の例を示す。
Figure 2020089712
たとえば、ソフトマックス層５５３の１番目のノードから、赤みの状態は「正常」である確率が出力される。ソフトマックス層５５３の２番目のノードから、「紅斑あり」である確率が出力される。ソフトマックス層５５３の３番目のノードから、「強紅斑あり」である確率が出力される。
代表値算出部５５４における演算は行なわれず、ソフトマックス層５５３の出力ノードがそのまま第１モデル６１から出力される。
図４０は、実施の形態９の第２変形例の画面表示を説明する説明図である。本変形例においては、第１結果欄７１に疾病に関する診断基準に定められたそれぞれのカテゴリである確率を出力される。
図４０に示す例においては、第１結果欄７１の第１スコアのうちの「正常」の項目および、第２スコアのうちの「斑状に消失」の項目がユーザにより選択されていることが、選択カーソル７６により表示されている。図４０の中央部に上下に並んだ２個の注目領域欄７８が表示されている。
第１スコアを例にして説明する。制御部２１は、ユーザにより選択された「正常」に対応するソフトマックス層５５３の出力ノードに「１」、それ以外の出力ノードに「０」を設定する。制御部２１は、全結合層５５２の逆伝搬を行ない、「正常」である確率が９０パーセントであるという判定に影響を与えた部分を示す注目領域指標７８１を生成する。
制御部２１は、上側の注目領域欄７８に、「赤み」が「正常」である確率に関する注目領域指標７８１を表示する。ユーザが、「紅斑」の項目に選択を変更した場合、制御部２１は「紅斑」に対応するソフトマックス層５５３の出力ノードに「１」、それ以外の出力ノードに「０」を設定する。制御部２１は、全結合層５５２の逆伝搬を行ない、「紅斑」である確率が１０パーセントであるという判定に影響を与えた部分を示す注目領域指標７８１を生成して、画面を更新する。
ユーザは、選択カーソル７６を操作して、たとえば「赤み」の項目のうちの「正常」の項目と、「紅斑」の項目とを選択しても良い。ユーザは、注目領域欄７８に「赤み」が「正常」である確率に影響を与えた部分と、「赤み」が「紅斑」である確率に影響を与えた部分とを、それぞれ確認できる。
［第３変形例］
本変形例は、診断予測の項目に対して注目領域指標７８１を表示する機能を追加する。図４１は、実施の形態９の第３変形例の画面表示を説明する説明図である。
図４１に示す例においては、第２結果欄７２の「軽度」の項目がユーザにより選択されていることが、選択カーソル７６により表示されている。注目領域欄７８には、潰瘍性大腸炎が「軽度」であるという判定に影響を及ぼす部位を示す、注目領域指標７８１が表示されている。
ユーザは、「軽度」である確率が２０％という判定に影響を与えた部分を、注目領域指標７８１により確認できる。ユーザは、たとえば注目領域指標７８１により示された場所を、異なる向きからさらに観察する等により、第２モデル６２による「軽度」であるという判定の当否を再確認できる。
［実施の形態１０］
本実施の形態は、逆伝搬を用いずに抽出部６６を実現する診断支援システム１０に関する。
図４２は、実施の形態１０の注目領域抽出のサブルーチンの処理の流れを説明するフローチャートである。注目領域抽出のサブルーチンは、内視鏡画像４９から所定の診断基準予測に影響を及ぼした注目領域を抽出するサブルーチンである。図４２を使用して説明するサブルーチンは、図３８を使用して説明したサブルーチンの代わりに実行される。
制御部２１は、内視鏡画像４９から１つの画素を選択する（ステップＳ６６１）。制御部２１は、ステップＳ６６１で選択した画素に微小な変化を付与する（ステップＳ６６２）。微小な変化は、選択した画素のＲＧＢ（Red Green Blue）のいずれかの値に１を加算または減算することにより付与する。
制御部２１は、変化を付与された内視鏡画像４９を、ユーザにより選択された項目に関する第１モデル６１に入力して、診断基準予測を取得する（ステップＳ６６３）。制御部２１は、変化を付与される前の内視鏡画像４９に基づいて取得された診断基準予測と比較した、診断基準予測の変化量を算出する（ステップＳ６６４）。
診断基準予測への影響が強い画素ほど、当該画素の微小な変化による診断基準予測の変化量が大きい。したがって、ステップＳ６６４で算出される変化量は、当該画素の診断基準予測に対する影響の強弱を示す。
制御部２１は、ステップＳ６６１で選択した画素の位置と関連づけてステップＳ６６４で算出した変化量を記録する（ステップＳ６６５）。制御部２１は、すべての画素の処理を終了したか否かを判定する（ステップＳ６６６）。終了していないと判定した場合（ステップＳＳ６６６でＮＯ）、制御部２１はステップＳ６６１に戻る。
終了したと判定した場合（ステップＳ６６６でＹＥＳ）、制御部２１は画素の位置と変化量とに基づいて、変化量をマップ化する（ステップＳ６６７）。マップ化は、たとえば変化量の大小に基づくヒートマップの作成または等高線の作成等により実施され、変化量が大きい領域を示す注目領域指標７８１の形状および位置が決定される。その後、制御部２１は処理を終了する。
なお、ステップＳ６６１において、制御部２１は、たとえば縦横とも数画素ごとに画素を選択しても良い。画素を間引きして処理することにより、注目領域抽出のサブルーチンの処理を高速化できる。
図３７のステップＳ６５１からステップＳ６５３までの処理を、図２４を使用して説明した実施の形態３の内視鏡検査時のプログラムのステップＳ６０４の代わりに実行するとともに、ステップＳ６５２において本実施の形態のサブルーチンを起動しても良い。実施の形態３の診断支援システム１０に対して、注目領域指標７８１を表示する機能を追加できる。
図３７のステップＳ６５１からステップＳ６５３までの処理を、図２８を使用して説明した実施の形態４の内視鏡検査時のプログラムのステップＳ６３３の代わりに実行するとともに、ステップＳ６５２において本実施の形態のサブルーチンを起動しても良い。実施の形態４の診断支援システム１０に対して、注目領域指標７８１を表示する機能を追加できる。
本実施の形態によると、第１モデル６１がソフトマックス層５５３および全結合層５５２を有さない場合、すなわちニューラルネットワークモデル５３以外の手法を用いた場合であっても、注目領域指標７８１を表示可能な診断支援システム１０を提供できる。
本実施の形態のプログラムは、第２モデル６２の注目領域抽出にも応用できる。このようにする場合、図４２を使用して説明した注目領域抽出のサブルーチンのステップＳ６６３において、制御部２１は、変化を付与された内視鏡画像４９を、第２モデル６２に入力して診断予測を取得する。続くステップＳ６６４において、制御部２１は、変化を付与される前の内視鏡画像４９に基づいて取得された「軽度」である確率と、ステップＳ６６４で取得された「軽度」である確率とを比較して、診断予測の変化量を算出する。
［実施の形態１１］
図４３は、実施の形態１１の情報処理装置２０の機能ブロック図である。情報処理装置２０は、画像取得部２８１、第１取得部２８２、抽出部６６および出力部２８３を有する。画像取得部２８１は、内視鏡画像４９を取得する。
第１取得部２８２は、内視鏡画像４９が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデル６１に、画像取得部２８１が取得した内視鏡画像４９を入力して、出力される診断基準予測を取得する。抽出部６６は、内視鏡画像４９から、第１取得部２８２が取得した診断基準予測に影響を及ぼした領域を抽出する。出力部２８３は、第１取得部２８２が取得した診断基準予測と、抽出部６６が抽出した領域を示す指標と、内視鏡画像４９に基づいて取得した疾病の状態に関する診断予測とを関連づけて出力する。
［実施の形態１２］
本実施の形態は、汎用のコンピュータ９０とプログラム９７とを組み合わせて動作させることにより、本実施の形態の診断支援システム１０を実現する形態に関する。図４４は、実施の形態１２の診断支援システム１０の構成を示す説明図である。実施の形態１と共通する部分については、説明を省略する。
本実施の形態の診断支援システム１０は、コンピュータ９０と、内視鏡用プロセッサ１１と内視鏡１４とを含む。コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ２６、入力装置Ｉ／Ｆ２７、読取部２９、およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレットまたはサーバコンピュータ等の情報機器である。
プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出しても良い。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存しても良い。
プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０と内視鏡用プロセッサ１１と内視鏡１４とは、上述した診断支援システム１０として機能する。
各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
（付記１）
内視鏡画像を取得する画像取得部と、
内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデルに、前記画像取得部が取得した内視鏡画像を入力して、出力される診断基準予測を取得する第１取得部と、
前記第１取得部が取得した診断基準予測を、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測と関連づけて出力する出力部と
を備える情報処理装置。
（付記２）
前記第１取得部は、前記疾病の診断基準に含まれる複数の項目の診断基準予測をそれぞれ出力する複数の第１モデルからそれぞれの項目の診断基準予測を取得する
付記１に記載の情報処理装置。
（付記３）
前記第１モデルは、機械学習により生成された学習モデルである
付記１または付記２に記載の情報処理装置。
（付記４）
前記第１モデルは、前記画像取得部が取得した内視鏡画像に基づいて算出した数値を出力する
付記１または付記２に記載の情報処理装置。
（付記５）
前記第１取得部の動作停止指示を受け付ける第１受付部を備える
付記１から付記４のいずれか一つに記載の情報処理装置。
（付記６）
前記診断予測は、内視鏡画像が入力された場合に前記疾病の診断予測を出力する第２モデルに、前記画像取得部が取得した内視鏡画像を入力して、出力された診断予測である
付記１から付記５のいずれか一つに記載の情報処理装置。
（付記７）
前記第２モデルは、機械学習により生成された学習モデルである
付記６に記載の情報処理装置。
（付記８）
前記第２モデルは、
内視鏡画像が入力される入力層と、
疾病の診断予測を出力する出力層と、
内視鏡画像と診断予測とを関連づけて記録した複数組の教師データによりパラメータが学習された中間層とを備えるニューラルネットワークモデルであり、
前記第１モデルは、前記中間層の所定のノードから取得した特徴量に基づいて診断基準予測を出力する
付記６または付記７に記載の情報処理装置。
（付記９）
前記第２モデルは、内視鏡画像が入力された場合に前記疾病が含まれる病変領域に関する領域予測を出力し、
前記第１モデルは、病変領域の内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力し、
前記第１取得部は、前記画像取得部が取得した内視鏡画像のうち前記第２モデルから出力された領域予測に対応する部分を前記第１モデルに入力して、出力される診断基準予測を取得する
付記６または付記７に記載の情報処理装置。
（付記１０）
前記診断予測の取得を停止する指示を受け付ける第２受付部を備える
付記６から付記９のいずれか一つに記載の情報処理装置。
（付記１１）
前記出力部は、前記画像取得部が取得した内視鏡画像も出力する
付記６から付記１０のいずれか一つに記載の情報処理装置。
（付記１２）
前記画像取得部は、内視鏡検査中に撮影された内視鏡画像をリアルタイムで取得し、
前記出力部は、前記画像取得部による内視鏡画像の取得と同期して出力を行なう
付記１から付記１１のいずれか一つに記載の情報処理装置。
（付記１３）
内視鏡が接続される内視鏡接続部と
前記内視鏡接続部に接続された内視鏡から取得した映像信号に基づいて内視鏡画像を生成する画像生成部と、
内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデルに、前記画像生成部が生成した内視鏡画像を入力して、出力される診断基準予測を取得する第１取得部と、
前記第１取得部が取得した診断基準予測を、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測と関連づけて出力する出力部と
を備える内視鏡用プロセッサ。
（付記１４）
内視鏡画像を取得し、
内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデルに、取得した内視鏡画像を入力して、出力される診断基準予測を取得し、
取得した診断基準予測を、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測と関連づけて出力する
処理をコンピュータに実行させる情報処理方法。
（付記１５）
内視鏡画像を取得し、
内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデルに、取得した内視鏡画像を入力して、出力される診断基準予測を取得し、
取得した診断基準予測を、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測と関連づけて出力する
処理をコンピュータに実行させるプログラム。
（付記１６）
内視鏡画像と、疾病の診断に用いられる診断基準について判定された判定結果とを関連づけて記録した複数の組の教師データを取得し、
前記教師データを用いて、内視鏡画像が入力された場合に疾病の診断基準について予測した診断基準予測を出力する第１モデルを生成する
モデルの生成方法。
（付記１７）
前記教師データは、前記診断基準に含まれる複数の診断基準項目のそれぞれについて判定した判定結果を含み、
前記第１モデルは、複数の前記診断基準項目のそれぞれに対応して生成される
付記１６に記載のモデルの生成方法。
（付記１８）
前記第１モデルは、取得した内視鏡画像が入力層に入力された場合に、取得した判定結果が出力層から出力されるように中間層のパラメータを調整する深層学習により生成される
付記１６または付記１７に記載のモデルの生成方法。
（付記１９）
前記第１モデルは、
内視鏡画像が入力された場合に前記疾病の診断予測を出力するニューラルネットワークモデルに、取得した教師データ中の内視鏡画像を入力し、
前記ニューラルネットワークモデルの中間層を構成するノードから、入力した内視鏡画像に関する複数の特徴量を取得し、
取得した複数の特徴量から、前記内視鏡画像に関連づけられた判定結果との相関が高い特徴量を選択し、
選択した特徴量と、前記判定結果を数値化したスコアとの回帰分析により、選択した特徴量に基づいて前記スコアを算出する計算方法を定めることにより生成する
付記１６または付記１７に記載のモデルの生成方法。
（付記２０）
前記第１モデルは、
取得した内視鏡画像から複数の特徴量を抽出し、
抽出した複数の特徴量から、前記内視鏡画像に関連づけられた判定結果との相関が高い特徴量を選択し、
選択した特徴量と、前記判定結果を数値化したスコアとの回帰分析により、選択した特徴量に基づいて前記スコアを算出する計算方法を定めることにより生成する
付記１６または付記１７に記載のモデルの生成方法。
（付記２１）
前記疾病は、潰瘍性大腸炎であり、
前記診断基準予測は、内視鏡画像の赤み、血管透見、または、潰瘍の重症度に関する予測である
付記１６から付記２０のいずれか一つに記載のモデルの生成方法。
（付記２２）
内視鏡画像と、疾病の診断に用いられる診断基準について判定された判定結果とを関連づけて記録した複数の組の教師データを取得し、
内視鏡画像が入力された場合に前記疾病の診断予測を出力するニューラルネットワークモデルに、取得した教師データ中の内視鏡画像を入力し、
前記ニューラルネットワークモデルの中間層を構成するノードから、入力した内視鏡画像に関する複数の特徴量を取得し、
取得した複数の特徴量を、入力した内視鏡画像に関連づけられた判定結果を数値化したスコアと関連づけて記録し、
記録した複数の特徴量のそれぞれと前記スコアとの相関に基づいて、前記スコアとの相関が高い特徴量を選択し、
選択した特徴量と、前記スコアとの回帰分析により、選択した特徴量に基づいて前記スコアを算出する計算方法を定めることにより、内視鏡画像が入力された場合に前記疾病の診断基準について予測した診断基準予測を出力する第１モデルを生成する
処理をコンピュータに実行させるプログラム。
１０ 診断支援システム
１１ 内視鏡用プロセッサ
１２ 内視鏡接続部
１４ 内視鏡
１４１ 撮像素子
１４２ 挿入部
１５ 内視鏡コネクタ
１６ 表示装置
１６１ 第１表示装置
１６２ 第２表示装置
１７ キーボード
１９ モデル生成システム
２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２６ 表示装置Ｉ／Ｆ
２７ 入力装置Ｉ／Ｆ
２８１ 画像取得部
２８２ 第１取得部
２８３ 出力部
２９ 読取部
３０ サーバ
３１ 制御部
３２ 主記憶装置
３３ 補助記憶装置
３４ 通信部
４０ クライアント
４１ 制御部
４２ 主記憶装置
４３ 補助記憶装置
４４ 通信部
４６ 表示部
４７ 入力部
４９ 内視鏡画像
５３ ニューラルネットワークモデル
５３１ 入力層
５３２ 中間層
５３３ 出力層
５５１ 特徴量抽出部
５５２ 全結合層
５５３ ソフトマックス層
５５４ 代表値算出部
６１ 第１モデル
６１１ 第１スコア学習モデル
６１２ 第２スコア学習モデル
６１３ 第３スコア学習モデル
６２ 第２モデル
６３ 変換器
６３１ 第１変換器
６３２ 第２変換器
６３３ 第３変換器
６４ 教師データＤＢ
６５ 特徴量
６５１ 第１特徴量
６５２ 第２特徴量
６５３ 第３特徴量
６６ 抽出部
７１ 第１結果欄
７１１ 第１停止ボタン
７２ 第２結果欄
７２２ 第２停止ボタン
７３ 内視鏡画像欄
７４ 病変領域
７５ 警告欄
７６ 選択カーソル
７８ 注目領域欄
７８１ 注目領域指標（指標）
８１ 第１入力欄
８１１ 第１スコア入力欄
８１２ 第２スコア入力欄
８１３ 第３スコア入力欄
８２ 第２入力欄
８６ 患者ＩＤ欄
８７ 疾病名欄
８８ モデルボタン
８９ 次ボタン
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ

Claims (10)

  1. 内視鏡画像を取得する画像取得部と、
    内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデルに、前記画像取得部が取得した内視鏡画像を入力して、出力される診断基準予測を取得する第１取得部と、
    前記内視鏡画像から、前記第１取得部が取得した診断基準予測に影響を及ぼした領域を抽出する抽出部と、
    前記第１取得部が取得した診断基準予測と、前記抽出部が抽出した領域を示す指標と、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測とを関連づけて出力する出力部と
    を備える情報処理装置。
  2. 前記第１取得部は、前記疾病の診断基準に関する複数の項目の診断基準予測をそれぞれ出力する複数の第１モデルからそれぞれの項目の診断基準予測を取得し、
    複数の前記項目から、選択項目を受け付ける受付部を備え、
    前記抽出部は、前記受付部が受け付けた選択項目に関する診断基準予測に影響を及ぼした領域を抽出する
    請求項１に記載の情報処理装置。
  3. 前記出力部は、前記内視鏡画像と、前記指標とを並べて出力する
    請求項１または請求項２に記載の情報処理装置。
  4. 前記出力部は、前記内視鏡画像と、前記指標とを重ねて出力する
    請求項１または請求項２に記載の情報処理装置。
  5. 前記抽出部の動作停止指示を受け付ける停止受付部を備える
    請求項１から請求項４のいずれか一つに記載の情報処理装置。
  6. 内視鏡画像が入力された場合に前記疾病の診断予測を出力する第２モデルに、前記画像取得部が取得した内視鏡画像を入力して、出力される診断予測を取得する第２取得部を備え、
    前記出力部は、前記第２取得部が取得した診断基準予測と、前記第１取得部が取得した診断予測と、前記指標とを出力する
    請求項１から請求項５のいずれか一つに記載の情報処理装置。
  7. 内視鏡画像を取得する画像取得部と、
    内視鏡画像が入力された場合に疾病の診断予測を出力する第２モデルに、前記画像取得部が取得した内視鏡画像を入力して、出力される診断予測を取得する第２取得部と、
    前記内視鏡画像から、前記第２取得部が取得した診断基準予測に影響を及ぼした領域を抽出する抽出部と、
    前記第２取得部が取得した診断予測と、前記抽出部が抽出した領域を示す指標とを関連づけて出力する出力部と
    を備える情報処理装置。
  8. 内視鏡が接続される内視鏡接続部と
    前記内視鏡接続部に接続された内視鏡から取得した映像信号に基づいて内視鏡画像を生成する画像生成部と、
    内視鏡から取得した映像信号が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデルに、前記内視鏡から取得した映像信号を入力して、出力される診断基準予測を取得する第１取得部と、
    前記内視鏡画像から、前記第１取得部が取得した診断基準予測に影響を及ぼした領域を抽出する抽出部と、
    前記第１取得部が取得した診断基準予測と、前記抽出部が抽出した領域を示す指標と、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測とを関連づけて出力する出力部と
    を備える内視鏡用プロセッサ。
  9. 内視鏡画像を取得し、
    内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデルに、取得した内視鏡画像を入力して、出力される診断基準予測を取得し、
    前記内視鏡画像から、取得した診断基準予測に影響を及ぼした領域を抽出し、
    取得した診断基準予測と、抽出した領域を示す指標と、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測とを関連づけて出力する
    処理をコンピュータに実行させる情報処理方法。
  10. 内視鏡画像を取得し、
    内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第１モデルに、取得した内視鏡画像を入力して、出力される診断基準予測を取得し、
    前記内視鏡画像から、取得した診断基準予測に影響を及ぼした領域を抽出し、
    取得した診断基準予測と、抽出した領域を示す指標と、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測とを関連づけて出力する
    処理をコンピュータに実行させるプログラム。
JP2019100649A 2018-12-04 2019-05-29 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム Active JP6872581B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202410051899.3A CN117814732A (zh) 2018-12-04 2019-11-13 模型生成方法
US17/252,942 US20210407077A1 (en) 2018-12-04 2019-11-13 Information processing device and model generation method
DE112019006011.2T DE112019006011T5 (de) 2018-12-04 2019-11-13 Informationsverarbeitungsvorrichtung und modellerzeugungsverfahren
PCT/JP2019/044578 WO2020116115A1 (ja) 2018-12-04 2019-11-13 情報処理装置およびモデルの生成方法
CN201980043891.XA CN112399816B (zh) 2018-12-04 2019-11-13 信息处理装置和模型生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862775197P 2018-12-04 2018-12-04
US62/775,197 2018-12-04

Publications (3)

Publication Number Publication Date
JP2020089712A true JP2020089712A (ja) 2020-06-11
JP2020089712A5 JP2020089712A5 (ja) 2021-01-14
JP6872581B2 JP6872581B2 (ja) 2021-05-19

Family

ID=71011993

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019100649A Active JP6872581B2 (ja) 2018-12-04 2019-05-29 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP2019100647A Active JP6877486B2 (ja) 2018-12-04 2019-05-29 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP2019100648A Active JP7015275B2 (ja) 2018-12-04 2019-05-29 モデルの生成方法、教師データの生成方法、および、プログラム
JP2021075220A Active JP7155330B2 (ja) 2018-12-04 2021-04-27 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2019100647A Active JP6877486B2 (ja) 2018-12-04 2019-05-29 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP2019100648A Active JP7015275B2 (ja) 2018-12-04 2019-05-29 モデルの生成方法、教師データの生成方法、および、プログラム
JP2021075220A Active JP7155330B2 (ja) 2018-12-04 2021-04-27 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム

Country Status (3)

Country Link
JP (4) JP6872581B2 (ja)
CN (1) CN112399816B (ja)
DE (1) DE112019006011T5 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102253398B1 (ko) * 2020-11-19 2021-05-18 주식회사 웨이센 인공지능 기반의 영상 처리 및 사용자 이벤트를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
KR102268771B1 (ko) * 2020-11-26 2021-06-24 주식회사 웨이센 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
WO2022114357A1 (ko) * 2020-11-25 2022-06-02 주식회사 아이도트 영상 병변 진단 시스템
WO2022168412A1 (ja) * 2021-02-05 2022-08-11 株式会社日立製作所 画像処理装置、画像処理方法及びプログラム
WO2023032317A1 (ja) * 2021-09-02 2023-03-09 ソニーグループ株式会社 プログラム、情報処理装置、情報処理方法
KR102672710B1 (ko) * 2023-07-06 2024-06-05 주식회사 서르 내시경 영상 합성 장치 및 합성 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7440388B2 (ja) 2020-09-28 2024-02-28 株式会社日立製作所 画像診断支援装置および画像処理方法
KR102505791B1 (ko) * 2021-01-11 2023-03-03 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
WO2022200624A2 (en) * 2021-03-26 2022-09-29 Datawalk Spolka Akcyjna Systems and methods for end-to-end machine learning with automated machine learning explainable artificial intelligence
CN117396124A (zh) * 2021-05-24 2024-01-12 阿瑙特株式会社 信息处理装置、信息处理方法、以及计算机程序
CN115206512B (zh) * 2022-09-15 2022-11-15 武汉大学人民医院（湖北省人民医院） 基于物联网的医院信息管理方法及装置
WO2024105910A1 (ja) * 2022-11-18 2024-05-23 株式会社 Sai 疾病リスク評価装置、疾病リスク評価システム、及び疾病リスク評価方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155840A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 画像処理方法
WO2016121811A1 (ja) * 2015-01-29 2016-08-04 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
WO2017057414A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057572A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057573A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018159363A1 (ja) * 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019087971A1 (ja) * 2017-10-30 2019-05-09 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
WO2019123986A1 (ja) * 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3823494C2 (de) * 1988-07-11 1997-11-27 En Versorgung Schwaben Ag Verfahren und Vorrichtung zur Feuerungsdiagnose und dessen Ergebnisse verwendende Feuerungsregelung
JPH08305855A (ja) * 1995-05-01 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> 画像のパターン認識方法及び装置
JPH08249300A (ja) * 1995-03-13 1996-09-27 Minolta Co Ltd ニューラルネットワーク及びその作成方法
JP2003126045A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 診断支援装置
EP1394715A1 (en) 2002-08-02 2004-03-03 Europroteome AG An expert system for clinicial outcome prediction
JP2004188026A (ja) * 2002-12-12 2004-07-08 Olympus Corp 情報処理装置
US7538761B2 (en) * 2002-12-12 2009-05-26 Olympus Corporation Information processor
CA2529929A1 (en) * 2003-06-25 2005-01-06 Siemens Medical Solutions Usa, Inc. Systems and methods for automated diagnosis and decision support for breast imaging
JP2005124755A (ja) * 2003-10-22 2005-05-19 Olympus Corp 内視鏡用画像処理装置
JP4451460B2 (ja) * 2007-03-16 2010-04-14 オリンパス株式会社 内視鏡診断支援装置
JP5738720B2 (ja) 2011-03-24 2015-06-24 日本メナード化粧品株式会社 メラニン合成能力評価方法及び美容アドバイス方法並びにそれらを用いるメラニン合成能力評価システム及び美容アドバイスシステム
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
JP6027065B2 (ja) 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
JP6580446B2 (ja) 2015-10-09 2019-09-25 サイバネットシステム株式会社 画像処理装置及び画像処理方法
WO2019142243A1 (ja) * 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法
WO2019230302A1 (ja) 2018-05-28 2019-12-05 富士フイルム株式会社 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155840A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 画像処理方法
WO2016121811A1 (ja) * 2015-01-29 2016-08-04 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
WO2017057414A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057572A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057573A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2018020558A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018159363A1 (ja) * 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019087971A1 (ja) * 2017-10-30 2019-05-09 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
WO2019123986A1 (ja) * 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102253398B1 (ko) * 2020-11-19 2021-05-18 주식회사 웨이센 인공지능 기반의 영상 처리 및 사용자 이벤트를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
WO2022114357A1 (ko) * 2020-11-25 2022-06-02 주식회사 아이도트 영상 병변 진단 시스템
KR102268771B1 (ko) * 2020-11-26 2021-06-24 주식회사 웨이센 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
WO2022168412A1 (ja) * 2021-02-05 2022-08-11 株式会社日立製作所 画像処理装置、画像処理方法及びプログラム
JP7413295B2 (ja) 2021-02-05 2024-01-15 株式会社日立製作所 画像処理装置、画像処理方法及びプログラム
WO2023032317A1 (ja) * 2021-09-02 2023-03-09 ソニーグループ株式会社 プログラム、情報処理装置、情報処理方法
KR102672710B1 (ko) * 2023-07-06 2024-06-05 주식회사 서르 내시경 영상 합성 장치 및 합성 방법

Also Published As

Publication number Publication date
JP2020089710A (ja) 2020-06-11
JP7155330B2 (ja) 2022-10-18
JP6877486B2 (ja) 2021-05-26
DE112019006011T5 (de) 2021-09-09
JP2020089711A (ja) 2020-06-11
JP6872581B2 (ja) 2021-05-19
JP7015275B2 (ja) 2022-02-02
JP2021119996A (ja) 2021-08-19
CN112399816B (zh) 2024-01-05
CN112399816A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
JP6872581B2 (ja) 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
WO2020116115A1 (ja) 情報処理装置およびモデルの生成方法
Leenhardt et al. A neural network algorithm for detection of GI angiectasia during small-bowel capsule endoscopy
WO2010082246A1 (ja) 情報処理装置および情報処理方法
JP5628927B2 (ja) 医療情報表示装置および方法、並びにプログラム
JP5502346B2 (ja) 症例画像登録装置、方法およびプログラムならびに症例画像検索装置、方法、プログラムおよびシステム
CN113538313A (zh) 一种息肉分割方法、装置、计算机设备及存储介质
WO2020195807A1 (ja) 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
JP5094775B2 (ja) 症例画像検索装置、方法およびプログラム
US10430905B2 (en) Case search device and method
EP4318335A1 (en) Electrocardiogram analysis assistance device, program, electrocardiogram analysis assistance method, electrocardiogram analysis assistance system, peak estimation model generation method, and segment estimation model generation method
US20240164691A1 (en) Electrocardiogram analysis assistance device, program, electrocardiogram analysis assistance method, and electrocardiogram analysis assistance system
JP2006149654A (ja) 眼底の病変についての診断の支援
JP6448588B2 (ja) 医療診断支援装置、医療診断支援システム、情報処理方法及びプログラム
CN116128784A (zh) 一种图像处理方法、装置、存储介质及终端
US11776121B2 (en) Method and apparatus for providing information needed for diagnosis of lymph node metastasis of thyroid cancer
US20230274421A1 (en) Method for providing information about diagnosis of gallbladder polyp and device for providing information about diagnosis of gallbladder polyp using same
EP4365909A1 (en) Skin cancer diagnosis method based on image analysis using artificial intelligence
KR20230055874A (ko) 표재성 담낭 질환에 대한 정보 제공 방법 및 이를 이용한 디바이스
Kumar et al. A Novel Approach for Breast Cancer Detection by Mammograms
KR20220143184A (ko) 인공지능 기반 담낭암 진단 방법
JP2020099539A (ja) 肺画像処理プログラム、肺画像処理方法および肺画像処理システム
CN117059263A (zh) 基于双视图胸片的肺动脉高压发生概率的确定方法及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201126

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210419

R150 Certificate of patent or registration of utility model

Ref document number: 6872581

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250