JP2022135013A - プログラム、情報処理方法及び情報処理装置 - Google Patents

プログラム、情報処理方法及び情報処理装置 Download PDF

Info

Publication number
JP2022135013A
JP2022135013A JP2021034569A JP2021034569A JP2022135013A JP 2022135013 A JP2022135013 A JP 2022135013A JP 2021034569 A JP2021034569 A JP 2021034569A JP 2021034569 A JP2021034569 A JP 2021034569A JP 2022135013 A JP2022135013 A JP 2022135013A
Authority
JP
Japan
Prior art keywords
image
interest
region
output
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021034569A
Other languages
English (en)
Other versions
JP7565824B2 (ja
Inventor
京助 松村
Kyosuke MATSUMURA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2021034569A priority Critical patent/JP7565824B2/ja
Priority to PCT/JP2021/045921 priority patent/WO2022185651A1/ja
Priority to EP21929209.1A priority patent/EP4233684A1/en
Priority to CN202180080128.1A priority patent/CN116583215A/zh
Priority to US18/039,770 priority patent/US20240087723A1/en
Publication of JP2022135013A publication Critical patent/JP2022135013A/ja
Application granted granted Critical
Publication of JP7565824B2 publication Critical patent/JP7565824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

【課題】内視鏡画像に関心領域が含まれる場合、関心領域を拡大表示する処理を効率的に行うプログラム等を提供する。【解決手段】プログラムは、コンピュータに、内視鏡により撮像した画像を取得し、前記内視鏡により撮像した画像が入力された場合、画像に含まれる関心領域の位置を出力するように学習済みの学習済みモデルに、前記取得した画像を入力し、前記学習済みモデルから、前記取得した画像に含まれる関心領域の位置を取得し、取得した前記関心領域の位置に基づき、前記関心領域が含まれる画像の部分を拡大した拡大画像を出力する処理をコンピュータに実行させる。【選択図】図１

Description

本技術は、プログラム、情報処理方法及び情報処理装置に関する。
内視鏡画像等の医用画像から、学習モデルを使用して病変部位を自動的に検出するコンピュータ支援診断技術が開発されている。正解ラベルが付与された教師データを用いた教師あり機械学習により、学習モデルを生成する手法が知られている。通常の内視鏡で撮影された画像群を教師データに用いた第１の学習と、カプセル内視鏡で撮影された画像群を教師データに用いた第２の学習とを組み合わせる学習方法にて学習される学習モデルが、開示されている（例えば、特許文献１）。
国際公開第２０１７／１７５２８２号
しかしながら、特許文献１に記載のコンピュータ支援診断技術は、入力された画像に関心領域（ＲＯＩ）が含まれる場合、当該関心領域を拡大表示する観点からの診断支援については、考慮されていないという問題点がある。
一つの側面では、内視鏡画像に関心領域が含まれる場合、関心領域を拡大表示する処理を効率的に行うプログラム等を提供することを目的とする。
本開示の一態様におけるプログラムは、コンピュータに、内視鏡により撮像した画像を取得し、前記内視鏡により撮像した画像が入力された場合、画像に含まれる関心領域の位置を出力するように学習済みの学習済みモデルに、前記取得した画像を入力し、前記学習済みモデルから、前記取得した画像に含まれる関心領域の位置を取得し、取得した前記関心領域の位置に基づき、前記関心領域が含まれる画像の部分を拡大した拡大画像を出力する処理をコンピュータに実行させる。
本開示の一態様における情報処理方法は、内視鏡により撮像した画像を取得し、前記内視鏡により撮像した画像が入力された場合、画像に含まれる関心領域の位置を出力するように学習済みの学習済みモデルに、前記取得した画像を入力し、前記学習済みモデルから、前記取得した画像に含まれる関心領域の位置を取得し、取得した前記関心領域の位置に基づき、前記関心領域が含まれる画像の部分を拡大した拡大画像を出力する
処理をコンピュータに実行させる。
本開示の一態様における情報処理装置は、内視鏡により撮像した画像を取得する画像取得部と、前記内視鏡により撮像した画像が入力された場合、画像に含まれる関心領域の位置を出力するように学習済みの学習済みモデルに、前記取得した画像を入力する入力部と、前記学習済みモデルから、前記取得した画像に含まれる関心領域の位置を取得する位置取得部と、取得した前記関心領域の位置に基づき、前記関心領域が含まれる画像の部分を拡大した拡大画像を出力する出力部とを備える。
本開示によれば、内視鏡画像に関心領域が含まれる場合、関心領域を拡大表示する処理を効率的に行うプログラム等を提供することができる。
実施形態１に係る内視鏡システムの概要を示す模式図である。 内視鏡システムに含まれる内視鏡装置の構成例を示すブロック図である。 内視鏡システムに含まれる情報処理装置の構成例を示すブロック図である。 情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。 学習済みモデル（関心領域学習モデル）に関する説明図である。 拡大画像の表示画面の一態様を示す説明図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 実施形態２（複数の関心領域）に係る拡大画像の表示画面の一態様を示す説明図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。 実施形態３（第２学習済みモデル）に係る情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。 第２学習済みモデル（診断支援学習モデル）に関する説明図である。 情報処理装置の制御部による処理手順の一例を示すフローチャートである。
（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る診断支援システムＳの概要を示す模式図である。診断支援システムＳは、内視鏡装置１０及び、内視鏡装置１０と通信可能に接続される情報処理装置６を含む。
内視鏡装置１０は、内視鏡４０の撮像素子によって撮影した画像（撮影画像）を内視鏡用プロセッサ２０に伝送し、内視鏡用プロセッサ２０によってガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行うことにより、操作者が目視し易い状態にした内視鏡画像を生成する。内視鏡装置１０は、生成した内視鏡画像を情報処理装置６に出力（送信）する。内視鏡装置１０から送信された内視鏡画像を取得した情報処理装置６は、これら内視鏡画像に基づき種々の情報処理を行い、内視鏡画像に含まれる関心領域（ＲＯＩ：Region of Interest）に関する情報（関心領域情報）を抽出し、当該関心領域情報に基づき、関心領域の拡大画像を生成し、内視鏡装置１０（内視鏡用プロセッサ２０）に出力する。関心領域（ＲＯＩ）とは、内視鏡４０の操作者である医師等が着目する領域であり、例えば、病変、病変候補、薬剤、処置具、及びマーカー等が位置（存在）する領域である。情報処理装置６から出力された関心領域の拡大画像は、内視鏡装置１０に接続される表示装置５０にて表示される。
内視鏡装置１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。表示装置５０は、例えば液晶表示装置、又は、有機ＥＬ（Electro Luminescence）表示装置である。
表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚１６は内視鏡用プロセッサ２０に接続されたキーボード１５を搭載する、引き出し式の棚を有する。
内視鏡用プロセッサ２０は、略直方体形状であり、一面にタッチパネル２５を備える。タッチパネル２５の下部に、読取部２８が配置されている。読取部２８は、例えばＵＳＢコネクタ、ＳＤ（Secure Digital）カードスロット、又はＣＤ－ＲＯＭ（Compact Disc Read Only Memory）ドライブ等の、可搬型記録媒体の読み書きを行う接続用インターフェイスである。
内視鏡４０は、挿入部４４、操作部４３、ユニバーサルコード４９及びスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１が設けられている。挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２及び先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。挿入部４４には、３軸加速度センサ、ジャイロセンサ、地磁気センサ、磁気コイルセンサ又は内視鏡挿入形状観測装置（コロナビ）等の物理検出装置が実装され、内視鏡４０が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。
ユニバーサルコード４９は長尺であり、第一端が操作部４３に、第二端がスコープコネクタ４８にそれぞれ接続されている。ユニバーサルコード４９は、軟性である。スコープコネクタ４８は略直方体形状である。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図２参照）が設けられている。
図２は、診断支援システムＳに含まれる内視鏡装置１０の構成例を示すブロック図である。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一又は複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）又はマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。
主記憶装置２２は、例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行う処理の途中で必要な情報及び制御部２１で実行中のプログラムが一時的に保存される。補助記憶装置２３は、例えば、ＳＲＡＭ、フラッシュメモリ又はハードディスク等の記憶装置であり、主記憶装置２２よりも大容量の記憶装置である。補助記憶装置２３には、例えば、取得した撮影画像、生成した内視鏡画像が、中間データとして保存されるものであってもよい。
通信部２４は、有線又は無線によりネットワークを介して情報処理装置６と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、 Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、ＬＴＥ、５Ｇ等の広域無線通信モジュールである。タッチパネル２５は、液晶表示パネル等の表示部と、表示部に積層された入力部を含む。通信部２４は、ＣＴ装置、ＭＲＩ装置（図５参照）又は、これら装置から出力されたデータを保存するストレージ装置（図示せず）と通信するものであってもよい。
表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。
光源３３は、例えば白色ＬＥＤ、キセノンランプ等の高輝度の白色光源、及び狭帯域光を出射する狭帯域光ＬＥＤ等の特殊光ＬＥＤによる特殊光源を含む。光源３３は、図示を省略するドライバを介してバスに接続されている。光源３３の点灯、消灯及び明るさの変更は、制御部２１により制御される。光源３３から照射した照明光は、光コネクタ３１２に入射する。光コネクタ３１２は、スコープコネクタ４８と係合し、内視鏡４０に照明光を供給する。
ポンプ３４は、内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、図示を省略するドライバを介してバスに接続されている。ポンプ３４のオン、オフ及び圧力の変更は、制御部２１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。
内視鏡用プロセッサ２０に接続された内視鏡４０の機能の概略を説明する。スコープコネクタ４８、ユニバーサルコード４９、操作部４３及び挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブ及び送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１２及びファイバーバンドルを介して、先端部４４３に設けられた照明窓から放射される。照明光により照らされた範囲を、先端部４４３に設けられた撮像素子で撮影する。撮像素子からケーブル束及び電気コネクタ３１１を介して内視鏡用プロセッサ２０に撮影画像が伝送される。
内視鏡用プロセッサ２０の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部２１１として機能する。画像処理部２１１は、内視鏡４０から出力された画像（撮影画像）をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。
図３は、診断支援システムＳに含まれる情報処理装置６の構成例を示すブロック図である。情報処理装置６は、制御部６２、通信部６１、記憶部６３及び入出力Ｉ／Ｆ６４を含む。情報処理装置６は、例えばサーバ装置、パーソナルコンピュータ等である。サーバ装置は、単体のサーバ装置のみならず、複数台のコンピュータによって構成されるクラウドサーバ装置、又は仮想サーバ装置を含む。情報処理装置６は、内視鏡用プロセッサ２０からアクセス可能な外部ネットワーク上に位置するクラウドサーバとして設けられているものであってもよい。
制御部６２は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の計時機能を備えた演算処理装置を有し、記憶部６３に記憶されたプログラムを読み出して実行することにより、情報処理装置６に係る種々の情報処理、制御処理等を行う。
記憶部６３は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。記憶部６３には、プログラム及び処理時に参照するデータが予め記憶してある。記憶部６３に記憶されたプログラムは、情報処理装置６が読み取り可能な記録媒体から読み出されたプログラムを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムをダウンロードし、記憶部６３に記憶させたものであってもよい。
記憶部６３には、後述する学習済みモデル６３１（関心領域学習モデル）等を構成する実体ファイル（ニューラルネットワーク（ＮＮ）のインスタンスファイル）が保存されている。これら実体ファイルは、プログラムの一部位として構成されるものであってもよい。記憶部６３には、更に、拡大画像を生成及び出力（表示）するにあたって、予め定められた各種の設定値（プリセットデータ）が記憶されている。当該プリセットデータは、例えば、拡大画像の出力態様（親画面、子画面）を決定する設定値（プリセット値）、拡大表示（拡大画像を出力）する際の拡大率、拡大表示する際に特殊光観察モードに変更するか否かのフラグ値、関心領域の精度確率区分するための所定値（精度確率閾値）を含むものであってもよい。プリセットデータの詳細は、後述する。
通信部６１は、有線又は無線により、内視鏡装置１０と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、 Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、ＬＴＥ、５Ｇ等の広域無線通信モジュールである。
入出力Ｉ／Ｆ６４は、例えば、ＵＳＢ又はＤＳＵＢ等の通信規格に準拠したものであり、入出力Ｉ／Ｆ６４に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力Ｉ／Ｆ６４には、例えばディプレイ等の表示部７、マウス及びキーボード等の入力部８が接続されており、制御部６２は、入力部８から入力された実行コマンド又はイベントに基づき行った情報処理の結果を表示部７に出力する。
図４は、情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。内視鏡用プロセッサ２０（内視鏡装置１０）の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部２１１として機能する。
内視鏡用プロセッサ２０の画像処理部２１１は、内視鏡から出力された画像（撮影画像）をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。内視鏡用プロセッサ２０は、更に情報処理装置６から出力される拡大画像及び当該拡大画像を出力する際の出力態様データを取得し、当該出力態様データに基づき拡大画像を表示装置５０に出力する。
情報処理装置６の制御部６２は、記憶部６３に記憶されているプログラムを実行することにより、取得部６２１、学習済みモデル６３１、拡大画像生成部６２２、出力態様決定部６２３、及び出力部６２４として機能する。
取得部６２１は、内視鏡用プロセッサ２０が出力した内視鏡画像を取得する。取得部６２１は取得した内視鏡画像を学習済みモデル６３１（関心領域学習モデル）に入力する。内視鏡画像が動画像にて内視鏡用プロセッサ２０から情報処理装置６に出力（送信）される場合、取得部６２１は、当該動画像におけるフレーム単位で内視鏡画像を取得し、学習済みモデル６３１に入力するものであってもよい。
学習済みモデル６３１は、取得部６２１から出力された内視鏡画像を取得及び入力し、入力された当該内視鏡画像に含まれる関心領域に関する情報を出力する。関心領域に関する情報は、内視鏡画像に含まれる関心領域の部分を示す位置、及び関心領域であると推定した際の精度確率を含む。内視鏡画像に含まれる関心領域の部分を示す位置は、例えば、当該内視鏡画像の画像座標系における２点の座標を含むものであり、当該２点を対角として構成される矩形状の枠体（バウンディングボックス）によって、関心領域の部分を示す位置が特定される。関心領域であると推定した際の精度確立は、例えば、内視鏡画像から抽出した関心領域の推定精度を示すクラス確率（推定スコア）の値であり、例えば、０から１の値にて示される。この場合、１に近いほど、内視鏡画像から抽出した関心領域が、真の関心領域である（推定精度が高い）ことを示す。このように学習済みモデル６３１は、入力された内視鏡画像に関心領域が含まれている場合、当該関心領域に関する情報として位置及び精度確率を出力し、入力された内視鏡画像に関心領域が含まれていない場合、当該関心領域に関する情報を出力しない。従って、学習済みモデル６３１は、入力された内視鏡画像に関心領域が含まれているか、含まれていないかを判定する関心領域有無判定部として機能する。学習済みモデル６３１は、入力された内視鏡画像に関心領域が含まれている場合、関心領域に関する情報（位置、精度確率）を、拡大画像生成部６２２及び出力態様決定部６２３に出力する。
図５は、学習済みモデル６３１（関心領域学習モデル）に関する説明図である。学習済みモデル６３１は、例えば、ＲＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ又はＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）、又はセグメンテーションネットワークの機能を有するニューラルネットワーク（ＮＮ）等、物体検出を行うモデルである。学習済みモデル６３１が、例えばＲＣＮＮ等、画像の特徴量を抽出するＣＮＮ（Convolutional Neural Network）を含むニューラルネットワークで構成される場合、学習済みモデル６３１に含まれる入力層は、内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、関心領域の位置等を含む関心領域情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、関心領域の位置及び精度確率（推定スコア）を出力する。又は、学習済みモデル６３１は、中間層から出力された画像特徴量をＳＶＭ（support vector machine） に入力して物体認識を行うものであってもよい。訓練データを用いて学習されたニューラルネットワーク（学習済みモデル６３１）は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。学習済みモデル６３１は、上述のごとく制御部６２（ＣＰＵ等）及び記憶部６３を備える情報処理装置６にて用いられるものであり、このように演算処理能力を有する情報処理装置６にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置６の制御部６２が、記憶部６３に記憶された学習済みモデル６３１からの指令に従って、入力層に入力された内視鏡画像の特徴量を抽出する演算を行い、出力層から関心領域の位置及び精度確率（推定スコア）を出力する。
拡大画像生成部６２２は、学習済みモデル６３１から関心領域に関する情報を取得した場合、当該情報に含まれる関心領域の位置に基づき、当該関心領域を含む内視鏡画像の部分領域を抽出（切り出し）する。拡大画像生成部６２２は、抽出した（切り出した）当該部分領域を拡大表示することにより、関心領域が含まれる内視鏡画像の部分を拡大した拡大画像を生成する。拡大画像生成部６２２は、例えば、電子ズーム（デジタルズーム）の手法を用いて、関心領域の拡大画像を生成するものであってもよい。当該電子ズーム（デジタルズーム）により、内視鏡画像の一部（関心領域を含む内視鏡画像の部分領域）を切り取って補完拡大することができ、ソフトウェア処理によって、拡大画像を効率的に生成することができる。拡大画像生成部６２２は、例えば、記憶部６３に記憶されているプリセットデータに含まれる拡大率に基づき、拡大画像を生成する。拡大率は、例えば５倍等の固定値であってもよく、又は、抽出した（切り出した）関心領域を含む内視鏡画像の部分領域の画素数に応じて決定されるものであってよい。当該画素数に応じて拡大率を決定する場合、画素数が多くなるほど拡大率を小さくする反比例係数に基づき、拡大率を決定するものであってもよい。拡大画像生成部６２２は、関心領域に関する情報に含まれる精度確率を拡大画像に重畳させて、当該拡大画像を生成するものであってもよい。拡大画像生成部６２２は生成した拡大画像を出力部６２４に出力する。
出力態様決定部６２３は、学習済みモデル６３１から関心領域に関する情報を取得した場合、当該情報に含まれる関心領域の精度確率に基づき、拡大画像を出力（表示）する際の出力態様（表示態様）を決定する。当該出力態様（表示態様）は、例えば、内視鏡画像が表示される画面（親画面）とは別個の画面（子画面）にて拡大画像を表示する子画面表示態様と、内視鏡画像が表示される画面（親画面）にて、内視鏡画像から拡大画像に切り替えて拡大画像を表示する親画面切替表示態様とを含む。学習済みモデル６３１から出力された関心領域の精度確率が所定値未満の場合、出力態様決定部６２３は、拡大画像を出力（表示）する際の出力態様（表示態様）を、子画面表示態様に決定する。学習済みモデル６３１から出力された関心領域の精度確率が所定値以上の場合、出力態様決定部６２３は、記憶部６３に記憶されたプリセットデータに含まれる設定値（出力態様を決定するプリセット値）に基づき、拡大画像を出力（表示）する際の出力態様（表示態様）を、親画面切替表示態様又は子画面表示態様に決定する。
記憶部６３に記憶されているプリセットデータは、出力態様を決定する際に用いられる精度確率の所定値（関心領域の精度確率を区分するための精度確率閾値）、及び精度確率が所定値以上の場合に出力態様を決定する設定値（プリセット値）を含む。更に、プリセットデータは、拡大表示する際に特殊光観察モードに変更するか否かのフラグ値を含む。出力態様決定部６２３は、学習済みモデル６３１から関心領域に関する情報を取得した場合、プリセットデータに含まれる当該フラグ値に基づき、拡大表示する際、白色光観察モードから特殊光観察モードに変更するか否かを決定する。出力態様決定部６２３は、このように決定した出力態様、及び観察モードのフラグ値（特殊光観察モードへの変更の要否）を含む出力態様データを生成し、生成した出力態様データを出力部６２４に出力する。出力態様データは、拡大画像を表示するにあたっての出力態様を制御するためのデータであり、例えば、親画面とするか子画面とするかを示す設定値（プリセット値）、及び特殊光観察モードに変更するか否かのフラグ値を含む。
出力部６２４は、拡大画像生成部６２２から取得した拡大画像、及び出力態様決定部６２３から取得した出力態様データを、内視鏡用プロセッサ２０に出力する。内視鏡用プロセッサ２０は、情報処理装置６（出力部６２４）から出力された拡大画像及び出力態様データに基づき、当該拡大画像を親画面又は子画面のいずれかの出力態様にて、表示装置５０に表示させる。内視鏡用プロセッサ２０は、出力態様データに含まれる観察モードのフラグ値に基づき、特殊光観察モードへの変更が要である場合、拡大画像を表示する際、ＮＢＩ（Narrow band imaging）等の特殊光観察モードへ変更する。
本実施形態において、一連の処理における各機能部を、内視鏡用プロセッサ２０の制御部２１による機能部と、情報処理装置６の制御部６２による機能部夫々とに分けて説明したが、これら機能部の分担は一例であり、これに限定されない。内視鏡用プロセッサ２０の制御部２１は、情報処理装置６の制御部６２によって行われる全ての機能部として、機能するものであってもよい。すなわち、内視鏡用プロセッサ２０が、実質的に情報処理装置６を含むものであってもよい。又は、内視鏡用プロセッサ２０の制御部２１は、撮像素子が撮像した撮影画像を出力するのみであり、情報処理装置６の制御部６２は、以降の処理を行う全ての機能部として機能するものであってもよい。又は、内視鏡用プロセッサ２０の制御部２１と、情報処理装置６の制御部６２とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。
図６は、拡大画像の表示画面の一態様を示す説明図である。本実施形態における図示において、左側の画面は、内視鏡画像が表示されている親画面である。右上の画面は、関心領域が拡大された拡大画像を、親画面にて表示した状態を示す画面であり、親画面切替
表示態様による表示態様である。右下の画面は、関心領域が拡大された拡大画像を、子画面にて表示した状態を示す画面であり、子画面表示態による表示態様である。
これら拡大画像には、関心領域の精度確率（推定スコア）が重畳されている。精度確率が、例えば０．９等の所定値未満の場合、拡大画像は子画面にて表示される。精度確率が、所定値以上の場合、プリセットデータに含まれる設定値（プリセット値）に基づき、拡大画像は、親画面又は子画面にて表示される。
図７は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置６の制御部６２は、内視鏡用プロセッサ２０から出力された内視鏡画像を取得する（Ｓ１０１）。内視鏡用プロセッサ２０による体腔内の撮像の開始と同期して、情報処理装置６の制御部６２は、内視鏡用プロセッサ２０から内視鏡画像を取得するものであってもよい。情報処理装置６の制御部６２が内視鏡用プロセッサ２０から取得する内視鏡画像は、静止画又は動画であってもよい。
情報処理装置６の制御部６２は、内視鏡画像を学習済みモデル６３１に入力する（Ｓ１０２）。内視鏡画像が入力された学習済みモデル６３１は、入力された内視鏡画像に関心領域が含まれている場合、当該関心領域に関する情報として位置及び精度確率を出力し、入力された内視鏡画像に関心領域が含まれていない場合、当該関心領域に関する情報を出力しない。
情報処理装置６の制御部６２は、学習済みモデル６３１から関心領域に関する情報を取得したか否かを判定する（Ｓ１０３）。学習済みモデル６３１から関心領域に関する情報を取得しなかった場合（Ｓ１０３：ＮＯ）、情報処理装置６の制御部６２は、再度Ｓ１０１の処理を実行すべく、ループ処理を行う。
学習済みモデル６３１から関心領域に関する情報を取得した場合（Ｓ１０３：ＹＥＳ）、情報処理装置６の制御部６２は、関心領域に関する情報に含まれる関心領域の位置に基づき、関心領域の拡大画像を生成する（Ｓ１０４）。情報処理装置６の制御部６２は、関心領域の位置に基づき、当該関心領域を含む内視鏡画像の部分領域を抽出して（切り出して）、例えば、電子ズーム（デジタルズーム）の手法を用いて、関心領域の拡大画像を生成する。情報処理装置６の制御部６２は、生成した関心領域の拡大画像と、当該関心領域が含まれる内視鏡画像とを関連付けて、記憶部６３に記憶するものであってもよい。
情報処理装置６の制御部６２は、関心領域に関する情報に含まれる関心領域の精度確立が、設定値以上であるか否かを判定する（Ｓ１０５）。情報処理装置６の制御部６２は、記憶部６３に記憶されているプリセットデータに含まれる所定値（関心領域の精度確率区分するための精度確率閾値）を参照し、取得した精度確立が、設定値以上であるか否かを判定する。関心領域の精度確立が設定値以上でない場合（Ｓ１０５：ＮＯ）、すなわち関心領域の精度確立が設定値未満である場合、情報処理装置６の制御部６２は、出力態様を子画面とする旨を決定する。
関心領域の精度確立が設定値以上である場合（Ｓ１０５：ＹＥＳ）、情報処理装置６の制御部６２は、プリセットデータを参照して出力態様を決定する（Ｓ１０６）。情報処理装置６の制御部６２は、プリセットデータに含まれる設定値（プリセット値）に基づき、拡大画像を親画面とするか子画面とするか（出力態様）を決定する。本実施形態において、関心領域の精度確立が設定値以上である場合、プリセットデータを参照して出力態様を決定するとしたが、これに限定されず、情報処理装置６の制御部６２は、例えば、情報処理装置６に接続される表示部７に出力態様を選択する選択画面をポップアップ表示させ、入力部８から入力される内視鏡の操作者による選択操作に基づき、出力態様を決定するものであってもよい。
情報処理装置６の制御部６２は、プリセットデータを参照して拡大表示時の観察モードを取得する（Ｓ１０７）。情報処理装置６の制御部６２は、プリセットデータに含まれる観察モードのフラグ値（特殊光観察モードへの変更の要否）に基づき、拡大表示時の観察モードを決定する。
情報処理装置６の制御部６２は、拡大画像及び出力態様データを出力する（Ｓ１０８）。出力態様データには、拡大画像を表示する際の出力態様（表示態様）及び観察モード（特殊光観察モードへの変更）が、含まれる。情報処理装置６の制御部６２は、拡大画像及び出力態様データを内視鏡用プロセッサ２０に出力する。内視鏡用プロセッサ２０は、情報処理装置６（出力部６２４）から出力された拡大画像及び出力態様データに基づき、当該拡大画像を親画面又は子画面のいずれかの出力態様にて、表示装置５０に表示させる。内視鏡用プロセッサ２０は、出力態様データに含まれる観察モードのフラグ値に基づき、特殊光観察モードへの変更が要である場合、拡大画像を表示する際、ＮＢＩ（Narrow band imaging）等の特殊光観察モードへ変更する。
情報処理装置６の制御部６２は、内視鏡用プロセッサ２０から次に出力された内視鏡画像を取得する（Ｓ１０９）。内視鏡用プロセッサ２０からは、順次に内視鏡画像が出力されており、情報処理装置６の制御部６２は、当該内視鏡画像を順次に取得する。
情報処理装置６の制御部６２は、内視鏡画像を学習済みモデル６３１に入力する（Ｓ１１０）。情報処理装置６の制御部６２は、学習済みモデル６３１から関心領域に関する情報を取得したか否かを判定する（Ｓ１１１）。情報処理装置６の制御部６２は、Ｓ１０２及びＳ１０３の処理と同様に、Ｓ１１０及びＳ１１１の処理を行う。
学習済みモデル６３１から関心領域に関する情報を取得しなかった場合（Ｓ１１１：ＮＯ）、情報処理装置６の制御部６２は、拡大画像の出力を停止する。当該拡大画像の出力を停止することにより、親画面にて表示される画像は、拡大画像から、内視鏡画像に切り替えられる。生成した子画面にて拡大画像を表示していた場合は、当該子画面は、閉じられる。拡大画像の出力を停止した後、情報処理装置６の制御部６２は、再度Ｓ１０１の処理を実行すべくループ処理を行う。学習済みモデル６３１から関心領域に関する情報を取得した場合（Ｓ１１１：ＹＥＳ）、情報処理装置６の制御部６２は、再度Ｓ１０４の処理を実行すべくループ処理を行う。
本実施形態において、一連の処理は、情報処理装置６の制御部６２によって行われるとしたが、これに限定されない。これら一連の処理は、内視鏡用プロセッサ２０の制御部２１によって行われるものであってもよい。又は、これら一連の処理は、内視鏡用プロセッサ２０の制御部２１と、情報処理装置６の制御部６２とが、例えばプロセス間通信を行うことにより、協働して行うものであってもよい。本実施形態において、情報処理装置６の制御部６２は、生成した拡大画像を内視鏡用プロセッサ２０に出力するとしたが、これに限定されず、情報処理装置６の制御部６２は、拡大画像を情報処理装置６に接続される表示部７に出力し、当該表示部７にて拡大画像を表示するものであってもよい。
本実施形態によれば、情報処理装置６は、内視鏡により撮像した画像（内視鏡画像）を学習済みモデル６３１に入力し、当該画像（内視鏡画像）に関心領域（ＲＯＩ）が含まれる場合、学習済みモデル６３１から出力される関心領域の位置を取得する。情報処理装置６は、取得した関心領域の位置に基づき、当該関心領域を含む内視鏡画像の部分領域を抽出して、当該部分領域を拡大表示することにより、関心領域が含まれる内視鏡画像の部分を拡大した拡大画像を出力する。これにより、内視鏡画像に関心領域（ＲＯＩ）が含まれる場合、関心領域を拡大表示する処理を効率的に行うことができ、当該拡大表示する処理を行うことにより生成された拡大画像によって、内視鏡の操作者による関心領域に対する視認性を向上させることができる。拡大表示するための電子ズーム操作を、関心領域の有無に基づき自動的に行うため、内視鏡の操作者によるズーム操作を不要にすることができ、内視鏡の操作性を向上させることができる。拡大表示された病変等の関心領域を効率的に目視することができるため、医師等の内視鏡の操作者による判定を容易化し、例えば生検等の処置を低減させることが期待される。
本実施形態によれば、情報処理装置６は、学習済みモデル６３１から取得した関心領域の精度確率に基づき、拡大画像を出力する際の出力態様を決定し、当該出力態様にて拡大画像を出力する。当該出力態様は、内視鏡画像が表示される画面とは別個の画面（子画面）にて表示されるように拡大画像を出力する出力態様と、内視鏡画像が表示される画面（親画面）において当該内視鏡画像から拡大画像に切り替える出力態様とを含む。情報処理装置６は、精度確率が所定値未満の場合、内視鏡画像が表示される画面とは別個の画面（子画面）にて表示されるように拡大画像を出力する出力態様を用いることにより、内視鏡画像が表示される画面（親画面）の状態は維持しつつ、関心領域の拡大画像が別個の画面（子画面）にて表示されるように出力する。これにより、関心領域の精度確率が所定値未満であるとして学習済みモデル６３１により推定（出力）された際は、内視鏡画像が表示される画面（親画面）の状態は維持されるため、内視鏡の操作者による内視鏡画像の目視を継続させることができる。
精度確率が所定値以上の関心領域については、内視鏡画像が表示される画面（親画面）を、当該内視鏡画像から、関心領域の拡大画像に切り替える出力態様を用いることにより、内視鏡の操作者による拡大画像（精度確率が所定値以上の関心領域）に対する視認性を向上させることができる。精度確率が所定値以上の関心領域であっても、精度確率が所定値未満の関心領域と同様に、内視鏡画像が表示される画面（親画面）の状態は維持しつつ、関心領域の拡大画像を別個の画面（子画面）にて表示されるように出力するようにプリセット値にて制御するものであってもよい。すなわち、精度確率が所定値以上の関心領域の拡大画像を出力する際の出力態様は、内視鏡画像が表示される画面（親画面）に切り替える出力態様と、内視鏡画像が表示される画面（親画面）とは別個の画面（子画面）にて出力（表示）する出力態様とを含み、これら複数の出力態様を選択的に用いることができる。選択的に用いられる出力態様を決定する設定値（プリセット値）は、情報処理装置６の記憶部６３等、当該情報処理装置６の制御部６２からアクセス可能な記憶領域に記憶されており、情報処理装置６は、当該設定値に基づき、精度確率が所定値以上の関心領域の拡大画像を出力する際の出力態様を決定するため、内視鏡の操作者に応じた可用性を向上することができる。
本実施形態によれば、情報処理装置６は、関心領域の拡大画像を出力する場合、内視鏡の観察モードを特殊光観察モードに変更する信号を内視鏡（内視鏡プロセッサ）に出力するため、内視鏡画像における関心領域の存在をトリガーに白色光観察モードから特殊光観察モードへの観察モード変更を自動的に行い、例えばＮＢＩ（Narrow Band Imaging：狭帯域光法）等の特殊光によって照明された関心領域の拡大画像を内視鏡の操作者に対し、効率的に提供することができる。
本実施形態によれば、情報処理装置６は、内視鏡画像に関心領域が含まれなくなった際、すなわち学習済みモデル６３１から関心領域に関する情報（位置、精度確率）が出力されなかった場合、拡大画像の出力を停止する。拡大画像を、内視鏡画像が表示される画面（親画面）とは別個の画面（子画面）にて表示していた場合、拡大画像の出力を停止することにより、当該子画面は、閉じられる。又は子画面は、非表示状態、非活性状態又は最小化状態に状態遷移されるものであってもよい。内視鏡画像が表示される画面（親画面）を、内視鏡画像から拡大画像に切り替えて、当該拡大画像を表示していた場合、拡大画像の出力を停止することにより、当該親画面にて表示される画像は、拡大画像から、元の内視鏡画像に切り替えられる。拡大画像を表示するにあたり特殊光観察モードを用いていた場合、内視鏡画像に関心領域が含まれなくなった際、観察モードを、特殊光観察モードから白色光観察モードに遷移させるものであってもよい。このように拡大画像が出力した状態となった以降に取得した内視鏡画像において、関心領域が含まれなくなった場合、当該関心領域の不存在をトリガーに、拡大画像の出力（表示）する際の出力態様（表示態様）を、内視鏡画像のみを出力（表示）する元の出力態様（表示態様）に自動的に戻すことにより、内視鏡の操作者による操作の手間を削減し、操作性を向上させることができる。
（実施形態２）
図８は、実施形態２（複数の関心領域）に係る拡大画像の表示画面の一態様を示す説明図である。情報処理装置６の制御部６２（学習済みモデル６３１）は、内視鏡画像から、複数の関心領域に関する情報（位置、精度確率）を取得した場合、これら複数の関心領域それぞれを拡大した、複数の拡大画像それぞれを出力する。本実施形態における図示において、左側の画面は、内視鏡画像が表示されている親画面であり、当該内視鏡画像には、複数の関心領域が含まれている。
情報処理装置６の制御部６２は、関心領域の個数と同数の子画面（内視鏡画像が表示される画面とは別個の画面）を生成し、生成したそれぞれの子画面に、それぞれの拡大画像を表示するものであってもよい。又は、情報処理装置６の制御部６２は、生成した複数の拡大画像を出力（表示）する際、複数の拡大画像のうち、最も精度確立が高い拡大画像を親画面にて表示し、他の拡大画像を個々の子画面で出力（表示）する出力態様（表示態様）にて出力態様データを生成し、当該出力態様データを内視鏡用プロセッサ２０に出力するものであってもよい。
図９は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６の制御部６２は、実施形態１のＳ１０１からＳ１０６及びＳ１０５１までの処理と同様に、Ｓ２０１からＳ２０６及びＳ２０６１までの処理を行う。
情報処理装置６の制御部６２は、全ての関心領域の拡大画像を生成したか、否かを判定する（Ｓ２０７）。学習済みモデル６３１は、内視鏡画像に複数の関心領域が含まれる場合、これら複数の関心領域それぞれの位置及び精度確率を含む情報（関心領域に関する情報）を出力する。情報処理装置６の制御部６２は、学習済みモデル６３１から出力された複数の関心領域それぞれの位置及び精度確率を、例えば配列形式にて記憶部６３に一時記憶させ、内視鏡画像に含まれる関心領域の個数によって決定される配列番号の順に処理するものであってもよい。情報処理装置６の制御部６２は、例えば、全ての配列番号に対応する関心領域の拡大画像を生成した場合、すなわち未処理の関心領域がなくなった場合、全ての関心領域の拡大画像を生成したと判定する。全ての関心領域の拡大画像を生成していない場合（Ｓ２０７：ＮＯ）、情報処理装置６の制御部６２は、再度Ｓ２０４の処理を実行すべく、ループ処理を行う。
全ての関心領域の拡大画像を生成した場合（Ｓ２０７：ＹＥＳ）、情報処理装置６の制御部６２は、実施形態１の処理Ｓ１０７、Ｓ１０８と同様にＳ２０８及びＳ２０９の処理を行う。情報処理装置６の制御部６２は、生成した複数の拡大画像を内視鏡用プロセッサ２０に出力（表示）する際、複数の拡大画像それぞれを、個々の子画面で出力（表示）する出力態様（表示態様）にて、出力態様データを内視鏡用プロセッサ２０に出力するものであってもよい。又は、情報処理装置６の制御部６２は、生成した複数の拡大画像を出力（表示）する際、複数の拡大画像のうち、最も精度確立が高い拡大画像を親画面にて表示し、他の拡大画像を個々の子画面で出力（表示）する出力態様（表示態様）にて、出力態様データを内視鏡用プロセッサ２０に出力するものであってもよい。情報処理装置６の制御部６２は、実施形態１と同様に、取得した内視鏡画像に関心領域が含まれなくなった場合、拡大画像の出力を停止するものであってもよい。
本実施形態によれば、情報処理装置６は、例えば動画における１フレーム等、単一の内視鏡画像から、複数の関心領域に関する情報（位置、精度確率）を取得した場合、これら複数の関心領域それぞれを拡大した、複数の拡大画像それぞれを内視鏡用プロセッサ２０に出力する。複数の拡大画像それぞれを出力するにあたり、情報処理装置６は、関心領域の個数と同数の子画面（内視鏡画像が表示される画面とは別個の画面）を生成し、生成したそれぞれの子画面に、それぞれの拡大画像を表示させるものであってもよい。内視鏡画像において、複数の関心領域が含まれる場合であっても、当該複数の関心領域それぞれの拡大画像を個々の子画面にて表示することにより、内視鏡の操作者に対し、関心領域に関する情報を効率的に提供することができる。
（実施形態３）
図１０は、実施形態３（第２学習済みモデル６３２）に係る情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。図１１は、第２学習済みモデル６３２（診断支援学習モデル）に関する説明図である。実施形態３の情報処理装置６は、更に第２学習済みモデル６３２を備える。実施形態３の情報処理装置６の記憶部６３には、第２学習済みモデル６３２（診断支援学習モデル）を構成する実体ファイル（ニューラルネットワーク（ＮＮ）のインスタンスファイル）が保存されている。これら実体ファイルは、プログラムの一部位として構成されるものであってもよい。
実施形態３の情報処理装置６の制御部６２は、実施形態１と同様に記憶部６３に記憶されているプログラムを実行することにより、取得部６２１、学習済みモデル６３１、拡大画像生成部６２２、出力態様決定部６２３、及び出力部６２４として機能し、更に第２学習済みモデル６３２として機能する。取得部６２１、学習済みモデル６３１、拡大画像生成部６２２、及び出力態様決定部６２３は、実施形態１と同様の処理を行う。更に拡大画像生成部６２２は、生成した拡大画像を第２学習済みモデル６３２に出力する。
第２学習済みモデル６３２は、学習済みモデル６３１と同様にニューラルネットワークで構成され、例えばＣＮＮ（Convolutional Neural Network）である。第２学習済みモデル６３２は、関心領域を含む拡大画像が入力された場合、関心領域に関する診断支援情報を出力するように学習されている。当該関心領域に関する診断支援情報は、例えば、病変、病変候補、薬剤、処置具、及びマーカー等の関心領域の種類、又は、病変の分類及びステージを含むものであってもよい。第２学習済みモデル６３２は、入力された拡大画像（関心領域を含む拡大画像）に基づき、当該関心領域の種類等を含む診断支援情報するモデルであり、診断支援学習モデルに相当する。第２学習済みモデル６３２は、入力された拡大画像に基づき出力（推定）した診断支援情報を、出力部６２４に出力する。
出力部６２４は、実施形態１と同様に、拡大画像生成部６２２から取得した拡大画像、出力態様決定部６２３から取得した出力態様データ、及び第２学習済みモデル６３２（診断支援学習モデル）から取得した診断支援情報を、内視鏡用プロセッサ２０に出力する。内視鏡用プロセッサ２０は、実施形態１と同様に情報処理装置６（出力部６２４）から出力された拡大画像、診断支援情報及び出力態様データに基づき、当該拡大画像及び診断支援情報を親画面又は子画面のいずれかの出力態様にて、表示装置５０に表示させる。
図１２は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６の制御部６２は、実施形態１のＳ１０１からＳ１０７までの処理と同様に、Ｓ３０１からＳ３０７までの処理を行う。
情報処理装置６の制御部６２は、拡大画像を第２学習済みモデル６３２に入力する（Ｓ３０８）。情報処理装置６の制御部６２は、第２学習済みモデル６３２から診断支援情報を取得する（Ｓ３０９）。拡大画像が入力された第２学習済みモデル６３２は、関心領域に関する診断支援情報を出力する。当該関心領域に関する診断支援情報は、例えば、病変、病変候補、薬剤、処置具、及びマーカー等の関心領域の種類、又は、病変の分類及びステージが含まれる。
情報処理装置６の制御部６２は、拡大画像、出力態様データ及び診断支援情報を出力する（Ｓ３１０）。情報処理装置６の制御部６２は、実施形態１と同様に拡大画像、出力態様データ及び診断支援情報を内視鏡用プロセッサ２０に出力する。内視鏡用プロセッサ２０は、実施形態１と同様に情報処理装置６（出力部６２４）から出力された拡大画像、診断支援情報及び出力態様データに基づき、当該拡大画像及び診断支援情報を親画面又は子画面のいずれかの出力態様にて、表示装置５０に表示させる。
本実施形態によれば、情報処理装置６は、学習済みモデル６３１が関心領域に関する情報（位置、精度確率）を出力した際、当該関心領域の拡大画像を第２学習済みモデル６３２に入力し、当該第２学習済みモデル６３２から、関心領域に関する診断支援情報（関心領域の種類、病変の分類及びステージ等）を取得する。第２学習済みモデル６３２に入力される画像は、内視鏡画像から抽出された関心領域の拡大画像であるため、内視鏡画像における関心領域の情報量比率と比較して、拡大画像における関心領域の情報量比率を大きくすることができ、第２学習済みモデル６３２による推定精度を向上させることができる。情報処理装置６は、関心領域の拡大画像と共に、当該拡大画像に基づき第２学習済みモデル６３２が出力（推定）した診断支援情報を関連付けて出力して、子画面等にて表示することにより、内視鏡の操作者に対し関心領域の拡大画像及び診断支援情報を効率的に提供することができる。
今回開示された実施の形態は全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。
Ｓ 診断支援システム
１０ 内視鏡装置
１５ キーボード
１６ 収容棚
２０ 内視鏡用プロセッサ
２１ 制御部
２１１ 画像処理部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ タッチパネル
２６ 表示装置Ｉ／Ｆ
２７ 入力装置Ｉ／Ｆ
２８ 読取部
３１ 内視鏡用コネクタ
３１１ 電気コネクタ
３１２ 光コネクタ
３３ 光源
３４ ポンプ
３５ 送水タンク
３６ 送気送水口金
４０ 内視鏡
４３ 操作部
４３１ 制御ボタン
４３３ 湾曲ノブ
４４ 挿入部（可撓管）
４４１ 軟性部
４４２ 湾曲部
４４３ 先端部
４４４ 撮像部
４５ 折止部
４８ スコープコネクタ
４９ ユニバーサルコード
５０ 表示装置
６ 情報処理装置
６１ 通信部
６２ 制御部
６２１ 取得部
６２２ 拡大画像生成部
６２３ 出力態様決定部
６２４ 出力部
６３ 記憶部
６３１ 学習済みモデル（関心領域学習モデル）
６３２ 第２学習済みモデル（診断支援学習モデル）
６４ 入出力Ｉ／Ｆ
７ 表示部
８ 入力部

Claims (9)

  1. コンピュータに、
    内視鏡により撮像した画像を取得し、
    前記内視鏡により撮像した画像が入力された場合、画像に含まれる関心領域の位置を出力するように学習済みの学習済みモデルに、前記取得した画像を入力し、
    前記学習済みモデルから、前記取得した画像に含まれる関心領域の位置を取得し、
    取得した前記関心領域の位置に基づき、前記関心領域が含まれる画像の部分を拡大した拡大画像を出力する
    処理をコンピュータに実行させるプログラム。
  2. 前記学習済みモデルは、前記内視鏡により撮像した画像が入力された場合、画像に含まれる前記関心領域の位置及び精度確率を出力し、
    前記精度確率が所定値未満の場合、前記取得した画像が表示される画面とは、別個の画面にて表示されるように前記拡大画像を出力し、
    前記精度確率が所定値以上の場合、前記取得した画像が表示される画面にて、該画像から前記拡大画像に切り替える、又は前記取得した画像が表示される画面とは、別個の画面にて表示されるように前記拡大画像を出力する
    請求項１に記載のプログラム。
  3. 前記精度確率が所定値以上の場合における拡大画像の出力態様を決定する設定値は、予め記憶されており、
    前記設定値に応じた出力態様にて、前記精度確率が所定値以上の場合における前記拡大画像を出力する
    請求項２に記載のプログラム。
  4. 前記拡大画像を出力する場合、前記内視鏡の観察モードを特殊光観察モードに変更するための情報を出力する
    請求項１から請求項３のいずれか１項に記載のプログラム。
  5. 前記拡大画像を出力した以降に取得した画像に前記関心領域が含まれなくなった場合、前記拡大画像の出力を停止する
    請求項１から請求項４のいずれか１項に記載のプログラム。
  6. 前記学習済みモデルから、前記取得した画像に含まれる複数の前記関心領域の位置を取得した場合、取得した複数の前記関心領域の位置に基づき、複数の前記関心領域それぞれが含まれる画像の部分を拡大した拡大画像それぞれを出力する
    請求項１から請求項５のいずれか１項に記載のプログラム。
  7. 前記関心領域を含む拡大画像が入力された場合、前記関心領域に関する診断支援情報を出力するように学習済みの第２学習済みモデルに、前記拡大画像を入力し、
    前記第２学習済みモデルから、前記関心領域に関する前記診断支援情報を取得し、
    取得した診前記断支援情報と前記拡大画像とを関連付けて出力する
    請求項１から請求項６のいずれか１項に記載のプログラム。
  8. 内視鏡により撮像した画像を取得し、
    前記内視鏡により撮像した画像が入力された場合、画像に含まれる関心領域の位置を出力するように学習済みの学習済みモデルに、前記取得した画像を入力し、
    前記学習済みモデルから、前記取得した画像に含まれる関心領域の位置を取得し、
    取得した前記関心領域の位置に基づき、前記関心領域が含まれる画像の部分を拡大した拡大画像を出力する
    処理をコンピュータに実行させる情報処理方法。
  9. 内視鏡により撮像した画像を取得する画像取得部と、
    前記内視鏡により撮像した画像が入力された場合、画像に含まれる関心領域の位置を出力するように学習済みの学習済みモデルに、前記取得した画像を入力する入力部と、
    前記学習済みモデルから、前記取得した画像に含まれる関心領域の位置を取得する位置取得部と、
    取得した前記関心領域の位置に基づき、前記関心領域が含まれる画像の部分を拡大した拡大画像を出力する出力部と
    を備える情報処理装置。
JP2021034569A 2021-03-04 2021-03-04 プログラム、情報処理方法及び情報処理装置 Active JP7565824B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021034569A JP7565824B2 (ja) 2021-03-04 2021-03-04 プログラム、情報処理方法及び情報処理装置
PCT/JP2021/045921 WO2022185651A1 (ja) 2021-03-04 2021-12-14 プログラム、情報処理方法及び情報処理装置
EP21929209.1A EP4233684A1 (en) 2021-03-04 2021-12-14 Program, information processing method, and information processing device
CN202180080128.1A CN116583215A (zh) 2021-03-04 2021-12-14 程序、信息处理方法及信息处理装置
US18/039,770 US20240087723A1 (en) 2021-03-04 2021-12-14 Program, information processing method, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021034569A JP7565824B2 (ja) 2021-03-04 2021-03-04 プログラム、情報処理方法及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2022135013A true JP2022135013A (ja) 2022-09-15
JP7565824B2 JP7565824B2 (ja) 2024-10-11

Family

ID=83154246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021034569A Active JP7565824B2 (ja) 2021-03-04 2021-03-04 プログラム、情報処理方法及び情報処理装置

Country Status (5)

Country Link
US (1) US20240087723A1 (ja)
EP (1) EP4233684A1 (ja)
JP (1) JP7565824B2 (ja)
CN (1) CN116583215A (ja)
WO (1) WO2022185651A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166731A1 (ja) * 2023-02-07 2024-08-15 富士フイルム株式会社 画像処理装置、内視鏡、画像処理方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024180593A1 (ja) * 2023-02-27 2024-09-06 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861151B2 (en) 2015-08-07 2020-12-08 The Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
TW201922174A (zh) 2017-10-30 2019-06-16 公益財團法人癌症研究會 圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式
JP7476800B2 (ja) 2018-12-13 2024-05-01 ソニーグループ株式会社 医療支援システム、医療支援装置及び医療支援方法
JP7337600B2 (ja) 2019-08-26 2023-09-04 日東電工株式会社 蓄電デバイス正極用活物質、蓄電デバイス用正極、及び蓄電デバイス

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024166731A1 (ja) * 2023-02-07 2024-08-15 富士フイルム株式会社 画像処理装置、内視鏡、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20240087723A1 (en) 2024-03-14
EP4233684A1 (en) 2023-08-30
JP7565824B2 (ja) 2024-10-11
CN116583215A (zh) 2023-08-11
WO2022185651A1 (ja) 2022-09-09

Similar Documents

Publication Publication Date Title
WO2022185651A1 (ja) プログラム、情報処理方法及び情報処理装置
JP4676021B2 (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
JP7555181B2 (ja) 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
US20220351407A1 (en) Program, information processing method, and information processing device
JP6206869B2 (ja) 内視鏡観察支援装置
US20160349972A1 (en) Data browse apparatus, data browse method, and storage medium
US20230105799A1 (en) Program, information processing method, and information processing device
US20230353879A1 (en) Program, information processing method, and endoscope system
US20220095889A1 (en) Program, information processing method, and information processing apparatus
Hachaj et al. Visualization of perfusion abnormalities with GPU-based volume rendering
US20240335101A1 (en) Endoscopy support apparatus, endoscopy support method, and computer readable recording medium
US12045985B2 (en) Program, information processing method, and information processing device
US11086513B2 (en) Method and apparatus for displaying function of button of ultrasound apparatus on the button
US20150054855A1 (en) Image processing apparatus, image processing system, image processing method, and program
KR20220147957A (ko) 생체 이미지 조직 표시 방법 및 장치
JP2008067915A (ja) 医用画像表示装置
CN114612461A (zh) 图像处理方法、装置、存储介质及电子设备
US20220409324A1 (en) Systems and methods for telestration with spatial memory
JP2023003728A (ja) プログラム、情報処理方法及び内視鏡システム
US20240180395A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
WO2021149169A1 (ja) 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体
US20240335093A1 (en) Medical support device, endoscope system, medical support method, and program
US12125196B2 (en) Computer program, processor for endoscope, and information processing method
JP2023044308A (ja) コンピュータプログラム、情報処理方法及び内視鏡
US20220084194A1 (en) Computer program, processor for endoscope, and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241001

R150 Certificate of patent or registration of utility model

Ref document number: 7565824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150