JP2020141995A - 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置 - Google Patents

内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置 Download PDF

Info

Publication number
JP2020141995A
JP2020141995A JP2019042740A JP2019042740A JP2020141995A JP 2020141995 A JP2020141995 A JP 2020141995A JP 2019042740 A JP2019042740 A JP 2019042740A JP 2019042740 A JP2019042740 A JP 2019042740A JP 2020141995 A JP2020141995 A JP 2020141995A
Authority
JP
Japan
Prior art keywords
image
endoscopic
learning
foreground
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019042740A
Other languages
English (en)
Other versions
JP7128135B2 (ja
Inventor
稔宏 臼田
Toshihiro Usuda
稔宏 臼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019042740A priority Critical patent/JP7128135B2/ja
Priority to US16/808,409 priority patent/US11450079B2/en
Publication of JP2020141995A publication Critical patent/JP2020141995A/ja
Priority to US17/885,568 priority patent/US11978550B2/en
Priority to JP2022130387A priority patent/JP2022159496A/ja
Application granted granted Critical
Publication of JP7128135B2 publication Critical patent/JP7128135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Endoscopes (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)

Abstract

【課題】内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行う内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置を提供する。【解決手段】内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成部と、重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習部と、を備える内視鏡画像学習装置によって上記課題を解決する。【選択図】図４

Description

本発明は内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置に係り、特に内視鏡画像を認識する学習モデルの学習を行う技術に関する。
近年、機械学習の一分野として多層ニューラルネットワークを利用した深層学習が注目を集めている。特に画像認識の分野では人間の識別能力を上回る性能を実現している。
この深層学習を用いて内視鏡画像を認識する技術が考案されている。例えば、特許文献１には、病理組織学上の診断の紐付けがなされた学習用の内視鏡画像を用いて、畳み込みニューラルネットワークにより内視鏡画像の分類器を自動作成する技術が開示されている。
特開２０１９−０１３４６１号公報
深層学習による認識器の学習において精度向上の決め手となるのは、より大量で多様な学習データによって学習することである。しかしながら、医療分野における画像認識において、画像データ収集の難しさによりデータの量と多様性を確保することは困難である。
例えば、内視鏡用処置具の使用を高精度で認識するためには、市場に出回る多くの種類の内視鏡用処置具を使用している画像を収集する必要がある。しかし、それらの画像を大量に収集するのは、医療行為への介入に当たるため、困難である。また、市場には数十種類の内視鏡用処置具が出回っており、それら全てに対して大量の学習データを収集するのは困難である。
本発明はこのような事情に鑑みてなされたもので、内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行う内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置を提供することを目的とする。
上記目的を達成するための内視鏡画像学習装置の一の態様は、内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成部と、重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習部と、を備える内視鏡画像学習装置である。
本態様によれば、内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を使用して画像認識用の学習モデルの学習を行うようにしたので、内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。
前景画像を取得する前景画像取得部と、背景内視鏡画像を取得する背景画像取得部と、を備えることが好ましい。これにより、前景画像及び背景内視鏡画像を適切に取得することができる。
学習用内視鏡画像を取得する学習用内視鏡画像取得部を備え、機械学習部は、学習用内視鏡画像を使用して学習を行うことが好ましい。重畳画像だけでなく、学習用内視鏡画像を使用して学習を行うことで、学習モデルの学習を適切に行うことができる。
前景画像に特定の処理を施す画像処理部を備えることが好ましい。特定の処理は、アフィン変換処理、色彩変換処理、及びノイズの付与処理のうちの少なくとも１つであることが好ましい。これにより、適切な前景画像を使用することができる。
内視鏡用処置具を含む前景素材画像を取得する前景素材画像取得部と、前景素材画像から内視鏡用処置具を切り出して前景画像を生成する画像切出部と、を備えることが好ましい。これにより、適切な前景画像を使用することができる。
前景素材画像は、内視鏡装置において内視鏡用処置具を使用した際に撮影された内視鏡画像であることが好ましい。また、前景素材画像は、内視鏡画像以外の画像であってもよい。これにより、適切な前景画像を生成することができる。
学習モデルは、内視鏡用処置具の有無を認識する学習モデル、内視鏡用処置具の種類を認識する学習モデル、内視鏡用処置具の領域と内視鏡用処置具の領域以外の領域とを区別する学習モデル、注目領域の位置を検出する学習モデル、及び画像を分類する学習モデルのうちの少なくとも１つであることが好ましい。本態様によれば、様々な画像認識用の学習モデルの学習を行うことができる。
機械学習部は、畳み込みニューラルネットワークを用いて学習を行うことが好ましい。これにより、学習モデルの学習を適切に行うことができる。
上記目的を達成するための内視鏡画像認識装置の一の態様は、内視鏡画像を取得する画像取得部と、上記に記載の内視鏡画像学習装置によって学習された学習モデルを用いて画像取得部が取得した内視鏡画像の画像認識を行う画像認識部と、を備えた内視鏡画像認識装置である。
本態様によれば、内視鏡用処置具の写った内視鏡画像を適切に認識することができる。
上記目的を達成するための内視鏡画像学習方法は、内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成工程と、重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習工程と、を備える内視鏡画像学習方法である。
本態様によれば、内視鏡用処置具が抽出された前景画像を前景画像の背景となる背景内視鏡画像に重畳した重畳画像を使用して画像認識用の学習モデルの学習を行うようにしたので、内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。
上記に記載の内視鏡画像学習方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
本発明によれば、内視鏡用処置具の写った内視鏡画像を認識する画像認識用の学習モデルの学習を適切に行うことができる。
図１は、内視鏡画像学習装置のハードウェア構成の一例を示すブロック図である。 図２は、前景素材画像１４Ａの一例を示す図である。 図３は、前景素材画像１４Ａの他の例を示す図である。 図４は、第１の実施形態に係る内視鏡画像学習装置１０の主要な機能を示す機能ブロック図である。 図５は、機械学習部５０の主要な機能を示す機能ブロック図である。 図６は、内視鏡画像学習装置１０による内視鏡画像学習方法の一例を示すフローチャートである。 図７は、内視鏡画像学習装置１０の画像処理を説明するための図である。 図８は、前景素材画像１４Ａの一例を示す図である。 図９は、図７に示した前景画像３０Ａを変換した前景画像３０Ａを示す図である。 図１０は、図７に示した前景画像３０Ａを変換した前景画像３０Ａを示す図である。 図１１は、処置具のセグメンテーションを認識する学習モデルの場合の重畳画像３８Ａ及び重畳画像３８Ａの正解データ３８Ｂを示す図である。 図１２は、病変の位置を認識する学習モデルの場合の背景画像１６Ａ及び背景画像１６Ａの正解データ１６Ｂと、背景画像１６Ａから生成された重畳画像３８Ａ及び重畳画像３８Ａの正解データ３８Ｂとの一例を示す図である。 図１３は、第２の実施形態に係る内視鏡システム１００を示す外観図である。 図１４は、挿入部１０２Ａの先端部１０２Ｄの正面図である。 図１５は、内視鏡システム１００の機能を示すブロック図である。 図１６は、光Ｌ１及び光Ｌ２の強度分布を示すグラフである。
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
＜内視鏡画像学習装置のハードウェア構成＞
本発明に係る内視鏡画像学習装置は、内視鏡画像の認識を行う学習モデルの学習に使用する学習データを水増しすることで、学習モデルの学習を適切に行う装置である。図１は、内視鏡画像学習装置のハードウェア構成の一例を示すブロック図である。
内視鏡画像学習装置１０は、パーソナルコンピュータ又はワークステーションによって構成される。内視鏡画像学習装置１０は、通信部１２、前景素材画像データベース１４、背景内視鏡画像データベース１６、学習用内視鏡画像データベース１８、操作部２０、ＣＰＵ（Central Processing Unit）２２、ＲＡＭ(Random Access Memory)２４、ＲＯＭ(Read Only Memory)２６、及び表示部２８から構成される。
通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。
前景素材画像データベース１４は、内視鏡用処置具（以下、処置具と表記する）が写った複数の前景素材画像１４Ａを記憶する大容量ストレージ装置である。処置具は、鉗子出口１０５（図１４参照）から突出される生検鉗子、スネア、高周波ナイフ、メジャー鉗子及び止血クリップを含む。また、処置具は、内視鏡１０２の先端部１０２Ｄに装着されるキャップ１０２Ｆ（図１３参照）を含む。処置具は、その他の内視鏡画像に写り込む可能性のある器具を含んでもよい。前景素材画像データベース１４は、必要に応じて、前景素材画像に画像内の処置具の種類を示す情報を関連付けて記憶してもよい。
図２は、前景素材画像１４Ａの一例を示す図である。図２に示す前景素材画像１４Ａは、内視鏡によって生体を観察中に処置具を使用している際に撮影された画像であり、鉗子出口１０５（図１４参照）から突出した生検鉗子である処置具Ｔ１が写った画像である。
図３は、前景素材画像１４Ａの他の例を示す図である。図３に示す前景素材画像１４Ａは、内視鏡によって生体を観察中に処置具を使用している際に撮影された画像であり、先端部に装着されたキャップである処置具Ｔ２が写った画像である。
図１の説明に戻り、背景内視鏡画像データベース１６は、前景画像の背景となる複数の背景内視鏡画像を記憶する大容量ストレージ装置である。背景内視鏡画像は、例えば内視鏡システム１００（図１３参照）によって撮影された内視鏡画像である。背景内視鏡画像は、それぞれ異なる不図示の複数の内視鏡装置によって撮影された内視鏡画像であってよい。背景内視鏡画像は、処置具が写っていない画像であることが好ましい。背景内視鏡画像データベース１６は、必要に応じて、背景内視鏡画像に画像内の病変（注目領域の一例）の有無の情報、病変の位置の情報、及び病変の分類の情報を関連付けて記憶してもよい。病変の位置の情報は、画像内における病変の座標の情報でもよいし、病変を囲む矩形の情報、又は病変を覆い隠すマスクデータの情報でもよい。
病変とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態の領域を含んでいる。病変としては、例えば、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕又はＥＳＤ（Endoscopic Submucosal Dissection）瘢痕等の治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等が挙げられる。病変の分類は、腫瘍性、非腫瘍性の２分類、NICE分類等が挙げられる。
学習用内視鏡画像データベース１８は、学習用内視鏡画像を記憶する大容量ストレージ装置である。学習用内視鏡画像は、内視鏡システム１００（図１３参照）によって撮影された内視鏡画像である。学習用内視鏡画像は、それぞれ異なる不図示の複数の内視鏡装置によって撮影された内視鏡画像であってよい。学習用内視鏡画像は、処置具が写っている画像、及び処置具が写っていない画像を含む。学習用内視鏡画像データベース１８は、必要に応じて、学習用内視鏡画像に画像内の処置具の有無の情報、画像内の病変の有無の情報、病変の位置の情報、及び病変の分類の情報を関連付けて記憶してもよい。
前景素材画像データベース１４、背景内視鏡画像データベース１６、及び学習用内視鏡画像データベース１８のうち少なくとも２つを同一のストレージ装置としてもよい。また、前景素材画像データベース１４、背景内視鏡画像データベース１６、及び学習用内視鏡画像データベース１８のうち少なくとも１つを、内視鏡画像学習装置１０の外部に設けてもよい。この場合、通信部１２を介して外部のデータベースから画像を取得する。
操作部２０は、内視鏡画像学習装置１０に対する各種の操作入力を受け付ける入力インターフェースである。操作部２０は、コンピュータに有線接続又は無線接続されるキーボード又はマウス等が用いられる。
ＣＰＵ２２は、ＲＯＭ２６又は不図示のハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ２４は、ＣＰＵ２２の作業領域として使用される。また、ＲＡＭ２４は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。内視鏡画像学習装置１０は、ＧＰＵ（Graphics Processing Unit）を備えていてもよい。
表示部２８は、内視鏡画像学習装置１０の必要な情報が表示される出力インターフェースである。表示部２８は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
内視鏡画像学習装置１０は、操作部２０からの指示入力により、ＣＰＵ２２がＲＯＭ２６又はハードディスク装置等に記憶されている内視鏡画像学習プログラムを読み出し、内視鏡画像学習プログラムを実行する。これにより、後述する内視鏡画像学習方法が実施され、重畳画像の生成、及び重畳画像を用いた学習モデルの学習が行われる。
内視鏡画像学習方法をコンピュータに実行させる内視鏡画像学習プログラムは、コンピュータの読取可能な非一時的な記録媒体に記憶させて提供されてもよい。
なお、ここでは内視鏡画像学習装置１０を単一のパーソナルコンピュータ又はワークステーションによって構成する例を説明したが、複数のパーソナルコンピュータによって内視鏡画像学習装置１０を構成してもよい。例えば、重畳画像を生成するパーソナルコンピュータと機械学習を行うパーソナルコンピュータとを分けることで、学習データの生成と学習モデルの生成とを物理的にも時間的にも互いに束縛されることなく実施することができる。
＜第１の実施形態＞
第１の実施形態では、内視鏡画像内の処置具の有無を画像認識する学習モデルを生成する。
〔内視鏡画像学習装置〕
図４は、第１の実施形態に係る内視鏡画像学習装置１０の主要な機能を示す機能ブロック図である。内視鏡画像学習装置１０は、前景画像取得部３０、背景画像取得部３６、画像生成部３８、学習用内視鏡画像取得部４０、及び機械学習部５０を備えている。
前景画像取得部３０は、処置具が抽出された前景画像３０Ａを取得する。ここでは、前景画像取得部３０は、前景素材画像１４Ａから処置具を抽出した前景画像３０Ａを取得する。前景画像取得部３０は、画像切出部３２、及び画像処理部３４を備えている。
画像切出部３２（前景素材画像取得部の一例）は、前景素材画像データベース１４から前景素材画像１４Ａを取得する。画像切出部３２は、取得した前景素材画像１４Ａのうち、処置具が写った領域を切り出す（抽出の一例）。この切り出した領域が前景画像３０Ａである。
画像処理部３４は、画像切出部３２から前景画像３０Ａを取得する。画像処理部３４は、取得した前景画像３０Ａに特定の処理を施す。特定の処理は、アフィン変換処理、色彩変換処理、及びノイズの付与処理のうちの少なくとも１つの画像処理である。
画像処理部３４は、前景画像３０Ａにアフィン変換処理を施すことで、焦点距離等、内視鏡装置の光学系と前景画像３０Ａを撮影した光学系の違いを補正することができる。即ち、アフィン変換処理後の前景画像３０Ａは、内視鏡装置の光学系で撮影された画像と同様の特性を有する。
画像処理部３４は、前景画像３０Ａに色彩変換処理を施すことで、後述する背景内視鏡画像３６Ａの色彩との違いを補正することができる。例えば、色彩変換処理によって、前景画像３０Ａに背景内視鏡画像３６Ａの粘膜の反射を再現することができる。
画像処理部３４は、前景画像３０Ａにノイズの付与処理を施すことで、ノイズの量を補正することができる。例えば、後述する背景内視鏡画像３６Ａが暗い画像でノイズが多い場合に、前景画像３０Ａにも同様のノイズを付与することで、同様の暗さを再現することができる。
画像処理部３４によって特定の処理が施された前景画像３０Ａは、画像生成部３８に入力される。
背景画像取得部３６は、背景内視鏡画像データベース１６から前景画像の背景となる背景内視鏡画像３６Ａを取得する。
画像生成部３８は、前景画像取得部３０から前景画像３０Ａを取得する。また、画像生成部３８は、背景画像取得部３６から背景内視鏡画像３６Ａを取得する。画像生成部３８は、前景画像３０Ａを背景内視鏡画像３６Ａに重畳した重畳画像３８Ａを生成する。また、画像生成部３８は、生成した重畳画像３８Ａの正解データ３８Ｂを生成する。
ここでは、画像生成部３８は、少なくとも１枚の前景画像３０Ａについて、それぞれ異なる複数枚の背景内視鏡画像３６Ａを取得し、それぞれ前景画像を重畳した複数枚の重畳画像３８Ａを生成する。前景画像３０Ａと背景内視鏡画像３６Ａとの組み合わせは、ランダムに決定することが好ましい。また、重畳画像３８Ａの正解データ３８Ｂは、全て「処置具あり」である。画像生成部３８は、重畳画像３８Ａ及び正解データ３８Ｂのデータセットを生成した重畳画像３８Ａの数だけ出力する。
本実施形態に係る学習用内視鏡画像データベース１８は、学習用内視鏡画像に画像内の処置具の有無の情報を関連付けて記憶している。学習用内視鏡画像取得部４０は、学習用内視鏡画像データベース１８から学習用内視鏡画像４０Ａを取得する。また、学習用内視鏡画像取得部４０は、取得した学習用内視鏡画像４０Ａに関連付けられた処置具の有無の情報から、正解データ４０Ｂを取得する。正解データ４０Ｂは、学習用内視鏡画像４０Ａに応じて「処置具あり」及び「処置具なし」がある。学習用内視鏡画像取得部４０は、取得した学習用内視鏡画像４０Ａ及び正解データ４０Ｂのデータセットを機械学習部５０に入力する。
機械学習部５０は、少なくとも重畳画像３８Ａを使用して画像認識用の学習モデルの学習を行う。ここでは、機械学習部５０は、重畳画像３８Ａ及び学習用内視鏡画像４０Ａを使用して画像認識用の学習モデルを生成する。機械学習部５０は、学習モデルの一つである畳み込みニューラルネットワーク（CNN：Convolution Neural Network）を構築する。
図５は、機械学習部５０の主要な機能を示す機能ブロック図である。機械学習部５０は、ＣＮＮ５２、誤差算出部５４、及びパラメータ更新部５６を備える。
ＣＮＮ５２は、内視鏡画像内の処置具の有無を画像認識する認識器である。ＣＮＮ５２は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。ＣＮＮ５２は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。
このＣＮＮ５２は、入力層５２Ａ、中間層５２Ｂ、及び出力層５２Ｃを備える。入力層５２Ａ、中間層５２Ｂ、及び出力層５２Ｃは、それぞれ複数の「ノード」が「エッジ」で結ばれる構造となっている。
入力層５２Ａには、学習対象である重畳画像３８Ａ及び学習用内視鏡画像４０Ａが入力される。
中間層５２Ｂは、入力層から入力した画像から特徴を抽出する層である。中間層５２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層とを有する。畳み込み層は、前の層で近くにあるノードに対してフィルタを使用した畳み込み演算を行い、特徴マップを取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。全結合層は、直前の層（ここではプーリング層）のノードの全てを結合する。畳み込み層は、画像からのエッジ抽出等の特徴抽出の役割を担い、プーリング層は抽出された特徴が、平行移動等による影響を受けないようにロバスト性を与える役割を担う。なお、中間層５２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合、及び正規化層も含まれる。
出力層５２Ｃは、中間層５２Ｂにより抽出された特徴に基づいて内視鏡画像内の処置具の有無の認識結果を出力する層である。
学習済みのＣＮＮ５２は、内視鏡画像内の処置具の有無を分類する場合、例えば内視鏡画像を「処置具あり」及び「処置具なし」の２つのカテゴリに分類し、認識結果は「処置具あり」及び「処置具なし」に対応する２つのスコアとして出力する。２つのスコアの合計は１００％である。
学習前のＣＮＮ５２の各畳み込み層に適用されるフィルタの係数、オフセット値、及び全結合層における次の層との接続の重みは、任意の初期値がセットされる。
誤差算出部５４は、ＣＮＮ５２の出力層５２Ｃから出力される認識結果と、入力画像に対する正解データとを取得し、両者間の誤差を算出する。誤差の算出方法は、例えばソフトマックスクロスエントロピー、又は最小二乗誤差（MSE:Mean Squared Error）等が考えられる。
パラメータ更新部５６は、誤差算出部５４により算出された誤差を元に、誤差逆伝播法によりＣＮＮ５２の重みパラメータを調整する。
このパラメータの調整処理を繰り返し行い、ＣＮＮ５２の出力と正解データとの差が小さくなるまで繰り返し学習を行う。
機械学習部５０は、少なくとも重畳画像３８Ａ及び正解データ３８Ｂのデータセットを使用し、ＣＮＮ５２の各パラメータを最適化する。ここでは、機械学習部５０は、重畳画像３８Ａ及び正解データ３８Ｂのデータセットと、学習用内視鏡画像４０Ａ及び正解データ４０Ｂのデータセットとを使用し、ＣＮＮ５２の各パラメータを最適化する。それぞれのデータセットを混合した状態で学習してもよい。機械学習部５０の学習は、一定の数のデータセットを抽出し、抽出したデータセットによって学習のバッチ処理を行い、これを繰り返すミニバッチ法を用いてもよい。
機械学習部５０は、実現したい認識処理によっては正解データを用いなくてもよい。また、機械学習部５０は、エッジ抽出等のあらかじめ設計したアルゴリズムで特徴を抽出し、その情報を用いてサポートベクターマシン等で学習してもよい。
〔内視鏡画像学習方法〕
図６は、内視鏡画像学習装置１０による内視鏡画像学習方法の一例を示すフローチャートである。内視鏡画像学習方法は、前景画像取得工程（ステップＳ１）、背景画像取得工程（ステップＳ２）、画像生成工程（ステップＳ３）、及び機械学習工程（ステップＳ４）を有している。
ステップＳ１では、前景画像取得部３０は、処置具が抽出された前景画像３０Ａを取得する。即ち、前景画像取得部３０の画像切出部３２は、前景素材画像データベース１４から前景素材画像１４Ａを取得し、処置具が写った領域を切り出して前景画像３０Ａを生成する。
図７は、内視鏡画像学習装置１０の画像処理を説明するための図である。ここでは、画像切出部３２は、一例として図２に示した前景素材画像１４Ａを取得したものとする。図７に、画像切出部３２が前景素材画像１４Ａから切り出した前景画像３０Ａの一例を示す。図７に示すように、前景画像３０Ａは処置具Ｔ１の領域以外の領域が透明の画像である。なお、前景画像３０Ａは、処置具Ｔ１の領域だけの画像であってもよい。
図６の説明に戻り、ステップＳ２では、背景画像取得部３６は、背景内視鏡画像データベース１６から前景画像の背景となる背景内視鏡画像３６Ａを取得する。図７に、背景画像取得部３６が取得した背景内視鏡画像３６Ａの一例を示す。図７に示すように、背景内視鏡画像３６Ａは、処置具が写っていない画像である。
ステップＳ３では、画像生成部３８は、前景画像３０Ａを背景内視鏡画像３６Ａに重畳した重畳画像３８Ａを生成する。図７に、画像生成部３８が重畳した重畳画像３８Ａの一例を示す。図７に示すように、重畳画像３８Ａは、処置具の使用中に撮影された内視鏡画像と同様の画像である。
ステップＳ４では、機械学習部５０は、画像認識用の学習モデルの学習を行う。ここでは、機械学習部５０は、重畳画像及び学習用内視鏡画像を使用して画像認識用の学習モデルを生成する。
ステップＳ１〜ステップＳ３の処理を予め行うことで、生成した複数の重畳画像３８Ａ及び正解データ３８Ｂのデータセットを不図示のデータベースに記憶させておき、機械学習部５０がデータベースから複数のデータセットを読み出すことでステップＳ４の処理を実行してもよい。
内視鏡で観察される内視鏡画像は、視点の変化や、管空の形状の変化によって変化する。しかし、内視鏡の撮像系と位置関係の変わらないままの状態にある物体は、画像上での位置が変化しない。例えば、内視鏡の先端部に設けられた鉗子出口１０５（図１４参照）から突出される処置具は、基本的に常に同じような見え方になる。内視鏡の先端部に装着されるキャップ１０２Ｆ（図１３参照）も同様である。即ち、生体を撮影した通常の内視鏡画像が背景、処置具が前景という状態になる。
本実施形態によれば、背景画像である内視鏡画像に処置具の前景画像を合成した重畳画像を生成して学習データとして使用するので、学習データを水増しすることができる。したがって、処置具を含む内視鏡画像に対する画像認識の性能を向上させることができる。
本実施形態によれば、データ収集の困難な処置具を含む内視鏡画像を、大量に収集することなく学習が可能になる。また、処置具使用時の内視鏡画像を擬似的に再現することで、病変検出時等の場面でも正常に動作させるための学習が可能になる。
一般の画像認識においても、前景画像と背景画像とを合成することで学習データを自動的に大量に水増しすることが考えられるが、たいていの場合、違和感のある画像が出来上がることが多く、これらの画像を用いて学習しても精度向上への寄与は少ない。また、違和感の無い画像を作成しようとすると、合成画像の作成に時間を要し大量生産の実現が困難になる。
一方、内視鏡画像の画像認識においては、処置具は前景にある人工物であり、背景となる生体に対して「違和感のある」物体である。したがって、合成画像を自動的に大量生産することによって得られた学習画像を用いた学習においても、精度向上が期待できる。
＜前景画像のその他の態様＞
上記の例では、前景素材画像データベース１４に保存された前景素材画像１４Ａは、内視鏡によって生体を観察中に処置具を使用している際に撮影された画像であった。このため、前景画像取得部３０は、処置具の金属部分等の光が反射する部分に管腔等の生体の状態が写り込んだ、より現実的な前景画像３０Ａを取得することができる。
ここでは、前景素材画像１４Ａとして、内視鏡によって生体以外の部分を観察しながら処置具を使用している際に撮影された画像を用いる例を説明する。
この場合、第１の実施形態と比較して前景画像３０Ａの現実感に欠けるが、処置具を実際に生体内で使用する必要が無いため、前景素材画像１４Ａの収集が容易であるというメリットがある。
図８は、前景素材画像１４Ａの一例を示す図である。前景素材画像１４Ａは、処置具Ｔ１の背景Ｂが一定の色となっている。このように、背景の領域が一定の色になるように撮影することで、例えば「前景素材画像１４Ａのうち色相が一定の範囲外の部分を前景画像３０Ａとして切り出す」という方法で、前景画像３０Ａを機械的に切り出すことも可能になる。
また、内視鏡の撮像系以外の撮影デバイスで撮影された画像、即ち内視鏡画像以外の画像から切り出してもよい。この画像は、内視鏡の撮像系で撮影された処置具の画像とは乖離するものの、より容易に前景素材画像１４Ａを収集し、前景画像３０Ａを生成することが可能となる。
前景画像３０Ａはそのまま用いてもよいが、前景画像３０Ａのバリエーションを増やすために、画像処理部３４において種々の変換を行ってもよい。
図９及び図１０は、図７に示した前景画像３０Ａを変換した前景画像３０Ａを示す図である。図９に示す前景画像３０Ａは、図７の前景画像３０Ａの処置具Ｔ１を図７における下方に平行移動させた画像である。このような前景画像３０Ａを用いることで、処置具の挿入長による変化を再現することができる。また、図１０に示す前景画像３０Ａは、図７の処置具Ｔ１の筒部（シース部）の色調を変化させた画像である。このような前景画像３０Ａを用いることで、形状が同一で色が異なる処置具の使用を再現することができる。例えば、生体の粘膜の色に類似する色のシース部を有する処置具Ｔ１の学習データを生成することができる。
＜背景画像のその他の態様＞
背景内視鏡画像データベース１６に保存された背景内視鏡画像３６Ａは、生体を撮影した画像であることが好ましい。その中でも、処置具の使用中の画像、又は送水中で水が撮像系に付着し曇った状態の画像等の前景が写っている画像は、重畳の背景として不向きなため、使用しない。また、生体組織に近接して観察している際は処置具を用いることが稀なため、近接して撮影された画像は除外した方が好ましい。
＜学習モデルのその他の態様＞
本実施形態では、機械学習部５０は内視鏡画像内の処置具の有無を画像認識する学習モデルを生成したが、画像認識にはその他のバリエーションが考えられる。例えば、学習モデルは、内視鏡画像内の処置具の種類を画像認識する学習モデルであってもよい。
この場合、重畳画像３８Ａの正解データ３８Ｂとして、前景画像３０Ａの処置具のクラスのラベルを付与する。処置具のクラスのラベルは、前景素材画像１４Ａに関連付けて前景素材画像データベース１４に記憶しておけばよい。
また、学習モデルは、処置具の領域と処置具の領域以外の領域とを区別する処置具のセグメンテーションを行う学習モデルであってもよい。
図１１は、処置具のセグメンテーションを認識する学習モデルの場合の重畳画像３８Ａ及び重畳画像３８Ａの正解データ３８Ｂを示す図である。図１１に示すように、重畳画像３８Ａには処置具Ｔ１が重畳されている。また、正解データ３８Ｂは、処置具Ｔ１の領域に対応する領域Ｍ１である。ここでは、領域Ｍ１以外の領域がマスクされた画像である。
学習モデルは、処置具の認識でなくてもよい。例えば、学習モデルは病変の分類（画像の分類の一例）を行う学習モデルであってもよい。前景画像を重畳した場合であっても、背景画像に写る病変の診断結果に変化はない。したがって、これらの重畳画像を学習に用いることができる。また、このような水増しにより、処置具の使用により分類結果に想定外の影響を及ぼす危険性を減らすことができる。この場合は、背景画像１６Ａに付与されている病変に関するラベルを変更せずに正解データとして使用して学習を行えばよい。
学習モデルは、病変部の位置を認識する学習モデルであってもよい。この場合、前景画像３０Ａの合成により、背景画像１６Ａの病変の面積が変化する場合がある。この場合は、以下のように正解データを変化させる。
図１２は、病変の位置を認識する学習モデルの場合の背景画像１６Ａ及び背景画像１６Ａの正解データ１６Ｂと、背景画像１６Ａから生成された重畳画像３８Ａ及び重畳画像３８Ａの正解データ３８Ｂとの一例を示す図である。
図１２に示すように、背景画像１６Ａは、病変に相当する注目領域Ｒ１が存在する。また、背景画像１６Ａの正解データ１６Ｂは、注目領域Ｒ１に対応する領域Ｍ２である。
また、重畳画像３８Ａには処置具Ｔ１が重畳されており、処置具Ｔ１は注目領域Ｒ１の一部と重なっている。したがって、この場合の正解データ３８Ｂは、図１２に示すように領域Ｍ２と処置具Ｔ１の領域との差分の領域Ｍ３となる。機械学習部５０は、この正解データ３８Ｂを使用して学習することで、病変部の位置を認識する学習モデルを適切に学習することができる。
＜第２の実施形態＞
内視鏡画像学習装置１０を適用した内視鏡システムの一例について説明する。
〔内視鏡システムの構成〕
図１３は、第２の実施形態に係る内視鏡システム１００を示す外観図である。図１３に示すように、内視鏡システム１００は、内視鏡１０２、光源装置１１４、プロセッサ装置１１６、表示部１１８、及び入力部１２０を備えている。
内視鏡１０２は、被験者の肛門から挿入され、直腸及び大腸等を観察するために用いられる下部内視鏡である。内視鏡１０２は、光源装置１１４と光学的に接続される。また、内視鏡１０２は、プロセッサ装置１１６と電気的に接続される。
内視鏡１０２は、被験者の体腔内に挿入される挿入部１０２Ａと、挿入部１０２Ａの基端部分に設けられた操作部１０２Ｂと、挿入部１０２Ａの先端側に設けられた湾曲部１０２Ｃと、先端部１０２Ｄとを有している。
操作部１０２Ｂには、アングルノブ１０２Ｅと、モード切替スイッチ１０３とが設けられている。
アングルノブ１０２Ｅを操作することにより、湾曲部１０２Ｃが湾曲動作する。この湾曲動作によって先端部１０２Ｄが所望の方向に向けられる。
モード切替スイッチ１０３は、観察モードの切り替え操作に用いられる。内視鏡システム１００は、照射光の波長パターンがそれぞれ異なる複数の観察モードを有している。医師は、モード切替スイッチ１０３を操作することにより、所望の観察モードに設定することができる。内視鏡システム１００は、波長パターンと画像処理との組み合わせによって、設定された観察モードに応じた画像を生成して表示部１１８に表示する。
また、操作部１０２Ｂには、不図示の取得指示入力部が設けられている。取得指示入力部は、医師が静止画の取得指示を入力するためのインターフェースである。取得指示入力部は、静止画の取得指示を受け付ける。取得指示入力部において受け付けた静止画の取得指示は、プロセッサ装置１１６に入力される。
操作部１０２Ｂの先端側には、鉗子口１０４が設けられる。鉗子口１０４には、処置具が挿通される。鉗子口１０４は、挿入部１０２Ａ内の不図示の鉗子チャンネルを通して、挿入部１０２Ａの先端部１０２Ｄの鉗子出口１０５（図１４参照）に連通している。
図１４は、挿入部１０２Ａの先端部１０２Ｄの正面図である。図１４に示すように、先端部１０２Ｄには、鉗子口１０４から挿通された処置具が突出する鉗子出口１０５、エア又は水を噴出させる送気送水ノズル１０６、照射光Ｌ０（図１５参照）の反射光を撮像部１３７（図１５参照）に導く観察窓１０７、及び撮影対象に照射光Ｌ０を照射する照明窓１０８が設けられている。
なお、図１３に示すように、先端部１０２Ｄにはキャップ１０２Ｆ（内視鏡用処置具の一例）が装着される場合がある。キャップ１０２Ｆは、キャップ１０２Ｆを撮影対象に当接させることで、撮影対象と観察窓１０７との距離を一定に保つために用いられる。
プロセッサ装置１１６は、表示部１１８及び入力部１２０と電気的に接続される。表示部１１８は、観察対象の画像及び観察対象の画像に関連する情報等を出力表示する表示デバイスである。入力部１２０は、内視鏡システム１００の機能設定及び各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。
図１５は、内視鏡システム１００の機能を示すブロック図である。図１５に示すように、光源装置１１４は、第１レーザ光源１２２Ａ、第２レーザ光源１２２Ｂ、及び光源制御部１２４を備えている。
第１レーザ光源１２２Ａは、中心波長４４５ｎｍの青色レーザ光源である。第２レーザ光源１２２Ｂは、中心波長４０５ｎｍの紫色レーザ光源である。第１レーザ光源１２２Ａ及び第２レーザ光源１２２Ｂとして、レーザダイオードを用いることができる。第１レーザ光源１２２Ａ及び第２レーザ光源１２２Ｂの発光は、光源制御部１２４により個別に制御される。第１レーザ光源１２２Ａと第２レーザ光源１２２Ｂとの発光強度比は変更自在になっている。
また、図１５に示すように、内視鏡１０２は、光ファイバ１２８Ａ、光ファイバ１２８Ｂ、蛍光体１３０、拡散部材１３２、撮像レンズ１３４、撮像素子１３６、及びアナログデジタル変換部１３８を備えている。
第１レーザ光源１２２Ａから出射されるレーザ光は、光ファイバ１２８Ａによって、内視鏡１０２の先端部１０２Ｄに配置された蛍光体１３０に照射される。蛍光体１３０は、第１レーザ光源１２２Ａからの青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体を含んで構成される。これにより、蛍光体１３０から出射する光は、第１レーザ光源１２２Ａからの青色レーザ光を励起光とする緑色〜黄色の励起光Ｌ１１と、蛍光体１３０に吸収されずに透過した青色のレーザ光Ｌ１２とが合わされて、白色（疑似白色）の光Ｌ１となる。
なお、ここで言う白色光とは、厳密に可視光の全ての波長成分を含むものに限らない。例えば、Ｒ、Ｇ、Ｂ等、特定の波長帯域の光を含むものであればよく、緑色から赤色にかけての波長成分を含む光、又は青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
一方、第２レーザ光源１２２Ｂから出射されるレーザ光は、光ファイバ１２８Ｂによって、内視鏡１０２の先端部１０２Ｄに配置された拡散部材１３２に照射される。拡散部材１３２は、透光性を有する樹脂材料等を用いることができる。拡散部材１３２から出射する光は、照射領域内において光量が均一化された狭帯域波長の光Ｌ２となる。
図１６は、光Ｌ１及び光Ｌ２の強度分布を示すグラフである。光源制御部１２４は、第１レーザ光源１２２Ａと第２レーザ光源１２２Ｂとの光量比を変更する。これにより、光Ｌ１と光Ｌ２との光量比が変更され、光Ｌ１と光Ｌ２との合成光である照射光Ｌ０の波長パターンが変更される。したがって、観察モードに応じて異なる波長パターンの照射光Ｌ０を照射することができる。
図１５の説明に戻り、撮像レンズ１３４、撮像素子１３６、及びアナログデジタル変換部１３８によって、撮像部１３７が構成される。撮像部１３７は、内視鏡１０２の先端部１０２Ｄに配置される。
撮像レンズ１３４は、入射した光を撮像素子１３６に結像させる。撮像素子１３６は、受光した光に応じたアナログ信号を生成する。撮像素子１３６としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサが用いられる。撮像素子１３６から出力されるアナログ信号は、アナログデジタル変換部１３８によりデジタル信号に変換され、プロセッサ装置１１６に入力される。
また、プロセッサ装置１１６は、撮影制御部１４０、画像処理部１４２、画像取得部１４４、及び画像認識部１４６を備えている。
撮影制御部１４０は、光源装置１１４の光源制御部１２４、内視鏡１０２の撮像素子１３６及びアナログデジタル変換部１３８、プロセッサ装置１１６の画像処理部１４２を制御することで、内視鏡システム１００による動画及び静止画の撮影を統括制御する。
画像処理部１４２は、内視鏡１０２のアナログデジタル変換部１３８から入力されたデジタル信号に画像処理を施し、画像を示す画像データ（以下、画像と表記する）を生成する。画像処理部１４２は、撮影時の照射光の波長パターンに応じた画像処理を施す。
画像取得部１４４は、画像処理部１４２が生成した画像を取得する。即ち、画像取得部１４４は、被験者の生体内を一定のフレームレートで時系列的に撮影した複数の画像を順次取得する。なお、画像取得部１４４は、入力部１２０から入力された画像、又は記憶部１６２に記憶された画像を取得してもよい。また、不図示のネットワークに接続されたサーバ等の外部装置から画像を取得してもよい。
画像認識部１４６（内視鏡画像認識装置の一例）は、内視鏡画像学習装置１０によって学習された学習モデルを用いて、画像取得部１４４が取得した画像の画像認識を行う。本実施形態では、画像取得部１４４が取得した画像から処置具の有無を分類する。
表示制御部１５８は、画像処理部１４２によって生成された画像を表示部１１８に表示させる。また、画像認識部１４６によって分類された処置具の有無の分類結果を表示してもよい。
記憶制御部１６０は、画像処理部１４２によって生成された画像を記憶部１６２に記憶させる。例えば、静止画の取得指示に従って撮影された画像及び画像を撮影した際の照射光Ｌ０の波長パターンの情報等を記憶部１６２に記憶させる。
記憶部１６２は、例えばハードディスク等のストレージ装置である。なお、記憶部１６２は、プロセッサ装置１１６に内蔵されたものに限定されない。例えば、プロセッサ装置１１６に接続される不図示の外部記憶装置であってもよい。外部記憶装置は、不図示のネットワークを介して接続されていてもよい。
このように構成された内視鏡システム１００は、通常は一定のフレームレートで動画撮影を行い、撮影した画像を表示部１１８に表示する。また、撮影された動画から、処置具の有無を分類し、分類結果を表示部１１８に表示する。
内視鏡システム１００によれば、内視鏡画像学習装置１０によって学習された学習モデルを用いた画像認識部１４６によって内視鏡画像の画像認識を行うので、画像認識を適切に行うことができる。
＜付記＞
上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
（付記１）
医療画像解析処理部（画像認識部）は、医療画像（内視鏡画像）の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
（付記２）
医療画像解析処理部（画像認識部）は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
（付記３）
医療画像解析結果取得部（画像認識部）は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるRGB（Red Green Blue）あるいはCMY（Cyan, Magenta, Yellow）の色情報に基づく演算により得る医療画像処理装置。
（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
＜その他＞
ここまで説明した実施形態において、例えば、内視鏡画像学習装置１０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０…内視鏡画像学習装置
１２…通信部
１４…前景素材画像データベース
１４Ａ…前景素材画像
１６…背景内視鏡画像データベース
１６Ａ…背景画像
１６Ｂ…正解データ
１８…学習用内視鏡画像データベース
２０…操作部
２８…表示部
３０…前景画像取得部
３０Ａ…前景画像
３２…画像切出部
３４…画像処理部
３６…背景画像取得部
３６Ａ…背景内視鏡画像
３８…画像生成部
３８Ａ…重畳画像
３８Ｂ…正解データ
４０…学習用内視鏡画像取得部
４０Ａ…学習用内視鏡画像
４０Ｂ…正解データ
５０…機械学習部
５２Ａ…入力層
５２Ｂ…中間層
５２Ｃ…出力層
５４…誤差算出部
５６…パラメータ更新部
１００…内視鏡システム
１０２…内視鏡
１０２Ａ…挿入部
１０２Ｂ…操作部
１０２Ｃ…湾曲部
１０２Ｄ…先端部
１０２Ｅ…アングルノブ
１０２Ｆ…キャップ
１０３…モード切替スイッチ
１０４…鉗子口
１０５…鉗子出口
１０６…送気送水ノズル
１０７…観察窓
１０８…照明窓
１１４…光源装置
１１６…プロセッサ装置
１１８…表示部
１２０…入力部
１２２Ａ…第１レーザ光源
１２２Ｂ…第２レーザ光源
１２４…光源制御部
１２８Ａ…光ファイバ
１２８Ｂ…光ファイバ
１３０…蛍光体
１３２…拡散部材
１３４…撮像レンズ
１３６…撮像素子
１３７…撮像部
１３８…アナログデジタル変換部
１４０…撮影制御部
１４２…画像処理部
１４４…画像取得部
１４６…画像認識部
１５８…表示制御部
１６０…記憶制御部
１６２…記憶部

Claims (13)

  1. 内視鏡用処置具が抽出された前景画像を前記前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成部と、
    前記重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習部と、
    を備える内視鏡画像学習装置。
  2. 前記前景画像を取得する前景画像取得部と、
    前記背景内視鏡画像を取得する背景画像取得部と、
    を備える請求項１に記載の内視鏡画像学習装置。
  3. 学習用内視鏡画像を取得する学習用内視鏡画像取得部を備え、
    前記機械学習部は、前記学習用内視鏡画像を使用して学習を行う請求項１又は２に記載の内視鏡画像学習装置。
  4. 前記前景画像に特定の処理を施す画像処理部を備える請求項１から３のいずれか１項に記載の内視鏡画像学習装置。
  5. 前記特定の処理は、アフィン変換処理、色彩変換処理、及びノイズの付与処理のうちの少なくとも１つである請求項４に記載の内視鏡画像学習装置。
  6. 前記内視鏡用処置具を含む前景素材画像を取得する前景素材画像取得部と、
    前記前景素材画像から前記内視鏡用処置具を切り出して前記前景画像を生成する画像切出部と、
    を備える請求項１から５のいずれか１項に記載の内視鏡画像学習装置。
  7. 前記前景素材画像は、内視鏡装置において前記内視鏡用処置具を使用した際に撮影された内視鏡画像である請求項６に記載の内視鏡画像学習装置。
  8. 前記前景素材画像は、内視鏡画像以外の画像である請求項６に記載の内視鏡画像学習装置。
  9. 前記学習モデルは、前記内視鏡用処置具の有無を認識する学習モデル、前記内視鏡用処置具の種類を認識する学習モデル、前記内視鏡用処置具の領域と前記内視鏡用処置具の領域以外の領域とを区別する学習モデル、注目領域の位置を検出する学習モデル、及び画像を分類する学習モデルのうちの少なくとも１つである請求項１から８のいずれか１項に記載の内視鏡画像学習装置。
  10. 機械学習部は、畳み込みニューラルネットワークを用いて学習を行う請求項１から９のいずれか１項に記載の内視鏡画像学習装置。
  11. 内視鏡画像を取得する画像取得部と、
    請求項１から１０のいずれか１項に記載の内視鏡画像学習装置によって学習された学習モデルを用いて前記画像取得部が取得した内視鏡画像の画像認識を行う画像認識部と、
    を備えた内視鏡画像認識装置。
  12. 内視鏡用処置具が抽出された前景画像を前記前景画像の背景となる背景内視鏡画像に重畳した重畳画像を生成する画像生成工程と、
    前記重畳画像を使用して画像認識用の学習モデルの学習を行う機械学習工程と、
    を備える内視鏡画像学習方法。
  13. 請求項１２に記載の内視鏡画像学習方法をコンピュータに実行させるためのプログラム。
JP2019042740A 2019-03-08 2019-03-08 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置 Active JP7128135B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019042740A JP7128135B2 (ja) 2019-03-08 2019-03-08 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置
US16/808,409 US11450079B2 (en) 2019-03-08 2020-03-04 Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
US17/885,568 US11978550B2 (en) 2019-03-08 2022-08-11 Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
JP2022130387A JP2022159496A (ja) 2019-03-08 2022-08-18 内視鏡システム、内視鏡画像学習方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019042740A JP7128135B2 (ja) 2019-03-08 2019-03-08 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022130387A Division JP2022159496A (ja) 2019-03-08 2022-08-18 内視鏡システム、内視鏡画像学習方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020141995A true JP2020141995A (ja) 2020-09-10
JP7128135B2 JP7128135B2 (ja) 2022-08-30

Family

ID=72336383

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019042740A Active JP7128135B2 (ja) 2019-03-08 2019-03-08 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置
JP2022130387A Pending JP2022159496A (ja) 2019-03-08 2022-08-18 内視鏡システム、内視鏡画像学習方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022130387A Pending JP2022159496A (ja) 2019-03-08 2022-08-18 内視鏡システム、内視鏡画像学習方法及びプログラム

Country Status (2)

Country Link
US (2) US11450079B2 (ja)
JP (2) JP7128135B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091536B (zh) * 2019-11-25 2023-04-07 腾讯科技（深圳）有限公司 医学图像处理方法、装置、设备、介质以及内窥镜
CN113344927A (zh) * 2021-08-05 2021-09-03 武汉楚精灵医疗科技有限公司 基于深度学习的图像识别方法、装置、服务器及存储介质
CN114795072B (zh) * 2022-07-01 2022-10-04 广东欧谱曼迪科技有限公司 一种内窥镜光源控制方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
JP2018169690A (ja) * 2017-03-29 2018-11-01 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2018169672A (ja) * 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10325382A1 (de) * 2003-05-30 2004-12-23 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Visualisieren von medizinischen Patientendaten auf einer medizinischen Anzeigeeinheit
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
JP5795599B2 (ja) * 2010-01-13 2015-10-14 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡手術のための画像統合ベースレジストレーション及びナビゲーション
JP5546317B2 (ja) 2010-03-31 2014-07-09 株式会社デンソーアイティーラボラトリ 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP5657467B2 (ja) * 2011-05-13 2015-01-21 オリンパスメディカルシステムズ株式会社 医療用画像表示システム
RU2667326C2 (ru) * 2012-06-28 2018-09-18 Конинклейке Филипс Н.В. Планирование траектории рамы с-типа для оптимального получения изображений в эндоскопической хирургии
JP6378846B2 (ja) * 2016-06-23 2018-08-22 オリンパス株式会社 画像処理装置
JP6825625B2 (ja) 2016-06-28 2021-02-03 ソニー株式会社 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム
US10803582B2 (en) * 2016-07-04 2020-10-13 Nec Corporation Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program
US11328434B2 (en) 2017-03-03 2022-05-10 University Of Tsukuba Object tracking device
EP3633987A4 (en) * 2017-06-02 2020-04-08 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, DIAGNOSTIC AID, AND MEDICAL WORK AID
JP6710853B2 (ja) 2017-07-07 2020-06-17 浩一 古川 プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
CN108550151A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗训练的反向域自适应方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
JP2018169690A (ja) * 2017-03-29 2018-11-01 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2018169672A (ja) * 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム
WO2018235255A1 (ja) * 2017-06-23 2018-12-27 オリンパス株式会社 医療システムとその作動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WAZALABO-EDITOR: "Deep Learningで用いるデータを「生成」してみた", 技ラボ [ONLINE], JPN6021050071, 14 April 2016 (2016-04-14), pages 1 - 8, ISSN: 0004778779 *

Also Published As

Publication number Publication date
JP2022159496A (ja) 2022-10-17
US11450079B2 (en) 2022-09-20
JP7128135B2 (ja) 2022-08-30
US20200285876A1 (en) 2020-09-10
US20220383607A1 (en) 2022-12-01
US11978550B2 (en) 2024-05-07

Similar Documents

Publication Publication Date Title
JP7252970B2 (ja) 医用画像処理装置、内視鏡システム、及び医用画像処理装置の作動方法
JP7005767B2 (ja) 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
JP7048732B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US11978550B2 (en) Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
US11948080B2 (en) Image processing method and image processing apparatus
EP3922163A1 (en) Medical image processing device, endoscope system, and medical image processing method
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7125499B2 (ja) 画像処理装置及び画像処理方法
US20220285010A1 (en) Medical image processing apparatus, medical image processing method, and program
US20230157768A1 (en) Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program
JP6931425B2 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
US20220151461A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
US20220022739A1 (en) Endoscope control device, method of changing wavelength characteristics of illumination light, and information storage medium
US20230389774A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220818

R150 Certificate of patent or registration of utility model

Ref document number: 7128135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150