JP2022172654A - 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム - Google Patents
学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム Download PDFInfo
- Publication number
- JP2022172654A JP2022172654A JP2021078694A JP2021078694A JP2022172654A JP 2022172654 A JP2022172654 A JP 2022172654A JP 2021078694 A JP2021078694 A JP 2021078694A JP 2021078694 A JP2021078694 A JP 2021078694A JP 2022172654 A JP2022172654 A JP 2022172654A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- depth information
- endoscope
- endoscopic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000005259 measurement Methods 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 238000012937 correction Methods 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000001839 endoscopy Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 28
- 238000013527 convolutional neural network Methods 0.000 description 22
- 210000002429 large intestine Anatomy 0.000 description 19
- 230000006870 function Effects 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 239000012530 fluid Substances 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003750 lower gastrointestinal tract Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biodiversity & Conservation Biology (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
【課題】深度推定を行わせる機械学習に用いる学習データセットを効率的に取得することができ、且つ実際に撮影された内視鏡画像において精度の高い深度推定を実現することができる学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラムを提供する。【解決手段】学習装置10のプロセッサ22は、内視鏡システムで体腔を撮影した内視鏡画像を取得する内視鏡画像取得処理と、内視鏡画像の少なくとも1点の測定点に対応する実測された第1の深度情報を取得する実測情報取得処理と、内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得処理と、模倣画像の一つ以上の領域の深度情報を含む第2の深度情報を取得する模倣深度取得処理と、第1の学習データセット及び第2の学習データセットを用いて、学習モデル18に学習を行わせる学習処理とを行う。【選択図】図1
Description
本発明は、学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラムに関する。
近年、内視鏡システムを用いた診断においてAI(Artificial Intelligence)を利用して、医師の診断の補助を行うことが試みられている。例えば、医師の病変見逃しの低減を目的としてAIにより自動病変検出を行わせたり、生検を行うことを減少させることを目的として、AIにより病変等の自動鑑別を行わせたりしている。
このようなAIの利用においては、医師がリアルタイムで観察している動画(フレーム画像)に対してAIに認識処理を行わせて診断補助を行う。
一方で、内視鏡システムで撮影された内視鏡画像は、内視鏡スコープの先端に取り付けられた単眼カメラで撮影されることが多い。そのため、医師は内視鏡画像において深度情報(奥行情報)を得ることが難しく、このことにより内視鏡システムを用いた診断や手術が難しくなっている。そこで、AIを用いて単眼カメラの内視鏡画像から深度情報を推定する技術の提案が行われている(特許文献1)。
AI(学習済みモデルで構成された認識器)に深度情報を推定させるためには、内視鏡画像とその内視鏡画像に対応する深度情報を正解データとしてセットにした学習データセットを用意する必要がある。そして、その学習データセットを大量に準備し、AIに機械学習を行わせなければならない。
しかしながら、画像全体の正確な深度情報を実測して取得することは困難であるため、学習データセットを大量に用意して学習させることは難しい。
一方で、シミュレーション等によって内視鏡画像を模倣した画像と、それに対応する深度情報は比較的容易に生成することができる。したがって、実測された学習データセットに代えてシミュレーション等で生成した学習データセットを用いて学習を行わせることが考えられる。しかしながら、シミュレーション等によって生成した学習データセットのみで学習が行われた場合には、実際に検査対象の撮影を行って得た内視鏡画像が入力された場合の深度情報の推定性能を担保することができない。
本発明はこのような事情に鑑みてなされたもので、その目的は、深度推定を行わせる機械学習に用いる学習データセットを効率的に取得することができ、且つ実際に撮影された内視鏡画像において精度の高い深度推定を実現することができる学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラムを提供することである。
上記目的を達成するための本発明の一の態様である学習装置は、プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置であって、プロセッサは、内視鏡システムで体腔を撮影した内視鏡画像を取得する内視鏡画像取得処理と、内視鏡画像の少なくとも1点の測定点に対応する実測された第1の深度情報を取得する実測情報取得処理と、内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得処理と、模倣画像の一つ以上の領域の深度情報を含む第2の深度情報を取得する模倣深度取得処理と、内視鏡画像と第1の深度情報とで構成される第1の学習データセット、及び模倣画像と第2の深度情報とで構成される第2の学習データセットを用いて、学習モデルに学習を行わせる学習処理と、を行う。
本態様によれば、内視鏡画像と第1の深度情報とで構成される第1の学習データセット、及び模倣画像と第2の深度情報とで構成される第2の学習データセットを用いて、学習モデルに学習を行わせる。これにより、学習モデルに学習を行わせるための学習データセットを効率的に取得することができ、且つ実際に撮影された内視鏡画像に対して精度の高い深度推定を実現することができる。
好ましくは、第1の深度情報は、内視鏡システムのスコープの先端に備えられる光測距器を用いて取得される。
好ましくは、模倣画像及び第2の深度情報は、体腔の疑似的な3次元コンピューターグラフィックスに基づいて取得される。
好ましくは、模倣画像は、体腔の模型を内視鏡システムで撮影することにより取得され、第2の深度情報は、模型の3次元情報に基づいて取得される。
好ましくは、プロセッサは、第1の学習データセットを用いた学習処理時の第1の損失重みと、第2の学習データセットを用いた学習処理時の第2の損失重みとを異ならせる。
好ましくは、第1の損失重みは、第2の損失重みよりも大きい。
本発明の他の態様である深度情報取得装置は、上述の学習装置で学習が行われた学習済みモデルで構成される。
本態様によれば、実際に撮影された内視鏡画像が入力され、精度の高い深度推定を出力することができる。
本発明の他の態様である内視鏡システムは、上述の深度情報取得装置と、内視鏡スコープと、プロセッサとを備える内視鏡システムであって、プロセッサは、内視鏡スコープにより撮影された内視鏡画像を取得する画像取得処理と、内視鏡画像を深度情報取得装置に入力する画像入力処理と、深度情報取得装置に内視鏡画像の深度情報を推定させる推定処理と、を行う。
本態様によれば、実際に撮影された内視鏡画像が入力され、精度の高い深度推定を出力することができる。
好ましくは、第1の学習データセットの内視鏡画像を取得した第1の内視鏡スコープと少なくとも対物レンズが異なる第2の内視鏡スコープに対応する補正テーブルを備え、プロセッサは、第2の内視鏡スコープにより内視鏡画像を取得する場合には、推定処理で取得された深度情報を、補正テーブルを使用して補正する補正処理を行う。
本態様によれば、深度情報取得装置を学習させた際の学習データ(内視鏡画像)を取得した内視鏡スコープと異なる内視鏡スコープで撮影された内視鏡画像が入力された場合であっても、精度の高い深度情報を取得することができる。
本発明の他の態様である学習方法は、プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置を用いた学習方法であって、プロセッサにより行われる、内視鏡システムで体腔を撮影した内視鏡画像を取得する内視鏡画像取得工程と、内視鏡画像の少なくとも1点の測定点に対応する実測された第1の深度情報を取得する実測情報取得工程と、内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得工程と、模倣画像の一つ以上の領域の深度情報を含む第2の深度情報を取得する模倣深度取得工程と、内視鏡画像と第1の深度情報とで構成される第1の学習データセット、及び模倣画像と第2の深度情報とで構成される第2の学習データセットを用いて、学習モデルに学習を行わせる学習工程と、を含む。
本発明の他の態様であるプログラムは、プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置に学習方法を実行させるプログラムであって、プロセッサに、内視鏡システムで体腔を撮影した内視鏡画像を取得する内視鏡画像取得工程と、内視鏡画像の少なくとも1点の測定点に対応する実測された第1の深度情報を取得する実測情報取得工程と、内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得工程と、模倣画像の一つ以上の領域の深度情報を含む第2の深度情報を取得する模倣深度取得工程と、内視鏡画像と第1の深度情報とで構成される第1の学習データセット、及び模倣画像と第2の深度情報とで構成される第2の学習データセットを用いて、学習モデルに学習を行わせる学習工程と、を実行させる。
本発明によれば、内視鏡画像と第1の深度情報とで構成される第1の学習データセット、及び模倣画像と第2の深度情報とで構成される第2の学習データセットを用いて、学習モデルに学習を行わせる。これにより、学習モデルに学習を行わせるための学習データセットを効率的に取得することができ、且つ実際に撮影された内視鏡画像に対して精度の高い深度推定を実現することができる。
以下、添付図面にしたがって本発明に係る学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラムの好ましい実施の形態について説明する。
<第1の実施形態>
本発明の第1の実施形態は学習装置である。
本発明の第1の実施形態は学習装置である。
図1は、本実施形態の学習装置の構成の一例を示すブロック図である。
学習装置10は、パーソナルコンピュータ又はワークステーションによって構成される。学習装置10は、通信部12、第1の学習データセットデータベース(図では第1の学習データセットDBと記載)14、第2の学習データセットデータベース(図では第2の学習データセットDBと記載)16、学習モデル18、操作部20、プロセッサ22、RAM(Random Access Memory)24、ROM(Read Only Memory)26、及び表示部28から構成される。各部は、バス30を介して接続されている。なお、本例ではバス30に接続されている例を説明したが、学習装置10の例はこれに限定されるものではない。例えば、学習装置10の一部又は全部は、ネットワークを介して接続されていてもよい。ここでネットワークは、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット等の各種通信網を含む。
通信部12は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。
第1の学習データセットデータベース14は、内視鏡画像とそれに対応する第1の深度情報を記憶する。ここで内視鏡画像とは、実際に検査対象である体腔を内視鏡システム109の内視鏡スコープ110(図4を参照)で撮影した画像である。また、第1の深度情報とは、内視鏡画像の少なくとも1点の測定点に対応する実測された深度情報である。第1の深度情報は、例えば内視鏡スコープ110の光測距器124で取得される。内視鏡画像と第1の深度情報とにより、第1の学習データセットが構成される。第1の学習データセットデータベース14は、複数の第1の学習データセットを記憶する。
第2の学習データセットデータベース16は、模倣画像とそれに対応する第2の深度情報を記憶する。ここで模倣画像とは、内視鏡システム109で検査対象である体腔を撮影した内視鏡画像を模倣した画像である。また、第2の深度情報とは、模倣画像の一つ以上の領域の深度情報である。第2の深度情報は、第1の深度情報の測定点より広い一つ以上の領域の深度情報であることが好ましい。例えば、第2の深度情報を有する全領域は、模倣画像の50%以上、又は模倣画像の80%以上の領域を占めることが好ましい。また更に、第2の深度情報を有する全領域は、模倣画像の画像全体であることがより好ましい。なお、以下の説明では模倣画像の画像全体において第2の深度情報を有する場合について説明する。模倣画像と第2の深度情報とにより、第2の学習データセットが構成される。第2の学習データセットデータベース16は、複数の第2の学習データセットを記憶する。なお、第1の学習データセット及び第2の学習データセットに関しては、後で詳しく説明を行う。
学習モデル18は、1つ又は複数のCNN(Convolutional Neural Network)で構成される。学習モデル18は、内視鏡画像が入力され、入力された内視鏡画像の画像全体の深度情報を出力するように機械学習が行われる。ここで深度情報とは、内視鏡画像に写った被写体とカメラ(撮像素子128(図4))との距離に関する情報のことである。学習装置10に搭載される学習モデル18は未学習のものであり、学習装置10は学習モデル18に内視鏡画像の深度情報の推定を行わせる機械学習を行わせる。学習モデル18の構造は、様々な公知のモデルが用いられ、例えばU-Netが用いられる。
操作部20は、学習装置10に対する各種の操作入力を受け付ける入力インターフェースである。操作部20は、コンピュータに有線接続又は無線接続されるキーボード又はマウス等が用いられる。
プロセッサ22は、1つ又は複数のCPU(Central Processing Unit)で構成される。ROM26又は不図示のハードディスク装置等に記憶された各種のプログラムを読み出し、各種の処理を実行する。RAM24は、プロセッサ22の作業領域として使用される。また、RAM24は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。学習装置10は、プロセッサ22をGPU(Graphics Processing Unit)により構成してもよい。
ROM26はコンピュータのブートプログラムやBIOS(Basic Input/Output System)等のプログラム、データ等を恒久的に保持している。また、RAM24は、ROM26、別体で接続される記憶装置等からロードしたプログラム、データ等を一時的に保持するとともに、プロセッサ22が各種処理を行うために使用するワークエリアを備える。
表示部28は、学習装置10の必要な情報が表示される出力インターフェースである。表示部28は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
ここでは、学習装置10を単一のパーソナルコンピュータ又はワークステーションによって構成する例を説明したが、複数のパーソナルコンピュータによって学習装置10を構成してもよい。
図2は、プロセッサ22が学習装置10で実現する主な機能を示すブロック図である。
プロセッサ22は、主に内視鏡画像取得部22A、実測情報取得部22B、模倣画像取得部22C、模倣深度取得部22D、及び学習部22Eで構成される。
内視鏡画像取得部22Aは内視鏡画像取得処理を行う。内視鏡画像取得部22Aは、第1の学習データセットデータベース14に記憶されている内視鏡画像を取得する。
実測情報取得部22Bは実測情報取得処理を行う。実測情報取得部22Bは、第1の学習データセットデータベース14に記憶されている内視鏡画像の少なくとも1点の測定点に対応する実測された第1の深度情報を取得する。
模倣画像取得部22Cは模倣画像取得処理を行う。模倣画像取得部22Cは、第2の学習データセットデータベース16に記憶されている模倣画像を取得する。
模倣深度取得部22Dは模倣深度取得処理を行う。模倣深度取得部22Dは、第2の学習データセットデータベース16に記憶されている第2の深度情報を取得する。
学習部22Eは、学習モデル18への学習処理を行う。学習部22Eは、第1の学習データセット及び第2の学習データセットを用いて、学習モデル18に学習を行わせる。具体的には、学習部22Eは、第1の学習データセットにより学習を行った場合の損失、及び第2の学習データセットにより学習を行った場合の損失に基づいて、学習モデル18のパラメータを最適化する。
次に、学習装置10を使用した学習方法(学習方法の各工程は、学習装置10のプロセッサ22がプログラムを実行することにより行われる)に関して説明する。
図3は、学習方法の各工程を示すフロー図である。
先ず、内視鏡画像取得部22Aは、第1の学習データセットデータベース14から内視鏡画像を取得する(ステップS101:内視鏡画像取得工程)。次に、実測情報取得部22Bは、第1の学習データセットデータベース14から第1の深度情報を取得する(ステップS102:実測情報取得工程)。その後、模倣画像取得部22Cは、第2の学習データセットデータベース16から模倣画像を取得する(ステップS103:模倣画像取得工程)。そして、模倣深度取得部22Dは、第2の学習データセットデータベース16から第2の深度情報を取得する(ステップS104:模倣深度取得工程)。その後、学習部22Eは、第1の学習データセット及び第2の学習データセットを用いて学習モデル18に学習を行わせる(ステップS105:学習工程)。
次に、第1の学習データセット及び第2の学習データセットに関して詳細に説明を行う。
<第1の学習データセット>
第1の学習データセットは、内視鏡画像及び第1の深度情報で構成される。
第1の学習データセットは、内視鏡画像及び第1の深度情報で構成される。
図4は、第1の学習データセット(内視鏡画像及び第1の深度情報)を取得することができる内視鏡システムの全体構成の一例を示す概略図である。
図4に示すように、内視鏡システム109は、電子内視鏡である内視鏡スコープ110と、光源装置111と、内視鏡プロセッサ装置112と、表示装置113と、を備える。また、内視鏡システム109には、学習装置10が接続されており、内視鏡スコープ110で撮影した内視鏡画像(動画38及び静止画39)を送信する。
内視鏡スコープ110は、被写体像を含む時系列の内視鏡画像を撮影するものであり、例えば、下部又は上部消化管用スコープである。この内視鏡スコープ110は、被検体(例えば大腸)内に挿入され且つ先端と基端とを有する挿入部120と、挿入部120の基端側に連設され且つ術者である医師が把持して各種操作を行う手元操作部121と、手元操作部121に連設されたユニバーサルコード122と、を有する。
挿入部120は、全体が細径で長尺状に形成されている。挿入部120は、その基端側から先端側に向けて順に可撓性を有する軟性部125と、手元操作部121の操作により湾曲可能な湾曲部126と、不図示の撮像光学系(対物レンズ)、撮像素子128、及び光測距器124が設けられる先端部127と、が連設されて構成される。
撮像素子128は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子である。撮像素子128の撮像面には、先端部127の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子128は、その撮像面に入射した被観察部位の像光を撮像(電気信号に変換)して、撮像信号を出力する。すなわち、撮像素子128により内視鏡画像が順次撮影される。
光測距器124は第1の深度情報を取得する。具体的には、光測距器124は、内視鏡画像に写っている被写体の深度を光学的に測定する。例えば光測距器124は、LASER(Light Amplification by Stimulated Emission of Radiation)測距器や、LiDAR(light detection and ranging)測距器で構成される。光測距器124は、撮像素子128で取得される内視鏡画像の測定点に対応する実測された第1の深度情報を取得する。測定点の数は、少なくとも1点であり、より好ましくは2点又は3点の複数点であることが好ましい。また、測定点は、10点以下であることが好ましい。また、撮像素子128による内視鏡画像の撮影と光測距器124の深度情報の取得とは同時に行われてもよいし、内視鏡画像の撮影の前後において深度情報の取得が行われもよい。
手元操作部121には、医師(ユーザ)によって操作される各種操作部材が設けられている。具体的に、手元操作部121には、湾曲部126の湾曲操作に用いられる2種類の湾曲操作ノブ129と、送気送水操作用の送気送水ボタン130と、吸引操作用の吸引ボタン131と、が設けられている。また、手元操作部121には、被観察部位の静止画39の撮影指示を行うための静止画撮影指示部132と、挿入部120内を挿通している処置具挿通路(不図示)内に処置具(不図示)を挿入する処置具導入口133と、が設けられている。
ユニバーサルコード122は、内視鏡スコープ110を光源装置111に接続するための接続コードである。このユニバーサルコード122は、挿入部120内を挿通しているライトガイド135、信号ケーブル136、及び流体チューブ(不図示)を内包している。また、ユニバーサルコード122の端部には、光源装置111に接続されるコネクタ137aと、このコネクタ137aから分岐され且つ内視鏡プロセッサ装置112に接続されるコネクタ137bと、が設けられている。
コネクタ137aを光源装置111に接続することで、ライトガイド135及び流体チューブ(不図示)が光源装置111に挿入される。これにより、ライトガイド135及び流体チューブ(不図示)を介して、光源装置111から内視鏡スコープ110に対して必要な照明光と水と気体とが供給される。その結果、先端部127の先端面の照明窓(不図示)から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン130の押下操作に応じて、先端部127の先端面の送気送水ノズル(不図示)から先端面の観察窓(不図示)に向けて気体又は水が噴射される。
コネクタ137bを内視鏡プロセッサ装置112に接続することで、信号ケーブル136と内視鏡プロセッサ装置112とが電気的に接続される。これにより、信号ケーブル136を介して、内視鏡スコープ110の撮像素子128から内視鏡プロセッサ装置112へ被観察部位の撮像信号が出力されると共に、内視鏡プロセッサ装置112から内視鏡スコープ110へ制御信号が出力される。
光源装置111は、コネクタ137aを介して、内視鏡スコープ110のライトガイド135へ照明光を供給する。照明光は、白色光(白色の波長帯域の光又は複数の波長帯域の光)、或いは1又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。
内視鏡プロセッサ装置112は、コネクタ137b及び信号ケーブル136を介して、内視鏡スコープ110の動作を制御する。また、内視鏡プロセッサ装置112は、コネクタ137b及び信号ケーブル136を介して内視鏡スコープ110の撮像素子128から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像38aからなる動画38を生成する。更に、内視鏡プロセッサ装置112は、内視鏡スコープ110の手元操作部121にて静止画撮影指示部132が操作された場合、動画38の生成と並行して、動画38中の1枚のフレーム画像38aを撮影指示のタイミングに応じた静止画39を生成する。
本説明においては、動画(フレーム画像38a)38及び静止画39は、被検体内、即ち体腔を撮影した内視鏡画像とする。更に動画38及び静止画39が、上述の特定の波長帯域の光(特殊光)により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置112は、生成した動画38及び静止画39を、表示装置113と学習装置10とに出力する。
なお、内視鏡プロセッサ装置112は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成してもよい。この場合、内視鏡プロセッサ装置112は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置112は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青[RGB(Red,Green,Blue)]あるいはシアン、マゼンタ、及びイエロー[CMY(Cyan,Magenta,Yellow)]の色情報に基づく演算を行うことで得る。
また、内視鏡プロセッサ装置112は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光(特殊光)により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置112は、特徴量画像生成部として機能する。なお、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画38又は静止画39は、いずれも画像による診断、検査の目的でヒトの人体を撮像し、又は計測した結果を画像化した内視鏡画像である。
表示装置113は、内視鏡プロセッサ装置112に接続されており、この内視鏡プロセッサ装置112から入力された動画38及び静止画39を表示する表示部として機能する。医師は、表示装置113に表示される動画38を確認しながら、挿入部120の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部132を操作して被観察部位の静止画撮像を実行し、また、診断、生検等の処置を行う。
図5は、内視鏡画像及び第1の深度情報の一例を説明する図である。
内視鏡画像P1は、上述した内視鏡システム109により撮影された画像である。具体的には内視鏡画像P1は、検査対象である人間の大腸の一部を内視鏡スコープ110の先端部127に取り付けられた撮像素子128で撮影した画像である。内視鏡画像P1には、大腸が有するひだ201が写されており、矢印M方向に管状に続く大腸の一部が写されている。また、図5には、内視鏡画像P1の測定点Lに対応する第1の深度情報D1(「○○mm」)が示されている。第1の深度情報D1は、このように内視鏡画像P1上にある測定点Lに対応する深度情報である。なお、測定点Lの位置は画像の中央など予め設定されてもよいし、ユーザにより適宜に設定されてもよい。
図6は、光測距器124での測定点Lの深度情報の取得を説明する図である。
図6では、大腸300に内視鏡スコープ110が挿入され、内視鏡画像P1が撮影される様子が示されている。内視鏡スコープ110は、画角Hの範囲で大腸300を撮影することにより内視鏡画像P1を取得する。また、内視鏡スコープ110の先端部127に備えられる光測距器124により測定点Lまでの距離(深度情報)が取得される。
以上で説明したように、光測距器124を備える内視鏡システム109により、第1の学習データセットを構成する内視鏡画像P1及び第1の深度情報D1が取得される。このように内視鏡画像P1と測定点Lの深度情報とで構成されるので、内視鏡画像P1の画像全体の深度情報を取得する場合に比べて、第1の学習データセットは容易に取得を行うことができる。なお、上述した説明では、第1の学習データセットが内視鏡システム109により取得される例について説明をしたが、この例に限定されるものではない。内視鏡画像と内視鏡画像上の少なくとも1点の測定点に対応する実測された第1の深度情報を取得可能であれば他の手法により第1の学習データセットが取得されてもよい。
<第2の学習データセット>
第2の学習データセットは、模倣画像及び第2の深度情報で構成される。以下の説明では、3次元コンピューターグラフィックスに基づいて、模倣画像及びその模倣画像の画像全体の深度情報(第2の深度情報)が取得される例について説明する。
第2の学習データセットは、模倣画像及び第2の深度情報で構成される。以下の説明では、3次元コンピューターグラフィックスに基づいて、模倣画像及びその模倣画像の画像全体の深度情報(第2の深度情報)が取得される例について説明する。
図7は、模倣画像の一例を示す図である。図7(A)は人間の大腸を模した疑似的な3次元コンピューターグラフィックス400が示されており、図7(B)は、3次元コンピューターグラフィックス400に基づいて得られる模倣画像P2が示されている。
3次元コンピューターグラフィックス400は、コンピューターグラフィックスの技術を用いて、人間の大腸を模して生成される。具体的には3次元コンピューターグラフィックス400は、人間の大腸の一般的な(代表的な)大腸の色、形状、大きさ(3次元情報)を有している。したがって、3次元コンピューターグラフィックス400に基づいて、仮想の内視鏡スコープ402により撮影したことをシミュレートして模倣画像P2を生成することができる。模倣画像P2は、3次元コンピューターグラフィックス400に基づいて、人間の大腸を内視鏡システム109で撮影したような、配色、形状が写されている。また、以下で説明するように、3次元コンピューターグラフィックス400に基づいて、仮想の内視鏡スコープ402の位置が特定されることにより、模倣画像P2の画像全体の深度情報(第2の深度情報)を生成することができる。尚、3次元コンピューターグラフィックス400は複数の異なる撮像装置で取得されたデータを用いて生成することができる。例えば3次元コンピューターグラフィックス400は、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)で取得された画像から生成された大腸の3次元形状モデルから大腸の形状、大きさを決定し、内視鏡で撮影された画像から大腸の色を決定してもよい。
図8は、模倣画像P2に対応する第2の深度情報を説明する図である。図8(A)は図7で説明した模倣画像P2が示されており、図8(B)は模倣画像P2に対応する第2の深度情報D2が示されている。
3次元コンピューターグラフィックス400は3次元情報を有しているので、仮想の内視鏡スコープ402の位置が特定されることにより、模倣画像P2の画像全体の深度情報(第2の深度情報D2)を取得することができる。
第2の深度情報D2は、模倣画像P2に対応して画像全体の深度情報である。第2の深度情報D2は、深度情報に応じて各領域(I)~(VII)に区別され、各領域はそれぞれ異なる深度情報を有する。なお、第2の深度情報D2は、対応する模倣画像P2の画像の全体に関する深度情報を有していればよく、領域(I)~(VII)に区別されることは限定されない。例えば、第2の深度情報D2は、画素毎に深度情報を有していてもよいし、複数の画素毎に深度情報を有していてもよい。
以上で説明したように、3次元コンピューターグラフィックス400に基づいて、第2の学習データセットを構成する模倣画像P2及び第2の深度情報D2が生成される。したがって、第2の深度情報D2は、実際の内視鏡画像の画像全体の深度情報を取得する場合に比べて、比較的容易に生成される。
なお、上述した例では3次元コンピューターグラフィックス400に基づいて、模倣画像P2及び第2の深度情報が生成される場合について説明したが、模倣画像P2及び第2の深度情報の生成はこの例に限定されない。以下に、第2の学習データセットの生成の他の例に関して説明する。
例えば、3次元コンピューターグラフィックス400の代わりに、人の大腸を模した模型(ファントム)を作成し、その模型を内視鏡システム109で撮影することにより模倣画像P2を取得してもよい。
図9は、人間の大腸の模型を概念的に示す図である。
模型500は、人間の大腸を模して作成された模型である。具体的には、模型500の内部は人間の大腸のような色、形状等を有している。したがって、内視鏡システム109の内視鏡スコープ110を模型500に挿入して、模型500を撮影することにより、模倣画像P2を取得することができる。また、模型500は、人間の大腸の一般的な(代表的な)3次元情報を有している。したがって、内視鏡スコープ110の撮像素子128の位置G(x1、y1、z1)を取得することにより、模型500の3次元情報を利用して、模倣画像P2の画像全体の深度情報(第2の深度情報)を得ることができる。
以上で説明したように、模型500に基づいて、第2の学習データセットを構成する模倣画像P2及び第2の深度情報D2が取得される。したがって、第2の深度情報は、実際の内視鏡画像の画像全体の深度情報を取得する場合に比べて、比較的容易に生成される。
<学習工程>
次に、学習部22Eで行われる学習工程(ステップS105)に関して説明する。学習工程では、第1の学習データセット及び第2の学習データセットを用いて学習モデル18に学習を行わせる。
次に、学習部22Eで行われる学習工程(ステップS105)に関して説明する。学習工程では、第1の学習データセット及び第2の学習データセットを用いて学習モデル18に学習を行わせる。
<<学習工程の第1の例>>
先ず、学習工程の第1の例に関して説明する。本例では、学習モデル18に、内視鏡画像P1と模倣画像P2とをそれぞれ入力し学習(機械学習)が行われる。
先ず、学習工程の第1の例に関して説明する。本例では、学習モデル18に、内視鏡画像P1と模倣画像P2とをそれぞれ入力し学習(機械学習)が行われる。
図10は、学習モデル18及び学習部22Eの主要な機能を示す機能ブロック図である。学習部22Eは、損失算出部54、及びパラメータ更新部56を備える。また、学習部22Eには、内視鏡画像P1を入力して行う学習の正解データとして第1の深度情報D1が入力される。また、学習部22Eには、模倣画像P2を入力して行う学習の正解データとして第2の深度情報D2とが入力される。
学習モデル18は、学習が進むと、内視鏡画像から画像全体の深度情報を出力する深度情報取得装置となる。学習モデル18は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。学習モデル18は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化する。
この学習モデル18は、入力層52A、中間層52B、及び出力層52Cを備える。入力層52A、中間層52B、及び出力層52Cは、それぞれ複数の「ノード」が「エッジ」で結ばれる構造となっている。入力層52Aには、学習対象である内視鏡画像P1と模倣画像P2とがそれぞれ入力される。
中間層52Bは、入力層52Aから入力した画像から特徴を抽出する層である。中間層52Bは、畳み込み層とプーリング層とを1セットとする複数セットと、全結合層とを有する。畳み込み層は、前の層で近くにあるノードに対してフィルタを使用した畳み込み演算を行い、特徴マップを取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。全結合層は、直前の層(ここではプーリング層)のノードの全てを結合する。畳み込み層は、画像からのエッジ抽出等の特徴抽出の役割を担い、プーリング層は抽出された特徴が、平行移動等による影響を受けないようにロバスト性を与える役割を担う。なお、中間層52Bには、畳み込み層とプーリング層とを1セットとする場合に限らず、畳み込み層が連続する場合、及び正規化層も含まれる。
出力層52Cは、中間層52Bにより抽出された特徴に基づいて内視鏡画像の画像全体の深度情報を出力する層である。
学習済みの学習モデル18は、内視鏡画像の画像全体の深度情報を出力する。
学習前の学習モデル18の各畳み込み層に適用されるフィルタの係数、オフセット値、及び全結合層における次の層との接続の重みは、任意の初期値がセットされる。
損失算出部54は、学習モデル18の出力層52Cから出力される深度情報と、入力画像に対する正解データ(第1の深度情報D1又は第2の深度情報D2)とを取得し、両者間の損失を算出する。損失の算出方法は、例えばソフトマックスクロスエントロピー、又は最小二乗誤差(MSE:Mean Squared Error)等が考えられる。
パラメータ更新部56は、損失算出部54により算出された損失を元に、損失逆伝播法により学習モデル18の重みパラメータを調整する。パラメータ更新部56は、第1の学習データセットを用いた学習処理時の第1の損失重みと、第2の学習データセットを用いた学習処理時の第2の損失重みとを設定することができる。例えば、パラメータ更新部56は、第1の損失重みと第2の損失重みとを同じにしてもよいし、異ならせてもよい。第1の損失重みと第2の損失重みとを異ならせる場合には、パラメータ更新部56は、第1の損失重みを第2の損失重みよりも大きくする。これにより、実際に撮影された内視鏡画像P1を使用しての学習結果をより反映させることができる。
このパラメータの調整処理を繰り返し行い、学習モデル18が出力した深度情報と正解データ(第1の深度情報及び第2の深度情報)との差が小さくなるまで繰り返し学習を行う。
ここで、学習モデル18は、入力された内視鏡画像の画像全体の深度情報を出力するように学習が行われる。一方で、第1の学習データセットの正解データである第1の深度情報D1は、測定点Lの深度情報しか有さない。したがって、第1の学習データセットでの学習の場合には、損失算出部54は、測定点Lでの深度情報以外は学習に使用しない(ドントケア(Don't care)処理とする)。
図11は、第1の学習データセットを利用して学習を行った場合の学習部22Eの処理に関して説明する図である。
学習モデル18は、内視鏡画像P1が入力されると推定した深度情報V1を出力する。推定した深度情報V1は、内視鏡画像P1の画像全体における深度情報である。ここで、内視鏡画像P1の正解データである第1の深度情報は、測定点Lに対応する箇所の深度情報しか有さない。したがって、第1の学習データセットを用いて学習を行う場合には、損失算出部54は、測定点Lに対応する箇所の深度情報LV以外の深度情報は学習に使用しない。すなわち、測定点Lに対応する箇所の深度情報LV以外の深度情報は損失算出部54での損失の算出に影響を及ぼさないようにする。このように、測定点Lに対応する箇所の深度情報LVだけを学習に使用して学習を行うことにより、画像全体の深度情報(正解データ)が無い場合であっても、学習モデル18の学習を効率的に進めることができる。
学習部22Eは、第1の学習データセット及び第2の学習データセットを使用して、学習モデル18の各パラメータを最適化する。学習部22Eの学習は、一定の数の第1の学習データセット及び第2の学習データセットを抽出し、抽出した第1の学習データセット及び第2の学習データセットによって学習のバッチ処理を行い、これを繰り返すミニバッチ法を用いてもよい。
以上で説明したように、本例では、一つの学習モデル18に対して、内視鏡画像P1と模倣画像P2とをそれぞれ入力し機械学習が進められる。
<<学習工程の第2の例>>
次に、学習工程の第2の例に関して説明する。本例では、学習モデル18の後段においてクラシフィケーション(Classification)を行うタスクと、セグメンテーション(Segmentation)を行うタスクとに分岐させてマルチタスクを行う学習モデル18を用いる。
次に、学習工程の第2の例に関して説明する。本例では、学習モデル18の後段においてクラシフィケーション(Classification)を行うタスクと、セグメンテーション(Segmentation)を行うタスクとに分岐させてマルチタスクを行う学習モデル18を用いる。
図12は、本例の学習部22E及び学習モデル18の主要な機能を示す機能ブロック図である。なお、図10で既に説明を行った箇所は同じ符号を付し説明は省略する。
学習モデル18では、CNN(1)61、CNN(2)65、CNN(3)67で構成されている。なお、CNN(1)61、CNN(2)65、及びCNN(3)67の各々は、CNN(Convolutional Neural Network)で構成されている。
CNN(1)61には、内視鏡画像P1及び模倣画像P2が入力される。CNN(1)61は、入力された内視鏡画像P1及び模倣画像P2の各々に関しての特徴マップを出力する。
CNN(1)61に内視鏡画像P1が入力された場合には、特徴マップはCNN(2)63に入力される。CNN(2)63は、クラシフィケーション(Classification)の学習を行うモデルである。そして、CNN(2)63は、出力結果を損失算出部54に入力する。損失算出部54は、CNN(2)63の出力結果と第1の深度情報D1との損失を算出する。その後、パラメータ更新部56は、損失算出部54で算出結果に基づいて学習モデル18のパラメータを更新する。
一方、CNN(1)61に模倣画像P2が入力された場合には、特徴マップはCNN(3)65に入力される。CNN(3)65は、セグメンテーション(Segmentation)の学習を行うモデルである。そして、CNN(3)65は、出力結果を損失算出部54に入力する。損失算出部54は、CNN(3)65の出力結果と第2の深度情報D2との損失を算出する。その後、パラメータ更新部56は、損失算出部54で算出結果に基づいて学習モデル18のパラメータを更新する。
以上で説明したように、後段において、クラシフィケーションとセグメンテーションとにタスクが分岐した学習モデル18を使用して、内視鏡画像P1を使用した学習と模倣画像P2を使用した学習とをそれぞれ異なるタスクで学習を行う。これにより、第1の学習データセットと第2の学習データセットを使用して効率的な学習を行うことができる。
<第2の実施形態>
次に、本発明の第2の実施形態に関して説明する。本実施形態は、学習装置10で学習が行われた学習モデル18(学習済みモデル)で構成される深度情報取得装置である。本実施形態の深度情報取得装置によれば、精度の良い深度情報をユーザに提供することができる。
次に、本発明の第2の実施形態に関して説明する。本実施形態は、学習装置10で学習が行われた学習モデル18(学習済みモデル)で構成される深度情報取得装置である。本実施形態の深度情報取得装置によれば、精度の良い深度情報をユーザに提供することができる。
図13は、深度情報取得装置を搭載する画像処理装置の実施形態を示すブロック図である。なお、図1で既に説明を行った箇所は同じ符号を付し説明は省略する。
画像処理装置202は、図4で説明した内視鏡システム109に搭載される。具体的には、画像処理装置202は、内視鏡システム109に接続される学習装置10に代わって接続される。したがって、画像処理装置202には、内視鏡システム109で撮影された動画38及び静止画39が入力される。
画像処理装置202は、画像取得部204、プロセッサ206、深度情報取得装置208、補正部210、RAM24、及びROM26から構成される。
画像取得部204は、内視鏡スコープ110により撮影された内視鏡画像を取得する(画像取得処理)。具体的には画像取得部204は、上述したように動画38又は静止画39を取得する。
プロセッサ(Central Processing Unit)206は、画像処理装置202の各処理を行う。例えば、プロセッサ206は、画像取得部204に内視鏡画像(動画38又は静止画39)を取得させる(画像取得処理)。また、プロセッサ206は、取得した内視鏡画像を深度情報取得装置208に入力する(画像入力処理)。またプロセッサ206は、深度情報取得装置208に入力された内視鏡画像の深度情報を推定させる(推定処理)。プロセッサ206は、1つ又は複数のCPUで構成される。
深度情報取得装置208は、上述したように第1の学習データセット及び第2の学習データセットにより学習モデル18に学習を行わせた学習済みモデルにより構成される。深度情報取得装置208は、内視鏡スコープ110で取得された内視鏡画像(動画38、静止画39)が入力され、入力された内視鏡画像の深度情報が出力される。深度情報取得装置208で取得される深度情報は、入力された内視鏡の画像全体の深度情報である。
補正部210は、深度情報取得装置208で推定された深度情報の補正を行う(補正処理)。学習モデル18の学習時に使用された内視鏡画像を取得した内視鏡スコープ(第1の内視鏡スコープ)109と異なる内視鏡スコープ(第2の内視鏡スコープ)で取得された内視鏡画像が深度情報取得装置208に入力される場合には、深度情報を補正することにより、より精度の高い深度情報を取得することができる。内視鏡スコープの違いにより同じ被写体を撮影した場合であっても内視鏡画像が異なるので、内視鏡スコープに応じて出力される深度情報を補正することが好ましい。ここで、内視鏡スコープが異なるとは、少なくとも対物レンズが異なることをいい、前述したように同じ被写体を撮影した場合であっても異なる内視鏡画像が取得される場合である。
補正部210は、例えば予め記憶されている補正テーブルを使用して深度情報取得装置208から出力される深度情報を補正する。なお、補正テーブルについては後で説明を行う。
表示部28は、画像取得部204が取得した内視鏡画像(動画38及び静止画39)を表示する。また、表示部28は、深度情報取得装置208が取得した深度情報又は補正部210で補正された深度情報を表示する。このように、深度情報又は補正された深度情報を表示部28に表示することにより、ユーザは表示された内視鏡画像に対応する深度情報を認識することができる。
図14は、補正テーブルの具体例を示す図である。なお補正テーブルは、予めそれぞれの内視鏡スコープで得られる内視鏡画像を深度情報取得装置208に入力して、深度情報を取得して比較することにより得ることができる。
補正テーブルでは、内視鏡スコープの型番に応じて補正値が変更される。具体的には、A型の内視鏡スコープを使用して内視鏡画像を取得し、その内視鏡画像に基づいて深度情報が推定された場合には、推定された深度情報に補正値(×0.7)を適用して補正された深度情報が取得される。また、B型の内視鏡スコープを使用して内視鏡画像を取得し、その内視鏡画像に基づいて深度情報が推定された場合には、推定された深度情報に補正値(×0.9)を適用して補正された深度情報が取得される。また、C型の内視鏡スコープを使用して内視鏡画像を取得し、その内視鏡画像に基づいて深度情報が推定された場合には、推定された深度情報に補正値(×1.2)を適用して補正された深度情報が取得される。このように、内視鏡スコープに応じて補正値を有する補正テーブルによって、深度情報を補正することにより、種々の内視鏡スコープで取得した内視鏡画像によっても精度の高い深度情報を取得することができる。
以上で説明したように、本実施形態の深度情報取得装置208は、学習装置10で学習が行われた学習モデル18(学習済みモデル)で構成されるので、精度の良い深度情報をユーザに提供することができる。
<その他>
<<その他1>>
上述した説明では、画像処理装置202が補正部210を有する実施形態を説明した。しかしながら、学習時に学習モデル18に入力される内視鏡画像を撮影した内視鏡スコープと、深度情報取得装置208に入力される内視鏡画像を撮影した内視鏡スコープとが同じ場合には、画像処理装置202は補正部210を有さなくてもよい。また、学習時に学習モデル18に入力される内視鏡画像を撮影した内視鏡スコープと、深度情報取得装置208に入力される内視鏡画像を撮影した内視鏡スコープとが異なる場合であっても、推定された深度情報の精度が許容範囲内であれば、画像処理装置202は補正部210を有さなくてもよい。
<<その他1>>
上述した説明では、画像処理装置202が補正部210を有する実施形態を説明した。しかしながら、学習時に学習モデル18に入力される内視鏡画像を撮影した内視鏡スコープと、深度情報取得装置208に入力される内視鏡画像を撮影した内視鏡スコープとが同じ場合には、画像処理装置202は補正部210を有さなくてもよい。また、学習時に学習モデル18に入力される内視鏡画像を撮影した内視鏡スコープと、深度情報取得装置208に入力される内視鏡画像を撮影した内視鏡スコープとが異なる場合であっても、推定された深度情報の精度が許容範囲内であれば、画像処理装置202は補正部210を有さなくてもよい。
<<その他2>>
上述した説明では、深度情報取得装置208で推定された深度情報を補正部210により補正が行われる場合に関して説明した。しかしながら、学習時に学習モデル18に入力される内視鏡画像を撮影した内視鏡スコープと、深度情報取得装置208に入力される内視鏡画像を撮影した内視鏡スコープとが異なる場合に、他の手法によって補正を行ってもよい。例えば、深度情報取得装置208に入力される内視鏡画像を、学習モデル18に入力される内視鏡画像に変換してもよい。例えば、pix2pixのような画像変換技術を用いて予め変換を行う。そして、その変換された内視鏡画像を入力して深度情報取得装置208に深度情報の推定を行わせてもよい。これにより、学習時に使用した内視鏡画像を撮影した内視鏡スコープと、学習後に深度推定を行う時に使用した内視鏡画像を撮影した内視鏡スコープが異なる場合であっても、正確な深度情報の推定を行うことができる。
上述した説明では、深度情報取得装置208で推定された深度情報を補正部210により補正が行われる場合に関して説明した。しかしながら、学習時に学習モデル18に入力される内視鏡画像を撮影した内視鏡スコープと、深度情報取得装置208に入力される内視鏡画像を撮影した内視鏡スコープとが異なる場合に、他の手法によって補正を行ってもよい。例えば、深度情報取得装置208に入力される内視鏡画像を、学習モデル18に入力される内視鏡画像に変換してもよい。例えば、pix2pixのような画像変換技術を用いて予め変換を行う。そして、その変換された内視鏡画像を入力して深度情報取得装置208に深度情報の推定を行わせてもよい。これにより、学習時に使用した内視鏡画像を撮影した内視鏡スコープと、学習後に深度推定を行う時に使用した内視鏡画像を撮影した内視鏡スコープが異なる場合であっても、正確な深度情報の推定を行うことができる。
<<その他3>>
上述した説明では、深度情報取得装置208に内視鏡画像のみが入力されて深度情報が推定される場合について説明した。しかしながら、深度情報取得装置208に他の情報を入力して、内視鏡画像の深度情報を推定させてもよい。例えば、上述した内視鏡スコープ110のように光測距器124を備える場合には、深度情報取得装置208に内視鏡画像と共に光測距器124で取得した深度情報も合わせて入力してもよい。なお、この場合には学習モデル18は、内視鏡画像と光測距器124の深度情報とにより深度情報を推定する学習が行われている。
上述した説明では、深度情報取得装置208に内視鏡画像のみが入力されて深度情報が推定される場合について説明した。しかしながら、深度情報取得装置208に他の情報を入力して、内視鏡画像の深度情報を推定させてもよい。例えば、上述した内視鏡スコープ110のように光測距器124を備える場合には、深度情報取得装置208に内視鏡画像と共に光測距器124で取得した深度情報も合わせて入力してもよい。なお、この場合には学習モデル18は、内視鏡画像と光測距器124の深度情報とにより深度情報を推定する学習が行われている。
<<その他4>>
上記実施形態において、各種の処理を実行する処理部(processing unit)(例えば、内視鏡画像取得部22A、実測情報取得部22B、模倣画像取得部22C、模倣深度取得部22D、学習部22E、画像取得部204、深度情報取得装置208、補正部210)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
上記実施形態において、各種の処理を実行する処理部(processing unit)(例えば、内視鏡画像取得部22A、実測情報取得部22B、模倣画像取得部22C、模倣深度取得部22D、学習部22E、画像取得部204、深度情報取得装置208、補正部210)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10 :学習装置
12 :通信部
14 :第1の学習データセットデータベース
16 :第2の学習データセットデータベース
18 :学習モデル
20 :操作部
22 :プロセッサ
22A :内視鏡画像取得部
22B :実測情報取得部
22C :模倣画像取得部
22D :模倣深度取得部
22E :学習部
24 :RAM
26 :ROM
28 :表示部
30 :バス
109 :内視鏡システム
110 :内視鏡スコープ
111 :光源装置
112 :内視鏡プロセッサ装置
113 :表示装置
120 :挿入部
121 :手元操作部
122 :ユニバーサルコード
124 :光測距器
128 :撮像素子
129 :湾曲操作ノブ
130 :送気送水ボタン
131 :吸引ボタン
132 :静止画撮影指示部
133 :処置具導入口
135 :ライトガイド
136 :信号ケーブル
202 :画像処理装置
204 :画像取得部
206 :プロセッサ
208 :深度情報取得装置
210 :補正部
212 :表示制御部
12 :通信部
14 :第1の学習データセットデータベース
16 :第2の学習データセットデータベース
18 :学習モデル
20 :操作部
22 :プロセッサ
22A :内視鏡画像取得部
22B :実測情報取得部
22C :模倣画像取得部
22D :模倣深度取得部
22E :学習部
24 :RAM
26 :ROM
28 :表示部
30 :バス
109 :内視鏡システム
110 :内視鏡スコープ
111 :光源装置
112 :内視鏡プロセッサ装置
113 :表示装置
120 :挿入部
121 :手元操作部
122 :ユニバーサルコード
124 :光測距器
128 :撮像素子
129 :湾曲操作ノブ
130 :送気送水ボタン
131 :吸引ボタン
132 :静止画撮影指示部
133 :処置具導入口
135 :ライトガイド
136 :信号ケーブル
202 :画像処理装置
204 :画像取得部
206 :プロセッサ
208 :深度情報取得装置
210 :補正部
212 :表示制御部
Claims (11)
- プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置であって、
前記プロセッサは、
内視鏡システムで体腔を撮影した前記内視鏡画像を取得する内視鏡画像取得処理と、
前記内視鏡画像の少なくとも1点の測定点に対応する実測された第1の深度情報を取得する実測情報取得処理と、
前記内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得処理と、
前記模倣画像の一つ以上の領域の深度情報を含む第2の深度情報を取得する模倣深度取得処理と、
前記内視鏡画像と前記第1の深度情報とで構成される第1の学習データセット、及び前記模倣画像と前記第2の深度情報とで構成される第2の学習データセットを用いて、前記学習モデルに学習を行わせる学習処理と、
を行う学習装置。 - 前記第1の深度情報は、前記内視鏡システムのスコープの先端に備えられる光測距器を用いて取得される請求項1に記載の学習装置。
- 前記模倣画像及び前記第2の深度情報は、前記体腔の疑似的な3次元コンピューターグラフィックスに基づいて取得される請求項1又は2に記載の学習装置。
- 前記模倣画像は、前記体腔の模型を前記内視鏡システムで撮影することにより取得され、前記第2の深度情報は、前記模型の3次元情報に基づいて取得される請求項1から3のいずれか1項に記載の学習装置。
- 前記プロセッサは、前記第1の学習データセットを用いた前記学習処理時の第1の損失重みと、前記第2の学習データセットを用いた前記学習処理時の第2の損失重みとを異ならせる請求項1から4のいずれか1項に記載の学習装置。
- 前記第1の損失重みは、前記第2の損失重みよりも大きい請求項5に記載の学習装置。
- 請求項1から6のいずれか1項に記載の学習装置で学習が行われた学習済みモデルで構成される深度情報取得装置。
- 請求項7に記載の前記深度情報取得装置と、内視鏡スコープと、プロセッサとを備える内視鏡システムであって、
前記プロセッサは、
前記内視鏡スコープにより撮影された内視鏡画像を取得する画像取得処理と、
前記内視鏡画像を前記深度情報取得装置に入力する画像入力処理と、
前記深度情報取得装置に前記内視鏡画像の深度情報を推定させる推定処理と、
を行う内視鏡システム。 - 前記第1の学習データセットの前記内視鏡画像を取得した第1の内視鏡スコープと少なくとも対物レンズが異なる第2の内視鏡スコープに対応する補正テーブルを備え、
前記プロセッサは、
前記第2の内視鏡スコープにより内視鏡画像を取得する場合には、前記推定処理で取得された前記深度情報を、前記補正テーブルを使用して補正する補正処理を行う請求項8に記載の内視鏡システム。 - プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置を用いた学習方法であって、
前記プロセッサにより行われる、
内視鏡システムで体腔を撮影した前記内視鏡画像を取得する内視鏡画像取得工程と、
前記内視鏡画像の少なくとも1点の測定点に対応する実測された第1の深度情報を取得する実測情報取得工程と、
前記内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得工程と、
前記模倣画像一つ以上の領域の深度情報を含む第2の深度情報を取得する模倣深度取得工程と、
前記内視鏡画像と前記第1の深度情報とで構成される第1の学習データセット、及び前記模倣画像と前記第2の深度情報とで構成される第2の学習データセットを用いて、前記学習モデルに学習を行わせる学習工程と、
を含む学習方法。 - プロセッサと内視鏡画像の深度情報を推定する学習モデルとを備える学習装置に学習方法を実行させるプログラムであって、
前記プロセッサに、
内視鏡システムで体腔を撮影した前記内視鏡画像を取得する内視鏡画像取得工程と、
前記内視鏡画像の少なくとも1点の測定点に対応する実測された第1の深度情報を取得する実測情報取得工程と、
前記内視鏡システムで撮影される体腔の画像を模倣した模倣画像を取得する模倣画像取得工程と、
前記模倣画像の一つ以上の領域の深度情報を含む第2の深度情報を取得する模倣深度取得工程と、
前記内視鏡画像と前記第1の深度情報とで構成される第1の学習データセット、及び前記模倣画像と前記第2の深度情報とで構成される第2の学習データセットを用いて、前記学習モデルに学習を行わせる学習工程と、
を実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021078694A JP2022172654A (ja) | 2021-05-06 | 2021-05-06 | 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム |
US17/730,783 US20220358750A1 (en) | 2021-05-06 | 2022-04-27 | Learning device, depth information acquisition device, endoscope system, learning method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021078694A JP2022172654A (ja) | 2021-05-06 | 2021-05-06 | 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022172654A true JP2022172654A (ja) | 2022-11-17 |
Family
ID=83900556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021078694A Pending JP2022172654A (ja) | 2021-05-06 | 2021-05-06 | 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220358750A1 (ja) |
JP (1) | JP2022172654A (ja) |
-
2021
- 2021-05-06 JP JP2021078694A patent/JP2022172654A/ja active Pending
-
2022
- 2022-04-27 US US17/730,783 patent/US20220358750A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220358750A1 (en) | 2022-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4994737B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
US11526986B2 (en) | Medical image processing device, endoscope system, medical image processing method, and program | |
US7830378B2 (en) | Medical image processing apparatus and medical image processing method | |
US11948080B2 (en) | Image processing method and image processing apparatus | |
US20120053408A1 (en) | Endoscopic image processing device, method and program | |
JP5326064B2 (ja) | 画像処理装置 | |
JP7005767B2 (ja) | 内視鏡画像認識装置、内視鏡画像学習装置、内視鏡画像学習方法及びプログラム | |
WO2014168128A1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP7385731B2 (ja) | 内視鏡システム、画像処理装置の作動方法及び内視鏡 | |
JP2009028248A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP7122328B2 (ja) | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム | |
JP7441934B2 (ja) | 処理装置、内視鏡システム及び処理装置の作動方法 | |
EP1992273B1 (en) | Medical image processing device and medical image processing method | |
JP2022172654A (ja) | 学習装置、深度情報取得装置、内視鏡システム、学習方法、及びプログラム | |
US20220222840A1 (en) | Control device, image processing method, and storage medium | |
US20220202284A1 (en) | Endoscope processor, training device, information processing method, training method and program | |
US20230206445A1 (en) | Learning apparatus, learning method, program, trained model, and endoscope system | |
WO2022202520A1 (ja) | 医療情報処理装置、内視鏡システム、医療情報処理方法、及び医療情報処理プログラム | |
WO2022191058A1 (ja) | 内視鏡画像処理装置、方法及びプログラム | |
WO2022202400A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2007102296A1 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
US20230410482A1 (en) | Machine learning system, recognizer, learning method, and program | |
US20230306592A1 (en) | Image processing device, medical diagnosis device, endoscope device, and image processing method | |
US20230081476A1 (en) | Method of multiple image reconstruction and registration | |
US20240081614A1 (en) | Endoscopic examination support apparatus, endoscopic examination support method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240201 |