JP2019163981A - 生体組織解析装置および生体組織解析プログラム - Google Patents

生体組織解析装置および生体組織解析プログラム Download PDF

Info

Publication number
JP2019163981A
JP2019163981A JP2018051114A JP2018051114A JP2019163981A JP 2019163981 A JP2019163981 A JP 2019163981A JP 2018051114 A JP2018051114 A JP 2018051114A JP 2018051114 A JP2018051114 A JP 2018051114A JP 2019163981 A JP2019163981 A JP 2019163981A
Authority
JP
Japan
Prior art keywords
analysis
biological tissue
analysis target
hyperspectral data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018051114A
Other languages
English (en)
Other versions
JP6392476B1 (ja
Inventor
大輝 中矢
Daiki Nakaya
大輝 中矢
佐鳥　新
Arata Satori
新 佐鳥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nakaya Daiki
Original Assignee
Nakaya Daiki
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018051114A priority Critical patent/JP6392476B1/ja
Application filed by Nakaya Daiki filed Critical Nakaya Daiki
Publication of JP6392476B1 publication Critical patent/JP6392476B1/ja
Application granted granted Critical
Priority to EP19772299.4A priority patent/EP3770584B1/en
Priority to US16/981,451 priority patent/US11499958B2/en
Priority to CN201980028047.XA priority patent/CN112204378A/zh
Priority to CA3096740A priority patent/CA3096740A1/en
Priority to SG11202008891RA priority patent/SG11202008891RA/en
Priority to PCT/JP2019/011152 priority patent/WO2019181845A1/ja
Publication of JP2019163981A publication Critical patent/JP2019163981A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0264—Electrical interface; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/027—Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】 ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別することができる生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法を提供する。【解決手段】 二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析装置であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析装置；（i）ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；（ii）生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する解析対象部位抽出部；（iii）教師なし学習によって生体組織の変質状態を大別する変質状態大別部；（iv）教師あり学習によって生体組織の変質状態を識別する変質状態識別部。【選択図】 図１

Description

本発明は、ハイパースペクトルデータを用いて生体組織を解析する技術に関し、特に、細胞核のガン化状態等のように、生体組織の変質状態を識別するのに好適な生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法に関するものである。
従来、細胞核のガン化状態等のように、生体組織の変質状態を診断するに際しては、病理専門医による顕微鏡画像を利用した形態学的診断が行われている。しかしながら、そのような形態学的診断は、病理専門医の知識や経験によるところが大きく、一人前になるまでには数年に渡るトレーニングが必要とされるほど困難なものとされている。
そこで、近年、分光スペクトルを用いて生体組織を光学的に分析する方法が検討されている。例えば、特開２０１７−２０３６３７号公報には、試料に含まれる細胞の分光スペクトルに基づいて、統計的手法、機械学習又はパターン認識により、当該細胞が腫瘍細胞であるか否かを判定する分析工程を有する腫瘍細胞検出方法が提案されている（特許文献１）。
特開２０１７−２０３６３７号公報
しかしながら、特許文献１に記載された発明においては、分析対象の細胞が腫瘍細胞であるか否かを判定するものに過ぎない。このため、例えば、発症初期の大腸癌等における４段階のガン化状態（非ガン細胞、軽度異形成（ＬＧＤ：Low Grade Dysplasia）、高度異形成（ＨＧＤ：High Grade Dysplasia）、ガン細胞）等のように、生体組織の変質状態を細かく識別することはできないという問題がある。
本発明は、このような問題点を解決するためになされたものであって、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別することができる生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法を提供することを目的としている。
本発明に係る生体組織解析装置は、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別するという課題を解決するために、二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析装置であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析装置；
（i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；
（ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する解析対象部位抽出部；
（iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別部；
（iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別部。
また、本発明の一態様として、生体組織の変質状態を予め大別することで、解析精度を向上するという課題を解決するために、前記変質状態識別部によって識別する前に、前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類する変質状態大別部を有していてもよい。
さらに、本発明の一態様として、解析用データに対する光源の影響を除去し、解析精度を向上するという課題を解決するために、前記ハイパースペクトルデータの取得時に用いた光源のスペクトル情報によって、前記解析対象部位に相当するピクセルの前記スペクトル情報を除算する光源影響除去部を有していてもよい。
また、本発明の一態様として、解析用データに対する染色の影響を除去し、解析精度を向上するという課題を解決するために、前記解析対象部位に相当するピクセルの前記スペクトル情報に基づいて、前記解析対象部位の染色濃度によって変化するスペクトル成分を除去する染色影響除去部を有していてもよい。
さらに、本発明の一態様として、解析対象部位をピクセル単位で抽出するという課題を解決するために、前記解析対象部位抽出部は、前記スペクトル情報の類似度に基づいて各ピクセルを解析対象部位とその他の部位とにラベリングし、前記解析対象部位としてラベリングされたピクセルをフィルタリングしてもよい。
また、本発明の一態様として、解析対象部位を細胞核単位で抽出するという課題を解決するために、前記解析対象部位抽出部は、前記生体組織の二次元画像を画像認識処理によって腺管を特定するとともに、前記腺管上における前記細胞核を解析対象部位として画像認識処理によって特定してもよい。
さらに、本発明の一態様として、潰瘍やポリープにおける細胞核のガン化状態を病理診断に従って識別するという課題を解決するために、前記変質状態は、潰瘍における、非ガン細胞、軽度異形成（ＬＧＤ：Low Grade Dysplasia）、高度異形成（ＨＧＤ：High Grade Dysplasia）およびガン細胞の４ステージによって特定されてもよく、またはポリープにおける、軽度異型腺腫（ＬＧＡ：Low Grade Adenoma）、高度異型腺腫（ＨＧＡ：High Grade Adenoma）およびガン細胞の３ステージによって特定されてもよい。
また、本発明の一態様として、生体組織の変質状態を解析するのに適したハイパースペクトルデータを取得するという課題を解決するために、前記ハイパースペクトルデータの波長帯域に可視光が含まれていてもよい。
また、本発明に係る生体組織解析プログラムは、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別するという課題を解決するために、二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析プログラムであって、下記（i），（ii）としてコンピュータを機能させるとともに、下記（iii）および／または（iv）としてコンピュータを機能させる、前記生体組織解析プログラム；
（i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；
（ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する解析対象部位抽出部；
（iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別部；
（iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別部。
さらに、本発明に係る生体組織解析方法は、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別するという課題を解決するために、二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析方法であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析方法；
（i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得ステップ；
（ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する解析対象部位抽出ステップ；
（iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別ステップ；
（iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別ステップ。
本発明によれば、ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別することができる。
本発明に係る生体組織解析装置の一実施形態を示すブロック図である。 ハイパースペクトルデータの一例を示す図である。 本実施形態の解析対象部位抽出部によって実行される、（ａ）スペクトル情報抽出処理、（ｂ）ラベリング処理および（ｃ）フィルタリング処理を示す図である。 本実施形態の生体組織解析装置および生体組織解析プログラムによって実行される生体組織解析方法を示すフローチャートである。 実施例１において、各ステージにおける全特徴量の組み合わせについての識別率を示す表である。 実施例２において、主成分分析によって特定された各主成分の寄与率を示すグラフである。 実施例３において、ロジスティック回帰による予測結果の混同行列を示す表である。 実施例４において、（ａ）サポートベクターマシンのみによる解析結果、および（ｂ）クラスター分析とサポートベクターマシンによる解析結果を示す表である。 実施例５において、ハイパースペクトルデータの独立成分分析結果を示すグラフである。
以下、本発明に係る生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法の実施形態について図面を用いて説明する。
本実施形態の生体組織解析システムは、図１に示すように、生体組織のハイパースペクトルデータを取得するハイパースペクトルカメラ１０と、このハイパースペクトルカメラ１０によって取得されたハイパースペクトルデータに基づいて、生体組織の変質状態を解析する生体組織解析装置１とから構成されている。以下、各構成について説明する。
なお、本発明において、生体組織とは、人間や動物等を含む生体において、複数の細胞が所定のパターンで集合してなる全ての組織を含む概念である。また、本発明において、変質状態とは、ガンの進行度やガンの悪性度等のように、生体組織がどの程度変質しているかを示す全ての状態を含む概念である。
ハイパースペクトルカメラ１０は、二次元の空間情報と、複数の波長におけるスペクトル情報（ハイパースペクトル情報）とを同時に取得するものである。具体的には、図２に示すように、二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを取得するものである。なお、スペクトル情報は、分光スペクトルとも呼ばれ、各バンド（波長）ごとの光強度の分布を示すものである。
本実施形態において、上記二次元画像を構成する単位ピクセルは、生体組織における解析対象部位の内部に含まれる大きさに設定されており、当該解析対象部位について複数のピクセルを有するハイパースペクトルデータを取得するようになっている。また、本実施形態では、潰瘍やポリープにおけるガン化状態（ガンの進行度）を解析する場合、細胞核が解析対象部位とされる。しかしながら、解析対象部位は、リンパ球、粘液、組織球（白血球）等のように、解析しようとする生体組織の変質状態に応じて適宜選択され得る。
また、本実施形態において、生体組織は、ホルマリン等で固定してからパラフィン等で包埋して切片を作成し、ヘマトキシリン・エオシン染色等を施した上でプレパラートに挟まれている。そして、当該プレパラートを顕微鏡にセットした状態で、可視光源によって照射して得られる透過光を拡大し、当該透過光を接眼レンズに当接させたハイパースペクトルカメラ１０によって計測するようになっている。
なお、一般的な医療機器に使用される赤外線や紫外線は、顕微鏡レンズの透過性（光学コーディング性能）が可視光域に比べて低く、収差の影響も受けやすい。また、顕微鏡レンズに使用されるフッ化カルシウムは、近赤外光の励起で蛍光を発するため、弱いラマン信号の測定を妨害することが知られている。一方、可視光はＸ線に比べてフォトンエネルギーが小さく、人体への影響が少ない。また、可視光の分光情報は、細胞核内のクロマチン濃度の影響で変化することが知られており、ラマン分光と同様にクロマチンだけでなく多くの細胞組織の情報を潜在的に含んでいる可能性が高い。そこで、本実施形態では、ハイパースペクトルデータの波長帯域に可視光が含まれるように可視光源を使用している。
つぎに、生体組織解析装置１は、パーソナルコンピュータ等のコンピュータによって構成されており、図１に示すように、主として、表示手段２と、入力手段３と、記憶手段４と、演算処理手段５とを有している。以下、各構成手段について詳細に説明する。
表示手段２は、液晶ディスプレイ等で構成されており、生体組織解析装置１による解析結果等を表示するものである。入力手段３は、キーボードやマウス等で構成されており、ユーザによる指示や選択を入力するものである。なお、本実施形態では、表示機能のみを備えた表示手段２と入力機能のみを備えた入力手段３とを別々に使用しているが、この構成に限定されるものではなく、表示機能および入力機能を兼ね備えたタッチパネル等の表示入力手段を使用してもよい。
記憶手段４は、各種のデータを記憶するとともに、演算処理手段５が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段４は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等で構成されており、図１に示すように、プログラム記憶部４１と、教師データ記憶部４２とを有している。以下、各構成部についてより詳細に説明する。
プログラム記憶部４１には、本実施形態の生体組織解析装置１を制御するための生体組織解析プログラム１ａがインストールされている。そして、演算処理手段５が、当該生体組織解析プログラム１ａを実行することにより、生体組織解析装置１としてのコンピュータを後述する各構成部として機能させるようになっている。
なお、生体組織解析プログラム１ａの利用形態は、上記構成に限られるものではない。例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のように、コンピュータで読み取り可能な記録媒体に生体組織解析プログラム１ａを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やＡＳＰ（Application Service Provider）方式で利用してもよい。
教師データ記憶部４２は、生体組織に関するスペクトル情報としての教師データを記憶するものである。本実施形態では、潰瘍における細胞核を解析対象部位としているため、潰瘍における、非ガン細胞、軽度異形成（ＬＧＤ：Low Grade Dysplasia）、高度異形成（ＨＧＤ：High Grade Dysplasia）およびガン細胞という４ステージによって特定される変質状態のそれぞれについて、スペクトル情報が教師データとして登録されている。
なお、教師データは、上記に限定されるものではなく、解析しようとする生体組織の変質状態に応じて適宜選択される。例えば、ポリープにおける細胞核のガン化状態を解析する場合には、ポリープにおける、軽度異型腺腫（ＬＧＡ：Low Grade Adenoma）、高度異型腺腫（ＨＧＡ：High Grade Adenoma）およびガン細胞という３ステージによって特定される変質状態のそれぞれについて、スペクトル情報が登録されることとなる。
演算処理手段５は、ハイパースペクトルカメラ１０からハイパースペクトルデータを取得し、生体組織の解析処理を実行するものである。本実施形態において、演算処理手段５は、ＣＰＵ（Central Processing Unit）等で構成されており、記憶手段４にインストールされた生体組織解析プログラム１ａを実行することにより、図１に示すように、ハイパースペクトルデータ取得部５１と、解析対象部位抽出部５２と、光源影響除去部５３と、染色影響除去部５４と、データ数削減部５５と、変質状態大別部５６と、変質状態識別部５７として機能するようになっている。以下、各構成部についてより詳細に説明する。
ハイパースペクトルデータ取得部５１は、ハイパースペクトルカメラ１０から生体組織のハイパースペクトルデータを取得するものである。本実施形態において、ハイパースペクトルデータ取得部５１は、ハイパースペクトルカメラ１０に制御信号を出力して生体組織をスキャンさせ、撮像素子から出力された画像信号を１ラインごとにハイパースペクトルデータとして取得するようになっている。
解析対象部位抽出部５２は、ハイパースペクトルデータに基づいて、生体組織の二次元画像から解析対象部位に相当するピクセルを抽出するものである。本実施形態において、解析対象部位抽出部５２は、まず、図３（ａ）に示すように、二次元画像を構成する各ピクセルのスペクトル情報を抽出する。つぎに、図３（ｂ）に示すように、抽出したスペクトル情報の類似度に基づいて、各ピクセルを解析対象部位とその他の部位（リンパ球、組織球、粘液等）とにラベリングする。そして、図３（ｃ）に示すように、解析対象部位としてラベリングされたピクセルをフィルタリングする。このフィルタリングされた各ピクセルのスペクトル情報（各バンドごとの光強度）が解析用データとなる。
なお、本実施形態において、解析対象部位抽出部５２は、ベクトル間距離やマハラノビス距離等によってスペクトル情報の類似度を算出するようになっている。また、本実施形態では、解析対象部位およびその他の各部位ごとに類似度の閾値が設定されており、いずれかの閾値以上の類似度を有するピクセルが、当該閾値に対応する部位としてラベリングされるようになっている。
また、本実施形態において、解析対象部位抽出部５２は、スペクトル情報の類似度に基づいて解析対象部位を抽出しているが、この構成に限定されるものではなく、他の抽出方法を採用してもよい。具体的には、潰瘍やポリープは腺管構造を有しており、当該腺管上に解析対象部位となる細胞核（腺上皮細胞）が存在している。このため、本実施形態のように、潰瘍やポリープにおけるガン化状態を解析する場合、解析対象部位抽出部５２は、ハイパースペクトルデータから生体組織の二次元画像（ＲＧＢ画像）を合成し、当該二次元画像を画像認識処理することによって腺管を特定するとともに、当該腺管上における細胞核を解析対象部位として画像認識処理によって特定してもよい。
光源影響除去部５３は、光源が解析用データに与える影響を除去するものである。本実施形態において、光源影響除去部５３は、ハイパースペクトルデータの取得時に用いた光源のスペクトル情報によって、解析対象部位に相当するピクセルのスペクトル情報を除算することにより、光源の影響を除去するようになっている。
具体的には、光源影響除去部５３は、解析用データの各バンドごとに下記式（１）によって分光反射率Ｒｉを算出する。
Ｒｉ＝Ｉｉ／Ｉ０ …式（１）
ただし、各符号は以下を表す。
Ｉｉ：ｉ番目の細胞核のスペクトル情報
Ｉ０：光源のスペクトル情報
なお、本実施形態では、上記のとおり、解析対象部位抽出部５２が、解析対象部位に相当するピクセルを抽出しているため、ピクセルごとに分光反射率Ｒｉを算出している。しかしながら、上記のとおり、解析対象部位抽出部５２が、画像認識処理によって解析対象部位を抽出する場合、当該解析対象部位ごとに分光反射率Ｒｉを算出する。また、ハイパースペクトルデータの取得時における光源の条件が一定であれば、光源影響除去部５３を機能させる必要はなく、スペクトル情報がそのまま解析用データとなる。
染色影響除去部５４は、解析対象部位に対する染色が解析用データに与える影響を除去するものである。本実施形態において、染色影響除去部５４は、解析対象部位に相当するピクセルのスペクトル情報に基づいて、解析対象部位の染色濃度によって変化するスペクトル成分を除去することにより、染色による影響を除去するようになっている。
なお、解析対象部位の染色濃度によって変化するスペクトル成分は、実施例５で後述するとおり、独立成分分析等によって事前に特定される。また、解析対象部位の染色濃度が一定であれば、染色影響除去部５４を機能させる必要はなく、上記スペクトル成分を除去していないスペクトル情報がそのまま解析用データとなる。
データ数削減部５５は、解析用データのデータ数を削減するものである。本実施形態において、データ数削減部５５は、主成分分析によって解析用データの次元を削減することにより、解析速度を向上するようになっている。なお、データ数の削減方法は、主成分分析に限定されるものではなく、解析用データに含まれる任意のバンドのみを選択することにより、データ数を削減してもよい。また、解析速度よりも解析精度を優先する場合は、データ数削減部５５を機能させずに、全ての解析用データについて解析すればよい。
変質状態大別部５６は、解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別するものである。本実施形態において、変質状態大別部５６は、教師なし学習として、異なる性質のものが混ざり合った集団から、互いに似た性質を持つものを集め、クラスターを作るクラスター分析（ウォード法）を採用している。このため、本実施形態のように、潰瘍におけるガン化状態を解析する場合、実施例１で後述するとおり、上述した４ステージのうち、識別しやすい非ガン細胞および軽度異形成（ＬＧＤ）の２ステージが高精度に大別される。
なお、教師なし学習としては、クラスター分析に限定されるものではなく、生体組織の変質状態を大別しうるものであれば適宜採用することができる。また、変質状態大別部５６による分類は、変質状態識別部５７による識別の前に行うことによって識別対象を絞り込み、識別精度および汎用性を向上するものであるが、必ずしも実行する必要はない。さらに、ポリープにおけるガン化状態を解析する場合は、非ガン細胞というステージはないため、変質状態大別部５６による分類は不要である。
変質状態識別部５７は、解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、生体組織の変質状態を識別するものである。本実施形態において、変質状態識別部５７は、教師あり学習として、高い分類機能を有するロジスティック回帰を採用している。このため、実施例３で後述するとおり、変質状態大別部５６では識別が困難であった高度異形成（ＨＧＤ）およびガン細胞の２ステージについても高精度に識別される。
なお、教師あり学習としては、ロジスティック回帰に限定されるものではなく、生体組織の変質状態を識別しうるものであれば、サポートベクターマシン（ＳＶＭ：Support Vector Machine）やランダムフォレスト等を適宜採用することができる。また、変質状態大別部５６によって非ガン細胞および軽度異形成（ＬＧＤ）を予め大別しない場合には、変質状態識別部５７によって直接、上記４ステージのそれぞれを識別してもよい。さらに、変質状態大別部５６による分類のみで十分な場合は、変質状態識別部５７による識別を実行する必要はない。
つぎに、本実施形態の生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法による作用について説明する。
本実施形態の生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法を用いて生体組織の変質状態を解析する場合、図４に示すように、まず、ハイパースペクトルデータ取得部５１が、ハイパースペクトルカメラ１０から生体組織のハイパースペクトルデータを取得する（ステップＳ１：ハイパースペクトルデータ取得ステップ）。
このとき、本実施形態では、赤外線や紫外線と比較して顕微鏡レンズの透過性が高く、収差の影響を受けにくい可視光源を使用する。また、可視光は、Ｘ線と比較して人体への影響が少なく、その分光スペクトルには多くの細胞組織に関する情報が潜在的に含まれている。よって、生体組織の変質状態を解析するのに適したハイパースペクトルデータが取得される。
つぎに、解析対象部位抽出部５２が、ハイパースペクトルデータ取得部５１によって取得されたハイパースペクトルデータに基づいて、生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する（ステップＳ２：解析対象部位抽出ステップ）。これにより、当該ピクセルのスペクトル情報が解析用データとして出力されるため、当該解析用データに対して、解析モードに応じた処理が実行される（ステップＳ３）。
具体的には、高精度モードに設定されている場合（ステップＳ３：ＹＥＳ）、光源影響除去部５３が、解析対象部位に相当する各ピクセルのスペクトル情報を光源のスペクトル情報で除算する（ステップＳ４：光源影響除去ステップ）。これにより、解析用データに対する光源の影響が除去されるため、解析精度が向上する。
つづいて、染色影響除去部５４が、解析対象部位の染色濃度によって変化するスペクトル成分を除去する（ステップＳ５：染色影響除去ステップ）。これにより、解析用データに対する染色の影響が除去されるため、解析精度が向上する。
一方、高精度モードに設定されていない場合（ステップＳ３：ＮＯ）、データ数削減部５５が、解析用データのデータ数を削減する（ステップＳ６：データ数削減ステップ）。これにより、実施例２で後述するとおり、一定の解析精度が維持されたまま、解析速度が向上する。
解析モードに応じた処理が実行された後、変質状態大別部５６が、解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類する（ステップＳ７：変質状態大別ステップ）。これにより、生体組織の変質状態が大別され、変質状態識別部５７によって識別すべき対象が絞り込まれるため、解析精度が向上する。
つづいて、変質状態識別部５７が、解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類する（ステップＳ８：変質状態識別ステップ）。これにより、生体組織の変質状態が高精度に識別される。なお、本実施形態において、解析結果は、全ピクセル数に対する、変質状態のそれぞれに分類されたピクセル数の割合によって表示手段２等に表示される（ステップＳ９：解析結果表示ステップ）。
なお、本発明において、上述したステップＳ１およびステップＳ２は、生体組織解析装置１とは別体の解析装置（プログラム）に実行させてもよい。すなわち、別体の解析装置によって、ハイパースペクトルカメラ１０から生体組織のハイパースペクトルデータを取得させ、当該ハイパースペクトルデータに基づいて、解析対象部位に相当するピクセルを抽出させる。そして、当該ピクセルを生体組織解析装置１が取得して解析してもよい。
また、上述したステップＳ３からステップＳ６およびステップＳ９については必須の処理ではなく、必要に応じてまたはユーザの選択に応じて適宜実行される処理である。さらに、上述したステップＳ７およびステップＳ８は、要求される解析精度に応じていずれか一方または双方が実行されるものであり、ステップＳ７のみ、ステップＳ８のみ、ステップＳ７およびステップＳ８の双方の順に解析精度が向上する。
以上のような本実施形態の生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法によれば、以下のような効果を奏する。
１．ハイパースペクトルデータを用いて生体組織の変質状態を高精度に識別することができる。
２．解析用データに対する光源の影響を除去し、解析精度を向上することができる。
３．解析用データに対する染色の影響を除去し、解析精度を向上することができる。
４．解析対象部位をピクセル単位で抽出することができる。
５．解析対象部位を細胞核単位で抽出することができる。
６．潰瘍やポリープにおける細胞核のガン化状態を病理診断に従って識別することができる。
７．波長帯域に可視光を含ませることにより、生体組織の変質状態を解析するのに適したハイパースペクトルデータを取得することができる。
つぎに、本発明に係る生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法の具体的な実施例について説明する。
本実施例１では、上述した本実施形態において、変質状態大別部５６による教師なし学習として採用されたクラスター分析の識別性能を確認する実験を行った。
具体的には、まず、生体組織として潰瘍性大腸炎に関連する検体を用意し、予め病理医によって、非ガン細胞、軽度異形成（ＬＧＤ）、高度異形成（ＨＧＤ）およびガン細胞の４ステージを識別させた。つぎに、識別された４ステージのそれぞれについて、細胞核のハイパースペクトルデータを取得した。
本実施例１において、ハイパースペクトルデータは、ハイパースペクトルカメラ１０（北海道衛星株式会社：ＨＳＣ１７０２）を正立顕微鏡（オリンパス株式会社）の接眼レンズに直接当てて取得した。このとき、顕微鏡に内蔵された白色ＬＥＤを光源とし、顕微鏡の倍率は４００倍（接眼１０倍、対物４０倍）であった。また、計測波長域は３５０ｎｍから１０５０ｎｍの可視光と近赤外域であり、波長サンプリング間隔を５ｎｍとして計１４１バンドのハイパースペクトルデータを取得した。
つぎに、取得したハイパースペクトルデータについてウォード法によるクラスター分析を行い、３〜４つの特徴量をクラスターとして抽出した。そして、各ステージについて抽出した全特徴量の識別率（類似度）を主成分分析と線形判別分析とによって算出し、各ステージの指標となる特徴量がないかどうかを検討した。その結果を図５に示す。
図５に示すように、非ガン細胞の各特徴量である非ガン１〜４は、他の特徴量に対する識別率がほぼ１００％であった。よって、非ガン細胞は、クラスター分析によって容易に識別しうることが示された。また、軽度異形成（ＬＧＤ）の特徴量の一つであるＬＧＤ１は、他の特徴量に対する識別がいずれも８３．３％以上であり、平均すると約９５．５％であった。よって、軽度異形成（ＬＧＤ）は、ガン細胞や高度異形成（ＨＧＤ）が持たない特有の特徴量を有しており、この特徴量を用いることにより軽度異形成（ＬＧＤ）は、クラスター分析によって他のステージから識別できることが示された。
以上の本実施例１によれば、教師なし学習としてのクラスター分析は、潰瘍のガン化状態における４ステージのうち、非ガン細胞および軽度異形成（ＬＧＤ）を高精度に識別できることが示された。
本実施例２では、上述した本実施形態において、データ数削減部５５によるデータ数の削減方法として採用された主成分分析の性能を確認する実験を行った。
具体的には、まず、クラスター分析では識別が困難であったガン細胞と高度異形成（ＨＧＤ）のサンプルを用意し、実施例１と同様の方法によりハイパースペクトルデータを取得した。つぎに、主成分分析によってハイパースペクトルデータのデータ数を二次元データに削減し、寄与率を算出した。その結果を図６に示す。図６に示すように、第一主成分から第二主成分までの累積寄与率が９０％を超えているため、第三主成分までの次元を削減しても情報量の損失がきわめて少ないことが示された。
以上の本実施例２によれば、主成分分析は、ハイパースペクトルデータの情報量をほとんど損失させることなくデータ数を削減でき、解析速度を向上しうることが示された。
本実施例３では、上述した本実施形態において、変質状態識別部５７による教師あり学習として採用されたロジスティック回帰の識別性能を確認する実験を行った。
具体的には、まず、実施例２でデータ数を削減したガン細胞と高度異形成（ＨＧＤ）のハイパースペクトルデータを用意した。つぎに、数値解析ソフト（Python）の拡張モジュール（scikit-learn）中にあるLogisticRegression関数を使用し、ロジスティック回帰によって解析を行った。このとき、高度異形成（ＨＧＤ）のサンプル数（４９０個）と、ガン細胞のサンプル数（３２０個）の比率を保ったまま、７：３の割合でトレーニングデータとテストデータに分割し、学習と予測（識別）を行ったところ、その識別率は９５．９％という高い値であった。
また、予測結果について、真陽性、偽陽性、偽陰性および真陰性の個数を表す混合行列を図７に示す。図７の混合行列に基づいて、予測結果の評価尺度の一つであるＦ値（精度と再現率の調和平均）を算出したところ、９６．９％という高いスコアであった。なお、行列内の各数値は、以下の値を示すものである。
左上（真陽性：ＴＰ）：ガンであり、ガンと識別された細胞
右上（偽陽性：ＦＰ）：ＨＧＤであるが、ガンと識別された細胞
左下（偽陰性：ＦＮ）：ガンであるが、ＨＧＤと識別された細胞
右下（真陰性：ＴＮ）：ＨＧＤであり、ＨＧＤと識別された細胞
以上の本実施例３によれば、教師あり学習としてのロジスティック回帰は、潰瘍のガン化状態における４ステージのうち、ガン細胞および高度異形成（ＨＧＤ）を高精度に識別できることが示された。
本実施例４では、教師あり学習の一つであるサポートベクターマシンによって解析した場合の解析精度と、教師なし学習の一つであるクラスター分析によって予め解析対象を絞り込んでからサポートベクターマシンによって解析した場合の解析精度とを比較する実験を行った。
具体的には、潰瘍性大腸炎に関連する検体を用意し、サポートベクターマシンのみによって、潰瘍における、非ガン細胞、軽度異形成（ＬＧＤ）、高度異形成（ＨＧＤ）およびガン細胞の４ステージを識別した。また、同様の検体について、クラスター分析によって予め非ガン細胞を識別した後、サポートベクターマシンによって、残りの軽度異形成（ＬＧＤ）、高度異形成（ＨＧＤ）およびガン細胞の３ステージを識別した。その結果を図８に示す。
図８（ａ）に示すように、サポートベクターマシンのみによって解析した場合、ガン細胞、軽度異形成（ＬＧＤ）、高度異形成（ＨＧＤ）および非ガン細胞の４ステージについての識別率は、それぞれ９２．２％、７８．８％、５５．６％および１００．０％であった。一方、図８（ｂ）に示すように、クラスター分析とサポートベクターマシンとを組み合わせて解析した場合、ガン細胞、軽度異形成（ＬＧＤ）および高度異形成（ＨＧＤ）の４ステージについての識別率は、それぞれ９０．０％、７１．０％および８６．６％であった。
すなわち、クラスター分析とサポートベクターマシンとを組み合わせて解析した場合、軽度異形成（ＬＧＤ）の識別率は、７．８％向上し、高度異形成（ＨＧＤ）の識別率は１５．４％向上した。
以上の本実施例４によれば、潰瘍のガン化状態の識別は、変質状態識別部５７による教師あり学習のみによって行うよりも、変質状態大別部５６による教師なし学習と組み合わせた方が、識別精度が向上することが示された。
本実施例５では、上述した本実施形態において、染色影響除去部５４によって除去すべき、解析対象部位の染色濃度によって変化するスペクトル成分を特定する実験を行った。
具体的には、まず、ガンの表層上皮性腫瘍でホルマリン固定したものからパラフィン包埋切片を作製し、ヘマトキシリン・エオジン染色を施した病理標本を用意した。なお、ヘマトキシリン・エオジン染色では、核内のクロマチンが濃青紫色に染色される。このため、細胞核内のクロマチン濃度によって光の透過率が変化し、染色液の吸収スペクトルに依存したスペクトル変化がみられることとなる。
つぎに、実施例１と同様のハイパースペクトルカメラ１０を使用し、倍率を２００倍に固定して１つの標本から平均３枚のハイパースペクトルイメージを撮影した。なお、ガン細胞では、細胞核が肥大化し細胞質を確認することが困難になるため、１枚から１０個の細胞核について分析し、１つの細胞核ごとの平均スペクトルを使用した。
つづいて、ハイパースペクトルイメージにおける染色濃度を目視で３段階に分け、染色濃度が低いものから、染色レベル１、染色レベル２、染色レベル３とした。そして、独立成分の数を３つとして、ハイパースペクトルデータの独立成分分析を行った。その結果を図９に示す。なお、分析に際しては、４４５ｎｍ〜７４５ｎｍの波長間を５ｎｍのバンドで区切って計測された反射強度を使用した。
図９に示すように、３つの独立成分（Signal1，Signal2，Signal3）のうち、特にSignal1で示す独立成分は、５４０ｎｍ〜７００ｎｍの波長範囲において段階的に変化していることが確認された。一方、その他の独立成分（Signal2，Signal3）は、全ての染色レベルにおいてほぼ共通していることが確認された。よって、Signal1で示す独立成分は、染色濃度によって変化するスペクトル成分といえる。
以上の本実施例５によれば、ハイパースペクトルデータを独立成分分析することにより、解析対象部位の染色濃度によって変化するスペクトル成分を抽出できることが示された。
なお、本発明に係る生体組織解析装置１、生体組織解析プログラム１ａおよび生体組織解析方法は、前述した実施形態に限定されるものではなく、適宜変更することができる。
例えば、上述した本実施形態では、変質状態大別部５６による教師なし学習として、クラスター分析が採用されているが、これに限定されるものではない。例えば、教師なし学習として主成分分析を採用し、当該主成分分析によって次元を削減したハイパースペクトルデータを線形判別分析によって解析してもよい。
１ 生体組織解析装置
１ａ 生体組織解析プログラム
２ 表示手段
３ 入力手段
４ 記憶手段
５ 演算処理手段
１０ ハイパースペクトルカメラ
４１ プログラム記憶部
４２ 教師データ記憶部
５１ ハイパースペクトルデータ取得部
５２ 解析対象部位抽出部
５３ 光源影響除去部
５４ 染色影響除去部
５５ データ数削減部
５６ 変質状態大別部
５７ 変質状態識別部

Claims (9)

  1. 二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析装置であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析装置；
    （i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；
    （ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する解析対象部位抽出部；
    （iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別部；
    （iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別部。
  2. 前記ハイパースペクトルデータの取得時に用いた光源のスペクトル情報によって、前記解析対象部位に相当するピクセルの前記スペクトル情報を除算する光源影響除去部を有している、請求項１に記載の生体組織解析装置。
  3. 前記解析対象部位に相当するピクセルの前記スペクトル情報に基づいて、前記解析対象部位の染色濃度によって変化するスペクトル成分を除去する染色影響除去部を有している、請求項１または請求項２に記載の生体組織解析装置。
  4. 前記解析対象部位抽出部は、前記スペクトル情報の類似度に基づいて各ピクセルを解析対象部位とその他の部位とにラベリングし、前記解析対象部位としてラベリングされたピクセルをフィルタリングする、請求項１から請求項３のいずれかに記載の生体組織解析装置。
  5. 前記解析対象部位抽出部は、前記生体組織の二次元画像を画像認識処理によって腺管を特定するとともに、前記腺管上における前記細胞核を解析対象部位として画像認識処理によって特定する、請求項１から請求項３のいずれかに記載の生体組織解析装置。
  6. 前記変質状態は、潰瘍における、非ガン細胞、軽度異形成（ＬＧＤ：Low Grade Dysplasia）、高度異形成（ＨＧＤ：High Grade Dysplasia）およびガン細胞の４ステージ、またはポリープにおける、軽度異型腺腫（ＬＧＡ：Low Grade Adenoma）、高度異型腺腫（ＨＧＡ：High Grade Adenoma）およびガン細胞の３ステージによって特定される、請求項１から請求項５のいずれかに記載の生体組織解析装置。
  7. 前記ハイパースペクトルデータの波長帯域に可視光が含まれている、請求項１から請求項６のいずれかに記載の生体組織解析装置。
  8. 二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析プログラムであって、下記（i），（ii）としてコンピュータを機能させるとともに、下記（iii）および／または（iv）としてコンピュータを機能させる、前記生体組織解析プログラム；
    （i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得部；
    （ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する解析対象部位抽出部；
    （iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別部；
    （iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別部。
  9. 二次元画像を構成する各ピクセルごとにスペクトル情報を対応付けてなるハイパースペクトルデータを用いて生体組織を解析する生体組織解析方法であって、下記（i），（ii）を有するとともに、下記（iii）および／または（iv）を有する、前記生体組織解析方法；
    （i）ハイパースペクトルカメラから生体組織の前記ハイパースペクトルデータを取得するハイパースペクトルデータ取得ステップ；
    （ii）前記ハイパースペクトルデータに基づいて、前記生体組織の二次元画像から解析対象部位に相当するピクセルを抽出する解析対象部位抽出ステップ；
    （iii）前記解析対象部位に相当するピクセルのそれぞれを教師なし学習によって分類することにより、前記生体組織の変質状態を大別する変質状態大別ステップ；
    （iv）前記解析対象部位に相当するピクセルのそれぞれを教師あり学習によって分類することにより、前記生体組織の変質状態を識別する変質状態識別ステップ。
JP2018051114A 2018-03-19 2018-03-19 生体組織解析装置および生体組織解析プログラム Active JP6392476B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018051114A JP6392476B1 (ja) 2018-03-19 2018-03-19 生体組織解析装置および生体組織解析プログラム
EP19772299.4A EP3770584B1 (en) 2018-03-19 2019-03-18 Biological tissue analyzing device, biological tissue analyzing program, and biological tissue analyzing method
PCT/JP2019/011152 WO2019181845A1 (ja) 2018-03-19 2019-03-18 生体組織解析装置、生体組織解析プログラムおよび生体組織解析方法
US16/981,451 US11499958B2 (en) 2018-03-19 2019-03-18 Biological tissue analyzing device, biological tissue analyzing program, and biological tissue analyzing method
CN201980028047.XA CN112204378A (zh) 2018-03-19 2019-03-18 活体组织解析装置、活体组织解析程序以及活体组织解析方法
CA3096740A CA3096740A1 (en) 2018-03-19 2019-03-18 Biological tissue analyzing device, biological tissue analyzing program, and biological tissue analyzing method
SG11202008891RA SG11202008891RA (en) 2018-03-19 2019-03-18 Biological tissue analyzing device, biological tissue analyzing program, and biological tissue analyzing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018051114A JP6392476B1 (ja) 2018-03-19 2018-03-19 生体組織解析装置および生体組織解析プログラム

Publications (2)

Publication Number Publication Date
JP6392476B1 JP6392476B1 (ja) 2018-09-19
JP2019163981A true JP2019163981A (ja) 2019-09-26

Family

ID=63580045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018051114A Active JP6392476B1 (ja) 2018-03-19 2018-03-19 生体組織解析装置および生体組織解析プログラム

Country Status (7)

Country Link
US (1) US11499958B2 (ja)
EP (1) EP3770584B1 (ja)
JP (1) JP6392476B1 (ja)
CN (1) CN112204378A (ja)
CA (1) CA3096740A1 (ja)
SG (1) SG11202008891RA (ja)
WO (1) WO2019181845A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020152815A1 (ja) * 2019-01-24 2020-07-30 国立大学法人大阪大学 推定装置、学習モデル、学習モデルの生成方法、及びコンピュータプログラム
US11455999B1 (en) * 2019-04-10 2022-09-27 Educational Testing Service Detection of off-topic spoken responses using machine learning
TWI732544B (zh) * 2020-05-05 2021-07-01 國立中正大學 二維材料薄膜檢測方法及二維材料薄膜檢測系統
JP7427289B2 (ja) * 2020-06-17 2024-02-05 Ｍｉｌｋ．株式会社 生体細胞解析装置、生体細胞解析システム、生体細胞解析プログラムおよび生体細胞解析方法
CN114354464B (zh) * 2021-12-22 2024-04-09 南京大学 一种对不同金属纳米颗粒高光谱库之间的相似性进行定量分析的方法
CN115346009B (zh) * 2022-05-18 2023-04-28 上海航遥信息技术有限公司 基于高光谱数据和倾斜三维数据的地理实体语义建模方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013178232A (ja) * 2012-01-30 2013-09-09 Canon Inc 生体組織画像の再構成方法、取得方法及び装置
JP2015052581A (ja) * 2013-01-08 2015-03-19 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
JP2015148473A (ja) * 2014-02-05 2015-08-20 佐鳥　新 対象物探索装置、対象物探索プログラムおよび人命救助用探索システム
JP2015203586A (ja) * 2014-04-11 2015-11-16 住友電気工業株式会社 検査方法
JPWO2015199067A1 (ja) * 2014-06-24 2017-06-15 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
JP2017203637A (ja) * 2016-05-09 2017-11-16 住友電気工業株式会社 腫瘍細胞検出方法及び腫瘍細胞検出装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7562057B2 (en) * 1999-04-09 2009-07-14 Plain Sight Systems, Inc. System and method for hyper-spectral analysis
AU2002243602A1 (en) * 2001-01-19 2002-07-30 U.S. Army Medical Research And Materiel Command A method and apparatus for generating two-dimensional images of cervical tissue from three-dimensional hyperspectral cubes
JP2004061176A (ja) * 2002-07-25 2004-02-26 Hiroki Kusumoto ハイパースペクトル画像解析システム
JP4575474B2 (ja) * 2008-06-11 2010-11-04 国立大学法人東京工業大学 生体組織識別装置および方法
WO2010080611A2 (en) * 2008-12-19 2010-07-15 The Trustees Of Darthmouth College Apparatus and method for surgical instrument with integral automated tissue classifier
JP2010185858A (ja) * 2009-02-13 2010-08-26 Olympus Corp 画像処理装置および画像処理プログラム
US9025850B2 (en) * 2010-06-25 2015-05-05 Cireca Theranostics, Llc Method for analyzing biological specimens by spectral imaging
JP2013174823A (ja) * 2012-02-27 2013-09-05 Olympus Corp 画像処理装置、顕微鏡システム、及び画像処理方法
WO2013138513A1 (en) * 2012-03-13 2013-09-19 The Regents Of The University Of California Application of light scattering patterns to determine differentiation status of stem cells and stem cell colonies
TWI493171B (zh) * 2013-06-27 2015-07-21 Univ China Medical System and method for analyzing tissue cells by using hyperspectral image
US10032287B2 (en) * 2013-10-30 2018-07-24 Worcester Polytechnic Institute System and method for assessing wound
US10562800B2 (en) * 2014-03-31 2020-02-18 Daikin Industries, Ltd. Method for processing fluorine-containing aqueous solution
WO2015181371A1 (en) * 2014-05-30 2015-12-03 Ventana Medical Systems, Inc. An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
US11678802B2 (en) * 2016-03-16 2023-06-20 Ohio State Innovation Foundation System and method for the discrimination of tissues using a fast infrared cancer probe
EP3478165A4 (en) * 2016-06-29 2020-03-04 Niramai Health Analytix Pvt. Ltd. EXTRACTION OF BLOOD VESSELS IN TWO-DIMENSIONAL THERMOGRAPHY
WO2018075679A1 (en) * 2016-10-18 2018-04-26 The Johns Hopkins University Hyperspectral imaging for passive detection of colorectal cancers
JP6885564B2 (ja) * 2016-11-22 2021-06-16 ユニバーシダッド デ ラス パルマス デ グラン カナリア 腫瘍および／または健常組織の非侵襲的検出方法およびハイパースペクトルイメージング装置
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
CN110573066A (zh) * 2017-03-02 2019-12-13 光谱Md公司 用于多光谱截肢部位分析的机器学习系统和技术

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013178232A (ja) * 2012-01-30 2013-09-09 Canon Inc 生体組織画像の再構成方法、取得方法及び装置
JP2015052581A (ja) * 2013-01-08 2015-03-19 キヤノン株式会社 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置
JP2015148473A (ja) * 2014-02-05 2015-08-20 佐鳥　新 対象物探索装置、対象物探索プログラムおよび人命救助用探索システム
JP2015203586A (ja) * 2014-04-11 2015-11-16 住友電気工業株式会社 検査方法
JPWO2015199067A1 (ja) * 2014-06-24 2017-06-15 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
JP2017203637A (ja) * 2016-05-09 2017-11-16 住友電気工業株式会社 腫瘍細胞検出方法及び腫瘍細胞検出装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中矢大輝、遠藤慎、佐鳥新、吉田功、三枝信、伊藤那知、加納正城: "機械学習を用いたハイパースペクトルによる大腸癌のパターン分類", 日本色彩学会誌, vol. 第４１巻、第３号, JPN6018017407, 7 October 2017 (2017-10-07), pages 99 - 101, ISSN: 0003796030 *
中矢大輝、高橋武、佐鳥新、吉田功、三枝信、伊藤那知、加納正城: "ハイパースペクトルデータによる大腸癌の識別評価", 計測自動制御学会システムインテグレーション部門講演会, JPN6018017408, 15 December 2016 (2016-12-15), pages 2627 - 2630, ISSN: 0003796031 *
檜作彰良、永田毅、橋本大樹: "２段階の機械学習を用いた細胞の検出・状態分類", ＶＩＥＷビジョン技術の実利用ワークショップ講演論文集, JPN6018017410, 8 December 2016 (2016-12-08), ISSN: 0003796032 *

Also Published As

Publication number Publication date
EP3770584A4 (en) 2021-12-22
WO2019181845A1 (ja) 2019-09-26
EP3770584B1 (en) 2023-09-13
EP3770584A1 (en) 2021-01-27
US20210072219A1 (en) 2021-03-11
US11499958B2 (en) 2022-11-15
CA3096740A1 (en) 2019-09-26
CN112204378A (zh) 2021-01-08
SG11202008891RA (en) 2020-10-29
JP6392476B1 (ja) 2018-09-19

Similar Documents

Publication Publication Date Title
JP6392476B1 (ja) 生体組織解析装置および生体組織解析プログラム
JP6366556B2 (ja) 生物学的試片をスペクトル画像により分析する方法
US11721427B2 (en) Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies
EP3721406A1 (en) Method of computing tumor spatial and inter-marker heterogeneity
KR20200140301A (ko) 딥 러닝을 이용한 무-표지 형광 영상들의 디지털 염색을 위한 방법 및 시스템
Pilling et al. Infrared spectral histopathology using haematoxylin and eosin (H&E) stained glass slides: a major step forward towards clinical translation
JP2021506003A (ja) デジタル病理学分析結果の格納および読み出し方法
WO2013064605A2 (en) Generate percentage of positive cells for biomarkers by normalizing and autothresholding the image intensity produced by immunohistochemistry technique
GB2466442A (en) A system to analyze a sample on a slide using Raman spectroscopy on an identified area of interest
Li et al. Red blood cell count automation using microscopic hyperspectral imaging technology
Li et al. Leukocyte cells identification and quantitative morphometry based on molecular hyperspectral imaging technology
CA3196713C (en) Critical component detection using deep learning and attention
Guan et al. Pathological leucocyte segmentation algorithm based on hyperspectral imaging technique
KR20160012114A (ko) 스펙트럼 이미지화에 의해 생물학적 시료를 분석하기 위한 방법 및 시스템
CN117038060A (zh) 一种基于机器学习级联的拉曼光谱分子检测及成像装置
Sarnecki et al. A robust nonlinear tissue-component discrimination method for computational pathology
Selcuk et al. Automated HER2 Scoring in Breast Cancer Images Using Deep Learning and Pyramid Sampling
Wang Fast automatic quantitative cell replication with fluorescent live cell imaging
Joseph Hyperspectral optical imaging for detection, diagnosis and staging of cancer
Bapure Automated image analysis for nuclear morphometry using h&e and feulgen stains in prostate biopsies
Soares de Oliveira et al. Simulated fine-needle aspiration diagnosis of follicular thyroid nodules by hyperspectral Raman microscopy and chemometric analysis
KR102369717B1 (ko) 조직학 섹션에서 전립선암 종의 다중 특성 분류 방법
Mukherjee Pattern Recognition and Machine Learning as a Morphology Characterization Tool for Assessment of Placental Health
Hradel et al. Interpretable diagnosis of breast cancer from histological images using Siamese neural networks
US10460439B1 (en) Methods and systems for identifying cellular subtypes in an image of a biological specimen

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180319

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180319

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180822

R150 Certificate of patent or registration of utility model

Ref document number: 6392476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250