JP2019020385A - 生物サンプルイメージの合成方法及び該方法を採用した光学システム - Google Patents

生物サンプルイメージの合成方法及び該方法を採用した光学システム Download PDF

Info

Publication number
JP2019020385A
JP2019020385A JP2018093898A JP2018093898A JP2019020385A JP 2019020385 A JP2019020385 A JP 2019020385A JP 2018093898 A JP2018093898 A JP 2018093898A JP 2018093898 A JP2018093898 A JP 2018093898A JP 2019020385 A JP2019020385 A JP 2019020385A
Authority
JP
Japan
Prior art keywords
image
biological sample
grayscale
synthesizing
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018093898A
Other languages
English (en)
Other versions
JP7144189B2 (ja
Inventor
建中 蔡
Chien-Chung Tsai
建中 蔡
光裕 許
Kuang-Yu Hsu
光裕 許
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acu Solutions Inc
Original Assignee
Acu Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acu Solutions Inc filed Critical Acu Solutions Inc
Publication of JP2019020385A publication Critical patent/JP2019020385A/ja
Application granted granted Critical
Publication of JP7144189B2 publication Critical patent/JP7144189B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/43Conversion of monochrome picture signals to colour picture signals for colour picture display
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】生物サンプルイメージの合成方法及び光学システムを提供する。
【解決手段】試験サンプルのグレースケール干渉イメージまたはグレースケール反射イメージを情報処理装置の第1メモリブロックに入力し、試験サンプルのグレースケール蛍光イメージを情報処理装置の第2メモリブロックに入力するステップaと、情報処理装置を利用し、グレースケール干渉イメージまたはグレースケール反射イメージを、第1カラー変換演算を経て第1RGBイメージに変換し、情報処理装置を利用し、グレースケール蛍光イメージを、第2カラー変換演算を経て第2RGBイメージに変換するステップbと、情報処理装置を利用し、該第1RGBイメージおよび第2RGBイメージに対してイメージ融合演算および強度反転演算を行い、生物サンプルイメージを発生するステップcと、を含む。
【選択図】図1

Description

本発明は、光学システムの合成イメージ方法に関し、特に、生物サンプルイメージの合成方法及び該方法を採用した光学システムに関する。
腫瘍切除手術を行う時、しばしば病理科の医師が冷凍セクション(frozen section)を用いて検査を行い、腫瘍がきれいに切除されているかを確定する必要がある。しかしながら、冷凍セクションを行う過程において、試験サンプルが水分の多いサンプルである場合、冷凍後に組織構造の結晶氷(crystal ice)を破壊し、試験サンプルが脂肪(fat)の多いサンプルである場合、一般の組織が何れも冷凍硬化される温度(〜−20℃)において、その脂肪組織は、冷凍硬化されずにセクションから脱落し、セクション組織の不完全を招く。また、冷凍後の細胞は、安定して染色し難くなる。上記の理由により、冷凍セクションのイメージおよび新鮮な組織構造のイメージの間に異なるイメージ欠陥(artifact)を発生させ、従って、光学原理を利用して組織の即時のセクション検査を行う計器も応じて誕生しており、非破壊性の光学セクションを利用し、試験サンプルを冷凍固定する必要がない前提で、H&E類似イメージを迅速に獲得し、医療スタッフが判読を行い易くしている。
しかしながら、一般の実験室で使用される光学セクションイメージ合成方法は、試験サンプルの複数のグレースケールイメージに対して線形組み合わせ演算を行って黒ベース(即ち、黒色背景)RGBイメージを生成し、該黒ベースRGBイメージが人の眼にマッピングされる時、人の眼にあたかも暗室中のカラーイメージをセンシングさせ、そのうち、前記複数のグレースケールイメージは、該試験サンプルに作用する複数の異なる結像方法によって生成され、該カラーイメージの各画素の色は、何れも三原色(赤、緑、青)で混合されてなり、且つ前記各画素の三原色の強度は、前記複数のグレースケールイメージの各画素の強度に対応する3つの線形組み合わせにより決定される。また、従来の結像技術、例えば、衛星イメージ、x線イメージまたは電子顕微鏡イメージは、単一のイメージ強度分布を提供することしかできないので、そのイメージは、グレースケールフォーマットで呈されることしかできない。イメージがカラー方式で呈されることができれば、可視性および識別性を向上できるだけでなく、更に多くの情報を提供することもできる。
また、イメージのコントラストについて、赤と緑は、コントラストが最高の色調であるが、黒ベースの関係により、イメージを長く見るか、多く見る時、目が不快感を生じ易く、疲労し易いので、病理科の医師が病理セクションを大量に閲読する必要があるという要求を満たすことができない。従って、現在の病理イメージの作成は、一般に実体セクション(パラフィンセクションまたは冷凍セクション)に対して好塩基性染料ヘマトキシリン(Hematoxylin)および好酸球エオシン(Eosin)により染色を行い、更に、造影工程を経て柔らかい白ベース(即ち、白色背景)イメージを生成し、そのうち、ヘマトキシリン染色剤およびエオシン染色剤は、それぞれ細胞核(nucleus)及び細胞質(cytoplasm)は、青紫色およびピンク色に着色し、且つ細胞質中の異なる成分によりエオシンと異なる結合の程度によって異なる色調のピンク色を生成するので、H&Eセクション造影は、詳細な病理情報を提供することができる。従って、現有の光学セクション技術が常用する黒ベースRGBイメージをH&E類似の白ベースRGBイメージに変更することは、毎日大量のイメージを閲読する病理科医師にとって非常に補助となることができる。しかしながら、従来の実体セクションは、イメージ欠陥を作り出すだけではなく、造影に要する時間が長く、外科主述の要求に符合しない。
従来技術として、例えば、米国US8269827B2「System and methods for mapping fluorescent images into a bright field color space?」特許は、蛍光画像を使用してH&E類似イメージを生成する方法を開示しており、それは、以下のステップを含む。試験サンプル上の固定領域の二種又は更に多くの蛍光画像を取得する。前記蛍光イメージの画像データをマッピングパラメータによりブライトフィールド色空間(bright field color space?)に変換する。ブライトフィールドタイプの画像を生成する。
しかしながら、該特許構造では、多くの蛍光イメージでH&E類似イメージを生成し、それは、依然として以下の欠点が存在する。(1)試験サンプル内の構造が全て蛍光に染めることができず、該H&E類似イメージの色のコントラストに改善の余地がある。(2)蛍光イメージの生成に使用を要する他種の蛍光剤は、依然として試験サンプル自身に対して傷害を発生する。(3)多種の蛍光剤を用い、日光に曝すのに時間を浪費する。従って、本分野では、新規な生物サンプルイメージの合成方法が必要となっている。
特開2004-105708号公報
本発明の目的は、試験サンプルの干渉イメージまたは反射イメージおよび該試験サンプルの蛍光イメージによりカラー変換ステップ、イメージ融合ステップおよび強度反転ステップを経て白ベースRGBイメージを発生し、該試験サンプルに対して実体セクションを行う必要がない状況で色のコントラストが良好な生物サンプルイメージを提供する、生物サンプルイメージの合成方法を提供することにある。
本発明のもう1つの目的は、従来の多くの蛍光イメージを加える方法に比較し、蛍光剤の使用を減少し、蛍光剤の試験サンプルに対する傷害を低減する生物サンプルイメージの合成方法を提供することにある。
本発明のもう1つの目的は、従来の多くの蛍光イメージを加える方法に比較して蛍光剤の使用を減少し、染色時間を短縮し、生物サンプルイメージの完成を加速する生物サンプルイメージの合成方法を提供することにある。
本発明の更にもう1つの目的は、一般のH&Eイメージに比較し、発生する生物サンプルイメージが試験サンプル中の細胞質と細胞核のそれぞれのイメージ情報を更に詳細に提供でき、正常組織と異常組織の識別率を向上する生物サンプルイメージの合成方法を提供することにある。
前記目的を達成するため、本発明が提供する生物サンプルイメージの合成方法は、試験サンプルのグレースケール干渉イメージまたはグレースケール反射イメージを情報処理装置の第1メモリブロックに入力し、該グレースケール干渉イメージまたは該グレースケール反射イメージは、第1イメージ解析度を有し、該試験サンプルのグレースケール蛍光イメージを該情報処理装置の第2メモリブロックに入力し、該グレースケール蛍光イメージは、第2イメージ解析度を有し、且つ該第1イメージ解析度および該第2イメージ解析度は、同一又は異なるものであるステップと、
該情報処理装置を利用し、該グレースケール干渉イメージまたは該グレースケール反射イメージを、第1カラー変換演算を経て第1RGBイメージに変換し、該情報処理装置を利用し、該グレースケール蛍光イメージを、第2カラー変換演算を経て第2RGBイメージに変換するステップと、
該情報処理装置を利用し、該第1RGBイメージおよび該第2RGBイメージに対してイメージ融合演算および強度反転演算を行い、生物サンプルイメージを発生するステップと、
該生物サンプルイメージを表示ユニットに出力するステップと、
を含む。
実施例において、前記グレースケール干渉イメージまたは該グレースケール反射イメージは、細胞質のイメージを呈する。
実施例において、前記グレースケール蛍光イメージは、細胞核のイメージを呈する。
実施例において、前記グレースケール干渉イメージは、光学干渉顕微鏡法の反射後に再干渉して生成されるイメージである。
実施例において、前記グレースケール反射イメージは、反射型コンジュゲーション顕微鏡法の直接反射で生成されるイメージである。
実施例において、前記第1カラー変換演算は、該第1RGBイメージの赤色強度値および青色強度値を何れも0に設定し、その緑色強度値を該グレースケール干渉イメージまたは該グレースケール反射イメージのグレースケール値に加重値で乗算したものに等しくさせ、且つ該加重値は、0.5〜1の間である。
実施例において、前記第2カラー変換演算は、該第2RGBイメージの緑色強度値を28m−1に設定し、mは正の整数であり、青色強度値を0に設定し、その赤色強度値を該グレースケール蛍光イメージのグレースケール値に加重値を乗算したものに等しくさせ、且つ該加重値は、0.5〜1の間である。
実施例において、前記第1RGBイメージは、黒ベース暗緑色イメージであり、該第2RGBイメージは、黒ベース黄緑色イメージであり、該生物サンプルイメージは、白ベースのピンク色に青紫色を含むイメージである。
実施例において、前記第1RGBイメージ及び該第2RGBイメージの赤色強度値、緑色強度値及び青色強度値は、何れもバイナリのnビットで表し、そのうち、該nの値は、8の正の整数倍である。
前記目的を達成するため、本発明が提供する光学システムは、前記の生物サンプルイメージの合成方法を採用する。
前記に開示する設計により、本発明は、以下の利点を有する。
1.本発明は、試験サンプルの干渉イメージまたは反射イメージおよび該試験サンプルの蛍光イメージによりカラー変換ステップ、イメージ融合ステップおよび強度反転ステップを経て白ベースRGBイメージを発生し、該試験サンプルに対して実体セクションを行う必要がない状況で色のコントラストが良好な生物サンプルイメージを提供する、生物サンプルイメージの合成方法を提供する。
2.本発明は、従来の多くの蛍光イメージを加える方法に比較し、蛍光剤の使用を減少し、蛍光剤の試験サンプルに対する傷害を低減する生物サンプルイメージの合成方法を提供する。
3.本発明は、従来の多くの蛍光イメージを加える方法に比較して蛍光剤の使用を減少し、染色時間を短縮し、生物サンプルイメージの完成を加速する生物サンプルイメージの合成方法を提供する。
4.本発明は、一般のH&Eイメージに比較し、発生する生物サンプルイメージが試験サンプル中の細胞質と細胞核のそれぞれのイメージ情報を更に詳細に提供でき、正常組織と異常組織の識別率を向上する生物サンプルイメージの合成方法を提供する。
説明図であり、本発明の好適実施例の生物サンプルイメージの合成方法のフロー図である。 説明図であり、本発明の好適実施例の試験サンプルのグレースケール干渉イメージの説明図である。 説明図であり、本発明の好適実施例の試験サンプルのグレースケール蛍光イメージの説明図である。 説明図であり、本発明の好適実施例の図2aの第1カラー変換演算を経てRGB干渉イメージに変換する説明図である。 説明図であり、本発明の好適実施例の図2bの第2カラー変換演算を経てRGB蛍光イメージに変換する説明図である。 説明図であり、本発明の好適実施例の図2cおよび図2dのイメージ融合演算を行う説明図である。 説明図であり、本発明の好適実施例の図2eの強度反転演算を行ってH&E類似イメージを発生する説明図である。 説明図であり、本発明の好適実施例の前記生物サンプルイメージの合成方法を採用した光学システム構造説明図である。
本発明の構造、特徴及びその目的を更に理解できるようにするため、図面および好適具体実施例により詳細を説明する。
図1を参照し、それは、本発明の好適実施例の生物サンプルイメージの合成方法のフロー図である。
図1に示すように、本発明の生物サンプルイメージの合成方法は、試験サンプルのグレースケール干渉イメージまたはグレースケール反射イメージを情報処理装置の第1メモリブロックに入力し、該試験サンプルのグレースケール蛍光イメージを該情報処理装置の第2メモリブロックに入力するステップaと、該情報処理装置を利用し、グレースケール干渉イメージまたは該グレースケール反射イメージを、第1カラー変換演算を経て第1RGBイメージに変換し、該情報処理装置を利用し、該グレースケール蛍光イメージを、第2カラー変換演算を経て第2RGBイメージに変換するステップbと、該情報処理装置を利用し、該第1RGBイメージおよび該第2RGBイメージに対してイメージ融合演算および強度反転演算を行い、生物サンプル似イメージを発生するステップcと、該生物サンプルイメージを表示ユニットに出力するステップdと、を含む。ステップaにおいて、該グレースケール干渉イメージまたはグレースケール反射イメージは、第1イメージ解析度を有し、該グレースケール蛍光イメージは、第2イメージ解析度を有し、且つ該第1イメージ解析度および該第2イメージ解析度は、同一又は異なるものである。
以下に本発明の原理に対して説明を行う。
本発明の生物サンプルイメージの合成方法において、そのイメージソースは、グレースケール干渉イメージまたはグレースケール反射イメージ、およびグレースケール蛍光イメージにより構成される。そのうち、該グレースケール干渉イメージまたは該グレースケール反射イメージは、試験サンプル細胞組織中の細胞核以外の細胞質(cytoplasm)で形成される組織構造形態(morphology)のイメージを呈する。該グレースケール蛍光イメージは、該試験サンプルにおいて、細胞核内のDNAの集中する箇所、細胞核(nucleus)構造のイメージを呈する。
本発明の生物サンプルイメージの合成方法において、該グレースケール干渉イメージは、光学干渉顕微鏡法(図示せず)の反射後に再干渉して発生されるイメージである。該光学干渉顕微鏡法(Optical Interference Microscopy,略称OIM)の空間解析度は、超音波より高い、主な各組織の光に対する反射能力の違いを利用し、光学干渉原理によって試験サンプルに対して結像及び識別を行う。それは、従来技術であるので、ここでは、詳細を記載しない。
本発明の生物サンプルイメージの合成方法において、該グレースケール反射イメージは、反射共焦点顕微鏡(図示せず)の直接反射で生成されるイメージである。該反射共軛焦顯微鏡(Reflectance Confocal Microscopy、略称RCM)の結像原理は、レーザ光源により従来の蛍光系顕微鏡の水銀ランプであり、スキャナー(Scan mirrors)のガイドによって点接点(Point by point)方式で試験サンプルから連続反射信号を取得し、二次元アレイイメージに連結する。それは、従来技術であるので、ここでは、詳細を記載しない。
また、本発明の生物サンプルイメージの合成方法において、該グレースケール蛍光イメージの蛍光は、エネルギー変換時に発生される冷光現象であり、その特性は、短波長の光を吸収した後、長波長の光を発散する。蛍光反応を利用した実験技術は、現代のバイオテクノロジーに相当な便利をもたらし、蛍光剤は、細胞形態のバイオマーカー(biomarker)としてしばしば用いられ、その原理は、短波光束を蛍光染料の試験サンプルに照射し、それに蛍光を放出させて感光素子に結像させる(図示せず)ものである。それは、従来技術であるので、ここでは、詳細を記載しない。
また、光学セクション中の細胞質および細胞核イメージおよびH&E染色セクションのエオシン染料及びヘマトキシリン染料は、対応関係である。蛍光イメージが細胞核を呈する時、用いられる染料は、何れも膜透過性を有するので、短時間内に表層以下100〜200μmの深さに浸透し、迅速な検査の目的を達成する。それは、従来技術であるので、ここでは、詳細を記載しない。
図2a〜図2fを併せて参照し、そのうち、図2aは、本発明の好適実施例の試験サンプルのグレースケール干渉イメージの説明図であり、図2bは、本発明の好適実施例の試験サンプルのグレースケール蛍光イメージの説明図であり、図2cは、本発明の好適実施例の図2aの第1カラー変換演算を経てRGB干渉イメージに変換する説明図であり、図2dは、本発明の好適実施例の図2bの第2カラー変換演算を経てRGB蛍光イメージに変換する説明図であり、図2eは、本発明の好適実施例の図2cおよび図2dのイメージ融合演算を行う説明図であり、図2fは、本発明の好適実施例の図2eの強度反転演算を行ってH&E類似イメージを発生する説明図である。
図2aに示される該グレースケール干渉イメージは、情報処理装置(図示せず)の第1メモリブロック(図示せず)中に入力され、そのうち、該グレースケール干渉イメージは、黒ベースのイメージであり、且つグレースケール干渉イメージは、第1イメージ解析度を有する。
図2bに示される該グレースケール蛍光イメージは、該情報処理装置(図示せず)の第2メモリブロック(図示せず)中に入力され、そのうち、該グレースケール蛍光イメージは、黒ベースのイメージであり、該グレースケール蛍光イメージは、第2イメージ解析度を有し、且つ該第1イメージ解析度および該第2イメージ解析度は、同一または異なるものであることができる。
図2cに示される該第1RGBイメージは、該情報処理装置(図示せず)が該第1カラー変換演算を行った後に得られるイメージであり、そのうち、該第1RGBイメージは、黒ベース暗緑色イメージであり、該第1カラー変換演算は、該第1RGBイメージの赤色強度値及び青色強度値をいずれも0に設定し、その緑色強度値を該グレースケール干渉イメージまたは該グレースケール反射イメージのグレースケール値に加重値を乗算し、且つ該加重値は、0.5〜1の間である。
図2dに示される該第2RGBイメージは、該情報処理装置(図示せず)が該第2カラー変換演算を行った後に得られるイメージであり、そのうち、該第2RGBイメージは、黒ベース黄緑色イメージであり、該第2カラー変換演算は、該第2RGBイメージの緑色強度値を28m−1に設定し、mが正の整数であり、青色強度値を0に設定し、その赤色強度値を該グレースケール蛍光イメージのグレースケール値に加重値を乗算し、且つ該加重値は、0.5〜1の間である。
図2eに示されるイメージは、該情報処理装置(図示せず)を利用して該第1RGBイメージ(図2c)及び該第2RGBイメージ(図2d)に対してイメージ融合演算を行った結果であり、黒ベースのイメージである。
図2fに示されるH&E類似イメージは、該情報処理装置(図示せず)を利用して図2eに対して強度反転演算を行って生成されたイメージであり、それは、白ベースのピンク色に青紫色を含むイメージである。
また、該第1RGBイメージ及び該第2RGBイメージの赤色強度値、緑色強度値及び青色強度値は、何れもバイナリnビットで表され、そのうち、該nの値は、8の正の整数倍である。
また、図2aに示される該グレースケール干渉イメージは、グレースケール反射イメージに変更することもでき、且つ該グレースケール反射イメージは、該グレースケール干渉イメージと同じ処理工程を有することができる。
また、本発明は、光学システムを開示しており、それは、前記生物サンプルイメージの合成方法を採用したものである。
図3を参照し、それは、本発明の好適実施例が採用する前記生物サンプルイメージの合成方法の光学システムの構造の説明図である。
図に示すように、該光学システムは、第1感光素子100、第2感光素子200、情報処理装置300および表示ユニット400を含む。
該第1感光素子100は、試験サンプルのグレースケール干渉イメージまたはグレースケール反射イメージを入力することに用いられ、該グレースケール干渉イメージまたは該グレースケール反射イメージは、細胞質のイメージを呈する。そのうち、該グレースケール干渉イメージは、これに制限するものではないが、例えば、光学干渉顕微鏡法(図示せず)の反射後に再干渉して生成されるイメージであり、該グレースケール反射イメージは、これに制限するものではないが、例えば、反射型コンジュゲーション顕微鏡法(図示せず)の直接反射で生成されるイメージである。
該第2感光素子200は、試験サンプルのグレースケール蛍光イメージに入力することに用いられ、該グレースケール蛍光イメージは、細胞核のイメージを呈する。
該情報処理装置300の一端は、該第1感光素子100、該第2感光素子200と接合し、且つ第1メモリブロック310及び第2メモリブロック320を有し、そのうち、該第1メモリブロック310は、第1感光素子100から入力された該グレースケール干渉イメージまたは該グレースケール反射イメージを保存することに用いられ、該第2メモリブロック320は、第2感光素子200から入力される該グレースケール蛍光イメージを保存することに用いられる。
該情報処理装置は、第1カラー変換演算ユニット330、第2カラー変換演算ユニット340、及びイメージ融合演算および強度反転演算ユニット350を更に有する。
該第1カラー変換演算ユニット330は、該第1メモリブロック310と接合し、該第1メモリブロック310に保存した該グレースケール干渉イメージまたは該グレースケール反射イメージを、第1カラー変換演算を第1RGBイメージに変換することに用いられ、そのうち、該第1カラー変換演算は、該第1RGBイメージの赤色強度値及び青色強度値をいずれも0に設定し、その緑色強度値を該グレースケール反射イメージまたは該グレースケール干渉イメージのグレースケール値に加重値を乗算したものに等しくし、且該加重値は、0.5〜1の間であり、且つ該第1RGBイメージは、黒ベース暗緑色イメージである。
該第2カラー変換演算ユニット340は、該第2メモリブロック320と接合し、該第2メモリブロック320に保存した該グレースケール蛍光イメージを、第2カラー変換演算を経て第2RGBイメージに変換することに用いられ、そのうち、該第2カラー変換演算は、該第2RGBイメージ之緑色強度値を28m−1に設定し、mは正の整数であり、青色強度値を0とし、その赤色強度値を該グレースケール蛍光イメージのグレースケール値に加重値を乗算したものに等しくさせ、且つ且該加重値は、0.5〜1の間であり、且つ該第2RGBイメージは、黒ベース黄緑色イメージである。
また、該第1RGBイメージ及び該第2RGBイメージの赤色強度値、緑色強度値及び青色強度値は、いずれもバイナリnビットで表され、そのうち、該nの値は、8の正の整数倍である。
該イメージ融合演算および強度反転演算ユニット350は、それぞれ該第1カラー変換演算ユニット330及び該第2カラー変換演算ユニット340と接合し、該第1RGBイメージ及び該第2RGBイメージを、イメージ融合演算及び強度反転演算して生物サンプルイメージを生成することに用いられ、該生物サンプルイメージは、白ベースのピンク色に青紫色を含むイメージである。
該表示ユニット400は、該情報処理装置300の他端と接合し、該情報処理装置300が出力する該生物サンプルイメージを表示することに用いられる。
前記に開示する設計により、本発明は、以下の利点を有する。
1.本発明は、試験サンプルの干渉イメージまたは反射イメージおよび該試験サンプルの蛍光イメージによりカラー変換ステップ、イメージ融合ステップおよび強度反転ステップを経て白ベースRGBイメージを発生し、該試験サンプルに対して実体セクションを行う必要がない状況で色のコントラストが良好な生物サンプルイメージを提供する、生物サンプルイメージの合成方法を提供する。
2.本発明は、従来の多くの蛍光イメージを加える方法に比較し、蛍光剤の使用を減少し、蛍光剤の試験サンプルに対する傷害を低減する生物サンプルイメージの合成方法を提供する。
3.本発明は、従来の多くの蛍光イメージを加える方法に比較して蛍光剤の使用を減少し、染色時間を短縮し、生物サンプルイメージの完成を加速する生物サンプルイメージの合成方法を提供する。
4.本発明は、一般のH&Eイメージに比較し、発生する生物サンプルイメージが試験サンプル中の細胞質と細胞核のそれぞれのイメージ情報を更に詳細に提供でき、正常組織と異常組織の識別率を向上する生物サンプルイメージの合成方法を提供する。
以上の説明は、本発明の好適な実施形態を示したものであり、本発明を限定するものではない。従って、本発明の主旨を逸脱しない範囲における修飾または変更は、全て、本発明の保護範囲に含まれる。
100 第1感光素子
200 第2感光素子
300 情報処理装置
310 第1メモリブロック
320 第2メモリブロック
330 第1カラー変換演算ユニット
340 第2カラー変換演算ユニット
350 イメージ融合演算および強度反転演算ユニット
400 表示ユニット

Claims (10)

  1. 試験サンプルのグレースケール干渉イメージまたはグレースケール反射イメージを情報処理装置の第1メモリブロックに入力し、該グレースケール干渉イメージまたは該グレースケール反射イメージは、第1イメージ解析度を有し、該試験サンプルのグレースケール蛍光イメージを該情報処理装置の第2メモリブロックに入力し、該グレースケール蛍光イメージは、第2イメージ解析度を有し、且つ該第1イメージ解析度および該第2イメージ解析度は、同一又は異なるものであるステップと、
    該情報処理装置を利用し、該グレースケール干渉イメージまたは該グレースケール反射イメージを、第1カラー変換演算を経て第1RGBイメージに変換し、該情報処理装置を利用し、該グレースケール蛍光イメージを、第2カラー変換演算を経て第2RGBイメージに変換するステップと、
    該情報処理装置を利用し、該第1RGBイメージおよび該第2RGBイメージに対してイメージ融合演算および強度反転演算を行い、生物サンプルイメージを発生するステップと、
    該生物サンプルイメージを表示ユニットに出力するステップと、
    を含む生物サンプルイメージの合成方法。
  2. 前記グレースケール干渉イメージまたは該グレースケール反射イメージは、細胞質のイメージを呈する請求項1に記載の生物サンプルイメージの合成方法。
  3. 前記グレースケール蛍光イメージは、細胞核のイメージを呈する請求項1に記載の生物サンプルイメージの合成方法。
  4. 前記グレースケール干渉イメージは、光学干渉顕微鏡法の反射後に再干渉して生成されるイメージである請求項1に記載の生物サンプルイメージの合成方法。
  5. 前記グレースケール反射イメージは、反射型コンジュゲーション顕微鏡法の直接反射で生成されるイメージである請求項1に記載の生物サンプルイメージの合成方法。
  6. 前記第1カラー変換演算は、該第1RGBイメージの赤色強度値および青色強度値を何れも0に設定し、その緑色強度値を該グレースケール干渉イメージまたは該グレースケール反射イメージのグレースケール値に加重値で乗算したものに等しくさせ、且つ該加重値は、0.5〜1の間である請求項1に記載の生物サンプルイメージの合成方法。
  7. 前記第2カラー変換演算は、該第2RGBイメージの緑色強度値を28m−1に設定し、mは正の整数であり、青色強度値を0に設定し、その赤色強度値を該グレースケール蛍光イメージのグレースケール値に加重値を乗算したものに等しくさせ、且つ該加重値は、0.5〜1の間である請求項1に記載の生物サンプルイメージの合成方法。
  8. 前記第1RGBイメージは、黒ベース暗緑色イメージであり、該第2RGBイメージは、黒ベース黄緑色イメージであり、該生物サンプルイメージは、白ベースのピンク色に青紫色を含むイメージである請求項1に記載の生物サンプルイメージの合成方法。
  9. 前記第1RGBイメージ及び該第2RGBイメージの赤色強度値、緑色強度値及び青色強度値は、何れもバイナリのnビットで表し、そのうち、該nの値は、8の正の整数倍である請求項1に記載の生物サンプルイメージの合成方法。
  10. 請求項1に記載の生物サンプルイメージの合成方法を採用した光学システム。
JP2018093898A 2017-07-19 2018-05-15 生物サンプルイメージの合成方法及び該方法を採用した光学システム Active JP7144189B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106124193A TWI659395B (zh) 2017-07-19 2017-07-19 類h&e影像之合成方法及採用該方法之光學系統
TW106124193 2017-07-19

Publications (2)

Publication Number Publication Date
JP2019020385A true JP2019020385A (ja) 2019-02-07
JP7144189B2 JP7144189B2 (ja) 2022-09-29

Family

ID=61167914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018093898A Active JP7144189B2 (ja) 2017-07-19 2018-05-15 生物サンプルイメージの合成方法及び該方法を採用した光学システム

Country Status (4)

Country Link
US (1) US10511820B2 (ja)
EP (1) EP3432272B1 (ja)
JP (1) JP7144189B2 (ja)
TW (1) TWI659395B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
TWI683283B (zh) * 2018-04-03 2020-01-21 薩摩亞商銳準醫光股份有限公司 一種生物樣本之影像合成方法及採用該方法之光學系統
US20200388033A1 (en) * 2019-06-10 2020-12-10 Omics Data Automation, Inc. System and method for automatic labeling of pathology images
CN112122175B (zh) * 2020-08-12 2021-08-10 浙江大学 一种色选机的物料增强特征识别剔选方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010011953A1 (en) * 2008-07-25 2010-01-28 Sloan Kettering Institute For Cancer Research Rapid confocal microscopy to support surgical procedures
JP2013507612A (ja) * 2009-10-12 2013-03-04 ベンタナ メディカル システムズ, インコーポレイテッド 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
US20160139391A1 (en) * 2014-11-13 2016-05-19 Carl Zeiss Meditec Ag Optical system for fluorescence observation
WO2016103501A1 (ja) * 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
JP2017122610A (ja) * 2016-01-06 2017-07-13 コニカミノルタ株式会社 画像処理装置及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175369B2 (en) * 2008-12-12 2012-05-08 Molecular Devices, Llc Multi-nucleated cell classification and micronuclei scoring
US8269827B2 (en) * 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
JP6014590B2 (ja) * 2011-06-27 2016-10-25 シスメックス株式会社 細胞分析装置および細胞分析方法
US8639013B2 (en) * 2011-08-17 2014-01-28 General Electric Company System and methods for generating a brightfield image using fluorescent images
JP5816486B2 (ja) * 2011-08-18 2015-11-18 オリンパス株式会社 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法
US20160003716A1 (en) * 2014-07-03 2016-01-07 Richard Torres Novel Methods of Tissue Processing and Imaging
JP2016161417A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、画像処理方法、イメージングシステム
CN108141505B (zh) * 2015-10-30 2020-11-06 爱克发医疗保健公司 用于高位深医学灰度图像的压缩和解压缩方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010011953A1 (en) * 2008-07-25 2010-01-28 Sloan Kettering Institute For Cancer Research Rapid confocal microscopy to support surgical procedures
JP2013507612A (ja) * 2009-10-12 2013-03-04 ベンタナ メディカル システムズ, インコーポレイテッド 高められた病理学的決定のための複数モダリティコントラストおよび明視野コンテキスト表現、および組織内の複数検体検出
US20160139391A1 (en) * 2014-11-13 2016-05-19 Carl Zeiss Meditec Ag Optical system for fluorescence observation
WO2016103501A1 (ja) * 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
JP2017122610A (ja) * 2016-01-06 2017-07-13 コニカミノルタ株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
EP3432272B1 (en) 2021-04-07
TWI659395B (zh) 2019-05-11
JP7144189B2 (ja) 2022-09-29
EP3432272A1 (en) 2019-01-23
US10511820B2 (en) 2019-12-17
US20190028687A1 (en) 2019-01-24
TW201909110A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
JP2019020385A (ja) 生物サンプルイメージの合成方法及び該方法を採用した光学システム
Fereidouni et al. Microscopy with ultraviolet surface excitation for rapid slide-free histology
US11869176B2 (en) Hyperspectral imaging system
Meng et al. Snapshot multispectral endomicroscopy
ES2935506T3 (es) Microscopia de una muestra de tejido mediante iluminación estructurada
KR101388291B1 (ko) 조직에서 강화된 병리학적 결정 및 다중 분석물 검출을 위한 다중 기법 콘트라스트 및 명시야 컨텍스트 렌더링
TWI683283B (zh) 一種生物樣本之影像合成方法及採用該方法之光學系統
Torres et al. High-resolution, 2-and 3-dimensional imaging of uncut, unembedded tissue biopsy samples
WO2021198247A1 (en) Optimal co-design of hardware and software for virtual staining of unlabeled tissue
Sun et al. Real-time three-dimensional histology-like imaging by label-free nonlinear optical microscopy
Mehravar et al. Label-free multi-photon imaging of dysplasia in Barrett’s esophagus
Rong et al. Real-time super-resolution imaging by high-speed fluorescence emission difference microscopy
WO2021198252A1 (en) Virtual staining logic
CN109754382B (zh) 类h&e影像的合成方法及采用该方法的光学系统
Pham et al. Feasibility of multimodal multiphoton microscopy to facilitate surgical margin assessment in pancreatic cancer
US10665000B2 (en) Pseudo H and E image producing method and optical system using same
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
CN112041655A (zh) 用于生物学表面的紫外激发显微术的方法
Swift et al. Fluorescence microscopy: A field guide for biologists
Tortarolo et al. Synergic combination of stimulated emission depletion microscopy with image scanning microscopy to reduce light dosage
Borah et al. Rapid digital pathology of H&E-stained fresh human brain specimens as an alternative to frozen biopsy
Wen et al. HiFi-SIM: reconstructing high-fidelity structured illumination microscope images
Sugata et al. Imaging of melanin distribution using multiphoton autofluorescence decay curves
Maity et al. Real time imaging of the excitation volume of a multiphoton microscope
Zhang et al. Speckle illumination microscopy enables slide-free and non-destructive pathology of human lung adenocarcinoma

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220915

R150 Certificate of patent or registration of utility model

Ref document number: 7144189

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150