JP2019045540A - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents
画像処理装置、画像処理方法、画像処理プログラム Download PDFInfo
- Publication number
- JP2019045540A JP2019045540A JP2017165001A JP2017165001A JP2019045540A JP 2019045540 A JP2019045540 A JP 2019045540A JP 2017165001 A JP2017165001 A JP 2017165001A JP 2017165001 A JP2017165001 A JP 2017165001A JP 2019045540 A JP2019045540 A JP 2019045540A
- Authority
- JP
- Japan
- Prior art keywords
- image
- autofluorescence
- stained
- amount
- dye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 3
- 239000012620 biological material Substances 0.000 claims abstract description 27
- 230000005284 excitation Effects 0.000 claims abstract description 19
- 239000012192 staining solution Substances 0.000 claims description 46
- 239000000049 pigment Substances 0.000 claims description 36
- 238000010186 staining Methods 0.000 claims description 31
- 238000010521 absorption reaction Methods 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 8
- 238000004043 dyeing Methods 0.000 abstract description 2
- 238000002073 fluorescence micrograph Methods 0.000 abstract description 2
- 230000010365 information processing Effects 0.000 description 16
- 238000002835 absorbance Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 210000001519 tissue Anatomy 0.000 description 12
- 210000004027 cell Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 4
- 210000005228 liver tissue Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- WZUVPPKBWHMQCE-XJKSGUPXSA-N (+)-haematoxylin Chemical compound C12=CC(O)=C(O)C=C2C[C@]2(O)[C@H]1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-XJKSGUPXSA-N 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000222 eosinocyte Anatomy 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
生体物質試料の所定の励起光源による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を複数のバンドで撮影した染色画像を取得する画像取得部と、
複数のバンドの前記染色画像から、各位置の色情報を取得する色情報取得部と、
前記染色画像の前記色情報と前記染色液の分光吸収係数とに基づいて前記生体物質試料に取り込まれた前記染色液の色素量の分布を示す色素量画像を生成し、前記自家蛍光画像と前記色素量画像との関係を分析して、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する色素量推定器を生成する色素量検出部と、を備え、
前記画像取得部は、前記自家蛍光画像と異なる他の自家蛍光画像を取得し、
前記色素量検出部は、前記他の自家蛍光画像と前記色素量推定器とを用いて、前記他の自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する、
画像処理装置である。
構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。
(構成例)
図1は、本実施形態のシステムの構成例を示す図である。本実施形態のシステムは、画像処理装置100、蛍光顕微鏡200、マルチスペクトルカメラ300を含む。
された試料をバンドごとに撮影する。
ドライブ(HDD、Hard Disk Drive)である。また、記憶部93は、リムーバブルメデ
ィア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、USB(Universal Serial Bus)メモリ、あるいは、CD(Compact Disc)やDVD(Digital Versatile Disc)のようなディスク記録媒体である。記憶部93は、二次記憶装置とも呼ばれる。
格納される情報は、記憶部93に格納されてもよい。
ネル、CRT(Cathode Ray Tube)ディスプレイ、PDP(Plasma Display Panel)等の表示装置、プリンタ等の出力装置を含む。また、出力部95は、スピーカのような音声の出力装置を含むことができる。
〈色素量推定器生成〉
図4は、画像処理装置における色素量推定器の生成の際の動作フローの例を示す図である。
の染色液で試料を染色して撮影されたものである。試料に所定の染色液を添加することで、所定の部分が発色する。発色する部分、色は、染色液に依存する。マルチスペクトルカメラ300では、複数のバンド(周波数帯)で染色画像が撮影される。染色液は、例えば、ヘマトキシリン(Haematoxylin)、エオジン(Eosin)である。染色液として、複数の
染色液が使用されてもよい。マルチスペクトルカメラ300を使用することで、試料を透過した透過光のより詳細な情報を得ることができる。
続値を予測するような手法であれば適用可能である。例えば、ニューラルネットワークであれば、複数の条件(励起光)で励起された試料の自家蛍光画像を入力データとし、試料を染色して得られたマルチスペクトル画像から求められた色素量画像を出力データとする。色素量検出部106は、当該入力データと当該出力データとが紐付けられた教師あり学習により、ニューラルネットワークのニューロン間の重み付け係数を最適化して、色素量推定器を構築する。色素量推定器は、より多くの自家蛍光画像と色素量画像との組を用いることで最適化される。また、色素量推定器は、染色液毎に生成することができる。また、入力データとして、テクスチャ情報等の画像処理特徴量(組織や細胞の特徴を示す情報など)が含まれてもよい。
図9は、画像処理装置における模擬染色画像の生成の際の動作フローの例を示す図である。模擬染色画像(デジタル染色画像)は、試料の自家蛍光画像を使用して色素量推定器により推定された推定色素量画像に基づいて得られる、模擬的な染色画像である。模擬染色画像は、試料を実際に染色した染色画像を模擬したものである。ここでは、画像処理装置100は、染色されていない試料の自家蛍光画像と、上記の色素量推定器とを用いて、模擬染色画像を生成する。
画像処理装置100は、蛍光顕微鏡200で撮影された細胞や組織などの生体物質の試料の自家蛍光画像を取得する。画像処理装置100は、マルチスペクトルカメラ300で撮影された染色液で染色された染色画像を取得する。画像処理装置100は、染色画像と、染色液の分光吸収係数とに基づいて、試料に取り込まれた染色液の色素量を算出する。画像処理装置100は、自家蛍光画像と、算出された色素量(色素量画像)とに基づいて、色素量推定器を生成する。
れば、貴重な試料であっても、試料を襲侵することなく、模擬的な染色画像を得ることができる。未染色標本等を観察するための特殊な顕微鏡を用意することなく、未染色標本を容易に観察することができる。また、画像処理装置100によれば、試料を染色しないため、1つの試料で様々な染色液による擬似染色画像の生成をすることができる。
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、各構成の組み合わせなど、当業者の知識に基づく種々の変更が可能である。
102 画像取得部
104 色情報取得部
106 色素量検出部
108 色素量推定部
110 画像生成部
200 蛍光顕微鏡
300 マルチスペクトルカメラ
90 情報処理装置
91 プロセッサ
92 メモリ
93 記憶部
94 入力部
95 出力部
96 通信制御部
Claims (4)
- 生体物質試料の所定の励起光源による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を複数のバンドで撮影した染色画像を取得する画像取得部と、
複数のバンドの前記染色画像から、各位置の色情報を取得する色情報取得部と、
前記染色画像の前記色情報と前記染色液の分光吸収係数とに基づいて前記生体物質試料に取り込まれた前記染色液の色素量の分布を示す色素量画像を生成し、前記自家蛍光画像と前記色素量画像との関係を分析して、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する色素量推定器を生成する色素量検出部と、を備え、
前記画像取得部は、前記自家蛍光画像と異なる他の自家蛍光画像を取得し、
前記色素量検出部は、前記他の自家蛍光画像と前記色素量推定器とを用いて、前記他の自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する、
画像処理装置。 - 前記他の自家蛍光画像の前記色素量に基づいて、前記他の自家蛍光画像の前記生体物質試料が前記染色液による染色を模擬した模擬染色画像を生成する画像生成部を備える、
請求項1に記載の画像処理装置。 - 画像処理装置が、
生体物質試料の所定の励起光源による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を複数のバンドで撮影した染色画像を取得し、
複数のバンドの前記染色画像から、各位置の色情報を取得し、
前記染色画像の前記色情報と前記染色液の分光吸収係数とに基づいて前記生体物質試料に取り込まれた前記染色液の色素量の分布を示す色素量画像を生成し、前記自家蛍光画像と前記色素量画像との関係を分析して、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する色素量推定器を生成し、
前記自家蛍光画像と異なる他の自家蛍光画像を取得し、
前記他の自家蛍光画像と前記色素量推定器とを用いて、前記他の自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する、
ことを実行する画像処理方法。 - 画像処理装置が、
生体物質試料の所定の励起光源による自家蛍光を撮影した自家蛍光画像を取得し、所定の染色液で染色した前記生体物質試料を複数のバンドで撮影した染色画像を取得し、
複数のバンドの前記染色画像から、各位置の色情報を取得し、
前記染色画像の前記色情報と前記染色液の分光吸収係数とに基づいて前記生体物質試料に取り込まれた前記染色液の色素量の分布を示す色素量画像を生成し、前記自家蛍光画像と前記色素量画像との関係を分析して、前記自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する色素量推定器を生成し、
前記自家蛍光画像と異なる他の自家蛍光画像を取得し、
前記他の自家蛍光画像と前記色素量推定器とを用いて、前記他の自家蛍光画像の前記生体物質試料を前記染色液で染色した際の色素量を推定する、
ことを実行するための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017165001A JP6901072B2 (ja) | 2017-08-30 | 2017-08-30 | 画像処理装置、画像処理方法、画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017165001A JP6901072B2 (ja) | 2017-08-30 | 2017-08-30 | 画像処理装置、画像処理方法、画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019045540A true JP2019045540A (ja) | 2019-03-22 |
JP6901072B2 JP6901072B2 (ja) | 2021-07-14 |
Family
ID=65815705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017165001A Active JP6901072B2 (ja) | 2017-08-30 | 2017-08-30 | 画像処理装置、画像処理方法、画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6901072B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021076575A (ja) * | 2019-11-05 | 2021-05-20 | トモキューブ, インコーポレーテッド | 3次元屈折率映像とディープラーニングを活用したラベルフリー方式の3次元分子像生成方法および装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008215820A (ja) * | 2007-02-28 | 2008-09-18 | Tokyo Institute Of Technology | スペクトルを用いた解析方法 |
JP2010261762A (ja) * | 2009-04-30 | 2010-11-18 | Olympus Corp | 標本作成装置および標本作成方法 |
JP2012122852A (ja) * | 2010-12-08 | 2012-06-28 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
US20120269417A1 (en) * | 2011-04-25 | 2012-10-25 | Bautista Pinky A | Computer-aided staining of multispectral images |
JP2013506129A (ja) * | 2009-09-29 | 2013-02-21 | ゼネラル・エレクトリック・カンパニイ | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 |
JP2014526700A (ja) * | 2011-09-15 | 2014-10-06 | オリンパス株式会社 | 医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法 |
-
2017
- 2017-08-30 JP JP2017165001A patent/JP6901072B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008215820A (ja) * | 2007-02-28 | 2008-09-18 | Tokyo Institute Of Technology | スペクトルを用いた解析方法 |
JP2010261762A (ja) * | 2009-04-30 | 2010-11-18 | Olympus Corp | 標本作成装置および標本作成方法 |
JP2013506129A (ja) * | 2009-09-29 | 2013-02-21 | ゼネラル・エレクトリック・カンパニイ | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 |
JP2012122852A (ja) * | 2010-12-08 | 2012-06-28 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
US20120269417A1 (en) * | 2011-04-25 | 2012-10-25 | Bautista Pinky A | Computer-aided staining of multispectral images |
JP2014526700A (ja) * | 2011-09-15 | 2014-10-06 | オリンパス株式会社 | 医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021076575A (ja) * | 2019-11-05 | 2021-05-20 | トモキューブ, インコーポレーテッド | 3次元屈折率映像とディープラーニングを活用したラベルフリー方式の3次元分子像生成方法および装置 |
JP7122769B2 (ja) | 2019-11-05 | 2022-08-22 | トモキューブ, インコーポレーテッド | 3次元屈折率映像とディープラーニングを活用したラベルフリー方式の3次元分子像生成方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6901072B2 (ja) | 2021-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7344568B2 (ja) | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム | |
Shapey et al. | Intraoperative multispectral and hyperspectral label‐free imaging: A systematic review of in vivo clinical studies | |
JP5185151B2 (ja) | 顕微鏡観察システム | |
JP4740068B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
US20130266192A1 (en) | Spectral unmixing for visualization of samples | |
JP2012122852A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20180128681A1 (en) | Image processing device, imaging system, image processing method, and computer-readable recording medium | |
EP3232181B1 (en) | Information processing device, information acquisition system, information processing method, image information acquisition method, and program | |
JP6284024B2 (ja) | 細胞生死判定システム、細胞生死判定方法 | |
JP7156361B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
JP2010261762A (ja) | 標本作成装置および標本作成方法 | |
JP7470339B2 (ja) | 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム | |
JP6901072B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP6777147B2 (ja) | 画像選択装置、画像選択プログラム、演算装置、及び表示装置 | |
US20170370843A1 (en) | Facilitating real-time visualization of tissue features derived from optical signals | |
JP7116175B2 (ja) | 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム | |
WO2021015249A1 (ja) | 推定器学習装置、推定器学習方法、及び、推定器学習プログラム | |
JP7090171B2 (ja) | 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム | |
JP2018048841A (ja) | 劣化情報取得装置、劣化情報取得システム、劣化情報取得方法及び劣化情報取得プログラム | |
JP5752985B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム | |
EP4092466A1 (en) | Method for obtaining an operating value of an illumination parameter for examining a fluorescent sample, method for examining a fluorescent sample, microscope system and computer program | |
JP7215418B2 (ja) | 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム | |
JP2005034355A (ja) | 画像処理装置および顔画像処理装置 | |
JP2007024801A (ja) | 顕微鏡制御装置及びプログラム | |
WO2022249583A1 (ja) | 情報処理装置、生体試料観察システム及び画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6901072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |