JP2020184072A - 顕微鏡画像の信号対雑音比を改善するための画像処理装置、システムおよび方法 - Google Patents
顕微鏡画像の信号対雑音比を改善するための画像処理装置、システムおよび方法 Download PDFInfo
- Publication number
- JP2020184072A JP2020184072A JP2020079135A JP2020079135A JP2020184072A JP 2020184072 A JP2020184072 A JP 2020184072A JP 2020079135 A JP2020079135 A JP 2020079135A JP 2020079135 A JP2020079135 A JP 2020079135A JP 2020184072 A JP2020184072 A JP 2020184072A
- Authority
- JP
- Japan
- Prior art keywords
- image
- microscope
- microscopic
- images
- ordered set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001000 micrograph Methods 0.000 title claims abstract description 122
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims description 40
- 238000005096 rolling process Methods 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 5
- 239000000523 sample Substances 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 230000005855 radiation Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 239000007850 fluorescent dye Substances 0.000 description 4
- 230000036962 time dependent Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000003632 microfilament Anatomy 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
Description
したがって出力画像は、
104−0、…、104−N 重み
106 出力画像
202−0、…、202−N 顕微鏡画像
204−0、…、204−N 重み
206 出力画像
220 画像処理装置
222 メモリ
224 処理回路
226 入力接続手段
228 出力接続手段
240 検出装置
244 画像センサ
260 顕微鏡
264 照明
270 照明
262 レンズ
266 試料体
268 蛍光色素
280 モニタ
Claims (15)
- 顕微鏡画像の信号対雑音比を改善するための画像処理装置(220)であって、前記画像処理装置(220)は、
少なくとも一時的に顕微鏡画像を保存するように構成されたメモリ(222)と、
前記メモリ(222)に格納された顕微鏡画像(102;202)の順序付き集合の重み付きローリング平均に基づいて、出力画像(106;206)を決定するように構成された処理回路(224)と、
を有する画像処理装置(220)。 - 与えられた顕微鏡画像(102−0;202−0)に、顕微鏡画像(102;202)の前記順序付き集合の複数の顕微鏡画像(102−1、…、102−N;202−1、…、202−N)を加えることによって前記重み付きローリング平均が計算され、加えられる各顕微鏡画像(102−1、…、102−N;202−1、…、202−N)は、重み(104−1、…、104−N;204−1、…、204−N)によって重み付けられている、
請求項1記載の画像処理装置(220)。 - 顕微鏡画像(102)の前記順序付き集合の前記顕微鏡画像(102−1、…、102−N)は、前記与えられた顕微鏡画像(102−0)に先行する顕微鏡画像である、
請求項2記載の画像処理装置(220)。 - 顕微鏡画像(202)の前記順序付き集合には、前記与えられた顕微鏡画像(202−0)に先行する第1の個数の顕微鏡画像と、前記与えられた顕微鏡画像(202−0)よりも後の第2の個数の顕微鏡画像と、が含まれている、
請求項2記載の画像処理装置(220)。 - 顕微鏡画像の前記重み(104−1、…、104−N;204−1、…、204−N)は、重み付け係数のべきとして決定されており、前記べきは、前記顕微鏡画像と、前記与えられた顕微鏡画像(102−0;202−0)と、の間の順序数の差分によって決定されている、
請求項2から4までのいずれか1項記載の画像処理装置(220)。 - 顕微鏡画像(102;202)の前記順序付き集合には、N+1個の顕微鏡画像が含まれており、前記重み付け係数は、e−1/wNであり、wは、定数である、
請求項5記載の画像処理装置(220)。 - 顕微鏡画像の信号対雑音比を改善するためのシステム(200)であって、前記システム(200)は、
請求項1から6までのいずれか1項記載の画像処理装置(220)と、
前記顕微鏡画像を取り込むように構成された画像センサ(244)または点検出器を含む検出装置(240)と、
を有するシステム(200)。 - 前記検出装置(240)により、試料(266)の画像が取り込まれ、顕微鏡画像(102;202)の前記順序付き集合は、N+1個の顕微鏡画像を含み、個数Nは、前記試料の運動に適合されている、
請求項7記載のシステム(200)。 - 前記個数Nは、顕微鏡画像(102;202)の前記順序付き集合の決定したオプティカルフローに基づく、
請求項8記載のシステム(200)。 - 前記試料の前記運動は、第1周期を有する周期性であり、顕微鏡画像(102;202)の前記順序付き集合は、第1周期毎に1回取り込まれる顕微鏡画像を有する、
請求項8または9記載のシステム(200)。 - 前記システム(200)は、さらに、
試料を取り込むように構成された顕微鏡(260)と、
前記出力画像(106;206)を表示するモニタ(280)と、
を有する、
請求項7から10までのいずれか1項記載のシステム(200)。 - 前記顕微鏡(260)は、走査型顕微鏡、ライトシート顕微鏡またはワイドフィールド顕微鏡である、
請求項11記載のシステム(200)。 - 前記出力画像(106;206)の決定は、カメラ(240)によって前記顕微鏡画像が取り込まれている間に実行され、前記与えられた顕微鏡画像(102−0)は、前記カメラ(240)によって直近に取り込まれた顕微鏡画像である、
請求項11または12記載のシステム(200)。 - 顕微鏡画像の信号対雑音比を改善するための方法(300)であって、前記方法(300)は、
少なくとも一時的に顕微鏡画像(102;202)を格納するステップ(302)と、
格納した複数の前記顕微鏡画像の順序付き集合の重み付きローリング平均に基づいて、出力画像(106;206)を決定するステップ(306)と、
を有する方法(300)。 - 与えられた顕微鏡画像(102−0;202−0)に、顕微鏡画像(102−1、…、102−N;202−1、…、202−N)の順序付き集合からの複数の顕微鏡画像を加えることによって前記重み付きローリング平均を計算し、各顕微鏡画像(102−1、…、102−N;202−1、…、202−N)は、重み(104−1、…、104−N;204−1、…、204−N)によって重み付けられている、
請求項14記載の方法(300)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19171800.6A EP3734345B1 (en) | 2019-04-30 | 2019-04-30 | Image processing device, system, and method for improving signal-to-noise of microscopy images |
EP19171800 | 2019-04-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020184072A true JP2020184072A (ja) | 2020-11-12 |
JP7009550B2 JP7009550B2 (ja) | 2022-01-25 |
Family
ID=66334275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020079135A Active JP7009550B2 (ja) | 2019-04-30 | 2020-04-28 | 顕微鏡画像の信号対雑音比を改善するための画像処理装置、システムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11238566B2 (ja) |
EP (1) | EP3734345B1 (ja) |
JP (1) | JP7009550B2 (ja) |
CN (1) | CN111856739B (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0937144A (ja) * | 1995-07-20 | 1997-02-07 | Keyence Corp | ディジタル画像処理回路および画像観察装置 |
WO2005046478A1 (ja) * | 2003-11-12 | 2005-05-26 | Hitachi Medical Corporation | 画像処理方法、画像処理装置、医用画像診断支援システム、及び時間軸方向フィルタリング方法 |
JP2009515533A (ja) * | 2005-11-12 | 2009-04-16 | ゼネラル・エレクトリック・カンパニイ | 非染色核の微速度細胞周期解析 |
JP2015041924A (ja) * | 2013-08-22 | 2015-03-02 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100502786C (zh) * | 2004-05-19 | 2009-06-24 | 株式会社日立医药 | 图像处理装置及其方法 |
US8428331B2 (en) * | 2006-08-07 | 2013-04-23 | Northeastern University | Phase subtraction cell counting method |
CN101930606A (zh) * | 2010-05-14 | 2010-12-29 | 深圳市海量精密仪器设备有限公司 | 一种图像边缘检测的景深扩展方法 |
WO2016123479A1 (en) * | 2015-01-31 | 2016-08-04 | Board Of Regents, The University Of Texas System | High-speed laser scanning microscopy platform for high-throughput automated 3d imaging and functional volumetric imaging |
CN105589188B (zh) | 2016-03-10 | 2018-01-16 | 清华大学 | 一种结构光照明显微镜的成像方法及装置 |
JP2017162391A (ja) * | 2016-03-11 | 2017-09-14 | 東芝メモリ株式会社 | 画像処理方法及び画像処理プログラム |
JP6774813B2 (ja) * | 2016-08-12 | 2020-10-28 | 日本電子株式会社 | 画像処理装置、画像処理方法、および分析装置 |
CN106338497B (zh) * | 2016-09-13 | 2019-02-22 | 南京大学 | 一种表面等离子体共振显微成像装置及方法 |
EP3553497A4 (en) * | 2016-12-09 | 2019-12-18 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING SYSTEM |
WO2019133837A1 (en) * | 2017-12-28 | 2019-07-04 | University Of Notre Dame Du Lac | Super-resolution fluorescence microscopy by stepwise optical saturation |
-
2019
- 2019-04-30 EP EP19171800.6A patent/EP3734345B1/en active Active
-
2020
- 2020-04-27 US US16/858,836 patent/US11238566B2/en active Active
- 2020-04-28 JP JP2020079135A patent/JP7009550B2/ja active Active
- 2020-04-29 CN CN202010357775.XA patent/CN111856739B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0937144A (ja) * | 1995-07-20 | 1997-02-07 | Keyence Corp | ディジタル画像処理回路および画像観察装置 |
WO2005046478A1 (ja) * | 2003-11-12 | 2005-05-26 | Hitachi Medical Corporation | 画像処理方法、画像処理装置、医用画像診断支援システム、及び時間軸方向フィルタリング方法 |
JP2009515533A (ja) * | 2005-11-12 | 2009-04-16 | ゼネラル・エレクトリック・カンパニイ | 非染色核の微速度細胞周期解析 |
JP2015041924A (ja) * | 2013-08-22 | 2015-03-02 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111856739A (zh) | 2020-10-30 |
EP3734345B1 (en) | 2023-08-02 |
US20200349676A1 (en) | 2020-11-05 |
JP7009550B2 (ja) | 2022-01-25 |
US11238566B2 (en) | 2022-02-01 |
EP3734345A1 (en) | 2020-11-04 |
EP3734345C0 (en) | 2023-08-02 |
CN111856739B (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jonkman et al. | Any way you slice it—a comparison of confocal microscopy techniques | |
JP5643210B2 (ja) | スライド全体蛍光スキャナ | |
US9804376B2 (en) | Scanner with increased dynamic range | |
US11169368B2 (en) | Method and system for localisation microscopy | |
US10718715B2 (en) | Microscopy system, microscopy method, and computer-readable storage medium | |
US11854162B2 (en) | Microscopy with near-ideal sCMOS camera | |
US8994806B2 (en) | Microscope apparatus chronologically storing different types of image information | |
JP2019507384A (ja) | 生物試料の向上された被写界深度の合成2d画像を生成するシステム | |
Stuurman et al. | Impact of new camera technologies on discoveries in cell biology | |
US10055638B2 (en) | Image processing device, imaging device, microscope device, image processing method, and image processing program | |
US20140022373A1 (en) | Correlative drift correction | |
JP7009550B2 (ja) | 顕微鏡画像の信号対雑音比を改善するための画像処理装置、システムおよび方法 | |
JP6681068B2 (ja) | データ復元装置、顕微鏡システム、およびデータ復元方法 | |
JP2017191609A (ja) | 画像処理装置および画像処理方法 | |
EP2069763A1 (en) | Analysis method for chemical and/or biological samples | |
JP5738580B2 (ja) | 顕微鏡装置および観察方法 | |
US12020453B2 (en) | Fast volumetric imaging system and process for fluorescent tissue structures and activities | |
US11927700B1 (en) | Systems, methods, and media for improving signal-to-noise ratio in single-photon data | |
JP7168743B1 (ja) | 画像処理装置および画像処理方法 | |
JP4844157B2 (ja) | 走査型顕微鏡 | |
Liebling | Imaging the dynamics of biological processes via fast confocal microscopy and image processing | |
KR20230021888A (ko) | 영상 획득 장치 및 이를 이용한 영상 획득 방법 | |
Chao et al. | focusing multifocal plane microscopy for the imaging of 3D single molecule dynamics with cellular context. Proceedings of the SPIE, Three-Dimensional and Multidimensional Microscopy: Image Acquisition and Processing XXIV, 10070: 100700L, Feb. 2017, San Francisco, CA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210405 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210705 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7009550 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |