CN107124901B - 去除电子显微照相机图像异常点的方法 - Google Patents
去除电子显微照相机图像异常点的方法 Download PDFInfo
- Publication number
- CN107124901B CN107124901B CN201580051670.9A CN201580051670A CN107124901B CN 107124901 B CN107124901 B CN 107124901B CN 201580051670 A CN201580051670 A CN 201580051670A CN 107124901 B CN107124901 B CN 107124901B
- Authority
- CN
- China
- Prior art keywords
- threshold
- series
- average
- exposure
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002159 abnormal effect Effects 0.000 title abstract description 11
- 230000001066 destructive effect Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000004627 transmission electron microscopy Methods 0.000 claims description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000005855 radiation Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000010894 electron beam technology Methods 0.000 description 6
- 230000005461 Bremsstrahlung Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
- A61K39/00—Medicinal preparations containing antigens or antibodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
- A61K48/00—Medicinal preparations containing genetic material which is inserted into cells of the living body to treat genetic diseases; Gene therapy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
- A61P37/00—Drugs for immunological or allergic disorders
- A61P37/02—Immunomodulators
- A61P37/04—Immunostimulants
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
- A61P43/00—Drugs for specific purposes, not provided for in groups A61P1/00-A61P41/00
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/02—Details
- H01J37/22—Optical or photographic arrangements associated with the tube
- H01J37/222—Image processing arrangements associated with the tube
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
- H01J37/261—Details
- H01J37/263—Contrast, resolution or power of penetration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12N—MICROORGANISMS OR ENZYMES; COMPOSITIONS THEREOF; PROPAGATING, PRESERVING, OR MAINTAINING MICROORGANISMS; MUTATION OR GENETIC ENGINEERING; CULTURE MEDIA
- C12N15/00—Mutation or genetic engineering; DNA or RNA concerning genetic engineering, vectors, e.g. plasmids, or their isolation, preparation or purification; Use of hosts therefor
- C12N15/09—Recombinant DNA-technology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/22—Treatment of data
- H01J2237/221—Image processing
- H01J2237/223—Fourier techniques
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/22—Treatment of data
- H01J2237/226—Image reconstruction
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/244—Detection characterized by the detecting means
- H01J2237/2448—Secondary particle detectors
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/244—Detection characterized by the detecting means
- H01J2237/24495—Signal processing, e.g. mixing of two or more signals
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
- H01J2237/26—Electron or ion microscopes
- H01J2237/2617—Comparison or superposition of transmission images; Moiré
Landscapes
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medicinal Chemistry (AREA)
- Pharmacology & Pharmacy (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Epidemiology (AREA)
- Microbiology (AREA)
- Mycology (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Chemical & Material Sciences (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Organic Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biotechnology (AREA)
- Molecular Biology (AREA)
- Genetics & Genomics (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measurement Of Radiation (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开一种去除透射式电子显微照相机图像中的异常点像素的方法。一种示范方法包括建立n个电子/像素的预期曝光量；将所述照相机暴露在一系列子帧曝光量下，生成一系列子帧图像；计算所述系列中所有子帧曝光量的平均值图像信号；建立选作获得预期误测数量的阈值；对比所述阈值离平均值更远的像素的所述各子帧曝光量进行评估；使用所述平均值替换超出所述阈值的所述各子帧图像中的像素，以形成修正的子帧图像。
Description
相关申请的交叉引用
本PCT申请要求获得于2014年8月2日申请的标题为“去除电子显微照相机图像异常点的方法”的第60/032,535号临时申请案按照《美国法典》第35卷第119条(e)项规定所享有的权利。所述临时申请案的全部公开内容均以引用的方式并入本文。
技术领域
本发明涉及电子显微镜图像处理领域。
背景技术
直到近年以来，电子显微镜的照相机还一直采用一种间接成像法制造，这种间接成像法使用闪烁体将电子图像转换成光图像，通过某种光学装置捕捉光图像，并将光图像转移到与闪烁体偏移的一个平面上，再使用硅传感器来捕捉光图像。所述光学装置由熔融光纤板或透镜组成。除了转移光图像的主要功能外，光学装置还可保护硅传感器免受电子束直接照射以及闪烁体上或更高处电子显微镜镜筒上电子束轫致辐射产生的X射线带来的伤害。该次要功能用于保护传感器不受损坏，并防止X射线射中传感器造成图像劣化。所述光学装置在实现次要功能时仅能起到部分作用。
闪烁体上或更高处电子显微镜镜筒上产生的X射线，一部分穿过光学装置，一部分在硅传感器的外延层中被直接检测到，在其入口点生成小亮点，覆盖在电子束形成的图像上。
这些亮点不能提高图像的质量，相反会降低其质量，因为：1)闪烁体上的随机发射角以及后续散射破坏了X射线与在闪烁体上产生X射线的携带图像信号的电子之间的空间关联；2)与闪烁后以及通过光学装置进行图像转移后入射电子带来的净信号相比，直接检测到的X射线在硅传感器检测到的图像上显著地增加了更多信号。因此，应该尽量减少这些X射线产生的亮点数量。
减少亮点的主要方法是增加闪烁体与传感器之间的质量。当电子束的能量过高，或闪烁体与传感器之间没有充足的空间来放置足够材料时，该方法并不十分有效。此外，若使用光学透镜，光学设计将规定材料的数量，而该数量可能不足以提供足够的X射线安全屏蔽。
另外，除闪烁体轫致辐射X射线外，还存在其他辐射源。它们包括宇宙射线以及局部环境中放射性元素的衰变，这些因素同样能在图像中生成亮点。虽然可以通过照相机外壳和用于减少这些形式的辐射的光学装置进行屏蔽，但在存在轫致辐射的情况下，也不能100％有效。另外，不带闪烁体和转移光学装置的直接检测传感器在检测偏离散射和样本图像统计中未予描述但会影响图像质量的其他辐射源时将存在问题。
因此，需要一种技术能够完全消除入射电子束和其他辐射源所引起的X射线导致的传感器中的亮点。这些从不符合预期图像统计特征的各种来源中产生的亮点就称为异常点。一种消除异常点的图像处理技术应能解决所有上述各种辐射源诱导产生的亮点，不论其来源如何。
目前已知一些基于从综合曝光值中去除异常点的图像处理技术。通过对局部图像统计数据进行评估，这些技术将建立一个无异常点值的局部预期范围，而异常点则被确认为不在局部预期范围内的那些像素。该范围的建立通常选取多个标准偏差用于减少对异常点的错误识别，而异常点是从未遭受直接辐射探测事件的像素中选出的。因为通常情况下，标准偏差或统计偏差的其他测量值随着局部照明强度(以下简称为每像素电子剂量或电子剂量)以及局部样本图像亮度而变化，并且样本可从一个图像变为下一个图像，或在图像内从一个区域变到下一个区域，因此通常每个待处理图像的阈值一般都是单独评估的。
这种方法存在很多问题。首先，它依赖于对遍历性的假设，即像素局部组的统计数据与一系列获取的像素之一的统计数据相匹配。然而，因对比度较高或样本图像变化迅速，这种假设不成立。通过评估受测像素周围局部小范围内的统计数据可尽量减小样本对比效果，但这一要求减少了用于计算平均信号电平的像素的数量以及用于生成异常点阈值标准的标准偏差的数量。这就需要一种适用于低对比度样本的折中方案，但因为更复杂的图像内容，如绕射图或含有锐利边缘的图像，使图像中的高对比度特征(如绕射图斑点)被错误地确认为辐射异常点，该折中方案依然不成立。
第二个问题是，随着剂量水平增加，间接图像(闪烁体光振荡、光传输和传感器检测得到的预期“良好的”图像)中普通高斯噪点的柱状图将逐渐使越来越多直接检测到的辐射事件的柱状图变得模糊。当闪烁体发生轫致辐射，其透射式电子显微镜成像中异常点的最重要来源时，尤其在200kV以上加速电压下，X射线异常点计数率与射束强度成正比。此效应如图1所示，图1显示了在每个检测器像素的电子射束剂量水平分别约为100和7000的两种不同情况下，将间接耦合的透射式电子显微镜相机置于400kV均匀射束中的结果。在各剂量水平下，选取一对相同曝光量并通过平差去除柱状图的固定式增益变化值。为生成图1中的曲线，差异图像的绝对值柱状图被这一对曝光量的总平均剂量划分，形成一个带有单位的规范化柱状图：给定计数率下各入射束电子的像素。图中的X轴代表从无论高低的图像均值而来的一个像素偏差的计数中的绝对量。低剂量1(100个电子/像素)和高剂量2(7000个电子/像素)的柱状图都可见包括两个部分，分别为：高斯型3(日志显示为逆抛物线)间接图像噪点分布和X射线生成异常点的衰减指数4(日志显示为向下倾斜的近似线形)分布。随着射束强度的增加，规范化的噪点分布将变得更宽更低，而因高斯分布上方柱状图区域内射束产生的轫致辐射X射线，预测各入射束电子的给定像素计数的规范化分布将恒定不变。低剂量(100个电子/像素)从150个计数5开始，高剂量(7000个电子/像素)从700个计数6开始。因此，在较高剂量下，异常点分布的很大一部分被高斯分布覆盖，因而不能通过异常点阈值方法进行辨别。虽然可以认为，如果不能进行辨别则异常点分布不可见，因此并不存在问题，但总噪点仍然明显地包括规范分布包络线附近的异常点。该示例表明，阈值为700个计数而非150个计数时，7000个电子/像素的图像中存在的异常点约占7000个电子/像素功率谱的5％的变量。
检测之后，修正异常点最简单的方法是将其恢复到局部均值。另一种方法则是将异常点像素设置为从最近邻点内插的值。对于具有显著空间变化的高对比度图像而言，如果图像因为位置而变化太迅速，平均设定值和内插值都将不准确，因此也会出现误差。
因此，需要一种提供图像异常点检测和修正的改进方法。
附图说明
图1为不同强度水平下各入射束电子的典型像素图。
图2为纵轴显示像素强度的图像的三维图。
图3为纵轴显示像素强度的图像的三维图。
图4为标准偏差图像产生的图示。
图5为修正边远像素的示范方法。
图6为修正边远像素的示范方法。
具体实施方式
将曝光剂量进行分级，即将其划分为一系列子曝光量但合计仍与总剂量相同，将为提高异常值去除效果创造大量机会。首先，通过为各像素提供一个曝光序列，可以逐像素为基础对平均值和标准偏差进行评估来确定异常点阈值，从而避免依赖遍历性假设。依次地，而由于对像素进行了统计评估，基本上消除了样本图像特征的敏感度。第二，通过缩小设定阈值的剂量，较少的直接辐射检测柱状图被归入间接图像信号，因此能够选择更低的阈值，并能够更加彻底地去除非预期辐射信号。第三，各子曝光量可单独修正，通过使用平均值或内插值替换异常点，最终合并图像各像素的伪像素将减少，因为在任何给定像素下，在一系列子曝光量中，通常最多只有一个子曝光量会被修正。由于极低的事件发生率(各显微镜入射电子约10-7至10-6)，甚至对于达到数千上万的子曝光总量来说，也很少出现对某个给定像素进行两次(或更多)撞击的情况。图2和图3显示400kV下，两个连续50个电子均匀照射曝光量中相同检测器面积的三维图，像素强度显示在第三维度。两图的底部平展部分为均匀照射像素强度7，图2中的顶点8为单独异常点。图3中所示第二个曝光量是从相同位置下一帧选出的，没有异常点。在400kV的该剂量(50个电子/像素/秒)下，预计每20,000个像素中，或每140×140像素面积中约出现一次异常点事件。图2和图3所示检测器面积中，预计每80帧中仅有一帧会出现一个异常点，任何一帧中相同像素上出现两个异常点的可能性仅为每400,000,000(20,0002)一次。因此有可能将每个像素的平均值以及图像系列中像素噪点水平的较佳统计数据积累起来。下面对生成图像和去除异常点像素的示例方法的步骤进行描述。所述方法的流程图如图5所示。
步骤1：对于预期剂量为n个电子/像素100的给定预期曝光量，将该曝光量分为s个等量的子曝光量110。
步骤2：计算全部子曝光量的平均图像信号，
其中，上标“0”表示这是基于原始未设定阈值的数据的初始平均值。下标i和j为一系列分级剂量子曝光量中各子帧像素的指数，k为部分子帧系列的指数。
为剂量分级图像系列中全部图像的平均值，其本身为一个图像120。
步骤3：使用该平均值，计算图像系列中各像素上形成的强度时间序列的标准偏差，
图像系列的标准偏差，如
也是一个图像。
同样地，
的上标“0”表示这是由原始数据计算而获得的初始标准偏差。下标i和j为标准偏差图像像素的指数。按照统计数据的标准做法，根据特定k帧的数据，通过除以k-1而非除以k得到方差的平均值，以便对平均值
造成的偏差减少进行补偿。系列子曝光量和计算出的平均值图像或标准偏差图像及其指数如图4所示。图像系列11为三维数据集。合并演算，即所示平均值和标准偏差形成中所用像素(i，j)＝(2，1)，12的演算降低了维数，以便平均值和标准偏差为二维图像。
步骤4：选择一个阈值130系数x，乘以计算出的标准偏差，得到预期误测数量。例如，当只能辨别出测定异常点时，假设高斯分布以及平均和标准偏差测量值皆为理想状态，x＝3可得到的每730个像素的伪异常点的误测率为1。
步骤5：评估140各子帧比阈值
像素更加远离平均值的像素。从数学上讲，子帧k中像素(i，j)的异常点判别标准为
其中“abs”指函数“绝对值”。当仅考虑测定异常点时，可省略绝对值。如果符合该标准，异常点将如下一步骤所述被去除。
步骤6：使用像素时间序列平均值
替换超出阈值的150像素。调用一系列修正的子曝光量
步骤7：合并
得到基本时间序列已修正异常点的曝光量160。
多次迭代
在另一实施例中，如下进行多次演算：重复步骤2–6，使用修正的像素值计算精确的平均值图像
与标准偏差图像
其中，p为迭代的次数。将阈值系数x推广到一系列值xp，随着异常点在连续的迭代中被去除，平均值和标准偏差的计算变得更加准确，从而使阈值能够紧缩。在达到预先确定的迭代次数(比如2次)后，或根据收敛性判定准则，例如
结束反复迭代，其中，i和j为像素的指数，p为迭代演算次数，ε为最后一次迭代的允许变化部分。
移动平均值
在另一实施例中，形成了移动平均值。上述基本技术以及多次演算都存在一个问题，即获取整个数据集并在至少两次演算处理后，才会出现输出值。这是因为在计算得到平均值之前，以及在获得全部图像系列之前，无法开始标准偏差计算。另一种适用于即时取景(视频直播)模式的替换方法是使用最后K帧的移动平均值计算逐像素的平均值和标准偏差，用以确定异常点阈值。移动平均值通常采用如下公式进行定义：
Ai，j，this＝1/R×(Si，j，this)+(R-1)/R×(Ai，j，previous)，
其中，之前讨论中的指数k替换成了“this”(当前)和“previous”(先前)，分别用于表示当前获取的值和更新的移动平均值，以及先前的移动平均值；R为通过迭代技术平均后的有效帧数。由于标准偏差为平均值的平方偏差的平均值平方根，即方差，适用于方差的移动平均值更新方法如下所示：
其中，分母中帧数减去1，为上述非移动方法中所用平均值追踪有限样本提供相同补偿。标准偏差和阀值将会由这种移动平均值和方差中计算。在即时取景(视频直播)模式下，假设样本移动适度，移动平均值和移动方差都将继续跨越合并曝光量之间的界线。该技术将最适用于即时取景，因为在这种情况下，需要快速确定平均值和标准偏差，同时也需要图像内容在合并曝光量的间界线处可能发生显著变化时不会造成问题，静帧采集通常如此。如果在对帧进行合并前已对指定帧数(该数量由给定常数乘以有效帧数R而获得)进行平均，则该技术可在静止帧获取模式下使用。
非破坏性读取(NDR)
在另一实施例中，该方法适用于系列开始时对全部像素进行一次重新设定后，在CMOS有源像素传感器上读取一系列帧的非破坏性读取的情形。该方法具有许多好处，包括减少噪点等，但需要在去除异常点时采取不同的方式。由于首次重新设定后不再进行重新设定操作，通过非破坏性读取，在NDR系列中的k帧上设备检测出的直接辐射事件保留至所有连续帧。因此，为对异常点进行判别，有必要在连续帧之间形成一定差异。
对非破坏性读取的图像系列进行进一步处理前，必须从k帧和所有连续帧中减去帧差异中发现的测定异常点Si，j，k-Si，j，k-1。由于辐射事件巧合的发生率极低，因此没有必要在为k帧设定阀值前从k-1帧中去除辐射事件。该方法的优选实施方式是从非破坏性读取序列的k+1帧中创建K差异图像，如下所述：对于NDR图像序列Si，j，k，for k＝1，2，3，...，K而言，形成的差异序列为Δi，j，k＝Si，j，k-Si，j，k-1，for k＝1，2，3，...，K。然后，按照上述步骤2-6中所述基本异常点去除方法，根据前文K帧段落所述进行异常点去除。若需要可进行多次演算细化，和/或进行基本方法的其他一种细化。最后，合并差异图形以重建NDR序列，此时异常点已被去除。所述合并运算定义如下：
其中，K为合并指数，是修正帧指数k的总和Ci，j，k。该积分的准确性依赖于第一帧Si，j，0在读取之前及时重新设定而没有异常点的假设。
图6为上述非破坏性读取操作去除异常点的示范方法的流程图。步骤200进行一系列非破坏性读取以创建一系列图像。步骤210通过从各图像(图像系列中第一张图像除外)中减去先前图像，创建一系列差异图像。步骤220在图像系列中计算平均值图像的信号强度。步骤230选择一个阈值，得到预期误测数量。步骤240对比所述阈值离平均值更远的像素的各子帧曝光量进行评估。步骤250替换随后形成所述差异图像的图像系列的各图像的像素，以形成修正的图像系列，所述差异图像中包含的像素比所述平均值离所述阈值更远。步骤260合并修正的子帧图像，以形成修正的曝光值。
二维去除
在另一实施例中，使用异常点群的二维形状特征改善判别统计数据。某些案例中，辐射检测事件会对不止一个像素造成影响，电荷沉积在相邻像素群中，所述像素群为带有容易被识别为异常点的较大信号的一个或多个像素。然而，带有小于标准异常点阈值的信号的辐射检测事件像素群中的像素可能仍带有足够降低图像信号质量的信号。因此，即使这些相邻事件像素未被判定为异常点，也有利于对其进行修正。而达到此目的的一种可能方法是为作为主要阈值异常点的相邻像素建立较低阈值。这些像素将被设置为像素图像系列平均值的平均值，而非较大异常点相邻像素的平均值。
预测标准偏差
可通过等式
从平均剂量水平上准确评估出透射式电子显微镜中的电子信号的标准偏差，等式中，比例常数vref和“雾状”水平
已事先确定并作为参考值保存。该评估可比直接测量更准确，因为其遵循样本平均值∝σ2/k的统计数据，而非样本方差∝σ4/(k-1)的统计数据，其中，k为时间序列中样本的数量，σ为待测量或评估的真实方差。该等式允许从待消除图像系列中进行逐像素标准偏差计算，从而简化单次演算的基本方法，不只是将多次演算和移动平均值方法的处理时间减半。可使用任意大剂量离线实施生成参考值的技术，从而可以使用比利用数据本身进行在线评估更低的噪点对其进行评估。这样可更准确地评估标准偏差。反过来，还能通过子帧数量更少或总剂量更小的曝光量更准确地为异常点设定阈值，而这些曝光量的实时数据标准偏差评估受到噪点的影响可以更大。
Claims (18)
1.一种去除透射式电子显微照相机图像中的异常点像素的方法，包括：
a.建立每像素n个电子的预期曝光量；
b.将所述照相机暴露在一系列子帧曝光量下，生成一系列子帧图像；
c.计算所述系列中所有子帧曝光量的平均值图像信号；
d.建立选作获得预期误测数量的阈值；
e.对比所述阈值离平均值更远的像素的所述各子帧曝光量进行评估；
f.使用所述平均值替换超出所述阈值的所述各子帧图像中的像素，以形成修正的子帧图像。
2.根据权利要求1所述的方法进一步包括：
g.为所述曝光量系列中各像素的位置计算曝光量系列的标准偏差；
其中，所述阈值通过阈值系数与所述计算出的标准偏差相关。
3.根据权利要求1所述的方法进一步包括以下步骤：
h.合并所述修正的子帧图像，以形成修正的曝光量。
4.根据权利要求3所述的方法，其特征在于，在进行步骤h前，重复步骤c-f。
5.根据权利要求1所述的方法，特征在于，所述平均值为移动平均值。
6.根据权利要求5所述的方法进一步包括：
g.根据曝光量系列和所述平均值计算移动方差，并根据所述移动方差计算所述曝光量系列中各像素位置的所述曝光量系列的移动平均值标准偏差；
其中，所述阈值通过阈值系数与所述计算出的标准偏差相关。
7.根据权利要求1所述的方法，其特征在于，所述子帧曝光量具有相等强度。
8.根据权利要求1所述的方法进一步包括：
g.为所述曝光量系列中各像素的位置计算曝光量系列的标准偏差；
其中，所述阈值通过阈值系数与所述计算出的标准偏差相关。
9.根据权利要求8所述的方法进一步包括以下步骤：
h.合并所述修正的子帧图像，以形成修正的曝光量。
10.根据权利要求8所述的方法，其特征在于，该标准偏差是通过使用一种线性关系从所述平均值信号水平计算获得，包括用比例系数乘以所述平均值信号水平并加上暗背景噪点水平；其中，所述比例系数和暗背景水平是在样本成像前生成的参考值。
11.根据权利要求10所述的方法进一步包括以下步骤：
h.合并所述修正的子帧图像，以形成修正的曝光量。
12.根据权利要求1所述的方法进一步包括，建立第二阈值用于评估所述比阈值离平均值更远的像素的邻近像素，并替换比所述第二阈值离所述平均值更远的邻近像素。
13.一种去除非破坏性读取序列形成的透射式电子显微照相机图像中的异常点像素的方法，包括：
a.进行一系列非破坏性读取，以创建从第一张图像开始并包括至少一张后续图像的一系列图像；
b.通过从除第一张图像外各图像中减去先前读取图像，创建一系列差分图像；
c.计算所述图像系列的平均值图像信号强度；
d.建立选作获得预期误测数量的阈值；
e.对比所述阈值离平均值更远的像素的所述各子帧曝光量进行评估；
f.替换随后形成所述任一差分图像的所述各图像系列的像素，以形成修正的图像系列，所述差分图像中包含的像素比所述平均值离所述阈值更远。
14.根据权利要求13所述的方法进一步包括以下步骤：
g.合并所述修正的子帧图像，以形成修正的曝光量。
15.根据权利要求14所述的方法，其特征在于，在进行步骤g前，重复步骤c-f。
16.根据权利要求13所述的方法进一步包括：
g.为所述曝光量系列中各像素的位置计算曝光量系列的标准偏差；
其中，所述阈值通过阈值系数与所述计算出的标准偏差相关。
17.根据权利要求13所述的方法进一步包括，建立第二阈值用于评估所述比阈值离平均值更远的像素的邻近像素，并替换比所述第二阈值离所述平均值更远的邻近像素。
18.根据权利要求16所述的方法进一步包括，建立第二阈值用于评估所述比阈值离平均值更远的像素的邻近像素，并替换比所述第二阈值离所述平均值更远的邻近像素。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462032535P | 2014-08-02 | 2014-08-02 | |
| US62/032,535 | 2014-08-02 | ||
| PCT/US2015/043134 WO2016022419A2 (en) | 2014-08-02 | 2015-07-31 | Method for image outlier removal for transmission electron microscope cameras |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107124901A CN107124901A (zh) | 2017-09-01 |
| CN107124901B true CN107124901B (zh) | 2020-09-01 |
Family
ID=53879787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580051670.9A Active CN107124901B (zh) | 2014-08-02 | 2015-07-31 | 去除电子显微照相机图像异常点的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9415095B2 (zh) |
| EP (1) | EP3175425B1 (zh) |
| JP (1) | JP6527940B2 (zh) |
| CN (1) | CN107124901B (zh) |
| WO (1) | WO2016022419A2 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107845360B (zh) * | 2017-11-11 | 2021-05-07 | 安徽立大加智能科技有限公司 | 一种显示器图像修正方法 |
| CN110519516B (zh) * | 2019-08-30 | 2020-09-25 | 联想(北京)有限公司 | 一种图像噪点的处理方法、装置及电子设备 |
| JP7437262B2 (ja) * | 2020-07-31 | 2024-02-22 | 株式会社日立ハイテク | 荷電粒子線装置および電気ノイズの計測方法 |
| CN112050869A (zh) * | 2020-08-20 | 2020-12-08 | 长江武汉航道工程局 | 一种连续交变磁场测量装置及其方法 |
| CN113326775B (zh) * | 2021-05-31 | 2023-12-29 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN114474429B (zh) * | 2022-02-17 | 2023-11-10 | 沈阳和研科技股份有限公司 | 一种划片机的基于图像的切割补偿方法 |
| EP4266347A1 (en) * | 2022-04-19 | 2023-10-25 | ASML Netherlands B.V. | Method of filtering false positives for a pixelated electron detector |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1353305A (zh) * | 2000-11-10 | 2002-06-12 | 北京理工大学 | 超高灵敏度荧光显微探测与处理系统 |
| CN1527340A (zh) * | 2003-03-07 | 2004-09-08 | ������������ʽ���� | 电子发射元件、电子源、图像显示装置 |
| US20080227120A1 (en) * | 2007-02-05 | 2008-09-18 | Barroso Margarida | Fret-based assay for screening modulators of receptor cycling |
| CN101822039A (zh) * | 2007-08-31 | 2010-09-01 | 奥多比公司 | 用于针对图像确定照相机瑕疵的系统和方法 |
| CN101978680A (zh) * | 2008-03-18 | 2011-02-16 | 富士通株式会社 | 图像修正程序、图像修正装置以及图像修正方法 |
| CN102629970A (zh) * | 2012-03-31 | 2012-08-08 | 广东威创视讯科技股份有限公司 | 视频图像的噪点去除方法和系统 |
| CN103281526A (zh) * | 2011-12-15 | 2013-09-04 | 弗莱克斯电子有限责任公司 | 网络图像/视频处理系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3870636B2 (ja) * | 1999-11-22 | 2007-01-24 | 株式会社日立製作所 | 走査形電子顕微鏡 |
| US6947178B2 (en) * | 2001-02-26 | 2005-09-20 | International Business Machines Corporation | De-screening halftones using sigma filters |
| JP2005134181A (ja) * | 2003-10-29 | 2005-05-26 | Jeol Ltd | データ処理方法及び分析装置 |
| JP2006130212A (ja) * | 2004-11-09 | 2006-05-25 | Fuji Photo Film Co Ltd | 異常陰影候補検出方法、および装置、ならびにプログラム |
| JP4708944B2 (ja) | 2005-09-26 | 2011-06-22 | キヤノン株式会社 | 画像撮影装置及び画像撮影方法 |
| JP4734135B2 (ja) * | 2005-10-19 | 2011-07-27 | 株式会社日立ハイテクノロジーズ | 荷電粒子線装置、それに用いられるコンピュータプログラム、及び試料像観察方法 |
| CN101990756B (zh) | 2008-01-09 | 2013-11-20 | 欧洲空间局 | 用于星象跟踪仪器件中的有源像素传感器设备 |
| JP5285944B2 (ja) * | 2008-04-03 | 2013-09-11 | 株式会社日立ハイテクノロジーズ | 荷電粒子線装置および荷電粒子線を用いた試料観察手法 |
| US8774544B1 (en) * | 2010-07-23 | 2014-07-08 | Xilinx, Inc. | Determining outlier pixels of successive frames |
| US20140002662A1 (en) | 2012-06-22 | 2014-01-02 | E. Neil Lewis | Particle characterization |
| JP2014096639A (ja) * | 2012-11-07 | 2014-05-22 | Canon Inc | 撮像装置及びその制御方法、並びに、撮像システム |
-
2015
- 2015-07-30 US US14/814,435 patent/US9415095B2/en active Active
- 2015-07-31 CN CN201580051670.9A patent/CN107124901B/zh active Active
- 2015-07-31 EP EP15751192.4A patent/EP3175425B1/en active Active
- 2015-07-31 WO PCT/US2015/043134 patent/WO2016022419A2/en active Application Filing
- 2015-07-31 JP JP2017505621A patent/JP6527940B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1353305A (zh) * | 2000-11-10 | 2002-06-12 | 北京理工大学 | 超高灵敏度荧光显微探测与处理系统 |
| CN1527340A (zh) * | 2003-03-07 | 2004-09-08 | ������������ʽ���� | 电子发射元件、电子源、图像显示装置 |
| US20080227120A1 (en) * | 2007-02-05 | 2008-09-18 | Barroso Margarida | Fret-based assay for screening modulators of receptor cycling |
| CN101822039A (zh) * | 2007-08-31 | 2010-09-01 | 奥多比公司 | 用于针对图像确定照相机瑕疵的系统和方法 |
| CN101978680A (zh) * | 2008-03-18 | 2011-02-16 | 富士通株式会社 | 图像修正程序、图像修正装置以及图像修正方法 |
| CN103281526A (zh) * | 2011-12-15 | 2013-09-04 | 弗莱克斯电子有限责任公司 | 网络图像/视频处理系统 |
| CN102629970A (zh) * | 2012-03-31 | 2012-08-08 | 广东威创视讯科技股份有限公司 | 视频图像的噪点去除方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017526126A (ja) | 2017-09-07 |
| US20150332892A1 (en) | 2015-11-19 |
| EP3175425A2 (en) | 2017-06-07 |
| EP3175425B1 (en) | 2018-10-10 |
| WO2016022419A3 (en) | 2016-04-21 |
| CN107124901A (zh) | 2017-09-01 |
| WO2016022419A2 (en) | 2016-02-11 |
| US9415095B2 (en) | 2016-08-16 |
| JP6527940B2 (ja) | 2019-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107124901B (zh) | 去除电子显微照相机图像异常点的方法 | |
| US8682099B2 (en) | Image correction method and image correction device | |
| EP3342342B1 (en) | Radiation image processing method and radiographic system | |
| EP0998137A2 (en) | Method and apparatus for defective pixel identification | |
| US11195692B2 (en) | System for electron diffraction analysis | |
| US10156647B2 (en) | Method of spectral data detection and manipulation | |
| Fernandez-Perez et al. | Characterization of a hybrid pixel counting detector using a silicon sensor and the IBEX readout ASIC for electron detection | |
| JP6355598B2 (ja) | Ｘ線データ処理装置、その方法およびプログラム | |
| Hussey et al. | Improving quantitative neutron radiography through image restoration | |
| US20120163695A1 (en) | Intra-detector scatter correction | |
| Bekhtin et al. | Algorithmic supply of IR sensors with FPN using texture homogeneity levels | |
| Rossi et al. | A comparison of deghosting techniques in adaptive nonuniformity correction for IR focal-plane array systems | |
| RU2529454C1 (ru) | Способ определения экспериментальным путем функции размытия точки (фрт) в конверторе для регистрации протонного излучения | |
| KR101398578B1 (ko) | 플라즈마 쉬스 내의 이온 분포 모니터링 방법 및 장치 | |
| Illers et al. | Measurement of correlated noise in images of computed radiography systems and its influence on the detective quantum efficiency | |
| Lee et al. | Nonlinear lag correction based on the autoregressive model for dynamic flat-panel detectors | |
| US11694874B2 (en) | Method and system for generating a diffraction image | |
| CN104350738A (zh) | 用于在x射线曝光期间评估x射线射束不均匀性的源的存在的方法 | |
| US12009176B2 (en) | Method and system for generating a diffraction image | |
| KR102582334B1 (ko) | 화상 처리 방법 및 화상 처리 장치 | |
| KR101765563B1 (ko) | 광센서 측정값의 보정 방법 및 광센서 측정값의 노이즈 제거 방법 | |
| WO2023118609A1 (fr) | Procédé de formation et de traitement d'une image gamma |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |