CN117333574B - 一种高速图像获取处理方法及其在扫描成像装置中的应用 - Google Patents
一种高速图像获取处理方法及其在扫描成像装置中的应用 Download PDFInfo
- Publication number
- CN117333574B CN117333574B CN202311629575.5A CN202311629575A CN117333574B CN 117333574 B CN117333574 B CN 117333574B CN 202311629575 A CN202311629575 A CN 202311629575A CN 117333574 B CN117333574 B CN 117333574B
- Authority
- CN
- China
- Prior art keywords
- scanning
- image
- template
- sampling
- random
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims abstract description 103
- 230000000873 masking effect Effects 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 6
- 238000009827 uniform distribution Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 49
- 239000011159 matrix material Substances 0.000 description 15
- 230000009471 action Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及图像数据处理技术领域，公开了一种高速图像获取处理方法及其在扫描成像装置中的应用，包括如下步骤，根据待扫描的物体类型，结合需要的采样率和均匀分布随机生成一个扫描模板；扫描成像装置以生成的扫描模板，在扫描模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描；每个采样点位置获得的横向扫描图像经过汇总处理后获得掩蔽扫描图像；将掩蔽扫描图像经过重建网络算法获取到重建图像，并将重建图像与目标图像对比运算获取损失函数数据。本发明同时对扫描模板和重建网络算法进行联合优化，可以获得全局最优解，从而进一步降低扫描时需要采样的点数并保证重建图像的质量。
Description
技术领域
本发明涉及图像数据处理技术领域，具体为一种高速图像获取处理方法及其在扫描成像装置中的应用。
背景技术
随着现代工业和科技的发展，对于快速成像的需求愈加强烈，尤其是对于大体积或者大面积的物体成像。而现有的提升图像快速成像主要有两个技术路线，其一是提高成像硬件的成像(扫描)速度，其二是提高图像数据处理的速度，目前随着成像硬件的技术发展和体积扫描技术的出现，图像数据处理技术的运算速度面临着更大的挑战；
例如在生物学研究中，了解生物组织器官的结构对于掌握其功能有着很大的促进作用，并对于各种功能疾病的诊断提供强有力的科学根据。但是由于组织器官(例如大脑)尺寸较大，成像范围有限，需要多次区域成像才能获取到完整的一个平面的组织结构数据；同时因为生物体具有特异性，需要对大量样本进行成像研究来得到统计性的结果，所以在对生物大样本进行结构成像时，需要提高数据获取通量，缩短成像时间。
其中，光栅扫描(raster scanning)是一种常见的成像技术，它的基本原理是通过线性扫描和点扫描的组合来捕捉和重构图像。在光栅扫描过程中，成像系统沿着特定的方向逐行逐点扫描，从而获得图像的像素数据。由于其数据获取方式与现有的图像储存格式(图片，即2维矩阵)相兼容，光栅扫描模式被广泛应用于扫描电子显微镜(SEM)、透射电子显微镜(TEM)、和原子力显微镜(AFM)、共聚焦显微镜等成像系统中。
但目前光栅扫描的图像数据获取处理技术，耽搁大量的时间对物体进行逐点、逐行扫描，同一扫描面积下，扫描点位过多，自然造成扫描速度慢，数据处理系统需要处理的数据较多，进而导致成像速度慢，难以快速获得准确的扫描图像。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对现有技术的不足，本发明提供了一种高速图像获取处理方法及其在扫描成像装置中的应用。
为解决上述的技术问题，本发明提供如下技术方案：
一种高速图像获取处理方法，包括如下步骤：
S1、根据待扫描的物体类型，结合需要的采样率和均匀分布随机生成一个扫描模板；
S2、扫描成像装置以S1步骤中生成的扫描模板，在扫描模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描；
S3、每个采样点位置获得的横向扫描图像经过汇总处理后获得掩蔽扫描图像；
S4、将掩蔽扫描图像经过重建网络算法获取到重建图像，并将重建图像与目标图像对比运算获取损失函数数据；
S5、通过所述损失函数数据对所述重建网络算法进行不断地迭代训练，不断获取更为精确的重建网络算法，以得到更为精确的重建图像。
优选地，S5步骤中所述重建网络算法的迭代训练的数据来源为重建图像与真实图像之间的损失函数数据；所述损失函数数据为重建图像与真实图像之间的各个采集点对应位置的数据的L1范数、L2范数、MSE、感知损失函数数据中选取任意多种数据组合后的加权平均值的集合。
优选地，S5步骤中所述重建网络算法的迭代训练步骤为：
S5.1、构建目标图像数据集，并生成扫描模板；
S5.2、将目标图像送入重建网络算法，从而先后生成掩蔽扫描图像和重建图像；
S5.3、将重建图像与目标图像进行损失函数计算，并对损失函数计算得到的损失函数数据进行梯度反传播运算，从而更新重建网络算法的参数，直到重建图像与目标图像之间的损失函数误差收敛。
优选地，将S1步骤替换为，随机模板生成算法根据待扫描的物体类型，生成一个随机的采样模板，将随机的采样模板作为生成的扫描模板；在S2步骤中，将随机的采样模板作为生成的扫描模板，扫描成像装置以随机的采样模板，在随机的采样模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描。
优选地，所述损失函数数据中还包括采样模板的采样率与目标采样率的差值；所述损失函数数据还能够结合噪音输入，共同对随机模板生成算法进行训练，以不断获取更为准确的采样模板；其中，噪音输入的数据来源为：根据特定分布随机生成的噪声。
优选地，S2步骤中，能够根据随机的采样模板确定一个可行路径，扫描成像装置以确定的可行路径移动依次对扫描模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描；其中，扫描路径的确定方式为，以随机的采样模板的各个采样点，采用图构建算法或深度优先搜索算法，寻找到覆盖所有采样点的路径。
优选地，将S1步骤替换为，路径生成算法直接根据待扫描的物体类型，直接生成一个可行路径，基于该可行路径，复现一个复现模板；从可行路径复现出复现模板的方法为：可行路径是在一个N*N的矩阵上进行移动获得，路径生成算法最后生成的可行路径可以看作是一个平面坐标的序列；需要复现获取复现模板时，遍历该平面坐标的序列，并将出现在该序列中的坐标点标记为1，未出现的标记为0，若某一点坐标在该序列中重复出现，该重复出现的坐标点仍标记为1，最终获得的N*N矩阵即为采样模板，其中标记为1的坐标点为复现模板中的采样点；在S2步骤中，扫描成像装置以确定的可行路径移动依次对复现模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描。
优选地，所述路径生成算法的具体步骤为：
S6.1、从一个随机的初始位置开始，将从初始位置到各个可能作为下一步的位置坐标的动作作为action，此时存在若干个action；
S6.2、计算若干个不同action所获的reward；其中，reward数值由实时的损失函数提供；
S6.3、移动到reward数值最大的一个action所对应的下一步的位置坐标位置；
S6.4、重复上述S6.2、S6.3步骤，直到满足停止条件，其中，停止条件为已经经过的位置坐标占全部N*N矩阵的占比满足特定的采样率。
优选地，所述损失函数数据还能够结合噪音输入，共同对路径生成算法进行训练，以不断获取更为有效的可行路径和更为准确的复现模板。
一种高速图像获取处理方法在扫描成像装置中的应用。
与现有技术相比，本发明提供了一种高速图像获取处理方法及其在扫描成像装置中的应用，具备以下有益效果：
1、该种高速图像获取处理方法，通过依据各种扫描模板来减少在横向扫描时需要采样的点数，从而降低扫描相同面积时所需要的采集时间，同时，通过使用重建网络算法，从而可以从前述欠采样的图像点中，重建出与原图质量相近的、高质量的图像。
2、该种高速图像获取处理方法，通过同时对扫描模板和重建网络算法进行联合优化，可以获得全局最优解，从而进一步降低扫描时需要采样的点数并保证重建图像的质量。
3、该种高速图像获取处理方法，通过依据实际扫描器件的物理限制，从扫描模板中生成可行的扫描路径，并使用该路径驱动实际扫描器件，从而减少扫描器件的实际扫描模板与设计的扫描模板之间的偏差，从而进一步提高成像质量。
4、该种高速图像获取处理方法，通过同时对扫描路径和重建网络算法进行联合优化，在扫描路径生成时即引入器件物理限制，并获得全局最优解，从而能够在实际应用场景下提高成像质量。
附图说明
图1为本发明实施例一的高速图像获取处理方法步骤示意图；
图2为本发明实施例一的采样率为50％时的重建图像与目标图像对比图；
图3为本发明实施例一的采样率为10％时的重建图像与目标图像对比图；
图4为本发明实施例二的高速图像获取处理方法步骤示意图；
图5为本发明实施例三的高速图像获取处理方法步骤示意图；
图6为本发明实施例四的高速图像获取处理方法步骤示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
正如背景技术所介绍的，现有技术中存在的不足，为了解决如上的技术问题，本申请提出了一种高速图像获取处理方法及其在扫描成像装置中的应用。
实施例一：
请参考图1，一种高速图像获取处理方法，包括如下步骤：
S1、根据待扫描的物体类型，结合需要的采样率和均匀分布随机生成一个扫描模板；
其中，采样率为根据待扫描的物体类型确定，请参考图2、图3，分别是采样率为50％时的重建图像与目标图像对比图和采样率为10％时的重建图像与目标图像对比图；
其中，S1步骤具体为，将整个待扫描的物体投影面生成一个N*N的矩阵，将该N*N的矩阵中的每个元素点(N*N个元素点)，按照0-1的均匀分布生成一组N*N个数字的数字序列，然后根据采样率(以采样率为50％时和采样率为10％时为例)进行阈值化处理：
当根据待扫描的物体类型确定采样率为50％时，将数字序列中超过0.5数值的数字标记为0，数字序列中不超过0.5数值的数字标记为1，由此生成一个N*N矩阵的扫描模板；
根据待扫描的物体类型确定采样率为10％时，将数字序列中超过0.1数值的数字标记为0，数字序列中不超过0.1数值的数字标记为1，由此生成一个N*N矩阵的扫描模板；
其中，标记为1元素点即为扫描模板中的采样点，而每个采样点在扫描模板对应的N*N矩阵中也具有唯一一个确定的坐标。
S2、扫描成像装置以S1步骤中生成的扫描模板，在扫描模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描；
其中，扫描成像装置包括但不限于mems振镜或其他具有随机寻址能力的反射镜，根据扫描模板给定的各个采样点位置对待扫描的物体进行扫描。
掩蔽扫描图像的获取主要通过高速扫描元件(高速扫描元件通常采用MEMS振镜或DLP，其中MEMS振镜的具体参数设定和具体使用原理请参见https://www.mirrorcletech.com/wp/products/mems-mirrors/，此处不再详述)来实现，以使用MEMS振镜的OCT系统(本实施例中的OCT系统采用现有技术中的OCT系统，该OCT系统的具体参数设定和具体使用原理请参见https://www.proquest.com/docview/1978063193，在此不再详述)为例：
首先，设定MEMS振镜的扫描采样率与OCT系统的成像速率相同，并进行同步；即，MEMS振镜每移动一个位置，对应OCT系统进行一次采集；
然后，将S1步骤中获取的扫描模板对应的坐标序列(每个采样点在扫描模板对应的N*N矩阵中也具有唯一一个确定的坐标，全部采样点所对应的确定的坐标按照一定的顺序进行排列生成此处的坐标序列)输入到振镜控制器，然后控制振镜根据坐标位置在样品表面进行逐点移动，每次移动到采样点位置时，即进行一次采集。
S3、每个采样点位置获得的横向扫描图像经过汇总处理后获得掩蔽扫描图像；
等MEMS振镜遍历完扫描模板对应的坐标序列后，OCT系统即能够根据各个采样点获取的采集信息汇总获得所需要的掩蔽扫描图像，此处OCT系统根据每个采集点汇总获取掩蔽扫描图像的技术方案为OCT系统中的已有技术方案，此处不再详述其具体技术方案。
S4、将掩蔽扫描图像经过重建网络算法获取到重建图像，并将重建图像与目标图像对比运算获取损失函数数据；
其中，所述重建网络算法选用神经网络算法，所述重建网络算法选用Unet、SRCNN、EDSR、resnet算法中的任意一种或者多种组合；
本实施例中，重建网络算法有2个输入通道和1个输出通道，采用U-Net架构网络，具有四个下采样(和相应的上采样)块，输入层的初始特征设置为32个特征，下采样块采用LeaklyReLU(负斜率为0.2)激活函数，上采样块采用ReLU激活函数，所有块都使用批量归一化，每个块都有两个卷积层。
S5、通过损失函数数据对重建网络算法进行不断地迭代训练，不断获取更为精确的重建网络算法，以得到更为精确的重建图像。
所述重建网络算法的迭代训练的数据来源为重建图像与真实图像之间的损失函数数据；
所述损失函数数据为重建图像与真实图像之间的各个采集点对应位置的数据的L1范数、L2范数、MSE、感知损失函数数据中选取任意多种数据组合后的加权平均值的集合。
本实施例中，重建网络算法的损失函数数据采用计算目标图像与真实图像之间差异的L2、L1范数和感知损失，具体函数关系式为：
其中，为总的损失函数，/>为目标图像与真实图像之间差异的L2范数；λ1为/>的权重；/>为目标图像与真实图像之间差异的L1范数；λ2为/>的权重；/>为目标图像与真实图像之间感知损失；
所述重建网络算法的迭代训练步骤为：
S5.1、构建目标图像数据集，并生成扫描模板；
本实施例中，目标数据集包括常用的、公开的自然图像数据集如ImageNet或DIV2K，还可以包括专门的OCT图像数据集如Kermany眼科OCT数据集或私有的OCT图像数据集；
其中目标数据集中包括的数据集中需要包含二维的灰度图像，并需要将该二维的灰度图像经过重新采样至与扫描模板大小一致。
S5.2、将目标图像送入重建网络算法，从而先后生成掩蔽扫描图像和重建图像；
S5.3、将重建图像与目标图像进行损失函数计算，并对损失函数计算得到的损失函数数据进行梯度反传播(SGD或ADAM)运算，从而更新重建网络算法的参数，直到重建图像与目标图像之间的损失函数误差收敛。
在本实施例中，在对重建网络算法的训练框架中，使用的批量大小为1，初始学习率为0.001，使用动量为(0.9,0.999)的AdamW优化器对网络进行了100个周期的训练，然后使用余弦衰减策略来降低学习率。当损失函数的变化量小于0.0001时，即判断收敛。其中，所有实验都使用NVIDIA GeForce RTX 3090GPU卡进行训练和测试。
实施例二：
请参考图4，一种高速图像获取处理方法，包括如下步骤：
S1、根据待扫描的物体类型，随机模板生成算法(mask generator)生成一个随机的采样模板，将随机的采样模板作为生成的扫描模板；
随机模板生成算法采用掩膜神经网络，掩膜神经网络的输入为随机噪声，通过四层上采样和四层下采样的U-Net架构输出两组特征图，其中每层上采样或下采样均包含两层卷积层，最后两组特征图通过Gumbel Softmax激活函数生成随机的采样模板；
其中Gumbel Softmax激活函数为：
其中D和分别为掩膜神经网络和Gumbel Softmax激活函数的输出；随机选择/>的一个通道作为随机的采样模板；g是Gumbel(0,1)分布中独立且相同采样的随机噪声，τ是控制Gumbel分布密度的值，p和c分别为像素指数和通道指数，/>代表为通道为c，像素为p下的Gumbel Softmax激活函数的输出；/>代表为通道为c，像素为p下掩膜神经网络的输出；/>代表为通道为k，像素为p下随机噪声的输出；/>代表为通道为k，像素为p下掩膜神经网络的输出；当k＝0时，/>代表为通道为0，像素为p下随机噪声的输出；/>代表为通道为0，像素为p下掩膜神经网络的输出；
S2、将随机的采样模板作为生成的扫描模板，扫描成像装置以随机的采样模板，在随机的采样模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描；
S3、每个采样点位置获得的横向扫描图像经过汇总处理后获得掩蔽扫描图像；
S4、将掩蔽扫描图像经过重建网络算法获取到重建图像，并将重建图像与目标图像对比运算获取损失函数数据；
其中，所述损失函数数据除包括实施例一种的损失函数数据外中还包括采样模板的采样率与目标采样率的差值；
S5、通过损失函数数据对重建网络算法进行不断地迭代训练，不断获取更为精确的重建网络算法，所述损失函数数据还能够结合噪音输入，共同对随机模板生成算法进行训练，以不断获取更为准确的采样模板，以得到更为精确的重建图像；
其中，噪音输入的数据来源为：根据特定分布随机生成的噪声，该特定分布随机生成的噪声的方式为gan中的生成模式，从噪声中生成信号。
随机模板生成算法和重建网络算法的迭代训练步骤均与实施例一种的重建网络算法的迭代训练步骤相同，不同的是所述损失函数数据还能够结合噪音输入，共同对随机模板生成算法进行训练，以不断获取更为准确的采样模板。
实施例三：
请参考图5，一种高速图像获取处理方法，包括如下步骤：
S1、根据待扫描的物体类型，随机模板生成算法生成一个随机的采样模板，将随机的采样模板作为生成的扫描模板；
S2、将随机的采样模板作为生成的扫描模板，能够根据随机的采样模板确定一个可行路径，扫描成像装置以确定的可行路径移动依次对扫描模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描；
其中，扫描路径的确定方式为，以随机的采样模板的各个采样点，采用图构建算法或深度优先搜索算法，寻找到覆盖所有采样点的路径。
其中，图构建算法为，首先，将N*N的矩阵看作是一个图，其中每个元素是一个节点，节点之间的连接表示它们之间的距离。如果相邻边的长度不得大于一个特定值，则只连接满足该条件的节点。
其中，深度优先搜索算法为：使用深度优先搜索(DFS)算法来寻找覆盖所有1的节点的路径。DFS是一个能够探索图的所有节点的算法，它可以用来寻找满足特定条件的路径。
S3、每个采样点位置获得的横向扫描图像经过汇总处理后获得掩蔽扫描图像；
S4、将掩蔽扫描图像经过重建网络算法获取到重建图像，并将重建图像与目标图像对比运算获取损失函数数据；
其中，所述损失函数数据除包括实施例一种的损失函数数据外中还包括采样模板的采样率与目标采样率的差值；
S5、通过所述损失函数数据对所述重建网络算法进行不断地迭代训练，不断获取更为精确的重建网络算法，所述损失函数数据还能够结合噪音输入，共同对随机模板生成算法进行训练，以不断获取更为准确的采样模板，以得到更为精确的重建图像。
实施例四：
请参考图6，一种高速图像获取处理方法，包括如下步骤：
S1、路径生成算法直接根据待扫描的物体类型，直接生成一个可行路径，基于该可行路径，复现一个复现模板；
所述路径生成算法的具体步骤为：
S6.1、从一个随机的初始位置开始，将从初始位置到各个可能作为下一步的位置坐标的动作作为action，此时存在若干个action；
S6.2、计算若干个不同action所获的reward；其中，reward数值由实时的损失函数提供；
S6.3、移动到reward数值最大的一个action所对应的下一步的位置坐标位置；
S6.4、重复上述S6.2、S6.3步骤，直到满足停止条件，其中，停止条件为已经经过的位置坐标占全部N*N矩阵的占比满足特定的采样率。
其中，该特定的采样率在本实施例中可采用上文中的采样率为50％或采样率为10％；
另外，停止条件还可以为已经经过的位置坐标占全部N*N矩阵的占比达到PSNR或SSIM值；
其中，PSNR(Peak signal-to-noise ratio，峰值信噪比)，是一个表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值的工程术语。由于许多信号都有非常宽的动态范围，峰值信噪比常用对数分贝单位来表示；峰值信噪比经常用作图像压缩等领域中信号重建质量的测量方法，它常简单地通过均方误差(MSE)进行定义。
SSIM(Structural Similarity，结构相似性)，是一种衡量两幅图像相似度的指标。
上述PSNR或SSIM值的具体数值选取根据各种采样对象的不同，数值不同，为现有技术中的常见数值，在此不逐一列举其具体数值。
此外，在实际使用时，所述路径生成算法还可以采用现有技术中的常见的路径生成算法，如广度优先搜索(BFS)、深度优先搜索(DFS)等；
其中，广度优先搜索(BFS)是一种用于图形搜索和遍历的算法，它从起始节点开始，逐层遍历所有相邻的节点，直到找到目标节点，广度优先搜索的特点是它能找到最短路径，它使用一个队列来存储待遍历的节点，每次从队列中取出一人节点，并将其相邻的未访问节点加入队列，直到队列为空或找到目标节点为止；
深度优先搜索(DFS)是一种用于图形搜索和遍历的算法，它从起始节点开始，沿着一条路径一直向下搜索，直到到达最深的节点或找到目标节点，然后回溯到上一层节点，继续搜索相邻的未访问节点，深度优先搜索的特点是它能够快速找到一条路径，但不一定是最短路径。
其中，从可行路径复现出复现模板的方法为：可行路径是在一个N*N的矩阵上进行移动获得，路径生成算法最后生成的可行路径可以看作是一个平面坐标的序列；需要复现获取复现模板时，遍历该平面坐标的序列，并将出现在该序列中的坐标点标记为1，未出现的标记为0，若某一点坐标在该序列中重复出现，该重复出现的坐标点仍标记为1，最终获得的N*N矩阵即为采样模板，其中标记为1的坐标点为复现模板中的采样点；
S2、扫描成像装置以确定的可行路径移动依次对复现模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描。
S3、每个采样点位置获得的横向扫描图像经过汇总处理后获得掩蔽扫描图像；
S4、将掩蔽扫描图像经过重建网络算法获取到重建图像，并将重建图像与目标图像对比运算获取损失函数数据；
其中，所述损失函数数据除包括实施例一种的损失函数数据外中还包括采样模板的采样率与目标采样率的差值；
S5、通过所述损失函数数据对所述重建网络算法进行不断地迭代训练，不断获取更为精确的重建网络算法，所述损失函数数据还能够结合噪音输入，共同对路径生成算法进行训练，以不断获取更为有效的可行路径和更为准确的复现模板，以得到更为精确的重建图像。
实施例五：
一种高速图像获取处理方法在扫描成像装置中的应用，本实施例中可采用实施例一到实施例四中任意一个实施例的一种高速图像获取处理方法，本实施例中扫描成像装置可以选取扫描电子显微镜(SEM)、透射电子显微镜(TEM)、原子力显微镜(AFM)、共聚焦显微镜等成像装置；
上述的任意一种扫描装置均能够执行扫描模板的各个扫描点的扫描。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (2)
1.一种高速图像获取处理方法，其特征在于，包括如下步骤：
S1、随机模板生成算法根据待扫描的物体类型，生成一个随机的采样模板，将随机的采样模板作为生成的扫描模板；
随机模板生成算法采用掩膜神经网络，掩膜神经网络的输入为随机噪声，通过四层上采样和四层下采样的U-Net架构输出两组特征图，其中每层上采样或下采样均包含两层卷积层，最后两组特征图通过Gumbel Softmax激活函数生成随机的采样模板；
其中Gumbel Softmax激活函数为：
其中D和分别为掩膜神经网络和Gumbel Softmax激活函数的输出；随机选择/>的一个通道作为随机的采样模板；g是Gumbel(0,1)分布中独立且相同采样的随机噪声，τ是控制Gumbel分布密度的值，p和c分别为像素指数和通道指数，/>代表通道为c，像素为p下的Gumbel Softmax激活函数的输出；/>代表通道为c，像素为p下掩膜神经网络的输出；/>代表通道为k，像素为p下随机噪声的输出；/>代表通道为k，像素为p下掩膜神经网络的输出；当k＝0时，/>代表通道为0，像素为p下随机噪声的输出；/>代表通道为0，像素为p下掩膜神经网络的输出；当k＝1时，/>代表通道为1，像素为p下随机噪声的输出；/>代表通道为1，像素为p下掩膜神经网络的输出；
S2、根据随机的采样模板确定一个可行路径，扫描成像装置以确定的可行路径移动依次对扫描模板中给定的各个采样点位置分别对待扫描的物体进行横向扫描；
其中，扫描路径的确定方式为，以随机的采样模板的各个采样点，采用图构建算法或深度优先搜索算法，寻找到覆盖所有采样点的路径；
S3、每个采样点位置获得的横向扫描图像经过汇总处理后获得掩蔽扫描图像；
S4、将掩蔽扫描图像经过重建网络算法获取到重建图像，并将重建图像与目标图像对比运算获取损失函数数据；
S5、通过所述损失函数数据对所述重建网络算法进行不断地迭代训练，不断获取更为精确的重建网络算法，以得到更为精确的重建图像；
S5步骤中所述重建网络算法的迭代训练的数据来源为重建图像与真实图像之间的损失函数数据；
所述损失函数数据为目标图像与真实图像之间差异的L2、L1范数和感知损失的集合；
损失函数的关系式为：
其中，为总的损失函数，/>为目标图像与真实图像之间差异的L2范数；λ1为的权重；/>为目标图像与真实图像之间差异的L1范数；λ2为/>的权重；/>为目标图像与真实图像之间感知损失；
所述损失函数数据还能够结合噪音输入，共同对随机模板生成算法进行训练，以不断获取更为准确的采样模板；
其中，噪音输入的数据来源为：根据特定分布随机生成的噪声。
2.一种高速图像获取处理方法在扫描成像装置中的应用，其特征在于，使用了如权利要求1所述的一种高速图像获取处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311629575.5A CN117333574B (zh) | 2023-12-01 | 2023-12-01 | 一种高速图像获取处理方法及其在扫描成像装置中的应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311629575.5A CN117333574B (zh) | 2023-12-01 | 2023-12-01 | 一种高速图像获取处理方法及其在扫描成像装置中的应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117333574A CN117333574A (zh) | 2024-01-02 |
| CN117333574B true CN117333574B (zh) | 2024-05-03 |
Family
ID=89293869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311629575.5A Active CN117333574B (zh) | 2023-12-01 | 2023-12-01 | 一种高速图像获取处理方法及其在扫描成像装置中的应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333574B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107837069A (zh) * | 2016-09-18 | 2018-03-27 | 哈尔滨工业大学（威海） | 一种光声显微成像系统及方法 |
| CN110599399A (zh) * | 2019-07-26 | 2019-12-20 | 清华大学 | 基于卷积神经网络的快速双光子成像方法及装置 |
| CN111415297A (zh) * | 2020-03-06 | 2020-07-14 | 清华大学深圳国际研究生院 | 一种共聚焦显微镜的成像方法 |
| CN113379867A (zh) * | 2021-07-05 | 2021-09-10 | 北京大学深圳研究生院 | 一种基于联合优化采样矩阵的核磁共振图像重建方法 |
-
2023
- 2023-12-01 CN CN202311629575.5A patent/CN117333574B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107837069A (zh) * | 2016-09-18 | 2018-03-27 | 哈尔滨工业大学（威海） | 一种光声显微成像系统及方法 |
| CN110599399A (zh) * | 2019-07-26 | 2019-12-20 | 清华大学 | 基于卷积神经网络的快速双光子成像方法及装置 |
| CN111415297A (zh) * | 2020-03-06 | 2020-07-14 | 清华大学深圳国际研究生院 | 一种共聚焦显微镜的成像方法 |
| CN113379867A (zh) * | 2021-07-05 | 2021-09-10 | 北京大学深圳研究生院 | 一种基于联合优化采样矩阵的核磁共振图像重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117333574A (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108550115B (zh) | 一种图像超分辨率重建方法 | |
| JP5268257B2 (ja) | イメージガイドを通じて取得した共焦点画像の超解像度方法および装置、並びにこの方法を実施するための機器 | |
| CN111340944B (zh) | 基于隐式函数和人体模板的单图像人体三维重建方法 | |
| JP2013117848A (ja) | 画像処理装置及び画像処理方法 | |
| CN109584156A (zh) | 显微序列图像拼接方法及装置 | |
| EP3611529A1 (en) | Motion determination for volumetric magnetic resonance imaging using a deep machine-learning model | |
| JP2015108837A (ja) | 画像処理装置及び画像処理方法 | |
| CN114241077B (zh) | 一种ct图像分辨率优化方法及装置 | |
| Song et al. | S^ 2 RGAN S 2 RGAN: sonar-image super-resolution based on generative adversarial network | |
| CN111383177B (zh) | 一种激光超声可视化图像分辨率提升方法 | |
| CN113989343A (zh) | 基于注意力机制的传感器融合深度重建数据驱动方法 | |
| CN117333574B (zh) | 一种高速图像获取处理方法及其在扫描成像装置中的应用 | |
| Bai et al. | Digital core 3d reconstruction based on micro-ct images via a deep learning method | |
| CN114092329A (zh) | 一种基于亚像素神经网络的超分辨荧光显微成像方法 | |
| CN114972033B (zh) | 一种提高光学相干层析图像纵向分辨率的自监督方法 | |
| CN110766609A (zh) | 一种针对ToF相机的景深图超分辨率重建方法 | |
| CN114332282A (zh) | 一种结合目标检测的稀疏光声图像重建方法及系统 | |
| CN114998405A (zh) | 基于图像驱动的数字化人体模型构建方法 | |
| CN114565511A (zh) | 基于全局单应性估计的轻量级图像配准方法、系统及装置 | |
| CN115496738A (zh) | 基于Transformer与SE的磁瓦缺陷检测方法 | |
| Merryman et al. | An adaptive multirate algorithm for acquisition of fluorescence microscopy data sets | |
| CN110443755B (zh) | 一种基于高低频信号量的图像超分辨率的方法 | |
| CN114677281A (zh) | 一种基于生成对抗网络的fib-sem超分辨率算法 | |
| CN113298714A (zh) | 一种基于深度学习的图像跨尺度超分辨率方法 | |
| CN113191949A (zh) | 多尺度超分辨率病理图像数字化方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |