CN116843597B - 离散点图像快速重建方法、装置、终端及存储介质 - Google Patents

离散点图像快速重建方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN116843597B
CN116843597B CN202311102249.9A CN202311102249A CN116843597B CN 116843597 B CN116843597 B CN 116843597B CN 202311102249 A CN202311102249 A CN 202311102249A CN 116843597 B CN116843597 B CN 116843597B
Authority
CN
China
Prior art keywords
discrete point
image
module
discrete
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311102249.9A
Other languages
English (en)
Other versions
CN116843597A (zh
Inventor
陈金娜
胡嘉祺
沈平
党竑
陈俊帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202311102249.9A priority Critical patent/CN116843597B/zh
Publication of CN116843597A publication Critical patent/CN116843597A/zh
Application granted granted Critical
Publication of CN116843597B publication Critical patent/CN116843597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及离散点图像快速重建方法、装置、终端及存储介质，方法包括步骤：以设定数量的标准图像数据输入训练数据集生成模块，训练数据集生成模块对其进行离散像素点提取和重建生成离散点图像数据，以构建与输入标准图像对应的离散点图像数据并建库作为下一步骤的训练数据集；利用上一步构建的训练数据集训练离散点图像重建算法模块，该模块输出的处理后图像与其对应的标准图像计算损失值，并将计算结果反馈给离散点图像重建算法模块，使其进行参数自优化；训练完成后，离散点图像重建算法模块可对输入的任意离散点图像数据实时重建标准像素图像数据，处理速度不因数据量增加而改变。

Description

离散点图像快速重建方法、装置、终端及存储介质
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种离散点图像快速重建方法、装置、终端及存储介质。
背景技术
扫描显微镜例如拉曼显微镜、原子力显微镜和荧光显微镜等在获取图像时大部分是通过振镜或位移台对成像区域进行逐点扫描成像，相比于常规的面成像，这种方法可以获得更高质量和分辨率的图像被广泛应用于生命科学，材料分析等领域。
随着显微镜技术不断发展，获取数据采集速度越来越快，对扫描速度也有更高的要求。由于扫描振镜有启动和稳定时间，为了追求更快的成像速度，一般采用连续扫描方式，其中最优选择是谐振或三角扫描。然而，这种扫描方式容易造成像素点分布不均匀。与常规图像数据不同，这种数据每个点都包含三个维度的信息：横坐标，纵坐标和强度。常规的深度学习图像算法是标准的图像矩阵，无法用于重建此类数据。
现阶段，对于这个问题有三个解决方法：1.只选取扫描区域中间像素点相对均匀的区域成像，舍弃边缘信息；2.将一定范围内的像素点认为是同一个像素，并求其平均强度值作为标准图像上的一个像素值；3.点数据维度包含横坐标，纵坐标和强度，可以看作是一个三维数据，使用数学迭代式算法例如径向基矢量重建法对图像进行重建；第一个方法简单有效，但是图像会产生一定畸变，并且边缘扫描数据被舍弃，牺牲视野范围，降低成像效率；第二个方法计算速度快，但是没有充分利用图像位置信息，导致图像分辨率低；第三个方法可获得与矩形扫描同等质量的图像，但是迭代式算法运算速度慢，难以匹配高速扫描显微镜的采集速度；因此，需要一种能够克服上述缺陷的离散点图像快速重建方式方法。
定义：
离散点图像：由离散点数据构成图像中的数据集，每个离散点包含在图像横（X）轴、纵（Y）轴坐标信息和一个强度值，通过强度值记录不同位置下像素强度，将其进行组合可重构回标准图像
标准图像：由点阵构成的图像，每一个像素值保存在点阵固定位置。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种离散点图像快速重建方法，还提供了一种离散点图像快速重建装置、一种离散点图像快速重建终端及一种计算机可读存储介质。
本发明解决其技术问题所采用的技术方案是：
构造一种离散点图像快速重建方法，其中，包括以下步骤：
生成训练数据集；
以设定数量的标准图像数据输入训练数据集生成模块，训练数据集生成模块对输入的标准图像进行离散像素点提取和重建生成离散点图像数据，以此构建与输入的标准图像对应的离散点图像数据并建库作为下一步骤的训练数据集；
离散点图像重建算法模块的训练；
将上一步构建的离散点图像数据输入本模块进行快速高质量图像重建并输出标准像素重建图像，输出的标准像素重建图像与离散点图像数据对应的标准图像进行损失值计算，并将计算结果反馈给离散点图像重建算法模块，以促使其进行参数自优化。
本发明所述的离散点图像快速重建方法，其中，所述离散点图像快速重建算法模块进行训练时包括方法：
根据点位置划分不同的子区域，共有i个子区域，每个子区域有Bi个点，每个点包含横坐标、纵坐标和像素值三个维度信息；
通过自适应重采样模块对每个区域的数据进行重采样并乱序后得到i个子区域有X个点；
通过点数据编码网络模块对各离散点进行非线性拟合编码处理；
通过池化网络模块对上述点数据编码网络模块输出的向量的第一个维度取最大值或最小值，点数的位置和强度信息被编码到向量的第二个维度；
通过标准像素重建网络模块将编码数据重建为M*N的标准像素重建图像。
本发明所述的离散点图像快速重建方法，其中，在完成训练后，离散点图像快速重建算法模块的主体部分即离散点图像重建算法模块。
本发明所述的离散点图像快速重建方法，其中，所述参数自优化的优化方向为损失值的最小化，当损失值不再减少时，优化过程结束，训练过程完成。
本发明所述的离散点图像快速重建方法，其中，训练离散点图像重建算法模块的损失函数采用交叉熵损失函数：
其中255是图像像素值的上限，0是图像像素值的下限；T是标准像素重建图像中的像素总数；i代表第i个像素点；c = 0表示在计算损失值时从像素值为0开始计算；yic代表符号函数：如果第i个点像素值等于c，取1，反之取0；pic代表第i个像素值预测为c的概率；
将离散点图像重建算法模块输出的标准像素重建图像和标准图像根据上述交叉熵损失函数计算损失值并使用梯度下降法反馈给离散点图像重建算法模块对参数进行优化，当计算的损失值不再变小时，离散点图像重建算法模块训练完成。
一种离散点图像快速重建装置，用于实现如上述的离散点图像快速重建方法，其中，包括训练数据集生成模块和离散点图像重建算法模块；
所述训练数据集生成模块，以设定数量的标准图像数据输入训练数据集生成模块，训练数据集生成模块对输入的标准图像进行离散像素点提取和重建生成离散点图像数据，以此构建与输入的标准图像对应的离散点图像数据并建库作为下一步骤的训练数据集；
所述离散点图像重建算法模块的训练，将上一步构建的离散点图像数据输入本模块进行快速高质量图像重建并输出标准像素重建图像，输出的标准像素重建图像与离散点图像数据对应的标准图像进行损失值计算，并将计算结果反馈给离散点图像重建算法模块，以促使其进行参数自优化。
本发明所述的离散点图像快速重建装置，其中，所述离散点图像重建算法模块包括分区域划分模块、自适应重采样模块、点数据编码网络模块、池化网络模块和标准像素重建网络模块；
所述子区域划分模块，根据点位置划分不同的子区域，共有i个子区域，每个子区域有Bi个点，每个点包含横坐标、纵坐标和像素值三个维度信息；
所述自适应重采样模块，通过自适应重采样模块对每个区域的数据进行重采样并乱序后得到i个子区域有X个点；
所述点数据编码网络，用于对各点进行非线性拟合编码处理；所述点数据编码网络模块由多个全连接层或卷积层组成，网络层数量取决于自适应重采样模块中的重采样数量，每一个全连接层或卷积层对应一个数据点，并且该全连接层或卷积层的输出层设为固定值；全连接层或卷积层充当一个非线性拟合器，其通过训练数据集训练后使点数据编码网络模块获得离散点的编码能力。
所述池化网络，通过池化网络模块对上述点数据编码网络模块输出的向量的第一个维度取最大值或最小值，点数的位置和强度信息被编码到向量的第二个维度；
所述标准像素重建网络，通过标准像素重建网络模块将编码数据重建为M*N的标准像素重建图像。
本发明所述的离散点图像快速重建装置，其中，完成训练后，离散点图像快速重建算法模块的主体部分即生成离散点图像快速重建；
所述装置还包括对离散点图像快速重建算法模块进行优化的优化模块；所述优化模块，损失函数采用交叉熵损失函数：
其中255是图像像素值的上限，0是图像像素值的下限；T是标准像素重建图像中的像素总数；i代表第i个像素点；c = 0表示在计算损失值时从像素值为0开始计算；yic代表符号函数：如果第i个点像素值等于c，取1，反之取0；pic代表第i个像素值预测为c的概率；将离散点图像重建算法模块输出的标准像素重建图像和标准图像根据上述交叉熵损失函数计算损失值并使用梯度下降法反馈给离散点图像重建算法模块对参数进行优化，当计算的损失值不再变小时，离散点图像重建算法模块训练完成。
一种离散点图像快速重建终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述方法的步骤。
本发明的有益效果在于：应用本申请的方式方法，将可将输入本发明的离散点图像数据，实时重建并输出高像素高质量图像数据；由于该模型采用的深度学习网络属于非迭代式运算，其处理速度不会因图像数据的像素点数量增加而增加，保障有较高的处理效率的同时，能够保障输出图像的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图及实施例对本发明作进一步说明，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图：
图1是本发明较佳实施例的离散点图像快速重建方法训练过程逻辑流程图；
图2是本发明较佳实施例的离散点图像快速重建方法应用过程逻辑流程图；
图3是本发明较佳实施例的离散点图像快速重建方法示例的逻辑流程图；
图4是本发明较佳实施例的离散点图像快速重建方法像素点示意图；
图5是本发明较佳实施例的离散点图像快速重建方法分区域划分示意图；
图6是本发明较佳实施例的离散点图像快速重建方法重建结果示意图；
图7是本发明较佳实施例的离散点图像快速重建方法结果比对示意图；
图8是本发明较佳实施例的离散点图像快速重建装置原理框图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明较佳实施例的离散点图像快速重建方法，如图1所示，同时参阅图2，包括以下步骤：
生成训练数据集；
本发明首先以设定数量的标准图像数据输入训练数据集生成模块，以设定数量的标准图像数据输入训练数据集生成模块，训练数据集生成模块对输入的标准图像进行离散像素点提取和重建生成离散点图像数据，以此构建与输入的标准图像对应的离散点图像数据并建库作为下一步骤的训练数据集；
离散点图像重建算法模块的训练；
以上述构建的训练集离散点图像数据为输入，以其相应的标准图像为标签，对本发明的离散点图像重建算法模块进行训练，具体的训练过程为：离散点图像重建算法模块将步骤一构建的离散点图像数据进行快速高质量图像重建并输出标准像素重建图像，输出的标准像素重建图像与离散点图像数据对应的标准图像进行损失值计算，并将计算结果反馈给离散点图像重建算法模块，以促使其进行参数自优化，优化的方向为该损失值的最小化，当计算的损失值不再变小时，离散点图像重建算法模块训练完成，即完成该训练过程。经过此训练的离离散点图像重建算法模块即生成本发明离散点图像快速重建。应用过程：通过对本发明离散点图像快速重建输入任意离散点图像数据，该模型可以高速重建并输出标准像素图像数据；
应用本申请的方式方法，将可以对输入本发明的任意离散点图像数据，实时重建并输出标准像素图像数据；由于该模型采用的深度学习网络属于非迭代式运算，其处理速度不会因意离散点图像数据的点数量增加而增加，保障有较高的处理效率的同时，能够保障输出图像的质量。
更具体的，如图3所示：
步骤一，训练集数据的生成
标准图像共有M*N个像素点，M表示横轴上像素点数，N表示纵轴上的像素点数（如图4所示）。
上述标准图像被输入离散像素点提取模块，该模块对输入的标准图像选取随机数量和随机位置像素点并记录其坐标位置，随后将选取的像素点放置于对应的坐标位置并重建成离散点图像。
每一张输入的标准图像做P次随机像素提取和重建，这些数据包含三个维度信息：横坐标，纵坐标和像素值，并保留其与标准图像的对应关系，从而构建标准图像数量*P*3的离散点图像训练数据集。
步骤二，离散点图像重建算法模块的训练
将步骤一获得的离散点图像训练数据集作为输入，将其对应的标准图像作为标签，对离散点图像重建算法模块开展训练。离散点图像重建算法模块共包括六个部分：子区域划分模块，自适应重采样模块，点数据编码网络模块，池化网络模块和标准像素重建网络模块。
如图5所示，子区域划分模块用于根据点位置划分不同的区域，每个区域包含的点数据不一样，共有i个子区域，每个子区域有Bi个点，每个点仍包含横坐标，纵坐标和像素值三个维度信息。
为了解决每个区域数据点数量随机的问题，进一步将上一步划分后的数据输入到自适应重采样模块，进而对每个区域的数据进行重采样并乱序后得到i个子区域有X个点，每个点仍包含横坐标，纵坐标和像素值三个维度信息。
点数据编码网络模块由X个全连接层或卷积层组成，网络层数量取决于自适应重采样模块中的重采样数量，每一个全连接层或卷积层对应一个数据点，并且该全连接层或卷积层的输出层设为Y；全连接层或卷积层充当一个非线性拟合器，其通过训练数据集训练后使点数据编码网络模块获得离散点的编码能力。
为了解决实际点的输入到标准像素重建网络模块顺序不一致的问题，池化网络模块对上述获得向量的第二个维度，即每个区域所在点数的维度即X维度取最大值或最小值。位置和强度信息被编码到第三个维度即Y维度，因此经过此步骤，X维度上数据只保留最大或最小，获得了在保留所有信息情况下与输入顺序X无关的编码数据。
采用标准像素重建网络对编码数据重建为M*N的图像数据。
标准像素重建网络可采用卷积神经网络、Transformer、图神经网络或全连接层等方法。
训练网络损失函数使用交叉熵损失函数，
其中255是图像像素值的上限，0是图像像素值的下限；T是标准像素重建图像中的像素总数；i代表第i个像素点；c = 0表示在计算损失值时从像素值为0开始计算；yic代表符号函数：如果第i个点像素值等于c，取1，反之取0；pic代表第i个像素值预测为c的概率。
离散点图像重建算法模块重建后的图像与对应的标准图像根据上述交叉熵损失函数计算损失值并使用梯度下降法反馈给网络进行优化。
当计算的损失值不再变小时，离散点图像重建算法模块训练完成。
在完成训练后，离散点图像快速重建算法模块的主体部分即生成离散点图像重建算法模块。
离散点图像重建算法模块的应用：
将离散点图像数据输入到本发明生成的离散点图像重建算法模块中，即可快速输出重建后的标准图像数据。由于该模块采用的深度学习网络属于非迭代式运算，其运算速度不会因数据量的增加而增加。
本发明与现有的径向基矢量重建法进行重建效果对比，采用峰值信噪比（PSNR）和结构相似度（SSIM）进行评估。
其中M*N表示标准图像M*N个像素构成，M为矩阵第一个维度，N为矩阵第二个维度；i,j分别表示在第一个和第二个维度上取第i个和第j个像素；y(i,j)表示标准图像中第（i,j）个像素的像素值，p(i,j)表示重建后图像中第（i,j）个像素的像素值。
其中y，p分别表示标准图像和重建后图像；和/>分别表示表示标准图像和重建后的图像的均值；/>和/>分别表示表示标准图像和重建后的图像的方差；C1,C2和C3是一个极小常数，防止分母等于0。
重建结果如图6所示，本发明提出的方法可以对任意数量的离散点数据进行快速图像重建，并且图像细节（SSIM）更优。同时在NVIDIA GeFore RTX 3080Ti上运行的情况下，将任意数量的离散点数据重建回256*256像素的图像，重建速度是0.06秒（s）。
图7统计了不同数量离散点图像数据的重建效果，结果显示本发明提出的方法重构的图像具有更高的结构相似度（SSIM），并且30000个离散点数据重建速度比径向基矢量重建法快上千倍。并且本发明的图像重建速度不因图像像素点的增加而有明显变化。
一种离散点图像快速重建装置，用于实现如上述的离散点图像快速重建方法，如图8所示，包括训练集数据生成模块1和离散点图像重建算法模块2；
训练集数据生成模块1，以设定数量的标准图像数据输入训练数据集生成模块，训练数据集生成模块对输入的标准图像进行离散像素点提取和重建生成离散点图像数据，以此构建与输入的标准图像对应的离散点图像数据并建库作为下一步骤的训练数据集；
离散点图像重建算法模块2，将上一步构建的离散点图像数据输入本模块进行快速高质量图像重建并输出标准像素重建图像，输出的标准像素重建图像与离散点图像数据对应的标准图像进行损失值计算，并将计算结果反馈给离散点图像重建算法模块，以促使其进行参数自优化。
离散点图像重建算法模块2包括子区域划分模块20、自适应重采样模块21、点数据编码网络模块22、池化网络模块23和标准像素重建网络模块24；
子区域划分模块20，用于根据点位置划分不同的区域，共有i个区域，每个区域有Bi个点，每个点包含横坐标、纵坐标和像素值三个维度信息；
自适应重采样模块21，用于对子区域划分模块划分的每个子区域的数据进行重采样并乱序后得到i个子区域有X个离散点数据；
点数据编码网络模块22，用于对各离散点进行非线性拟合编码处理；点数据编码网络模块由X个全连接层或卷积层组成，网络层数量取决于自适应重采样模块中的重采样数量，每一个全连接层或卷积层对应一个数据点，并且该全连接层或卷积层的输出层设为Y；全连接层或卷积层充当一个非线性拟合器，其通过训练数据集训练后使点数据编码网络模块获得离散点的编码能力。
池化网络模块23，用于对上述每个子区域所在点数的X维度取最大值或最小值，点数的位置和强度信息被编码到Y维度；
标准像素重建网络模块24，用于对编码数据重建为M*N的图像数据。
完成训练后，离散点图像快速重建算法模块的主体部分即生成离散点图像重建算法模块；
装置还包括对离散点图像快速重建算法模块进行优化的优化模块3；优化模块，训练离散点图像重建算法模块的损失函数采用交叉熵损失函数：
其中255是图像像素值的上限，0是图像像素值的下限；T是标准像素重建图像中的像素总数；i代表第i个像素点；c = 0表示在计算损失值时从像素值为0开始计算；yic代表符号函数：如果第i个点像素值等于c，取1，反之取0；pic代表第i个像素值预测为c的概率。离散点图像重建算法模块重建后的图像与对应的标准图像根据上述交叉熵损失函数计算损失值并使用梯度下降法反馈给网络进行优化。当计算的损失值不再变小时，离散点图像重建算法模块训练完成。
一种离散点图像快速重建终端，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现如上述方法的步骤。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，计算机程序被处理器执行时实现如上述方法的步骤。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种离散点图像快速重建方法，其特征在于，包括以下步骤：
生成训练数据集：
以设定数量的标准图像数据输入训练数据集生成模块，训练数据集生成模块对输入的标准图像进行离散像素点提取和重建生成离散点图像数据，以此构建与输入的标准图像对应的离散点图像数据并建库作为下一步骤的训练数据集；
离散点图像重建算法模块的训练：
将上一步构建的离散点图像数据输入本模块进行快速高质量图像重建并输出标准像素重建图像，输出的标准像素重建图像与离散点图像数据对应的标准图像进行损失值计算，并将计算结果反馈给离散点图像重建算法模块，以促使其进行参数自优化；
所述对输入的标准图像进行离散像素点提取和重建生成离散点图像数据包括：
对标准图像进行随机位置像素点提取，像素点所在标准图像横轴位置作为离散点横坐标，纵轴位置作为离散点纵坐标，像素值作为离散点强度；通过随机提取和重建离散点的图像数据和与其对应的标准图像构成训练数据集；
对离散点图像数据进行标准像素图像重建并输出包括：
通过子区域划分模块对离散点图像数据中离散点的位置划分不同的子区域，每个子区域包含多个离散点，每个离散点具有横坐标、纵坐标和像素值三个维度信息；
通过自适应重采样模块对每个子区域的离散点数据进行重采样，从而得到固定数量的离散点并将其乱序；
通过点数据编码网络模块对各离散点数据进行非线性拟合编码处理；
通过池化网络模块对上述非线性拟合编码处理后得到向量的第一个维度取最大值或最小值，离散点数据的位置和强度信息被编码到向量的第二个维度；
通过标准像素重建网络模块将池化网络模块获得的向量重建成标准像素重建图像；
所述点数据编码网络模块由多个全连接层或卷积层组成，网络层数量取决于自适应重采样模块中的重采样数量，每一个全连接层或卷积层对应一个数据点，并且该全连接层或卷积层的输出层设为固定值；全连接层或卷积层充当一个非线性拟合器，其通过训练数据集训练后使点数据编码网络模块获得离散点的编码能力。
2.根据权利要求1所述的离散点图像快速重建方法，其特征在于，在完成训练后，训练数据集生成模块被舍弃，离散点图像重建算法模块作为离散点图像快速重建算法模块的主体部分被用于任意离散点图像数据的快速重建。
3.根据权利要求1-2任一所述的离散点图像快速重建方法，其特征在于，所述参数自优化的优化方向为损失值的最小化，当损失值不再减少时，优化过程结束，即完成离散点图像重建算法模块的训练过程。
4.根据权利要求3所述的离散点图像快速重建方法，其特征在于，训练离散点图像重建算法模块的损失函数采用交叉熵损失函数：
其中255是图像像素值的上限，0是图像像素值的下限；T是标准像素重建图像中的像素总数；i代表第i个像素点；c = 0表示在计算损失值时从像素值为0开始计算；yic代表符号函数：如果第i个点像素值等于c，取1，反之取0；pic代表第i个像素值预测为c的概率；
将离散点图像重建算法模块输出的标准像素重建图像和标准图像根据上述交叉熵损失函数计算损失值并使用梯度下降法反馈给离散点图像重建算法模块对参数进行优化，当计算的损失值不再变小时，离散点图像重建算法模块训练完成。
5.一种离散点图像快速重建装置，用于实现如权利要求1-4任一所述的离散点图像快速重建方法，其特征在于，装置包括训练数据集生成模块和离散点图像重建算法模块；
所述训练数据集生成模块，以设定数量的标准图像数据输入训练数据集生成模块，对输入的标准图像进行离散像素提取和生成离散点图像数据，以此构建与输入标准图像对应的离散点图像数据并建库作为下一步骤的训练数据集；
所述离散点图像重建算法模块，将构建的离散点图像数据进行高质量图像重建并输出，输出的标准像素重建图像与离散点图像数据对应的标准图像进行损失值计算，并将计算结果反馈给离散点图像重建算法模块，以促使其进行参数自优化；
所述离散点图像重建算法模块包括子区域划分模块、自适应重采样模块、点数据编码网络模块、池化网络模块和标准像素重建网络模块；
所述子区域划分模块，用于根据离散点图像数据中离散点的位置划分不同的子区域，每个子区域有多个离散点，每个离散点包含横坐标、纵坐标和像素值三个维度信息；
所述自适应重采样模块，用于对每个区域的像素点数据进行重采样，从而得到固定数量的离散点并将其乱序；
所述点数据编码网络模块，用于对各像素点进行非线性拟合编码处理；所述的点数据编码网络模块由多个全连接层或卷积层组成，网络层数量取决于自适应重采样模块中的重采样数量，每一个全连接层或卷积层对应一个数据点，并且该全连接层或卷积层的输出层设为固定值；全连接层或卷积层充当一个非线性拟合器，其通过训练数据集训练后使点数据编码网络模块获得离散点的编码能力；
所述池化网络模块，用于对上述非线性拟合编码处理后得到向量的第一个维度取最大值或最小值，离散点数据的位置和强度信息被编码到向量的第二个维度；
所述标准像素重建网络，用于对池化网络模块获得的向量重建成标准像素重建图像。
6.根据权利要求5所述的离散点图像快速重建装置，其特征在于，完成训练后，离散点图像快速重建算法模块的主体部分即生成离散点图像快速重建；
所述装置还包括对离散点图像重建算法模块进行优化的优化模块；所述优化模块，训练离散点图像重建算法模块的损失函数采用交叉熵损失函数：
其中255是图像像素值的上限，0是图像像素值的下限；T是标准像素重建图像中的像素总数；i代表第i个像素点；c = 0表示在计算损失值时从像素值为0开始计算；yic代表符号函数：如果第i个点像素值等于c，取1，反之取0；pic代表第i个像素值预测为c的概率；将离散点图像重建算法模块输出的标准像素重建图像和标准图像根据上述交叉熵损失函数计算损失值并使用梯度下降法反馈给离散点图像重建算法模块对参数进行优化，当计算的损失值不再变小时，离散点图像重建算法模块训练完成。
7.一种离散点图像快速重建终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN202311102249.9A 2023-08-30 2023-08-30 离散点图像快速重建方法、装置、终端及存储介质 Active CN116843597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311102249.9A CN116843597B (zh) 2023-08-30 2023-08-30 离散点图像快速重建方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311102249.9A CN116843597B (zh) 2023-08-30 2023-08-30 离散点图像快速重建方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN116843597A CN116843597A (zh) 2023-10-03
CN116843597B true CN116843597B (zh) 2023-11-24

Family

ID=88167445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311102249.9A Active CN116843597B (zh) 2023-08-30 2023-08-30 离散点图像快速重建方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN116843597B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6683996B1 (en) * 1999-09-16 2004-01-27 Silverbrook Research Pty Ltd Method and apparatus for rotating Bayer images
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN109598768A (zh) * 2018-10-11 2019-04-09 天津大学 基于卷积神经网络的电学层析成像图像重建方法
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法
CN113450359A (zh) * 2020-03-25 2021-09-28 腾讯医疗健康(深圳)有限公司 医学图像分割、显示、模型训练方法、系统、设备和介质
CN114119872A (zh) * 2021-11-25 2022-03-01 四川大学华西医院 基于人工智能大数据分析3d打印脊柱内植物的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6683996B1 (en) * 1999-09-16 2004-01-27 Silverbrook Research Pty Ltd Method and apparatus for rotating Bayer images
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN109598768A (zh) * 2018-10-11 2019-04-09 天津大学 基于卷积神经网络的电学层析成像图像重建方法
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法
CN113450359A (zh) * 2020-03-25 2021-09-28 腾讯医疗健康(深圳)有限公司 医学图像分割、显示、模型训练方法、系统、设备和介质
CN114119872A (zh) * 2021-11-25 2022-03-01 四川大学华西医院 基于人工智能大数据分析3d打印脊柱内植物的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Focal frequency loss for image reconstruction and synthesis;Liming Jiang et al.;2021 IEEE/CVF international conference on computer vision（ICCV）;第13919-13929页 *
煤矿钻锚机器人Kinect视觉系统三维重建;王成龙 等;煤矿机械;第43卷(第7期);第181-183页 *

Also Published As

Publication number Publication date
CN116843597A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
Haris et al. Deep back-projection networks for super-resolution
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN112270644A (zh) 基于空间特征变换和跨尺度特征集成的人脸超分辨方法
Zhou et al. High-frequency details enhancing DenseNet for super-resolution
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
Akhtar et al. Pu-dense: Sparse tensor-based point cloud geometry upsampling
Choi et al. Lightweight and efficient image super-resolution with block state-based recursive network
Young et al. Gaussian lifting for fast bilateral and nonlocal means filtering
CN110288529B (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
CN115797176A (zh) 一种图像超分辨率重建方法
Ding et al. Point cloud upsampling via perturbation learning
CN113610912B (zh) 三维场景重建中低分辨率图像单目深度估计系统及方法
Liu et al. Facial image inpainting using multi-level generative network
Cha et al. Dam-gan: Image inpainting using dynamic attention map based on fake texture detection
CN116843597B (zh) 离散点图像快速重建方法、装置、终端及存储介质
Du et al. CNN-based image super-resolution and deblurring
Jayaraman et al. Quadtree convolutional neural networks
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
Shao et al. SRWGANTV: image super-resolution through wasserstein generative adversarial networks with total variational regularization
CN114936977A (zh) 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
Sharma et al. Irgun: Improved residue based gradual up-scaling network for single image super resolution
Viriyavisuthisakul et al. A regularization-based generative adversarial network for single image super-resolution
Zhang et al. Deep residual network based medical image reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant