CN113256733B - 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 - Google Patents

基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 Download PDF

Info

Publication number
CN113256733B
CN113256733B CN202110528503.6A CN202110528503A CN113256733B CN 113256733 B CN113256733 B CN 113256733B CN 202110528503 A CN202110528503 A CN 202110528503A CN 113256733 B CN113256733 B CN 113256733B
Authority
CN
China
Prior art keywords
neural network
data
spectral sensitivity
camera
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110528503.6A
Other languages
English (en)
Other versions
CN113256733A (zh
Inventor
申俊飞
贺天悦
周铭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110528503.6A priority Critical patent/CN113256733B/zh
Publication of CN113256733A publication Critical patent/CN113256733A/zh
Application granted granted Critical
Publication of CN113256733B publication Critical patent/CN113256733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，包括以下步骤：步骤1：建立置信度投票卷积神经网络模型；步骤2：获取光源数据、物体反射率数据和光谱灵敏度数据，构建数据集；步骤3：选择一类基函数，将数据集数据输入步骤1构建的神经网络模型中，输出基函数对应权重；该类基函数加权求和得到相机灵敏度函数；步骤4：基于反向传播梯度下降算法最小化损失函数，得到预训练神经网络模型；步骤5：将待标定相机得到的单帧图像输入步骤4得到的预训练神经网络模型，即可重建其光谱灵敏度；本发明方法具有简单、快速、低成本的优点，提高了标定效率，能够满足各类场景的实时测量需求。

Description

基于置信度投票卷积神经网络的相机光谱灵敏度重建方法
技术领域
本发明涉及计算机视觉及人工智能领域，具体涉及一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法。
背景技术
近年来，随着人工智能技术的不断发展，计算成像、计算光谱等技术也得到了广泛的应用。相机是机器的“眼睛”，在计算机视觉领域扮演着至关重要的角色，而光谱灵敏度则是数码相机的关键参数，也是联系光源域、目标域和成像域的桥梁。因此，建立一套简单、准确且快速的相机光谱灵敏度标定方法有着重要意义。
现有技术中，传统的标定方法主要包括窄带单色光谱仪扫描法和标准CCD定标法，虽然操作简单、易掌握，但此类方法耗时长、成本高，不能满足实时测量需求。同时，其测量精度受到实验设备和实验环境的严格限制，降低了方法的实用性和有效性。
发明内容
本发明针对现有技术存在的问题提供一种低成本、高效的基于置信度投票卷积神经网络的相机光谱灵敏度重建方法。
本发明采用的技术方案是：
一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，包括以下步骤：
步骤1：建立置信度投票卷积神经网络模型；
步骤2：获取光源数据、物体反射率数据和光谱灵敏度数据，构建数据集；
步骤3：选择一类基函数，将数据集数据输入步骤1构建的神经网络模型中，输出基函数对应权重；该类基函数加权求和得到相机灵敏度函数；
步骤4：基于反向传播梯度下降算法最小化损失函数，得到预训练神经网络模型；
步骤5：将待标定相机得到的单帧图像输入步骤4得到的预训练神经网络模型，即可重建其光谱灵敏度。
进一步的，所述步骤1中神经网络模型依次包括gamma层、n个卷积池化层、卷积层、置信度投票层；gamma层用于增强模型非线性，优化梯度下降过程；卷积池化操作用于提取光源信息及物体反射率信息；置信度投票层用于评估提取高维特征信息可靠性。
进一步的，所述卷积池化层包括卷积层和池化层，n＝5。
进一步的，所述步骤4中的损失函数如下：
Figure BDA0003066291790000011
式中：Loverall为损失函数，LMSE为重建结果与真值的均方误差，L2为正则化损失，N为波长采样点数，x为波长采样点，
Figure BDA0003066291790000021
为重建结果，sx为光谱灵敏度真值，ωi为网络隐层权重参量，i为隐层参数个数。
进一步地，所述步骤3中的灵敏度函数如下：
S＝FW＝(R)-1(LT)-1V
式中：S为光谱灵敏度，F为基函数，W为基函数对应权重，R、L分别为训练过程中从神经网络中提取到的光源信息、反射率信息，V为输入图像。
进一步地，所述步骤2中的数据集中的数据V如下所示：
V＝LTRS
式中：L、R、S分别步骤2获取的光源数据、物体反射率数据、光谱灵敏度数据。
进一步地，所述基函数为傅里叶基函数、径向基函数、奇异值分解基函数中的一种。
一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法的重建装置，包括：
数据获取模块：用于获取光源数据、物体反射率数据和光谱灵敏度数据，基于相机响应模型及采集到的数据生成图片作为网络输入；
基于置信度投票卷积神经网络：用于对光谱灵敏度信息快速感知，通过评估由不同图像区域提供信息的可靠性，计算不同置信度，经置信度投票模块输出基函数对应权重，与基函数结合生成重建结果。
一种控制设备，包括：
至少一个存储器，用于存储程序指令；
至少一个处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1～7任一项所述方法的步骤。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。
本发明的有益效果是：
(1)本发明建立了基于置信度投票的卷积神经网络，通过连续卷积操作提取图像特征信息，构建成像过程中光源域、目标域、成像域多模态信息融合学习机制；通过评估不同图像区域特征信息可靠性计算相应置信度，经置信度投票融合后输出光谱灵敏度函数；实现由单次曝光图片重建光谱灵敏度；
(2)本发明仅使用待标定相机拍摄的单帧图像即可建立由图像域到光谱域的映射关系；
(3)本发明方法具有简单、快速、精度高、低成本的优点，提高了标定效率，能够满足各类场景的实时测量需求。
附图说明
图1为本发明光谱灵敏度快速重建流程示意图。
图2为本发明置信度卷积神经网络结构示意图。
图3为实施例中采用傅里叶基函数得到的重建结果，a、b、c、d为不同相机得到的结果。
图4为实施例中采用奇异值分解基函数得到的重建结果，a、b、c、d为不同相机得到的结果。
图5为实施例中采用径向基函数得到的重建结果，a、b、c、d为不同相机得到的结果。
图6为实施例中Nikon D3X相机分别采用傅里叶基函数、奇异值分解基函数、径向基函数，光谱灵敏度函数重建结果。
具体实施方式
下面结合附图和具体实施例对本发明做进一步说明。
利用神经网络实现单次曝光照片重建相机光谱灵敏度的实施流程图，如图1所示。一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，包括以下步骤：
步骤1：建立置信度投票卷积神经网络模型；
神经网络模型依次包括gamma层、n个卷积池化层、卷积层、置信度投票层；gamma层用于增强模型非线性，优化梯度下降过程；卷积池化操作用于提取光源信息及物体反射率信息；置信度投票层用于评估提取高维特征信息可靠性。卷积池化层包括卷积层和池化层，n＝5。
由网络自动提取光源能量分布、物体反射率分布信息，设计连续卷积、池化操作完善光源域、目标域、成像域多模态信息融合学习机制，实现单次曝光图片重建灵敏度函数。该神经网络以单次曝光图片作为输入，输出基函数对应权重，输出基函数所需权重，获取重建结果。
步骤2：获取光源数据、物体反射率数据和光谱灵敏度数据，构建数据集；(数据集包括训练集、测试集和验证集)
用以上三种数据生成对应mat文件，基于相机响应模型生成大小为512×512像素的图片作为网络输入，用于训练神经网络。
基于成像模型生成网络训练数据，收集标准光源数据(L)，使用实验室灯箱及高光谱相机完成物体反射率数据采集(R)，同时收集不同相机的光谱灵敏度数据(S)，生成训练数据V的理论公式如下：
V＝LTRS
步骤3：选择一类基函数，将数据集(数据集包括训练集、测试集和验证集，该步骤中采用训练集中的数据进行训练)数据输入步骤1构建的神经网络模型中，输出基函数对应权重；该类基函数加权求和得到相机灵敏度函数；
本实施例中选择三种基函数用于拟合目标函数(即相机灵敏度函数)，包括傅里叶基函数FBF、径向基函数RBF和奇异值分解基函数SVDBF，对应的数学表述如下：
傅里叶基函数FFBF：
Figure BDA0003066291790000041
径向基函数FRBF：
Figure BDA0003066291790000042
其中：fj为频率，δj和cj均为常数，分别决定径向基函数的半高宽和中心位置，λ为采样波长列向量。
奇异值分解基函数为光谱灵敏度数据库S经SVD算法分解所得矩阵U的列向量：
Sm×n＝Um×m∑m×nVn×n
其中：∑为奇异值矩阵，V为空间变换矩阵。
灵敏度函数如下：
S＝FW＝(R)-1(LT)-1V (1)
式中：S为光谱灵敏度，F为基函数，W为权重，R、L分别为训练过程中从神经网络中提取到的光源信息、反射率信息，V为输入图像。
连续卷积、池化操作可提取输入图像所包含的反射率信息R和光源信息L，在给定拟合目标函数的基函数F的前提下，整个成像逆问题求解光谱灵敏度数据S的过程可表述为上述公式(1)。
为求解目标光谱灵敏度函数S，在已知输入图片V和基函数F的前提下，若光源信息L和物体反射率信息R已知，便可求解基函数对应的权重W，再由S＝FW重建目标函数。因此，训练神经网络的目标是让网络能从输入图片V中自动提取光源信息L和物体反射率信息R，这些信息只包含在输入图片的部分区域(140色卡所覆盖的像素区域)，那么依靠不同区域提取出来的光源、反射率信息计算的权重也有其对应的可靠性。用置信度来描述这种可靠性差异，并由此设计了置信度投票层用于区分来自不同图块信息的可靠性差异(例如图片边缘部分包含色卡有效信息量少，对应较小置信度)。最终根据权重及其对应的置信度拟合出最终的权重数据W，以此确保重建精度。
步骤4：基于反向传播梯度下降算法最小化损失函数，得到预训练神经网络模型；
损失函数如下Loverall：
Figure BDA0003066291790000051
式中：Loverall为损失函数，LMSE为重建结果与真值的均方误差，L2为正则化损失，N为波长采样点数，x为波长采样点，
Figure BDA0003066291790000052
为重建结果，sx为光谱灵敏度真值，ωi为网络隐层权重参量，i为隐层参数个数。
步骤5：将待标定相机得到的单帧图像输入步骤4得到的预训练神经网络模型，即可重建其光谱灵敏度。
将神经网络从TensorFlow中导出，同时将待测相机拍摄的原始图像文件(nef格式图片数据)带入神经网络中得到拟合函数所需权重，从而重建光谱灵敏度曲线。
实施例
步骤1：首先构建置信度投票卷积神经网络模型。
步骤2：获得仿真训练图片数据集：
由CIE国际国际照明委员会数据库中获取21中标准光源数据L，利用高光谱相机在实验室灯箱环境下采集140色卡发射率数据R共25组。另收集20组不同型号相机的光谱灵敏度数据S。将以上所有数据存为mat文件，基于相机成像模型V＝LTRS生成共10500组RGB三通道512×512像素的训练图片，每张图片对应的光谱灵敏度数据作为灵敏度函数真值输出。
步骤3：通过交叉验证的方法训练神经网络：
置信度卷积神经网络包含1个gamma层，6个卷积层，5个池化层以及一个置信度投票层。gamma层用于增强模型非线性，优化梯度下降过程。连续卷积与池化操作用于提取光源信息及物体反射率特征信息(L′和R′为了区分步骤2中提取的数据)。置信度投票层用于评估提取高维特征信息可靠性，基于置信度大小输出基函数所需权值再与基函数拟合得到重建结果。
基于步骤2采集的10500组训练样本，每组样本包括一张训练图像及其对应的拍摄相机灵敏度真值。将训练样本分为三份，8400张用于训练，1050张用于测试，1050张用于每一轮训练后的验证，每一轮表示完整使用一次训练数据。将训练数据经过预处理后输入网络得到重建结果再与真值数据进行比较。
步骤4：在训练过程中TensorFlow会计算网络参数的梯度并更新深度神经网络的参数，最终目标为最小化损失函数Loverall：
Figure BDA0003066291790000061
通过反向梯度优化算法求解上式中的优化问题，训练神经网络建立公式(1)中成像逆问题求解模型，实现光谱灵敏度数据快速感知。
深度神经网络训练过程基于GPU集群完成。根据经验取训练轮数为320轮，使模型达到最好的收敛效果。可以初步估计，使用基函数拟合的方法可使用少量的参数估计高维光谱灵敏度函数矩阵，复杂的光谱灵敏度曲线可以很好的被很少的基函数线性组合表示。直观上，重建曲线连续、光滑，且能写出其解析表达式，为后续数学模型建立及物理过程求解提供了遍历。与传统的基函数拟合方法、主成分分析方法、荧光标靶法相比，有更好的重建性能，同时基于预训练模型的光谱灵敏度重建过程平均转化时长为11.8ms，可实现相机光谱灵敏度在线实时测量。
步骤5：将相机得到的单帧图像输入步骤4得到的预训练神经网络模型，即可重建光谱灵敏度(得到RGB三通道响应曲线)。
将构建的神经网络从tensorflow中导出，同时将训练得到的数据输入网络，完成网络训练。基于预训练模型，最终将待标定相机拍摄的图片作为输入，输出即为对应相机的光谱灵敏度曲线。
图3～图5，分别选择傅里叶基函数、奇异值分解基函数、径向基函数得到的重建结果。实线为真值曲线，虚线为重建结果。B、G、R分别为相机的三个通道。从图3中可以看出均方根误差MSE为0.0088，从图4可以看出均方根误差MSE为0.0125，从图5可以看出均方根误差MSE为0.0090。从图中可以看出重建精度较高，光谱灵敏度数据重建结果较好。
以Nikon D3X作为待标定相机，用该相机的单次曝光图片作为实际测试数据输入预训练神经网络，输出其光谱灵敏度函数。实验表明，与Nikon D3X的真值响应曲线相比(图6)，以此得到的结果能达到98.98％的重建精度，能够发现光谱灵敏度数据的重建结果较好。
本发明与传统光谱灵敏度测量方法相比，所需数据量少、操作简单、精度高、测量时间短、成本低且具有实时性。利用深度学习算法实现端到端的光谱灵敏度数据重建，其实时性也为在线组织检测，实时成像技术等提供了新思路。

Claims (8)

1.一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，包括以下步骤：
步骤1：建立置信度投票卷积神经网络模型；神经网络模型依次包括gamma层、n个卷积池化层、卷积层、置信度投票层；gamma层用于增强模型非线性，优化梯度下降过程；卷积池化操作用于提取光源信息及物体反射率信息；置信度投票层用于评估提取高维特征信息可靠性；卷积池化层包括卷积层和池化层，n＝5；
步骤2：获取光源数据、物体反射率数据和光谱灵敏度数据，构建数据集；
步骤3：选择一类基函数，将数据集数据输入步骤1构建的神经网络模型中，输出基函数对应权重；该类基函数加权求和得到相机灵敏度函数；
步骤4：基于反向传播梯度下降算法最小化损失函数，得到预训练神经网络模型；
步骤5：将待标定相机得到的单帧图像输入步骤4得到的预训练神经网络模型，即可重建其光谱灵敏度。
2.根据权利要求1所述的一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，所述步骤4中的损失函数如下：
Figure FDA0003602136580000011
式中：Loverall为损失函数，LMSE为重建结果与真值的均方误差，L2为正则化损失，N为波长采样点数，x为波长采样点，
Figure FDA0003602136580000012
为重建结果，sx为光谱灵敏度真值，ωi为网络隐层权重参量，i为隐层参数个数。
3.根据权利要求1所述的一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，所述步骤3中的灵敏度函数如下：
S＝FW＝(R)-1(LT)-1V
式中：S为光谱灵敏度，F为基函数，W为基函数对应权重，R、L分别为训练过程中从神经网络中提取到的光源信息、反射率信息，V为输入图像。
4.根据权利要求1所述的一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，所述步骤2中的数据集中的数据V如下所示：
V＝LTRS
式中：L、R、S分别为步骤2获取的光源数据、物体反射率数据、光谱灵敏度数据。
5.根据权利要求1所述的一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，所述基函数为傅里叶基函数、径向基函数、奇异值分解基函数中的一种。
6.采用如权利要求1～5所述任一种方法的重建装置，其特征在于，包括：
数据获取模块：LED灯箱用于获取光源数据、高光谱相机用于获取物体反射率数据，140色卡作为成像标靶提供多维颜色特征，基于相机响应模型及采集到的数据生成图片作为网络输入；
基于置信度投票卷积神经网络：用于对光谱灵敏度信息快速感知，通过评估由不同图像区域提供信息的可靠性，计算不同置信度，经置信度投票模块输出基函数对应权重，与基函数结合生成重建结果。
7.一种控制设备，其特征在于，包括：
至少一个存储器，用于存储程序指令；
至少一个处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1～5任一项所述方法的步骤。
8.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现权利要求1～5任一项所述方法的步骤。
CN202110528503.6A 2021-05-14 2021-05-14 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 Active CN113256733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110528503.6A CN113256733B (zh) 2021-05-14 2021-05-14 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110528503.6A CN113256733B (zh) 2021-05-14 2021-05-14 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法

Publications (2)

Publication Number Publication Date
CN113256733A CN113256733A (zh) 2021-08-13
CN113256733B true CN113256733B (zh) 2022-05-20

Family

ID=77181987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110528503.6A Active CN113256733B (zh) 2021-05-14 2021-05-14 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法

Country Status (1)

Country Link
CN (1) CN113256733B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387258B (zh) * 2022-01-14 2024-03-22 北京理工大学重庆创新中心 基于区域动态深度展开神经网络的高光谱图像重构方法
CN115112236B (zh) * 2022-06-30 2023-06-09 北京理工大学 多光谱传感器标定方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106840398A (zh) * 2017-01-12 2017-06-13 南京大学 一种多光谱光场成像方法
CN110796592A (zh) * 2019-09-29 2020-02-14 浙江大学 一种高动态范围光谱图像数据的存储方法
CN111695469A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
CN112116065A (zh) * 2020-08-14 2020-12-22 西安电子科技大学 一种rgb图像光谱重建方法、系统、存储介质及应用
CN112634184A (zh) * 2020-12-03 2021-04-09 中国地质大学（武汉） 基于融合性卷积神经网络的rgb图像光谱反射率重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5879745B2 (ja) * 2011-05-20 2016-03-08 セイコーエプソン株式会社 分光推定パラメーター生成装置およびその方法、並びにコンピュータープログラム
WO2012166840A2 (en) * 2011-06-01 2012-12-06 The Board Of Trustees Of The Leland Stanford Junior University Learning of image processing pipeline for digital imaging devices
US11507857B2 (en) * 2019-10-01 2022-11-22 TeleLingo Systems and methods for using artificial intelligence to present geographically relevant user-specific recommendations based on user attentiveness

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106840398A (zh) * 2017-01-12 2017-06-13 南京大学 一种多光谱光场成像方法
CN110796592A (zh) * 2019-09-29 2020-02-14 浙江大学 一种高动态范围光谱图像数据的存储方法
CN111695469A (zh) * 2020-06-01 2020-09-22 西安电子科技大学 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
CN112116065A (zh) * 2020-08-14 2020-12-22 西安电子科技大学 一种rgb图像光谱重建方法、系统、存储介质及应用
CN112634184A (zh) * 2020-12-03 2021-04-09 中国地质大学（武汉） 基于融合性卷积神经网络的rgb图像光谱反射率重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Camera spectral sensitivity, illumination and spectral reflectance estimation for a hybrid hyperspectral image capture system;Lin Zhang 等;《2017 IEEE International Conference on Image Processing (ICIP)》;20180222;545-545 *
CVNet：confidence voting convolutional neural network for camera spectral sensitivity estimation;Tianyue He 等;《Optics Express》;20210609;第29卷(第13期);19655-19674 *
Towards Spectral Estimation from a Single RGB Image in the Wild;Berk Kaya 等;《2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)》;20200305;3546-3555 *
基于视觉生理机制的深度学习网络改进研究;喻杨洋;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315(第03(2018)期);I138-1390 *
基于转动拉曼光谱的多普勒激光雷达灵敏度测量新方法;陈阳 等;《中国光学学会会议论文集》;20100823;2221-2235 *

Also Published As

Publication number Publication date
CN113256733A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN109145992A (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110298387A (zh) 融入像素级attention机制的深度神经网络目标检测方法
CN110852227A (zh) 高光谱图像深度学习分类方法、装置、设备及存储介质
CN113256733B (zh) 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法
CN112070078B (zh) 基于深度学习的土地利用分类方法及系统
CN114821164A (zh) 基于孪生网络的高光谱图像分类方法
CN114445292A (zh) 一种多阶段渐进式水下图像增强方法
CN115731191A (zh) 一种基于神经网络的窄波段光谱成像方法
CN113810683A (zh) 一种客观评估水下视频质量的无参考评价方法
CN107358625B (zh) 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN116863341A (zh) 基于时间序列卫星遥感影像的作物分类和识别方法和系统
CN114429424B (zh) 一种适用于退化方式不定的遥感图像超分重建方法
CN115909332A (zh) 一种基于通道特征加强的农业遥感图像语义分割方法
CN115641263A (zh) 基于深度学习的单幅电力设备红外图像超分辨率重建方法
CN112380967B (zh) 一种联合图像信息的空间人造目标光谱解混方法及系统
CN112488125B (zh) 一种基于高速视觉诊断和bp神经网络的重建方法及系统
CN115438566A (zh) 一种基于全连接和rnn神经网络的大气辐射传输模型模拟方法
KR20220144237A (ko) 구름 이미지를 이용한 실시간 강수량 예측 장치, 이를 이용한 강수량 예측 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체
CN115496699B (zh) 启明星一号卫星高光谱图像融合方法及系统
CN116188797B (zh) 一种能有效嵌入图像信号处理器的场景光源颜色估计方法
CN116245779B (zh) 一种图像融合方法、装置、存储介质及电子设备
CN117934966A (zh) 一种配色融合规划的烤瓷义齿自动调色系统
CN116879192B (zh) 基于卫星遥感数据的水华预测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant