CN113298743A - 图像输出方法、图像输出装置、电子设备及可读存储介质 - Google Patents

图像输出方法、图像输出装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113298743A
CN113298743A CN202110621349.7A CN202110621349A CN113298743A CN 113298743 A CN113298743 A CN 113298743A CN 202110621349 A CN202110621349 A CN 202110621349A CN 113298743 A CN113298743 A CN 113298743A
Authority
CN
China
Prior art keywords
image
grid
nir
rgb
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110621349.7A
Other languages
English (en)
Other versions
CN113298743B (zh
Inventor
宫振飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110621349.7A priority Critical patent/CN113298743B/zh
Publication of CN113298743A publication Critical patent/CN113298743A/zh
Application granted granted Critical
Publication of CN113298743B publication Critical patent/CN113298743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开一种图像输出方法、图像输出装置、电子设备及可读存储介质，用于提高输出的目标图像的画质。本发明实施例方法包括：获取第一对象的可见光RGB图像和近红外NIR图像；将RGB图像和NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；输出目标图像，目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于预设相似度阈值的第一网格图像所对应的第三网格图像；相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，每个第一网格图像是根据RGB图像划分得到的，每个第二网格图像是根据NIR图像划分得到的；每个第三网格图像是根据融合图像划分得到的，每个第三网格图像与每个第一网格图像一一对应。

Description

图像输出方法、图像输出装置、电子设备及可读存储介质
技术领域
本发明涉及电子设备应用领域，尤其涉及一种图像输出方法、图像输出装置、电子设备及可读存储介质。
背景技术
电子设备中传统图像的融合算法对两幅图，通常采用特征点检测算法和特征点匹配算法进行融合，得到最终的目标融合图像。然而，电子设备在得到该目标融合图像的过程中，由于该特征点检测算法和该特征点匹配算法的泛化性能较差且不够稳定，以使得到的目标融合图像的画质较差。
发明内容
本发明实施例提供了一种图像输出方法、图像输出装置、电子设备及可读存储介质，用于图像输出装置提高输出的目标图像的画质。
本发明实施例第一方面提供了一种图像输出方法，可以包括：
获取第一对象的可见光RGB图像和近红外NIR图像；
将该RGB图像和该NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；
输出目标图像，该目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于该预设相似度阈值的第一网格图像所对应的第三网格图像；
其中，该相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，该每个第一网格图像是根据该RGB图像划分得到的，该每个第二网格图像是根据该NIR图像划分得到的；每个第三网格图像是根据该融合图像划分得到的，该每个第三网格图像与该每个第一网格图像一一对应。
本发明实施例第二方面提供了一种图像输出装置，可以包括：
获取模块，用于获取第一对象的可见光RGB图像和近红外NIR图像；将该RGB图像和该NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；
输出模块，用于输出目标图像，该目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于该预设相似度阈值的第一网格图像所对应的第三网格图像；
其中，该相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，该每个第一网格图像是根据该RGB图像划分得到的，该每个第二网格图像是根据该NIR图像划分得到的；每个第三网格图像是根据该融合图像划分得到的，该每个第三网格图像与该每个第一网格图像一一对应。
本发明实施例第三方面提供了一种图像输出装置，可以包括：
存储有可执行程序代码的存储器；
以及所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如本发明实施例第一方面所述的方法。
本发明实施例第四方面提供一种电子设备，可以包括如本发明实施例第二方面或第三方面所述的图像输出装置。
本发明实施例又一方面提供一种计算机可读存储介质，其上存储有可执行程序代码，所述可执行程序代码被处理器执行时，实现如本发明实施例第一方面所述的方法。
本发明实施例又一方面公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行本发明实施例第一方面公开的任意一种所述的方法。
本发明实施例又一方面公开一种应用发布平台，该应用发布平台用于发布计算机程序产品，其中，当该计算机程序产品在计算机上运行时，使得该计算机执行本发明实施例第一方面公开的任意一种所述的方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
在本发明实施例中，获取第一对象的可见光RGB图像和近红外NIR图像；将所述RGB图像和所述NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；输出目标图像，所述目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于所述预设相似度阈值的第一网格图像所对应的第三网格图像；其中，所述相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，所述每个第一网格图像是根据所述RGB图像划分得到的，所述每个第二网格图像是根据所述NIR图像划分得到的；每个第三网格图像是根据所述融合图像划分得到的，所述每个第三网格图像与所述每个第一网格图像一一对应。即图像输出装置输出的目标图像中，包括相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于所述预设相似度阈值的第一网格图像所对应的第三网格图像，第一网格图像为RGB图像，第三网格图像为融合图像。因为相似度值大于预设相似度阈值时，表示图像画质还不错，所以，可以直接使用对应的RGB图像；相似度值小于等于预设相似度阈值时，表示画质像素不太好，所以可以使用融合图像，从而提高目标图像的画质。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，还可以根据这些附图获得其它的附图。
图1a为本发明实施例中图像输出方法的一个实施例示意图；
图1b为本发明实施例中RGB图像的一个实施例示意图；
图1c为本发明实施例中NIR图像的一个实施例示意图；
图1d为本发明实施例中融合图像的一个实施例示意图；
图1e为本发明实施例中目标图像的一个实施例示意图；
图2为本发明实施例中图像输出方法的另一个实施例示意图；
图3为本发明实施例中图像输出装置的一个实施例示意图；
图4为本发明实施例中图像输出装置的另一个实施例示意图；
图5为本发明实施例中电子设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种图像输出方法、图像输出装置、电子设备及可读存储介质，用于图像输出装置提高输出的目标图像的画质。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，都应当属于本发明保护的范围。
现有技术中，电子设备中传统图像的融合算法通常采用特征点检测算法，即采用ORB(Oriented FAST and Rotated BRIEF)、SIFT(Scale-Invariant Feature Transform)等特征子，对两幅图像分别进行特征点检测与描述，然后采用暴力匹配、最近邻匹配等算法对这两幅图像中的特征点进行匹配；该电子设备再根据特征点匹配算法，即根据匹配的多组特征点，采用随机抽样一致算法(Random Sample Consensus，RANSAC)等算法估计单应矩阵，并对这两幅图像进行单应变换以使得这两幅图像对齐；最后，该电子设备在已对齐的两幅图像上利用加权叠加、高通滤波器等方法进行融合，得到最终的目标融合图像。
然而，电子设备在得到该目标融合图像的过程中，由于该特征点检测算法泛化性能差，极易受暗光、少纹理、噪声等问题影响，特别在近红外应用中蓝天白云较多的情况下，会导致出现特征点较少的问题，同时，该特征点匹配算法也会受到上述情况的影响，在描述子的置信度不高的情况下，容易导致特征点匹配错误，直接影响单应矩阵估计的准确度与稳定性，从而导致传统图像的融合算法的泛化性能较差且不够稳定，以使得到的目标融合图像的画质较差。
可以理解的是，本发明实施例中所涉及的电子设备可以包括一般的手持有屏电子终端设备，诸如手机、智能电话、便携式终端、终端、个人数字助理(Personal DigitalAssistant，PDA)、便携式多媒体播放器(Personal Media Player，PMP)装置、笔记本电脑、笔记本(Note Pad)、无线宽带(Wireless Broadband，Wibro)终端、平板电脑(PersonalComputer，PC)、智能PC、销售终端(Point of Sales，POS)和车载电脑等。
该电子设备也可以包括可穿戴设备。可穿戴设备可以直接穿戴在用户身上，或是整合到用户的衣服或配件的一种便携式电子设备。可穿戴设备不仅仅是一种硬件设备，更可以通过软件支持以及数据交互、云端交互来实现强大的智能功能，比如：计算功能、定位功能、报警功能，同时还可以连接手机及各类终端。可穿戴设备可以包括但不限于以手腕为支撑的watch类(比如手表、手腕等产品)，以脚为支撑的shoes类(比如鞋、袜子或者其他腿上佩戴产品)，以头部为支撑的Glass类(比如眼镜、头盔、头带等)以及智能服装，书包、拐杖、配饰等各类非主流产品形态。
需要说明的是，本发明实施例的执行主体可以是图像输出装置，也可以是电子设备。下面以图像输出装置为例，对本发明技术方案做进一步的说明。
如图1a所示，为本发明实施例中图像输出方法的一个实施例示意图，可以包括：
101、获取第一对象的可见光RGB图像和近红外NIR图像。
可以理解的是，第一对象可以是生物，也可以是非生物。
例如：第一对象可以是人，也可以是桌子，此处不做具体限定。
需要说明的是，可见光(Red Green Blue，RGB)图像可以通过图像输出装置中的普通摄像头拍摄得到。RGB图像可以是一张，也可以是多张，如果普通摄像头获取多张RGB图像，那么图像输出装置从多张RGB图像中选择任一张RGB图像即可。
近红外(Near Infrared，NIR)图像可以通过图像输出装置中的红外摄像头拍摄得到。NIR图像可以是一张，也可以是多张，如果红外摄像头获取多张NIR图像，那么图像输出装置从多张NIR图像中选择任一张NIR图像即可。其中，该红外摄像头的成像特点是可以透过薄雾等介质得到像素更清晰的NIR图像边缘，例如：红外摄像头在雾天和/或雨天拍摄远处景物得到的NIR图像的画质更好。
可选的，图像输出装置获取第一对象的RGB图像和NIR图像，可以包括但不限于以下的实现方式：
实现方式1：图像输出装置获取该图像输出装置与第一对象之间的距离；当该距离位于预设距离范围内时，该图像输出装置获取该第一对象的RGB图像和NIR图像。
需要说明的是，该距离可以通过图像输出装置中的测距传感器检测得到，该距离的单位是厘米(cm)；该预设距离范围是由第一预设距离阈值和第二预设距离阈值构成的区间，该第一预设距离阈值大于该第二预设距离阈值，该预设距离范围可以是图像输出装置出厂前设置的，也可以是用户自定义设置的，此处不做具体限定。
示例性的，假设第一预设距离阈值为30cm和第二预设距离阈值为100cm，即预设距离范围为(30cm，100cm)。图像输出装置通过测距传感器检测得到该图像输出装置与第一对象之间的距离为45cm，该45cm位于(30cm，100cm)内，此时，该图像输出装置获取该第一对象的RGB图像和NIR图像。
实现方式2：图像输出装置获取环境亮度；当该环境亮度位于预设亮度范围内时，该图像输出装置获取该第一对象的RGB图像和NIR图像。
需要说明的是，该环境亮度可以通过图像输出装置中的光感传感器检测得到，该环境亮度的单位是堪德拉每平米(cd/m2)；该预设亮度范围是由第一预设亮度阈值和第二预设亮度阈值构成的区间，该第一预设亮度阈值大于该第二预设亮度阈值，该预设亮度范围可以是图像输出装置出厂前设置的，也可以是用户自定义设置的，此处不做具体限定。
示例性的，假设第一预设亮度阈值为70cd/m2和第二预设亮度阈值为120cd/m2，即预设亮度范围为(70cd/m2，120cd/m2)。图像输出装置通过光感传感器检测得到环境亮度为90cd/m2，该90cd/m2位于(70cd/m2，120cd/m2)内，此时，该图像输出装置获取该第一对象的RGB图像和NIR图像。
需要说明的是，在步骤101中，上述实现方式1和实现方式2还可以相互结合，形成一个新的实现方式，该新的实现方式也都在本发明的保护范围内，此处不做具体赘述。
可以理解的是，如果图像输出装置与第一对象之间的距离太近或太远，和/或，环境亮度太暗或者太亮，那么，图像输出装置获取的RGB图像和NIR图像的画质都会不够清晰。如果该图像输出装置在预设距离范围内，和/或，预设亮度范围内获取RGB图像和NIR图像，那么，该RGB图像和该NIR图像的画质都较为清晰，以便图像输出装置的后续使用。
可选的，步骤101之后，该方法还可以包括：图像输出装置根据该RGB图像，划分得到多个第一网格图像；该图像输出装置根据该NIR图像，划分得到多个第二网格图像。
其中，每个第一网格图像与每个第二网格图像一一对应。
可以理解的是，图像输出装置可以先根据该RGB图像，划分得到多个第一网格图像，再根据该NIR图像，划分得到多个第二网格图像；也可以先根据该NIR图像，划分得到多个第二网格图像，再根据该RGB图像，划分得到多个第一网格图像；也可以在根据该RGB图像，划分得到多个第一网格图像的同时，根据该NIR图像，划分得到多个第二网格图像。即图像输出装置对于两张图像中的网格划分顺序是不限定的。
可选的，图像输出装置根据该RGB图像，划分得到多个第一网格图像，可以包括但不限于以下的实现方式：
实现方式1：图像输出装置将该RGB图像等分为n×n个第一网格图像，n为大于等于2的整数。
实现方式2：图像输出装置将该RGB图像按照第一预设尺寸进行缩放，得到第一图像；该图像输出装置根据该第一图像，划分得到该多个第一网格图像。
其中，该第一预设尺寸可以是图像输出装置出厂前设置的，也可以是用户自定义设置的，该第一预设尺寸可以以像素为单位，也可以以cm为单位，此处不做具体限定。
可选的，图像输出装置根据该第一图像，划分得到该多个第一网格图像，可以包括：图像输出装置将该第一图像进行灰度处理，得到灰度图；该图像输出装置将该灰度图通过边缘检测算法，检测得到第一边缘图；该图像输出装置根据该第一边缘图，划分得到该多个第一网格图像。
可以理解的是，图像输出装置通过边缘检测算法，将得到的边缘图分为前景区域图像和背景区域。该图像输出装置在计算第一边缘图和第二边缘图之间的相似度值的过程中，可以在一定程度上避免NIR图像信息的不完整性对结果产生的不良影响，以保证第一边缘图和第二边缘图之间的相似度值的准确性。
需要说明的是，上述实现方式1和实现方式2还可以相互结合，形成一个新的实现方式，该新的实现方式也都在本发明的保护范围内，此处不做具体赘述。
可选的，图像输出装置根据该NIR图像，划分得到多个第二网格图像，可以包括但不限于以下的实现方式：
实现方式1：图像输出装置将该NIR图像等分为n×n个第二网格图像，n为大于等于2的整数。
实现方式2：图像输出装置将该NIR图像按照该第一预设尺寸进行缩放，得到第二图像；该图像输出装置根据该第二图像，划分得到该多个第二网格图像。
可选的，图像输出装置根据该第二图像，划分得到该多个第二网格图像，包括：图像输出装置将该第二图像通过该边缘检测算法，检测得到第二边缘图；该图像输出装置根据该第二边缘图，划分得到该多个第二网格图像。
需要说明的是，上述实现方式1和实现方式2还可以相互结合，形成一个新的实现方式，该新的实现方式也都在本发明的保护范围内，此处不做具体赘述。
可选的，在图像输出装置根据该RGB图像，划分得到多个第一网格图像；该图像输出装置根据该NIR图像，划分得到多个第二网格图像之后，该方法还可以包括：图像输出装置计算每个第一网格图像与对应每个第二网格图像之间的相似度值。
可以理解的是，图像输出装置可以根据预设算法计算图像与图像之间的相似度值。
102、将所述RGB图像和所述NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像。
可以理解的是，图像输出装置将该RGB图像和该NIR图像输入至预设的卷积神经网络中的卷积层、批归一化层和高斯误差线性单元(Rectified Linear Units，ReLu)激活函数层进行处理，得到融合图像。
这样一来，卷积层、批归一化层和ReLu激活函数层之间有池化层，可以降低RGB图像和NIR图像的尺寸，并增强感知能力；该卷积层、该批归一化层和该ReLu激活函数层还可以采用反卷积以增加RGB图像和该NIR图像的尺寸，以还原图像解析力。特别的，该卷积层、该批归一化层和该ReLu激活函数层之间有残差结构及特征层融合策略，可以优化预设的卷积神经网络的特征提取能力，以得到画质更好的融合图像。
可选的，图像输出装置将该RGB图像和该NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像，可以包括：图像输出装置将该RGB图像按照第二预设尺寸进行缩放，得到第三图像；该图像输出装置将该NIR图像按照该第二预设尺寸进行缩放，得到第四图像；该图像输出装置将该第三图像和该第四图像进行叠加后输入至该预设的卷积神经网络进行预处理，得到该融合图像。
可以理解的是，该第二预设尺寸和第一预设尺寸相同或不同。如果该第二预设尺寸和该第一预设尺寸相同，那么，图像输出装置将该第一图像和该第二图像进行叠加后输入至预设的卷积神经网络进行预处理，得到融合图像。如果该第二预设尺寸和该第一预设尺寸不同，那么，图像输出装置可以将相似度值小于等于该预设相似度阈值的第一网格图像所对应的第三网格图像的尺寸调整至与第一网格图像的尺寸相同，该图像输出装置也可以先将第二预设尺寸调整至与第一预设尺寸相同，再将该RGB图像按照该第一预设尺寸进行缩放，得到第三图像；该图像输出装置将该NIR图像按照该第一预设尺寸进行缩放，得到第四图像，此时，该图像输出装置将该第三图像和该第四图像进行融合得到的融合图像的尺寸与第一预设尺寸相同。
可选的，步骤102之后，该方法还可以包括：图像输出装置根据该融合图像，划分得到多个第三网格图像。
其中，每个第三网格图像与每个第一网格图像一一对应。
需要说明的是，对于图像输出装置根据该融合图像，划分得到多个第三网格图像的具体解释与步骤101中对于图像输出装置根据该RGB图像，划分得到多个第一网格图像，或，图像输出装置根据该NIR图像，划分得到多个第二网格图像的解释类似，此处不做具体赘述。
103、输出目标图像。
其中，该目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于该预设相似度阈值的第一网格图像所对应的第三网格图像。
可选的，相似度值小于等于该预设相似度阈值的网格图像可以称作待增强区域。
可以理解的是，预设相似度阈值可以是图像输出装置出厂前设置的，也可以是用户自定义设置的，此处不做具体限定。
例如：该预设相似度阈值为0.3。图像输出装置将相似度值大于0.3的第一网格图像和相似度值小于等于0.3的第一网格图像对应的第三网格图像进行输出。
需要说明的是，该相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，该每个第一网格图像是根据该RGB图像划分得到的，该每个第二网格图像是根据该NIR图像划分得到的；每个第三网格图像是根据该融合图像划分得到的，该每个第三网格图像与该每个第一网格图像一一对应。
示例性的，如图1b所示，为本发明实施例中RGB图像的一个实施例示意图；如图1c所示，为本发明实施例中NIR图像的一个实施例示意图；如图1d所示，为本发明实施例中融合图像的一个实施例示意图；如图1e所示，为本发明实施例中目标图像的一个实施例示意图。
需要说明的是，在图1b中，图像输出装置将RGB图像已等分为5×5的第一网格图像，5×5的第一网格图像分别为A、B、C、D、E、F、G、H、I、J、K、L、M、N、O、P、Q、R、S、T、U、V、W、X和Y。
在图1c中，图像输出装置将NIR图像已等分为5×5的第二网格图像，5×5的第二网格图像分别为A’、B’、C’、D’、E’、F’、G’、H’、I’、J’、K’、L’、M’、N’、O’、P’、Q’、R’、S’、T’、U’、V’、W’、X’和Y’。
该图像输出装置计算出5×5的第一网格图像与对应的5×5的第二网格图像之间的相似度值，其中，假设预设相似度阈值为0.2，相似度值小于0.2的第一网格图像有A、B、C、H、I、J、P和Q，其它的第一网格图像的相似度值都大于或等于0.2。
在图1d中，图像输出装置将融合图像已等分为5×5的第三网格图像，5×5的第二网格图像分别为A”、B”、C”、D”、E”、F”、G”、H”、I”、J”、K”、L”、M”、N”、O”、P”、Q”、R”、S”、T”、U”、V”、W”、X”和Y”。
在图1e中，图像输出装置输出目标图像，该目标图像包括A、B、C、H、I、J、P、Q对应的第一网格图像，以及剩余第一网格图像对应的第三网格图像，该第三网格图像分别为D”、E”、F”、G”、K”、L”、M”、N”、O”、R”、S”、T”、U”、V”、W”、X”和Y”。
可选的，图像输出装置输出目标图像，可以包括但不限于以下的实现方式：
实现方式1：图像输出装置在预设时长后，输出目标图像。
需要说明的是，预设时长可以是图像输出装置出厂前设置的，也可以是用户自定义设置的，该预设时长的单位可以是秒(s)，也可以是分钟(min)，也可以是其它时长单位，此处不做具体限定。
示例性的，假设预设时长为2s。图像输出装置在2s后输出目标图像。
实现方式2：图像输出装置将目标图像向与该图像输出装置相关联的电子设备发送。
这样一来，电子设备不仅可以输出画质较高的目标图像，还可以将该目标图像向与之相关联的电子设备发送，以使得该相关联的电子设备也可以输出画质较高的目标图像。
在本发明实施例中，获取第一对象的可见光RGB图像和近红外NIR图像；将所述RGB图像和所述NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；输出目标图像，所述目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于所述预设相似度阈值的第一网格图像所对应的第三网格图像；其中，所述相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，所述每个第一网格图像是根据所述RGB图像划分得到的，所述每个第二网格图像是根据所述NIR图像划分得到的；每个第三网格图像是根据所述融合图像划分得到的，所述每个第三网格图像与所述每个第一网格图像一一对应。即图像输出装置输出的目标图像中，包括相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于所述预设相似度阈值的第一网格图像所对应的第三网格图像，第一网格图像为RGB图像，第三网格图像为融合图像。因为相似度值大于预设相似度阈值时，表示图像画质还不错，所以，可以直接使用对应的RGB图像；相似度值小于等于预设相似度阈值时，表示画质像素不太好，所以可以使用融合图像，从而提高目标图像的画质。
如图2所示，为本发明实施例中图像输出方法的另一个实施例示意图，可以包括：
201、获取第一对象的可见光RGB图像和近红外NIR图像。
需要说明的是，步骤201与本实施例中图1所示的步骤101类似，此处不再赘述。
202、根据融合图像样本的边缘图、NIR图像样本的边缘图、融合图像样本、RGB图像样本，以及所述RGB图像样本对应的网格矩阵，得到损失函数。
可以理解的是，融合图像样本的边缘图中有多张融合图像的边缘图；NIR图像样本的边缘图中有多张NIR图像的边缘图；融合图像样本中有多张融合图像；RGB图像样本中有多张RGB图像；RGB图像样本对应的网格矩阵中有多张RGB图像的网格矩阵。
可选的，图像输出装置根据融合图像样本的边缘图、NIR图像样本的边缘图、融合图像样本、RGB图像样本，以及该RGB图像样本对应的网格矩阵，得到损失函数，可以包括：图像输出装置根据目标公式，得到损失函数；
其中，该目标公式为L＝αLe+βLp+γLc；L为该损失函数，α、β和γ为预置的权重系数，Le为根据该融合图像样本的边缘图和该NIR图像样本的边缘图得到的边缘损失；Lp为根据该融合图像样本、该NIR图像样本的边缘图、该RGB图像样本和该RGB图像样本对应的网格矩阵得到的像素损失；Lc为根据该融合图像样本和该RGB图像样本得到的颜色损失。
可选的，图像输出装置根据目标公式，得到损失函数，可以包括：图像输出装置根据第一公式，得到边缘损失Le；该图像输出装置根据第二公式，得到像素损失Lp；该图像输出装置根据第三公式，得到颜色损失Lc；该图像输出装置根据Le、Lp和Lc，得到损失函数。
其中，第一公式为Le＝1-ssim(Ef，ENIR)；
Ef表示该融合图像样本的边缘图；ENIR表示该NIR图像样本的边缘图。
第二公式为Lp＝[1-ssim(If×m，ENIR×m)]+[1-ssim(If×(1-m)，IRGB×(1-m))]；
If表示该融合图像样本；m表示该RGB图像样本对应的网格矩阵；IRGB表示该RGB图像样本。
第三公式为Lc＝ΔE(If，IRGB)。
可以理解的是，在第一公式中，ssim(Ef，ENIR)表示融合图像样本的边缘图与NIR图像样本的边缘图之间的相似度值，该相似度值越大，说明融合图像样本的边缘图中所融合的NIR图像样本的边缘图的细节越多，即融合图像样本的边缘图的边缘损失越小，从而使得该边缘图的画质更高。
在第二公式中，网格矩阵是一个二值数据的矩阵，其中，相似度值小于预设相似度阈值的第一网格图像在该网格矩阵中的数字可以为0或1，相似度值大于等于该预设相似度阈值的第一网格图像在该网格矩阵中的数字可以为1或0。具体的，当相似度值小于预设相似度阈值的第一网格图像在该网格矩阵中的数字为0时，相似度值大于等于该预设相似度阈值的第一网格图像在该网格矩阵中的数字为1；当相似度值小于预设相似度阈值的第一网格图像在该网格矩阵中的数字为1时，相似度值大于等于该预设相似度阈值的第一网格图像在该网格矩阵中的数字为0，此处不做具体限定。
其中，(If×m，ENIR×m)表示只计算不参与融合的NIR图像样本的边缘图，(If×(1-m)，IRGB×(1-m)是为了保正融合图像样本中仍然具有原始RGB图像的基本特征，避免生成色彩结构差异太大的融合图像。ssim(If×m，ENIR×m)表示融合图像样本与NIR图像样本的边缘图的相似度值，ssim(If×(1-m)，IRGB×(1-m))表示融合图像样本与RGB图像样本的相似度值，这两个相似度值越大，说明该融合图像样本就更好地保留了RGB图像样本的色彩结构。
在第三公式中，ΔE表示CIEDE2000颜色相似度指标，该ΔE越小，说明融合图像样本和RGB图像样本之间像素的色彩差异越小。Lc的设计目的是图像输出装置保证融合图像样本保留原始RGB图像样本的色彩信息，以避免该融合图像样本产生伪色现象。
203、根据所述损失函数，得到所述预设的卷积神经网络。
可以理解的是，图像输出装置可以根据多个样本数据，得到预设的卷积神经网络。当图像输出装置将RGB图像和NIR图像输入至预设的卷积神经网络中时，该预设的卷积神经网络可以输出该RGB图像和该NIR图像融合后的图像。这样一来，图像输出装置可以设计基于图像边缘信息与图像像素信息的联合损失，使得预设的卷积神经网络能够较好地结合RGB图像的色彩信息与NIR图像的细节信息，增强图像的通透性与成像质量。除此以外，该预设的卷积神经网络对于网络图像数据集的依赖性不强，只需要RGB图像和NIR图像，也可以使得该预设的卷积神经网络中的融合算法具有较强的泛化性与稳定性。
可选的，卷积神经网络不仅仅可以由损失函数得到，图像输出装置还可以将获取到的RGB图像和NIR图像进行分类，再根据类别设置相应的卷积神经网络，在提升卷积神经网络的算法精度的同时，得到画质更为清晰的融合图像。
204、将所述RGB图像和所述NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像。
205、输出目标图像。
其中，该目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于该预设相似度阈值的第一网格图像所对应的第三网格图像。
需要说明的是，该相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，该每个第一网格图像是根据该RGB图像划分得到的，该每个第二网格图像是根据该NIR图像划分得到的；每个第三网格图像是根据该融合图像划分得到的，该每个第三网格图像与该每个第一网格图像一一对应。
需要说明的是，步骤204-205与本实施例中图1所示的步骤102-103类似，此处不再赘述。
在本发明实施例中，获取第一对象的可见光RGB图像和近红外NIR图像；根据融合图像样本的边缘图、NIR图像样本的边缘图、融合图像样本、RGB图像样本，以及所述RGB图像样本对应的网格矩阵，得到损失函数；根据所述损失函数，得到所述预设的卷积神经网络；将所述RGB图像和所述NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；输出目标图像，所述目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于所述预设相似度阈值的第一网格图像所对应的第三网格图像；其中，所述相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，所述每个第一网格图像是根据所述RGB图像划分得到的，所述每个第二网格图像是根据所述NIR图像划分得到的；每个第三网格图像是根据所述融合图像划分得到的，所述每个第三网格图像与所述每个第一网格图像一一对应。这样一来，图像输出装置不仅可以在提高RGB图像与NIR图像的融合度的情况下，得到融合度较高的融合图像，而且图像输出装置输出的目标图像中，包括相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于所述预设相似度阈值的第一网格图像所对应的第三网格图像，第一网格图像为RGB图像，第三网格图像为融合图像。因为相似度值大于预设相似度阈值时，表示图像画质还不错，所以，可以直接使用对应的RGB图像；相似度值小于等于预设相似度阈值时，表示画质像素不太好，所以可以使用融合图像，从而提高目标图像的画质。
如图3所示，为本发明实施例中图像输出装置的一个实施例示意图，可以包括：获取模块301和输出模块302；
获取模块301，用于获取第一对象的可见光RGB图像和近红外NIR图像；将该RGB图像和该NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；
输出模块302，用于输出目标图像，该目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于该预设相似度阈值的第一网格图像所对应的第三网格图像；
其中，该相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，该每个第一网格图像是根据该RGB图像划分得到的，该每个第二网格图像是根据该NIR图像划分得到的；每个第三网格图像是根据该融合图像划分得到的，该每个第三网格图像与该每个第一网格图像一一对应。
可选的，在本发明的一些实施例中，
获取模块301，还用于根据该RGB图像，划分得到多个第一网格图像；根据该NIR图像，划分得到多个第二网格图像。
可选的，在本发明的一些实施例中，
获取模块301，具体用于将该RGB图像等分为n×n个第一网格图像；将该NIR图像等分为n×n个第二网格图像，n为大于等于2的整数。
可选的，在本发明的一些实施例中，
获取模块301，具体用于将该RGB图像按照第一预设尺寸进行缩放，得到第一图像；根据该第一图像，划分得到该多个第一网格图像；将该NIR图像按照该第一预设尺寸进行缩放，得到第二图像；根据该第二图像，划分得到该多个第二网格图像。
可选的，在本发明的一些实施例中，
获取模块301，具体用于将该第一图像进行灰度处理，得到灰度图；将该灰度图通过边缘检测算法，检测得到第一边缘图；根据该第一边缘图，划分得到该多个第一网格图像；将该第二图像通过该边缘检测算法，检测得到第二边缘图；根据该第二边缘图，划分得到该多个第二网格图像。
可选的，在本发明的一些实施例中，
获取模块301，具体用于将该RGB图像按照第二预设尺寸进行缩放，得到第三图像；将该NIR图像按照该第二预设尺寸进行缩放，得到第四图像；将该第三图像和该第四图像进行叠加后输入至该预设的卷积神经网络进行预处理，得到该融合图像。
可选的，在本发明的一些实施例中，
获取模块301，还用于根据融合图像样本的边缘图、NIR图像样本的边缘图、融合图像样本、RGB图像样本，以及该RGB图像样本对应的网格矩阵，得到损失函数；根据该损失函数，得到该预设的卷积神经网络。
可选的，在本发明的一些实施例中，
获取模块301，具体用于根据目标公式，得到损失函数；其中，该目标公式为L＝αLe+βLp+γLc；L为该损失函数，α、β和γ为预置的权重系数，Le为根据该融合图像样本的边缘图和该NIR图像样本的边缘图得到的边缘损失；Lp为根据该融合图像样本、该NIR图像样本的边缘图、该RGB图像样本和该RGB图像样本对应的网格矩阵得到的像素损失；Lc为根据该融合图像样本和该RGB图像样本得到的颜色损失。
如图4所示，为本发明实施例中图像输出装置的另一个实施例示意图，可以包括：处理器401和存储器402；
处理器401还具有以下功能：
获取第一对象的可见光RGB图像和近红外NIR图像；
将该RGB图像和该NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；
输出目标图像，该目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于该预设相似度阈值的第一网格图像所对应的第三网格图像；
其中，该相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，该每个第一网格图像是根据该RGB图像划分得到的，该每个第二网格图像是根据该NIR图像划分得到的；每个第三网格图像是根据该融合图像划分得到的，该每个第三网格图像与该每个第一网格图像一一对应。
可选的，处理器401还具有以下功能：
根据该RGB图像，划分得到多个第一网格图像；根据该NIR图像，划分得到多个第二网格图像。
可选的，处理器401还具有以下功能：
将该RGB图像等分为n×n个第一网格图像；将该NIR图像等分为n×n个第二网格图像，n为大于等于2的整数。
可选的，处理器401还具有以下功能：
将该RGB图像按照第一预设尺寸进行缩放，得到第一图像；根据该第一图像，划分得到该多个第一网格图像；将该NIR图像按照该第一预设尺寸进行缩放，得到第二图像；根据该第二图像，划分得到该多个第二网格图像。
可选的，处理器401还具有以下功能：
将该第一图像进行灰度处理，得到灰度图；将该灰度图通过边缘检测算法，检测得到第一边缘图；根据该第一边缘图，划分得到该多个第一网格图像；将该第二图像通过该边缘检测算法，检测得到第二边缘图；根据该第二边缘图，划分得到该多个第二网格图像。
可选的，处理器401还具有以下功能：
将该RGB图像按照第二预设尺寸进行缩放，得到第三图像；将该NIR图像按照该第二预设尺寸进行缩放，得到第四图像；将该第三图像和该第四图像进行叠加后输入至该预设的卷积神经网络进行预处理，得到该融合图像。
可选的，处理器401还具有以下功能：
根据融合图像样本的边缘图、NIR图像样本的边缘图、融合图像样本、RGB图像样本，以及该RGB图像样本对应的网格矩阵，得到损失函数；根据该损失函数，得到该预设的卷积神经网络。
可选的，处理器401还具有以下功能：
根据目标公式，得到损失函数；其中，该目标公式为L＝αLe+βLp+γLc；L为该损失函数，α、β和γ为预置的权重系数，Le为根据该融合图像样本的边缘图和该NIR图像样本的边缘图得到的边缘损失；Lp为根据该融合图像样本、该NIR图像样本的边缘图、该RGB图像样本和该RGB图像样本对应的网格矩阵得到的像素损失；Lc为根据该融合图像样本和该RGB图像样本得到的颜色损失。
存储器402还具有以下功能：
存储处理器401的处理过程和处理结果。
如图5所示，为本发明实施例中电子设备的一个实施例示意图，可以包括：如图3或图4所示的图像输出装置。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种图像输出方法，其特征在于，包括：
获取第一对象的可见光RGB图像和近红外NIR图像；
将所述RGB图像和所述NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；
输出目标图像，所述目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于所述预设相似度阈值的第一网格图像所对应的第三网格图像；
其中，所述相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，所述每个第一网格图像是根据所述RGB图像划分得到的，所述每个第二网格图像是根据所述NIR图像划分得到的；每个第三网格图像是根据所述融合图像划分得到的，所述每个第三网格图像与所述每个第一网格图像一一对应。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述RGB图像，划分得到多个第一网格图像；
根据所述NIR图像，划分得到多个第二网格图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述RGB图像，划分得到多个第一网格图像，包括：
将所述RGB图像等分为n×n个第一网格图像；
所述根据所述NIR图像，划分得到多个第二网格图像，包括：
将所述NIR图像等分为n×n个第二网格图像，n为大于等于2的整数。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述RGB图像，划分得到多个第一网格图像，包括：
将所述RGB图像按照第一预设尺寸进行缩放，得到第一图像；
根据所述第一图像，划分得到所述多个第一网格图像；
所述根据所述NIR图像，划分得到多个第二网格图像，包括：
将所述NIR图像按照所述第一预设尺寸进行缩放，得到第二图像；
根据所述第二图像，划分得到所述多个第二网格图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一图像，划分得到所述多个第一网格图像，包括：
将所述第一图像进行灰度处理，得到灰度图；
将所述灰度图通过边缘检测算法，检测得到第一边缘图；
根据所述第一边缘图，划分得到所述多个第一网格图像；
所述根据所述第二图像，划分得到所述多个第二网格图像，包括：
将所述第二图像通过所述边缘检测算法，检测得到第二边缘图；
根据所述第二边缘图，划分得到所述多个第二网格图像。
6.根据权利要求1-3中任一项所述的方法，其特征在于，所述将所述RGB图像和所述NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像，包括：
将所述RGB图像按照第二预设尺寸进行缩放，得到第三图像；
将所述NIR图像按照所述第二预设尺寸进行缩放，得到第四图像；
将所述第三图像和所述第四图像进行叠加后输入至所述预设的卷积神经网络进行预处理，得到所述融合图像。
7.根据权利要求1-3中任一项所述的方法，其特征在于，在所述将所述RGB图像和所述NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像之前，所述方法还包括：
根据融合图像样本的边缘图、NIR图像样本的边缘图、融合图像样本、RGB图像样本，以及所述RGB图像样本对应的网格矩阵，得到损失函数；
根据所述损失函数，得到所述预设的卷积神经网络。
8.根据权利要求7所述的方法，其特征在于，所述根据融合图像样本的边缘图、NIR图像样本的边缘图、融合图像样本、RGB图像样本，以及所述RGB图像样本对应的网格矩阵，得到损失函数，包括：
根据目标公式，得到损失函数；
其中，所述目标公式为L＝αLe+βLp+γLc；L为所述损失函数，α、β和γ为预置的权重系数，Le为根据所述融合图像样本的边缘图和所述NIR图像样本的边缘图得到的边缘损失；Lp为根据所述融合图像样本、所述NIR图像样本的边缘图、所述RGB图像样本和所述RGB图像样本对应的网格矩阵得到的像素损失；Lc为根据所述融合图像样本和所述RGB图像样本得到的颜色损失。
9.一种图像输出装置，其特征在于，包括：
获取模块，用于获取第一对象的可见光RGB图像和近红外NIR图像；将所述RGB图像和所述NIR图像输入至预设的卷积神经网络进行预处理，得到融合图像；
输出模块，用于输出目标图像，所述目标图像包含相似度值大于预设相似度阈值的第一网格图像，以及相似度值小于等于所述预设相似度阈值的第一网格图像所对应的第三网格图像；
其中，所述相似度值为每个第一网格图像与对应每个第二网格图像之间的相似度值，所述每个第一网格图像是根据所述RGB图像划分得到的，所述每个第二网格图像是根据所述NIR图像划分得到的；每个第三网格图像是根据所述融合图像划分得到的，所述每个第三网格图像与所述每个第一网格图像一一对应。
10.一种图像输出装置，其特征在于，包括：
存储有可执行程序代码的存储器；
以及所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，所述可执行程序代码被所述处理器执行时，使得所述处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读存储介质，其上存储有可执行程序代码，其特征在于，所述可执行程序代码被处理器执行时，实现如权利要求1-8中任一所述的方法。
CN202110621349.7A 2021-06-03 2021-06-03 图像输出方法、图像输出装置、电子设备及可读存储介质 Active CN113298743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110621349.7A CN113298743B (zh) 2021-06-03 2021-06-03 图像输出方法、图像输出装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110621349.7A CN113298743B (zh) 2021-06-03 2021-06-03 图像输出方法、图像输出装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113298743A true CN113298743A (zh) 2021-08-24
CN113298743B CN113298743B (zh) 2023-10-31

Family

ID=77327005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110621349.7A Active CN113298743B (zh) 2021-06-03 2021-06-03 图像输出方法、图像输出装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113298743B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196551A (zh) * 2017-10-31 2019-01-11 深圳市大疆创新科技有限公司 图像处理方法、设备及无人机
US20190052855A1 (en) * 2017-08-11 2019-02-14 Samsung Electronics Co., Ltd. System and method for detecting light sources in a multi-illuminated environment using a composite rgb-ir sensor
CN110248105A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
CN112367472A (zh) * 2020-11-09 2021-02-12 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190052855A1 (en) * 2017-08-11 2019-02-14 Samsung Electronics Co., Ltd. System and method for detecting light sources in a multi-illuminated environment using a composite rgb-ir sensor
CN109196551A (zh) * 2017-10-31 2019-01-11 深圳市大疆创新科技有限公司 图像处理方法、设备及无人机
CN110248105A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
CN112367472A (zh) * 2020-11-09 2021-02-12 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIONGHUI JIANG ETC.: ""Multi-Spectral RGB-NIR Image Classification Using Double-Channel CNN"", 《IEEE ACCESS》, pages 20607 - 20611 *

Also Published As

Publication number Publication date
CN113298743B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN108921806B (zh) 一种图像处理方法、图像处理装置及终端设备
CN113706414B (zh) 视频优化模型的训练方法和电子设备
KR20160048140A (ko) 올-인-포커스 이미지를 생성하기 위한 방법 및 장치
CN109005368B (zh) 一种高动态范围图像的生成方法、移动终端及存储介质
CN105049718A (zh) 一种图像处理方法及终端
US10397498B2 (en) Compressive sensing capturing device and method
CN111131688B (zh) 一种图像处理方法、装置及移动终端
US12086968B2 (en) Systems and methods for image processing
CN112767291A (zh) 可见光图像和红外图像融合方法、设备及可读存储介质
TW201822708A (zh) 動態影像之心率活動偵測系統與其方法
CN113658065B (zh) 图像降噪方法及装置、计算机可读介质和电子设备
CN111144337A (zh) 火灾检测方法、装置及终端设备
Yuan et al. A confidence prior for image dehazing
CN111199169A (zh) 图像处理方法和装置
WO2023215371A1 (en) System and method for perceptually optimized image denoising and restoration
CN114140481A (zh) 一种基于红外图像的边缘检测方法、装置
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
CN107424134B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107295261B (zh) 图像去雾处理方法、装置、存储介质和移动终端
CN109785439A (zh) 人脸素描图像生成方法及相关产品
Yang et al. Multi-scale convolutional neural networks and saliency weight maps for infrared and visible image fusion
CN113034416A (zh) 图像处理方法及装置、电子设备及存储介质
CN113298743A (zh) 图像输出方法、图像输出装置、电子设备及可读存储介质
CN113516602B (zh) 一种图像去雾方法、图像去雾装置、电子设备及存储介质
CN110827254A (zh) 图像清晰度的确定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant