CN112241935A - 图像处理方法、装置及设备、存储介质 - Google Patents

图像处理方法、装置及设备、存储介质 Download PDF

Info

Publication number
CN112241935A
CN112241935A CN201910651700.XA CN201910651700A CN112241935A CN 112241935 A CN112241935 A CN 112241935A CN 201910651700 A CN201910651700 A CN 201910651700A CN 112241935 A CN112241935 A CN 112241935A
Authority
CN
China
Prior art keywords
image
processing
area
color
degradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910651700.XA
Other languages
English (en)
Other versions
CN112241935B (zh
Inventor
黄芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910651700.XA priority Critical patent/CN112241935B/zh
Publication of CN112241935A publication Critical patent/CN112241935A/zh
Application granted granted Critical
Publication of CN112241935B publication Critical patent/CN112241935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像处理方法、装置及设备、存储介质，该图像处理方法包括获取采集的第一数据格式的第一图像和第一数据格式的第二图像；第一图像和第二图像均包含目标对象，且目标对象在所述第一图像和第二图像中的位置相同，所述第一图像为可见光图像，所述第二图像为近红外光图像；对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，所述第三图像融合了第一图像的色彩信息和第二图像的灰度信息；从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像。能够提供较完整的监控信息，同时提升目标识别的准确率。

Description

图像处理方法、装置及设备、存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备、存储介质。
背景技术
随着智慧城市的构建，监控相机不断地被普及，传统可见光相机的缺陷也逐渐地凸显出来。例如，在夜晚、大雾等监控场景下，由于可见光相机本身光线较弱或透射性差，进入相机中的可见光光量减少，导致传统相机在夜晚、大雾等恶劣环境下成像极差，不能满足人们对监控画面的需求。近些年，红外光线凭借着透射能力强的优势被应用到监控相机中，在雾天、低照度等场景下发挥着重要作用。
由于近红外光线的波段分布在非可见光波段，近红外相机采集的图像无色彩信息。而缺少色彩的近红外图像用于显示时，仍然不能给用户提供完整的监控信息，于是在一些场合中，将可见光与近红外光线的特性相结合，搭建双光相机，将可见光与近红外图像进行融合，之后，将融合图像共用于显示和目标识别，虽然能够提供较完整的监控信息，但是，在可见光与近红外图像的融合过程中，图像中的原始细节信息会存在丢失，导致目标识别的准确率降低。
发明内容
有鉴于此，本发明提供一种图像处理方法、装置及设备、存储介质，能够提供较完整的监控信息，同时提升目标识别的准确率。
本发明第一方面提供一种图像处理方法，应用于成像设备，包括：
获取采集的第一数据格式的第一图像和第一数据格式的第二图像；第一图像和第二图像均包含目标对象，且目标对象在所述第一图像和第二图像中的位置相同，所述第一图像为可见光图像，所述第二图像为近红外光图像；
对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，所述第三图像融合了第一图像的色彩信息和第二图像的灰度信息；
从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像。
根据本发明的一个实施例，对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，包括：
分别对所述第一图像和第二图像进行图像处理得到第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
对所述第五图像与所述第六图像进行融合处理得到融合图像；
从所述融合图像中检测出所述目标对象在所述融合图像中的位置信息，从所述融合图像中截取检测出的位置信息对应的区域得到所述第三图像，并将检测出的位置信息确定为所述目标位置信息。
根据本发明的一个实施例，对所述第五图像与所述第六图像进行融合处理得到融合图像，包括：
获取所述第五图像中的Y分量、U分量和V分量，并获取所述第六图像中的Y分量；
融合所述第五图像与所述第六图像中的Y分量得到目标Y分量；
依据所述目标Y分量、所述第五图像中的U分量与V分量生成所述融合图像。
根据本发明的一个实施例，对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，包括：
分别对所述第一图像和第二图像进行图像处理得到的第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
从所述第五图像中检测出所述目标对象的位置信息，或者，从所述第六图像中检测出所述目标对象的位置信息；
分别从所述第五图像、第六图像中截取检测出的位置信息对应的区域，得到第二区域图像和第三区域图像，并将检测出的位置信息确定为所述目标位置信息；
对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像。
根据本发明的一个实施例，对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像，包括：
获取所述第二区域图像中的Y分量、U分量和V分量，并获取所述第三区域图像中的Y分量；
融合所述第二区域图像和第三区域图像中的Y分量得到目标Y分量；
依据所述目标Y分量、所述第二区域图像中的U分量与V分量生成所述第三图像。
根据本发明的一个实施例，
所述目标位置信息包括：目标对象上指定点的坐标、及表征目标对象大小的第一尺寸；
从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像，包括：
依据所述目标位置信息中的坐标与第一尺寸确定截取时所需的参考坐标，以所述参考坐标为基准在所述第二图像中截取大小为预设尺寸的区域，将截取出的区域确定为所述第一区域图像；
或者，
以所述目标位置信息中的坐标为基准在所述第二图像中截取大小为第一尺寸的区域，采用缩放或扩边的方式将截取出的区域从第一尺寸调整至目标尺寸，将调整后的区域确定为所述第一区域图像。
根据本发明的一个实施例，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像，包括：
将第一数据格式的第一区域图像输入至已训练的第一神经网络中，以由所述第一神经网络的色彩处理层将所述第一区域图像转换成可进行增强处理的第一候选图，并由所述第一神经网络的至少一卷积层对所述第一候选图进行增强处理得到所述第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
将第一数据格式的第一区域图像输入至已训练的第二神经网络中，以由所述第二神经网络的至少一卷积层对所述第一区域图像进行增强处理得到所述第四图像。
根据本发明的一个实施例，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像，包括：
将第一区域图像输入至已训练的第三神经网络的N个退化程度估计子网络、及图像增强子网络，所述N大于等于1，每一退化程度估计子网络对应一退化因素，以由每一退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，所述退化程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应退化因素影响的程度，并由所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，第四图像是第一区域图像的逆退化图像。
根据本发明的一个实施例，
所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的色彩处理层将所述第一区域图像转换成可进行退化估计的第二候选图，所述退化程度估计子网络的至少一卷积层对所述第二候选图进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的至少一卷积层对所述第一区域图像进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图。
根据本发明的一个实施例，
所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的色彩处理层将所述第一区域图像转换成可进行逆退化处理的第三候选图，所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第三候选图进行逆退化处理得到第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第一区域图像进行逆退化处理得到第四图像。
根据本发明的一个实施例，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像之前，该方法还包括：
对所述第一区域图像进行校正得到校正后的第一区域图像，所述校正包括以下的至少一种：黑电平校正、坏点校正、固定模式噪声校正、白平衡校正；
所述将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像，包括：
将校正后的第一区域图像进行增强处理得到第四图像。
本发明第二方面提供一种图像处理装置，应用于成像设备，包括：
图像获取模块，用于获取采集的第一数据格式的第一图像和第一数据格式的第二图像；第一图像和第二图像均包含目标对象，且目标对象在所述第一图像和第二图像中的位置相同，所述第一图像为可见光图像，所述第二图像为近红外光图像；
第一处理模块，用于对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，所述第三图像融合了第一图像的色彩信息和第二图像的灰度信息；
第二处理模块，用于从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像；
第三处理模块，用于将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像。
根据本发明的一个实施例，所述第一处理模块对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息时，具体用于：
分别对所述第一图像和第二图像进行图像处理得到第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
对所述第五图像与所述第六图像进行融合处理得到融合图像；
从所述融合图像中检测出所述目标对象在所述融合图像中的位置信息，从所述融合图像中截取检测出的位置信息对应的区域得到所述第三图像，并将检测出的位置信息确定为所述目标位置信息。
根据本发明的一个实施例，所述第一处理模块对所述第五图像与所述第六图像进行融合处理得到融合图像时，具体用于：
获取所述第五图像中的Y分量、U分量和V分量，并获取所述第六图像中的Y分量；
融合所述第五图像与所述第六图像中的Y分量得到目标Y分量；
依据所述目标Y分量、所述第五图像中的U分量与V分量生成所述融合图像。
根据本发明的一个实施例，所述第一处理模块对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息时，具体用于：
分别对所述第一图像和第二图像进行图像处理得到的第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
从所述第五图像中检测出所述目标对象的位置信息，或者，从所述第六图像中检测出所述目标对象的位置信息；
分别从所述第五图像、第六图像中截取检测出的位置信息对应的区域，得到第二区域图像和第三区域图像，并将检测出的位置信息确定为所述目标位置信息；
对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像。
根据本发明的一个实施例，所述第一处理模块对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像时，具体用于：
获取所述第二区域图像中的Y分量、U分量和V分量，并获取所述第三区域图像中的Y分量；
融合所述第二区域图像和第三区域图像中的Y分量得到目标Y分量；
依据所述目标Y分量、所述第二区域图像中的U分量与V分量生成所述第三图像。
根据本发明的一个实施例，
所述目标位置信息包括：目标对象上指定点的坐标、及表征目标对象大小的第一尺寸；
所述第二处理模块从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像时，具体用于：
依据所述目标位置信息中的坐标与第一尺寸确定截取时所需的参考坐标，以所述参考坐标为基准在所述第二图像中截取大小为预设尺寸的区域，将截取出的区域确定为所述第一区域图像；
或者，
以所述目标位置信息中的坐标为基准在所述第二图像中截取大小为第一尺寸的区域，采用缩放或扩边的方式将截取出的区域从第一尺寸调整至目标尺寸，将调整后的区域确定为所述第一区域图像。
根据本发明的一个实施例，第三处理模块将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像时，具体用于：
将第一数据格式的第一区域图像输入至已训练的第一神经网络中，以由所述第一神经网络的色彩处理层将所述第一区域图像转换成可进行增强处理的第一候选图，并由所述第一神经网络的至少一卷积层对所述第一候选图进行增强处理得到所述第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
将第一数据格式的第一区域图像输入至已训练的第二神经网络中，以由所述第二神经网络的至少一卷积层对所述第一区域图像进行增强处理得到所述第四图像。
根据本发明的一个实施例，第三处理模块将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像时，具体用于：
将第一区域图像输入至已训练的第三神经网络的N个退化程度估计子网络、及图像增强子网络，所述N大于等于1，每一退化程度估计子网络对应一退化因素，以由每一退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，所述退化程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应退化因素影响的程度，并由所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，第四图像是第一区域图像的逆退化图像。
根据本发明的一个实施例，
所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的色彩处理层将所述第一区域图像转换成可进行退化估计的第二候选图，所述退化程度估计子网络的至少一卷积层对所述第二候选图进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的至少一卷积层对所述第一区域图像进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图。
根据本发明的一个实施例，
所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的色彩处理层将所述第一区域图像转换成可进行逆退化处理的第三候选图，所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第三候选图进行逆退化处理得到第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第一区域图像进行逆退化处理得到第四图像。
根据本发明的一个实施例，所述第三处理模块之前，该装置还包括：
校正模块，用于对所述第一区域图像进行校正得到校正后的第一区域图像，所述校正包括以下的至少一种：黑电平校正、坏点校正、固定模式噪声校正、白平衡校正；
所述第三处理模块将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像时，具体用于：
将校正后的第一区域图像进行增强处理得到第四图像。
本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例所述的图像处理方法。
本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例所述的图像处理方法。
相比于现有技术，本发明实施例具有以下有益效果：
本发明实施例中，利用采集的第一数据格式的第一图像和第二图像获取第三图像，由于第三图像融合了第一图像的色彩信息和第二图像中目标对象的灰度信息，在显示第三图像时，能够提供较完整的监控信息；并且，从第一数据格式的第二图像中截取目标对象所处的目标位置信息对应的区域，得到第一区域图像，相比于经过位宽裁剪、图像处理和编解码处理过的图像，该第一数据格式的第一区域图像的位宽高、包含丰富的图像信息，对第一区域图像进行增强处理，能够获得更高质量的第四图像，后续对第四图像进行目标对象的识别，能够提升目标识别准确率。因此，本发明实施例中，能够提供较完整的监控信息，同时提升目标识别的准确率。
附图说明
图1为本发明一实施例的图像处理方法的流程示意图；
图2为本发明一实施例的图像处理装置的结构框图；
图3为本发明一实施例的第一处理模块的结构框图；
图4为本发明一实施例的色彩插值过程的示意图；
图5为本发明一实施例的第一目标检测单元的结构框图；
图6为本发明另一实施例的第一处理模块的结构框图；
图7为本发明一实施例的第三处理模块的结构框图；
图8为本发明一实施例的第一神经网络的结构框图；
图9为本发明一实施例的色彩处理层处理过程的示意图；
图10为本发明一实施例的第二神经网络的结构框图；
图11为本发明一实施例的第三神经网络的结构框图；
图12为本发明一实施例的退化程度估计子网络的结构框图；
图13为本发明一实施例的另一退化程度估计子网络的结构框图；
图14为本发明一实施例的图像增强子网络的结构框图；
图15为本发明一实施例的另一图像增强子网络的结构框图；
图16为本发明一实施例的又一图像增强子网络的结构框图；
图17为本发明另一实施例的第三处理模块的结构框图；
图18为本发明一实施例的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使得本发明的描述更清楚简洁，下面对本发明中的一些技术术语进行解释：
神经网络(Neural Network)：神经网络是是一种模拟大脑信息处理过程抽象而出的网络技术，主要由神经元构成；它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现，它可以包括卷积层(Convolutional Layer)和池化层(Pooling Layer)等。
下面对本发明实施例的图像处理方法进行更具体的描述，但不应以此为限。
在一个实施例中，参看图1，示出了本发明实施例的一种图像处理方法，应用于成像设备，该方法可以包括以下步骤：
S100：获取采集的第一数据格式的第一图像和第一数据格式的第二图像；第一图像和第二图像均包含目标对象，且目标对象在所述第一图像和第二图像中的位置相同，所述第一图像为可见光图像，所述第二图像为近红外光图像；
S200：对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，所述第三图像融合了第一图像的色彩信息和第二图像的灰度信息；
S300：从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像。
在本发明实施例中，图像处理方法可以应用在成像设备上，更具体的是摄像机，由摄像机执行上述步骤S100-S300。成像设备可以采集可见光图像和近红外光图像。
成像设备可以包括两路采集通道，一路采集通道通过采样可见光波段的光信号得到可见光图像，另一路采集通道通过采样近红外光波段的光信号得到近红外光图像。红外波段等光信号穿透力比可见光强，所以近红外光图像有更多细节信息。
具体的，成像设备可以为双光相机，镜头捕获到光信号之后，两路采集通道(包含传感器等组件)通过分光技术采样相应波段的光信号得到可见光图像和近红外光图像。当然，成像设备的所述两路采集通道也可以分别用不同的镜头采集图像，或者，成像设备可以通过一路采集通道以切换采集的方式采集可见光图像和近红外光图像，具体不做限制。
步骤S100中，获取采集的第一数据格式的第一图像和第一数据格式的第二图像；第一图像和第二图像均包含目标对象，且目标对象在所述第一图像和第二图像中的位置相同，所述第一图像为可见光图像，所述第二图像为近红外光图像。
第一数据格式是指图像传感器将捕捉到的光源信号转化为数字信号的原始数据格式，该原始数据为包含来自一个或多个光谱波段的感应数据。例如是RGB传感器感光得到的RAW图像信号。
第一数据格式的图像为成像设备将采集到的光源信号转换为数字信号的数据。具体的，成像设备采集图像的原理一般为：采集光源信号，将采集到的光源信号转换为模拟信号，将模拟信号转换为数字信号，将数字信号输入到处理芯片进行处理(该处理可以包括位宽裁剪、图像处理和编解码处理等)，得到第二数据格式的数据，将第二数据格式的数据传输给显示设备进行显示或其他设备进行处理。第一数据格式为成像将采集到的光源信息转换为数字信号时的图像，该图像未经过处理芯片进行处理，位宽高，相比于经过位宽裁剪、图像处理和编解码处理的第二数据格式的图像，包含丰富的图像信息。
第一图像和第二图像中均包含目标对象，并且目标对象在所述第一图像和第二图像中的位置相同。目标对象的类型不限，例如是文字、人物、车辆、车牌和建筑等等，形状、大小也不限。
步骤S200中，对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，所述第三图像融合了第一图像的色彩信息和第二图像的灰度信息。
对第一图像和第二图像进行处理得到第三图像，第三图像可以用于显示、传输、和/或目标识别。第三图像的格式可以是适于第三图像传输和显示的第二数据格式，使得第三图像可直接送入显示设备进行显示。第二数据格式比如，可以是RGB格式或YUV格式等。
由于第三图像融合了第一图像的色彩信息和第二图像的灰度信息，该灰度信息包含了目标对象的纹理信息及其他细节信息，所以，将第三图像传输至显示设备显示后，不仅可以呈现目标对象的细节，而且画面是彩色的，可给用户提供较完整的监控信息。
对第一图像和第二图像进行处理还可得到目标对象的目标位置信息。由于目标对象在第一图像和第二图像中的位置相同，所以目标对象的目标位置信息，可以从第一图像或第二图像中获取，或者，还可从第一图像和第二图像的融合图像中获取(只要不改变目标对象在图像中的位置即可)。
目标位置信息可以包括：目标对象的检出框在图像中的起始坐标、及检出框的尺寸；或者，目标对象的检出框在图像中的起始坐标和结束坐标等等，具体并不限定。
对第一图像和第二图像进行的处理可以包括：融合处理、格式转换等等。由于在融合过程中，图像的原始细节信息会存在丢失，所以如果第三图像用于目标对象的识别，很有可能因为第三图像中目标对象的细节信息缺失而导致识别错误，进而导致目标识别准确率低的问题，本发明实施例可以解决该问题。
在步骤S300中，从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像。
目标位置信息可用于定位第二图像中的目标对象，第二图像中获取所述目标位置信息对应的第一区域即为目标对象在第二图像中所处的区域，因而可以依据目标位置信息从所述第二图像中截取所述目标位置信息对应的区域，获取到的区域作为第一区域图像。
第二图像是采集的第一数据格式的图像，是成像设备将采集到的光源信号转换为数字信号时的图像，采集后未经过处理或加工，因而保留了采集时的原始细节信息。第一区域图像是从第二图像中截取出的图像，因而，该第一区域图像的数据格式也是第一数据格式。
将第一数据格式的第一区域图像进行增强处理，可以提升第一区域图像的图像质量，输出高质量的第四图像，该第四图像用于目标对象的识别，后续可对第四图像进行目标识别。由于第四图像是在第一数据格式的第一区域图像的基础上进行增强处理所得的图像，所以相比于在经过位宽裁剪、图像处理和编解码处理过的图像的基础上进行增强处理所得图像而言，图像质量更高。
增强处理可以包括：对图像的亮度、清晰度、对比度、分辨率、信噪比、动态范围等中的至少一个属性进行调整，以提升图像质量。
本发明实施例中，利用采集的第一数据格式的第一图像和第二图像获取第三图像，由于第三图像融合了第一图像的色彩信息和第二图像中目标对象的灰度信息，在显示第三图像时，能够提供较完整的监控信息；并且，从第一数据格式的第二图像中截取目标对象所处的目标位置信息对应的区域，得到第一区域图像，相比于经过位宽裁剪、图像处理和编解码处理过的图像，该第一数据格式的第一区域图像的位宽高、包含丰富的图像信息，对第一区域图像进行增强处理，能够获得更高质量的第四图像，后续对第四图像进行目标对象的识别，能够提升目标识别准确率。因此，本发明实施例中，能够提供较完整的监控信息，同时提升目标识别的准确率。
在一个实施例中，上述方法流程可由图像处理装置执行，该图像处理装置可以是摄像机中的装置，如图2所示，图像处理装置100主要包含4个模块：图像获取模块101，第一处理模块102，第二处理模块103和第三处理模块104。图像获取模块101用于执行上述步骤S100，第一处理模块102用于执行上述步骤S200，第二处理模块103和第三处理模块104用于执行上述步骤S300。
如图2所示，图像获取模块101获取成像设备采集的第一数据格式的第一图像和第二图像；图像获取模块101将获取的第一数据格式的第一图像与第二图像输入到第一处理模块102中，第一处理模块102对第一图像和第二图像进行处理后输出第三图像，第三图像中融合了第一图像中的色彩信息和第二图像的灰度信息，所以是较为清晰的彩色图像，该第三图像可直接用于目标对象的显示；第一处理模块102还可输出目标对象的目标位置信息，将目标位置信息输入至第二处理模块103，第二处理模块103可依据目标位置信息在第一数据格式的第二图像上截取目标对象所处的区域，得到第二区域图像，并通过第三处理模块104对第二区域图像进行图像质量增强处理，输出高质量的第四图像，该第三图像可直接用于目标对象的识别。
在一个实施例中，步骤S200中，对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，包括：
S201：分别对所述第一图像和第二图像进行图像处理得到第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
S202：对所述第五图像与所述第六图像进行融合处理得到融合图像；
S203：从所述融合图像中检测出所述目标对象在所述融合图像中的位置信息，从所述融合图像中截取检测出的位置信息对应的区域得到所述第三图像，并将检测出的位置信息确定为所述目标位置信息。
本实施例中，第一处理模块102处理顺序为先图像处理，再双光融合，最后目标检测。
作为第一处理模块102的一种实现方式，参看图3，第一处理模块102可以包括第一图像处理单元1021、第一双光融合单元1022和第一目标检测单元1023，第一图像处理单元1021用于执行上述步骤S201，第一双光融合单元1022用于执行上述步骤S202，第一目标检测单元1023用于执行上述步骤S203。
第一图像处理单元1021对第一图像和第二图像分别进行图像处理，输出彩色的第五图像和非彩色的第六图像，第五图像为彩色图，第六图像为灰度图；第一双光融合单元1022对第一图像处理单元1021输出的第五图像和第六图像进行融合处理，实现色彩信息与细节信息的融合，输出融合后所得的彩色融合图像；第一目标检测单元1023对第一双光融合单元1022输出的融合图像进行目标检测，从所述融合图像中检测出所述目标对象在融合图像中的位置信息，从所述融合图像中截取检测出的位置信息对应的区域得到所述第三图像，并将检测出的位置信息确定为所述目标位置信息。
步骤S201中，分别对所述第一图像和第二图像进行图像处理得到第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图。
在对第一图像进行图像处理时，尽可能地保留图像的色彩信息，所得的第五图像为适于进行融合处理的彩色图。对第二图像进行图像处理时，尽可能地保留第二图像中的细节信息，并且为了避免在融合时影响第五图像中的色彩信息，所得的第六图像为适于进行融合处理的灰度图，无色彩信息。
图像处理方式可以包括黑电平校正、白平衡校正、色彩插值、色彩校正、曲线映射、格式转换、联合降噪中的至少一种。当然，还可以包括其他的图像处理方式，在此不做限定，只要得到的第五图像和第六图像是适于融合处理的图像，并且第五图像是彩色图，第六图像是灰度图即可。
具体的，第一图像处理单元1021可以对第一图像依次进行白平衡校正、色彩插值、曲线映射以及格式转换处理，获得第五图像；第一图像处理单元1021可以对第二图像依次进行白平衡校正、色彩插值、曲线映射以及格式转换处理，获得第六图像。第五图像和第六图像的数据格式比如可以为YUV格式、RGB格式等，具体格式不限。
白平衡校正是为了去除图像成像时因环境光照影响而造成的图像偏色，以还原图像原有的色彩信息，一般由增益系数Rgain、Ggain、Bgain来调整对应的R、G、B分量：
R′＝R*Rgain
G′＝G*Ggain
B′＝B*Bgain
其中，R、G、B是白平衡校正前图像IMGin的红、绿、蓝色彩分量，R′、G′、B′是白平衡校正后图像IMGawb的色彩分量。
色彩插值是将单通道图像转为RGB三通道图像，这里以最邻近插值法为例进行介绍，对单通道图像直接用最邻近的色彩像素填补相应色彩缺失的像素点，使每个像素点都含有RGB三种色彩分量，具体插值情况可参看图4，在此不再赘述。
曲线映射是为了增强图像的亮度与对比度，常用的有gamma曲线映射，即根据Gamma表对图像进行线性映射，公式如下：
IMGgamma(i,j)＝Gamma(IMGcfa(i,j))
其中，IMGcfa(i,j)为曲线映射前的图像，IMGgamma(i,j)为曲线映射后的图像。
格式转换是为了提取或分离图像的亮度与色彩信息，这里以RGB格式转YUV格式为例，通过以下公式实现图像的RGB格式转YUV格式：
Y＝0.299*R+0.587*G+0.114*B
U＝-0.169*R-0.331*G+0.5*B
V＝0.5*R-0.419*G-0.081*B
第一图像处理单元1021的输出图像格式可根据输入图像按需调整。
对于全透光传感器获取的图像，第一图像处理单元1021无需包含与色彩相关的处理，如白平衡校正、色彩插值等。对于拜耳传感器获取的图像，图像处理单元1021则需包含与色彩相关的处理，如白平衡校正、色彩插值等。
步骤S202中，对所述第五图像与所述第六图像进行融合处理得到融合图像。
对第五图像和第六图像进行融合处理，具体的融合方式不限，只要保证得到的融合图像融合了第五图像中的色彩信息和第六图像的灰度信息即可。如此，融合图像中既含有第一图像的色彩信息，又含有第二图像的灰度信息。
可以将第五图像和第六图像同时输入到第一双光融合单元1022中进行融合，第一双光融合单元1022进行融合后输出彩色的融合图像给第一目标检测单元1023。
步骤S203中，从所述融合图像中检测出所述目标对象在所述融合图像中的位置信息，从所述融合图像中截取检测出的位置信息对应的区域得到所述第三图像，并将检测出的位置信息确定为所述目标位置信息。
融合图像中包含目标对象，第一目标检测单元1023可至少通过目标检测算法来实现对融合图像的目标检测，得到目标对象在所述融合图像中的位置信息，并从所述融合图像中截取检测出的位置信息对应的区域，得到所述第三图像。
目标检测算法通过传统检测方式、或深度学习技术等实现，检测的目标可为人脸、行人、车牌、车辆、动物等，具体不做限定，可以根据需要选择。当然，第一目标检测单元1023除了目标检测，还可以结合其他方式来实现，比如可以包括目标检测、目标跟踪、目标抓拍三个部分。
参看图5，第一目标检测单元1023可以包含目标检测子单元10231、目标跟踪子单元10232及目标抓拍子单元10233，上述步骤S203可以由目标检测子单元10231、目标跟踪子单元10232及目标抓拍子单元10233完成。
以图5中的第一目标检测单元1023为例展开说明，在成像设备正常工作过程中，双光融合单元连续输出融合图像构成视频流，针对视频流中的每一融合图像，融合图像经过目标检测子单元10231的目标检测处理，可输出融合图像上的各目标(可以是目标对象所处区域)及其位置信息；之后，目标跟踪子单元10232对各目标对象进行跟踪和评价，记录下各个目标对象的位置信息与评分，当某目标对象在一个融合图像中不再出现时，结束对该目标对象的跟踪，得到同一目标对象在各融合图像中的位置信息及评分；目标抓拍单元1015可以根据预设的选取策略选取目标及其位置信息，选取的位置信息作为目标对象在融合图像中的位置信息，选取出的目标作为融合图像中的该位置信息对应的区域，即第三图像。
选取策略可以设定为选取质量较好的目标并输出目标及其位置信息，当然，选取策略也可以设定为须每帧均输出目标及其位置信息等，并不对选取策略做限定。
可选的，目标检测子单元10231、目标跟踪子单元10232及目标抓拍子单元10233可分别采用神经网络实现相应功能，神经网络比如至少包含一个卷积层。
在一个实施例中，步骤S202中，对所述第五图像与所述第六图像进行融合处理得到融合图像，包括：
S2021：获取所述第五图像中的Y分量、U分量和V分量，并获取所述第六图像中的Y分量；
S2022：融合所述第五图像与所述第六图像中的Y分量得到目标Y分量；
S2023：依据所述目标Y分量、所述第五图像中的U分量与V分量生成所述融合图像。
可以由第一双光融合单元1022来实现步骤S2021-S2023。
步骤S2021中，获取所述第五图像中的Y分量、U分量和V分量，并获取所述第六图像中的Y分量。
第五图像和第六图像的格式不限，可以为RGB格式、YUV格式等。如果第五图像和第六图像的格式是YUV格式，则可以直接从第五图像中读取YUV分量，从第六图像中读取Y分量；如果第五图像和第六图像的格式不是YUV格式，则可以根据相关格式转换公式计算第五图像中的Y分量、U分量和V分量，以及第六图像中的Y分量。比如，第五图像和第六图像是RGB格式的图像，就可以用RGB转YUV公式计算。
步骤S2022中，融合所述第五图像与所述第六图像中的Y分量得到目标Y分量，实现了第五图像和第六图像的亮度融合。
亮度融合是将第五图像与第六图像的亮度信息进行融合，可以包括：计算所述第五图像中的Y分量与预设的第一权重值的第一乘积值；计算所述第六图像中的Y分量与预设的第二权重值的第二乘积值，所述第一权重值与第二权重值之和为1；计算所述第一乘积值与所述第二乘积值之和得到所述目标Y分量。
具体融合公式可以如下：
Yfuse＝ω·Y1+(1-ω)·Y2
其中，ω为预设的第一权重值，1-ω为预设的第二权重值，ω∈[0,1]；可按需进行设置；Y1为第五图像中的Y分量；Y2为第六图像中的Y分量；Yfuse为目标Y分量。
步骤S2023中，依据所述目标Y分量、所述第五图像中的U分量与V分量生成所述融合图像，实现了第五图像和第六图像的色彩融合。
由于第六图像无色彩信息，不适合显示，所以，融合图像的色彩信息主要来源于第五图像的色彩信息，则色彩融合操作就是将第五图像的UV分量作为融合图像的UV分量，将目标Y分量作为融合图像的Y分量，公式如下：
YUVfuse＝concat(Yfuse,U1,V1)
其中，U1为第五图像中的U分量，V1为第五图像中的V分量，YUVfuse为融合图像。
在一个实施例中，步骤S200中，对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，包括：
S204：分别对所述第一图像和第二图像进行图像处理得到第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
S205：从所述第五图像中检测出所述目标对象在第五图像中的位置信息，或者，从所述第六图像中检测出所述目标对象在第六图像中的位置信息；
S206：分别从所述第五图像、第六图像中截取检测出的位置信息对应的区域，得到第二区域图像和第三区域图像，并将检测出的位置信息确定为所述目标位置信息；
S207：对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像。
本实施例中，第一处理模块102处理顺序为先图像处理，再目标检测，最后双光融合。
作为第一处理模块102的另一种实现方式，参看图6，第一处理模块102可以包括第二图像处理单元1024、第二目标检测单元1025和第二双光融合单元1026，第二图像处理单元1024用于执行上述步骤S204，第二目标检测单元1025用于执行上述步骤S205和S206，第二双光融合单元1026用于执行上述步骤S207。
如图6所示，第二图像处理单元1024对第一图像和第二图像分别进行图像处理，输出彩色的第五图像和非彩色的第六图像，第五图像为彩色图，第六图像为灰度图；第二目标检测单元1025对第五图像或第六图像进行目标检测，可从所述第五图像中检测出所述目标对象在第五图像中的位置信息、或者、从所述第六图像中检测出所述目标对象在第六图像中的位置信息，可以输出检测出的位置信息，并分别从所述第五图像、第六图像中截取检测出的位置信息对应的区域，得到第二区域图像和第三区域图像；第二双光融合单元1026对第二目标检测单元1025输出的第二区域图像和第三区域图像进行融合处理，实现色彩信息与细节信息的融合，输出融合后所得的彩色第三图像。
步骤S204中，分别对所述第一图像和第二图像进行图像处理得到第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图。
在对第一图像进行图像处理时，尽可能地保留图像的色彩信息，所得的第五图像为适于进行融合处理的彩色图。对第二图像进行图像处理时，尽可能地保留第二图像中的细节信息，并且为了避免在融合时影响第五图像中的色彩信息，所得的第六图像为适于进行融合处理的灰度图，无色彩信息。
图像处理的方式可以参看前述实施例的内容，在此不再赘述。
步骤S205和步骤S206可由第二目标检测单元1025实现，第二目标检测单元1025可以与第一目标检测单元1023类似，只是需要对第五图像构成的视频流或第六图像构成的视频流进行处理，相同或相似之处在此不再赘述。
步骤S207中，对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像。
对第二区域图像和第三区域图像进行融合处理，具体的融合方式不限，只要保证得到的融合后的第三图像融合了第二区域图像中的色彩信息和第三区域图像中的灰度信息即可。如此，第三图像中既含有第一图像的色彩信息，又含有第二图像的灰度信息。
可以将第二区域图像和第三区域图像同时输入到第二双光融合单元1026中进行融合，第二双光融合单元1026进行融合后输出彩色的第三图像。
在一个实施例中，步骤S207中，对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像，包括：
S2071：获取所述第二区域图像中的Y分量、U分量和V分量，并获取所述第三区域图像中的Y分量；
S2072：融合所述第二区域图像和第三区域图像中的Y分量得到目标Y分量；
S2073：依据所述目标Y分量、所述第二区域图像中的U分量与V分量生成所述第三图像。
可以由第二双光融合单元1026来实现步骤S2071-S2073。
步骤S2071中，获取所述第二区域图像中的Y分量、U分量和V分量，并获取所述第三区域图像中的Y分量。
第二区域图像和第三区域图像的格式不限，可以为RGB格式、YUV格式等。如果第二区域图像和第三区域图像的格式是YUV格式，则可以直接从第二区域图像中读取YUV分量，从第三区域图像中读取Y分量；如果第二区域图像和第三区域图像的格式不是YUV格式，则可以根据相关格式转换公式计算第二区域图像中的Y分量、U分量和V分量，以及第三区域图像中的Y分量。比如，第二区域图像和第三区域图像是RGB格式的图像，就可以用RGB转YUV公式计算。
步骤S2072中，融合所述第二区域图像和第三区域图像中的Y分量得到目标Y分量，实现了第二区域图像和第三区域图像的亮度融合。
亮度融合是将第二区域图像和第三区域图像的亮度信息进行融合，具体方式可以参看前述实施例中关于将第五图像与第六图像的亮度信息进行融合的具体内容，在此不再赘述。
步骤S2073中，依据所述目标Y分量、所述第二区域图像中的U分量与V分量生成所述第三图像，实现了第五图像和第六图像的色彩融合。
由于第三区域图像无色彩信息，不适合显示，所以，第三图像的色彩信息主要来源于第二区域图像的色彩信息，则色彩融合操作就是将第二区域图像的UV分量作为第三图像的UV分量，将目标Y分量作为第三图像的Y分量。
在一个实施例中，所述目标位置信息包括：目标对象上指定点的坐标、及表征目标对象大小的第一尺寸。
第二处理模块103的输入为第一数据格式的第二图像和第一处理模块102输出的目标对象的目标位置信息，该第二处理模块103根据目标对象的目标位置信息，在输入的第二图像中截取目标位置信息对应的区域，得到第一区域图像，可将各第一区域图像保存到缓存中。
截取原则有两种，第一种原则为所有区域在截取时尺寸保持一致；第二种原则为按照检测框截取区域，然后采用扩边、缩放等方法将区域大小进行统一。
采用第一种原则的情况下，步骤S300中，从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像，包括：
依据所述目标位置信息中的坐标与第一尺寸确定截取时所需的参考坐标，以所述参考坐标为基准在所述第二图像中截取大小为预设尺寸的区域，将截取出的区域确定为所述第一区域。
假设第一处理模块102输出的目标位置信息为[x,y,h,w]，其中x,y为目标对象上指定点的坐标比如检测框的起始点坐标，h,w为目标对象大小的第一尺寸比如检测框的高与宽，预设尺寸为高H,宽W，输入的原始第二图像高宽分别为M,N1，则截取的区域IMGROI为
IMGROI＝IMGin(x-a+1:x-a+H,y-b+1:y-b+W)
上式中，若x-a<0或y-b<0，则x-a＝0，y-b＝0；若x-a>M-H或y-b>N1-W，则x-a＝M-H，y-b＝N1-W。
式中(x-a，y-b)可以作为参考位置，a,b的取值可以根据截取方式的需要确定。如果截取区域时，以检测框的中心作为截取区域中心，那么，
Figure BDA0002135445560000241
如果截取区域时，以检测框的起始点作为起始点，那么，a＝0,b＝0，当x+h>H，y+w>W，重新设置截取区域的起始点。
采用第二种原则的情况下，步骤S300中，从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像，包括：
以所述目标位置信息中的坐标为基准在所述第二图像中截取大小为第一尺寸的区域，采用缩放或扩边的方式将截取出的区域从第一尺寸调整至目标尺寸，将调整后的区域确定为所述第一区域。
假设第一处理模块102输出的目标位置信息为[x,y,h,w]，其中x,y为目标对象上指定点的坐标比如检测框的起始点坐标，h,w为目标对象大小的第一尺寸检测框的高与宽，输入的第二图像高宽分别为M,N，则截取的目标图像IMGROI为
IMGROI＝IMGin(x+1:x+h,y+1:y+w)
其中，若x<0或y<0，则x＝0，y＝0；若x>M-h或y>N-w，则x＝M-h，y＝N-w。
截取出区域后，对截取的区域进行尺寸统一。可以预设一个目标尺寸，将区域进行缩放至目标尺寸，缩放方式可以为双线性插值、最邻近插值等，缩放方式不做限定。
第三处理模块104主要是对第一数据格式的第一区域图像进行图像质量增强处理，输出高质量的第四图像，供后续智能识别。其中，图像质量增强处理包括对目标图像的亮度、清晰度、对比度、分辨率、信噪比、动态范围等中的至少一个属性进行调整。
参看图7，第三处理模块104可以包括图像增强单元1041，用于执行将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像。
在一个实施例中，步骤S300中，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像，包括：
S301：将第一数据格式的第一区域图像输入至已训练的第一神经网络中，以由所述第一神经网络的色彩处理层将所述第一区域图像转换成可进行增强处理的第一候选图，并由所述第一神经网络的至少一卷积层对所述第一候选图进行增强处理得到所述第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理。
本实施例中，上述步骤S301可以由图像增强单元1041完成，图像增强单元1041采用深度学习技术实现。第一神经网络可以预先设置在图像增强单元1041中，在需要时图像增强单元1041从本地调用；或者，第一神经网络可以预先设置在其他单元或其他设备中，在需要时图像增强单元1041从外部调用。
在第二图像是由拜耳(bayer)传感器采集的图像时，每个像素仅有一种颜色信息，且相邻像素颜色信息不同，不利于网络区别处理各色彩信息，第一区域图像是从第二图像中截取的，所以第一区域图像也是同理。所以本实施例中，第一神经网络在执行增强处理之前还通过色彩处理层对第一区域图像进行色彩处理，以将所述第一区域图像转换成可进行增强处理的第一候选图，再通过至少一卷积层对所述第一候选图进行增强处理得到所述第四图像。
第一候选图可以是第一区域图像的特征图、或者可以是第一区域图像经一定处理后的图像，具体形式不限。
作为第一神经网络的一种实现方式，参看图8，第一神经网络601可以包括色彩处理层和多个卷积层Conv(图中示出了3个卷积层Conv，具体不限于此)。通过色彩处理层将输入的第一区域图像转换成可进行增强处理的第一候选图。通过多个卷积层Conv对所述第一候选图进行增强处理得到所述第四图像。
色彩处理层的作用是对第一数据格式的图像进行色彩处理，包括灰度化处理、色彩通道分离处理、色彩信息重组合处理等，使网络能够更有效地提取第一数据格式的图像上的信息，提高数据特征的区分度。色彩处理层包括至少一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述目标视频帧的色彩排列模式的最小单元的整数倍。这里以色彩通道分离处理为例，处理过程如图9所示，输入的视频帧中不同色彩的通道是混合排列的，采用滤波核为[1,0；0,0]、[0,1；0,0]、[0,0；1,0]、[0,0；0,1]的滤波器以步长为2依次对输入的视频帧进行滤波，实现了色彩通道的分离。当然，色彩处理层还可以包括反卷积层、合并层等，具体层结构不限。
卷积层Conv的功能实际上就是滤波处理，一个卷积层的实现可用一下公式表示：
Fi(I1)＝g(Wi*Fi-1(I1)+Bi)
其中，Fi(I1)为当前卷积层的输出，Fi-1(I1)为当前卷积层的输入，*表示卷积操作，Wi和Bi分别为当前卷积层的卷积滤波器的权重系数和偏移系数，g()表示激活函数，当激活函数为ReLU时，g(x)＝max(0,x)，卷积层可输出特征图。
在一个实施例中，步骤S300中，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像可以由图像增强单元1041实现，包括：
S302：将第一数据格式的第一区域图像输入至已训练的第二神经网络中，以由所述第二神经网络的至少一卷积层对所述第一区域图像进行增强处理得到所述第四图像。
本实施例中，上述步骤S302可以由图像增强单元1041完成，图像增强单元1041采用深度学习技术实现。第二神经网络可以预先设置在图像增强单元1041中，在需要时图像增强单元1041从本地调用；或者，第二神经网络可以预先设置在其他单元或其他设备中，在需要时图像增强单元1041从外部调用。
在第二图像是由非拜耳传感器(比如全透光传感器)采集的图像时，第二图像中每个像素表示捕捉到的光线的强度，无色彩信息，可直接进行增强处理，第一区域图像是从第二图像中截取的，所以第一区域图像也是同理。所以本实施例中，第二神经网络在执行增强处理之前无需通过色彩处理层对第一区域图像进行色彩处理，直接通过至少一卷积层对所述第一候选图进行增强处理得到所述第四图像。
作为第二神经网络的一种实现方式，参看图10，第二神经网络701可以包括多个卷积层Conv(图中示出了3个卷积层Conv，具体不限于此)。通过多个卷积层Conv对输入的第一区域图像进行增强处理得到所述第四图像。
在一个实施例中，步骤S300中，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像，包括：
S303：将第一区域图像输入至已训练的第三神经网络的N个退化程度估计子网络、及图像增强子网络，所述N大于等于1，每一退化程度估计子网络对应一退化因素，以由每一退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，所述退化程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应退化因素影响的程度，并由所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，第四图像是第一区域图像的逆退化图像。
本实施例中，上述步骤S303可以由图像增强单元1041完成，图像增强单元1041采用深度学习技术实现。第三神经网络可以预先设置在图像增强单元1041中，在需要时图像增强单元1041从本地调用；或者，第三神经网络可以预先设置在其他单元或其他设备中，在需要时图像增强单元1041从外部调用。
一幅图像在成像过程中可能会受到多个不同退化因素的影响，比如包括噪声退化、模糊退化等因素，图像中每个像素受同一退化因素影响的也会不同。如果可以确定第一区域图像中每个像素受退化因素影响的程度，就可以进行相应程度的逆退化，从而实现图像的复原，得到高质量的第四图像。因此，本实施例中，第三神经网络可以实现上述的功能。
作为第三神经网络的一种实现方式，参看图11，第三神经网络801可以包括N个退化程度估计子网络8011和图像增强子网络8012。退化程度估计子网络8011估计输入的第一区域图像在对应退化因素下的退化程度图，所述退化程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应退化因素影响的程度，退化程度图会输入到图像增强子网络8012中。图像增强子网络8012依据收到的各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像。
图11中示出了一个退化程度估计子网络8011，实际也可以是两个以上退化程度估计子网络，不同退化程度估计子网络对应的退化因素不同，比如：噪声程度估计子网络对应于噪声退化，输出的是噪声程度图，噪声程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应噪声退化因素影响的程度；模糊程度估计子网络对应于模糊退化，输出的是模糊程度图，模糊程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应模糊退化因素影响的程度。此处仅是举例，当然还可以考虑其他的退化因素，增加相应的退化程度估计子网络即可。
在一个实施例中，步骤S303中，所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的色彩处理层将所述第一区域图像转换成可进行退化估计的第二候选图，所述退化程度估计子网络的至少一卷积层对所述第二候选图进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理。
在第二图像是由拜耳(bayer)传感器采集的图像时，每个像素仅有一种颜色信息，且相邻像素颜色信息不同，不利于网络区别处理各色彩信息，第一区域图像是从第二图像中截取的，所以第一区域图像也是同理。所以本实施例中，退化程度估计子网络在执行退化估计之前还通过色彩处理层对第一区域图像进行色彩处理，以将所述第一区域图像转换成可进行退化估计的第二候选图，再通过至少一卷积层对所述第二候选图进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图。
第二候选图可以是第一区域图像的特征图、或者可以是第一区域图像经一定处理后的图像，具体形式不限。
作为退化程度估计子网络的一种实现方式，参看图12，退化程度估计子网络8011可以包括色彩处理层和多个卷积层Conv(图中示出了3个卷积层Conv，具体不限于此)。通过色彩处理层将所述第一区域图像转换成可进行退化估计的第二候选图。通过多个卷积层Conv对所述第二候选图进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图。
在一个实施例中，步骤S303中，所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的至少一卷积层对所述第一区域图像进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图。
在第二图像是由非拜耳传感器(比如全透光传感器)采集的图像时，第二图像中每个像素表示捕捉到的光线的强度，无色彩信息，可直接进行增强处理，第一区域图像是从第二图像中截取的，所以第一区域图像也是同理。所以本实施例中，退化程度估计子网络在执行退化估计之前无需通过色彩处理层对第一区域图像进行色彩处理，直接通过至少一卷积层对所述第一区域图像进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图。
作为退化程度估计子网络的另一种实现方式，参看图13，退化程度估计子网络8011可以包括多个卷积层Conv(图中示出了3个卷积层Conv，具体不限于此)。通过多个卷积层Conv对输入的第一区域图像进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图。
在一个实施例中，步骤S303中，所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的色彩处理层将所述第一区域图像转换成可进行逆退化处理的第三候选图，所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第三候选图进行逆退化处理得到第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理。
在第二图像是由拜耳传感器采集的图像时，每个像素仅有一种颜色信息，且相邻像素颜色信息不同，不利于网络区别处理各色彩信息，第一区域图像是从第二图像中截取的，所以第一区域图像也是同理。所以本实施例中，图像增强子网络在执行逆退化处理之前还通过色彩处理层对第一区域图像进行色彩处理，以将所述第一区域图像转换成可进行逆退化处理的第三候选图，再通过至少一卷积层依据各退化程度估计子网络得到的退化程度图对第三候选图进行逆退化处理得到第四图像。
第三候选图可以是第一区域图像的特征图、或者可以是第一区域图像经一定处理后的图像，具体形式不限。
作为图像增强子网络的一种实现方式，参看图14，图像增强子网络8012可以包括色彩处理层、合并层Concat和卷积层Conv(图中示出了1个卷积层Conv，具体不限于此)。通过色彩处理层将所述第一区域图像转换成可进行逆退化处理的第三候选图。通过至少合并层Concat和卷积层Conv依据各退化程度估计子网络得到的退化程度图对第三候选图进行逆退化处理得到第四图像。
作为图像增强子网络的另一种实现方式，参看图15，图像增强子网络8012可以包括色彩处理层、合并层Concat、上采样层UpSample和多个卷积层Conv(图中示出了2个卷积层Conv，具体不限于此)。通过色彩处理层将所述第一区域图像转换成可进行逆退化处理的第三候选图。通过至少合并层Concat、上采样层UpSample和多个卷积层Conv依据各退化程度估计子网络得到的退化程度图对第三候选图进行逆退化处理得到第四图像。
在一个实施例中，步骤S303中，所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第一区域图像进行逆退化处理得到第四图像。
在第二图像是由非拜耳传感器(比如全透光传感器)采集的图像时，第二图像中每个像素表示捕捉到的光线的强度，无色彩信息，可直接进行增强处理，第一区域图像是从第二图像中截取的，所以第一区域图像也是同理。所以本实施例中，图像增强子网络在执行逆退化处理之前无需通过色彩处理层对第一区域图像进行色彩处理，直接通过至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第一区域图像进行逆退化处理得到第四图像。
作为图像增强子网络的又一种实现方式，参看图16，图像增强子网络8012可以包括合并层Concat和卷积层Conv(图中示出了1个卷积层Conv，具体不限于此)。通过至少合并层Concat和卷积层Conv依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行逆退化处理得到第四图像。
可以理解，上述图像增强子网络8012的结构仅是示例性的，还可以包含别的层，此处并不作为限制。
在一个实施例中，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像之前，该方法还包括：
对所述第一区域图像进行校正得到校正后的第一区域图像，所述校正包括以下的至少一种：黑电平校正、坏点校正、固定模式噪声校正、白平衡校正；
所述将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像，包括：
将校正后的第一区域图像进行增强处理得到第四图像。
参看图17，第三处理模块104除了前述实施例中所述的图像增强单元1041，还包括图像校正单元1042。图像校正单元1042用于对所述第一区域图像进行校正得到校正后的第一区域图像，图像校正单元1042将校正后的第一区域图像输入至图像增强单元1041，图像增强单元1041用于将校正后的第一区域图像进行增强处理得到第四图像。
本实施例中，图像校正单元1031的作用是校正由传感器生成工艺带来的成像问题，如黑电平、坏点、固定模式噪声、色彩通道失衡等。图像校正单元1031可执行的校正包括以下的至少一种：黑电平校正、坏点校正、固定模式噪声校正、白平衡校正、
黑电平校正可以采用以下公式实现：IMGout＝IMGin-Vblc；
其中，IMGout为黑电平校正后的图像，IMGin为黑电平校正前的图像，Vblc为传感器的黑电平值，不同型号的传感器具有不同大小的黑电平值。
坏点校正可以采用中值滤波方式实现。
固定模式噪声校正可以通过人工标定出固定模式噪声位置，针对噪声位置像素，采用该噪声位置像素的周围像素插值后的值代替该噪声位置像素。
白平衡校正可以参看前述实施例中关于白平衡校正方式的内容，在此不再赘述。
当然，如果第二图像是由全透光传感器采集的图像，由于全透光传感器获取的图像无色彩信息，对于由全透光传感器采集的第二图像及从中获取的第一区域图像，无需进行色彩相关的处理，如上述的白平衡校正。
本发明还提供一种图像处理装置，应用于成像设备，参看图2，图像处理装置100包括：
图像获取模块101，用于获取采集的第一数据格式的第一图像和第一数据格式的第二图像；第一图像和第二图像均包含目标对象，且目标对象在所述第一图像和第二图像中的位置相同，所述第一图像为可见光图像，所述第二图像为近红外光图像；
第一处理模块102，用于对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，所述第三图像融合了第一图像的色彩信息和第二图像的灰度信息；
第二处理模块103，用于从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像；
第三处理模块104，用于将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像。
在一个实施例中，所述第一处理模块对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息时，具体用于：
分别对所述第一图像和第二图像进行图像处理得到第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
对所述第五图像与所述第六图像进行融合处理得到融合图像；
从所述融合图像中检测出所述目标对象在所述融合图像中的位置信息，从所述融合图像中截取检测出的位置信息对应的区域得到所述第三图像，并将检测出的位置信息确定为所述目标位置信息。
在一个实施例中，所述第一处理模块对所述第五图像与所述第六图像进行融合处理得到融合图像时，具体用于：
获取所述第五图像中的Y分量、U分量和V分量，并获取所述第六图像中的Y分量；
融合所述第五图像与所述第六图像中的Y分量得到目标Y分量；
依据所述目标Y分量、所述第五图像中的U分量与V分量生成所述融合图像。
在一个实施例中，所述第一处理模块对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息时，具体用于：
分别对所述第一图像和第二图像进行图像处理得到的第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
从所述第五图像中检测出所述目标对象的位置信息，或者，从所述第六图像中检测出所述目标对象的位置信息；
分别从所述第五图像、第六图像中截取检测出的位置信息对应的区域，得到第二区域图像和第三区域图像，并将检测出的位置信息确定为所述目标位置信息；
对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像。
在一个实施例中，所述第一处理模块对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像时，具体用于：
获取所述第二区域图像中的Y分量、U分量和V分量，并获取所述第三区域图像中的Y分量；
融合所述第二区域图像和第三区域图像中的Y分量得到目标Y分量；
依据所述目标Y分量、所述第二区域图像中的U分量与V分量生成所述第三图像。
在一个实施例中，
所述目标位置信息包括：目标对象上指定点的坐标、及表征目标对象大小的第一尺寸；
所述第二处理模块从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像时，具体用于：
依据所述目标位置信息中的坐标与第一尺寸确定截取时所需的参考坐标，以所述参考坐标为基准在所述第二图像中截取大小为预设尺寸的区域，将截取出的区域确定为所述第一区域图像；
或者，
以所述目标位置信息中的坐标为基准在所述第二图像中截取大小为第一尺寸的区域，采用缩放或扩边的方式将截取出的区域从第一尺寸调整至目标尺寸，将调整后的区域确定为所述第一区域图像。
在一个实施例中，第三处理模块将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像时，具体用于：
将第一数据格式的第一区域图像输入至已训练的第一神经网络中，以由所述第一神经网络的色彩处理层将所述第一区域图像转换成可进行增强处理的第一候选图，并由所述第一神经网络的至少一卷积层对所述第一候选图进行增强处理得到所述第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
将第一数据格式的第一区域图像输入至已训练的第二神经网络中，以由所述第二神经网络的至少一卷积层对所述第一区域图像进行增强处理得到所述第四图像。
在一个实施例中，第三处理模块将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像时，具体用于：
将第一区域图像输入至已训练的第三神经网络的N个退化程度估计子网络、及图像增强子网络，所述N大于等于1，每一退化程度估计子网络对应一退化因素，以由每一退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，所述退化程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应退化因素影响的程度，并由所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，第四图像是第一区域图像的逆退化图像。
在一个实施例中，
所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的色彩处理层将所述第一区域图像转换成可进行退化估计的第二候选图，所述退化程度估计子网络的至少一卷积层对所述第二候选图进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的至少一卷积层对所述第一区域图像进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图。
在一个实施例中，
所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的色彩处理层将所述第一区域图像转换成可进行逆退化处理的第三候选图，所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第三候选图进行逆退化处理得到第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第一区域图像进行逆退化处理得到第四图像。
在一个实施例中，所述第三处理模块之前，该装置还包括：
校正模块，用于对所述第一区域图像进行校正得到校正后的第一区域图像，所述校正包括以下的至少一种：黑电平校正、坏点校正、固定模式噪声校正、白平衡校正；
所述第三处理模块将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像时，具体用于：
将校正后的第一区域图像进行增强处理得到第四图像。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。
本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中任意一项所述的图像处理方法。
本发明图像处理装置的实施例可以应用在电子设备上，该电子设备可以为摄像机。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图18所示，图18是本发明根据一示例性实施例示出的图像处理装置100所在电子设备的一种硬件结构图，除了图18所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置100所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中任意一项所述的图像处理方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种图像处理方法，其特征在于，应用于成像设备，包括：
获取采集的第一数据格式的第一图像和第一数据格式的第二图像；第一图像和第二图像均包含目标对象，且目标对象在所述第一图像和第二图像中的位置相同，所述第一图像为可见光图像，所述第二图像为近红外光图像；
对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，所述第三图像融合了第一图像的色彩信息和第二图像的灰度信息；
从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像。
2.如权利要求1所述的图像处理方法，其特征在于，对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，包括：
分别对所述第一图像和第二图像进行图像处理得到第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
对所述第五图像与所述第六图像进行融合处理得到融合图像；
从所述融合图像中检测出所述目标对象在所述融合图像中的位置信息，从所述融合图像中截取检测出的位置信息对应的区域得到所述第三图像，并将检测出的位置信息确定为所述目标位置信息。
3.如权利要求2所述的图像处理方法，其特征在于，对所述第五图像与所述第六图像进行融合处理得到融合图像，包括：
获取所述第五图像中的Y分量、U分量和V分量，并获取所述第六图像中的Y分量；
融合所述第五图像与所述第六图像中的Y分量得到目标Y分量；
依据所述目标Y分量、所述第五图像中的U分量与V分量生成所述融合图像。
4.如权利要求1所述的图像处理方法，其特征在于，对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，包括：
分别对所述第一图像和第二图像进行图像处理得到的第五图像和第六图像，所述第五图像为彩色图，所述第六图像为灰度图；
从所述第五图像中检测出所述目标对象的位置信息，或者，从所述第六图像中检测出所述目标对象的位置信息；
分别从所述第五图像、第六图像中截取检测出的位置信息对应的区域，得到第二区域图像和第三区域图像，并将检测出的位置信息确定为所述目标位置信息；
对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像。
5.如权利要求4所述的图像处理方法，其特征在于，对所述第二区域图像和第三区域图像进行融合处理得到所述第三图像，包括：
获取所述第二区域图像中的Y分量、U分量和V分量，并获取所述第三区域图像中的Y分量；
融合所述第二区域图像和第三区域图像中的Y分量得到目标Y分量；
依据所述目标Y分量、所述第二区域图像中的U分量与V分量生成所述第三图像。
6.如权利要求1所述的图像处理方法，其特征在于，
所述目标位置信息包括：目标对象上指定点的坐标、及表征目标对象大小的第一尺寸；
从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像，包括：
依据所述目标位置信息中的坐标与第一尺寸确定截取时所需的参考坐标，以所述参考坐标为基准在所述第二图像中截取大小为预设尺寸的区域，将截取出的区域确定为所述第一区域图像；
或者，
以所述目标位置信息中的坐标为基准在所述第二图像中截取大小为第一尺寸的区域，采用缩放或扩边的方式将截取出的区域从第一尺寸调整至目标尺寸，将调整后的区域确定为所述第一区域图像。
7.如权利要求1所述的图像处理方法，其特征在于，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像，包括：
将第一数据格式的第一区域图像输入至已训练的第一神经网络中，以由所述第一神经网络的色彩处理层将所述第一区域图像转换成可进行增强处理的第一候选图，并由所述第一神经网络的至少一卷积层对所述第一候选图进行增强处理得到所述第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
将第一数据格式的第一区域图像输入至已训练的第二神经网络中，以由所述第二神经网络的至少一卷积层对所述第一区域图像进行增强处理得到所述第四图像。
8.如权利要求1所述的图像处理方法，其特征在于，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像，包括：
将第一区域图像输入至已训练的第三神经网络的N个退化程度估计子网络、及图像增强子网络，所述N大于等于1，每一退化程度估计子网络对应一退化因素，以由每一退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，所述退化程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应退化因素影响的程度，并由所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，第四图像是第一区域图像的逆退化图像。
9.如权利要求8所述的图像处理方法，其特征在于，
所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的色彩处理层将所述第一区域图像转换成可进行退化估计的第二候选图，所述退化程度估计子网络的至少一卷积层对所述第二候选图进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
所述退化程度估计子网络估计输入的第一区域图像在对应退化因素下的退化程度图，包括：
所述退化程度估计子网络的至少一卷积层对所述第一区域图像进行对应退化因素下的退化程度估计，得到第一区域图像在对应退化因素下的退化程度图。
10.如权利要求8所述的图像处理方法，其特征在于，
所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的色彩处理层将所述第一区域图像转换成可进行逆退化处理的第三候选图，所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第三候选图进行逆退化处理得到第四图像；其中，所述色彩处理层至少包含一个指定卷积层，所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍；所述色彩处理层用于执行以下至少一种色彩处理方式：色彩通道分离处理、色彩信息重组合处理、灰度化处理；
或者，
所述图像增强子网络依据各退化程度估计子网络得到的退化程度图对输入的第一区域图像进行增强处理得到第四图像，包括：
所述图像增强子网络的至少合并层和卷积层依据各退化程度估计子网络得到的退化程度图对第一区域图像进行逆退化处理得到第四图像。
11.如权利要求7或8所述的图像处理方法，其特征在于，将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像之前，该方法还包括：
对所述第一区域图像进行校正得到校正后的第一区域图像，所述校正包括以下的至少一种：黑电平校正、坏点校正、固定模式噪声校正、白平衡校正；
所述将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像，包括：
将校正后的第一区域图像进行增强处理得到第四图像。
12.一种图像处理装置，其特征在于，应用于成像设备，包括：
图像获取模块，用于获取采集的第一数据格式的第一图像和第一数据格式的第二图像；第一图像和第二图像均包含目标对象，且目标对象在所述第一图像和第二图像中的位置相同，所述第一图像为可见光图像，所述第二图像为近红外光图像；
第一处理模块，用于对第一图像和第二图像进行处理得到第三图像以及目标对象的目标位置信息，所述第三图像融合了第一图像的色彩信息和第二图像的灰度信息；
第二处理模块，用于从所述第二图像中截取所述目标位置信息对应的区域，得到第一数据格式的第一区域图像；
第三处理模块，用于将所述第一区域图像进行增强处理得到用于目标对象识别的第四图像。
13.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-11中任意一项所述的图像处理方法。
14.一种机器可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-11中任意一项所述的图像处理方法。
CN201910651700.XA 2019-07-18 2019-07-18 图像处理方法、装置及设备、存储介质 Active CN112241935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910651700.XA CN112241935B (zh) 2019-07-18 2019-07-18 图像处理方法、装置及设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910651700.XA CN112241935B (zh) 2019-07-18 2019-07-18 图像处理方法、装置及设备、存储介质

Publications (2)

Publication Number Publication Date
CN112241935A true CN112241935A (zh) 2021-01-19
CN112241935B CN112241935B (zh) 2023-05-26

Family

ID=74168045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910651700.XA Active CN112241935B (zh) 2019-07-18 2019-07-18 图像处理方法、装置及设备、存储介质

Country Status (1)

Country Link
CN (1) CN112241935B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663842A (zh) * 2022-05-25 2022-06-24 深圳比特微电子科技有限公司 图像融合处理方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140625A (zh) * 2006-09-06 2008-03-12 中国科学院自动化研究所 一种多分辨率退化字符自适应识别系统及方法
US7636097B1 (en) * 2006-02-15 2009-12-22 Adobe Systems Incorporated Methods and apparatus for tracing image data
CN103927741A (zh) * 2014-03-18 2014-07-16 中国电子科技集团公司第十研究所 增强目标特征的sar图像合成方法
CN105139370A (zh) * 2015-08-24 2015-12-09 中国航空无线电电子研究所 一种基于可见光与近红外双波段相机的实时图像融合方法
CN105701765A (zh) * 2015-09-23 2016-06-22 河南科技学院 一种图像处理的方法及移动终端
JP2017174380A (ja) * 2016-03-16 2017-09-28 株式会社リコー 認識装置、物体の認識方法、プログラム、及び、記憶媒体
CN108399617A (zh) * 2018-02-14 2018-08-14 中国农业大学 一种动物健康状况的检测方法和装置
WO2018145576A1 (zh) * 2017-02-10 2018-08-16 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN109118445A (zh) * 2018-07-27 2019-01-01 杭州电子科技大学 一种基于多分支生成对抗网络的水下图像增强方法
US20190045163A1 (en) * 2018-10-02 2019-02-07 Intel Corporation Method and system of deep learning-based automatic white balancing
CN109544474A (zh) * 2018-11-16 2019-03-29 四川长虹电器股份有限公司 一种基于相位拉伸变换的指纹图像增强方法
CN109636754A (zh) * 2018-12-11 2019-04-16 山西大学 基于生成对抗网络的极低照度图像增强方法
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636097B1 (en) * 2006-02-15 2009-12-22 Adobe Systems Incorporated Methods and apparatus for tracing image data
CN101140625A (zh) * 2006-09-06 2008-03-12 中国科学院自动化研究所 一种多分辨率退化字符自适应识别系统及方法
CN103927741A (zh) * 2014-03-18 2014-07-16 中国电子科技集团公司第十研究所 增强目标特征的sar图像合成方法
CN105139370A (zh) * 2015-08-24 2015-12-09 中国航空无线电电子研究所 一种基于可见光与近红外双波段相机的实时图像融合方法
CN105701765A (zh) * 2015-09-23 2016-06-22 河南科技学院 一种图像处理的方法及移动终端
JP2017174380A (ja) * 2016-03-16 2017-09-28 株式会社リコー 認識装置、物体の認識方法、プログラム、及び、記憶媒体
WO2018145576A1 (zh) * 2017-02-10 2018-08-16 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN108399617A (zh) * 2018-02-14 2018-08-14 中国农业大学 一种动物健康状况的检测方法和装置
CN109118445A (zh) * 2018-07-27 2019-01-01 杭州电子科技大学 一种基于多分支生成对抗网络的水下图像增强方法
US20190045163A1 (en) * 2018-10-02 2019-02-07 Intel Corporation Method and system of deep learning-based automatic white balancing
CN109544474A (zh) * 2018-11-16 2019-03-29 四川长虹电器股份有限公司 一种基于相位拉伸变换的指纹图像增强方法
CN109636754A (zh) * 2018-12-11 2019-04-16 山西大学 基于生成对抗网络的极低照度图像增强方法
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAISUKE SUGIMURA，ET AL: "Enhancing Color Images of Extremely Low Light Scenes Based on RGB/NIR Images Acquisition With Different Exposure Times", 《IEEE TRANS IMAGE PROCESS》 *
杨数强: "基于近红外成像的无人车周边环境类型辨识", 《激光杂志》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663842A (zh) * 2022-05-25 2022-06-24 深圳比特微电子科技有限公司 图像融合处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112241935B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US11457138B2 (en) Method and device for image processing, method for training object detection model
CN111741211B (zh) 图像显示方法和设备
WO2021022983A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP6639113B2 (ja) 画像認識装置、画像認識方法及びプログラム
US20190130169A1 (en) Image processing method and device, readable storage medium and electronic device
JP5461568B2 (ja) カラーおよび全色性チャネルｃｆａ画像の修正
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN108154514B (zh) 图像处理方法、装置及设备
WO2014185064A1 (en) Image processing method and system
WO2021047345A1 (zh) 图像降噪方法、装置、存储介质及电子设备
EP1528797A2 (en) Image processing apparatus, image-taking system and image processing method
WO2005072431A2 (en) A method and apparatus for combining a plurality of images
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
CN112241668B (zh) 图像处理方法、装置及设备
CN115550570B (zh) 图像处理方法与电子设备
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113379609A (zh) 一种图像处理方法、存储介质及终端设备
CN112241935B (zh) 图像处理方法、装置及设备、存储介质
CN110493579B (zh) 一种彩色透雾方法、装置、摄像机及图像处理系统
CN114549373A (zh) Hdr图像生成方法、装置、电子设备及可读存储介质
CN116437198B (zh) 图像处理方法与电子设备
CN112241735A (zh) 一种图像处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant