CN112243117A - 图像处理装置、方法及摄像机 - Google Patents

图像处理装置、方法及摄像机 Download PDF

Info

Publication number
CN112243117A
CN112243117A CN201910646333.4A CN201910646333A CN112243117A CN 112243117 A CN112243117 A CN 112243117A CN 201910646333 A CN201910646333 A CN 201910646333A CN 112243117 A CN112243117 A CN 112243117A
Authority
CN
China
Prior art keywords
image
infrared
rgb image
rgb
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910646333.4A
Other languages
English (en)
Other versions
CN112243117B (zh
Inventor
叶鹏钊
肖飞
范蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910646333.4A priority Critical patent/CN112243117B/zh
Publication of CN112243117A publication Critical patent/CN112243117A/zh
Application granted granted Critical
Publication of CN112243117B publication Critical patent/CN112243117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本申请公开了一种图像处理装置、方法及摄像机，属于信息处理技术领域。该图像处理装置包括神经网络平台单元和后处理平台单元。神经网络平台单元用于通过神经网络模型对RGB‑IR图像进行插值，得到全分辨率RGB图像。后处理平台单元用于对全分辨率RGB图像进行处理，得到处理后的RGB图像，处理后的RGB图像为可见光图像。因此，可以预先对神经网络模型进行训练，以使训练后的神经网络模型能够输出更接近于直接采集的全分辨率RGB图像的全分辨率RGB图像。这样的话，相对于直接插值的方式确定全分辨率RGB图像，通过训练后的神经网络模型确定的全分辨率RGB图像的效果更好，且对图像进行处理的效率也较高。

Description

图像处理装置、方法及摄像机
技术领域
本申请涉及信息处理技术领域，特别涉及一种图像处理装置、方法及摄像机。
背景技术
RGB-IR(red-green-blue-infrared radiation，红-绿-蓝-红外)成像传感器是指包括R通道、G通道、B通道和IR通道这四个通道的传感器。R通道用于感应红光波段、G通道用于感应绿光波段，B通道用于感应蓝光波段，IR通道用于感应红外波段。如此，通过RGB-IR成像传感器采集的图像中部分像素点是RGB信息，部分像素点是IR信息。因此，需要对RGB-IR成像传感器采集的图像进行处理，以得到全部像素点均为RGB信息的RGB图像。为了后续便于说明，将RGB-IR成像传感器采集的图像称为RGB-IR图像，将全部像素点均为RGB信息的RGB图像称为全分辨率RGB图像。
相关技术中，先从RGB-IR图像中提取初始RGB图像。初始RGB图像中部分像素点上的信息为RGB-IR图像中相应像素点上的信息，该部分像素点是指R通道、G通道、B通道对应的像素点。初始RGB图像中另外部分像素点上的信息为空值，另外部分像素点是指IR通道对应的像素点。对于初始RGB图像中任一空值的像素点，根据该像素点邻域内的其他非空值的像素点的RGB信息，通过一次插值的方式确定该像素点的RGB信息。在对初始RGB图像中所有空值的像素点均执行上述操作后，即可得到全分辨率RGB图像。目前通过上述方式对RGB-IR图像进行处理得到的全分辨率RGB图像的效果较差。
发明内容
本申请实施例提供了一种图像处理装置、方法及摄像机，可以提高通过RGB-IR图像得到的全分辨率RGB图像的效果。所述技术方案如下：
一方面，所述图像处理装置包括神经网络平台单元和后处理平台单元；
所述神经网络平台单元用于通过神经网络模型对RGB-IR图像进行插值，得到全分辨率RGB图像；
所述后处理平台单元用于对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，所述RGB图像为可见光图像。
在一个可能的实施例中，所述神经网络平台单元包括第一神经网络模型，所述第一神经网络模型包括通道提取网络层、图像插值网络层以及第一网络输出层；
所述通道提取网络层用于对所述RGB-IR图像进行通道提取，得到初始R通道图像、初始G通道图像、初始B通道图像以及初始IR通道图像；
所述图像插值网络层用于将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值，得到全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像；
所述第一网络输出层用于将所述图像插值网络层输出的图像和所述初始IR通道图像进行拼接，以输出全分辨率RGB图像和初始IR通道图像。
在一个可能的实施例中，所述后处理平台单元包括红外插值模块、红外去除模块和白平衡校正模块；
所述红外插值模块用于对所述初始IR通道图像进行插值，得到全分辨率IR图像；
所述红外去除模块用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
在一个可能的实施例中，所述图像插值网络层还用于对所述初始IR通道图像进行插值，得到全分辨率IR图像；
所述第一网络输出层用于输出所述全分辨率RGB图像和所述全分辨率IR图像。
在一个可能的实施例中，所述后处理平台单元包括红外去除模块和白平衡校正模块；
所述红外去除模块用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
在一个可能的实施例中，所述图像插值网络层还用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
所述第一网络输出层用于输出所述去红外RGB图像。
在一个可能的实施例中，所述神经网络平台单元包括第二神经网络模型，所述第二神经网络模型包括红外去除网络层和第二网络输出层；
所述红外去除网络层用于根据所述第一神经网络模型输出的所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
所述第二网络输出层用于输出所述去红外RGB图像。
在一个可能的实施例中，所述后处理平台单元包括白平衡校正模块；
所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
在一个可能的实施例中，所述后处理平台单元还包括红外亮度补充模块；
所述红外亮度补充模块用于：
根据所述白平衡校正RGB图像中各个像素点的亮度、所述白平衡校正RGB图像中各个像素点的亮度、确定补充红外权重图；
根据所述补充红外权重图和所述全分辨率IR图像，对所述白平衡校正RGB图像进行红外亮度补充，得到补充红外亮度RGB图像，将所述补充红外亮度RGB图像作为所述处理后的RGB图像。
在一个可能的实施例中，所述白平衡校正模块具体用于：
对于所述去红外RGB图像中第一像素点，如果所述第一像素点在全分辨率RGB图像中的亮度值大于亮度阈值，则将所述第一像素点确定为用于白平衡校正的统计像素点，所述第一像素点为所述去红外RGB图像中的任一像素点；
根据确定出的用于白平衡校正的统计像素点，对所述去红外RGB图像进行白平衡校正，得到所述白平衡校正RGB图像。
另一方面、提供一种摄像机，所述摄像机包括上述提供的图像处理装置和成像采集装置：
所述成像采集装置包括双峰滤光片和RGB-IR成像传感器；
通过所述双峰滤光片的入射光的波段范围包括第一波段范围和第二波段范围，所述第一波段范围用于通过可见光，所述第二波段范围用于通过红外光；
所述RGB-IR成像传感器用于感应可见光和红外光，以得到所述RGB-IR图像。
在一个可能的实施例中，所述第二波段范围的起始位置在650纳米-850纳米之间，所述第二波段范围的结束位置在800纳米-1100纳米之间。
在一个可能的实施例中，所述成像采集装置还包括红外补光单元，所述红外补光单元用于在环境光照度低于照度阈值时进行红外补光。
另一方面、一种图像处理方法，所述方法包括：
获取红绿蓝-红外RGB-IR图像；
通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，得到全分辨率RGB图像；
对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，所述RGB图像为可见光图像。
在一个可能的实施例中，所述通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，得到全分辨率RGB图像，包括：
通过第一神经网络模型包括的通道提取网络层对所述RGB-IR图像进行通道提取，得到初始R通道图像、初始G通道图像、初始B通道图像以及初始IR通道图像；
通过所述第一神经网络模型包括的图像插值网络层将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值，得到全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像；
通过所述第一神经网络模型包括的第一网络输出层将所述图像插值网络层输出的图像和所述初始IR通道图像进行拼接，以输出全分辨率RGB图像和初始IR通道图像。
在一个可能的实施例中，所述对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，包括：
对所述初始IR通道图像进行插值，得到全分辨率IR图像；
根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
在一个可能的实施例中，所述通过所述第一神经网络模型包括的图像插值网络层将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值之后，还包括：
通过所述图像插值网络层对所述初始IR通道图像进行插值，得到全分辨率IR图像；
通过所述第一网络输出层输出所述全分辨率RGB图像和所述全分辨率IR图像。
在一个可能的实施例中，所述对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，包括：
根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
在一个可能的实施例中，所述通过所述图像插值网络层对所述初始IR通道图像进行插值之后，还包括：
通过所述图像插值网络层根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
通过所述第一网络输出层输出所述去红外RGB图像。
在一个可能的实施例中，所述通过所述第一神经网络模型包括的图像插值网络层将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值之后，还包括：
通过第二神经网络模型包括的红外去除网络层根据所述第一神经网络模型输出的所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
通过所述第二神经网络模型包括的第二网络输出层输出所述去红外RGB图像。
在一个可能的实施例中，所述对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，包括：
对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
在一个可能的实施例中，所述对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像之后，还包括：
根据所述白平衡校正RGB图像中各个像素点的亮度、所述白平衡校正RGB图像中各个像素点的亮度、确定补充红外权重图；
根据所述补充红外权重图和所述全分辨率IR图像，对所述白平衡校正RGB图像进行红外亮度补充，得到补充红外亮度RGB图像，将所述补充红外亮度RGB图像作为所述处理后的RGB图像。
在一个可能的实施例中，所述对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，包括：
对于所述去红外RGB图像中第一像素点，如果所述第一像素点在全分辨率RGB图像中的亮度值大于亮度阈值，则将所述第一像素点确定为用于白平衡校正的统计像素点，所述第一像素点为所述去红外RGB图像中的任一像素点；
根据确定出的用于白平衡校正的统计像素点，对所述去红外RGB图像进行白平衡校正，得到所述白平衡校正RGB图像。
本申请提供的技术方案带来的有益效果是：
在本申请中，由于是通过神经网络模型确定的全分辨率RGB图像，然后再通过后处理平台单元对全分辨率RGB图像进行处理，得到处理后的RGB图像。因此，可以预先对神经网络模型进行训练，以使训练后的神经网络模型能够输出更接近于直接采集的全分辨率RGB图像的全分辨率RGB图像。这样的话，相对于直接插值的方式确定全分辨率RGB图像，通过训练后的神经网络模型确定的全分辨率RGB图像的效果更好，且对图像进行处理的效率也较高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理装置的结构示意图；
图2是本申请实施例提供的另一种图像处理装置的结构示意图；
图3是本申请实施例提供的另一种图像处理装置的结构示意图；
图4是本申请实施例提供的另一种图像处理装置的结构示意图；
图5是本申请实施例提供的另一种图像处理装置的结构示意图；
图6是本申请实施例提供的一种图像卷积的示意图；
图7是本申请实施例提供的一种对卷积之后的图像进行预插值的示意图；
图8是本申请实施例提供的一种第一神经网络模型的框架示意图；
图9是本申请实施例提供的另一种第一神经网络模型的框架示意图；
图10是本申请实施例提供的一种第二神经网络模型的框架示意图；
图11是本申请实施例提供的一种红外插值模块的框架示意图；
图12是本申请实施例提供的一种摄像机的结构示意图；
图13是本申请实施例提供的一种RGB-IR成像传感器中的像素分布示意图；
图14是本申请实施例提供的一种图像处理方法的流程图；
图15是本申请实施例提供的另一种摄像机的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种图像处理装置的结构示意图。如图1所示，该图像处理装置100神经网络平台单元101和后处理平台单元102。神经网络平台单元101用于通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，得到全分辨率RGB图像。后处理平台单元102用于对全分辨率RGB图像进行处理，得到处理后的RGB图像，处理后的RGB图像为颜色正常的可见光图像。
颜色正常的可见光图像是指处理后的RGB图像中的像素值不包括由于红外感应而产生的像素值，且处理后的RGB图像显示出的颜色与人眼实际看到的颜色一致。
在本申请实施例中，由于是通过神经网络模型确定的全分辨率RGB图像，然后再通过后处理平台单元对全分辨率RGB图像进行处理，得到处理后的RGB图像。因此，可以预先对神经网络模型进行训练，以使训练后的神经网络模型能够输出更接近于直接采集的全分辨率RGB图像的全分辨率RGB图像。这样的话，相对于直接插值的方式确定全分辨率RGB图像，通过训练后的神经网络模型确定的全分辨率RGB图像的效果更好，且对图像进行处理的效率也较高。
由于神经网络平台单元101用于通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，因此，在一种可能的实现方式，如图2所示，神经网络平台单元101包括第一神经网络模型101-1，第一神经网络模型101-1包括通道提取网络层11、图像插值网络层12以及第一网络输出层13。
其中，通道提取网络层11用于对RGB-IR图像进行通道提取，得到初始R通道图像、初始G通道图像、初始B通道图像以及初始IR通道图像。
图像插值网络层12用于将初始R通道图像、初始G通道图像以及初始B通道图像进行插值，得到全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像；
第一网络输出层13用于将图像插值网络层输出的图像和初始IR通道图像进行拼接，以输出全分辨率RGB图像和初始IR通道图像。
在本申请实施中，通过神经网络平台单元即可得到全分辨率RGB图像。另外，为了进一步提高得到的全分辨率RGB图像的效果，可以对全分辨率RGB图像进行诸如白平衡校正和红外亮度补充等后处理。另外，由于红外通道对RGB通道有交叉影响，导致实际拍摄的RGB图像上的颜色与人眼所见的颜色有偏差，因此，为了使得白平衡校正之后的图像中的颜色与人眼所见的颜色接近，在本申请实施例中，在对图像进行白平衡校正之前，需要先对图像进行去红外处理。
因此，如图2所示，后处理平台单元102包括红外插值模块21、红外去除模块22和白平衡校正模块23。也即是，在对全分辨率RGB图像进行白平衡校正之前，先对全分辨率RGB图像进行去红外处理，然后再进行白平衡校正。
红外插值模块21用于对初始IR通道图像进行插值，得到全分辨率IR图像。
红外去除模块22用于根据全分辨率IR图像对全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像。
白平衡校正模块23用于对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将白平衡校正RGB图像作为处理后的RGB图像。
上述第一神经网络模型是预先训练得到的。且训练后的第一神经网络模型针对第一样本RGB-IR图像输出的全分辨率RGB图像和第一样本全分辨率RGB图像之间的差值小于差值阈值，第一样本RGB-IR图像和第一样本全分辨率RGB图像是针对同一拍摄对象采集的。
上述第一神经网络模型针是根据训练样本集训练得到的，训练样本集包括多个样本RGB-IR图像和与多个样本RGB-IR图像一一对应的多个样本全分辨率RGB图像。其中，每个样本RGB-IR图像和相应的样本全分辨率RGB图像是针对同一拍摄对象采集的。与多个样本RGB-IR图像一一对应的多个样本全分辨率RGB图像相当于针对训练样本配置的标签，如此，对于多个样本RGB-IR图像中的第一样本RGB-IR图像和相应的第一样本全分辨率RGB图像，训练后的第一神经网络模型能够输出和第一样本全分辨率RGB图像之间接近的全分辨率RGB图像。也即是，第一神经网络模型针对第一样本RGB-IR图像输出的全分辨率RGB图像和第一样本全分辨率RGB图像之间的差值小于差值阈值。
本申请实施例对上述通过训练样本集训练第一神经网络模型的过程不做具体限定，只需要求训练后的第一神经网络模型满足上述条件即可。
另外，在一些实施例中，确定训练样本集的实现方式可以为：获取一批高分辨率的RGB-IR图像。对这一批高分辨率的RGB-IR图像中的任一RGB-IR图像，提取该RGB-IR图像的部分RGB-IR通道上的像素，即可得到低分辨率的RGB-IR图像。提取该RGB-IR图像的部分RGB通道上的像素，即可得到低分辨率的RGB图像。低分辨率的RGB-IR图像和低分辨率的RGB图像的分辨率相同。由于低分辨率的RGB-IR图像和低分辨率的RGB图像是对直接采集到的高分辨率的RGB-IR中的部分像素提取得到的，如此，低分辨率的RGB-IR图像和低分辨率的RGB图像可以相当于是直接采集的图像，因此，可以将低分辨率的RGB-IR图像和低分辨率的RGB图像分别作为一个样本RGB-IR图像和一个样本全分辨率RGB图像。
当然，在另一些实施例中，训练样本集中的样本RGB-IR图像和样本全分辨率RGB图像也可以是通过不同的图像传感器直接针对同一对象采集的，本申请实施例对此不做具体限定。
由于图像处理装置中的模块可以有不同的布局方式，因此，在此先介绍各个模块的布局方式，关于各个模块的功能的详细实现方式将在介绍完模块布局之后一一进行详细说明。
在图2所示的实施例中，红外插值模块部署在后处理平台单元102中。当然，还可以由神经网络平台单元101来完成红外插值中。也即是，可以通过神经网络模型来完成红外插值。因此，在另一种可能的实现方式中，如图3所示，神经网络平台单元101包括第一神经网络模型101-1，第一神经网络模型101-1包括通道提取网络层11、图像插值网络层12以及第一网络输出层13。
其中，图3中的图像网络插值层除了可以完成图2中的图像网络插值层的功能，图像插值网络层还用于对初始IR通道图像进行插值，得到全分辨率IR图像。此时，与图2中的第一网络输出层不同的是，图3中的第一网络输出层用于输出全分辨率RGB图像和全分辨率IR图像。
如图3所示，由于神经网络单元已经完成了红外插值，因此后处理平台单元102包括红外去除模块22和白平衡校正模块23。红外去除模块22用于根据全分辨率IR图像对全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像。白平衡校正模块23用于对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将白平衡校正RGB图像作为处理后的RGB图像。
在上述图2和图3所示的实施例中，均由后处理平台单元完成红外去除。当然，也可以由神经网络平台单元来完成红外去除中。也即是，通过神经网络模型来完成红外去除。因此，在一些实施例中，如图4所示，神经网络平台单元101包括第一神经网络模型101-1，第一神经网络模型101-1包括通道提取网络层11、图像插值网络层12以及第一网络输出层13。
其中，图4中的图像网络插值层除了可以完成图3中的图像网络插值层的功能，图像插值网络层还用于根据全分辨率IR图像对全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像。此时，如图4所示，第一网络输出层用于输出去红外RGB图像。
如图4所示，由于神经网络单元已经完成了红外去除，因此，因此后处理平台单元102包括白平衡校正模块23。白平衡校正模块用于对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将白平衡校正RGB图像作为处理后的RGB图像。
另外，图4中的插值和红外去除均由第一神经网络模型来实现。在另一种可能的实现方式中，还可以通过两种不同的神经网络模型来分别实现这两个功能。因此，如图5所示，神经网络平台单元101包括第一神经网络模型101-1，第一神经网络模型101-1包括通道提取网络层11、图像插值网络层12以及第一网络输出层13。其中，通道提取网络层11、图像插值网络层12以及第一网络输出层13和图3中相应网络层的功能一致。
神经网络平台单元101还包括第二神经网络模型101-2，第二神经网络模型101-2包括红外去除网络层14和第二网络输出层15。红外去除网络层14用于根据第一神经网络模型101-1输出的全分辨率IR图像对全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像。相应地，第二网络输出层15用于输出去红外RGB图像。
此时，如图5所示，由于神经网络单元已经完成了红外去除，因此，因此后处理平台单元102包括白平衡校正模块23。白平衡校正模块用于对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将白平衡校正RGB图像作为处理后的RGB图像。
另外，如图2至图5中任一图所示，后处理平台单元还包括红外亮度补充模块24。其中，红外亮度补充模块24，用于对白平衡校正RGB图像进行红外亮度补充，得到并输出补充红外亮度RGB图像。
下面对图2至图4所示的实施例中的各个模块或网络层的具体功能进行详细解释说明。
(1)通道提取网络层
在上述图1至图4所示的实施例中，通道提取网络层可以输出3通道的初始图像，也可以输出4通道的初始图像。下面以输出3通道图像为例进行说明，输出4通道图像的实现方式可以参考下述实现方式，在此不再一一赘述。
在一些实施例中，对于RGB3个通道中任一通道，通道提取网络层可以仅提取该通道上的像素，将除了该通道上的像素的其他位置像素设置为0，得到的图像即为通道提取网络层输出的初始通道图像。
比如，对于图6所示的4*4周期循环的图像格式。对于G通道，可以配置一个卷积滤波器，该卷积滤波器的卷积核为(0，1)，(0，1)T，卷积步长为2，可以将卷积之后的G通道图像确定为初始G通道图像。
对于R通道，同样可以配置一个卷积滤波器，该卷积滤波器的卷积核如下所示，卷积步长为4，可以将卷积之后的R通道图像确定为初始R通道图像。
针对R通道的卷积核：
Figure BDA0002133392060000121
对于B通道，同样可以配置一个卷积滤波器，该卷积滤波器的卷积核如下所示，卷积步长为4，可以将卷积之后的B通道图像确定为初始B通道图像。
针对B通道的卷积核：
Figure BDA0002133392060000122
上述得到的初始通道图像在其他通道对应的像素是0。在另一些实施例中，可以对上述实施例卷积之后的通道图像中为0的像素进行预插值，将进行预插值之后的通道图像作为通道提取网络层输出的初始通道图像。
比如，对于图6所示的卷积之后的G通道图像，可以按照双线性插值的方式得到初始G通道图像。如图7所示，G33＝(G23+G32+G43+G34)/4，此时进行双线性插值的卷积滤波器如下所示。也即是，对于卷积之后的通道图像中任意4个相邻排列G通道对应的像素围成的空间的中心位置处的像素，该像素上的G像素值可以插值为相邻的4个G通道对应的像素上的G像素值的平均值：
Figure BDA0002133392060000123
又比如，对于图6所示的卷积之后的R通道图像，同样可以按照双线性插值方式得到初始R通道图像。如图7所示，R33＝(R13+R53+R31+G35)/4，此时进行双线性插值的卷积滤波器如下所示。也即是，对于卷积之后的通道图像中任意4个相邻排列R通道对应的像素围成的空间的中心位置处的像素，该像素上的R像素值可以插值为相邻的4个R通道对应的像素上的R像素值的平均值，在插值之后，可以继续按照对卷积之后的G通道图像进行插值的方式插值，即可得到图6所示的初始R通道图像：
Figure BDA0002133392060000124
上述对卷积之后的通道图像中为0的全部像素或部分像素进行预插值的实现方式仅仅是举例说明，本申请实施例还可以通过其他预插值方式对卷积之后的通道图像进行处理，得到初始通道图像，本申请实施例对比不做具体限定。
(2)图像插值网络层
如图2或图3所示，图像插值网络层用于通过第一神经网络模型进行RGB插值，或同时进行RGB插值和红外插值。在一些实施例中，第一神经网络模型可以为卷积神经网络模型，该卷积神经网络模型可以包括卷积层、非线性修正层和残差网络层等。每个层的相关参数可以由后台人员配置，本申请实施例对此不做具体限定。
比如，图8是本申请实施例提供的一种第一神经网络模型的框架示意图。如图8所示，通道提取网络层输出的初始R通道图像、初始G通道图像以及初始B通道图像可以先通过一个卷积层，得到多个特征图。该多个特征图再经过多个成对的卷积层和非线性修正层后输出一个特征图。将该特征图与第一个卷积层输出的多个特征图叠加，将叠加之后的图像通过一对卷积层和非线性修正层以降低特征图的个数。之后再通过一个1*1的卷积层恢复至3通道图像，将恢复的3通道图像与通道提取网络层获取的3个初始通道图像叠加。叠加之后的图像为插值网络层插值之后的全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像。
当第一神经网络模型同时用于RGB插值和红外插值时，第一神经网络模型的框架同样可以为图8所示的框架。只不过此时通道提取网络层输出的图像还包括初始IR图像。最终叠加之后的图像不仅包括插值之后的全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像，还包括插值之后的全分辨率IR图像。在此就不再一一展开说明了。
本申请实施例对图8中的各个网络层的具体实现方式不做限定，在此也就不一一详细阐述。
另外，如图4所示，图像插值网络层还可以完成红外去除。此时，第一神经网络模型的框架可以如图9所示。如图9所示，通道提取网络层输出的初始R通道图像、初始G通道图像以及初始B通道图像和初始IR通道图像，可以先通过一个卷积层，得到多个特征图。该多个特征图再经过多个成对的卷积层和非线性修正层后输出一个特征图。经过拼接以及卷积层对特征图数量进行调整后再与第一个卷积层的n个特征图相加后,再经过一个卷积层和非线性修正层后降低特征图个数后用1*1的卷积层恢复至3通道图像，并与通道提取网络层获取的3个初始通道图像叠加。叠加之后的图像为不包括红外响应的三通道RGB图像。
(3)第一网络输出层和第二网络输出层
如图2至5所示，第一网络输出层和第二网络输出层输出的信息取决于神经网络平台单元包括的网络层，在此就不再一一说明了。
(4)红外去除网络层
如图5所示，还可以由第二神经网络模型来完成红外去除。此时，第二神经网络模型包括红外去除网络层和第二网络输出层。
第二神经网络模型针对第一样本RGB图像输出的去红外RGB图像和第一样本去红外RGB图像之间的差值小于差值阈值，第一样本RGB图像和第一样本去红外RGB图像是针对同一拍摄对象采集的。
也即是，预先根据样本RGB图像和为样本RGB图像配置的样本去红外RGB图像对初始化的第二神经网络模型进行训练，以使训练后的第二神经网络模型针对第一样本RGB图像输出的去红外RGB图像和第一样本去红外RGB图像之间非常接近。以便于后续可以直接通过第二神经网络模型确定某个全分辨率RGB图像的去红外RGB图像。
其中，第二神经网络模型也可以为卷积神经网络模型，该卷积神经网络模型可以包括卷积层、非线性修正层和残差网络层等。每个层的相关参数可以由后台人员配置，本申请实施例对此不做具体限定。
图10是本申请实施例提供的一种第二神经网络模型的框架示意图。如图10所示，将插值后的RGB全分辨率图像和插值后的全分辨率IR图像经过多个成对的卷积层和非线性修正层后输出特征图。将该特征图再通过一个的卷积层恢复至3通道图像，得到去红外RGB图像。
本申请实施例对图10中的各个网络层的具体实现方式不做限定，在此就不再详细阐述。
(4)红外插值模块
在一些实施例中，如图11所示，红外插值模块具体用于：根据RGB插值模块输出的图像的RGB信息的变化规律和初始IR通道图像，确定IR通道引导滤波图像；根据IR通道引导滤波图像和初始IR通道图像，确定插值余量信息；根据插值余量信息，对IR通道引导滤波图像进行校正，得到全分辨率IR图像。
上述实施例仅仅是红外插值模块对初始IR通道图像进行插值的一种可能的实现方式，并不构成对本申请实施例的限定。
(5)红外去除模块和白平衡校正模块
白平衡校正的作用是对输入的RGB进行白平衡增益，对图像数据进行白平衡处理，校正偏色，使图像呈现为既不偏冷也不偏暖的中性色调，以使处理之后的图像颜色与人眼所见的颜色接近。
在本申请实施例中，可以直接对RGB插值之后的RGB全分辨率图像进行白平衡校正。另外，由于红外通道对RGB通道有交叉影响，导致实际拍摄的RGB图像上的颜色与人眼所见的颜色有偏差，因此，为了使得白平衡校正之后的图像中的颜色与人眼所见的颜色接近，可以在进行白平衡校正之前，先对RGB插值之后的RGB全分辨率图像进行红外去除，然后根据去除红外之后的RGB全分辨率图像进行白平衡校正。
在一些实施例中，红外去除模块可以通过矩阵去红外的方式对RGB插值之后的RGB全分辨率图像进行红外去除。通过矩阵去红外的方式对RGB插值之后的RGB全分辨率图像进行红外去除的实现方式可以为：确定去红外校正矩阵，对于RGB全分辨率图像中的任一像素，根据该像素上的RGB信息以及插值之后的IR信息，通过去红外校正矩阵即可确定去红外之后的该像素上的RGB信息。
上述过程可以通过如下公式表示：
Figure BDA0002133392060000151
其中，公式左边用于指示去红外之后的该像素上的RGB信息，公式右边的一个矩阵用于指示去红外校正矩阵，第二个向量用于指示该像素上的RGB信息以及插值之后的IR信息。
上述公式中的去红外校正矩阵可以通过如下实现方式确定：采集RGB-IR图像传感器搭配双峰滤光片的24色卡图像数据；采集RGB-IR图像传感器搭配双峰滤光片和透红外滤光片(800nm以上全通)的24色卡图像数据；统计计算出4个通道24色卡各色块的可见光波段响应以及可见光+红外光响应。采用最小二乘法得到当前条件下的红外校正矩阵。
上述图2至图3所示的实施例中的红外去除模块均可以通过上述矩阵去红外的方式实现红外去除。
在一些实施例中，白平衡校正模块对去红外RGB图像进行白平衡校正的实现方式可以为：对于去红外RGB图像中第一像素点，如果第一像素点在全分辨率RGB图像中的亮度值大于亮度阈值，则将第一像素点确定为用于白平衡校正的统计像素点，第一像素点为去红外RGB图像中的任一像素点；根据确定出的用于白平衡校正的统计像素点，对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像。
比如，可以先确定白平衡统计二值矩阵，确定白平衡统计二值矩阵的实现方式可以为：逐像素点确定去除红外前的图像中每个像素点的亮度值。对于任一像素点，如果该像素点的亮度值大于亮度阈值T，则将该像素点对应的矩阵元素设置为1。如果该像素点的亮度值小于或等于亮度阈值T，则将该像素点对应的矩阵元素设置为0。通过该方式，即可得到白平衡统计二值矩阵。然后根据下述公式即可确定白平衡校正RGB图像：
img_out＝img×awb_map+wb_luma×(1-awb_map)
其中，img_out用于指示白平衡校正RGB图像，img用于指示去红外图像，awb_map用于指示白平衡统计二值矩阵，wb_luma用于指示像素替换值。
(6)红外亮度补充模块
当通过红外去除模块对插值后的全分辨率RGB图像进行去除红外光谱处理后，红外能量多的区域在去除红外后会出现区域性黑色或噪声不均匀的情况，因此，在本申请实施例中，还可以通过红外亮度补充模块对白平衡校正后的白平衡校正RGB图像进行红外亮度补充，以提升图像信噪比。
在一些实施例中，红外亮度补充模块白平衡校正RGB图像进行红外亮度补充的实现方式可以为：根据白平衡校正RGB图像中各个像素点的亮度、全分辨率RGB图像中各个像素点的亮度、确定补充红外权重图；根据补充红外权重图和全分辨率IR图像，对白平衡校正RGB图像进行红外亮度补充，得到并输出补充红外亮度RGB图像。
其中，补充红外权重图是参考白平衡校正RGB图像中各个像素点的亮度、全分辨率RGB图像中各个像素点的亮度进行自适应确定的，本申请实施例并不限定确定补充红外权重图的具体实现方式。
另外，本申请实施例提供的图像处理装置中的后处理平台单元除了可以对图像进行上述处理之外，还可以对图像进行其他后处理。比如，颜色校正，曲线映射，去噪等，在此不再一一说明。
在本申请实施例中，由于是通过神经网络模型确定的全分辨率RGB图像，然后再通过后处理平台单元对全分辨率RGB图像进行处理，得到处理后的RGB图像。因此，可以预先对神经网络模型进行训练，以使训练后的神经网络模型能够输出更接近于直接采集的全分辨率RGB图像的全分辨率RGB图像。这样的话，相对于直接插值的方式确定全分辨率RGB图像，通过训练后的神经网络模型确定的全分辨率RGB图像的效果更好，且对图像进行处理的效率也较高。
图12是本申请实施例提供的一种摄像机的结构示意图。如图12所示，该摄像机包图像处理装置100和成像采集装置200。成像采集装置200包括双峰滤光片和RGB-IR成像传感器，以实现输入至图像处理装置的图像的采集。
其中，通过双峰滤光片的入射光的波段范围包括第一波段范围和第二波段范围，第一波段范围用于通过可见光，第二波段范围用于通过红外光。RGB-IR成像传感器用于感应可见光和红外光，以得到RGB-IR图像。
图12所示的图像处理装置可以为图2至图5任一所示的图像处理装置。
另外，在本申请实施例中，为了得到颜色正常的RGB-IR图像，第二波段范围的起始位置在650纳米-850纳米之间，第二波段范围的结束位置在800纳米-1100纳米之间。
另外，如图12所示，成像采集装置200还可以包括红外补光单元，红外补光单元用于在环境光照度低于照度阈值时进行红外补光。也即是，在光照充足的环境中，通过双峰滤光片、RGB-IR成像传感器、神经网络平台单元以及普通平台处理单元得到颜色正常的可见光图像。在环境光低照度的场景中，开启红外补光单元，通过双峰滤光片、RGB-IR成像传感器、神经网络平台单元以及普通平台处理单元也可以得到颜色正常的可见光图像。
另外，RGB-IR成像传感器可以为图13所示的成像传感器。其中，图13中的图(1)中的像素按照2*2周期循环排布。图13中的图(2)中的像素点按照4*4周期循环排布。对RGB-IR成像传感器中的像素的具体分布在此就不再一一解释说明。
在本申请实施例中，由于是通过神经网络模型确定的全分辨率RGB图像，然后再通过后处理平台单元对全分辨率RGB图像进行处理，得到处理后的RGB图像。因此，可以预先对神经网络模型进行训练，以使训练后的神经网络模型能够输出更接近于直接采集的全分辨率RGB图像的全分辨率RGB图像。这样的话，相对于直接插值的方式确定全分辨率RGB图像，通过训练后的神经网络模型确定的全分辨率RGB图像的效果更好，且对图像进行处理的效率也较高。
图14是本申请实施例提供的一种图像处理方法的流程图，该方法应用于图2至图4任一的图像处理装置，或上述摄像机中。如图14所示，该方法包括：
步骤1401：获取RGB-IR图像。
其中，RGB-IR图像可以是图12所示的摄像机中的成像采集装置采集的，也可以是从其他采集设备中获取的，在此不做具体限定。
步骤1402：通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，得到全分辨率RGB图像。
步骤1403：对全分辨率RGB图像进行处理，得到处理后的RGB图像，处理后的RGB图像为可见光图像。
步骤1402的实现方式可以参考图1至图5中任一的神经网络平台单元的实现方式，在此不再赘述。步骤1403的实现方式可以参考图1至图5中任一的后处理平台单元的实现方式，在此不再赘述。
在一些实施例中，通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，得到全分辨率RGB图像，包括：
通过第一神经网络模型包括的通道提取网络层对RGB-IR图像进行通道提取，得到初始R通道图像、初始G通道图像、初始B通道图像以及初始IR通道图像；通过第一神经网络模型包括的图像插值网络层将初始R通道图像、初始G通道图像以及初始B通道图像进行插值，得到全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像；通过第一神经网络模型包括的第一网络输出层将图像插值网络层输出的图像和初始IR通道图像进行拼接，以输出全分辨率RGB图像和初始IR通道图像。
在一些实施例中，对全分辨率RGB图像进行处理，得到处理后的RGB图像，包括：
对初始IR通道图像进行插值，得到全分辨率IR图像；根据全分辨率IR图像对全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将白平衡校正RGB图像作为处理后的RGB图像。
在一些实施例中，通过第一神经网络模型包括的图像插值网络层将初始R通道图像、初始G通道图像以及初始B通道图像进行插值之后，还包括：
通过图像插值网络层对初始IR通道图像进行插值，得到全分辨率IR图像；相应地，通过第一网络输出层输出全分辨率RGB图像和全分辨率IR图像。
在一些实施例中，对全分辨率RGB图像进行处理，得到处理后的RGB图像，包括：
根据全分辨率IR图像对全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将白平衡校正RGB图像作为处理后的RGB图像。
在一些实施例中，通过图像插值网络层对初始IR通道图像进行插值之后，还包括：
通过图像插值网络层根据全分辨率IR图像对全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；相应地，通过第一网络输出层输出去红外RGB图像。
在一些实施例中，通过第一神经网络模型包括的图像插值网络层将初始R通道图像、初始G通道图像以及初始B通道图像进行插值之后，还包括：
通过第二神经网络模型包括的红外去除网络层根据第一神经网络模型输出的全分辨率IR图像对全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；通过第二神经网络模型包括的第二网络输出层输出去红外RGB图像。
在一些实施例中，对全分辨率RGB图像进行处理，得到处理后的RGB图像，包括：
对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将白平衡校正RGB图像作为处理后的RGB图像。
在一些实施例中，对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像之后，还包括：
根据白平衡校正RGB图像中各个像素点的亮度、白平衡校正RGB图像中各个像素点的亮度、确定补充红外权重图；根据补充红外权重图和全分辨率IR图像，对白平衡校正RGB图像进行红外亮度补充，得到补充红外亮度RGB图像，将补充红外亮度RGB图像作为处理后的RGB图像。
在一些实施例中，对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，包括：
对于去红外RGB图像中第一像素点，如果第一像素点在全分辨率RGB图像中的亮度值大于亮度阈值，则将第一像素点确定为用于白平衡校正的统计像素点，第一像素点为去红外RGB图像中的任一像素点；根据确定出的用于白平衡校正的统计像素点，对去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像。
在本申请实施例中，由于是通过神经网络模型确定的全分辨率RGB图像，然后再通过后处理平台单元对全分辨率RGB图像进行处理，得到处理后的RGB图像。因此，可以预先对神经网络模型进行训练，以使训练后的神经网络模型能够输出更接近于直接采集的全分辨率RGB图像的全分辨率RGB图像。这样的话，相对于直接插值的方式确定全分辨率RGB图像，通过训练后的神经网络模型确定的全分辨率RGB图像的效果更好，且对图像进行处理的效率也较高。
图15是本申请实施例提供的一种摄像机的结构示意图。该摄像机1500可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。摄像机1500还可能被称为用户设备、便携式摄像机、膝上型摄像机、台式摄像机等其他名称。
通常，摄像机1500包括有：处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1501所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，摄像机1500还可选包括有：外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地，外围设备包括：射频电路1504、触摸显示屏1505、摄像头1506、音频电路1507、定位组件1508和电源1509中的至少一种。
外围设备接口1503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中，处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上；在一些其他实施例中，处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它摄像机进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时，显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时，显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1505可以为一个，设置摄像机1500的前面板；在另一些实施例中，显示屏1505可以为至少两个，分别设置在摄像机1500的不同表面或呈折叠设计；在再一些实施例中，显示屏1505可以是柔性显示屏，设置在摄像机1500的弯曲表面上或折叠面上。甚至，显示屏1505还可以设置成非矩形的不规则图形，也即异形屏。显示屏1505可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1506用于采集图像或视频。可选地，摄像头组件1506包括前置摄像头和后置摄像头。通常，前置摄像头设置在摄像机的前面板，后置摄像头设置在摄像机的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1501进行处理，或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在摄像机1500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1507还可以包括耳机插孔。
定位组件1508用于定位摄像机1500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1509用于为摄像机1500中的各个组件进行供电。电源1509可以是交流电、直流电、一次性电池或可充电电池。当电源1509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，摄像机1500还包括有一个或多个传感器1150。该一个或多个传感器1150包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1515以及接近传感器1516。
加速度传感器1511可以检测以摄像机1500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1511可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1511采集的重力加速度信号，控制触摸显示屏1505以横向视图或纵向视图进行用户界面的显示。加速度传感器1511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1512可以检测摄像机1500的机体方向及转动角度，陀螺仪传感器1512可以与加速度传感器1511协同采集用户对摄像机1500的3D动作。处理器1501根据陀螺仪传感器1512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1513可以设置在摄像机1500的侧边框和/或触摸显示屏1505的下层。当压力传感器1513设置在摄像机1500的侧边框时，可以检测用户对摄像机1500的握持信号，由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在触摸显示屏1505的下层时，由处理器1501根据用户对触摸显示屏1505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1514用于采集用户的指纹，由处理器1501根据指纹传感器1514采集到的指纹识别用户的身份，或者，由指纹传感器1514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1514可以被设置摄像机1500的正面、背面或侧面。当摄像机1500上设置有物理按键或厂商Logo时，指纹传感器1514可以与物理按键或厂商Logo集成在一起。
光学传感器1515用于采集环境光强度。在一个实施例中，处理器1501可以根据光学传感器1515采集的环境光强度，控制触摸显示屏1505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1505的显示亮度；当环境光强度较低时，调低触摸显示屏1505的显示亮度。在另一个实施例中，处理器1501还可以根据光学传感器1515采集的环境光强度，动态调整摄像头组件1506的拍摄参数。
接近传感器1516，也称距离传感器，通常设置在摄像机1500的前面板。接近传感器1516用于采集用户与摄像机1500的正面之间的距离。在一个实施例中，当接近传感器1516检测到用户与摄像机1500的正面之间的距离逐渐变小时，由处理器1501控制触摸显示屏1505从亮屏状态切换为息屏状态；当接近传感器1516检测到用户与摄像机1500的正面之间的距离逐渐变大时，由处理器1501控制触摸显示屏1505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图15中示出的结构并不构成对摄像机1500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由摄像机的处理器执行时，使得摄像机能够执行上实施例提供的图像处理方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在摄像机上运行时，使得摄像机执行上述实施例提供的图像处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (23)

1.一种图像处理装置，其特征在于，所述图像处理装置包括神经网络平台单元和后处理平台单元；
所述神经网络平台单元用于通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，得到全分辨率RGB图像；
所述后处理平台单元用于对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，所述处理后的RGB图像为可见光图像。
2.如权利要求1所述的图像处理装置，其特征在于，所述神经网络平台单元包括第一神经网络模型，所述第一神经网络模型包括通道提取网络层、图像插值网络层以及第一网络输出层；
所述通道提取网络层用于对所述RGB-IR图像进行通道提取，得到初始R通道图像、初始G通道图像、初始B通道图像以及初始IR通道图像；
所述图像插值网络层用于将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值，得到全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像；
所述第一网络输出层用于将所述图像插值网络层输出的图像和所述初始IR通道图像进行拼接，以输出全分辨率RGB图像和初始IR通道图像。
3.如权利要求2所述的图像处理装置，其特征在于，所述后处理平台单元包括红外插值模块、红外去除模块和白平衡校正模块；
所述红外插值模块用于对所述初始IR通道图像进行插值，得到全分辨率IR图像；
所述红外去除模块用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
4.如权利要求2所述的图像处理装置，其特征在于，所述图像插值网络层还用于对所述初始IR通道图像进行插值，得到全分辨率IR图像；
所述第一网络输出层用于输出所述全分辨率RGB图像和所述全分辨率IR图像。
5.如权利要求4所述的图像处理装置，其特征在于，所述后处理平台单元包括红外去除模块和白平衡校正模块；
所述红外去除模块用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
6.如权利要求4所述的图像处理装置，其特征在于，所述图像插值网络层还用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
所述第一网络输出层用于输出所述去红外RGB图像。
7.如权利要求4所述的图像处理装置，其特征在于，所述神经网络平台单元包括第二神经网络模型，所述第二神经网络模型包括红外去除网络层和第二网络输出层；
所述红外去除网络层用于根据所述第一神经网络模型输出的所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
所述第二网络输出层用于输出所述去红外RGB图像。
8.如权利要求6或7所述的图像处理装置，其特征在于，所述后处理平台单元包括白平衡校正模块；
所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
9.如权利要求3、5和8中任一权利要求所述的图像处理装置，其特征在于，所述后处理平台单元还包括红外亮度补充模块；
所述红外亮度补充模块用于：
根据所述白平衡校正RGB图像中各个像素点的亮度、所述白平衡校正RGB图像中各个像素点的亮度、确定补充红外权重图；
根据所述补充红外权重图和所述全分辨率IR图像，对所述白平衡校正RGB图像进行红外亮度补充，得到补充红外亮度RGB图像，将所述补充红外亮度RGB图像作为所述处理后的RGB图像。
10.如权利要求3、5和8中任一所述的图像处理装置，其特征在于，所述白平衡校正模块具体用于：
对于所述去红外RGB图像中第一像素点，如果所述第一像素点在全分辨率RGB图像中的亮度值大于亮度阈值，则将所述第一像素点确定为用于白平衡校正的统计像素点，所述第一像素点为所述去红外RGB图像中的任一像素点；
根据确定出的用于白平衡校正的统计像素点，对所述去红外RGB图像进行白平衡校正，得到所述白平衡校正RGB图像。
11.一种摄像机，其特征在于，所述摄像机包括权利要求1至10任一所述的图像处理装置和成像采集装置：
所述成像采集装置包括双峰滤光片和RGB-IR成像传感器；
通过所述双峰滤光片的入射光的波段范围包括第一波段范围和第二波段范围，所述第一波段范围用于通过可见光，所述第二波段范围用于通过红外光；
所述RGB-IR成像传感器用于感应可见光和红外光，以得到所述RGB-IR图像。
12.如权利要求11所述的摄像机，其特征在于，所述第二波段范围的起始位置在650纳米-850纳米之间，所述第二波段范围的结束位置在800纳米-1100纳米之间。
13.如权利要求11所述的摄像机，其特征在于，所述成像采集装置还包括红外补光单元，所述红外补光单元用于在环境光照度低于照度阈值时进行红外补光。
14.一种图像处理方法，其特征在于，所述方法包括：
获取红绿蓝-红外RGB-IR图像；
通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，得到全分辨率RGB图像；
对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，所述处理后的RGB图像为可见光图像。
15.如权利要求14所述的方法，其特征在于，所述通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，得到全分辨率RGB图像，包括：
通过第一神经网络模型包括的通道提取网络层对所述RGB-IR图像进行通道提取，得到初始R通道图像、初始G通道图像、初始B通道图像以及初始IR通道图像；
通过所述第一神经网络模型包括的图像插值网络层将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值，得到全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像；
通过所述第一神经网络模型包括的第一网络输出层将所述图像插值网络层输出的图像和所述初始IR通道图像进行拼接，以输出全分辨率RGB图像和初始IR通道图像。
16.如权利要求15所述的方法，其特征在于，所述对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，包括：
对所述初始IR通道图像进行插值，得到全分辨率IR图像；
根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
17.如权利要求15所述的方法，其特征在于，所述通过所述第一神经网络模型包括的图像插值网络层将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值之后，还包括：
通过所述图像插值网络层对所述初始IR通道图像进行插值，得到全分辨率IR图像；
通过所述第一网络输出层输出所述全分辨率RGB图像和所述全分辨率IR图像。
18.如权利要求17所述的方法，其特征在于，所述对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，包括：
根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
19.如权利要求17所述的方法，其特征在于，所述通过所述图像插值网络层对所述初始IR通道图像进行插值之后，还包括：
通过所述图像插值网络层根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
通过所述第一网络输出层输出所述去红外RGB图像。
20.如权利要求17所述的方法，其特征在于，所述通过所述第一神经网络模型包括的图像插值网络层将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值之后，还包括：
通过第二神经网络模型包括的红外去除网络层根据所述第一神经网络模型输出的所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；
通过所述第二神经网络模型包括的第二网络输出层输出所述去红外RGB图像。
21.如权利要求19或20所述的方法，其特征在于，所述对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，包括：
对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。
22.如权利要求16、18和21中任一权利要求所述的方法，其特征在于，所述对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像之后，还包括：
根据所述白平衡校正RGB图像中各个像素点的亮度、所述白平衡校正RGB图像中各个像素点的亮度、确定补充红外权重图；
根据所述补充红外权重图和所述全分辨率IR图像，对所述白平衡校正RGB图像进行红外亮度补充，得到补充红外亮度RGB图像，将所述补充红外亮度RGB图像作为所述处理后的RGB图像。
23.如权利要求16、18和21中任一所述的方法，其特征在于，所述对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，包括：
对于所述去红外RGB图像中第一像素点，如果所述第一像素点在全分辨率RGB图像中的亮度值大于亮度阈值，则将所述第一像素点确定为用于白平衡校正的统计像素点，所述第一像素点为所述去红外RGB图像中的任一像素点；
根据确定出的用于白平衡校正的统计像素点，对所述去红外RGB图像进行白平衡校正，得到所述白平衡校正RGB图像。
CN201910646333.4A 2019-07-17 2019-07-17 图像处理装置、方法及摄像机 Active CN112243117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910646333.4A CN112243117B (zh) 2019-07-17 2019-07-17 图像处理装置、方法及摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910646333.4A CN112243117B (zh) 2019-07-17 2019-07-17 图像处理装置、方法及摄像机

Publications (2)

Publication Number Publication Date
CN112243117A true CN112243117A (zh) 2021-01-19
CN112243117B CN112243117B (zh) 2022-09-16

Family

ID=74167403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910646333.4A Active CN112243117B (zh) 2019-07-17 2019-07-17 图像处理装置、方法及摄像机

Country Status (1)

Country Link
CN (1) CN112243117B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021214712A1 (en) * 2020-04-24 2021-10-28 Spectrum Optix Inc. Neural network supported camera image or video processing pipelines
CN115103168A (zh) * 2022-06-27 2022-09-23 展讯通信（上海）有限公司 图像生成方法、装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051393A (ja) * 2003-07-31 2005-02-24 Minolta Co Ltd 撮像装置
JP2006033808A (ja) * 2004-07-14 2006-02-02 Arecont Vision Llc 二重スペクトル帯ネットワークカメラ
US20100097491A1 (en) * 2008-10-21 2010-04-22 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
CN102687502A (zh) * 2009-08-25 2012-09-19 Ip链有限公司 减少彩色图像中的噪声
CN103686111A (zh) * 2013-12-31 2014-03-26 上海富瀚微电子有限公司 一种基于rgbir图像传感器的颜色校正方法以及装置
CN104113744A (zh) * 2013-04-18 2014-10-22 深圳中兴力维技术有限公司 全天候彩色摄像机白平衡处理方法及装置
CN105391953A (zh) * 2014-08-29 2016-03-09 日立产业控制解决方案有限公司 拍摄方法以及拍摄装置
CN106488209A (zh) * 2016-09-29 2017-03-08 杭州雄迈集成电路技术有限公司 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
US20170374299A1 (en) * 2016-06-28 2017-12-28 Intel Corporation Color correction of rgbir sensor stream based on resolution recovery of rgb and ir channels
CN107534759A (zh) * 2015-02-26 2018-01-02 索尼半导体解决方案公司 摄像装置、摄像方法和程序
CN108282644A (zh) * 2018-02-14 2018-07-13 北京飞识科技有限公司 一种单摄像头成像方法及装置
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
US20180341832A1 (en) * 2017-05-24 2018-11-29 Hrl Laboratories, Llc Transfer learning of convolutional neural networks from visible color (rbg) to infrared (ir) domain
CN109087242A (zh) * 2017-06-13 2018-12-25 上海富瀚微电子股份有限公司 一种cfa插值处理方法及装置
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051393A (ja) * 2003-07-31 2005-02-24 Minolta Co Ltd 撮像装置
JP2006033808A (ja) * 2004-07-14 2006-02-02 Arecont Vision Llc 二重スペクトル帯ネットワークカメラ
US20100097491A1 (en) * 2008-10-21 2010-04-22 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
CN102687502A (zh) * 2009-08-25 2012-09-19 Ip链有限公司 减少彩色图像中的噪声
CN104113744A (zh) * 2013-04-18 2014-10-22 深圳中兴力维技术有限公司 全天候彩色摄像机白平衡处理方法及装置
CN103686111A (zh) * 2013-12-31 2014-03-26 上海富瀚微电子有限公司 一种基于rgbir图像传感器的颜色校正方法以及装置
CN105391953A (zh) * 2014-08-29 2016-03-09 日立产业控制解决方案有限公司 拍摄方法以及拍摄装置
CN107534759A (zh) * 2015-02-26 2018-01-02 索尼半导体解决方案公司 摄像装置、摄像方法和程序
US20170374299A1 (en) * 2016-06-28 2017-12-28 Intel Corporation Color correction of rgbir sensor stream based on resolution recovery of rgb and ir channels
CN106488209A (zh) * 2016-09-29 2017-03-08 杭州雄迈集成电路技术有限公司 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
US20180341832A1 (en) * 2017-05-24 2018-11-29 Hrl Laboratories, Llc Transfer learning of convolutional neural networks from visible color (rbg) to infrared (ir) domain
CN109087242A (zh) * 2017-06-13 2018-12-25 上海富瀚微电子股份有限公司 一种cfa插值处理方法及装置
CN108282644A (zh) * 2018-02-14 2018-07-13 北京飞识科技有限公司 一种单摄像头成像方法及装置
CN109684924A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 人脸活体检测方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021214712A1 (en) * 2020-04-24 2021-10-28 Spectrum Optix Inc. Neural network supported camera image or video processing pipelines
CN115103168A (zh) * 2022-06-27 2022-09-23 展讯通信（上海）有限公司 图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112243117B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN108305236B (zh) 图像增强处理方法及装置
JP6803982B2 (ja) 光学撮像方法および装置
CN108833753B (zh) 一种图像获取及应用方法、终端及计算机可读存储介质
CN108900750B (zh) 一种图像传感器及移动终端
US10516860B2 (en) Image processing method, storage medium, and terminal
CN109829864B (zh) 图像处理方法、装置、设备及存储介质
KR20150077646A (ko) 이미지 처리 장치 및 방법
CN107948505B (zh) 一种全景拍摄方法及移动终端
WO2020078273A1 (zh) 一种拍摄方法及电子设备
CN111385514B (zh) 人像处理方法和装置以及终端
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN111447389B (zh) 视频生成方法、装置、终端及存储介质
US20240119566A1 (en) Image processing method and apparatus, and electronic device
CN106576134A (zh) 图像显示装置及图像显示方法
CN108848405B (zh) 图像处理方法和装置
CN112243117B (zh) 图像处理装置、方法及摄像机
CN110807769B (zh) 图像显示控制方法及装置
CN111565309A (zh) 显示设备及其畸变参数确定方法、装置、系统及存储介质
CN114494073A (zh) 图像处理方法、装置、设备及存储介质
CN111105474A (zh) 字体绘制方法、装置、计算机设备及计算机可读存储介质
CN112116530B (zh) 鱼眼图像畸变矫正方法、装置和虚拟显示系统
CN112235650A (zh) 视频处理方法、装置、终端及存储介质
CN112383719B (zh) 图像亮度的调整方法、装置、设备及可读存储介质
CN108881739B (zh) 图像生成方法、装置、终端及存储介质
CN110620935B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant