CN114422766A - 一种图像采集设备 - Google Patents

一种图像采集设备 Download PDF

Info

Publication number
CN114422766A
CN114422766A CN202210094591.8A CN202210094591A CN114422766A CN 114422766 A CN114422766 A CN 114422766A CN 202210094591 A CN202210094591 A CN 202210094591A CN 114422766 A CN114422766 A CN 114422766A
Authority
CN
China
Prior art keywords
image
channel
original
data
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210094591.8A
Other languages
English (en)
Inventor
范蒙
俞海
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202210094591.8A priority Critical patent/CN114422766A/zh
Publication of CN114422766A publication Critical patent/CN114422766A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Abstract

本发明实施例提供了一种图像采集设备，所述图像采集设备包括图像传感器和图像处理器，其中：所述图像传感器，用于采集原始图像数据，所述图像传感器为含有全通通道和两个RGB色彩通道的彩色滤镜阵列，所述全通通道的光谱感光范围比R通道、G通道以及B通道各自的光谱范围广；所述彩色滤镜阵列所包含的RGB色彩通道为R通道、G通道以及B通道三种色彩通道中的任意两种；所述图像处理器，用于基于所述原始图像数据进行处理得到处理后的图像。

Description

一种图像采集设备
本申请为2018年08月03日提交中国专利局、申请号为201810875810.X，发明名称为“图像处理方法、装置、电子设备及计算机可读存储介质”的中国专利申请的分案申请。
技术领域
本发明涉及图像技术领域，特别是涉及一种图像采集设备。
背景技术
现有技术中，图像采集设备往往通过图像传感器来采集图像。例如，可以使用拜耳格式的图像传感器采集包含RGB色彩通道中的三种色彩通道的可见光图像。然而，在环境可见光光照强度较低的情况下，受传感器感光性能的限制，这种方式所采集的可见光图像噪声较大，不够清晰。
发明内容
本发明实施例的目的在于提供一种图像采集设备，以采集到质量较好的清晰图像。具体技术方案如下：
第一方面，本发明实施例提供了一种图像处理方法，所述方法包括：
获得图像传感器采集的原始图像数据；其中，所述原始图像数据至少包括原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据，任一通道数据均具有空洞像素点，所述第一色彩通道和所述第二色彩通道为R、G、B色彩通道中的其中两种；
基于所述原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；
将所述全通通道图像与所述RGB图像进行融合，得到融合后的图像。
可选的，所述基于所述原始图像数据，生成全分辨率的全通通道图像的步骤，包括：
对所述原始全通通道数据进行插值处理，得到所述全分辨率的全通通道图像。
可选的，所述对所述原始全通通道数据进行插值处理，得到所述全分辨率的全通通道图像的步骤，包括：
对所述原始全通通道数据进行内插插值处理，确定出所述原始全通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的全通通道图像。
可选的，所述对所述原始全通通道数据进行插值处理，得到所述全分辨率的全通通道图像包括：
根据所述原始第一色彩通道数据和所述原始第二色彩通道数据，确定第一权值；
根据所述原始全通通道数据和所述第一权值，对所述原始全通通道数据进行插值处理，确定出所述原始全通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的全通通道图像。
可选的，所述基于所述原始图像数据，生成全分辨率的RGB图像的步骤，包括：
对所述原始第一色彩通道数据进行插值处理，得到全分辨率的第一色彩通道图像；
对所述原始第二色彩通道数据进行插值处理，得到全分辨率的第二色彩通道图像；
根据所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像，确定全分辨率的第三色彩通道图像，所述第三色彩通道为所述R、G、B色彩通道中除所述第一色彩通道和所述第二色彩通道之外的一个色彩通道；
根据所述第一色彩通道图像、所述第二色彩通道图像和所述第三色彩通道图像，得到所述全分辨率的RGB图像。
可选的，所述对所述原始第一色彩通道数据进行插值处理，得到全分辨率的第一色彩通道图像的步骤，包括：
对所述原始第一色彩通道数据进行内插插值处理，确定出所述原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第一色彩通道图像；或者，
根据所述原始全通通道数据和所述原始第二色彩通道数据，确定第二权值；根据所述第二权值和所述原始第一色彩通道数据，对所述原始第一色彩通道数据进行插值处理，确定出所述原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第一色彩通道图像。
可选的，所述对所述原始第二色彩通道数据进行插值处理，得到全分辨率的第二色彩通道图像的步骤，包括：
对所述原始第二色彩通道数据进行内插插值处理，确定出所述原始第二色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第二色彩通道图像；或者，
根据所述原始全通通道数据和所述原始第一色彩通道数据，确定第三权值，根据所述第三权值和所述原始第二色彩通道数据，对所述原始第二色彩通道数据进行插值处理，确定出所述原始第二色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第二色彩通道图像。
可选的，所述根据所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像，确定全分辨率的第三色彩通道图像的步骤，包括：
确定所述全分辨率的第三色彩通道图像中任一像素点的通道值，进而得到全分辨率的第三色彩通道图像；其中，所述任一像素点的通道值，是根据所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像中与所述任一像素点在同一位置的像素点的通道值确定的。
可选的，所述第三色彩通道图像中任一像素点的通道值通过以下公式确定：
S1＝[C1-(S2+S3-α)*K1+β]*K2；
式中，S1表示所述第三色彩通道图像中任一像素点的通道值，C1、S2及S3分别对应表示所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像中与所述任一像素点在同一位置的像素点的通道值，α、β、K1以及K2均为预设的常量值。
可选的，所述基于所述原始图像数据，生成全分辨率的RGB图像的步骤，包括：
根据所述原始图像数据，确定第三色彩通道数据，所述第三色彩通道为所述R、G、B色彩通道中除所述第一色彩通道和所述第二色彩通道之外的一个色彩通道；
对所述原始第一色彩通道数据、所述原始第二色彩通道数据和所述第三色彩通道数据分别进行插值处理，得到所述全分辨率的RGB图像。
可选的，所述根据所述原始图像数据，确定第三色彩通道数据的步骤，包括：
将所述全通通道数据中的非空洞像素点，确定为所述第三色彩通道数据中的非空洞像素点；
确定所述第三色彩通道数据中的任一非空洞像素点的通道值，进而得到第三色彩通道数据；其中，所述第三色彩通道数据中的任一非空洞像素点的通道值，是根据所述原始全通通道数据中与所述任一非空洞像素点在同一位置的像素点的通道值、所述原始第一色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值、以及所述第二色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值确定的。
可选的，所述第三色彩通道数据中的任一非空洞像素点的通道值通过以下公式确定：
S4＝[C2-(S5+S6-α)*K1+β]*K2；
式中，S4表示所述第三色彩通道数据中的任一非空洞像素点的通道值，C2表示所述原始全通通道数据中与所述任一非空洞像素点在同一位置的像素点的通道值，S5表示所述原始第一色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值，S6表示所述第二色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值；α、β、K1以及K2均为预设的常量值。
可选的，所述对所述原始第一色彩通道数据、所述原始第二色彩通道数据和所述第三色彩通道数据分别进行插值处理，得到所述全分辨率的RGB图像，包括：
对所述原始第一色彩通道数据进行插值处理，确定出所述原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第一色彩通道图像；
对所述原始第二色彩通道数据进行插值处理，确定出所述原始第二色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第二色彩通道图像；
对所述第三色彩通道数据进行插值处理，确定出所述第三色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第三色彩通道图像；
根据所述第一色彩通道图像、所述第二色彩通道图像和所述第三色彩通道图像，得到所述全分辨率的RGB图像。
可选的，所述对所述原始第一色彩通道数据进行插值处理，包括：
对所述原始第一色彩通道数据进行内插插值处理；
或者，根据所述原始全通通道数据、所述原始第二色彩通道数据和所述第三色彩通道数据，确定第四权值；根据所述第四权值和所述原始第一色彩通道数据，对所述原始第一色彩通道数据进行插值处理；
所述对所述原始第二色彩通道数据进行插值处理，包括：
对所述预设第二色彩通道数据进行内插插值处理；
或者，根据所述原始全通通道数据、所述原始第一色彩通道数据和所述第三色彩通道数据，确定第五权值；根据所述第五权值和所述原始第二色彩通道数据，对所述原始第二色彩通道数据进行插值处理；
所述对所述第三色彩通道数据进行插值处理，包括：
对所述第三色彩通道数据进行内插插值处理；
或者，根据所述原始全通通道数据、所述原始第一色彩通道数据和所述原始第二色彩通道数据，确定第六权值；根据所述第六权值和所述第三色彩通道数据，对所述第三色彩通道数据进行插值处理。
可选的，所述将所述全通通道图像与所述RGB图像进行融合，得到融合后的图像的步骤，包括：
获取所述RGB图像中的色彩信息；
获取所述RGB图像中的第一亮度信息和所述全通通道图像中的第二亮度信息；
将所述色彩信息、所述第一亮度信息和所述第二亮度信息进行融合，得到所述融合后的图像。
第二方面，本发明实施例提供了一种图像处理装置，所述装置包括：
获得模块，用于获得图像采集设备采集的原始图像数据；其中，所述原始图像数据至少包括原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据，任一通道数据均具有空洞像素点，所述第一色彩通道和所述第二色彩通道为R、G、B色彩通道中的其中两种；
生成模块，用于基于所述原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；
融合模块，用于将所述全通通道图像与所述RGB图像进行融合，得到融合后的图像。
可选的，所述生成模块，包括：
全通通道图像生成子模块，用于对所述原始全通通道数据进行插值处理，得到所述全分辨率的全通通道图像。
可选的，所述全通通道图像生成子模块，具体用于：
对所述原始全通通道数据进行内插插值处理，确定出所述原始全通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的全通通道图像。
可选的，所述全通通道图像生成子模块，具体用于：
根据所述原始第一色彩通道数据和所述原始第二色彩通道数据，确定第一权值；
根据所述原始全通通道数据和所述第一权值，对所述原始全通通道数据进行插值处理，确定出所述原始全通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的全通通道图像。
可选的，所述生成模块，包括：第一RGB图像生成子模块，用于：
对所述原始第一色彩通道数据进行插值处理，得到全分辨率的第一色彩通道图像；
对所述原始第二色彩通道数据进行插值处理，得到全分辨率的第二色彩通道图像；
根据所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像，确定全分辨率的第三色彩通道图像，所述第三色彩通道为所述R、G、B色彩通道中除所述第一色彩通道和所述第二色彩通道之外的一个色彩通道；
根据所述第一色彩通道图像、所述第二色彩通道图像和所述第三色彩通道图像，得到所述全分辨率的RGB图像。
可选的，所述第一RGB图像生成子模块对所述原始第一色彩通道数据进行插值处理，得到全分辨率的第一色彩通道图像，具体为：
对所述原始第一色彩通道数据进行内插插值处理，确定出所述原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第一色彩通道图像；或者，
根据所述原始全通通道数据和所述原始第二色彩通道数据，确定第二权值；根据所述第二权值和所述原始第一色彩通道数据，对所述原始第一色彩通道数据进行插值处理，确定出所述原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第一色彩通道图像。
可选的，所述第一RGB图像生成子模块对所述原始第二色彩通道数据进行插值处理，得到全分辨率的第二色彩通道图像，具体为：
对所述原始第二色彩通道数据进行内插插值处理，确定出所述原始第二色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第二色彩通道图像；或者，
根据所述原始全通通道数据和所述原始第一色彩通道数据，确定第三权值，根据所述第三权值和所述原始第二色彩通道数据，对所述原始第二色彩通道数据进行插值处理，确定出所述原始第二色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第二色彩通道图像。
可选的，所述第一RGB图像生成子模块根据所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像，确定全分辨率的第三色彩通道图像，具体为：
确定所述全分辨率的第三色彩通道图像中任一像素点的通道值，进而得到全分辨率的第三色彩通道图像；其中，所述任一像素点的通道值，是根据所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像中与所述任一像素点在同一位置的像素点的通道值确定的。
可选的，通过以下公式确定第三色彩通道图像中任一像素点的通道值：
S1＝[C1-(S2+S3-α)*K1+β]*K2；
式中，S1表示所述第三色彩通道图像中任一像素点的通道值，C1、S2及S3分别对应表示所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像中与所述任一像素点在同一位置的像素点的通道值，α、β、K1以及K2均为预设的常量值。
可选的，所述生成模块，包括：第二RGB图像生成子模块，用于：
根据所述原始图像数据，确定第三色彩通道数据，所述第三色彩通道为所述R、G、B色彩通道中除所述第一色彩通道和所述第二色彩通道之外的一个色彩通道；
对所述原始第一色彩通道数据、所述原始第二色彩通道数据和所述第三色彩通道数据分别进行插值处理，得到所述全分辨率的RGB图像。
可选的，所述根第二RGB图像生成子模块根据所述原始图像数据，确定第三色彩通道数据，具体包括：
将所述全通通道数据中的非空洞像素点，确定为所述第三色彩通道数据中的非空洞像素点；
确定所述第三色彩通道数据中的任一非空洞像素点的通道值，进而得到所述第三色彩通道数据，其中所述第三色彩通道数据中的所述任一非空洞像素点的通道值，是根据所述原始全通通道数据中与所述任一非空洞像素点在同一位置的像素点的通道值、所述原始第一色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值、以及所述第二色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值确定的。
可选的，通过以下公式确定第三色彩通道数据中的任一非空洞像素点的通道值：
S4＝[C2-(S5+S6-α)*K1+β]*K2；
式中，S4表示所述第三色彩通道数据中的任一非空洞像素点的通道值，C2表示所述原始全通通道数据中与所述任一非空洞像素点在同一位置的像素点的通道值，S5表示所述原始第一色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值，S6表示所述第二色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值；α、β、K1以及K2均为预设的常量值。
可选的，所述第二RGB图像生成子模块对所述原始第一色彩通道数据、所述原始第二色彩通道数据和所述第三色彩通道数据分别进行插值处理，得到所述全分辨率的RGB图像，具体为：
对所述原始第一色彩通道数据进行插值处理，确定出所述原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第一色彩通道图像；
对所述原始第二色彩通道数据进行插值处理，确定出所述原始第二色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第二色彩通道图像；
对所述第三色彩通道数据进行插值处理，确定出所述第三色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第三色彩通道图像；
根据所述第一色彩通道图像、所述第二色彩通道图像和所述第三色彩通道图像，得到所述全分辨率的RGB图像。
可选的，所述第二RGB图像生成子模块对所述原始第一色彩通道数据进行插值处理具体包括：
对所述原始第一色彩通道数据进行内插插值处理；或者，根据所述原始全通通道数据、所述原始第二色彩通道数据和所述第三色彩通道数据，确定第四权值；根据所述第四权值和所述原始第一色彩通道数据，对所述原始第一色彩通道数据进行插值处理；
所述第二RGB图像生成子模块对所述原始第二色彩通道数据进行插值处理具体包括：
对所述预设第二色彩通道数据进行内插插值处理；或者，根据所述原始全通通道数据、所述原始第一色彩通道数据和所述第三色彩通道数据，确定第五权值；根据所述第五权值和所述原始第二色彩通道数据，对所述原始第二色彩通道数据进行插值处理；
所述第二RGB图像生成子模块对所述第三色彩通道数据进行插值处理具体包括：
对所述第三色彩通道数据进行内插插值处理；或者，根据所述原始全通通道数据、所述原始第一色彩通道数据和所述原始第二色彩通道数据，确定第六权值；根据所述第六权值和所述第三色彩通道数据，对所述第三色彩通道数据进行插值处理。
可选的，所述融合模块，具体用于：
获取所述RGB图像中的色彩信息；
获取所述RGB图像中的第一亮度信息和所述全通通道图像中的第二亮度信息；
将所述色彩信息、所述第一亮度信息和所述第二亮度信息进行融合，得到所述融合后的图像。
第三方面，本发明实施例提供了一种图像处理系统，包括：
图像采集设备，包括至少一个图像传感器，所述图像传感器包括全通通道的彩色滤镜阵列，所述图像传感器，用于采集原始图像数据，其中，所述原始图像数据至少包括原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据，任一通道数据均具有空洞像素点，所述第一色彩通道和所述第二色彩通道为R、G、B色彩通道中的其中两种；
图像处理设备，用于获得所述图像采集设备采集的原始图像数据；基于所述原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；将所述全通通道图像与所述RGB图像进行融合，得到融合后的图像。
第四方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一图像处理方法所述的方法步骤。
第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像处理方法所述的方法步骤。
本发明实施例提供的方案，可以获得图像传感器采集的原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据的原始图像数据；基于原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；将全通通道图像与RGB图像进行融合，得到融合后的图像。本发明实施例提供的方案中，原始图像数据中包含有全通通道，进而可以获得全通通道图像，由于全通通道图像在感光度上的优势，将全通通道图像与RGB图像进行融合得到的融合图像具有信噪比高、清晰度高的优点，因此，本发明实施例提供的方案可以采集到质量较好的清晰图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程示意图；
图2为本发明实施例涉及的光谱响应示意图；
图3为本发明实施例涉及的bayer阵列及RCCG阵列示意图；
图4为一种实现方式中，将全通通道图像与RGB图像进行融合，得到融合图像的处理框图；
图5为本发明实施例提供的生成全分辨率的全通通道图像和RGB图像的第一种处理框图；
图6为本发明实施例涉及的内插处理示意图；
图7为本发明实施例提供的生成全分辨率的全通通道图像和RGB图像的第二种处理框图；
图8为本发明实施例涉及的补足缺失色彩通道的示意图；
图9为本发明实施例提供的生成全分辨率的全通通道图像和RGB图像的第三种处理框图；
图10为本发明实施例提供的一种图像处理装置的结构示意图；
图11为本发明实施例提供的一种图像处理系统的结构示意图；
图12为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面首先对本申请文件涉及的技术术语进行简单介绍。
原始图像数据，也称RAW数据，是指图像传感器将捕捉到的光源信号转化为数字信号所得到的原始数据。在原始图像数据中，若分离为通道数据，则单个通道数据中存在部分空洞像素点，空洞像素点处不包含任何通道值，例如，图6所示的左图，R通道数据中的空洞像素点不存在任何R(Red)通道值，G通道数据中的空洞像素点不存在任何G(Green)通道值，B通道数据中的空洞像素点不存在任何B(Blue)通道值等。
全分辨率的图像，是指对于该图像中所存在的每一通道，该图像中的每一像素上都具有该通道的通道值。例如，在本发明实施例中，全分辨率的全通通道图像中的每个像素点都包含有全通通道值；同样的，全分辨率的RGB图像中的每个像素点都包含有R通道值、G通道值和B通道值。
为了解决上述背景技术所提及的问题，本发明实施例提供了提供一种图像处理方法、装置、电子设备及计算机可读存储介质。
下面首先对本发明实施例提供的一种图像处理方法进行详细介绍。
需要说明的是，本发明实施例所提供的一种图像处理方法的执行主体可以为一种图像处理装置，其中，该图像处理装置运行于电子设备中。在具体应用中，该电子设备可以为：包含图像传感器的图像采集设备，当然并不局限于此。
本发明实施例提供的一种图像处理方法，如图1所示，该方法包括步骤S101～S103：
S101：获得图像传感器采集的原始图像数据。
其中，原始图像数据包括原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据，任一原始图像数据均具有空洞像素点，所述第一色彩通道和所述第二色彩通道为R、G、B色彩通道中的其中两种。
需要说明的是，原始图像数据中不仅包含全通通道，还包含有RGB色彩通道，所包含的RGB色彩通道可以为R通道、G通道以及B通道三种色彩通道，也可以为R通道、G通道以及B通道三种色彩通道中的任意两种。例如，该原始图像数据可以包含有R通道、G通道以及全通通道。
可以理解，该图像采集设备可以包含有光学镜头、滤光片以及图像传感器。其中，该光学镜头可以是可通过可见光及红外光的普通镜头。一种情况下，该滤光片可以包含滤光片切换装置，当环境照度超过预设阈值时，滤光片切换装置切换为过滤红外滤光片；当环境照度不超过预设阈值时，如夜间，滤光片切换装置切换为全通滤光片；另一种情况下，该滤光片也可直接为过滤红外滤光片。
在一种实现方式中，原始图像数据可以为：采用含有全通通道道和至少两个RGB色彩通道的彩色滤镜阵列的图像传感器采集的图像数据。上述图像传感器可以为包含有全通通道(C通道，亦称W通道)彩色滤镜阵列的图像传感器，如RGBW(Red-Green-Blue-White，四色架构)图像传感器、RCCG(Red-Complete Color-Green，红绿全通通道)图像传感器、BCCG(Green-Complete Color-Blue，蓝绿全通通道)图像传感器RCCB(Red-Complete Color-Blue，红蓝全通通道)图像传感器等。
其中，全通通道的光谱感光范围比R通道、G通道、B通道以及IR(红外)通道各自的光谱范围广，如图2所示，图中的W、Red、Green、Blue以及IR分别对应全通通道、R通道、G通道、B通道以及IR通道，更广的光谱感光范围可以保证更充分的光信号进入到图像传感器，进而得到质量更高的原始图像数据。
含有全通通道的彩色滤镜阵列与传统Bayer(拜耳)阵列有所不同，以图3为例，图3中的示意图(a)为传统Bayer阵列示意图，示意图(b)为RCCG阵列示意图，可以发现，相较于传统Bayer阵列，RCCG阵列中采用G通道替换了传统Bayer阵列的B通道，并采用C通道替换了传统Bayer阵列的G通道。图像采集时采用含有全通通道的特殊彩色滤镜阵列，保证更充分的光线进入到传感器，获取更高质量的原始图像。
S102：基于原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像。
可以理解，该原始图像数据中，仅有部分像素上存在对应的原始全通通道数据，其余像素上并不存在原始全通通道数据，即原始图像数据在全通通道上存在空洞，而本发明实施例中全分辨率的全通通道图像中，每个像素上均存在全通通道值。
作为本发明实施例中的一种可选实现方式，上述基于原始图像数据，生成全分辨率的全通通道图像的步骤，可以包括：
对原始全通通道数据进行插值处理，得到全分辨率的全通通道图像。
具体的，在一种实现方式中，可以基于原始全通通道数据，对原始全通通道数据进行插值处理，得到全分辨率的全通通道图像。
可以理解的是，基于原始全通通道数据，对原始全通通道数据进行插值处理的步骤，具体可以为：基于原始全通通道数据，对原始全通通道数据采用内插算法进行插值处理，确定出所述原始全通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的全通通道图像。
其中，所采用的内插算法可以是双线性插值方法、双三次插值插值方法等。示例性的，针对原始图像中每个不存在全通通道值的像素，计算该像素的预定邻域中所有像素的全通通道值的平均值，并将该平均值作为该像素的全通通道值，进而得到全分辨率的全通通道图像。其中，像素的预定邻域是指以该像素为中心，预设范围内的像素集合，例如，3×3邻域。
在另一种实现方式中，还可以基于原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据，对原始全通通道数据进行插值处理，得到全分辨率的全通通道图像。可以理解的，在对全通通道数据进行插值处理时，不仅参考原始全通通道数据，还参考原始第一色彩通道数据和原始第二色彩通道数据，可以提高插值效果，得到质量更好的全分辨率的全通通道图像。
具体的，可以根据原始全通通道数据和第一权值，对原始全通通道数据进行插值处理，得到全分辨率的全通通道图像，其中，第一权值为：根据原始第一色彩通道数据和原始第二色彩通道数据确定的。
示例性的，针对原始图像中每个不存在全通通道数据的像素(即空洞像素点)，首先根据该像素的预定邻域中所有像素的原始第一色彩通道数据和原始第二色彩通道数据确定第一权值，然后根据所确定的第一权值计算该像素的预定邻域中所有像素的全通通道数据的平均值，并将该平均值作为该像素的全通通道数据，进而得到全分辨率的全通通道图像。
本发明实施例中步骤S101所获得的原始图像数据中可以包含全通通道数据以及RGB色彩通道中的其中两种色彩通道数据。然而，本发明实施例中所要生成的全分辨率的RGB图像中，每个像素上都存在R通道值、G通道值以及B通道值。
可以理解的，第一种情况，当原始图像数据中包含两种色彩通道数据时，为了获得全分辨率的RGB图像，可以首先对所缺失的一种色彩通道数据进行补足，然后对所有的色彩通道数据进行插值，从而得到全分辨率的RGB图像，或者首先对所存在的两种色彩通道数据进行插值，然后对所缺失的一种色彩通道数据进行补足，从而得到全分辨率的RGB图像。
而第二种情况，当原始图像数据中包含三种色彩通道数据时，则不需要进行色彩通道数据补足处理，而是直接对三个色彩通道数据进行插值处理，即可得到全分辨率的RGB图像。
鉴于篇幅问题，此处暂时不对以上两种情况进行详细介绍，详细介绍请参见下文。
S103：将全通通道图像与RGB图像进行融合，得到融合后的图像。
本发明实施例中，将全通通道图像与全分辨率的RGB图像进行融合所采用的融合方式可以是多种多样的，本发明在此并不限定具体的融合方式。
作为本发明实施例的一种可选实现方式，上述将全通通道图像与RGB图像进行融合，得到融合图像的步骤，可以包括下述步骤c1～c3：
步骤c1：获取RGB图像中的色彩信息。
融合处理时，需要对RGB图像提取色彩信息，再与步骤C2的亮度信息进行融合，以生成同时具有准确色彩和较好低照度效果的输出图像。
像素的色彩信息与图像的色彩空间有关，例如，可以对该全分辨率的RGB图像执行RGB色彩空间到HSV(Hue、色相，Saturation、饱和度，Value，明度)色彩空间的变换，然后将色彩空间变换后得到的图像中每个像素的H通道值与S通道值作为融合图像中该像素的色彩信息。
再如，可以对该全分辨率的RGB图像执行RGB色彩空间到YUV色彩空间的变换，然后将色彩空间变换后得到的图像中每个像素的U通道值与V通道值作为融合图像中该像素的色彩信息。
可以理解，图像采集设备计算融合图像中每个像素的色彩信息并不限于上述两种实现方式，也可以是将全分辨率的RGB图像转换为其他色彩空间，只要该色彩空间可以被划分为色彩信息以及亮度信息即可。
步骤c2：获取RGB图像中的亮度信息和全通通道图像中的亮度信息。
融合处理时，需要结合全通图像与RGB图像生成亮度信息，由于全通图像在感光度上的优势，以使生成的亮度图像在低照度环境下具有较高的图像质量。
一种可选的实现方式中，融合图像中每个像素的亮度信息，可以直接用全通通道图像中相同位置的像素所具有的通道值表示，例如，全通通道图像中像素a的通道值为x，则融合图像中像素a的亮度信息直接为x。
为了保证亮度信息的生成效果，另一种可选的实现方式中，基于全通通道图像，计算融合图像中每个像素的亮度信息(c2)的步骤，可以包括：
基于全通通道图像以及RGB图像，计算融合图像中每个像素的亮度信息。
具体的，针对融合图像中的每个像素，可以计算RGB图像中该像素的亮度信息，作为第一亮度信息，并将全通通道图像中该像素的通道值作为第二亮度信息，再按照预设的权值系数用第一亮度信息与第二亮度信息加权求和得到融合图像中该像素的亮度信息。
其中，RGB图像中像素的亮度信息可以按照方式获得：对RGB图像执行RGB色彩空间到YUV色彩空间的变换，将每个像素对应的变换后的V通道值作为RGB图像中像素的亮度信息。
示例性的，第一亮度信息与第二亮度信息所对应的权值系数都是0.5，则融合图像中每一像素的亮度信息可以为：该像素的第一亮度信息与第二亮度信息平均值。
步骤c3：将色彩信息与亮度信息进行融合，得到融合后的图像。
其中，直接合并融合图像中每个像素的色彩信息及亮度信息所得到的融合图像并非是RGB色彩空间下的图像，所以此时还可以将融合得到的图像转换为RGB格式的图像。
示例性的，如果步骤c1所计算的色彩信息属于HSV色彩空间下的，则在计算出融合图像中每个像素的亮度信息后，将融合图像中每个像素的亮度信息作为该像素的V通道值，然后组合融合图像的H通道值、S通道值以及V通道值，得到HSV格式的融合图像，再将该融合图像转换为RGB格式的图像。
再如，如果步骤c1所计算的色彩信息属于YUV色彩空间下的，则在计算出融合图像中每个像素的亮度信息后，将融合图像中每个像素的亮度信息作为该像素的Y通道值，然后组合融合图像的Y通道值、U通道值以及V通道值，得到YUV格式的融合图像，再将该融合图像转换为RGB格式的图像。
一种实现方式中，参见图4所示的将全通通道图像与RGB图像进行融合，得到融合图像的处理框图，在上述过程中，首先，可以提取RGB图像中的色彩信息，得到色彩图像，同时可以获取RGB图像中和全通通道图像中的亮度信息，得到亮度图像，进而，将色彩图像与亮度图像进行融合，得到融合后的图像。由上可知，本发明实施例提供的方案，可以获得图像传感器采集的原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据的原始图像数据；基于原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；将全通通道图像与RGB图像进行融合，得到融合后的图像。本发明实施例提供的方案中，原始图像数据中包含有全通通道，进而可以获得全通通道图像，由于全通通道图像在感光度上的优势，将全通通道图像与RGB图像进行融合得到的融合图像具有信噪比高、清晰度高的优点，因此，本发明实施例提供的方案可以得到质量较好的清晰图像。
另外，本发明实施例利用一个图像传感器获得可见光图像，并从可见光图像获得全分辨率的RGB图像和全分辨率的全通通道图像，然后将所获得的RGB图像和全通通道图像融合，从而获得清晰度较高的目标图像，所以在夜晚等环境光照强度较弱的情况下，不需要额外利用红外光进行补光，本发明实施例所提供的方案也可以得到质量较好的清晰图像。
参见图5、图7、图9所示的生成全分辨率的全通通道图像和RGB图像的处理框图，其中，图5和图7对应于原始图像数据中包含两种色彩通道数据时的处理框图，图9对应于原始图像数据中包含三种色彩通道数据时的处理框图。
在图5、图7、图9所示的处理框图中，对于生成全分辨率的全通通道图像的步骤，均是通过对原始全通通道数据进行插值处理，从而得到全分辨率的全通通道图像。
对于生成全分辨率的RGB通道图像的步骤，在图5所示处理框图中，首先对原始第一色彩通道数据和原始第二色彩通道数据进行插值处理，然后根据插值处理后的第一色彩通道图像、第二色彩通道图像和全通通道图像，对所缺失的第三色彩通道数据进行补足，从而得到全分辨率的RGB图像；在图7所示处理框图中，首先对原始图像数据中所缺失的第三种色彩通道数据进行补足，然后对原始第一色彩通道数据、原始第二色彩通道数据以及补足后得到的第三色彩通道数据分别进行差值处理，从而得到全分辨率的RGB图像。
在图9所示处理框图中，由于原始图像数据中已经存在三种色彩通道数据，因此不需要进行色彩通道补足处理，直接对三种色彩通道数据进行差值处理，即可得到全分辨率的RGB图像，可选的，在对三种色彩通道数据进行差值处理进行插值处理时，也可参考全通通道数据。
在对缺失的色彩通道进行补足时，从已知的原始色彩通道数据以及原始全通通道数据补足缺失的色彩通道，可以保证准确的色彩还原。在对色彩通道进行插值时，需要参考原始全通通道数据的信息，以使插值更为准确，生成的RGB色彩图像具有丰富的图像细节。
下面通过图5、图7、图9所示的处理框图，分别针对原始图像数据中包含RGB色彩通道中的两种色彩通道数据、三种色彩通道数据这两种情况，对上述根据原始图像数据，生成全分辨率的RGB图像的步骤进行详细说明。
对于第一种情况，原始图像数据为：包含全通通道和原始第一色彩通道数据、原始第二色彩通道数据，其中，原始第一色彩通道数据和原始第二色彩通道数据为RGB色彩通道中的两种色彩通道的图像数据，也就是说：原始图像数据中除了包含有全通通道数据外，仅还包含有R通道数据、G通道数据以及B通道数据中的两种通道数据，如原始图像数据包含R通道数据和G通道数据，但不包含B通道数据，再如原始图像数据包含R通道数据和B通道数据，但不包含G通道数据，又如原始图像数据包含G通道数据和B通道数据，但不包含R通道数据。可以理解，在此情况下，需要补足所缺失的色彩通道，以保证准确的色彩还原。
作为本发明实施例的第一种可选实现方式，如图5所示的处理框图，在原始图像数据中存在色彩通道缺失的情况下，上述基于原始图像数据，生成全分辨率的RGB图像的步骤，可以包括下述步骤a1和a2：
步骤a1：针对原始第一色彩通道数据和原始第二色彩通道数据分别进行插值处理，得到全分辨率的第一色彩通道图像和第二色彩通道图像。
在一种实现方式中，以原始第一色彩通道数据为例，可以对原始第一色彩通道数据进行插值处理，确定出原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第一色彩通道图像。其中，所采用的内插算法可以是双线性插值方法、双三次插值插值方法等。
示例性的，该原始图像数据为RCCG图像传感器所成像获得的，则第一色彩通道和第二色彩通道分别为R通道和G通道，所缺失的第三色彩通道为B通道。则此时，步骤a1需要针对对原始图像数据中的R通道和G通道分别进行内插处理，得到全分辨率的R通道图像和全分辨率的G通道图像。
以图6为例，图6表示R通道的内插处理示意图，内插处理前，图6右侧阵列中带有五星标记的像素不具有R通道值，则内插处理时，该带有五星标记的像素的R通道值为其3×3邻域中所有R通道值的平均值。
在另一种实现方式中，以原始第一色彩通道数据为例，还可以基于原始全通通道数据以及原始第一色彩通道数据和原始第二色彩通道数据，对原始第一色彩通道数据进行插值处理，得到全分辨率的第一色彩通道数据图像。可以理解的，在对任一RGB色彩通道数据进行插值处理时，不仅参考该RGB色彩全通通道数据，还参考原始图像数据中的其它RGB色彩通道数据以及全通道通道数据，可以提高插值效果，得到质量更好的第一色彩通道数据图像和第二色彩通道数据图像。
具体的，针对原始第一色彩通道数据，可以基于原始第一色彩通道数据和第二权值，对原始第一色彩通道数据进行插值处理，得到第一色彩通道数据图像，其中，第二权值为：根据原始全通通道数据以及原始第二色彩通道数据确定的。
示例性的，对每一种RGB色彩通道而言，针对该通道的空洞像素点，首先根据该空洞像素点的预定邻域中所有像素点在原始图像数据中所存在的另一种RGB色彩通道数据以及原始全通道通道数据确定第二权值，然后根据所确定的第二权值计算该空洞像素点的预定邻域中所有像素的通道值的平均值，并将该平均值作为该空洞像素点的通道值。
步骤a2：根据全通通道图像、第一色彩通道图像和第二色彩通道图像，确定全分辨率的第三色彩通道图像，进而得到全分辨率的RGB图像。
对于原始图像数据中未包含的第三色彩通道图像，每一个像素点在第三色彩通道图像上的通道值，可以利用原始全通通道图像以及第一色彩通道图像、第二色彩通道图像中与该像素点相同位置的像素点所分别具有的通道值计算获得，本发明实施例并不限定该步骤a2的具体实现方式。
作为本发明实施例中步骤a2的一种具体实现方式，上述根据全通通道图像、第一色彩通道图像和第二色彩通道图像，确定全分辨率的第三色彩通道图像，进而得到全分辨率的RGB图像的步骤，可以包括：
按照预定公式计算第三色彩通道图像中任一像素点的通道值，预定公式为：
S1＝[C1-(S2+S3-α)*K1+β]*K2；
式中，S1表示第三色彩通道图像中任一像素点的通道值，C1、S2及S3分别对应表示全通通道图像、第一色彩通道图像和第二色彩通道图像中与该任一像素点在同一位置的像素点的通道值；α、β、K1以及K2均为预设的常量值。
上述α、β、K1以及K2均为预设的常量值，本发明实施例并不限定α、β、K1以及K2的具体取值，本领域技术人员可以根据需要设定，例如，预先设定α、β、K1以及K2的取值分别为0、0、1以及1。
示例性的，上述S1、S2及S3分别为B通道值、R通道值以及G通道值，则需要补齐B通道的通道数据，此时上述预定公式可以为：
B＝[C-(R+G-α)*K1+β]*K2；
其中，B代表某一像素的B通道的通道值，C代表该像素在全通通道图像中的通道值，R代表该像素在R通道图像中的通道值，G代表该像素在G通道图像中的通道值。
作为本发明实施例的第二种可选实现方式，如图7所示的处理框图，在原始图像数据中存在色彩通道缺失的情况下，上述基于原始图像数据，生成全分辨率的RGB图像的步骤，可以包括下述步骤b1和b2：
步骤b1：根据原始图像数据，确定第三色彩通道数据。
在一种实现方式中，可以针对原始图像数据中每个包含有全通通道值的像素点，基于该像素点的全通通道值以及该像素点的预设邻域中各个像素点的第一色彩通道的通道值和第二色彩通道的通道值，计算该像素的第三色彩通道的通道值。
与前述预定邻域的概念相同的是，像素点的预设邻域是指以该像素点为中心，预设范围内的像素集合，例如，像素的3×3邻域。以图8为例，图8中位于阵列中心的像素点所具有的通道值为C通道值，显然的，上述第一色彩通道值和第二色彩通道分别为R通道值以及G通道值，第三色彩通道值为B通道值，假设该预设邻域为3×3邻域，则对于图8中位于阵列中心的像素的B通道值，可以根据该像素的C通道值、图8中的两个R通道值以及两个G通道值计算获得。
本发明实施例中计算像素的第三色彩通道值的具体实现方式是多种多样的，本发明实施例在此并不限定。作为本发明实施例的一种可选实现方式，上述针对原始图像数据中每个包含有全通通道值的像素，基于该像素的全通通道值以及该像素的预设邻域中各个像素的第一色彩通道值和第二色彩通道值，计算该像素的第三色彩通道值的步骤，可以包括：
将全通通道数据中的非空洞像素点，确定为第三色彩通道数据中的非空洞像素点，进而，确定第三色彩通道数据中的任一非空洞像素点的通道值，其中，任一非空洞像素点的通道值是根据原始全通通道数据中与该任一非空洞像素点在同一位置的像素点的通道值、原始第一色彩通道数据中与该任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值、以及第二色彩通道数据中与该任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值确定的。
具体的，针对原始图像数据中每个包含有全通通道值的像素点，按照如下公式计算该像素的第三色彩通道值：
S4＝[C2-(S5+S6-α)*K1+β]*K2；
式中，S4表示第三色彩通道数据中的任一非空洞像素点的通道值，C2表示原始全通通道数据中与任一非空洞像素点在同一位置的像素点的通道值，S5表示原始第一色彩通道数据中与任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值，S6表示第二色彩通道数据中与任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值；α、β、K1以及K2均为预设的常量值。
可以理解的是，第三色彩通道值的种类属于R通道值、G通道值以及B通道值的任意一种，但第一色彩通道值和第二色彩通道值的种类包括有两种，故上述S5及S6分别对应着第一色彩通道值和第二色彩通道值，例如当第三色彩通道值的种类属于R通道值时，第一色彩通道值和第二色彩通道值的种类分别为G通道值以及B通道值，则S5可以表示该像素点的预设邻域中各个像素的G通道值的平均值，S6可以表示该像素点的预设邻域中各个像素点的B通道值的平均值。
同样的，上述α、β、K1以及K2均为预设的常量值，本发明实施例并不限定α、β、K1以及K2的具体取值，本领域技术人员可以根据需要设定，例如，预先设定α、β、K1以及K2的取值分别为0、0、1以及1。
针对此实现方式，以图8中所示阵列中心的目标像素点为例，假设该预设邻域为3×3邻域，则上述S4表示该目标像素点的B通道值，C2表示该目标像素点的C通道值，S5可以表示图7中所示的两个G通道值的平均值，S6可以表示图7中所示的两个R通道值的平均值。
步骤b2：对原始第一色彩通道数据、原始第二色彩通道数据和第三色彩通道数据分别进行插值处理，得到全分辨率的RGB图像。
图像采集设备执行步骤b1后，原始图像数据中包含有R通道、G通道以及B通道，所以可以对原始图像数据中的R通道、G通道以及B通道分别进行插值处理，得到全分辨率的RGB图像。
在一种实现方式中，对于原始第一色彩通道数据、原始第二色彩通道数据和第三色彩通道数据共三种RGB色彩通道数据，针对每一种RGB色彩通道，可以基于该RGB色彩通道数据，对该RGB色彩通道数据进行插值处理，从而得到全分辨率的RGB图像。
具体的，可以针对每一种RGB色彩通道，基于该RGB色彩通道数据，对该RGB色彩通道数据采用内插算法进行插值处理，得到该色彩通道对应的全分辨率图像。其中，所采用的内插算法可以是双线性插值方法、双三次插值插值方法等。
在另一种实现方式中，还可以针对每一种RGB色彩通道，基于原始图像数据的全通通道数据以及另两种RGB色彩通道数据，对该RGB色彩通道进行插值处理，得到包含三种RGB色彩通道的全分辨率的RGB图像。可以理解的，在对任一RGB色彩通道数据进行插值处理时，不仅参考该RGB色彩通道数据，还参考其它RGB色彩通道数据以及全通道通道数据，可以提高插值效果，得到质量更好的包含三种RGB色彩通道的全分辨率的RGB图像。
具体的，可以针对每一种RGB色彩通道，基于原始图像数据中该RGB色彩通道数据和第四权值，对该色彩通道数据进行插值处理，得到包含三种RGB色彩通道的全分辨率的RGB图像，其中，第四权值为：根据原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据确定的。
示例性的，对每一种RGB色彩通道而言，针对该通道的空洞像素点，首先根据该空洞像素点的预定邻域中所有像素点的另两种RGB色彩通道数据以及全通道通道数据确定第四权值，然后根据所确定的第三权值计算该像素的预定邻域中所有像素点的通道值的平均值，并将该平均值作为该像素的通道值，进而全分辨率的RGB图像。
需要说明的是，前述两种本发明实施例的可选实现方式中，都利用了全通通道数据来补足原始图像数据中缺失的色彩通道数据，进而完成所有色彩通道的插值处理，保证了色彩通道插值的准确度，使得生成的全分辨率的RGB图像具有丰富的图像细节。
对于第二种情况，原始图像数据可以为：包含全通通道和RGB色彩通道中的三种色彩通道的图像数据，如该原始图像数据为RGBW图像传感器成像获得的图像数据，则，如图9所示的处理框图，上述基于原始图像数据，生成全分辨率的RGB图像的步骤，可以为：
针对原始图像数据中所存在的三种色彩通道分别进行插值处理，得到包含三种RGB色彩通道的全分辨率的RGB图像。
具体的，在一种实现方式中，可以针对原始图像数据中所存在的每一种RGB色彩通道，基于该RGB色彩通道数据，对该RGB色彩通道数据进行插值处理，得到包含三种RGB色彩通道的全分辨率的RGB图像。
可以理解的是，针对原始图像数据中所存在的每一种RGB色彩通道，基于该RGB色彩通道数据，对该RGB色彩通道数据进行插值处理的步骤，具体可以为：针对原始图像数据中所存在的每一种RGB色彩通道，基于该RGB色彩通道数据，对该RGB色彩通道数据采用内插算法进行插值处理，得到包含三种RGB色彩通道的全分辨率的RGB图像。其中，所采用的内插算法可以是双线性插值方法、双三次插值插值方法等。
在另一种实现方式中，还可以针对原始图像数据中所存在的每一种RGB色彩通道，基于原始图像数据的全通通道数据以及原始图像数据中所存在的RGB色彩通道数据，对该RGB色彩通道进行插值处理，得到包含三种RGB色彩通道的全分辨率的RGB图像。可以理解的，在对任一RGB色彩通道数据进行插值处理时，不仅参考该RGB色彩全通通道数据，还参考原始图像数据中的其它RGB色彩通道数据以及全通道通道数据，可以提高插值效果，得到质量更好的包含三种RGB色彩通道的全分辨率的RGB图像。
具体的，可以针对原始图像数据中所存在的每一种RGB色彩通道，基于原始图像数据中该RGB色彩通道数据和第三权值，对原始图像数据的该色彩通道数据进行插值处理，得到包含三种RGB色彩通道的全分辨率的RGB图像，其中，第三权值为：根据原始图像数据中全通通道数据以及原始图像数据中所存在的另两种RGB色彩通道数据确定的。
示例性的，对每一种RGB色彩通道而言，针对原始图像中该通道的空洞像素点，首先根据该空洞像素点的预定邻域中所有像素点的另两种RGB色彩通道数据以及全通道通道数据确定第三权值，然后根据所确定的第三权值计算该空洞像素点的预定邻域中所有通道值的平均值，并将该平均值作为该空洞像素点的通道值，进而得到包含三种RGB色彩通道的全分辨率的RGB图像。
相应于图1所示方法实施例，本发明实施例还提供了一种图像处理装置，如图10所示，所述装置包括：
获得模块110，用于获得图像采集设备采集的原始图像数据；其中，所述原始图像数据至少包括原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据，任一通道数据均具有空洞像素点，所述第一色彩通道和所述第二色彩通道为R、G、B色彩通道中的其中两种；
生成模块120，用于基于所述原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；
融合模块130，用于将所述全通通道图像与所述RGB图像进行融合，得到融合后的图像。
一种实现方式中，所述生成模块120，包括：
全通通道图像生成子模块121，用于对所述原始全通通道数据进行插值处理，得到所述全分辨率的全通通道图像。
一种实现方式中，所述全通通道图像生成子模块121，具体用于：
对所述原始全通通道数据进行内插插值处理，确定出所述原始全通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的全通通道图像。
一种实现方式中，所述全通通道图像生成子模块121，具体用于：
根据所述原始第一色彩通道数据和所述原始第二色彩通道数据，确定第一权值；
根据所述原始全通通道数据和所述第一权值，对所述原始全通通道数据进行插值处理，确定出所述原始全通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的全通通道图像。
一种实现方式中，所述生成模块120，包括：第一RGB图像生成子模块122，用于：
对所述原始第一色彩通道数据进行插值处理，得到全分辨率的第一色彩通道图像；
对所述原始第二色彩通道数据进行插值处理，得到全分辨率的第二色彩通道图像；
根据所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像，确定全分辨率的第三色彩通道图像，所述第三色彩通道为所述R、G、B色彩通道中除所述第一色彩通道和所述第二色彩通道之外的一个色彩通道；
根据所述第一色彩通道图像、所述第二色彩通道图像和所述第三色彩通道图像，得到所述全分辨率的RGB图像。
一种实现方式中，所述第一RGB图像生成子模块122对所述原始第一色彩通道数据进行插值处理，得到全分辨率的第一色彩通道图像，具体为：
对所述原始第一色彩通道数据进行内插插值处理，确定出所述原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第一色彩通道图像；或者，
根据所述原始全通通道数据和所述原始第二色彩通道数据，确定第二权值；根据所述第二权值和所述原始第一色彩通道数据，对所述原始第一色彩通道数据进行插值处理，确定出所述原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第一色彩通道图像。
一种实现方式中，所述第一RGB图像生成子模块122对所述原始第二色彩通道数据进行插值处理，得到全分辨率的第二色彩通道图像，具体为：
对所述原始第二色彩通道数据进行内插插值处理，确定出所述原始第二色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第二色彩通道图像；或者，
根据所述原始全通通道数据和所述原始第一色彩通道数据，确定第三权值，根据所述第三权值和所述原始第二色彩通道数据，对所述原始第二色彩通道数据进行插值处理，确定出所述原始第二色彩通道数据中的各个空洞像素点处的通道值，进而得到所述全分辨率的第二色彩通道图像。
一种实现方式中，所述第一RGB图像生成子模块122根据所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像，确定全分辨率的第三色彩通道图像，具体为：
确定所述全分辨率的第三色彩通道图像中任一像素点的通道值，进而得到全分辨率的第三色彩通道图像；其中，所述任一像素点的通道值，是根据所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像中与所述任一像素点在同一位置的像素点的通道值确定的。
一种实现方式中，通过以下公式确定第三色彩通道图像中任一像素点的通道值：
S1＝[C1-(S2+S3-α)*K1+β]*K2；
式中，S1表示所述第三色彩通道图像中任一像素点的通道值，C1、S2及S3分别对应表示所述全通通道图像、所述第一色彩通道图像和所述第二色彩通道图像中与所述任一像素点在同一位置的像素点的通道值，α、β、K1以及K2均为预设的常量值。
一种实现方式中，所述生成模块120，包括：第二RGB图像生成子模块123，用于：
根据所述原始图像数据，确定第三色彩通道数据，所述第三色彩通道为所述R、G、B色彩通道中除所述第一色彩通道和所述第二色彩通道之外的一个色彩通道；
对所述原始第一色彩通道数据、所述原始第二色彩通道数据和所述第三色彩通道数据分别进行插值处理，得到所述全分辨率的RGB图像。
一种实现方式中，所述根第二RGB图像生成子模块123根据所述原始图像数据，确定第三色彩通道数据，具体包括：
将所述全通通道数据中的非空洞像素点，确定为所述第三色彩通道数据中的非空洞像素点；
确定所述第三色彩通道数据中的任一非空洞像素点的通道值，进而得到所述第三色彩通道数据，其中所述第三色彩通道数据中的所述任一非空洞像素点的通道值，是根据所述原始全通通道数据中与所述任一非空洞像素点在同一位置的像素点的通道值、所述原始第一色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值、以及所述第二色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值确定的。
一种实现方式中，通过以下公式确定第三色彩通道数据中的任一非空洞像素点的通道值：
S4＝[C2-(S5+S6-α)*K1+β]*K2；
式中，S4表示所述第三色彩通道数据中的任一非空洞像素点的通道值，C2表示所述原始全通通道数据中与所述任一非空洞像素点在同一位置的像素点的通道值，S5表示所述原始第一色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值，S6表示所述第二色彩通道数据中与所述任一非空洞像素点在同一位置的像素点对应的预设领域中各个像素点的平均通道值；α、β、K1以及K2均为预设的常量值。
一种实现方式中，所述第二RGB图像生成子模块123对所述原始第一色彩通道数据、所述原始第二色彩通道数据和所述第三色彩通道数据分别进行插值处理，得到所述全分辨率的RGB图像，具体为：
对所述原始第一色彩通道数据进行插值处理，确定出所述原始第一色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第一色彩通道图像；
对所述原始第二色彩通道数据进行插值处理，确定出所述原始第二色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第二色彩通道图像；
对所述第三色彩通道数据进行插值处理，确定出所述第三色彩通道数据中的各个空洞像素点处的通道值，进而得到全分辨率的第三色彩通道图像；
根据所述第一色彩通道图像、所述第二色彩通道图像和所述第三色彩通道图像，得到所述全分辨率的RGB图像。
一种实现方式中，所述第二RGB图像生成子模块123对所述原始第一色彩通道数据进行插值处理具体包括：
对所述原始第一色彩通道数据进行内插插值处理；或者，根据所述原始全通通道数据、所述原始第二色彩通道数据和所述第三色彩通道数据，确定第四权值；根据所述第四权值和所述原始第一色彩通道数据，对所述原始第一色彩通道数据进行插值处理；
所述第二RGB图像生成子模块123对所述原始第二色彩通道数据进行插值处理具体包括：
对所述预设第二色彩通道数据进行内插插值处理；或者，根据所述原始全通通道数据、所述原始第一色彩通道数据和所述第三色彩通道数据，确定第五权值；根据所述第五权值和所述原始第二色彩通道数据，对所述原始第二色彩通道数据进行插值处理；
所述第二RGB图像生成子模块123对所述第三色彩通道数据进行插值处理具体包括：
对所述第三色彩通道数据进行内插插值处理；或者，根据所述原始全通通道数据、所述原始第一色彩通道数据和所述原始第二色彩通道数据，确定第六权值；根据所述第六权值和所述第三色彩通道数据，对所述第三色彩通道数据进行插值处理。
一种实现方式中，所述融合模块130，具体用于：
获取所述RGB图像中的色彩信息；
获取所述RGB图像中的第一亮度信息和所述全通通道图像中的第二亮度信息；
将所述色彩信息、所述第一亮度信息和所述第二亮度信息进行融合，得到所述融合后的图像。
本发明实施例提供的方案，可以获得图像传感器采集的包含全通通道和RGB色彩通道中的至少两种色彩通道的原始图像数据；基于原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；将全通通道图像与RGB图像进行融合，得到具有准确色彩和低照度效果好的融合图像，作为采集到的目标图像。本发明实施例提供的方案中，原始图像数据中包含有全通通道，进而可以获得全通通道图像，由于全通通道图像在感光度上的优势，将全通通道图像与RGB图像进行融合得到的融合图像具有信噪比高、清晰度高的优点，因此，本发明实施例提供的方案可以采集到质量较好的清晰图像。
相应于图1所示方法实施例，本发明实施例还提供了一种图像处理系统，如图11所示，所述系统包括：
图像采集设备210，包括至少一个图像传感器211，所述图像传感器包括全通通道的彩色滤镜阵列，所述图像传感器，用于采集原始图像数据，其中，所述原始图像数据至少包括原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据，任一通道数据均具有空洞像素点，所述第一色彩通道和所述第二色彩通道为R、G、B色彩通道中的其中两种；
图像处理设备220，用于获得所述图像采集设备采集的原始图像数据；基于所述原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；将所述全通通道图像与所述RGB图像进行融合，得到融合后的图像。
本发明实施例提供的方案中，原始图像数据中包含有全通通道，进而可以获得全通通道图像，由于全通通道图像在感光度上的优势，将全通通道图像与RGB图像进行融合得到的融合图像具有信噪比高、清晰度高的优点，因此，本发明实施例提供的方案可以采集到质量较好的清晰图像。
本发明实施例还提供了一种电子设备，如图12所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：
获得图像传感器采集的原始图像数据；其中，所述原始图像数据为：包含全通通道和RGB色彩通道中的至少两种色彩通道的图像数据；
基于所述原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；
将所述全通通道图像与所述RGB图像进行融合，得到融合图像，作为采集到的目标图像。
关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1的方法实施例，在此不做赘述。
另外，处理器301执行存储器303上所存放的程序而实现的图像处理方法的其他实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的方案，可以获得图像传感器采集的原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据的原始图像数据；基于原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；将全通通道图像与RGB图像进行融合，得到融合后的图像。本发明实施例提供的方案中，原始图像数据中包含有全通通道，进而可以获得全通通道图像，由于全通通道图像在感光度上的优势，将全通通道图像与RGB图像进行融合得到的融合图像具有信噪比高、清晰度高的优点，因此，本发明实施例提供的方案可以采集到质量较好的清晰图像。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像处理方法。
本发明实施例提供的方案，可以获得图像传感器采集的原始全通通道数据、原始第一色彩通道数据和原始第二色彩通道数据的原始图像数据；基于原始图像数据，生成全分辨率的全通通道图像和全分辨率的RGB图像；将全通通道图像与RGB图像进行融合，得到融合后的图像。本发明实施例提供的方案中，原始图像数据中包含有全通通道，进而可以获得全通通道图像，由于全通通道图像在感光度上的优势，将全通通道图像与RGB图像进行融合得到的融合图像具有信噪比高、清晰度高的优点，因此，本发明实施例提供的方案可以采集到质量较好的清晰图像。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种图像采集设备，其特征在于，所述图像采集设备包括图像传感器和图像处理器，其中：
所述图像传感器，用于采集原始图像数据，所述图像传感器为含有全通通道和两个RGB色彩通道的彩色滤镜阵列，所述全通通道的光谱感光范围比R通道、G通道以及B通道各自的光谱范围广；所述彩色滤镜阵列所包含的RGB色彩通道为R通道、G通道以及B通道三种色彩通道中的任意两种；
所述图像处理器，用于基于所述原始图像数据进行处理得到处理后的图像。
2.根据权利要求1所述的图像采集设备，其特征在于，所述图像传感器为RGBW图像传感器、RCCG图像传感器、BCCG图像传感器或RCCB图像传感器。
3.根据权利要求1所述的图像采集设备，其特征在于，所述图像传感器含有全通通道，以及R、G色彩通道的彩色滤镜阵列。
4.根据权利要求3所述的图像采集设备，其特征在于，所述图像传感器的彩色滤镜阵列为RCCG阵列，其中，所述RCCG阵列包括多个最小重复像素单元，所述最小重复像素单元包括4个感光像素，其中两个C像素呈对角线排布，G像素和R像素呈对角线排布。
5.根据权利要求1所述的图像采集设备，其特征在于，所述图像采集设备还包括可通过可见光及红外光的光学镜头。
6.根据权利要求1所述的图像采集设备，其特征在于，所述图像采集设备还包括滤光片，所述滤光片包含滤光片切换装置；
当环境照度超过预设阈值时，所述滤光片切换装置切换为过滤红外滤光片；当环境照度不超过预设阈值时，所述滤光片切换装置切换为全通滤光片。
7.根据权利要求1所述的图像采集设备，其特征在于，所述图像处理器用于：基于所述原始图像数据，通过插值计算生成全分辨率的全通通道图像和全分辨率的RGB图像；将所述全通通道图像与所述RGB图像进行合成，得到合成后的图像。
8.根据权利要求1所述的图像采集设备，其特征在于，所述图像处理器用于：
当原始图像数据中包含两种色彩通道数据时，通过对所述原始图像数据中所缺失的一种色彩通道数据进行补足，以及对补足后所述原始图像数据中所有的色彩通道数据进行插值，得到全分辨率的RGB图像；
或者，
当原始图像数据中包含两种色彩通道数据时，通过对所述原始图像数据中所存在的两种色彩通道数据进行插值，以及对所述原始图像数据中所缺失的一种色彩通道数据进行补足，得到全分辨率的RGB图像。
9.根据权利要求1所述的图像采集设备，其特征在于，所述图像处理器用于：当原始图像数据中包含三种色彩通道数据时，对所述三种色彩通道数据进行插值处理，得到全分辨率的RGB图像。
10.根据权利要求1所述的图像采集设备，其特征在于，所获得的原始图像数据中包含原始全通通道数据以及RGB色彩通道中的其中两种色彩通道数据；
所述图像处理器用于：
基于所述原始全通通道数据，对所述原始全通通道数据进行插值处理，得到全分辨率的全通通道图像；
或者，
基于所述原始全通通道数据以及RGB色彩通道中的其中两种色彩通道数据，对所述原始全通通道数据进行插值处理，得到全分辨率的全通通道图像。
CN202210094591.8A 2018-08-03 2018-08-03 一种图像采集设备 Pending CN114422766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210094591.8A CN114422766A (zh) 2018-08-03 2018-08-03 一种图像采集设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210094591.8A CN114422766A (zh) 2018-08-03 2018-08-03 一种图像采集设备
CN201810875810.XA CN110493583B (zh) 2018-08-03 2018-08-03 图像处理方法、装置、电子设备及计算机可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810875810.XA Division CN110493583B (zh) 2018-08-03 2018-08-03 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114422766A true CN114422766A (zh) 2022-04-29

Family

ID=68545492

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210094591.8A Pending CN114422766A (zh) 2018-08-03 2018-08-03 一种图像采集设备
CN201810875810.XA Active CN110493583B (zh) 2018-08-03 2018-08-03 图像处理方法、装置、电子设备及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810875810.XA Active CN110493583B (zh) 2018-08-03 2018-08-03 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (2) CN114422766A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062378B (zh) * 2019-12-23 2021-01-26 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
WO2022027469A1 (zh) * 2020-08-06 2022-02-10 深圳市汇顶科技股份有限公司 图像处理方法、装置和存储介质
CN111861964A (zh) * 2020-08-06 2020-10-30 深圳市汇顶科技股份有限公司 图像处理方法、装置和存储介质
CN112016478B (zh) * 2020-08-31 2024-04-16 中国电子科技集团公司第三研究所 一种基于多光谱图像融合的复杂场景识别方法及系统
CN112351172B (zh) * 2020-10-26 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN112261391B (zh) * 2020-10-26 2022-01-04 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN112738493B (zh) * 2020-12-28 2023-03-14 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060158537A1 (en) * 2003-09-04 2006-07-20 Olympus Corporation Imaging apparatus
US20080112612A1 (en) * 2006-11-10 2008-05-15 Adams James E Noise reduction of panchromatic and color image
CN101375610A (zh) * 2006-01-27 2009-02-25 伊斯曼柯达公司 全色与彩色像素的插值
US20090167893A1 (en) * 2007-03-05 2009-07-02 Fotonation Vision Limited RGBW Sensor Array
JP2009253439A (ja) * 2008-04-02 2009-10-29 Fujifilm Corp 撮像装置
US20100265370A1 (en) * 2009-04-15 2010-10-21 Mrityunjay Kumar Producing full-color image with reduced motion blur
US20100302418A1 (en) * 2009-05-28 2010-12-02 Adams Jr James E Four-channel color filter array interpolation
CN102369721A (zh) * 2009-03-10 2012-03-07 美商豪威科技股份有限公司 具有合成全色图像的彩色滤光器阵列(cfa)图像
CN102461174A (zh) * 2009-06-05 2012-05-16 全视科技有限公司 具有四个通道的滤色器阵列图案
CN102461175A (zh) * 2009-06-09 2012-05-16 全视科技有限公司 用于四通道彩色滤光片阵列的内插
CN102484721A (zh) * 2009-05-27 2012-05-30 美商豪威科技股份有限公司 四通道滤色片阵列图案
US20130328834A1 (en) * 2012-06-06 2013-12-12 Aptina Imaging Corporation Imaging systems and methods for user input detection
CN103888672A (zh) * 2014-03-31 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
CN104170376A (zh) * 2012-03-27 2014-11-26 索尼公司 图像处理设备、成像装置、图像处理方法及程序
US20150015750A1 (en) * 2013-07-15 2015-01-15 Aptina Imaging Corporation Method and apparatus for image flare mitigation
CN104350744A (zh) * 2012-06-07 2015-02-11 三星泰科威株式会社 具有多光谱滤光器阵列的相机系统及其图像处理方法
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
WO2016026072A1 (en) * 2014-08-18 2016-02-25 Nokia Technologies Oy Method, apparatus and computer program product for generation of extended dynamic range color images
US20160080706A1 (en) * 2013-04-17 2016-03-17 Photonis France Device for acquiring bimodal images
CN105847772A (zh) * 2012-03-19 2016-08-10 普廷数码影像控股公司 具有透明滤波器像素的成像系统
US9654756B1 (en) * 2015-11-16 2017-05-16 Motorola Mobility Llc Method and apparatus for interpolating pixel colors from color and panchromatic channels to color channels
US20170180683A1 (en) * 2015-12-22 2017-06-22 Samsung Electronics Co., Ltd. Method and apparatus for outputting images
EP3301911A1 (en) * 2016-09-29 2018-04-04 Conti Temic microelectronic GmbH Device for white balance correction
WO2018077357A1 (de) * 2016-10-28 2018-05-03 Conti Temic Microelectronic Gmbh Bildsensor mit einem für pixelbinning geeigneten farbfilter
JP2018093480A (ja) * 2016-11-25 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、駆動方法、および電子機器
CN112104847A (zh) * 2020-09-17 2020-12-18 北京理工大学 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392699B1 (en) * 1998-03-04 2002-05-21 Intel Corporation Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
CN105070270B (zh) * 2015-09-14 2017-10-17 深圳市华星光电技术有限公司 Rgbw面板子像素的补偿方法及装置
CN108024106B (zh) * 2016-11-04 2019-08-23 上海富瀚微电子股份有限公司 支持rgbir和rgbw格式的颜色校正装置及方法

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060158537A1 (en) * 2003-09-04 2006-07-20 Olympus Corporation Imaging apparatus
CN101375610A (zh) * 2006-01-27 2009-02-25 伊斯曼柯达公司 全色与彩色像素的插值
US20080112612A1 (en) * 2006-11-10 2008-05-15 Adams James E Noise reduction of panchromatic and color image
US20090167893A1 (en) * 2007-03-05 2009-07-02 Fotonation Vision Limited RGBW Sensor Array
JP2009253439A (ja) * 2008-04-02 2009-10-29 Fujifilm Corp 撮像装置
CN102369721A (zh) * 2009-03-10 2012-03-07 美商豪威科技股份有限公司 具有合成全色图像的彩色滤光器阵列(cfa)图像
US20100265370A1 (en) * 2009-04-15 2010-10-21 Mrityunjay Kumar Producing full-color image with reduced motion blur
CN102484721A (zh) * 2009-05-27 2012-05-30 美商豪威科技股份有限公司 四通道滤色片阵列图案
US20100302418A1 (en) * 2009-05-28 2010-12-02 Adams Jr James E Four-channel color filter array interpolation
CN102461174A (zh) * 2009-06-05 2012-05-16 全视科技有限公司 具有四个通道的滤色器阵列图案
CN102461175A (zh) * 2009-06-09 2012-05-16 全视科技有限公司 用于四通道彩色滤光片阵列的内插
CN105847772A (zh) * 2012-03-19 2016-08-10 普廷数码影像控股公司 具有透明滤波器像素的成像系统
CN104170376A (zh) * 2012-03-27 2014-11-26 索尼公司 图像处理设备、成像装置、图像处理方法及程序
US20130328834A1 (en) * 2012-06-06 2013-12-12 Aptina Imaging Corporation Imaging systems and methods for user input detection
CN104350744A (zh) * 2012-06-07 2015-02-11 三星泰科威株式会社 具有多光谱滤光器阵列的相机系统及其图像处理方法
US20160080706A1 (en) * 2013-04-17 2016-03-17 Photonis France Device for acquiring bimodal images
US20150015750A1 (en) * 2013-07-15 2015-01-15 Aptina Imaging Corporation Method and apparatus for image flare mitigation
CN103888672A (zh) * 2014-03-31 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
WO2015149583A1 (zh) * 2014-03-31 2015-10-08 宇龙计算机通信科技(深圳)有限公司 一种终端及终端拍摄方法
WO2016026072A1 (en) * 2014-08-18 2016-02-25 Nokia Technologies Oy Method, apparatus and computer program product for generation of extended dynamic range color images
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
US9654756B1 (en) * 2015-11-16 2017-05-16 Motorola Mobility Llc Method and apparatus for interpolating pixel colors from color and panchromatic channels to color channels
US20170180683A1 (en) * 2015-12-22 2017-06-22 Samsung Electronics Co., Ltd. Method and apparatus for outputting images
EP3301911A1 (en) * 2016-09-29 2018-04-04 Conti Temic microelectronic GmbH Device for white balance correction
WO2018077357A1 (de) * 2016-10-28 2018-05-03 Conti Temic Microelectronic Gmbh Bildsensor mit einem für pixelbinning geeigneten farbfilter
JP2018093480A (ja) * 2016-11-25 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、駆動方法、および電子機器
CN112104847A (zh) * 2020-09-17 2020-12-18 北京理工大学 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"安森美半导体的全局快门图像传感器解决机器视觉的成像需求", 传感器世界, no. 10, 25 October 2016 (2016-10-25) *

Also Published As

Publication number Publication date
CN110493583B (zh) 2021-12-17
CN110493583A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110493583B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
EP3582490B1 (en) Image fusion apparatus and image fusion method
US11526969B2 (en) Multi-spectrum-based image fusion apparatus and method, and image sensor
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
US9013611B1 (en) Method and device for generating a digital image based upon a selected set of chrominance groups
JP6096243B2 (ja) 画像データの処理方法およびシステム
TWI428025B (zh) Image processing apparatus and image processing method, image capturing apparatus and computer program product
KR20170074602A (ko) 영상 출력 장치 및 영상 출력 방법
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
CN113676675B (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像系统
WO2020119505A1 (zh) 一种图像处理方法和系统
US20150256800A1 (en) Signal processing device, signal processing method, and signal processing program
CN112291479B (zh) 图像处理模组、图像处理方法、摄像头组件及移动终端
WO2007148576A1 (ja) 撮像システム及び撮像プログラム
CN108307162B (zh) 高效灵活的色彩处理器
Garud et al. A fast color constancy scheme for automobile video cameras
KR20070099238A (ko) 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
JP4320720B2 (ja) 撮像装置
JP2013219452A (ja) 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置
US20070046787A1 (en) Chrominance filter for white balance statistics
JP2009147762A (ja) 画像処理装置、画像処理方法、プログラム
JP4725052B2 (ja) 撮像装置
JP2005086630A (ja) 撮像装置
JP3976562B2 (ja) 色補正マトリクス決定方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination