CN113168669B - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

图像处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113168669B
CN113168669B CN201880096814.6A CN201880096814A CN113168669B CN 113168669 B CN113168669 B CN 113168669B CN 201880096814 A CN201880096814 A CN 201880096814A CN 113168669 B CN113168669 B CN 113168669B
Authority
CN
China
Prior art keywords
image
pixel
edge detection
detection result
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880096814.6A
Other languages
English (en)
Other versions
CN113168669A (zh
Inventor
孙岳
范庆杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Publication of CN113168669A publication Critical patent/CN113168669A/zh
Application granted granted Critical
Publication of CN113168669B publication Critical patent/CN113168669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请实施例提供的图像处理方法、装置、电子设备及可读存储介质，基于各像素点的边缘检测结果，依次复原得到IR分量图像与RGB分量图像；在复原彩色分量时，首先复原分辨率更高、信息更全的G分量，其次复原R、B分量，使得复原后的彩色图像有更高的精度与图像清晰度。

Description

图像处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
常规的彩色图像传感器采用Bayer格式，主要由R、G、B三种感光单元组成。但是由于R、G、B感光单元除了感应可见光波段信息外，还会感应部分红外光波段的信息，使得直接采用原始R、G、B像素值复原得到的彩色图像存在偏色问题。常规的解决方案是在传感器进光路上增加一个IR-CUT切换装置，当相机运行在彩色模式时，IR-CUT切为红外截止滤波片，防止环境中的红外光进入相机被传感器采集，从而避免了彩色图像偏色的问题。该方法的缺点是，摄像机需要增加一个可切换的IR-CUT设备，该设备除了占用摄像机内部空间、增加能耗之外，还存在切换故障隐患，增加摄像机制造与维护成本。
参照图1，在常规的RGB彩色图像传感器基础上，将部分彩色感光单元替换为IR感光单元，且IR单元在红外波段的光谱分布与RGB单元接近，形成了RGB-IR图像传感器。利用RGB-IR传感器，配合特定的图像插值算法，可以计算出传感器阵列中所有彩色RGB感光单元接受到的红外光成分，将其扣除后可以复原得到不偏色的彩色图像。因此，RGB-IR传感器成为一种替代IR-CUT切换装置的理想方案。除此之外，通过单一一块的RGB-IR传感器，可以同时得到相同场景的可见光图像与红外图像，结合特定的图像算法处理，通过将红外图像信息融入原始可见光图像中，可以得到成像质量更高的彩色融合图像。目前该方案已经应用在一些如低照、雾霾等可见光成像恶劣的场景中。
当前常见的RGB-IR图像传感器的像素排列方式主要有两种设计方案。请参照图2，第一种方案，是基于2×2像素点阵列排列而成，每个2×2像素点阵列分别由一个R、G、B、IR像素组成，即传感器阵列中各像素单元的数量比为R:G:B:IR＝1:1:1:1；该设计相当于是在常规彩色Bayer格式基础上，将一半的G像素用IR像素代替，由于彩色RGB图像的清晰度主要由G分量的清晰度决定的，因此G分量的减少必然导致彩色图像清晰度明显降低。请参照图3，第二种方案，是基于4×4像素点阵列排列而成，在该传感器阵列中各像素单元的数量比为R:G:B:IR＝1:4:1:2；该设计保证了G分量的分辨率与清晰度与常规彩色Bayer格式基本一致。相对而言，无论是在彩色图像清晰度方面，还是在高频区因采样率不足导致的伪彩问题方面，第二种方案普遍优于第一种方案。因此，基于4×4像素点阵列设计的RGB-IR图像传感器得到越来越多的推广和应用。
除了上述传感器本身的设计之外，与传感器阵列相匹配的图像插值算法也是决定最终成像效果的关键因素。当前应用于4×4像素点阵列设计的RGB-IR图像传感器的插值算法，至少在图像清晰度方面还存在不足，仍然有较大的提升空间。
发明内容
有鉴于此，本申请实施例提供一种图像处理方法、装置、电子设备及可读存储介质。
第一方面，本申请实施例提供一种图像处理方法，用于对RGB-IR图像传感器采集的第一图像进行处理，其中，RGB-IR图像传感器包括4×4的像素点阵列，所述方法包括：
对所述第一图像进行边缘检测，得到第一图像中各像素点的边缘检测结果；
根据所述第一图像及各像素点的边缘检测结果得到第二图像，其中，所述第二图像为所述第一图像对应的IR分量图像；
将所述第一图像减去所述第二图像得到可见光成像的第三图像；
根据所述第三图像及各像素点的边缘检测结果得到G分量的第四图像；
根据所述第三图像、第四图像及各像素点的边缘检测结果得到包括R、G、B分量的第五图像。
可选地，在本实施例中，对所述第一图像进行边缘检测，得到第一图像中各像素点的边缘检测结果，包括：
采用预先定义的水平、垂直、正对角线、反对角线四个方向的边缘检测算子对所述第一图像进行处理，得到所述第一图像中各个像素点在四个方向上的变化率；
根据各个像素点在四个方向上的变化率得到各像素点的边缘检测结果。
可选地，在本实施例中，根据各个像素点在四个方向上的变化率得到各像素点的边缘检测结果，包括：
根据各个像素点在四个方向上的变化率计算各像素点在水平与垂直方向、及正对角线与反对角线方向的边缘检测结果；
对计算得到的边缘检测结果进行平滑滤波处理，得到各像素点的边缘检测结果。
可选地，在本实施例中，根据所述第一图像及各像素点的边缘检测结果得到第二图像，包括：
将所述第一图像中IR像素点的IR像素值转移到与该第一图像同尺寸图像对应的位置；
恢复所述第一图像中G像素点位置处的IR像素值，并将恢复的G像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第一图像中R、B像素点位置处的IR像素值，并将恢复的R、B像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置，在与该第一图像同尺寸图像上得到包括完整IR像素值的第二图像。
可选地，在本实施例中，根据所述第三图像及各像素点的边缘检测结果得到G分量的第四图像，包括：
将所述第三图像中G像素点的G像素值转移到与该第三图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第一图像中R、B、IR像素点位置处的G像素值，并将恢复的R、B、IR像素点位置处的G像素值转移到与该第三图像同尺寸图像对应的位置，在与该第三图像同尺寸图像上得到包括完整G像素值的第四图像。
可选地，在本实施例中，根据所述第三图像、第四图像及各像素点的边缘检测结果得到包括R、G、B分量的第五图像，包括：
将所述第四图像中各像素点的G像素值转移到与该第四图像同尺寸图像对应的位置；
将所述第三图像中各像素点的R像素值和B像素值转移到与该第四图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第三图像中R像素点对应的B像素值，及所述第三图像中B像素点对应的R像素值，并将恢复的B像素值及R像素值转移到与该第四图像同尺寸图像对应的位置；
恢复所述第三图像中G像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第三图像中IR像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置，在与该第四图像同尺寸图像上得到包括完整R、G、B分量的第五图像。
可选地，在本实施例中，对所述第五图像进行去伪彩处理的步骤，该步骤包括：
将所述第五图像转换到亮度与色度分离的颜色空间；
对色度分量进行分析，确定目标处理区域；
对所述目标处理区域的色度分量进行衰减；
将亮度分量与衰减后的色度分量进行色域转换，得到去伪彩处理后的RGB图像。
第二方面，本申请实施例还提供一种图像处理装置，所述装置用于对RGB-IR图像传感器采集的第一图像进行处理，其中，RGB-IR图像传感器包括4×4的像素点阵列，所述装置包括：
边缘检测模块，配置成对所述第一图像进行边缘检测，得到第一图像中各像素点的边缘检测结果；
IR分量图像获得模块，配置成根据所述第一图像及各像素点的边缘检测结果得到第二图像，其中，所述第二图像为所述第一图像对应的IR分量图像；
可见光成像图像获得模块，配置成将所述第一图像减去所述第二图像得到可见光成像的第三图像；
G分量图像获得模块，配置成根据所述第三图像及各像素点的边缘检测结果得到G分量的第四图像；
RGB图像获得模块，配置成根据所述第三图像、第四图像及各像素点的边缘检测结果得到包括R、G、B分量的第五图像。
可选地，在本实施例中，所述边缘检测模块配置成：
采用预先定义的水平、垂直、正对角线、反对角线四个方向的边缘检测算子对所述第一图像进行处理，得到所述第一图像中各个像素点在四个方向上的变化率；
根据各个像素点在四个方向上的变化率得到各像素点的边缘检测结果。
可选地，在本实施例中，所述边缘检测模块具体配置成：
根据各个像素点在四个方向上的变化率计算各像素点在水平与垂直方向、及正对角线与反对角线方向的边缘检测结果；
对计算得到的边缘检测结果进行平滑滤波处理，得到各像素点的边缘检测结果。
可选地，在本实施例中，IR分量图像获得模块配置成：
将所述第一图像中IR像素点的IR像素值转移到与该第一图像同尺寸图像对应的位置；
恢复所述第一图像中G像素点位置处的IR像素值，并将恢复的G像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第一图像中R、B像素点位置处的IR像素值，并将恢复的R、B像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置，在与该第一图像同尺寸图像上得到包括完整IR像素值的第二图像。
可选地，在本实施例中，G分量图像获得模块配置成：
将所述第三图像中G像素点的G像素值转移到与该第三图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第一图像中R、B、IR像素点位置处的G像素值，并将恢复的R、B、IR像素点位置处的G像素值转移到与该第三图像同尺寸图像对应的位置，在与该第三图像同尺寸图像上得到包括完整G像素值的第四图像。
可选地，在本实施例中，RGB图像获得模块配置成：
将所述第四图像中各像素点的G像素值转移到与该第四图像同尺寸图像对应的位置；
将所述第三图像中各像素点的R像素值和B像素值转移到与该第四图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第三图像中R像素点对应的B像素值，及所述第三图像中B像素点对应的R像素值，并将恢复的B像素值及R像素值转移到与该第四图像同尺寸图像对应的位置；
恢复所述第三图像中G像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第三图像中IR像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置，在与该第四图像同尺寸图像上得到包括完整R、G、B分量的第五图像。
可选地，在本实施例中，所述装置还包括，对所述第五图像进行去伪彩处理的去伪彩处理模块，所述去伪彩处理模块配置成：
将所述第五图像转换到亮度与色度分离的颜色空间得到第六图像；
对所述第六图像中色度分量进行分析，确定目标处理区域；
对所述目标处理区域的色度分量进行衰减；
将色度分量衰减后的所述第六图像进行色域转换，得到去伪彩处理后的RGB图像。
第三方面，本申请实施例还提供一种电子设备，所述电子设备包括处理器及存储有若干计算机指令的非易失性存储器，其特征在于，所述计算机指令被所述处理器执行时，所述电子设备执行第一方面所述的图像处理方法。
第四方面，本申请实施例还提供一种可读存储介质，所述可读存储介质包括计算机程序，所述计算机程序运行时控制所述可读存储介质所在电子设备执行第一方面所述的图像处理方法。
本申请实施例提供的一种图像处理方法、装置、电子设备及可读存储介质，基于各像素点的边缘检测结果，依次复原得到IR分量图像与RGB分量图像；在复原彩色分量时，首先复原分辨率更高、信息更全的G分量，其次复原R、B分量，使得复原后的彩色图像有更高的精度与图像清晰度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为常规RGB-IR传感器感光单元光谱响应特征的曲线示意图；
图2为以2×2像素点矩阵为组成单元的RGB-IR传感器阵列的示意图；
图3为以4×4像素点矩阵为组成单元的RGB-IR传感器阵列的示意图；
图4为本申请实施例提供的电子设备的结构方框图；
图5为本申请实施例提供的图像处理方法的流程示意图；
图6为图5中步骤S510的子步骤流程示意图；
图7为图5中步骤S520的子步骤流程示意图；
图8为图3中RGB-IR传感器阵列采集图像的局部像素点布局示意图；
图9a-图9c为本申请实施例提供的步骤S520获得IR分量图像的过程示意图；
图10为图5中步骤S540的子步骤流程示意图；
图11为图5中步骤S550的子步骤流程示意图；
图12为本申请实施例提供的另一种图像处理方法的流程示意图；
图13为本申请实施例提供的一种图像处理装置的功能模块图；
图14为本申请实施例提供的另一种图像处理装置的功能模块图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图4所示，是本申请实施例提供的一种电子设备10的结构方框图。所述电子设备10可以是，但不限于，智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internet device，MID)、服务器等具有图像处理能力的终端设备。所述电子设备10可以包括图像处理装置20、存储器11、存储控制器12以及处理器13。
所述存储器11、存储控制器12及处理器13各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。图像处理装置20用于对以4×4像素点矩阵为组成单元的RGB-IR传感器阵列采集的图像进行处理。在本实施例中，4×4像素点矩阵为组成单元的RGB-IR传感器阵列可以是电子设备10的一部分，由RGB-IR传感器阵列获得图像后直接进行图像处理；也可以是4×4像素点矩阵为组成单元的RGB-IR传感器阵列不属于电子设备10的一部分，图像处理装置20对输入到电子设备10中的RGB-IR传感器阵列采集的图像进行处理。图像处理装置20可以包括至少一个可以软件或固件(firmware)的形式存储于所述存储器11中或固化在所述电子设备10的操作系统(operating system，OS)中的软件功能模块。所述处理器13用于执行所述存储器11中存储的可执行模块，例如图像处理装置20所包括的软件功能模块及计算机程序等。
其中，所述存储器11可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器11用于存储程序，所述处理器13在接收到执行指令后，执行所述程序。所述处理器13以及其他可能的组件对存储器11的访问可在所述存储控制器12的控制下进行。
所述处理器13可能是一种集成电路芯片，具有信号的处理能力。上述的处理器13可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
应当理解的是，图4所示的结构仅为示意，所述电子设备10还可包括比图中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
请参照图5，图5是本申请实施例提供的一种应用于电子设备10的图像处理方法的流程示意图，该图像处理方法用于对包括4×4像素点阵列的RGB-IR图像传感器采集的第一图像进行处理，下面对该方法的详细流程进行阐述。
步骤S510，对第一图像进行边缘检测，得到第一图像中各像素点的边缘检测结果。
在本步骤中，每个像素点的边缘检测结果均包括水平、垂直、正对角线、反对角线四个方向上的检测结果。充分考虑了原始RGB-IR图像所有R、G、B、IR通道边缘信息，相比现有技术仅参考G通道或者IR通道边缘信息的方法具有更好的边缘检测精度。
请参照图6，具体地，步骤S510可以通过以下子步骤实现。
子步骤S511，采用预先定义的水平、垂直、正对角线、反对角线四个方向的边缘检测算子对第一图像进行处理，得到第一图像中各个像素点在四个方向上的变化率。
在本实施例中，首先定义水平、垂直、正对角线、反对角线四个方向的边缘检测算子，如方程组(1)所示：其中ωh与ωv分别为水平与垂直边缘检测算子；ωd与ωbd分别为正对角线与反对角线边缘检测算子，为5×5的矩阵，除了在矩阵的正、反对角线上存在非零元素外，其余元素均为0。
采用上述边缘检测算子对第一图像进行处理，获得第一图像中各个像素点(逐像素)在水平、垂直、正对角线、反对角线四个方向上的变化率，具体可以参照方程组(2)。
其中Δh、Δv、Δd、Δbd依次为逐像素在水平、垂直、正对角线、反对角线方向上的变化率，I1为第一图像，代表卷积运算，abs()代表取绝对值运算。为兼顾对图像边缘像素的处理，可以先对图像进行扩边处理(每个边缘的扩边像素数量不小于2个)，完成上述卷积运算后对得到变化率后的图像再进行缩边处理，恢复到与原始I1图像一致的分辨率。
步骤S512，根据各个像素点在四个方向上的变化率得到各像素点的边缘检测结果。
首先，根据各个像素点在四个方向上的变化率计算各像素点在水平与垂直方向、及正对角线与反对角线方向的边缘检测结果。
根据各像素点在四个方向上的变化率量化边缘检测结果，请参照方程组(3)和(4)，边缘检测的量化结果包括两组：第一组是水平与垂直方向的边缘检测结果Eh-v；第二组是正对角线-反对角线方向的量化结果Ed-bd：
其中，参数α1与α2可根据实际图像效果调节，以达到最佳的边缘检测精度。
接着，对计算得到的边缘检测结果进行平滑滤波处理，得到各像素点的边缘检测结果。
对上述得到的两组边缘检测结果进行平滑滤波处理，平滑滤波处理可以采用简单的线性滤波器(如均值滤波器、高斯滤波器等)，也可以采用具有边缘保持能力的非线性滤波器(如导向滤波、双边滤波等)。经过平滑滤波处理，一方面去除噪点等随机信号对边缘检测精度的影响，另一方面通过平滑处理使得邻域像素点的边缘信息可以相互参考，以实现对全分量(R、G、B、IR)边缘信息的有效利用。
步骤S520，根据第一图像及各像素点的边缘检测结果得到第二图像，其中，所述第二图像为所述第一图像对应的IR分量图像。
纯红外图像与可见光图像之间存在灰度特性不一致的问题，如果在IR通道的插值过程中引入RGB像素值，可能导致在边缘、细节处存在伪信号的问题。因此在对红外像素值进行复原时，一方面需参考上面的边缘检测结果，另一方面需要保证在IR通道插值过程中不能使用RGB像素值，同理在进行RGB通道插值过程中也不能使用IR像素值。
请参照图7，步骤S520包括以下子步骤：
子步骤S521，将第一图像中IR像素点的IR像素值转移到与该第一图像同尺寸图像对应的位置。
请参照图8，首先将图8所示的图像中IR像素点对应的IR像素值转移到与该第一图像同尺寸图像对应的位置得到图9a中所示的图像。
子步骤S522，恢复第一图像中G像素点位置处的IR像素值，并将恢复的G像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置。
再次参照图8，G像素点与IR像素点的相对位置有两种情况：第一种情况如G23像素点，其左右两边分别与一个IR像素点相邻；第二种情况如G32像素点，其上下两边分别为一个IR像素点相邻；其他G像素与IR像素的位置情况必然是上述两种情况之一。因此，分上述两种情况对G像素点位置处的IR像素值进行插值：
当待插值的G像素点在水平方向上与IR像素点相邻，则该位置上的IR插值结果为与其水平相邻的两个IR像素点的像素值的平均值。例如以图8中G23像素点为例，该像素点处的IR插值结果为：IR23＝(IR22+IR24)/2。
当待插值的G像素点在垂直方向上与IR像素点相邻，则该位置上的IR插值结果为与其垂直相邻的两个IR像素点的像素值的平均值。例如以图8中G32像素为例，该像素点处的IR插值结果为：IR32＝(IR22+IR42)/2。
将恢复的G像素点位置处的IR像素值转移到图9a得到图9b中所示的图像。
子步骤S523，根据各像素点的边缘检测结果恢复第一图像中R、B像素点位置处的IR像素值，并将恢复的R、B像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置，在与该第一图像同尺寸图像上得到包括完整IR像素值的第二图像。
恢复第一图像中所有R、B像素点位置处的IR像素值。如图8所示，对第一图像中所有的R或B像素点，其四个对角相邻位置处的像素均为IR像素点；该R或B像素点位置处的IR插值结果，需要利用边缘检测结果并结合这四个邻域IR像素值计算得到。以图8中的B33像素点为例，它的四个对角相邻位置的像素分别为IR22、IR24、IR42、IR44，对角边缘检测结果在该像素处的值为Ed-bd(B33)，则该位置处IR插值结果为：
其中阈值参数T1可取值范围为[0，0.5]，该值越大，插值结果锐度越高，但是噪点也越明显。因此需要根据实际图像效果去选择合适的阈值T1，来兼顾画面的噪点与清晰度。
Ed-bd(B33)代表了B33像素点在正对角线-反对角线方向上的变化率的相对大小关系：当Ed-bd(B33)越小(越接近于0)，则表明B33像素点沿正对角线方向上的变化率越大于沿反对角线反向上的变化率，即B33像素点的边缘方向沿反对角线的概率越大，因此插值方向沿反对角线方向；反之，当Ed-bd(B33)越大(越接近于1)，则表明B33像素点的边缘方向沿正对角线的概率越大，因此插值方向沿正对角线方向。
通过上述插值方向的设计，可以最大限度确保插值方向沿边缘方向进行，从而避免因插值操作导致的边缘模糊及图像失真等问题。
将第一图像中所有R、B像素点位置处恢复的IR像素值，转移至图9b对应的位置得到图9c，图9c即为包括完整IR像素值的第二图像。
步骤S530，将第一图像减去第二图像得到可见光成像的第三图像。
将IR分量图像(第二图像)从第一图像中减除后，可以得到可见光成像的第三图像。
步骤S540，根据第三图像及各像素点的边缘检测结果得到G分量的第四图像。
请参照图10，步骤S540可以通过以下子步骤实现：
子步骤S541，将第三图像中G像素点的G像素值转移到与该第三图像同尺寸图像对应的位置。
子步骤S542，根据各像素点的边缘检测结果恢复所述第一图像中R、B、IR像素点位置处的G像素值，并将恢复的R、B、IR像素点位置处的G像素值转移到与该第三图像同尺寸图像对应的位置，在与该第三图像同尺寸图像上得到包括完整G像素值的第四图像。
请再次参照图8，图像中所有R、B、IR像素点的四邻域(目标像素点上、下、左、右相邻的像素点)均为G像素点，结合边缘检测与四邻域G像素值，可以复原得到所有R、B、IR像素点位置处的G像素值。以图8中B33像素点为例，它的四邻域G像素值分别为G32、G23、G34、G43，水平-垂直边缘检测结果在该像素点处的值为Eh-v(B33)，则该位置处G插值结果为：
其中阈值参数T2的选取可参考式(5)中阈值T1的选取方式。按照与考式(5)同样的插值规则，可以复原得到所有R、B、IR像素点位置处的G像素值。
完成上述子步骤S541及子步骤S542即可以得到完整的G分量的第四图像。
步骤S550，根据第三图像、第四图像及各像素点的边缘检测结果得到包括R、G、B分量的第五图像。
针对第三图像、第四图像、各像素点的边缘检测结果及色差恒定法，可以复原得到完整的R、B通道图像，结合第四图像复原的G颜色通道图像，可以得到完整的RGB图像，即第五图像。在本实施例中也可以采用色比恒定法复原完整的R、B通道图像，并结合第四图像复原的G颜色通道图像，得到完整的RGB图像。
请参照图11，步骤S550可以通过以下子步骤实现：
子步骤S551，将第四图像中各像素点的G像素值转移到与该第四图像同尺寸图像对应的位置。
子步骤S552，将第三图像中各像素点的R像素值和B像素值转移到与该第四图像同尺寸图像对应的位置。
子步骤S553，根据各像素点的边缘检测结果恢复所述第三图像中R像素点对应的B像素值，及第三图像中B像素点对应的R像素值，并将恢复的B像素值及R像素值转移到与该第四图像同尺寸图像对应的位置。
恢复第三图像中所有R像素点位置处的B像素值、所有B像素点位置处的R像素值，并将其转移到与该第四图像同尺寸图像对应的位置。其中，恢复R像素点位置处的B像素值的方法，与恢复B像素点位置处的R像素值的方法是一致的，采用了边缘检测与色差恒定法相结合的方式实现。以图8中B33像素点为例，水平-垂直边缘检测结果在该像素处的值为Eh-v(B33)，该像素位置处R插值结果为：
其中阈值参数T3的选取可参考式(5)中阈值T1的选取方式。采用同样插值规则可以复原R像素点位置处的B像素值，此处就不再赘述。
子步骤S554，恢复所述第三图像中G像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置。
请再次参照图8，G像素点相对R、B像素点的相对位置有两种情况：第一种情况如G32像素点，其在水平方向上与R、B像素点相邻；第二种情况如G23像素点，其在垂直方向上与R、B像素点相邻；其他G像素点相对R、B像素点的位置情况必然是上述两种情况之一。因此，分上述两种情况对G像素点位置处的R、B像素值进行恢复：
当待插值的G像素点在水平方向上与R、B像素点相邻，则该位置上的R(或B)像素值插值结果根据水平方向上相邻的R(或B)、G像素值结合色差恒定法得到；例如以图8中G32像素点为例，该处的R、B像素值插值结果为：
R32＝(R31+R33)/2+(2G32-G31-G33)/2,
B32＝(B31+B33)/2+(2G32-G31-G33)/2. (8)
当待插值的G像素点在垂直方向上与R、B像素点相邻，则该位置上的R(或B)像素值插值结果根据垂直方向上相邻的R(或B)、G像素值结合色差恒定法得到；例如以图8中G23像素点为例，该处的R、B像素值插值结果为：
R23＝(R13+R33)/2+(2G23-G13-G33)/2,
B23＝(B13+B33)/2+(2G23-G13-G33)/2. (9)
子步骤S555，根据各像素点的边缘检测结果恢复所述第三图像中IR像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置，在与该第四图像同尺寸图像上得到包括完整R、G、B分量的第五图像。
恢复第三图像中所有IR像素点位置处的R、B像素值，并将其转移到与该第四图像同尺寸图像的相应位置。此时，对于图像中任意一个IR像素点，其四邻域处的R、B像素值均已恢复，因此可以通过边缘检测、色差恒定法来恢复IR像素点位置处的R、B像素值。以图8中IR22像素点为例，水平-垂直边缘检测结果在该像素点处的值为Eh-v(IR22)，该像素点位置处R、B像素插值结果为：
其中阈值参数T4选取可参考式(5)中阈值T1的选取方式。
经过上述步骤可以得到包括R、G、B分量的RGB图像，即第五图像。
上述方法提供一种适用于4×4像素点阵列设计的RGB-IR图像传感器采集的图像，通过全分量边缘检测方法，结合改进的RGB通道插值流程，相比现有同类算法具有更好的插值精度与图像画面复原效果。
请参照图12，在本申请实施例中，所述方法还可以包括步骤S560。
步骤S560，对第五图像进行去伪彩处理。
在本实施例中，步骤S560可以通过以下方式实现。
首先，将第五图像转换到亮度与色度分离的颜色空间得到第六图像。其中，亮度与色度分离的色彩空间可以是YUV、YIQ、Lab、HSL、HSV等有标准定义的亮度与色度分离的色彩空间的其中一种，也可以是自定义的具有亮度分量、色度分量相互独立表示的色彩空间。
其次，对色度分量进行分析，确定目标处理区域。
通过分析图像的局部细节度和色度信息，确定可能出现伪彩的局部区域进行定位与筛选，确定目标处理区域。
再次，对目标处理区域的色度分量进行衰减。
最后，结合原始亮度分量与衰减后的色度分量进行色域转换，得到去伪彩处理后的RGB图像。
本申请实施例还提供一种图像处理装置20。可以理解的是，接下来要描述的图像处理装置20中涉及的各个硬件组件执行的具体功能在上面实施例的具体步骤中已经描述过，具体各个硬件组件对应的详尽功能可参照上面的实施例描述，下面仅对图像处理装置20进行简要说明。
请参照图13，图像处理装置20包括：
边缘检测模块21，配置成对所述第一图像进行边缘检测，得到第一图像中各像素点的边缘检测结果；
IR分量图像获得模块22，配置成根据所述第一图像及各像素点的边缘检测结果得到第二图像，其中，所述第二图像为所述第一图像对应的IR分量图像；
可见光成像图像获得模块23，配置成将所述第一图像减去所述第二图像得到可见光成像的第三图像；
G分量图像获得模块24，配置成根据所述第三图像及各像素点的边缘检测结果得到G分量的第四图像；
RGB图像获得模块25，配置成根据所述第三图像、第四图像及各像素点的边缘检测结果得到包括R、G、B分量的第五图像。
在本实施例中，边缘检测模块21配置成：
采用预先定义的水平、垂直、正对角线、反对角线四个方向的边缘检测算子对所述第一图像进行处理，得到所述第一图像中各个像素点在四个方向上的变化率；
根据各个像素点在四个方向上的变化率得到各像素点的边缘检测结果。
在本实施例中，IR分量图像获得模块22配置成：
将所述第一图像中IR像素点的IR像素值转移到与该第一图像同尺寸图像对应的位置；
恢复所述第一图像中G像素点位置处的IR像素值，并将恢复的G像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第一图像中R、B像素点位置处的IR像素值，并将恢复的R、B像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置，在与该第一图像同尺寸图像上得到包括完整IR像素值的第二图像。
在本实施例中，G分量图像获得模块24配置成：
将所述第三图像中G像素点的G像素值转移到与该第三图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第一图像中R、B、IR像素点位置处的G像素值，并将恢复的R、B、IR像素点位置处的G像素值转移到与该第三图像同尺寸图像对应的位置，在与该第三图像同尺寸图像上得到包括完整G像素值的第四图像。
在本实施例中，RGB图像获得模块25配置成：
将所述第四图像中各像素点的G像素值转移到与该第四图像同尺寸图像对应的位置；
将所述第三图像中各像素点的R像素值和B像素值转移到与该第四图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第三图像中R像素点对应的B像素值，及所述第三图像中B像素点对应的R像素值，并将恢复的B像素值及R像素值转移到与该第四图像同尺寸图像对应的位置；
恢复所述第三图像中G像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第三图像中IR像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置，在与该第四图像同尺寸图像上得到包括完整R、G、B分量的第五图像。
请参照图14，图像处理装置20还可以包括：
对所述第五图像进行去伪彩处理的去伪彩处理模块26，所述去伪彩处理模块26配置成：
将所述第五图像转换到亮度与色度分离的颜色空间；
对色度分量进行分析，确定目标处理区域；
对所述目标处理区域的色度分量进行衰减；
将亮度分量与衰减后的色度分量进行色域转换，得到去伪彩处理后的RGB图像。
如果上述功能以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得对应设备执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请实施例提供的图像处理方法、装置、电子设备及可读存储介质，基于各像素点的边缘检测结果，依次复原得到IR分量图像与RGB分量图像；在复原彩色分量时，首先复原分辨率更高、信息更全的G分量，其次复原R、B分量，使得复原后的彩色图像有更高的精度与图像清晰度。同时对得到的RGB图像进行去伪彩处理，还能有效控制与改善图像中的高频伪彩问题。
以上所述仅为本申请的可选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法用于对RGB-IR图像传感器采集的第一图像进行处理，其中，RGB-IR图像传感器包括4×4的像素点阵列，所述RGB-IR图像传感器的IR单元在红外波段的光谱分布与所述RGB-IR图像传感器的RGB单元在红外波段的光谱分布接近，所述方法包括：
利用所述第一图像的所有R、G、B、IR分量对所述第一图像进行边缘检测，得到第一图像中各像素点的边缘检测结果；其中，所述第一图像中各像素点的边缘检测结果包括像素的对角线边缘检测结果和像素的水平-垂直边缘检测结果；
根据所述第一图像及各像素点的对角线边缘检测结果得到第二图像，其中，所述第二图像为所述第一图像对应的IR分量图像，所述IR分量图像是与所述第一图像相对应的包括完整IR像素值，并且具有与所述第一图像相同尺寸的图像；
将所述第一图像减去所述第二图像得到可见光成像的第三图像；
根据所述第三图像及各像素点的水平-垂直边缘检测结果得到G分量的第四图像；
根据所述第三图像、第四图像及各像素点的水平-垂直边缘检测结果得到包括R、G、B分量的第五图像；
其中，所述根据所述第三图像、第四图像及各像素点的水平-垂直边缘检测结果得到包括R、G、B分量的第五图像包括：
将所述第四图像中各像素点的G像素值转移到与该第四图像同尺寸图像对应的位置；
将所述第三图像中各像素点的R像素值和B像素值转移到与该第四图像同尺寸图像对应的位置；
根据各像素点的水平-垂直边缘检测结果恢复所述第三图像中R像素点对应的B像素值，及所述第三图像中B像素点对应的R像素值，并将恢复的B像素值及R像素值转移到与该第四图像同尺寸图像对应的位置；
恢复所述第三图像中G像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置；
根据各像素点的水平-垂直边缘检测结果恢复所述第三图像中IR像素点的R、B像素值，并转移到与该第四图像同尺寸图像对应的位置，在与该第四图像同尺寸图像上得到包括完整R、G、B分量的第五图像。
2.如权利要求1所述的方法，其特征在于，所述利用所述第一图像的所有R、G、B、IR分量对所述第一图像进行边缘检测，得到第一图像中各像素点的边缘检测结果，包括：
采用预先定义的水平、垂直、正对角线、反对角线四个方向的边缘检测算子对所述第一图像进行处理，得到所述第一图像中各个像素点在四个方向上的变化率；
根据各个像素点在四个方向上的变化率得到各像素点的边缘检测结果。
3.如权利要求2所述的方法，其特征在于，根据各个像素点在四个方向上的变化率得到各像素点的边缘检测结果，包括：
根据各个像素点在四个方向上的变化率计算各像素点在水平与垂直方向、及正对角线与反对角线方向的边缘检测结果；
对计算得到的边缘检测结果进行平滑滤波处理，得到各像素点的边缘检测结果。
4.如权利要求1所述的方法，其特征在于，根据所述第一图像及各像素点的对角线边缘检测结果得到第二图像，包括：
将所述第一图像中IR像素点的IR像素值转移到与该第一图像同尺寸图像对应的位置；
根据与第一图像中的G像素相邻的IR像素，恢复所述第一图像中G像素点位置处的IR像素值，并将恢复的G像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置；
根据各像素点的边缘检测结果恢复所述第一图像中R、B像素点位置处的IR像素值，并将恢复的R、B像素点位置处的IR像素值转移到与该第一图像同尺寸图像对应的位置，在与该第一图像同尺寸图像上得到包括完整IR像素值的第二图像。
5.如权利要求4所述的方法，其特征在于，根据各像素点的边缘检测结果恢复所述第一图像中R、B像素点位置处的IR像素值，包括：
根据像素的对角线边缘检测结果，通过以下公式恢复第一图像中B像素处的IR像素值：
其中，IR(B)ij是第一图像中第i行和第j列中的B像素处的IR像素值，Bij是第一图中第i列和第j行的B像素，Ed-bd(Bij)是在Bij的对角线边缘检测结果的值，T1是预设的第一阈值参数；和
根据像素的对角线边缘检测结果，通过以下公式恢复第一图像中R像素处的IR像素值：
其中，IR(R)ij是所述第一图像中的第i行和第j列中的R像素处的IR像素值，Rij是第一图像中第i行、第j列的R像素，Ed-bd(Rij)是在Rij的对角线边缘检测结果的值，T2是第二预设阈值参数。
6.如权利要求1所述的方法，其特征在于，根据所述第三图像及各像素点的水平-垂直边缘检测结果得到G分量的第四图像，包括：
将所述第三图像中G像素点的G像素值转移到与该第三图像同尺寸图像对应的位置；
根据各像素点的水平-垂直边缘检测结果恢复所述第一图像中R、B、IR像素点位置处的G像素值，并将恢复的R、B、IR像素点位置处的G像素值转移到与该第三图像同尺寸图像对应的位置，在与该第三图像同尺寸图像上得到包括完整G像素值的第四图像。
7.如权利要求6所述的方法，其特征在于，根据各像素点的水平-垂直边缘检测结果恢复所述第一图像中R、B、IR像素点位置处的G像素值，包括：
根据像素的水平-垂直边缘检测结果，通过以下公式恢复第一图像中R像素处的G像素值：
其中，G(R)ij是第一图像中第i行和第j列的R像素处的G像素值，Rij是第一图像中第i列和第j行的R像素，Eh-v(Rij)是在Rij的水平-垂直边缘检测结果的值，T3是第三预设阈值参数；
根据像素的水平-垂直边缘检测结果，通过以下公式恢复第一图像中B像素处的G像素值：
其中，G(B)ij是第一图像中第i行和第j列中的B像素处的G像素值，Bij是第一图像中第i列和第j行的B像素，Eh-v(Bij)是在Bij的水平-垂直边缘检测结果的值，T4是第四预设阈值参数；和
根据像素的水平-垂直边缘检测结果，通过以下公式恢复第一图像中IR像素处的G像素值：
其中，G(IR)ij是所述第一图像中的第i行和第j列中的IR像素处的G像素值，IRij是第一图像中第i行、第j列的IR像素，Eh-v(IRij)是在IRij的水平-垂直边缘检测结果的值，T5是第五预设阈值参数。
8.如权利要求1所述的方法，其特征在于，根据各像素点的水平-垂直边缘检测结果恢复所述第三图像中R像素点对应的B像素值，及所述第三图像中B像素点对应的R像素值包括：
根据像素的水平-垂直边缘检测结果，通过以下公式来恢复第三图像中B像素处的R像素值：
其中，R(B)ij是第三图像中第i行和第j列中的B像素处的R像素值，G(B)ij是第一图像中第i行和第j列中的IR像素处的G像素值，Bij是第三图像的第i列和第j列中的B像素，Eh-v(Bij)是Bij处的水平-垂直边缘检测结果的值，T6是第六预设阈值参数；和
其中，根据像素的水平-垂直边缘检测结果，通过以下公式来恢复第三图像中R像素处的B像素值：
其中，B(R)ij是第三图像中第i行和第j列中的R像素处的B像素值，Rij是第三图像中第i行和第j列的R像素，Eh-v(Rij)是在Rij处的水平-垂直边缘检测结果的值，T7是预设的第七阈值参数。
9.如权利要求1所述的方法，其特征在于，恢复所述第三图像中G像素点的R、B像素值，包括：
在待插值的G像素在水平方向上与R像素和B像素相邻的情况下，通过以下公式恢复第三图像中G像素处的R像素值：
R(G)ij＝(R(G)i(j-1)+R(G)i(j+1))/2+(2Gij-Gi(j-1)-Gi(j+1))/2；
其中，R(G)ij是所述第三图像中的第i行和第j列中的G像素处的R像素值，Gij是所述第三图像中的所述第i行的G像素和所述第j列的G像素的G像素值；
在待插值的G像素在水平方向上与R像素和B像素相邻的情况下，通过以下公式恢复第三图像中G像素处的B像素值：
B(G)ij＝(B(G)i(j-1)+B(G)i(j+1))/2+(2Gij-Gi(j-1)-Gi(j+1))/2；
其中，B(G)ij是所述第三图像中的第i行和第j列中的G像素处的B像素值；
在待插值的G像素在垂直方向上与R像素和B像素相邻的情况下，通过以下公式恢复第三图像中G像素处的R像素值：
R(G)ij＝(R(G)(i-1)j+R(G)(i+1)j)/2+(2Gij-G(i-1)j-G(i+1)j)/2；
在待插值的G像素在垂直方向上与R像素和B像素相邻的情况下，通过以下公式恢复第三图像中G像素处的B像素值：
B(G)ij＝(B(G)(i-1)j+B(G)(i+1)j)/2+(2Gij-G(i-1)j-G(i+1)j)/2。
10.如权利要求1所述的方法，其特征在于，根据各像素点的水平-垂直边缘检测结果恢复所述第三图像中IR像素点的R、B像素值，包括：
根据像素的边缘检测结果，通过以下公式来恢复第三图像中IR像素处的R像素值
其中，R(IR)ij是第三图像中第i行和第j列的IR像素处的R像素值，G(IR)ij是第三图像中第i列和第j行的IR像素的G像素值，Rij在第三图像的第i行是R像素，Eh-v(Rij)是Rij的水平-垂直边缘检测结果的值，T8是预设的第八阈值参数；和
其中，根据像素的边缘检测结果，通过以下公式来恢复第三图像中IR像素处的B像素值：
其中，B(IR)ij是所述第三图像中的第i行和第j列中的IR像素处的B像素值。
11.如权利要求1-10中任意一项所述的方法，其特征在于，所述方法还包括，对所述第五图像进行去伪彩处理的步骤，该步骤包括：
将所述第五图像转换到亮度与色度分离的颜色空间；
对色度分量进行分析，确定目标处理区域；
对所述目标处理区域的色度分量进行衰减；
将亮度分量与衰减后的色度分量进行色域转换，得到去伪彩处理后的RGB图像。
12.一种电子设备，其特征在于，所述电子设备包括处理器及存储有若干计算机指令的非易失性存储器，其特征在于，所述计算机指令被所述处理器执行时，所述电子设备执行权利要求1-11中任意一项所述的图像处理方法。
13.一种可读存储介质，所述可读存储介质包括计算机程序，其特征在于：
所述计算机程序运行时控制所述可读存储介质所在电子设备执行权利要求1-11中任意一项所述的图像处理方法。
CN201880096814.6A 2018-09-18 2018-09-18 图像处理方法、装置、电子设备及可读存储介质 Active CN113168669B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/106066 WO2020056567A1 (zh) 2018-09-18 2018-09-18 图像处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113168669A CN113168669A (zh) 2021-07-23
CN113168669B true CN113168669B (zh) 2024-03-29

Family

ID=69888018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096814.6A Active CN113168669B (zh) 2018-09-18 2018-09-18 图像处理方法、装置、电子设备及可读存储介质

Country Status (4)

Country Link
US (1) US20210185285A1 (zh)
EP (1) EP3855387A4 (zh)
CN (1) CN113168669B (zh)
WO (1) WO2020056567A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
US11574484B1 (en) * 2021-01-13 2023-02-07 Ambarella International Lp High resolution infrared image generation using image data from an RGB-IR sensor and visible light interpolation
CN113115012B (zh) * 2021-04-06 2022-09-13 展讯通信（上海）有限公司 图像处理方法及相关装置
FR3127665B1 (fr) * 2021-09-27 2024-01-19 St Microelectronics Sa Procédé de traitement, au sein d’une chaine de traitement d’image, d’une matrice de pixels et dispositif électronique correspondant.
CN114155161B (zh) * 2021-11-01 2023-05-09 富瀚微电子(成都)有限公司 图像去噪方法、装置、电子设备与存储介质
CN115965671A (zh) * 2022-03-24 2023-04-14 张国流 图像纹理提取方法、设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309429A (zh) * 2007-05-15 2008-11-19 索尼株式会社 处理视频信号的设备和方法、成像设备和计算机程序

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0720351B1 (en) * 1994-12-28 2003-04-02 Fuji Photo Film Co., Ltd. Method for producing color proof
US7663597B2 (en) * 2003-07-16 2010-02-16 Honeywood Technologies, Llc LCD plateau power conservation
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
US7602408B2 (en) * 2005-05-04 2009-10-13 Honeywood Technologies, Llc Luminance suppression power conservation
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
KR101303879B1 (ko) * 2006-06-30 2013-09-04 삼성전자주식회사 영상 처리 장치 및 방법
TWI415470B (zh) * 2008-10-09 2013-11-11 Mstar Semiconductor Inc 去漣波裝置及方法
US20120140085A1 (en) * 2009-06-09 2012-06-07 Gregory David Gallinat Cameras, camera apparatuses, and methods of using same
JP5367667B2 (ja) * 2010-09-21 2013-12-11 株式会社東芝 画像処理装置
TWI494907B (zh) * 2011-10-25 2015-08-01 Sony Corp A laser driving circuit, a laser driving method, and a device for using laser light
CN103391416A (zh) * 2012-05-08 2013-11-13 联咏科技股份有限公司 图像处理方法
US8675102B2 (en) * 2012-06-08 2014-03-18 Apple Inc. Real time denoising of video
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
US20150022869A1 (en) * 2013-07-17 2015-01-22 Samsung Electronics Co., Ltd. Demosaicing rgbz sensor
US9797573B2 (en) * 2013-08-09 2017-10-24 Performance Indicator, Llc Luminous systems
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
US9270872B2 (en) * 2013-11-26 2016-02-23 Linear Algebra Technologies Limited Apparatus, systems, and methods for removing shading effect from image
JP2017512393A (ja) * 2014-02-21 2017-05-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 高解像度及び高ダイナミックレンジを可能とするビデオデコーダ
CN106031143A (zh) * 2014-02-21 2016-10-12 皇家飞利浦有限公司 颜色空间和用于视频的解码器
JP6415094B2 (ja) * 2014-04-25 2018-10-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2016024381A (ja) * 2014-07-22 2016-02-08 株式会社ジャパンディスプレイ 画像表示装置及び画像表示方法
JP6462259B2 (ja) * 2014-07-22 2019-01-30 株式会社ジャパンディスプレイ 画像表示装置及び画像表示方法
US9674466B2 (en) * 2015-02-26 2017-06-06 Dual Aperture International Co., Ltd. Hybrid image correction for dual-aperture camera
US9727947B2 (en) * 2015-03-23 2017-08-08 Microsoft Technology Licensing, Llc Downscaling a digital raw image frame
KR102531222B1 (ko) * 2015-08-25 2023-05-10 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 루미넌스 존들에 기초한 역 톤 맵핑
US10533091B2 (en) * 2015-11-16 2020-01-14 StoreDot Ltd. Color conversion with solid matrix films
US11275265B2 (en) * 2015-11-16 2022-03-15 Moleculed Ltd. Control of illumination spectra for LCD displays
EP3203439B1 (en) * 2016-02-04 2019-10-02 InterDigital VC Holdings, Inc. Method and device for reducing noise in a component of a picture
WO2017169039A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN109155845B (zh) * 2016-05-25 2021-03-23 索尼公司 图像处理装置、图像处理方法及计算机可读存储介质
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
JP6939000B2 (ja) * 2017-03-23 2021-09-22 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
CN107705263A (zh) * 2017-10-10 2018-02-16 福州图森仪器有限公司 一种基于rgb‑ir传感器的自适应透雾方法和终端
JP7437921B2 (ja) * 2019-11-22 2024-02-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309429A (zh) * 2007-05-15 2008-11-19 索尼株式会社 处理视频信号的设备和方法、成像设备和计算机程序

Also Published As

Publication number Publication date
EP3855387A1 (en) 2021-07-28
US20210185285A1 (en) 2021-06-17
EP3855387A4 (en) 2022-02-23
WO2020056567A1 (zh) 2020-03-26
CN113168669A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113168669B (zh) 图像处理方法、装置、电子设备及可读存储介质
KR101059403B1 (ko) 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터
US7860334B2 (en) Adaptive image filter for filtering image information
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
US8311355B2 (en) Skin tone aware color boost for cameras
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US8248496B2 (en) Image processing apparatus, image processing method, and image sensor
WO2004097736A1 (en) Color filter array interpolation
CN111161188B (zh) 降低图像色彩噪声的方法、计算机装置及可读存储介质
US20070177816A1 (en) Apparatus and method for reducing noise of image sensor
CN105389786B (zh) 一种图像处理的方法及装置
CN113273180B (zh) 图像处理装置和方法
EP3203439A2 (en) Method and device for reducing noise in a component of a picture
US9270872B2 (en) Apparatus, systems, and methods for removing shading effect from image
CN107248147B (zh) Raw-rgb图像中坏点消除的方法
US9860456B1 (en) Bayer-clear image fusion for dual camera
CN114998122A (zh) 一种低照度图像增强方法
Saito et al. Demosaicing approach based on extended color total-variation regularization
CN113132562A (zh) 镜头阴影校正方法、装置及电子设备
CN111242087A (zh) 物体识别方法及装置
CN113781350B (zh) 图像处理方法、图像处理装置、电子设备及存储介质
Zhou et al. An Effective Image Demosaicking Algorithm with Correlations among RGB Channels
CN115471571A (zh) 标定方法、图像处理方法、装置、存储介质与电子设备
CN117764877A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant