CN113115010B - 基于rgb-ir图像传感器的图像格式转换方法及装置 - Google Patents

基于rgb-ir图像传感器的图像格式转换方法及装置 Download PDF

Info

Publication number
CN113115010B
CN113115010B CN202010028528.5A CN202010028528A CN113115010B CN 113115010 B CN113115010 B CN 113115010B CN 202010028528 A CN202010028528 A CN 202010028528A CN 113115010 B CN113115010 B CN 113115010B
Authority
CN
China
Prior art keywords
pixel
image
rgb
component
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010028528.5A
Other languages
English (en)
Other versions
CN113115010A (zh
Inventor
柯乃群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jincheng Sanying Precision Electronics Co ltd
Original Assignee
Jincheng Sanying Precision Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jincheng Sanying Precision Electronics Co ltd filed Critical Jincheng Sanying Precision Electronics Co ltd
Priority to CN202010028528.5A priority Critical patent/CN113115010B/zh
Priority to US17/002,075 priority patent/US11483504B2/en
Publication of CN113115010A publication Critical patent/CN113115010A/zh
Application granted granted Critical
Publication of CN113115010B publication Critical patent/CN113115010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H01L27/14647—Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种基于RGB‑IR图像传感器的图像格式转换方法，所述图像格式转换方法包括：从RGB‑IR图像传感器获取一RGB‑IR图像；获取所述RGB‑IR图像上的一个像素为中心像素点，以所述中心像素点为中心，获取一个像素单元；对所述中心像素点插值，获得所述中心像素点的缺失颜色分量；遍历所述RGB‑IR图像上的每个点，执行上述获取像素单元步骤及插值步骤；输出一每个像素包含有R分量、G分量及B分量的图像。本发明还提供了一种基于RGB‑IR图像传感器的图像格式转换装置。本发明解决了将RGB‑IR图像传感器输出的每个像素仅有单颜色分量的RGB‑IR图像，转换成每个像素具有R分量、G分量及B分量的图像的问题。

Description

基于RGB-IR图像传感器的图像格式转换方法及装置
技术领域
本发明涉及图像格式转换技术领域，尤其涉及一种基于RGB-IR图像传感器的图像格式转换方法及装置。
背景技术
RGB-IR传感器是一种新型的图像传感器，其配置有RGB-IR滤镜。请参阅图1A、图1B及图1C，图1A及图1B是两种常见的RGB-IR的滤镜排列方式，图1C是四种传统的拜耳彩色滤镜阵列(Bayer color filter array，Bayer CFA)的排列方式。相比于传统的拜耳彩色滤镜阵列(Bayer CFA)，RGB-IR滤镜将部分滤镜替换为红外滤镜(Infrared，IR)。多出来的红外滤镜有利于传感器夜间补光，进而实现监控系统的夜视技术。
然而，每种滤镜只允许一种基本颜色的光通过。因此，当需要从RGB-IR图像传感器得到正常的RGB彩色图像时，如何将RGB-IR图像中的每个单颜色分量的像素转换为具有RGB颜色分量的像素成为一个必须解决的问题。
发明内容
有鉴于此，有必要提供一种基于RGB-IR图像传感器的图像格式转换方法及装置。
本发明提供一种基于RGB-IR图像传感器的图像格式转换方法，所述图像格式转换方法包括以下步骤：
(a)获取一RGB-IR图像；
(b)选取所述RGB-IR图像上的像素为中心像素点，并以所述中心像素点为中心，选取一个像素单元；
(c)对所述中心像素点进行插值处理，以获得所述中心像素点的缺失颜色分量；
(d)根据所述步骤(b)及步骤(c)，依次对所述RGB-IR图像上的每个像素进行插值处理，以获得每个像素的缺失颜色分量；
(e)输出经过插值处理后的图像。
进一步的，所述RGB-IR图像的每一像素包含一种基本颜色分量，所述基本颜色分量为R分量、G分量、B分量及IR分量中的任意一种。
进一步的，所述缺失颜色分量为R分量、G分量及B分量或所述R分量、G分量及B分量的任意两种颜色分量。
进一步的，执行所述步骤(b)之前，还包括：
判断所述像素单元内每个像素的基本颜色分量，并确定所述中心像素点的缺失颜色分量。
进一步的，所述像素单元包括边缘像素单元、IR像素单元及完全像素单元。
进一步的，所述边缘像素单元的中心像素点为所述RGB-IR图像的任一边缘像素；所述边缘像素单元包括空白像素，所述空白像素不做参考。
进一步的，所述IR像素单元的中心像素点为所述RGB-IR图像的任一IR像素，所述IR像素的缺失颜色分量为R分量、G分量及B分量。
进一步的，所述完全像素单元的中心像素点为所述RGB-IR图像上除了边缘像素及IR像素外的任一像素。
进一步的，步骤(d)中，从所述RGB-IR图像的左上角的像素开始插值，当一行像素插值完毕，再从下一行像素的左边开始插值，直至整个RGB-IR图像所有的像素插值完成。
本发明另一方面还提供一种基于RGB-IR图像传感器的图像格式转换装置，包括：
第一获取单元，用以从一RGB-IR图像传感器获取一RGB-IR图像；
第二获取单元，用以从所述RGB-IR图像中获取一中心像素点，并以所述中心像素点为中心，选取一像素单元；
插值处理单元，用以对所述中心像素点进行插值，补充所述中心像素点的缺失颜色分量；
及图像输出单元，用以输出经过插值处理后的图像。
本发明通过以每个像素为中心像素点，逐个获取像素单元，并以所述像素单元内与所述中心像素点的缺失颜色分量同一颜色的颜色分量的强度值均值，赋值予所述中心像素点，从而得到所述中心像素点的缺失颜色分量，最终完成所述RGB-IR图像每个像素的单颜色分量至多颜色分量的转换，解决了RGB-IR图像单元的图像格式转换问题。
附图说明
图1A为一种传统的RGB-IR滤镜阵列排列示意图；图1B为另一种传统的RGB-IR滤镜阵列排列示意图；图1C为传统的拜耳滤镜阵列的示意图。
图2是本发明较佳实施方式提供的基于RGB-IR图像传感器的图像格式转换方法的流程图。
图3是本发明实施方式中求取所述边缘像素单元的中心像素点的缺失颜色分量的示意图。
图4是本发明实施方式中求取所述IR像素单元的中心像素点的缺失颜色分量的示意图。
图5是本发明实施方式中求取所述完全像素单元的中心像素点的缺失颜色分量的示意图。
图6是本发明较佳实施方式提供的基于RGB-IR图像传感器的图像格式转换装置的功能框图。
主要元件符号说明
图像格式转换装置                         100
第一获取单元                             10
第二获取单元                             20
插值处理单元                             30
图像输出单元                             40
如下具体实施方式将结合上述附图进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图2，本发明较佳实施方式提供一种基于RGB-IR图像传感器的图像格式转换方法。
可以理解，彩色图像的每个像素都由一组R、G、B颜色分量来记录和表达。但是图像传感器只能感应光强而不能分辨色彩信息。因此需要在RGB-IR图像传感器前加一个彩色滤镜阵列，从而使每个像素只能得到一种基本颜色分量。当需要将RGB-IR输出的RGB-IR图像转换成RGB图像时，每一像素缺失的RGB颜色分量需要通过插值得到。在本发明中，为了叙述方便，下文中将图像传感器上覆盖红色滤镜的像素称为R像素，类似地，将图像传感器上覆盖绿色滤镜、蓝色滤镜及红外滤镜的像素分别称为G像素、B像素及IR像素。
可以理解，根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。所述图像格式转换方法包括以下步骤：
步骤S1：获取一RGB-IR图像。
可以理解，所述RGB-IR图像由若干像素组成。每一像素包含一种基本颜色分量，且每一颜色分量对应有一强度值。所述基本颜色分量可为R分量、G分量、B分量及IR分量中的任意一种。例如，R像素的基本颜色分量为R分量。所述R像素对应有一R强度值。所述R强度值决定所述R像素的颜色强度。又如，IR像素的基本颜色分量为IR分量，其并不包含其他颜色分量，例如R分量、G分量及B分量。
可以理解，所述RGB-IR图像中的R像素、G像素、B像素及IR像素，可按照图1A或图1B中所示的两种滤镜排列方式的任意一种有序排列。在本实施例中，所述RGB-IR图像中的R像素、G像素、B像素及IR像素，按照图1A中的第一种滤镜排列方式进行排列。
步骤S2：选取所述RGB-IR图像上的像素为中心像素点，并以所述中心像素点为中心，选取一个像素单元。
可以理解，每一RGB-IR图像，具有不同的图像尺寸，通常图像尺寸以M*N表示。其中M表示图片宽度，即图像上每一行具有的像素个数。N表示图片高度，即图片上每一列具有的像素个数。如此，所述RGB-IR图像可依据其像素构成一图像坐标系，其中每个像素具有一图像坐标。
例如，请一并参阅图3，针对于所述RGB-IR图像，可以以左上角的像素为原点，分别建立u轴及v轴。其中u轴用以表示所述像素所在的列数。所述v轴，用以表示所述像素所在的行数。如此，每一像素可通过坐标(u，v)表示该像素在所述RGB-IR图像中的位置。例如，所述RGB-IR图像的左上角像素坐标为(1，1)，所述左上角往下一个像素的坐标为(1，2)。以此类推，可获得整幅RGB-IR图像中每个像素的坐标。可以理解，所述u的取值范围为1至M，所述v的取值范围为1至N。
优选地，所述像素单元的选取可根据具体需求进行调整，例如为可选取包含3*3个像素的像素单元、包含5*5个像素的像素单元或包含5*5个像素的像素单元。在本实施例中，所述像素单元包含5*5个像素。
可以理解，在步骤S2中，每选取一个中心像素点，同时获得所述中心像素点的坐标。由于所述像素单元以所述中心像素点为中心，故由所述中心像素点的坐标，可推知所述像素单元内每一像素的坐标。
步骤S3：对所述中心像素点进行插值处理，以获得所述中心像素点的缺失颜色分量。
可以理解，在本实施例中，由于所述RGB-IR图像中每个像素具有基本颜色分量，故对于所述中心像素点，只需补充该中心像素点RGB分量中的缺失颜色分量。例如，当所述中心像素点为R像素时，所述中心像素点的基本颜色分量为R分量，故只需补充所述中心像素点的G分量及B分量即可。当所述中心像素点为IR像素时，所述中心像素点的基本颜色分量为IR分量，故需补充所述中心像素点的R分量、G分量及B分量。
可以理解，在本实施例中，所述RGB-IR图像上的每个像素有两个缺失颜色分量或三个缺失颜色分量。所述插值过程，即是选取所述像素单元中所有R分量的R强度值的均值、所有G分量的G强度值的均值、所有B分量的B强度值的均值中的三个值或两个值，赋值予所述中心像素点，使所述中心像素点的缺失颜色分量具有相应的强度值，从而获取所述中心像素点缺失的颜色分量。
因此，在对所述中心像素点插值之前，还包括判断所述像素单元内每个像素的基本颜色分量，并确定所述中心像素点的缺失颜色分量。判断完成之后，通过计算所述像素单元内，与所述中心像素点的缺失颜色分量相同颜色的颜色分量的强度值均值，并将所述强度值均值赋值予所述中心像素点，从而获得所述中心像素点的缺失颜色分量，完成插值过程。
可以理解，由于所述RGB-IR图像中的每个像素有序排列，故可由所述像素单元内每一像素的图像坐标判断所述每一像素的基本颜色分量。所述判断方法为：以所述RGB-IR图像的像素的u坐标及v坐标向量分别除以4，可得到余数0或1或2或3。当u坐标被整除后得到的余数为1，则与所述像素具有相同颜色分量的图1A中像素矩阵的像素的u轴坐标为1；当u坐标被整除后得到的余数为2，则与所述像素具有相同颜色分量的图1A中像素矩阵的像素的u轴坐标为2；当u坐标被整除后得到的余数为3，则与所述像素具有相同颜色分量的图1A中像素矩阵的像素的u轴坐标为3；当u坐标被整除后得到的余数为0，则与所述像素具有相同颜色分量的图1A中像素矩阵的像素的u轴坐标为4。同理可得，当v坐标被整除后得到的余数为1，则与所述像素具有相同颜色分量的图1A中像素矩阵的像素的v轴坐标为1；当v坐标被整除后得到的余数为2，则与所述像素具有相同颜色分量的图1A中像素矩阵的像素的v轴坐标为2；当v坐标被整除后得到的余数为3，则与所述像素具有相同颜色分量的图1A中像素矩阵的像素的v轴坐标为3；当v坐标被整除后得到的余数为0，则与所述像素具有相同颜色分量的图1A中像素矩阵的像素的v轴坐标为4。
例如，对于所述RGB-IR图像中坐标为(16，1)的像素，将所述像素的u坐标与v坐标分别除以4。由于16可被4除余数为0，1被4除余数为1，故坐标为(16，1)的像素包含的颜色通道与图1A中图像坐标为(4，1)的像素具有相同的基本颜色分量。
可以理解，当所述中心像素点处于图像的边缘位置，即所述中心像素点为边缘像素时，则选取的像素单元将包含空白像素。在本实施例中，所述空白像素不做参考，即所述像素单元在计算RGB颜色通道的通道均值时不将所述空白像素的个数计入。在本实施例中，根据选取的中心像素点的不同，将所述像素单元分为边缘像素单元、IR像素单元及完全像素单元。
当选取的中心像素点为边缘像素时，划定的像素单元为边缘像素单元，所述边缘像素单元包含部分空白像素。可以理解，所述边缘像素的确定与所述像素单元的大小有关。当所述像素单元为n*n像素单元时，且n/2的整数商为c，则所述RGB-IR图像中的前c行、前c列、最后c行及最后c列的所有像素为边缘像素。请参阅图3，在本实施例中，所述像素单元为5*5像素单元，由于5/2的整数商为2，则所述RGB-IR图像中的前两列、前两行、最后两列及最后两行的所有像素均为边缘像素。
当选取的中心像素点为IR像素时，以所述中心像素点选取的像素单元为IR像素单元。
当选取的中心像素点既不为边缘像素，也不为IR像素时，所述像素单元为完全像素单元。
可以理解，每选取一个中心像素点，同时获得所述中心像素点的坐标。通过所述中心像素点的坐标，可判断所述中心像素点的基本颜色分量、缺失颜色分量，及包含所述中心像素点的像素单元内的每个像素的坐标。由于所述RGB-IR图像上的每一像素有序排列，故由所述像素单元内的每一像素的坐标，可判断所述像素单元内每个像素的基本颜色分量。
可以理解，所述RGB-IR图像上像素的缺失颜色分量为RGB三种颜色分量中缺失的分量，即所述缺失颜色分量为R分量、G分量及B分量中的任意两种颜色分量或全部颜色分量。
所述RGB-IR图像上的R像素、G像素及B像素分别具有两个缺失颜色分量，IR像素具有三个缺失颜色分量。进一步的，所述缺失颜色分量分别对应一颜色强度值，通过对所述中心像素点的缺失颜色分量的颜色强度值进行赋值，从而使得所述中心像素点获得相应的缺失颜色分量。可以理解，所述像素单元内存在与所述缺失颜色分量相同颜色的对应颜色分量。
具体地，统计所述像素单元内对应颜色分量的总数Sa、及所述像素单元内对应颜色分量的强度值的总和Sb。则所述对应颜色分量的颜色强度值的均值
S0＝[Sb/Sa]   (1)
在本实施方式中，对所述颜色强度值的均值进行向下取整，即对于Sb/Sa求得的实际值，忽略其小数点后的值，只取整数。
将所述S0赋值于所述中心像素点的RGB分量中的缺失颜色分量，则所述中心像素点获取所述缺失颜色分量。
步骤S4：根据所述步骤S2及步骤S3，依次对所述RGB-IR图像上的每个像素进行插值处理，以获得每个像素的缺失颜色分量。
本实施例中，从所述RGB-IR图像的左上角的像素开始插值，当一行像素插值完毕，再从下一行像素的左边开始插值，直至整个RGB-IR图像所有的像素插值完成。
S5：输出经过差值处理后的图像。
可以理解，在本实施例中，所述经过插值处理后的图像中的每一个像素包含有R分量、G分量及B分量。
请参阅图3至图5，下面以像素单元分别为边缘像素单元、所述像素单元为IR像素单元及所述像素单元为IR像素单元为例，分别对步骤S3进行具体说明。
其中，图3表示当所述像素单元为边缘像素单元时，求取所述中心像素点的缺失颜色分量的示意图。图3中“B1”表示所述像素为B像素，且所述B像素的强度值为1。同理，“IR6”表示所述像素为IR像素，且所述IR像素的强度值为6。可以理解，图3至图5中标出的部分像素强度值仅为方便说明书的叙述，其他像素的强度值在图中未标示。可以理解，在步骤S3中已判断出所述边缘像素单元内每一像素的基本颜色分量。
请参阅图3，图3中选取的中心像素点为G像素，则所述中心像素点的缺失颜色分量为R分量及B分量。因此，在本实施例中，需统计所述边缘像素单元内R分量及B分量的强度值均值。
在本实施例中，所述边缘像素单元包含2个R分量，强度值分别为3和9。即所述两个R分量的强度值的总和为12。所述边缘像素单元包含两个B分量，强度值分别为1和11，即所述两个B分量的强度值的总和为12。将所述像素单元内R分量的总数2及所述R分量的强度值的总和12代入所述公式(1)，得到所述边缘像素单元内的R分量的强度值均值SR
Figure BDA0002363365270000081
同理，将所述像素单元内B分量的总数2及所述B分量的强度值的总和12代入所述公式(1)，得到所述边缘像素单元内的B分量的强度值均值
Figure BDA0002363365270000082
将所述R分量的强度值均值及所述B分量的强度值均值分别对应赋值予所述中心像素点缺失的R分量及B分量，则所述中心像素点由原来的B像素转换为具有R分量、G分量及B分量的RGB像素，且所述中心像素点的RGB向量为(6，2，6)。
请参阅图4，图4为当所述像素单元为IR像素单元时，求取所述中心像素点的缺失颜色分量的示意图。图4中选取的中心像素点为IR像素，则所述中心像素点的缺失颜色分量为R分量、G分量及B分量。因此，在本实施例中，需统计所述IR像素单元内R分量、G分量及B分量的强度值均值。
在本实施例中，所述IR像素单元内包含2个R分量、12个G分量及两个B分量。同理，由公式(1)可得：
所述IR像素单元内的R分量的强度值均值为：
Figure BDA0002363365270000083
所述IR像素单元内的G分量的强度值均值为：
Figure BDA0002363365270000091
所述IR像素单元内的B分量的强度值均值为：
Figure BDA0002363365270000092
将所述R分量的强度值均值、B分量的强度值均值及所述B分量的强度值均值分别对应赋值予所述中心像素点缺失的R分量、G分量及B分量，则所述中心像素点由原来的B像素转换为具有R分量、G分量及B分量的RGB像素，且所述中心像素点的RGB向量为(13，13，13)。
请参阅图5，图5为所述像素单元为完全像素单元时，求取所述中心像素点的缺失颜色分量的示意图。图5中选取的中心像素点为G像素，则所述中心像素点的缺失颜色分量为R分量及B分量。因此，在本实施例中，需统计所述完全像素单元内R分量及B分量的强度值均值。
在本实施例中，所述完全像素单元内包含3个R分量及3个B分量。同理，由公式(1)可得：
所述IR像素单元内的R分量的强度值均值为：
Figure BDA0002363365270000093
所述IR像素单元内的B分量的强度值均值为：
Figure BDA0002363365270000094
将所述R分量的强度值均值及所述B分量的强度值均值，分别对应赋值予所述中心像素点缺失的R分量及B分量，则所述中心像素点由原来的B像素转换为具有R分量、G分量及B分量的RGB像素，且所述中心像素点的RGB向量为(11，13，14)。
可以理解，本发明通过对所述RGB-IR图像上的每一像素进行插值处理，以补充所述每一像素的缺失颜色向量，从而使所述图像上的每一像素均具有R分量、G分量及B分量。
请参阅图6，本发明另一方面还提供一种基于RGB-IR图像传感器的图像格式转换装置100。所述图像格式转换装置100包括第一获取单元10、第二获取单元20、插值处理单元30及图像输出单元40。
所述第一获取单元10用以从一RGB-IR图像传感器获取一RGB-IR图像。所述RGB-IR图像中的像素，按照图1A或图1B两种RGB-IR滤镜排列方式中的任一种有序排列。
所述第二获取单元20，用以获取所述RGB-IR图像上的像素作为中心像素点，并以所述中心像素点为中心，选取一个像素单元。
可以理解，每选取一个中心像素点，同时获得所述中心像素点的坐标。由于所述像素单元以所述中心像素点为中心，故由所述中心像素点的坐标，可推知所述像素单元内每一像素的坐标。
所述像素单元为正方形的像素单元，且包含奇数个像素。例如，所述像素单元可包含3*3个像素、5*5个像素或7*7个像素中的一种。可以理解，所述像素单元的大小可根据实际需要进行调整。
所述插值处理单元30，用以对所述中心像素点插值，得到所述中心像素点的缺失颜色分量。
所述插值处理单元30包括判断单元31、统计单元32及转换单元33。
所述判断单元31用以对所述像素单元内每个像素的坐标进行计算，从而判断所述像素单元内每个像素的基本颜色分量，并确定所述中心像素点的缺失颜色分量。所述统计单元32用以统计所述像素单元内缺失颜色分量的总数及强度值总和，从而计算所述像素单元内对应所述缺失颜色分量的强度值均值。所述转换单元32用以将所述强度值均值赋值予所述中心像素点，从而得到所述中心像素点的缺失颜色分量。
本发明通过以每个像素为中心像素点，逐个获取像素单元，并以所述像素单元内与所述中心像素点的缺失颜色分量同一颜色的颜色分量的强度值均值，赋值予所述中心像素点，从而得到所述中心像素点的缺失颜色分量，最终完成所述RGB-IR图像每个像素的单颜色分量至多颜色分量的转换，解决了RGB-IR图像单元的图像格式转换问题。
以上实施方式仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换都不应脱离本发明技术方案的精神和范围。本领域技术人员还可在本发明精神内做其它变化等用在本发明的设计，只要其不偏离本发明的技术效果均可。这些依据本发明精神所做的变化，都应包含在本发明所要求保护的范围之内。

Claims (9)

1.一种基于RGB-IR图像传感器的图像格式转换方法，其特征在于：所述图像格式转换方法包括以下步骤：
(a)获取一RGB-IR图像；
(b)选取所述RGB-IR图像上的像素为中心像素点，并以所述中心像素点为中心，选取一个像素单元，所述像素单元包括边缘像素单元，且当所述像素单元为n*n像素单元时，且n/2的整数商为c，则所述RGB-IR图像中的前c行、前c列、最后c行及最后c列的所有像素为边缘像素；
(c)对所述中心像素点进行插值处理，以获得所述中心像素点的缺失颜色分量其中，所述边缘像素单元的中心像素点为所述RGB-IR图像的任一边缘像素，且所述边缘像素单元包括空白像素，所述空白像素在所述插值处理中不做参考；
(d)根据所述步骤(b)及步骤(c)，依次对所述RGB-IR图像上的每个像素进行插值处理，以获得每个像素的缺失颜色分量；
(e)输出经过插值处理后的图像。
2.如权利要求1所述的图像格式转换方法，其特征在于：所述RGB-IR图像的每一像素包含一种基本颜色分量，所述基本颜色分量为R分量、G分量、B分量及IR分量中的任意一种。
3.如权利要求1所述的图像格式转换方法，其特征在于：所述缺失颜色分量为R分量、G分量及B分量或所述R分量、G分量及B分量的任意两种颜色分量。
4.如权利要求1所述的图像格式转换方法，其特征在于：执行所述步骤(b)之前，还包括：
判断所述像素单元内每个像素的基本颜色分量，并确定所述中心像素点的缺失颜色分量。
5.如权利要求1所述的图像格式转换方法，其特征在于：所述像素单元包括IR像素单元及完全像素单元。
6.如权利要求5所述的图像格式转换方法，其特征在于：所述IR像素单元的中心像素点为所述RGB-IR图像的任一IR像素，所述IR像素的缺失颜色分量为R分量、G分量及B分量。
7.如权利要求5所述的图像格式转换方法，其特征在于：完全像素单元的中心像素点为所述RGB-IR图像上除了边缘像素及IR像素外的任一像素。
8.如权利要求1所述的图像格式转换方法，其特征在于：步骤(d)中，从所述RGB-IR图像的左上角的像素开始插值，当一行像素插值完毕，再从下一行像素的左边开始插值，直至整个RGB-IR图像所有的像素插值完成。
9.一种基于RGB-IR图像传感器的图像格式转换装置，包括：
第一获取单元，用以从一RGB-IR图像传感器获取一RGB-IR图像；
第二获取单元，用以从所述RGB-IR图像中获取一中心像素点，并以所述中心像素点为中心，选取一像素单元，所述像素单元包括边缘像素单元，且当所述像素单元为n*n像素单元时，且n/2的整数商为c，则所述RGB-IR图像中的前c行、前c列、最后c行及最后c列的所有像素为边缘像素；
插值处理单元，用以对所述中心像素点进行插值，补充所述中心像素点的缺失颜色分量，其中，所述边缘像素单元的中心像素点为所述RGB-IR图像的任一边缘像素，且所述边缘像素单元包括空白像素，所述空白像素在所述插值处理中不做参考；
及图像输出单元，用以输出经过插值处理后的图像。
CN202010028528.5A 2020-01-11 2020-01-11 基于rgb-ir图像传感器的图像格式转换方法及装置 Active CN113115010B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010028528.5A CN113115010B (zh) 2020-01-11 2020-01-11 基于rgb-ir图像传感器的图像格式转换方法及装置
US17/002,075 US11483504B2 (en) 2020-01-11 2020-08-25 Method and system for image format conversion applied to RGB-IR image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010028528.5A CN113115010B (zh) 2020-01-11 2020-01-11 基于rgb-ir图像传感器的图像格式转换方法及装置

Publications (2)

Publication Number Publication Date
CN113115010A CN113115010A (zh) 2021-07-13
CN113115010B true CN113115010B (zh) 2023-04-18

Family

ID=76708685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010028528.5A Active CN113115010B (zh) 2020-01-11 2020-01-11 基于rgb-ir图像传感器的图像格式转换方法及装置

Country Status (2)

Country Link
US (1) US11483504B2 (zh)
CN (1) CN113115010B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375740A (zh) * 2016-09-28 2017-02-01 华为技术有限公司 生成rgb图像的方法、装置和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
JP2012239103A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN102630018B (zh) * 2012-03-27 2014-07-23 上海算芯微电子有限公司 去马赛克的方法和装置
KR101923957B1 (ko) * 2017-04-21 2018-11-30 주식회사 아이닉스 감도 개선을 위한 영상 처리 장치 및 방법
CN109285113B (zh) * 2017-07-21 2022-11-22 北京遥感设备研究所 一种基于梯度的改进彩色图像插值方法
CN109276231A (zh) 2018-11-15 2019-01-29 豪威科技(上海)有限公司 一种成像系统及成像方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375740A (zh) * 2016-09-28 2017-02-01 华为技术有限公司 生成rgb图像的方法、装置和系统

Also Published As

Publication number Publication date
US11483504B2 (en) 2022-10-25
US20210218917A1 (en) 2021-07-15
CN113115010A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN101083724B (zh) 具有提供增强动态范围图像的交错读取的cmos图像系统
US7872681B2 (en) System and method for a high performance color filter mosaic array
CN102959958B (zh) 彩色成像设备
US5990950A (en) Method and system for color filter array multifactor interpolation
EP2728545B1 (en) Image processing method and device based on bayer format
US8854511B2 (en) Apparatus and method for image processing and storage medium, and image pickup apparatus
CN101006731A (zh) 图像处理装置及图像处理方法、摄像装置以及计算机程序
CN108171657B (zh) 图像插值方法及装置
CN102893609B (zh) 图像处理设备和图像处理设备的控制方法
EP3902242B1 (en) Image sensor and signal processing method
CN108122201A (zh) 一种拜耳插值拉链效应去除方法
US20050069218A1 (en) Image processing apparatus performing pixel similarity judgment and image processing program
CN101282486A (zh) 图像处理设备
EP2800381A1 (en) Image processing device and method, and imaging device
CN108513112B (zh) 基于颜色滤光器阵列的图像处理方法
US20140307121A1 (en) Image processing device and imaging device
CN114331916A (zh) 图像处理方法及电子设备
US20150055861A1 (en) Methods and Systems for Image Demosaicing
EP2728885B1 (en) Imaging device and imaging program
CN113115010B (zh) 基于rgb-ir图像传感器的图像格式转换方法及装置
EP2731335A1 (en) Imaging device, imaging method, and imaging program
CN107786857B (zh) 一种图像还原方法及装置
US7324138B2 (en) False-color reducing device
TWI730587B (zh) 基於rgb-ir圖像感測器的圖像格式轉換方法及裝置
JP4805294B2 (ja) デジタル画像の画像解像度を低減するカラービニング

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant