CN113438430A - 适用于计算机视觉处理的光学识别系统 - Google Patents

适用于计算机视觉处理的光学识别系统 Download PDF

Info

Publication number
CN113438430A
CN113438430A CN202010320794.5A CN202010320794A CN113438430A CN 113438430 A CN113438430 A CN 113438430A CN 202010320794 A CN202010320794 A CN 202010320794A CN 113438430 A CN113438430 A CN 113438430A
Authority
CN
China
Prior art keywords
pixel
green
infrared
light
red
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010320794.5A
Other languages
English (en)
Inventor
马清轩
蔡孟哲
黄熙钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weltrend Semiconductor Inc
Original Assignee
Weltrend Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weltrend Semiconductor Inc filed Critical Weltrend Semiconductor Inc
Publication of CN113438430A publication Critical patent/CN113438430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Pyrane Compounds (AREA)
  • Holo Graphy (AREA)
  • Multi Processors (AREA)

Abstract

光学识别系统包含4x4矩阵图像传感器、两组线缓冲器，和内插单元。4x4矩阵图像传感器包含排列成拜耳阵列的2个红光像素、8个绿光像素、2个蓝光像素，和4个红外光像素。两组线缓冲器用来储存像素的亮度信息。内插单元依据缓冲单元所储存的亮度信息来插补每一像素中缺少的成份，进而输出图像数据，其中该图像数据包含相关每一像素的亮度信息的全彩亮度信息。

Description

适用于计算机视觉处理的光学识别系统
技术领域
本发明相关于一种适用于计算机视觉处理的光学识别系统，尤指一种包含4x4kernel图像传感器且适用于计算机视觉处理的光学识别系统。
背景技术
消费性电子产品常会使用图像传感器来将光学图像转换成电子信号，进而制作彩色图像。图像传感器多半使用感光耦合元件(charge-coupled device,CCD)或互补式金属氧化物半导体主动像素传感器(CMOS active pixel sensor)等感光元件，再利用特定排列的滤色阵列来感知每种色彩的强弱，最后再对收集到的亮度信息来进行插补和校正等处理以制作全彩图像。
图1为先前技术光学识别系统中所采用2x2矩阵(kernel)图像传感器的示意图。2x2kernel图像传感器包含红光像素R绿光像素G、一蓝光像素B，以及红外光像素IR，其中每一像素中缺少的成份可依据其周围像素的亮度信息来进行插补。举例来说，可依据绿光像素G的亮度信息来插补红光像素R中的绿光成份，可依据蓝光像素B的亮度信息来插补红光像素R中的蓝光成份，并依据红外光像素IR的亮度信息来插补红光像素R中的红外光成份。
然而，先前技术光学识别系统系针对人眼应用，需使用很多组线缓冲器(linebuffer)来储存多条扫描线的亮度信息以插补RGB图像和IR图像，以及使用复杂演算法来还原人眼识别所需的图像特征。
发明内容
本发明提供一种适用于计算机视觉处理的光学识别系统，其包含4x4矩阵图像传感器、缓冲单元，以及内插单元。该4x4矩阵图像传感器包含第一和第二红光像素、第一至第八绿光像素、第一和第二蓝光像素和第一至第四个红外光像素，该4x4 kernel图像传感器中的像素组成相邻的第一至第四扫描线。该缓冲单元用来储存该第一至第四扫描线中至少两条扫描线的亮度信息。该内插单元依据该缓冲单元所储存的亮度信息来插补每一像素中缺少的成份，进而输出图像数据，其中该图像数据包含相关每一像素的亮度信息的全彩亮度信息。
附图说明
图1为先前技术光学识别系统中所采用2x2 kernel图像传感器的示意图。
图2为本发明实施例中一种适用于计算机视觉处理的光学识别系统的功能方块图。
图3为本发明另一实施例中一种适用于计算机视觉处理的光学识别系统的功能方块图。
图4为本发明实施例中图像捕获装置所采用4x4 kernel图像传感器的示意图。
图5为本发明实施例中图像捕获装置10中位于第m列和第n行的4x4kernel图像传感器PX(n,m)的示意图。
具体实施方式
图2为本发明实施例中一种适用于计算机视觉处理的光学识别系统100的功能方块图。图3为本发明另一实施例中一种适用于计算机视觉处理的光学识别系统200的功能方块图。光学识别系统100和200各包含图像捕获装置10、内插单元20、缓冲单元30、校正单元40、输出决策单元50，以及计算机视觉处理单元60。光学识别系统100还包含图像信号处理器(image signal processor,ISP)70。
在光学识别系统100和200中，图像捕获装置10包含至少一组4x4 kernel图像传感器，每一4x4 kernel图像传感器可由感光元件和滤色阵列所组成，其包含排列成拜耳(Bayer)阵列的多个红光像素、多个绿光像素、多个蓝光像素，以及多个红外光像素，上述像素形成相邻的四条扫描线。
图4为本发明实施例中图像捕获装置10实施方式的示意图。本发明图像捕获装置10可包含多个以阵列方式设置的4x4 kernel图像传感器，亦即水平方向有M列4x4 kernel图像传感器，而垂直方向有N行4x4 kernel图像传感器，其中M和N为大于1的整数。每一4x4kernel图像传感器包含2个红光像素、8个绿光像素、2个蓝光像素，以及4个红外光像素，其中R代表红光像素、G代表绿光像素、B代表红光像素、IR代表红外光像素，且括号内的数字代表每一像素的坐标。针对可见光的识别，绿光像素的数量多于红光像素和蓝光像素的原因是为了反应人眼对各种颜色的敏感度，亦即在可见光中人眼对绿色最为敏感，红色次之，而蓝色最不敏感。为了说明目的，假设图像捕获装置10的扫描方向为水平，每一扫描线分别由S0～S4N-1来代表，而箭头方向对应扫描方向。
图5为本发明实施例中图像捕获装置10中位于第m列和第n行的4x4kernel图像传感器PX(n,m)的示意图。4x4 kernel图像传感器PX(n,m)包含2个红光像素R(4n,4m+1)和R(4n+2,4m+3)、8个绿光像素G(4n,4m)、G(4n,4m+2)、G(4n+1,4m+1)、G(4n+1,4m+3)、G(4n+2,4m)、G(4n+2,4m+2)、G(4n+3,4m+1)和G(4n+3,4m+3)、2个蓝光像素B(4n,4m+3)和B(4n+2,4m+1)，以及4个红外光像素IR(4n+1,4m)、IR(4n+1,4m+2)、IR(4n+3,4m)和IR(4n+3,4m+2)，其中M和N为大于3的整数，m为介于1和M之间的整数，而n为介于1和N之间的整数。为了说明内插单元20对4x4 kernel图像传感器PX(n,m)中每一坐标进行插补的方式，图5另显示4x4kernel图像传感器PX(n,m)周围的6个4x4 kernel图像传感器PX(n-1,m-1)、PX(n-1,m)、PX(n-1,m+1)、PX(n,m-1)、PX(n,m+1)、PX(n+1,m-1)、PX(n+1,m)和PX(n+1,m+1)中会使用到的像素。
在本发明的实施例中，光学识别系统100和200中的缓冲单元30包含两组线缓冲器。因此针对4x4 kernel图像传感器PX(n,m)中红光像素所在的坐标，其红光成份可由该坐标红光像素的亮度信息来提供，其绿光成份可由内插单元20依据相邻该坐标红光像素的4个绿光像素的亮度信息来进行插补，其蓝光成份可由内插单元20依据水平方向最接近该坐标红光像素的2个蓝光像素的亮度信息来进行插补，而其红外光成份可由内插单元20依据最接近该坐标红光像素的4个红外光像素的亮度信息来进行插补。
针对4x4 kernel图像传感器PX(n,m)中绿光像素所在的坐标，其红光成份可由内插单元20依据水平方向或垂直方向相邻该坐标绿光像素的1个红光像素的亮度信息来进行插补，其绿光成份可由该坐标绿光像素的亮度信息来提供，其蓝光成份可由内插单元20依据水平方向或垂直方向相邻该坐标绿光像素的1个蓝光像素的亮度信息来进行插补，而其红外光成份可由内插单元20依据水平方向或垂直方向相邻该坐标绿光像素的2个红外光像素的亮度信息来进行插补。
针对4x4 kernel图像传感器PX(n,m)中蓝光像素所在的坐标，其红光成份可由内插单元20依据水平方向最接近该坐标蓝光像素的2个红光像素的亮度信息来进行插补，其绿光成份可由内插单元20依据水平方向和垂直方向相邻该坐标蓝光像素的4个绿光像素的亮度信息来进行插补，其蓝光成份可由该坐标蓝光像素的亮度信息来提供，而其红外光成份可由内插单元20依据最接近该坐标蓝光像素的4个红外光像素的亮度信息来进行插补。
针对4x4 kernel图像传感器PX(n,m)中红外光像素所在的坐标，其红光成份可由内插单元20依据最接近该坐标红外光像素的2个红光像素的亮度信息来进行插补，其绿光成份可由内插单元20依据水平方向和垂直方向相邻该坐标红外光像素的4个绿光像素的亮度信息来进行插补，其蓝光成份可由内插单元20依据最接近该坐标红外光像素的2个蓝光像素的亮度信息来进行插补，而其红外光成份可由该坐标红外光像素的亮度信息来提供。
更详细地说，针对位于坐标(4n,4m)的绿光像素，其红光成份R’(4n,4m)、绿光成份G’(4n,4m)、蓝光成份B’(4n,4m)和红外光成份IR’(4n,4m)的插补方式如下所示：
R’(4n,4m)＝R(4n,4m+1)
G’(4n,4m)＝G(4n,4m)
B’(4n,4m)＝B(4n,4m-1)
IR’(4n,4m)＝[IR(4n-1,4m)+IR(4n+1,4m)]/2
针对位于坐标(4n,4m+1)的红光像素，其红光成份R’(4n,4m+1)、绿光成份G’(4n,4m+1)、蓝光成份B’(4n,4m+1)和红外光成份IR’(4n,4m+1)的插补方式如下所示：
R’(4n,4m+1)＝R(4n,4m+1)
G’(4n,4m+1)＝[G(4n-1,4m+1)+G(4n,4m)+G(4n,4m+2)+G(4n+1,4m+1)]/4
B’(4n,4m+1)＝[B(4n,4m-1)+B(4n,4m+3)]/2
IR’(4n,4m+1)＝[IR(4n-1,4m)+IR(4n-1,4m+2)+IR(4n+1,4m)+
IR(4n+1,4m+2)]/4
针对位于坐标(4n,4m+2)的绿光像素，其红光成份R’(4n,4m+2)、绿光成份G’(4n,4m+2)、蓝光成份B’(4n,4m+2)和红外光成份IR’(4n,4m+2)的插补方式如下所示：
R’(4n,4m+2)＝R(4n,4m+1)
G’(4n,4m+2)＝G(4n,4m+2)
B’(4n,4m+2)＝B(4n,4m+3)
IR’(4n,4m+2)＝[IR(4n-1,4m+2)+IR(4n+1,4m+2)]/2
针对位于坐标(4n,4m+3)的蓝光像素，其红光成份R’(4n,4m+3)、绿光成份G’(4n,4m+3)、蓝光成份B’(4n,4m+3)和红外光成份IR’(4n,4m+3)的插补方式如下所示：
R’(4n,4m+3)＝[R(4n,4m+1)+R(4n,4m+5)]/2
G’(4n,4m+3)＝[G(4n-1,4m+3)+G(4n,4m+2)+G(4n,4m+4)+
G(4n+1,4m+3)]/4
B’(4n,4m+3)＝B(4n,4m+3)
IR’(4n,4m+3)＝[IR(4n-1,4m+2)+IR(4n-1,4m+4)+IR(4n+1,4m+2)+IR(4n+1,4m+4)]/4
针对位于坐标(4n+1,4m)的红外光像素，其红光成份R’(4n+1,4m)、绿光成份G’(4n+1,4m)、蓝光成份B’(4n+1,4m)和红外光成份IR’(4n+1,4m)的插补方式如下所示：
R’(4n+1,4m)＝[R(4n,4m+1)+R(4n+2,4m-1)]/2
G’(4n+1,4m)＝[G(4n,4m)+G(4n+1,4m-1)+G(4n+1,4m+1)+
G(4n+2,4m]/4
B’(4n+1,4m)＝[B(4n,4m-1)+B(4n+2,4m+1)]/2
IR’(4n+1,4m)＝IR(4n+1,4m)
针对位于坐标(4n+1,4m+1)的绿光像素，其红光成份R’(4n+1,4m+1)、绿光成份G’(4n+1,4m+1)、蓝光成份B’(4n+1,4m+1)和红外光成份IR’(4n+1,4m+1)的插补方式如下所示：
R’(4n+1,4m+1)＝R(4n,4m+1)
G’(4n+1,4m+1)＝G(4n+1,4m+1)
B’(4n+1,4m+1)＝B(4n+2,4m+1)
IR’(4n+1,4m+1)＝[IR(4n+1,4m)+IR(4n+1,4m+2)]/2
针对位于坐标(4n+1,4m+2)的红外光像素，其红光成份R’(4n+1,4m+2)、绿光成份G’(4n+1,4m+2)、蓝光成份B’(4n+1,4m+2)和红外光成份IR’(4n+1,4m+2)的插补方式如下所示：
R’(4n+1,4m+2)＝[R(4n,4m-1)+R(4n+2,4m+3)]/2
G’(4n+1,4m+2)＝[G(4n,4m+2)+G(4n+1,4m+1)+G(4n+1,4m+3)+G(4n+2,4m+2]/4
B’(4n+1,4m+2)＝[B(4n,4m+3)+B(4n+2,4m+1)]/2
IR’(4n+1,4m+2)＝IR(4n+1,4m+2)
针对位于坐标(4n+1,4m+3)的绿光像素，其红光成份R’(4n+1,4m+3)、绿光成份G’(4n+1,4m+3)、蓝光成份B’(4n+1,4m+3)和红外光成份IR’(4n+1,4m+3)的插补方式如下所示：
R’(4n+1,4m+3)＝R(4n+2,4m+3)
G’(4n+1,4m+3)＝G(4n+1,4m+3)
B’(4n+1,4m+3)＝B(4n,4m+3)
IR’(4n+1,4m+3)＝[IR(4n+1,4m+2)+IR(4n+1,4m+4)]/2
坐标(4n+2,4m)的绿光像素，其红光成份R’(4n+2,4m)、绿光成份G’(4n+2,4m)、蓝光成份B’(4n+2,4m)和红外光成份IR’(4n+2,4m)的插补方式如下所示：
R’(4n+2,4m)＝R(4n+2,4m-1)
G’(4n+2,4m)＝G(4n+2,4m)
B’(4n+2,4m)＝B(4n+2,4m+1)
IR’(4n+2,4m)＝[IR(4n+1,4m)+IR(4n+3,4m)]/2
针对位于坐标(4n+2,4m+1)的蓝光像素，其红光成份R’4n+2,4m+1)、绿光成份G’(4n+2,4m+1)、蓝光成份B’(4n+2,4m+1)和红外光成份IR’(4n+2,4m+1)的插补方式如下所示：
R’(4n+2,4m+1)＝[R(4n+2,4m-1)+R(4n+2,4m+3)]/2
G’(4n+2,4m+1)＝[G(4n+1,4m+1)+G(4n+2,4m)+G(4n+2,4m+2)+G(4n+3,4m+1)]/4
B’(4n+2,4m+1)＝B(4n+2,4m+1)
IR’(4n+2,4m+1)＝[IR(4n+1,4m)+IR(4n+1,4m+2)+IR(4n+3,4m)+IR(4n+3,4m+2)]/4
针对位于坐标(4n+2,4m+2)的绿光像素，其红光成份R’(4n+2,4m+2)、绿光成份G’(4n+2,4m+2)、蓝光成份B’(4n+2,4m+2)和红外光成份IR’(4n+2,4m+2)的插补方式如下所示：
R’(4n+2,4m+2)＝R(4n+2,4m+3)
G’(4n+2,4m+2)＝G(4n+2,4m+2)
B’(4n+2,4m+2)＝B(4n+2,4m+1)
IR’(4n+2,4m+2)＝[IR(4n+1,4m+2)+IR(4n+3,4m+2)]/2
针对位于坐标(4n+2,4m+3)的红光像素，其红光成份R’(4n+2,4m+3)、绿光成份G’(4n+2,4m+3)、蓝光成份B’(4n+2,4m+3)和红外光成份IR’(4n+2,4m+3)的插补方式如下所示：
R’(4n+2,4m+3)＝R(4n+2,4m+3)
G’(4n+2,4m+3)＝[G(4n+1,4m+3)+G(4n+2,4m+2)+G(4n+2,4m+4)+G(4n+3,4m+3)]/4
B’(4n+2,4m+3)＝[B(4n+2,4m+1)+B(4n+2,4m+5)]/2
IR’(4n+2,4m+3)＝[IR(4n+1,4m+2)+IR(4n+1,4m+4)+IR(4n+3,4m+2)+IR(4n+3,4m+4)]/4
针对位于坐标(4n+3,4m)的红外光像素，其红光成份R’(4n+3,4m)、绿光成份G’(4n+3,4m)、蓝光成份B’(4n+3,4m)和红外光成份IR’(4n+3,4m)的插补方式如下所示：
R’(4n+3,4m)＝[R(4n+2,4m-1)+R(4n+4,4m+1)]/2
G’(4n+3,4m)＝[G(4n+2,4m)+G(4n+3,4m-1)+G(4n+3,4m+1)+G(4n+4,4m]/4
B’(4n+3,4m)＝[B(4n+2,4m+1)+B(4n+4,4m-1)]/2
IR’(4n+3,4m)＝IR(4n+3,4m)
针对位于坐标(4n+3,4m+1)的绿光像素，其红光成份R’(4n+3,4m+1)、绿光成份G’(4n+3,4m+1)、蓝光成份B’(4n+3,4m+1)和红外光成份IR’(4n+3,4m+1)的插补方式如下所示：
R’(4n+3,4m+1)＝R(4n+4,4m+1)
G’(4n+3,4m+1)＝G(4n+3,4m+1)
B’(4n+3,4m+1)＝B(4n+2,4m+1)
IR’(4n+3,4m+1)＝[IR(4n+3,4m)+IR(4n+3,4m+2)]/2
针对位于坐标(4n+3,4m+2)的红外光像素，其红光成份R’(4n+3,4m+2)、绿光成份G’(4n+3,4m+2)、蓝光成份B’(4n+3,4m+2)和红外光成份IR’(4n+3,4m+2)的插补方式如下所示：
R’(4n+3,4m+2)＝[R(4n+2,4m+3)+R(4n+4,4m+1)]/2
G’(4n+3,4m+2)＝[G(4n+2,4m+2)+G(4n+3,4m+1)+G(4n+3,4m+3)+G(4n+4,4m+2]/4
B’(4n+3,4m+2)＝[B(4n+2,4m+1)+B(4n+4,4m+3)]/2
IR’(4n+3,4m+2)＝R(4n+3,4m+2)
针对位于坐标(4n+3,4m+3)的绿光像素，其红光成份R’(4n+3,4m+3)、绿光成份G’(4n+3,4m+3)、蓝光成份B’(4n+3,4m+3)和红外光成份IR’(4n+3,4m+3)的插补方式如下所示：
R’(4n+3,4m+3)＝R(4n+2,4m+3)
G’(4n+3,4m+3)＝G(4n+3,4m+3)
B’(4n+3,4m+3)＝B(4n+4,4m+3)
IR’(4n+3,4m+3)＝[IR(4n+3,4m+2)+IR(4n+3,4m+4)]/2
在对所有像素进行完插补后，内插单元20可输出图像数据DI，其包含相关每一像素的亮度信息的全彩亮度信息。
在本发明另一实施例中，光学识别系统100和200中的缓冲单元30可包含超过两组线缓冲器。因此，每一像素中缺少的成份皆可由内插单元20依据其周围相邻像素的亮度信息来进行插补。
在光学识别系统100和200中，校正单元40可依据可配置的RGB-IR校正矩阵来对内插单元20所输出图像数据DI中每一像素通道进行校正，进而输出RGB图像和IR图像。RGB-IR校正矩阵如下所示，其中R、G、B和IR分别代表校正前图像数据D1中红光像素值、蓝光像素值、绿光像素值和红外光像素值，RT、GT、BT和IRT分别代表校正后RGB图像和IR图像的红光像素值、蓝光像素值、绿光像素值和红外光像素值，而C11～C44代表校正系数。校正系数C11～C44可依照不同光亮度拍摄对色卡来求出，进而产生在不同光照下校正后的RGB图像和IR图像。然而，可配置的RGB-IR校正矩阵的实施方式并不限定本发明的范围。
Figure BDA0002461313770000091
在光学识别系统100中，图像信号处理器70可接收校正单元40输出的RGB图像和IR图像，并分析RGB图像和IR图像的亮度以提供亮度参数Y。输出决策单元50可依据亮度参数Y来输出RGB图像和IR图像中的一个至计算机视觉处理单元60。
在光学识别系统200中，输出决策单元50可直接接收校正单元40输出的RGB图像和IR图像，并分析RGB图像和IR图像的亮度以输出中的一个至计算机视觉处理单元60。
综上所述，本发明的光学识别系统适用于计算机视觉处理，在4x4 kernel图像传感器的架构下最少只需使用两组线缓冲器来插补RGB图像和IR图像，且不需使用复杂演算法即能提供计算机识别所需的图像特征。
以上所述仅为本发明的较佳实施例，凡依本发明申请权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
【符号说明】
10：图像捕获装置
20：内插单元
30：缓冲单元
40：校正单元
50：输出决策单元
60：计算机视觉处理单元
70：图像信号处理器
100、200：光学识别系统
R(0,1)～R(4N-2,4M-1)：红光像素
G(0,0)～G(4N-1,4M-1)：绿光像素
B(0,3)～B(4N-2,4M-3)：蓝光像素
IR(1,0)～IR(4N-1,4M-2)：红外光像素
S0～S4N-1：扫描线
DI：图像数据
Y：亮度参数

Claims (13)

1.一种适用于计算机视觉处理的光学识别系统，其包含：
图像捕获装置，其包含第一4x4矩阵(kernel)图像传感器，该第一4x4矩阵图像传感器包含第一和第二红光像素、第一至第八绿光像素、第一和第二蓝光像素和第一至第四红外光像素，该第一4x4 kernel图像传感器中的像素组成相邻的第一至第四扫描线；
缓冲单元，用来储存该第一至第四扫描线中至少两条扫描线的亮度信息；以及
内插单元，用来依据该缓冲单元所储存的亮度信息来插补每一像素中缺少的成份，进而输出图像数据，其中该图像数据包含相关每一像素的亮度信息的全彩亮度信息。
2.根据权利要求1所述的光学识别系统，其中：
该第一扫描线依次包含该第一绿光像素、该第一红光像素、该第二绿光像素，以及该第一蓝光像素；
该第二扫描线依次包含该第一红外光像素、该第三绿光像素、该第二红外光像素，以及该第四绿光像素；
该第三扫描线依次包含该第五绿光像素、该第二蓝光像素、该第六绿光像素，以及该第二红光像素；且
该第四扫描线依次包含该第三红外光像素、该第七绿光像素、该第四红外光像素，以及该第八绿光像素。
3.根据权利要求2所述的光学识别系统，其中该缓冲单元包含两组线缓冲器(linebuffer)，且该内插单元另用来：
依据该第一红光像素的亮度信息来进行插补以提供该第三绿光像素所在坐标的红光成份，依据该第三绿光像素的亮度信息来提供该第三绿光像素所在坐标的绿光成份，依据该第二蓝光像素的亮度信息来进行插补以提供该第三绿光像素所在坐标的蓝光成份，以及依据该第一红外光像素和该第二红外光像素的亮度信息来进行插补以提供该第三绿光像素所在坐标的红外光成份。
4.根据权利要求2所述的光学识别系统，其中该缓冲单元包含两组线缓冲器，且该内插单元另用来：
依据该第一红光像素和该第二红光像素的亮度信息来进行插补以提供该第二红外光像素所在坐标的红光成份，依据该第二绿光像素、该第三绿光像素、该第四绿光像素和该第六绿光像素的亮度信息来进行插补以提供该第二红外像素所在坐标的绿光成份，依据该第一蓝光像素和该第二蓝光像素的亮度信息来进行插补以提供该第二红外像素所在坐标的蓝光成份，以及依据该第二红外光像素的亮度信息来提供该第二红外像素所在坐标的红外光成份。
5.根据权利要求1所述的光学识别系统，其中：
该图像捕获装置还包含第二4x4 kernel图像传感器，该第二4x4 kernel图像传感器包含第三和第四红光像素、第九至第十六绿光像素、第三和第四蓝光像素和第五至第八个红外光像素，该第一4x4 kernel图像传感器和该第二4x4 kernel图像传感器中的像素组成相邻的该第一至该第四扫描线；
该第一扫描线依次包含该第一绿光像素、该第一红光像素、该第二绿光像素、该第一蓝光像素、该第九绿光像素、该第三红光像素、该第十绿光像素，以及该第三蓝光像素；
该第二扫描线依次包含该第一红外光像素、该第三绿光像素、该第二红外光像素、该第四绿光像素、该第五红外光像素、该第十一绿光像素、该第六红外光像素，以及该第十二绿光像素；
该第三扫描线依次包含该第五绿光像素、该第二蓝光像素、该第六绿光像素、该第二红光像素、该第十三绿光像素、该第四蓝光像素、该第十四绿光像素，以及该第四红光像素；且
该第四扫描线依次包含该第三红外光像素、该第七绿光像素、该第四红外光像素、该第八绿光像素、第七红外光像素、该第十五绿光像素、该第八红外光像素，以及该第十六绿光像素。
6.根据权利要求5所述的光学识别系统，其中该缓冲单元包含两组线缓冲器，且该内插单元另用来：
依据该第二红光像素的亮度信息来提供该第二红光像素所在坐标的红光成份，依据该第四绿光像素、该第六绿光像素、该第八绿光像素和该第十三绿光像素的亮度信息来提供该第二红光像素所在坐标的绿光成份，依据该第二蓝光像素和该第四蓝光像素的亮度信息来进行插补以提供该第二红光像素所在坐标的蓝光成份，以及依据该第二红外光像素、该第四红外光像素、该第五红外光像素和该第七红外光像素的亮度信息来进行插补以提供该第二红光像素所在坐标的红外光成份。
7.根据权利要求1所述的光学识别系统，其中：
该图像捕获装置还包含第二4x4 kernel图像传感器，该第二4x4 kernel图像传感器包含第三和第四红光像素、第九至第十六绿光像素、第三和第四蓝光像素和第五至第八个红外光像素，该第一4x4 kernel图像传感器和该第二4x4 kernel图像传感器中的像素组成相邻的该第一至该第四扫描线；
该第一扫描线依次包含该第九绿光像素、该第三红光像素、该第十绿光像素、该第三蓝光像素、该第一绿光像素、该第一红光像素、该第二绿光像素，以及该第一蓝光像素；
该第二扫描线依次包含该第五红外光像素、该第十一绿光像素、该第六红外光像素、该第十二绿光像素、该第一红外光像素、该第三绿光像素、该第二红外光像素，以及该第四绿光像素；
该第三扫描线依次包含该第十三绿光像素、该第四蓝光像素、该第十四绿光像素、该第四红光像素、该第五绿光像素、该第二蓝光像素、该第六绿光像素，以及该第二红光像素；且
该第四扫描线依次包含该第七红外光像素、该第十五绿光像素、该第八红外光像素、该第十六绿光像素、该第三红外光像素、该第七绿光像素、该第四红外光像素，以及该第八绿光像素。
8.根据权利要求6所述的光学识别系统，其中该缓冲单元包含两组线缓冲器，且该内插单元另用来：
依据该第二红光像素和该第四红光像素的亮度信息来提供该第二蓝光像素所在坐标的红光成份，依据该第三绿光像素、该第五绿光像素、该第六绿光像素和该第七绿光像素的亮度信息来提供该第二蓝光像素所在坐标的绿光成份，依据该第二蓝光像素的亮度信息来提供该第二蓝光像素所在坐标的蓝光成份，以及依据该第一红外光像素、该第二红外光像素、该第三红外光像素和该第四红外光像素的亮度信息来进行插补以提供该第二蓝光像素所在坐标的红外光成份。
9.根据权利要求1所述的光学识别系统，其还包含校正单元，用来依据可配置的RGB-IR校正矩阵来对该内插单元所输出的该图像数据中每一像素通道进行校正，进而输出RGB图像和IR图像。
10.根据权利要求9所述的光学识别系统，其中该可配置的RGB-IR校正矩阵包含多个校正系数，其通过以不同光亮度拍摄一对色卡来求出。
11.根据权利要求1所述的光学识别系统，其还包含：
图像信号处理器，用来接收该校正单元输出的该RGB图像和该IR图像，并分析该RGB图像和该IR图像的亮度以提供亮度参数；以及
输出决策单元，用来依据该亮度参数来输出该RGB图像和该IR图像中的一个至计算机视觉处理单元。
12.根据权利要求1所述的光学识别系统，其还包含：
输出决策单元，用来接收该校正单元输出的该RGB图像和该IR图像，并分析该RGB图像和该IR图像的亮度以输出该RGB图像和该IR图像中的一个至计算机视觉处理单元。
13.根据权利要求1所述的光学识别系统，其中：
该图像捕获装置还包含第二4x4 kernel图像传感器，该第二4x4 kernel图像传感器包含第三和第四红光像素、第九至第十六绿光像素、第三和第四蓝光像素和第五至第八个红外光像素，该第二4x4 kernel图像传感器中的像素组成相邻的第五至该第八扫描线；
该第五扫描线依次包含该第九绿光像素、该第三红光像素、该第十绿光像素，以及该第三蓝光像素；
该第二扫描线依次包含该第五红外光像素、该第十一绿光像素、该第六红外光像素，以及该第十二绿光像素；
该第三扫描线依次包含该第十三绿光像素、该第四蓝光像素、该第十四绿光像素，以及该第四红光像素；且
该第四扫描线依次包含第七红外光像素、该第十五绿光像素、该第八红外光像素，以及该第十六绿光像素。
CN202010320794.5A 2020-03-23 2020-04-22 适用于计算机视觉处理的光学识别系统 Pending CN113438430A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109109643 2020-03-23
TW109109643A TWI768310B (zh) 2020-03-23 2020-03-23 適用於電腦視覺處理之光學辨識系統

Publications (1)

Publication Number Publication Date
CN113438430A true CN113438430A (zh) 2021-09-24

Family

ID=77748865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010320794.5A Pending CN113438430A (zh) 2020-03-23 2020-04-22 适用于计算机视觉处理的光学识别系统

Country Status (3)

Country Link
US (1) US20210297608A1 (zh)
CN (1) CN113438430A (zh)
TW (1) TWI768310B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9531961B2 (en) * 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US10462431B2 (en) * 2015-04-10 2019-10-29 Visera Technologies Company Limited Image sensors

Also Published As

Publication number Publication date
TW202137751A (zh) 2021-10-01
TWI768310B (zh) 2022-06-21
US20210297608A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
TWI513297B (zh) Image processing apparatus and image processing method
US7948543B2 (en) Imaging apparatus provided with image scaling function and image data thinning-out readout function
KR101356286B1 (ko) 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치
JP5036421B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
EP1605400A1 (en) Processing pipeline of pixel data of a color image acquired by a digital sensor
US8934713B2 (en) Image processing device, image processing method, program, and imaging device
JP2000023174A (ja) 画像処理装置及び画像処理方法
US7355156B2 (en) Solid-state image pickup device, image pickup unit and image processing method
US8786738B2 (en) Image sensing apparatus and method of controlling operation of same
US6429953B1 (en) Super resolution scanning using color multiplexing of image capture devices
KR20010020678A (ko) 프로그램가능한 실시간 화상 처리
JP2009157733A (ja) 画像歪み補正方法、画像歪み補正装置及び画像形成装置
US7551189B2 (en) Method of and apparatus for digital image processing
US20110170776A1 (en) Image distortion correcting method and image processing apparatus
TWI768310B (zh) 適用於電腦視覺處理之光學辨識系統
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2004193911A (ja) 画像処理装置および画像処理方法、デジタルスチルカメラ
JPWO2014091706A1 (ja) 撮像装置
JP3711402B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP2006262382A (ja) 画像処理装置
JP4517896B2 (ja) 撮像装置及びその画素補間方法
JP3711401B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP2001218099A (ja) 多板式撮像装置および画像データ処理用記録媒体
JPH10191365A (ja) 電子スチルカメラ
JP3406674B2 (ja) ２板式撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination