CN111835944B - 图像处理系统 - Google Patents

图像处理系统 Download PDF

Info

Publication number
CN111835944B
CN111835944B CN201910411215.5A CN201910411215A CN111835944B CN 111835944 B CN111835944 B CN 111835944B CN 201910411215 A CN201910411215 A CN 201910411215A CN 111835944 B CN111835944 B CN 111835944B
Authority
CN
China
Prior art keywords
image
resolution
memory
mosaic processing
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910411215.5A
Other languages
English (en)
Other versions
CN111835944A (zh
Inventor
李湘村
谢必克
苏俊杰
陈一舟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kneron Inc
Original Assignee
Kneron Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kneron Inc filed Critical Kneron Inc
Publication of CN111835944A publication Critical patent/CN111835944A/zh
Application granted granted Critical
Publication of CN111835944B publication Critical patent/CN111835944B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供了一种图像处理系统，该图像处理系统包含图像撷取装置、像素合并装置、时域滤波器、第一存储器、马赛克处理装置、第二存储器及图像混合装置。图像撷取装置用以撷取原始图像。像素合并装置耦接于图像撷取装置，用以依据原始图像输出增强图像。时域滤波器耦接于像素合并装置，用以依据增强图像输出预览图像。第一存储器用以缓存原始图像。马赛克处理装置耦接于第一存储器，用以输出处理图像。第二存储器用以缓存增强图像。图像混合装置耦接于马赛克处理装置及第二存储器，用以依据处理图像及增强图像，输出快照图像。

Description

图像处理系统
技术领域
本发明提供一种图像处理系统，尤指一种利用零快门延迟操作以生成高画质的快照图像的图像处理系统。
背景技术
随着摄影科技的日新月异，各种光感测器及图像处理演算法也已经应用于日常生活中。例如，当相机在昏暗场景撷取图像时，撷取到的图像可能会曝光不足。由于曝光不足的图像其信号噪声比(Signal-to-noise Ratio)偏低，故噪声(热噪声或是颗粒噪声) 会变得非常明显且随机分布于整张曝光不足的图像中。为了提供在昏暗场景令人满意的图像画质，各种不同拜尔(Bayer)滤色镜的格式也被应用于光感测器。并且，拜尔滤色镜可视为多个具有三原色的滤色镜所构成的色彩滤波阵列(Color Filter Array， CFA)，其以矩形方格的排列组态设置于光感测器中。然而，在较新的拜尔滤色镜的格式中，色彩滤波阵列可包含2×2个拜尔滤色镜样式，如红/黄/黄/蓝(R/Y/Y/B)的滤色镜。对于较新的拜尔滤色镜的格式，其设计目的在于提升相机在昏暗场景中撷取图像的信号噪声比，以提升图像画质。
然而，目前大部分的图像信号处理器并不支援具有较新的拜尔滤色镜的格式的图像。并且，虽然拜尔滤色镜可提升撷取到的图像的信号噪声比，却牺牲了图像的解析度或是色彩保真度(Color Fidelity)。原因在于，色彩滤波阵列要搭配马赛克程序，以降低噪声。换句话说，对于相机撷取到的图像而言，当图像经过后期处理时，信号噪声比的提升与维持图像解析度的功效常常只能两者选择其一。因此，发展一种图像处理系统，用以将较新的拜尔滤色镜的格式转换为标准拜尔滤色镜的格式，且能在不牺牲图像解析度的条件下提供高图像画质，是当今重要的设计议题。
发明内容
本发明一实施例提出一种图像处理系统，包含图像撷取装置、像素合并装置、时域滤波器、第一存储器、马赛克处理装置、第二存储器及图像混合装置。图像撷取装置用以撷取具有第一解析度的原始图像。像素合并装置耦接于图像撷取装置，用以依据原始图像输出具有第二解析度的增强图像。时域滤波器耦接于像素合并装置，用以依据增强图像输出具有第二解析度的一预览图像。第一存储器耦接于图像撷取装置，用以缓存原始图像。马赛克处理装置耦接于第一存储器，用以输出具有第一解析度的处理图像。第二存储器耦接于时域滤波器，用以通过时域滤波器缓存增强图像。图像混合装置耦接于马赛克处理装置及第二存储器，用以依据处理图像及增强图像，输出具有第一解析度的快照图像。图像撷取装置、像素合并装置及时域滤波器恒开启。马赛克处理装置及图像混合装置依据快照信号选择性地开启。第一解析度大于第二解析度。
附图说明
图1为本发明的图像处理系统的实施例的方块图；
图2为图1的图像处理系统中，图像撷取装置的拜尔滤色镜的样式的示意图；
图3为图1的图像处理系统中，马赛克处理装置及图像混合装置进入待命模式的示意图；
图4为图1的图像处理系统中，马赛克处理装置及图像混合装置进入启动模式的示意图；
图5为图1的图像处理系统中，引入人工智能控制器的示意图。
附图标记说明
100及200、图像处理系统；
10、图像撷取装置；
10a、光感测器；
11、像素合并装置；
12、时域滤波器；
13、第一存储器；
14、马赛克处理装置；
15、第二存储器；
16、图像混合装置；
CFA、色彩滤波阵列；
SA1、SA2及SA3、子阵列；
SG、矩形方格；
R1、G2及G3、滤色镜；
IMGA、图像范围；
F1至F12、数据流；
17、人工智能控制器。
具体实施方式
图1为本发明的图像处理系统100的实施例的方块图。图2为图像处理系统100中，图像撷取装置10的拜尔滤色镜的样式的示意图。图像处理系统100可视为相容于任何拜尔滤色镜的样式的“预处理”的系统。图像撷取装置10具有执行零快门延迟 (Zero-shutter-lag)操作的功能。图像处理系统100可包含图像撷取装置10、像素合并装置11、时域滤波器12、第一存储器13、马赛克处理装置14、第二存储器15及图像混合装置16。图像撷取装置10可用以撷取具有第一解析度的原始图像。图像撷取装置10 可为任何种类的具有光感应器10a的光检测器件，如具有互补式金属氧化物半导体 (Complementary Metal-Oxide-Semiconductor，CMOS)的镜头，或是具有感光耦合器件 (Charge-coupled Device，CCD)的相机。在图像处理系统100中，多个拜尔滤色镜(Bayer Filter)可应用于光感应器10a中。该些拜尔滤色镜的样式可用色彩滤波阵列(Color Filter Array)的形式叠在光感测器10a之上。举例而言，如图2，图像撷取装置10可以用色彩滤波阵列CFA的形式产生该些拜尔滤色镜的样式(Bayer Patterns)，且叠在图像撷取装置10中的光感测器10a之上。色彩滤波阵列CFA包含多个子阵列，如子阵列SA1、子阵列SA2以及子阵列SA3。每一个子阵列可包含N×N个矩形方格SG的相同原色的滤色镜。N是大于1的正整数。举例而言，该些拜尔滤色镜的样式可为基于以四个单位为一组的拜尔滤色镜样式，且每一个子阵列包含2×2个矩形方格。在图2中，子阵列SA1 可包含2×2个“红色”滤色镜的矩形方格。换句话说，子阵列SA1可视为基于以四个单位(矩形方格)为一组的红色滤色镜，表示为滤色镜R1。子阵列SA2可包含2×2个“绿色”滤色镜的矩形方格。换句话说，子阵列SA2可视为基于以四个单位(矩形方格)为一组的绿色滤色镜，表示为滤色镜G2。子阵列SA3可包含2×2个“绿色”滤色镜的矩形方格。换句话说，子阵列SA3可视为基于以四个单位(矩形方格)为一组的绿色滤色镜，表示为滤色镜G3。因此，在色彩滤波阵列CFA中，一行(Row)的矩形方格SG所代表的滤色镜的颜色序列可以表示为“R1R1G2G2…”。类似地，在色彩滤波阵列CFA 中，一列(Column)的矩形方格SG所代表的滤色镜的颜色序列可以表示为“R1R1G3G3…”。由于色彩滤波阵列CFA可以叠在光感应器10a的图像范围IMGA 上，因此，光感测器10a可检测至少一个颜色的光线强度，位置以及其对应的波长特性。因此，光感测器10a可以区隔不同颜色的光信息(如不同原色光的信息)。然而，在图像处理系统100中，多个拜尔滤色镜的样式或是其配置方式也可以合理地变动。任何标准或是非标准规格的拜尔滤色镜的格式或样式的应用都属于本发明的范畴。
像素合并装置11耦接于图像撷取装置10，用以依据原始图像输出具有第二解析度的增强图像。举例而言，像素合并装置11可用于结合一部分的矩形方格SG的信息且产生多个标准拜尔滤色镜的样式，并进一步产生具有第二解析度的增强图像。并且，由于一部分的矩形方格SG的信息被结合，因此，原始图像的噪声的标准差(Noise Variance)将可降低，故可提升信号噪声比。换句话说，增强图像的信号噪声比大于原始图像的信号噪声比。并且，像素合并装置11可以将多个非标准的拜尔滤色镜的样式重新配置，以产生增强图像。因此，增强图像的格式对应多个拜尔滤色镜的标准格式。于此，该些拜尔滤色镜的标准格式可定义为色彩滤波阵列CFA中，滤色镜的颜色以“红绿蓝绿(RGBG)”、“绿红绿蓝(GRGB)”或是“红绿绿蓝(RGGB)”分组。因此，具有标准拜尔滤色镜格式的增强图像可相容于现今大部分的图像信号处理器。时域滤波器12耦接于像素合并装置11，用以依据增强图像输出具有第二解析度的预览图像。举例而言，时域滤波器12可在曝光不足的条件下，将增强图像的数据与预设的脉冲响应(Impulse Response)进行卷积(Convolution)运算，以使增强图像的随机噪声波动平滑化，以达到消除噪声功能。换句话说，时域滤波器12可以输出低噪声的预览图像，尤其在曝光不足的场景更能优化图像品质。预览图像可视为缩图图像。第一存储器13耦接于图像撷取装置10，用以缓存原始图像。第一存储器13可为随机存取存储器 (RandomAccess Memory，RAM)。马赛克处理装置14耦接于第一存储器13，用以输出具有第一解析度的处理图像。举例而言，类似于像素合并装置11的运作，马赛克处理装置14也可用于结合一部分的矩形方格信息，并产生多个标准拜尔滤色镜的样式。并且，为了避免牺牲解析度，马赛克处理装置14可以将该些标准拜尔滤色镜的样式的矩形方格内插，以产生具有第一解析度的处理图像。因此，处理图像的格式会对应标准拜尔滤色镜的格式。并且，由马赛克处理装置14所输出的处理图像的解析度不会降低，可维持与原始图像相同的第一解析度。第二存储器15耦接于时域滤波器12，用以通过时域滤波器12缓存增强图像。第二存储器15可为随机存取存储器。图像混合装置16 耦接于马赛克处理装置14及第二存储器15，用以依据处理图像及增强图像，输出具有第一解析度的快照图像。举例而言，图像混合装置16可将缓存于第二存储器15内的增强图像的信息与马赛克处理装置14所输出的处理图像的信息结合，以增加处理图像的信号噪声比。在实作上，快照图像有联合图像专家小组(JointPhotographic Experts Group，JPEG)格式。图像混合装置16可将增强图像中多个JPEG的直流(Direct Current) 参数，与处理图像中的多个JPEG的交流(Alternating Current)参数结合，以产生快照图像。在缓存于第二存储器15内的增强图像的信息与处理图像的信息被结合后，图像混合装置16可输出具有第一解析度的快照图像(快照图像可维持与原始图像相同的第一解析度)。并且，快照图像的信号噪声比大于原始图像的信号噪声比。
在图像处理系统100中，图像撷取装置10、像素合并装置11及时域滤波器12恒开启。马赛克处理装置14及图像混合装置16可依据快照信号选择性地开启，且第一解析度大于第二解析度。在其他实施例中，时域滤波器12及图像混合装置16可以省略，以降低硬件复杂度及功耗。第二存储器15也可以直接缓存增强图像或缓存预览图像。任何合理地硬件变更都属于本发明的范畴。在图像处理系统100中，图像混合装置11可属于硬件核心模块。马赛克处理装置14可属于可程序化核心模块。并且，由于图像撷取装置10、像素合并装置11及时域滤波器12恒开启，故原始图像可以用即时(Real-time) 的方式缓存在第一存储器13中。缓存于第二存储器15中的预览图像或增强图像也可以依据原始图像而以接近即时的方式产生。因此，马赛克处理装置14以及图像混合装置 16可以用接近即时的方式存取在第一存储器13中的原始图像及第二存储器15中的预览图像或是增强图像，以产生快照图像。换句话说，马赛克处理装置14及图像混合装置16可支援零快门延迟(Zero-shutter-lag，ZSL)的操作。
图3为图像处理系统100中，马赛克处理装置14及图像混合装置16进入待命模式的示意图。在图像处理系统100中，在马赛克处理装置14及图像混合装置16闲置一段预定时间后，马赛克处理装置14及图像混合装置16可进入待命模式。举例而言，假设快照信号5秒内没被产生，马赛克处理装置14及图像混合装置16可进入待命模式以避免额外功耗。并且，在图像处理系统100中，第一解析度可为图像撷取装置10中的光感测器10a的原始解析度。第二解析度可为缩图解析度。举例而言，第一解析度实质上可等于24M(Mega，百万)像素。第二解析度实质上可等于6M(Mega，百万)像素。图像撷取装置10可产生对应原始图像的第一数据流F1(频宽为24M/帧，以24MP表示，以此类推)至像素合并装置11。图像撷取装置10可产生对应原始图像的第二数据流F2(频宽为24M/帧)至第一存储器13。像素合并装置11可接收对应原始图像的第一数据流F1，并产生对应增强图像的第三数据流F3(频宽为6M/帧)。时域滤波器12可接收对应增强图像的第三数据流F3，并产生第四数据流F4(频宽为6M/帧)至第二存储器15。如前述提及，由于预览图像有标准拜尔滤色镜的格式，故预览图像可相容于现今大部分的图像信号处理器，并可直接通过预览图像数据流(频宽为6M/帧)显示于荧幕上。并且，由于马赛克处理装置14及图像混合装置16可进入待命模式以节省功耗，故图像处理系统100的工作时间长度将可增加。
图4为图像处理系统100中，马赛克处理装置14及图像混合装置16进入启动模式的示意图。在图像处理系统100中，在快照信号触发马赛克处理装置14及图像混合装置 16后，马赛克处理装置14及图像混合装置16可进入启动模式。举例而言，当使用者按压快门键时，可以产生快照信号。在图像处理系统100中，第一数据流F1、第二数据流F2、第三数据流F3以及第四数据流F4的细节已于前文中详述，故于此将不再赘述。在快照信号触发马赛克处理装置14及图像混合装置16后，马赛克处理装置14可以通过第五数据流F5(频宽为24M/帧)存取第一存储器13中的原始图像。马赛克处理装置14 可产生对应于处理图像的第六数据流F6(频宽为24M/帧)。图像混合装置16可同时接收对应于处理图像的第六数据流F6以及对应于预览图像或增强图像的第七数据流F7(频宽为6M/帧)，以产生对应快照图像的快照图像数据流(频宽为24M/帧)。如前述提及，由于快照图像有标准拜尔滤色镜的格式，故快照图像可相容于现今大部分的图像信号处理器，并可直接通过快照图像数据流显示于荧幕上。并且，由于第五数据流F5及第七数据流F7可被即时处理，因此，马赛克处理装置14及图像混合装置16可支援零快门延迟(Zero-shutter-lag，ZSL)的操作。
图5为图像处理系统100中，引入人工智能控制器17的示意图。为了避免混淆，具有人工智能控制器17的图像处理系统100后文称为图像处理系统200。在图像处理系统 200中，人工智能控制器17可耦接于像素合并装置11、时域滤波器12、马赛克处理装置14、图像混合装置16及第二存储器15，用以控制像素合并装置11、时域滤波器12、马赛克处理装置14及图像混合装置16。举例而言，在图5中，人工智能控制器17可接收缓存于第二存储器15内的对应预览图像或是增强图像的第八数据流F8。如前述提及，预览图像或是增强图像具有良好的信号噪声比及图像品质，特别在曝光不足或是偏暗的场景中。因此，在人工智能控制器17依据“画质纯净”的图像，利用机器学习训练类神经网路时，无论是训练速度以及精确度都可以提升。并且，人工智能控制器 17也可以最佳化像素合并装置11、时域滤波器12、马赛克处理装置14及图像混合装置 16的运作。在实作上，人工智能控制器17可产生多个控制信号，以最佳化图像处理系统200的运作。举例而言，人工智能控制器17可产生第九数据流F9至像素合并装置11，以最佳化像素合并装置11的运作。人工智能控制器17可产生第十数据流F10至时域滤波器12，以最佳化时域滤波器12的运作。人工智能控制器17可产生第十一数据流F11 至马赛克处理装置14，以最佳化马赛克处理装置14的运作。人工智能控制器17可产生第十二数据流F12至图像混合装置16，以最佳化图像混合装置16的运作。图像处理系统200其余器件的运作模式类似于图像处理系统100的运作模式，故于此将不再赘述。因此，图像处理系统200藉由引入人工智能控制器17，预览图像的图像画质以及快照图像的图像画质还可以进一步提升。
综上所述，本发明描述一种图像处理系统。图像处理系统可视为具有最佳化拜尔滤色镜图像功能的一种利用人工智能辅助的图像预处理系统。图像处理系统可利用零快门延迟的操作产生高品质的快照图像。图像处理系统可将任何形式的非标准拜尔滤色镜格式转换为标准拜尔滤色镜格式。因此，图像处理系统中的所有的图像数据流可相容于现今大部分的图像信号处理器。并且，图像处理系统可在不损失解析度的条件下，输出高品质的快照图像。换句话说，在偏暗场景下，图像处理系统可以智能地决定所撷取的原始图像的最佳信号噪声比。因此，即使在偏暗场景下撷取原始图像，最后输出的快照图像的图像品质仍与明亮场景下的图像品质类似，且均符合标准拜尔滤色镜格式。因此，图像处理系统无论是在何种场景下都可以输出高品质的快照图像。并且，图像处理系统还可用即时的方式处理原始图像，以输出预览图像以及快照图像。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (20)

1.一种图像处理系统，其特征在于，所述系统包括：
一图像撷取装置，用以撷取具有一第一解析度的一原始图像；
一像素合并装置，耦接于所述图像撷取装置，用以依据所述原始图像输出具有一第二解析度的一增强图像；所述像素合并装置用于结合一部分矩形方格信息，并产生多个标准拜尔滤色镜的样式，并进一步产生具有所述第二解析度的增强图像；
一时域滤波器，耦接于所述像素合并装置，用以依据所述增强图像输出具有所述第二解析度的一预览图像；
一第一存储器，耦接于所述图像撷取装置，用以缓存所述原始图像；
一马赛克处理装置，耦接于第一存储器，用以输出具有所述第一解析度的一处理图像；
一第二存储器，耦接于所述时域滤波器，用以通过所述时域滤波器缓存所述增强图像；及
一图像混合装置，耦接于所述马赛克处理装置及所述第二存储器，用以依据所述处理图像及所述增强图像，输出具有所述第一解析度的一快照图像；
其中所述图像撷取装置、所述像素合并装置及所述时域滤波器恒开启，所述马赛克处理装置及所述图像混合装置依据一快照信号选择性地开启，且所述第一解析度大于所述第二解析度。
2.根据权利要求1所述的系统，其特征在于，所述图像撷取装置用以产生多个拜尔滤色镜的样式，所述拜尔滤色镜的样式以一色彩滤波阵列的形式叠在所述图像撷取装置中的一光感测器之上，所述色彩滤波阵列包含多个子阵列，每一个子阵列包含N×N个矩形方格的相同原色的滤色镜，且N是大于1的正整数。
3.根据权利要求2所述的系统，其特征在于，所述拜尔滤色镜的样式为基于以四个单位为一组的拜尔滤色镜样式，且所述每一个子阵列包含2×2个矩形方格。
4.根据权利要求2所述的系统，其特征在于，所述像素合并装置用于结合一部分的矩形方格信息且产生多个标准拜尔滤色镜的样式，以产生具有所述第二解析度的所述增强图像，且所述增强图像的一格式对应多个拜尔滤色镜的一标准格式。
5.根据权利要求2所述的系统，其特征在于，所述马赛克处理装置用于结合一部分的矩形方格信息、产生多个标准拜尔滤色镜的样式及将所述标准拜尔滤色镜的样式的矩形方格内插，以产生具有所述第一解析度的所述处理图像，且所述处理图像的一格式对应标准拜尔滤色镜的一格式。
6.根据权利要求1所述的系统，其特征在于，所述增强图像的一信号噪声比大于所述原始图像的一信号噪声比。
7.根据权利要求1所述的系统，其特征在于，所述时域滤波器在一曝光不足的条件下，将所述增强图像的随机噪声波动平滑化，以执行一消除噪声功能。
8.根据权利要求1所述的系统，其特征在于，所述图像混合装置将缓存于所述第二存储器内的所述增强图像的信息与所述处理图像的信息结合，以增加所述处理图像的一信号噪声比。
9.根据权利要求8所述的系统，其特征在于，在缓存于所述第二存储器内的所述增强图像的所述信息与所述处理图像的所述信息被结合后，所述图像混合装置输出具有所述第一解析度的所述快照图像，且所述快照图像的一信号噪声比大于所述原始图像的一信号噪声比。
10.根据权利要求1所述的系统，其特征在于，所述第一解析度为所述图像撷取装置中的一光感测器的一原始解析度，所述第二解析度为一缩图解析度，所述第一解析度等于24M像素，所述第二解析度等于6M像素。
11.根据权利要求1所述的系统，其特征在于，所述马赛克处理装置及所述图像混合装置支援一零快门延迟操作。
12.根据权利要求1所述的系统，其特征在于，所述增强图像及所述预览图像以即时的方式依据所述原始图像而产生。
13.根据权利要求1所述的系统，其特征在于，在所述马赛克处理装置及所述图像混合装置闲置一段预定时间后，所述马赛克处理装置及所述图像混合装置进入一待命模式，且在所述快照信号触发所述马赛克处理装置及所述图像混合装置后，所述马赛克处理装置及所述图像混合装置进入一启动模式。
14.根据权利要求1所述的系统，其特征在于，所述图像混合装置属于一硬件核心模块，且所述马赛克处理装置属于一可程序化核心模块。
15.根据权利要求1所述的系统，其特征在于，所述快照图像有一联合图像专家小组格式，且所述图像混合装置用以将所述增强图像中多个JPEG的直流参数，与所述处理图像中的多个JPEG的交流参数结合，以产生所述快照图像。
16.根据权利要求1所述的系统，其特征在于，所述系统还包含：
一人工智能控制器，耦接于所述像素合并装置、所述时域滤波器、所述马赛克处理装置、所述图像混合装置及所述第二存储器，用以控制所述像素合并装置、所述时域滤波器、所述马赛克处理装置及所述图像混合装置。
17.根据权利要求16所述的系统，其特征在于，所述人工智能控制器用以依据缓存于所述第二存储器内的所述增强图像，最佳化所述像素合并装置、所述时域滤波器、所述马赛克处理装置及所述图像混合装置的运作。
18.根据权利要求16所述的系统，其特征在于，所述图像混合装置将缓存于所述第二存储器内的所述增强图像的信息与所述处理图像的信息结合，以增加所述处理图像的一信号噪声比。
19.根据权利要求18所述的系统，其特征在于，在缓存于所述第二存储器内的所述增强图像的所述信息与所述处理图像的所述信息被结合后，所述图像混合装置输出具有所述第一解析度的所述快照图像，且所述快照图像的一信号噪声比大于所述原始图像的一信号噪声比。
20.根据权利要求16所述的系统，其特征在于，在所述马赛克处理装置及所述图像混合装置闲置一段预定时间后，所述马赛克处理装置及所述图像混合装置进入一待命模式，且在所述快照信号触发所述马赛克处理装置及所述图像混合装置后，所述马赛克处理装置及所述图像混合装置进入一启动模式。
CN201910411215.5A 2019-04-18 2019-05-17 图像处理系统 Expired - Fee Related CN111835944B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/387,565 2019-04-18
US16/387,565 US10764507B1 (en) 2019-04-18 2019-04-18 Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation

Publications (2)

Publication Number Publication Date
CN111835944A CN111835944A (zh) 2020-10-27
CN111835944B true CN111835944B (zh) 2021-08-13

Family

ID=71134267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910411215.5A Expired - Fee Related CN111835944B (zh) 2019-04-18 2019-05-17 图像处理系统

Country Status (3)

Country Link
US (1) US10764507B1 (zh)
CN (1) CN111835944B (zh)
TW (1) TWI689891B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7508195B2 (ja) * 2018-10-29 2024-07-01 三星電子株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
KR20210004229A (ko) 2019-07-03 2021-01-13 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
KR20210043933A (ko) * 2019-10-14 2021-04-22 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101375589A (zh) * 2006-02-09 2009-02-25 高通股份有限公司 用于过滤图像信息的自适应图像过滤器
CN101437168A (zh) * 2007-11-12 2009-05-20 索尼株式会社 图像拾取装置
CN101490694A (zh) * 2005-11-10 2009-07-22 蒂-布勒技术有限公司 马赛克域中的图像增强
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
CN102404582A (zh) * 2010-09-01 2012-04-04 苹果公司 用于自动白平衡处理的灵活的颜色空间选择
JP2012195677A (ja) * 2011-03-15 2012-10-11 Mitsubishi Electric Corp 撮像装置
CN107613192A (zh) * 2017-08-09 2018-01-19 深圳市巨龙创视科技有限公司 一种基于摄像机模组的数字图像处理算法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
RU2577320C1 (ru) 2012-01-19 2016-03-20 Мицубиси Электрик Корпорейшн Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
JP5983373B2 (ja) 2012-12-07 2016-08-31 富士通株式会社 画像処理装置、情報処理方法及びプログラム
CN103888689B (zh) * 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN104954656B (zh) 2014-03-24 2018-08-31 联想(北京)有限公司 一种信息处理方法和装置
US9344639B2 (en) * 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
KR102195311B1 (ko) * 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
TWI542224B (zh) * 2014-09-22 2016-07-11 瑞昱半導體股份有限公司 影像訊號處理方法以及影像訊號處理裝置
US9681109B2 (en) * 2015-08-20 2017-06-13 Qualcomm Incorporated Systems and methods for configurable demodulation
CN105578072A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
US11113800B2 (en) 2017-01-18 2021-09-07 Nvidia Corporation Filtering image data using a neural network
TWI638336B (zh) 2017-11-22 2018-10-11 瑞昱半導體股份有限公司 影像增強方法及影像增強裝置
US10638055B2 (en) * 2018-01-15 2020-04-28 Qualcomm Incorporated Aperture simulation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
CN101490694A (zh) * 2005-11-10 2009-07-22 蒂-布勒技术有限公司 马赛克域中的图像增强
CN101375589A (zh) * 2006-02-09 2009-02-25 高通股份有限公司 用于过滤图像信息的自适应图像过滤器
CN101437168A (zh) * 2007-11-12 2009-05-20 索尼株式会社 图像拾取装置
CN102404582A (zh) * 2010-09-01 2012-04-04 苹果公司 用于自动白平衡处理的灵活的颜色空间选择
JP2012195677A (ja) * 2011-03-15 2012-10-11 Mitsubishi Electric Corp 撮像装置
CN107613192A (zh) * 2017-08-09 2018-01-19 深圳市巨龙创视科技有限公司 一种基于摄像机模组的数字图像处理算法

Also Published As

Publication number Publication date
US10764507B1 (en) 2020-09-01
TW202040508A (zh) 2020-11-01
TWI689891B (zh) 2020-04-01
CN111835944A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
US8355074B2 (en) Exposing pixel groups in producing digital images
US7940311B2 (en) Multi-exposure pattern for enhancing dynamic range of images
TWI526068B (zh) 圖像擷取裝置及影像處理方法
US6914630B2 (en) Imaging apparatus and signal processing method for the same
JP4311988B2 (ja) 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
CN111835944B (zh) 图像处理系统
US7609291B2 (en) Device and method for producing an enhanced color image using a flash of infrared light
US20090051984A1 (en) Image sensor having checkerboard pattern
US8111298B2 (en) Imaging circuit and image pickup device
US8810678B2 (en) Imaging apparatus and method of driving solid-state imaging device
KR20040038900A (ko) 촬상 장치 및 화질 보정 방법
JP2006157600A (ja) デジタルカメラ
JP2009049525A (ja) 撮像装置及び信号処理方法
US10616536B2 (en) Imaging systems having broadband monochromatic and chromatic image sensors
JP2001346095A (ja) デジタルスチルカメラ
US20070285529A1 (en) Image input device, imaging module and solid-state imaging apparatus
US8179454B2 (en) Image compensation method and image acquisition device using the same
WO2022073364A1 (zh) 图像获取方法及装置、终端和计算机可读存储介质
JPH04172086A (ja) 撮像装置
JPH09247549A (ja) 固体撮像素子およびこれを用いたテレビジョンカメラ
JP2003087805A (ja) 撮像装置及び撮像方法
JPH06169461A (ja) 固体撮像素子を有するカラーカメラ
JP2004266394A (ja) ビデオカメラの照明制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210813