CN107431743B - 数字原始图像帧的按比例缩小 - Google Patents

数字原始图像帧的按比例缩小 Download PDF

Info

Publication number
CN107431743B
CN107431743B CN201680017590.6A CN201680017590A CN107431743B CN 107431743 B CN107431743 B CN 107431743B CN 201680017590 A CN201680017590 A CN 201680017590A CN 107431743 B CN107431743 B CN 107431743B
Authority
CN
China
Prior art keywords
pixel
value
information
raw image
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680017590.6A
Other languages
English (en)
Other versions
CN107431743A (zh
Inventor
S·科斯基宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107431743A publication Critical patent/CN107431743A/zh
Application granted granted Critical
Publication of CN107431743B publication Critical patent/CN107431743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

在一个示例中，获得与经由滤色器阵列捕捉的数字原始图像帧相关的照明信息。获得与数字原始图像帧相关的色度信息。所获得的照明信息和色度信息被按比例缩小到目标分辨率，使得所捕捉的数字原始图像帧的像素数据和所获得的色度信息之一在按比例缩小之前已经被去马赛克。对经按比例缩小的色度信息进行逆去马赛克。

Description

数字原始图像帧的按比例缩小
背景技术
各种数码摄像机和移动装置(诸如集成了数码相机的智能电话和平板计算机)常常可用利用具有大量像素的图像传感器。为了便于用这样的图像传感器生产的图像帧的处理，图像帧可在图像处理管道中的某个点处被按比例缩小。然而，所感知的图像质量可能因这样的按比例缩小而恶化。
概述
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
在一个示例中，一种方法包括：获得与经由滤色器阵列捕捉的数字原始图像帧相关的照明信息；获得与所述数字原始图像帧相关的色度信息；将所获得的照明信息和色度信息按比例缩小到目标分辨率，所捕捉的数字原始图像帧的像素数据和所获得的色度信息之一在被按比例缩小之前已经被去马赛克(demosaice)；以及对经按比例缩小的色度信息进行逆去马赛克。
在另一示例中，一种装置和计算机可读存储介质连同所述方法的特征已被讨论。
通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
附图简述
根据附图阅读以下详细描述将更好地理解本说明书，在附图中：
图1是方法的一个示例的流程图；
图2是方法的另一示例的流程图；
图3是方法的另一示例的流程图；
图4是装置的一个示例的框图；以及
图5是装置的另一个示例的框图。
在各个附图中使用相同的附图标记来指代相同的部件。
详细描述
下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效的功能和序列。
虽然本发明示例中的一些示例在本文中可被描述和解说成实现在移动电话、智能电话或平板计算机中，但这些仅仅是装置的示例而非限制。本领域技术人员将理解，本示例适于在结合了独立数码相机设备(例如，紧凑相机、SLR相机)或独立数码摄像机设备的各种不同类型的装置中应用。
图1示出了可被用于按比例缩小数字原始图像帧的一种方法。在步骤100，获得与经由滤色器阵列(CFA)捕捉的数字原始图像帧相关的照明信息。在一个示例中，滤色器阵列可包括Bayer滤光器阵列等等。在另一个示例中，滤色器阵列可包括基于RGBW(红、绿、蓝、白)的滤光器阵列等等。所捕捉的数字原始图像帧具有给定量的像素的分辨率。在此，“原始”图像帧是指包含来自数码相机等的图像传感器的经最低程度处理的数据的图像帧。
获得与数字原始图像帧相关的色度信息，步骤102。所获得的照明信息和色度信息被按比例缩小到目标分辨率，步骤104。在一个示例中，目标分辨率可在所捕捉的数字原始图像帧的大致一半的分辨率和所捕捉的数字原始图像帧的大致四分之一的分辨率之间变化。在一个示例中，按比例缩小照明信息和色度信息可利用例如双三次按比例缩小和双线性按比例缩小之一。
所捕捉的数字原始图像帧的像素数据和所获得的色度信息之一在按比例缩小之前已经被去马赛克。在一个示例中，去马赛克可利用例如双线性内插。经按比例缩小的色度信息被逆去马赛克，步骤106。
图2示出了可被用于按比例缩小数字原始图像帧的一种方法。在步骤200，获得与经由滤色器阵列(CFA)捕捉的数字原始图像帧相关的照明信息。在图2的示例中，获得照明信息包括对所捕捉的数字原始图像帧的像素数据去马赛克以获得每个像素的色彩值，并接着根据所获得的色彩值计算每个像素的整体照明值。在一个示例中，去马赛克可利用例如双线性内插。
在一个示例中，计算整体照明值可根据例如Y＝0.299*R+0.587*G+0.114*B来被执行，其中Y表示一个像素的整体照明值，R表示所获得的该像素的红色值、G表示所获得的该像素的绿色值、而B表示所获得的该像素的蓝色值。
在一个示例中，滤色器阵列可包括Bayer滤光器阵列等等。在另一个示例中，滤色器阵列可包括基于RGBW(红、绿、蓝、白)的滤光器阵列等等。所捕捉的数字原始图像帧具有给定量的像素的分辨率。在此，“原始”图像帧是指包含来自数码相机等的图像传感器的经最低程度处理的数据的图像帧。
获得与数字原始图像帧相关的色度信息，步骤202。在图2的示例中，获得色度信息包括：通过从相应的所获得的色彩值中减去所计算的整体照明值来针对每个像素并针对每个所获得的色彩值来计算色度值。
在一个示例中，针对每个像素并针对每个所获得的色彩值计算色度值可通过以下来执行：从相应的所获得的色彩值中减去所计算的整体照明值，使得例如R'＝R-Y、G'＝G-Y、以及B'＝B-Y，其中Y表示一个像素的所计算的整体照明值，R表示所获得的该像素的红色值、G表示所获得的该像素的绿色值、而B表示所获得的该像素的蓝色值，R'表示所获得的该像素的红色值的色度值、G'表示所获得的该像素的绿色值的色度值、而B'表示所获得的该像素的蓝色值的色度值。
所获得的照明信息和色度信息被按比例缩小到目标分辨率，步骤204。在一个示例中，目标分辨率可在所捕捉的数字原始图像帧的大致一半的分辨率和所捕捉的数字原始图像帧的大致四分之一的分辨率之间变化。在一个示例中，按比例缩小照明信息和色度信息可利用例如双三次按比例缩小和双线性按比例缩小之一。
经按比例缩小的色度信息被逆去马赛克，步骤206。在一个示例中，逆去马赛克可包括在经按比例缩小的色度信息中选择经计算的色度值之一以表示每个相应的像素。
图3示出了可被用于按比例缩小数字原始图像帧的一种方法。在步骤300，获得与经由滤色器阵列(CFA)捕捉的数字原始图像帧相关的照明信息。在图3的示例中，获得照明信息包括对所捕捉的数字原始图像帧的像素数据进行低通滤波以获得每个像素的整体照明值。
在一个示例中，滤色器阵列可包括Bayer滤光器阵列等等。在另一个示例中，滤色器阵列可包括基于RGBW(红、绿、蓝、白)的滤光器阵列等等。所捕捉的数字原始图像帧具有给定量的像素的分辨率。在此，“原始”图像帧是指包含来自数码相机等的图像传感器的经最低程度处理的数据的图像帧。
获得与数字原始图像帧相关的色度信息，步骤302。在图3的示例中，获得色度信息可包括从所捕捉的数字原始图像帧的像素数据中减去经低通滤波的像素数据。替换地，获得色度信息可包括对所捕捉的数字原始图像帧的像素数据进行高通滤波。
在步骤304，所获得的色度信息被去马赛克以获得针对每个像素的每个色彩的色度值。在一个示例中，去马赛克可利用例如双线性内插。
所获得的照明信息和色度信息被按比例缩小到目标分辨率，步骤306。在一个示例中，目标分辨率可在所捕捉的数字原始图像帧的大致一半的分辨率和所捕捉的数字原始图像帧的大致四分之一的分辨率之间变化。在一个示例中，按比例缩小照明信息和色度信息可利用例如双三次按比例缩小和双线性按比例缩小之一。
经按比例缩小的色度信息被逆去马赛克，步骤308。在一个示例中，逆去马赛克可包括在经按比例缩小的色度信息中选择所获得的色度值之一以表示每个相应的像素。
图4示出了可被实现成结合数字图像捕捉单元的任何形式的计算设备和/或电子设备的装置400的一个示例的框图。例如，装置400可被实现成移动电话、智能电话或平板计算机。替换地，装置400可被实现为例如独立数码相机设备(例如，紧凑相机、SLR相机)或独立数码摄像机设备。
装置400包括图像传感器411。装置400还包括安排与图像传感器411相连接的滤色器阵列412。在一个示例中，图像传感器411可包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器等等。在一个示例中，滤色器阵列412可包括Bayer滤光器阵列等等。在另一个示例中，滤色器阵列412可包括基于RGBW(红、绿、蓝、白)的滤光器阵列等等。
装置400进一步包括照明和色度信息单元421。照明和色度信息单元421被配置来获得与经由滤色器阵列捕捉的数字原始图像帧相关的照明信息，并获得与数字原始图像帧相关的色度信息。
装置400还包括按比例缩小单元422。按比例缩小单元422被配置来(利用例如双三次按比例缩小或双线性按比例缩小)将所获得的照明信息和色度信息按比例缩小到目标分辨率，其中所捕捉的数字原始图像帧的像素数据和所获得的色度信息之一在按比例缩小之前已经被去马赛克。
装置400还包括逆去马赛克单元423。逆去马赛克单元423被配置来对经按比例缩小的色度信息进行逆去马赛克。
在一个示例中，照明和色度信息单元421可被配置来通过以下来获得照明信息：(利用例如双线性内插)对所捕捉的数字原始图像帧的像素信息进行去马赛克以获得每个像素的色彩值并根据所获得的色彩值为每个像素计算整体照明值。照明和色度信息单元421可被进一步配置来根据例如Y＝0.299*R+0.587*G+0.114*B来计算整体照明值，其中Y表示一个像素的整体照明值，R表示所获得的该像素的红色值、G表示所获得的该像素的绿色值、而B表示所获得的该像素的蓝色值。照明和色度信息单元421可被进一步配置来通过针对每个像素并针对每个所获得的色彩值通过以下计算色度值来获得色度信息：从相应的所获得的色彩值中减去所计算的整体照明值，使得例如R'＝R-Y、G'＝G-Y、以及B'＝B-Y，其中Y表示一个像素的所计算的整体照明值，R表示所获得的该像素的红色值、G表示所获得的该像素的绿色值、而B表示所获得的该像素的蓝色值，R'表示所获得的像素的红色值的色度值、G'表示所获得的该像素的绿色值的色度值、而B'表示所获得的该像素的蓝色值的色度值。逆去马赛克单元423可被配置来通过在经按比例缩小的色度信息中选择所计算的色度值之一来表示每个相应的像素来执行逆去马赛克。
在另一示例中，照明和色度信息单元421可被配置来通过对所捕捉的数字原始图像帧的像素数据进行低通滤波以获得每个像素的整体照明值来获得照明信息。照明和色度信息单元421可被进一步配置来通过从所捕捉的数字原始图像帧的像素数据中减去经低通滤波的像素数据来获得色度信息。装置还可包括去马赛克单元424。去马赛克单元424被配置来利用例如双线性内插将所获得的色度信息去马赛克以获得针对每个像素的每个颜色的色度值。此处，逆去马赛克单元423可被配置来通过在经按比例缩小的色度信息中选择所获得的色度值之一来表示每个相应的像素来执行逆去马赛克。
装置400可包括一个或多个处理器401，这些处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制装置400的操作的任何其他合适类型的处理器。可在装置400处提供包括操作系统403或任何其他合适的平台软件的平台软件例如以允许在设备上执行应用软件404。
图5示出了可被实现成提供基于网络的存储服务的任何形式的计算设备和/或电子设备的装置500的一个示例的框图。例如，装置500可被实现成移动电话、智能电话或平板计算机。替换地，装置500可被实现为例如独立数码相机设备(例如，紧凑相机、SLR相机)或独立数码摄像机设备。
在图5的示例中，装置500包括图像捕捉模块520。照明和色度信息单元521、去马赛克单元522、按比例缩小单元523以及逆去马赛克单元524被包括在图像捕捉模块520中。
装置500进一步包括图像信号处理器(ISP)530。图像信号处理器530可被配置来在所捕捉的数字原始图像帧已经通过图1－5的各示例之一处理之后，接收所捕捉的数字原始图像帧，并对其进行进一步处理。
在图5的示例中，图像传感器511、滤色器阵列512、照明和色度信息单元512、去马赛克单元522、按比例缩小单元523、逆去马赛克单元524、一个或多个处理器501和存储器502的功能基本上和图4的示例中它们的对应物的那些功能相似，因此在此不重复对它们的描述。
可使用装置400、500能够访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可包括例如诸如存储器402、502之类的计算机存储介质和通信介质。诸如存储器502、402之类的计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可被用来储存信息以供计算设备访问的任何其他非传输介质。相比而言，通信介质可以以诸如载波或其他传输机制之类的已调数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播的信号可存在于计算机存储介质中，但是传播的信号本身不是计算机存储介质的示例。尽管在装置400、500中示出了计算机存储介质(存储器402、502)，然而应当理解，该存储可以是分布式的或者位于远程并经由网络或其他通信链路来被访问。
至少在图1－5所揭示的各示例中的一些示例中，在具有针对每个像素的R、G和B(红、绿和蓝)信息的情况下，在逆去马赛克中，仅选择色度通道之一来表示每个像素。可如此完成选择，使得最终图像将具有例如Bayer图案。换言之，最终图像将具有例如如下的像素：
G R G R G R…
B G B G B G…
G R G R G R…
B G B G B G…
以上，R、G和B指色度通道，其类似R、G和B但无照明信息，即，仅包括色度数据。
图1－5中揭示的各示例的至少一些示例能够提供数字原始图像帧的按比例缩小，使得感知的图像质量依然高，但是图像帧的数据大小显著减小，这是有益的，例如关于处理高帧率视频。例如，在4K视频的情况中，图1－5中揭示的各示例的至少一些示例能够将8百万像素的4K(超高清)视频帧按比例缩小为2百万像素的HD(高清)视频帧而感知的图像质量保持高。此外，图1－5中揭示的各示例的至少一些示例能够将2百万像素的HD(高清)视频帧按比例缩小为0.4百万像素的WVGA(宽视频图形阵列)视频帧而感知的图像质量保持高。
图1－5中揭示的各示例的至少一些示例能够提供与最初捕捉的数字原始图像帧可比拟的照明分辨率，但带宽减少了。图1－5中揭示的各示例的至少一些示例能够提供可用作图像处理管道(诸如，举例而言图5的ISP 530)的输入的经按比例缩小的数字原始图像帧。
方法的一个实施例包括：获得与经由滤色器阵列捕捉的数字原始图像帧相关的照明信息；获得与所述数字原始图像帧相关的色度信息；将所获得的照明信息和所述色度信息按比例缩小到目标分辨率，所捕捉的数字原始图像帧的像素数据和所获得的色度信息之一在所述按比例缩小之前已经被去马赛克；以及对经按比例缩小的色度信息进行逆去马赛克。
在一个实施例中，替换地或附加地，获得照明信息包括对所捕捉的数字原始图像帧的像素数据去马赛克以获得每个像素的色彩值，并根据所获得的色彩值计算每个像素的整体照明值。
在一个实施例中，替换地或附加地，计算整体照明值根据Y＝0.299*R+0.587*G+0.114*B来被执行，其中Y表示一个像素的整体照明值，R表示所获得的该像素的红色值、G表示所获得的该像素的绿色值、而B表示所获得的该像素的蓝色值。
在一个实施例中，替换地或附加地，获得色度信息包括：通过从相应的所获得的色彩值中减去所计算的整体照明值来计算每个像素和每个所获得的色彩值的色度值。
在一个实施例中，替换地或附加地，逆去马赛克包括在经按比例缩小的色度信息中选择经计算的色度值之一以表示每个相应的像素。
在一个实施例中，替换地或附加地，获得照明信息包括对所捕捉的数字原始图像帧的像素数据进行低通滤波以获得每个像素的整体照明值。
在一个实施例中，替换地或附加地，获得色度信息包括从所捕捉的数字原始图像帧的像素数据中减去经低通滤波的像素数据。
在一个实施例中，替换地或附加地，该方法进一步包括对所获得的色度信息进行去马赛克以获得每个像素的每个色彩的色度值。
在一个实施例中，替换地或附加地，逆去马赛克包括在经按比例缩小的色度信息中选择所获得的色度值之一以表示每个相应的像素。
一种装置的一个实施例包括：照明和色度信息单元，所述照明和色度信息单元被配置来获得与经由滤色器阵列捕捉的数字原始图像帧相关的照明信息，并获得与所述数字原始图像帧相关的色度信息；按比例缩小单元，所述按比例缩小单元被配置来将所获得的照明信息和所述色度信息按比例缩小到目标分辨率，所捕捉的数字原始图像帧的像素数据和所获得的色度信息之一在所述按比例缩小之前已经被去马赛克；以及逆去马赛克单元，所述逆去马赛克单元被配置来对经按比例缩小的色度信息进行逆去马赛克。
在一个实施例中，替换地或附加地，照明和色度信息单元被配置来通过以下来获得照明信息：对所捕捉的数字原始图像帧的像素数据进行去马赛克来获得每个像素的色彩值，并根据所获得的色彩值为每个像素计算整体照明值。
在一个实施例中，替换地或附加地，照明和色度信息单元被配置来根据Y＝0.299*R+0.587*G+0.114*B计算整体照明值，其中Y表示一个像素的整体照明值，R表示所获得的该像素的红色值、G表示所获得的该像素的绿色值、而B表示所获得的该像素的蓝色值。
在一个实施例中，替换地或附加地，照明和色度信息单元被配置通过以下获得色度信息：通过从相应的所获得的色彩值中减去所计算的整体照明值来计算每个像素和每个所获得的色彩值的色度值。
在一个实施例中，替换地或附加地，逆去马赛克单元被配置来通过在经按比例缩小的色度信息中选择所计算的色度值之一来表示每个相应的像素来执行逆去马赛克。
在一个实施例中，替换地或附加地，照明和色度信息单元被配置来通过对所捕捉的数字原始图像帧的像素数据进行低通滤波以获得每个像素的整体照明值来获得照明信息。
在一个实施例中，替换地或附加地，照明和色度信息单元被配置来通过从所捕捉的数字原始图像帧的像素数据中减去经低通滤波的像素数据来获得色度信息。
在一个实施例中，替换地或附加地，该装置进一步包括配置用于对所获得的色度信息进行去马赛克以获得每个像素的每个色彩的色度值的去马赛克单元。
在一个实施例中，替换地或附加地，逆去马赛克单元被配置来通过在经按比例缩小的色度信息中选择所获得的色度值之一来表示每个相应的像素来执行逆去马赛克。
在一个实施例中，替换地或附加地，滤色器阵列包括Bayer滤光器阵列。
一个计算机可读存储介质的实施例包括用于促使装置的至少一个处理器执行操作的可执行指令，所述指令包括：获得与经由滤色器阵列捕捉的数字原始图像帧相关的照明信息；获得与所述数字原始图像帧相关的色度信息；将所获得的照明信息和所述色度信息按比例缩小到目标分辨率，所捕捉的数字原始图像帧的像素数据和所获得的色度信息之一在所述按比例缩小之前已经被去马赛克；以及对经按比例缩小的色度信息进行逆去马赛克。
本文所使用的术语“计算机”或“基于计算的设备”是指带有处理能力以便其可执行指令的任何设备。本领域技术人员将认识到，这样的处理能力被合并到许多不同的设备中，并因此术语“计算机”和“基于计算的设备”各自包括移动电话(包括智能电话)、平板计算机和许多其他设备。
本文所描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制哑(“dumb)或标准硬件以实现所需功能的软件。”它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域技术人员会认识到，被用来储存程序指令的存储设备可分布在网络上。例如，远程计算机可储存被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
替换地或附加地，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如且并非限制，可使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、应用专用集成电路(ASIC)、应用专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等等。
对精通本技术的人显而易见的是，本文给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述特定特征和动作是作为实现权利要求书的示例形式而公开的，并且其他等价特征和动作旨在落在权利要求书的范围之内。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的提及是指那些项目中的一个或多个。
本文所描述的方法的步骤可以在适当的情况下以任何合适的顺序来被执行，或者同时被执行。附加地，在不偏离本文所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
本文使用了术语“包括”以旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，并且方法或装置可以包含附加的框或元件。
可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。具体而言，在一个示例的上下文中描述的各个个体特征、元素或部分也可以以任何组合被连接到任何其他示例。

Claims (20)

1.一种用于按比例缩小数字原始图像帧的方法，包括：
获得与经由滤色器阵列捕捉的数字原始图像帧相关的照明信息；
获得与所述数字原始图像帧相关的色度信息；
将所获得的照明信息和所述色度信息按比例缩小到目标分辨率，所捕捉的数字原始图像帧的像素数据或所获得的色度信息之一在所述按比例缩小之前已经被去马赛克；以及
对经按比例缩小的色度信息进行逆去马赛克。
2.如权利要求1所述的方法，其特征在于，获得所述照明信息包括：
对所捕捉的数字原始图像帧的所述像素数据去马赛克以获得每个像素的色彩值；以及
根据所获得的色彩值计算每个像素的整体照明值。
3.如权利要求2所述的方法，其特征在于，所述计算每个像素的整体照明值根据Y＝0.299*R+0.587*G+0.114*B来被执行，其中Y表示一个像素的整体照明值，R表示所获得的该像素的红色值、G表示所获得的该像素的绿色值、而B表示所获得的该像素的蓝色值。
4.如权利要求2所述的方法，其特征在于，获得所述色度信息包括：通过从相应的所获得的色彩值中减去所计算的整体照明值来计算每个像素和每个所获得的色彩值的色度值。
5.如权利要求4所述的方法，其特征在于，所述逆去马赛克包括在经按比例缩小的色度信息中选择所计算的色度值之一以表示每个相应的像素。
6.如权利要求1所述的方法，其特征在于，获得所述照明信息包括对所捕捉的数字原始图像帧的像素数据进行低通滤波以获得每个像素的整体照明值。
7.如权利要求6所述的方法，其特征在于，获得所述色度信息包括从所捕捉的数字原始图像帧的像素数据中减去经低通滤波的像素数据。
8.如权利要求7所述的方法，其特征在于，进一步包括对所获得的色度信息进行去马赛克以获得每个像素的每个颜色的色度值。
9.如权利要求8所述的方法，其特征在于，所述逆去马赛克包括在经按比例缩小的色度信息中选择所获得的色度值之一以表示每个相应的像素。
10.一种用于按比例缩小数字原始图像帧的装置，包括：
照明和色度信息单元，所述照明和色度信息单元被配置来获得与经由滤色器阵列捕捉的数字原始图像帧相关的照明信息，并获得与所述数字原始图像帧相关的色度信息；
按比例缩小单元，所述按比例缩小单元被配置来将所获得的照明信息和所述色度信息按比例缩小到目标分辨率，所捕捉的数字原始图像帧的像素数据或所获得的色度信息之一在所述按比例缩小之前已经被去马赛克；以及
逆去马赛克单元，所述逆去马赛克单元被配置来对经按比例缩小的色度信息进行逆去马赛克。
11.如权利要求10所述的装置，其特征在于，所述照明和色度信息单元被配置为通过以下获得所述照明信息：将所捕捉的数字原始图像帧的像素数据去马赛克以获得每个像素的色彩值，并根据所获得的色彩值计算每个像素的整体照明值。
12.如权利要求10所述的装置，其特征在于，所述照明和色度信息单元被配置来根据Y＝0.299*R+0.587*G+0.114*B计算整体照明值，其中Y表示一个像素的整体照明值，R表示所获得的该像素的红色值、G表示所获得的该像素的绿色值、而B表示所获得的该像素的蓝色值。
13.如权利要求11所述的装置，其特征在于，照明和色度信息单元被配置通过以下获得所述色度信息：通过从相应的所获得的色彩值中减去所计算的整体照明值来计算每个像素和每个所获得的色彩值的色度值。
14.如权利要求13所述的装置，其特征在于，所述逆去马赛克单元被配置来通过在经按比例缩小的色度信息中选择所计算的色度值之一来表示每个相应的像素来执行逆去马赛克。
15.如权利要求10所述的装置，其特征在于，所述照明和色度信息单元被配置为通过以下获得所述照明信息：对所捕捉的数字原始图像帧的像素数据进行低通滤波以获得每个像素的整体照明值。
16.如权利要求15所述的装置，其特征在于，所述照明和色度信息单元被配置为通过以下获得所述色度信息：从所捕捉的数字原始图像帧的像素数据中减去经低通滤波的像素数据。
17.如权利要求16所述的装置，其特征在于，进一步包括配置用于对所获得的色度信息进行去马赛克以获得每个像素的每个颜色的色度值的去马赛克单元。
18.如权利要求17所述的装置，其特征在于，所述逆去马赛克单元被配置来通过在经按比例缩小的色度信息中选择所获得的色度值之一来表示每个相应的像素来执行所述逆去马赛克。
19.根据权利要求10所述的装置，其特征在于，所述滤色器阵列包括Bayer滤光器阵列。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述程序被处理器执行时实现下述步骤：
获得与经由滤色器阵列捕捉的数字原始图像帧相关的照明信息；
获得与所述数字原始图像帧相关的色度信息；
将所获得的照明信息和所述色度信息按比例缩小到目标分辨率，所捕捉的数字原始图像帧的像素数据或所获得的色度信息之一在所述按比例缩小之前已经被去马赛克；以及
对经按比例缩小的色度信息进行逆去马赛克。
CN201680017590.6A 2015-03-23 2016-02-23 数字原始图像帧的按比例缩小 Active CN107431743B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/665,907 2015-03-23
US14/665,907 US9727947B2 (en) 2015-03-23 2015-03-23 Downscaling a digital raw image frame
PCT/US2016/019003 WO2016153670A1 (en) 2015-03-23 2016-02-23 Downscaling a digital raw image frame

Publications (2)

Publication Number Publication Date
CN107431743A CN107431743A (zh) 2017-12-01
CN107431743B true CN107431743B (zh) 2020-05-01

Family

ID=55587345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680017590.6A Active CN107431743B (zh) 2015-03-23 2016-02-23 数字原始图像帧的按比例缩小

Country Status (4)

Country Link
US (1) US9727947B2 (zh)
EP (1) EP3275169B1 (zh)
CN (1) CN107431743B (zh)
WO (1) WO2016153670A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7182907B2 (ja) * 2017-06-15 2022-12-05 ブラックマジック デザイン ピーティーワイ リミテッド カメラの画像データ処理方法およびカメラ
CN113168669B (zh) * 2018-09-18 2024-03-29 浙江宇视科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN110213554B (zh) * 2019-07-03 2021-07-13 大峡谷照明系统（苏州）股份有限公司 一种图像映射播放器及像素点调试的方法
WO2021212320A1 (zh) * 2020-04-21 2021-10-28 华为技术有限公司 图像缩小的方法和装置
US11922609B2 (en) * 2021-03-17 2024-03-05 Huawei Technologies Co., Ltd. End to end differentiable machine vision systems, methods, and media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102742280A (zh) * 2010-01-29 2012-10-17 伊斯曼柯达公司 利用加权像素差异去噪cfa图像
CN103905802A (zh) * 2014-04-21 2014-07-02 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809765B1 (en) * 1999-10-05 2004-10-26 Sony Corporation Demosaicing for digital imaging device using perceptually uniform color space
TW524011B (en) * 2001-08-10 2003-03-11 Veutron Corp Circuit using RGB signals of scanner for color space conversion
JP2005354610A (ja) * 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
US7738740B2 (en) * 2005-01-13 2010-06-15 Nvidia Corporation Video processing system and method with dynamic tag architecture
JP4840967B2 (ja) * 2005-12-01 2011-12-21 キヤノン株式会社 撮像装置及び画像処理方法及びプログラム及び記憶媒体
US7646910B1 (en) * 2006-04-19 2010-01-12 Ambarella, Inc. Digital video camera non-integer-ratio Bayer domain scaler
US20080260291A1 (en) 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
US8229212B2 (en) * 2008-04-08 2012-07-24 Qualcomm Incorporated Interpolation system and method
US8165394B2 (en) 2008-09-18 2012-04-24 Microsoft Corporation Reconstruction of image in a Bayer pattern
US8068145B1 (en) * 2008-10-02 2011-11-29 Pixim Inc. Method, systems, and computer program product for demosaicing images
US20100104178A1 (en) 2008-10-23 2010-04-29 Daniel Tamburrino Methods and Systems for Demosaicing
JP2010199650A (ja) 2009-02-23 2010-09-09 Fujitsu Semiconductor Ltd 画像処理装置および画像処理方法
JP5589585B2 (ja) 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8457433B2 (en) * 2010-01-28 2013-06-04 Texas Instruments Incorporated Methods and systems for image noise filtering
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
FR2964490B1 (fr) 2010-09-06 2012-09-28 Commissariat Energie Atomique Procede de demosaicage d'une image brute numerique, programme d'ordinateur et circuit imageur ou graphique correspondants
US8780238B2 (en) 2011-01-28 2014-07-15 Aptina Imaging Corporation Systems and methods for binning pixels
EP2528319A1 (en) 2011-05-23 2012-11-28 Alcatel Lucent Image data compressing and decompressing methods and devices
US9106936B2 (en) 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
KR101990540B1 (ko) * 2012-10-31 2019-06-18 삼성전자주식회사 이미지 프로세싱 방법, 그 이미지 신호 프로세서 및 이를 포함하는 이미지 센싱 시스템
US9681017B2 (en) 2012-11-26 2017-06-13 Nokia Technologies Oy Arrangement for image processing
CN103491280B (zh) 2013-09-30 2016-01-20 上海交通大学 一种拜耳图像联合去噪插值方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102742280A (zh) * 2010-01-29 2012-10-17 伊斯曼柯达公司 利用加权像素差异去噪cfa图像
CN103905802A (zh) * 2014-04-21 2014-07-02 浙江宇视科技有限公司 一种基于p模式色彩滤镜阵列的去马赛克方法及装置

Also Published As

Publication number Publication date
US20160284054A1 (en) 2016-09-29
EP3275169B1 (en) 2021-05-26
US9727947B2 (en) 2017-08-08
EP3275169A1 (en) 2018-01-31
CN107431743A (zh) 2017-12-01
WO2016153670A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
CN107431743B (zh) 数字原始图像帧的按比例缩小
US9210391B1 (en) Sensor data rescaler with chroma reduction
KR102291790B1 (ko) 이미지 프로세싱 파이프라인 내의 이미지 데이터의 다중 레이트 프로세싱
US9756266B2 (en) Sensor data rescaler for image signal processing
US8768102B1 (en) Downsampling light field images
US9392236B2 (en) Image processing method, image signal processor, and image processing system including the same
US20150363912A1 (en) Rgbw demosaic method by combining rgb chrominance with w luminance
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
WO2021231776A1 (en) Machine learning based image adjustment
US20130021504A1 (en) Multiple image processing
US20080260291A1 (en) Image downscaling by binning
US9007488B2 (en) Systems and methods for generating interpolated high-dynamic-range images
CN111464754B (zh) 用于生成hdr图像的成像系统及其操作方法
US20140375843A1 (en) Image processing apparatus, image processing method, and program
EP2847998B1 (en) Systems, methods, and computer program products for compound image demosaicing and warping
CN113168669A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN110852953A (zh) 图像插值方法及装置、存储介质、图像信号处理器、终端
US20160277721A1 (en) Color filtered area processing method for improving image processing
US20150055861A1 (en) Methods and Systems for Image Demosaicing
CN103458249A (zh) 图像处理方法及装置
WO2020133462A1 (en) Methods and systems for image processing
CN113242413B (zh) 抗锯齿的rccb滤镜阵列插值计算方法及系统
KR20160114374A (ko) 채널간 상관관계 기반 컬러 필터 어레이 보간 방법
JP2011059911A (ja) 画像処理装置
Azgin et al. A high performance alternating projections image demosaicing hardware

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant