CN103517046B - 用于捕获视频内容的方法、装置和计算机程序产品 - Google Patents

用于捕获视频内容的方法、装置和计算机程序产品 Download PDF

Info

Publication number
CN103517046B
CN103517046B CN201310253481.2A CN201310253481A CN103517046B CN 103517046 B CN103517046 B CN 103517046B CN 201310253481 A CN201310253481 A CN 201310253481A CN 103517046 B CN103517046 B CN 103517046B
Authority
CN
China
Prior art keywords
frame
frame set
color
scene
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310253481.2A
Other languages
English (en)
Other versions
CN103517046A (zh
Inventor
K·A·戈文达拉奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN103517046A publication Critical patent/CN103517046A/zh
Application granted granted Critical
Publication of CN103517046B publication Critical patent/CN103517046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明的各实施例涉及用于捕获视频内容的方法、装置和计算机程序产品。根据一个示例实施例，提供一种方法、装置和计算机程序产品。该方法包括接收与由颜色图像传感器捕获的场景对应的第一帧集合和与由全色图像传感器捕获的场景对应的第二帧集合。第二集合中的帧数目大于第一集合中的帧数目。该方法还包括至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成与场景对应的颜色帧。

Description

用于捕获视频内容的方法、装置和计算机程序产品
技术领域
各种实现方式总体上涉及用于捕获视频内容的方法、装置和计算机程序产品。
背景技术
诸如相机之类的媒体捕获设备被配置成捕获在周围环境中显露的场景以生成多媒体内容，诸如视频内容。所生成的视频内容包括以流传输的形式显示以创建与移动内容相关联的连续性的印象的多个静态图像或帧。帧率是指用于创建连续性的印象的帧（例如连续帧）的显示的速率，并且以每秒桢为单位被测量。确定帧率的因素之一是曝光时间，其是指光针对每帧到达图像传感器的持续时间。当照度并不满意时，可以要求更长的曝光时间以生成具有更清晰细节和减少的噪声分量的视频内容。较高的曝光时间（例如，针对每帧的曝光时间的较高持续时间）导致较低的帧率。如果帧率低，则显示的视频内容可以表现出不平稳和不连续。
发明内容
在权利要求书中阐明示例实施例的各种方面。
在第一方面中，提供一种方法，包括：接收与由颜色图像传感器捕获的场景对应的第一帧集合；接收与由全色（panchromatic）图像传感器捕获的场景对应的第二帧集合，其中第二集合中的帧数目大于第一集合中的帧数目；以及至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。
在第二方面中，提供一种方法，包括：接收与由关联于图像传感器的颜色传感器像素捕获的场景对应的第一帧集合；接收与由关联于图像传感器的全色传感器像素捕获的场景对应的第二帧集合，其中第二集合中的帧数目大于第一集合中的帧数目；以及至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。
在第三方面中，提供一种装置，包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置成使用至少一个处理器使得装置至少执行：接收与由颜色图像传感器捕获的场景对应的第一帧集合；接收与由全色图像传感器捕获的场景对应的第二帧集合，其中第二集合中的帧数目大于第一集合中的帧数目；以及至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。
在第四方面中，提供一种装置，包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置成使用至少一个处理器使得装置至少执行：接收与由关联于图像传感器的颜色传感器像素捕获的场景对应的第一帧集合；接收与由关联于图像传感器的全色传感器像素捕获的场景对应的第二帧集合，其中第二集合中的帧数目大于第一集合中的帧数目；以及至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。
在第五方面中，提供一种计算机程序产品，包括：至少一个计算机可读存储介质，该计算机可读存储介质包括指令集，当一个或多个处理器执行该指令集时，使得装置至少执行：接收与由颜色图像传感器捕获的场景对应的第一帧集合；接收与由全色图像传感器捕获的场景对应的第二帧集合，其中第二集合中的帧数目大于第一集合中的帧数目；以及至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。
在第六方面中，提供一种计算机程序产品，包括：至少一个计算机可读存储介质，该计算机可读存储介质包括指令集，当一个或多个处理器执行该指令集时，使得装置至少执行：接收与由关联于图像传感器的颜色传感器像素捕获的场景对应的第一帧集合；接收与由关联于图像传感器的全色传感器像素捕获的场景对应的第二帧集合，其中第二集合中的帧数目大于第一集合中的帧数目；以及至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。
在第七方面中，提供一种设备，包括：用于接收与由颜色图像传感器捕获的场景对应的第一帧集合的装置；用于接收与由全色图像传感器捕获的场景对应的第二帧集合的装置，其中第二集合中的帧数目大于第一集合中的帧数目；以及用于至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧的装置。
在第八方面中，提供一种设备，包括：用于接收与由关联于图像传感器的颜色传感器像素捕获的场景对应的第一帧集合的装置；用于接收与由关联于图像传感器的全色传感器像素捕获的场景对应的第二帧集合的装置，其中第二集合中的帧数目大于第一集合中的帧数目；以及用于至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧的装置。
在第九方面中，提供一种包括程序指令的计算机程序，当该程序指令由装置执行时，使得装置：接收与由颜色图像传感器捕获的场景对应的第一帧集合；接收与由全色图像传感器捕获的场景对应的第二帧集合，其中第二集合中的帧数目大于第一集合中的帧数目；至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。
在第十方面中，提供一种包括程序指令的计算机程序，当该程序指令由装置执行时，使得装置：接收与由关联于图像传感器的颜色传感器像素捕获的场景对应的第一帧集合；接收与由关联于图像传感器的全色传感器像素捕获的场景对应的第二帧集合，其中第二集合中的帧数目大于第一集合中的帧数目；以及至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。
附图说明
在所附附图中，通过示例但并非通过限制示出各种实施例，其中：
图1示出了根据一个示例实施例的设备；
图2A示出了根据一个示例实施例的用于捕获视频内容的装置；
图2B示出根据另一示例实施例的用于捕获视频内容的装置；
图3示出了根据一个示例实施例的描绘颜色帧的生成的简化概述的框图；
图4示出了根据一个示例实施例第二集合中的帧的基于第一集合中的帧的对准；
图5A和图5B示出了根据一个示例实施例的与颜色图像传感器和全色图像传感器相关联的曝光时间的交错（staggering）之后的帧的对准；
图6是描绘根据一个示例实施例的用于捕获视频内容的示例方法的流程图；以及
图7是描绘根据另一示例实施例的用于捕获视频内容的示例方法的流程图。
具体实施方式
通过参见附图的图1至图7可以理解示例实施例及其潜在优势。
图1示出了根据一个示例实施例的设备100。然而，可以理解，所示出和下文描述的设备100仅说明可以受益于各种实施例的一种类型的设备，因此，其不应被考虑用于限制实施例的范围。就此而言，可以理解，下文结合设备100描述的一些部件可以是可选的，并且因此在一个示例实施例中可以包括比结合图1的示例实施例描述的部件更多、更少或不同的部件。设备100可以是任何数目、任何类型的移动电子设备，例如，便携式数字助理（PDA）、传呼机、移动电视、游戏设备、蜂窝电话、所有类型的计算机（例如膝上型、移动计算机或台式机）、相机、音频/视频播放器、无线电、全球定位系统（GPS）设备、媒体播放器、移动数字助理、或前述项的任一组合、以及其它类型的通信设备。
设备100可以包括与发射机104和接收机106可操作通信的天线102（或多个天线）。设备100还可以包括装置，诸如控制器108或分别向发射机104和接收机106提供信号或从其接收信号的其它处理设备。信号可以包括根据可应用蜂窝系统的空中接口标准的信令信息，和/或可以包括与用户语音、接收数据和/或用户生成的数据对应的数据。就此而言，设备100可以能够使用一个或多个接口标准、通信协议、调制类型和接入类型操作。通过示出，设备100可以能够根据多个第一、第二、第三和/或第四代通信协议等的任一种操作。例如，设备100可以能够根据第二代（2G）无线通信协议IS-136（时分多址（TDMA））、GSM（用于移动通信的全球系统）、以及IS-95（码分多址（CDMA））操作，或者可以能够根据第三代（3G）无线通协议（诸如通用移动电信系统（UMTS）、CDMA1000、宽带CDMA（WCDMA）和时分同步CDMA（TD-SCDMA））操作，或者可以能够根据3.9G无线通信协议（诸如演进式通用陆地无线接入网（E-UTRAN））操作，或者可以能够根据第四代（4G）无线通信协议等操作。作为备选（或附加地），设备100可以能够根据非蜂窝通信机制操作。例如，计算机网络，诸如因特网、局域网、广域网等；短程无线通信网络，诸如蓝牙（Bluetooth）网络、Zigbee网络、电气与电子工程师协会（IEEE）802.11x网络等；有线电信网络，诸如公共开关电话网络（PSTN）。
控制器108可以包括实现设备100的音频和逻辑功能等的电路装置。例如，控制器108可以包括但不限于一个或多个微处理器设备、具有附随的数字信号处理器的一个或多个处理器、不具有附随的数字信号处理器的一个或多个处理器、一个或多个专用计算机芯片、一个或多个现场可编程门阵列（FPGA）、一个或多个控制器、一个或多个专用集成电路（ASIC）、各种模数转换器、数模转换器和/或支持电路。根据这些设备的相应能力在它们之间分配设备100的控制和信号处理功能。控制器108因此还可以包括在调制和传输之前卷积编码以及交织消息和数据的功能。控制器108还可以附加地包括内部语音编码器，并且可以包括内部数据调制解调器。此外，控制器108可以包括操作可以存储在存储器中的一个或多个软件程序的功能性。例如，控制器108可以能够操作连接程序，诸如常规Web浏览器。连接程序然后可以允许设备100根据无线应用协议（WAP）、超文本传输协议（HTTP）等传输和接收web内容，诸如基于定位的内容和/或其它web页面内容。在一个示例实施例中，控制器108可以体现为多核处理器，诸如双核或四核处理器。然而，在控制器108中可以包括任何数目的处理器。
设备100还可以包括用户接口，用户接口包括诸如振铃110之类的输出设备、耳机或扬声器112、麦克风114、显示器116以及可以耦合至控制器108的用户输入接口。允许设备100接收数据的用户输入接口可以包括允许设备100接收数据的多个设备中的任一者，诸如小键盘118、触摸屏、麦克风或其它输入设备。在包括小键盘118的实施例中，小键盘118可以包括数字（0-9）以及相关键（#，*），以及用于操作设备100的其它硬键和软键。备选地，或者附加地，小键盘118可以包括常规QWERTY小键盘布置。键盘118还可以包括具有相关联功能的各种软键。此外，或者附加地，设备100可以包括诸如振动电池组之类的电池120以用于对各种电路供电以及可选地提供机械振动作为可检测输出，该各种电路用于操作设备100。
在一个示例实施例中，设备100包括与控制器108通信的媒体捕获元件，诸如相机、视频和/或音频模块。媒体捕获元件可以是用于捕获图像、视频和/或音频以用于存储、显示或传输的任何装置。在一个示例实施例中，媒体捕获元件是相机模块122，相机模块122可以包括数字相机，能够从所捕获的图像形成数字图像文件。就此而言，相机模块122包括所有的硬件（诸如镜片或其它光学部件）以及用于从所捕获的图像创建数字图像文件的软件。备选地，相机模块122可以包括浏览图像所需的硬件，而设备100的存储器设备存储用于由控制器108执行的软件形式的指令以从所捕获的图像创建数字图像文件。在一个示例实施例中，相机模块122还可以包括诸如协同处理器之类的辅助控制器108处理图像数据的处理元件以及用于压缩和/或解压缩图像数据的编码器和/或解码器。编码器和/或解码器可以根据JPEG标准格式或另一相似格式进行编码和/或解码。对于视频而言，编码器和/或解码器可以用于多个标准格式中任一个，诸如与H.261、H.262/MPEG-2、H.263、H.264、H.264/MPEG-4、MPEG-4等相关联的标准。在一些情形中，相机模块122可以提供现场图像数据给显示器116。在一个示例实施例中，显示器116可以位于设备100的一侧上，并且相机模块122可以包括关于显示器116位于设备100相对侧上的镜片，以使得相机模块122能够在设备100一侧捕获图像并且将该图像的视图呈现给位于设备100另一侧的用户。
设备100还可以包括用户标识模块（UIM）124。UIM124可以是具有内建处理器的存储器设备。UIM124例如可以包括订户标识模块（SIM）、通用集成电路卡（UICC）、通用订户标识模块（USIM）、可移除用户标识模块（R-UIM）或任何其它智能卡。SIM典型地存储与移动订户相关的信息元素。除了UIM124之外，设备100可以配备有存储器。例如，设备100可以包括易失性存储器126，诸如易失性随机存取存储器（RAM），其包括用于数据的临时存储的高速缓存区域。设备100还可以包括其它的非易失性存储器128，其可以嵌入和/或可以可移除。非易失性存储器128可以附加地或备选地包括电可擦除可编程只读存储器（EEPROM）、闪存、硬驱动等。存储器可以存储设备100使用的用于实现设备100的功能的任何数目的信息项以及数据。
图2A示出了根据一个示例实施例的用于捕获视频内容的装置200。例如，可以在图1的设备100中使用用于捕获视频内容的装置200。然而，应该注意，还可以在移动和固定的各种其它设备上运用装置200，因此，实施例不应该限于在诸如图1的设备100之类的设备上应用。备选地，可以在例如上述的设备的组合上运用实施例。相应地，各种实施例可以在单个设备上整体体现（例如，设备100或设备的组合）。此外，还应该注意，下面描述的设备或元件可以不是强制性的，并且因此某些设备或元件在某些实施例中可以省略。
装置200包括至少一个处理器202和至少一个存储器204，或者以其它方式与至少一个处理器202和至少一个存储器204通信。至少一个存储器204的示例包括但不限于随机存取存储器、动态随机存取存储器、静态随机存取存储器等。非易失性存储器的一些示例包括但不限于硬盘、磁带、光盘、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、闪存等。存储器204可以被配置成存储信息、数据、应用、指令等，其用于使得装置200能够根据各种示例实施例执行各种功能。例如，存储器204可以被配置成缓冲包括用于由处理器202处理的多媒体内容的输入数据。附加地或备选地，存储器204可以被配置成存储由处理器202执行的指令。
处理器202的示例可以包括控制器108。处理器202可以以多种不同方式体现。处理器202可以体现为多核处理、单核处理器或者多核处理器和单核处理器的组合。例如，处理器202可以体现为一个或多个各种处理装置，诸如协处理器、微处理器、控制器、数字信号处理器（DSP）、具有或不具有附随DSP的处理电路装置、或各种其它处理设备（包括集成电路，例如，专用集成电路（ASIC）、现场可编程门阵列（FPGA）、微控制器单元（MCU）、硬件加速器、专用计算机芯片等。在一个示例实施例中，多核处理器可以被配置成执行存储在存储器204中或以其它方式可由处理器202访问的指令。备选地或附加地，处理器202可以被配置成执行硬编码功能性。就此而言，无论是由硬件或软件方法配置或是由其组合配置，处理器202都可以表示一个实体，例如在物理上体现为电路装置，在其被相应配置时能够根据执行根据各种实施例的操作。例如，如果处理器202体现为两个或更多个ASIC、FPGA等，则处理器202可以是具体配置的硬件以用于执行在此描述的操作。备选地，作为另一示例，如果处理器202体现为软件指令的执行器，则指令可以具体配置处理器202以在执行指令时执行本文描述的算法和/或操作。然而，在一些情形中，处理器202可以是特定设备的处理器。例如，适配用于由处理器202的进一步配置根据用于执行在本文中描述的算法和/或操作的指令来运用实施例的移动终端或网络设备可以包括时钟、算术逻辑单元（ALU）和被配置成支持处理器202的操作的逻辑门。
用户接口206可以与处理器202通信。用户接口206的示例可以包括但不限于输入接口和/或输出用户接口。输入接口被配置成接收用户输入的指示。输出用户界面提供可听、可视、机械或其它输出和/或反馈给用户。输入接口的示例可以包括但不限于键盘、鼠标、操作杆、小键盘、触摸屏、软键等。输出接口的示例可以包括但不限于诸如发光二极管显示器、薄膜晶体管（TFT）显示器、液晶显示器、有源矩阵有机发光二极管（AMOLED）显示器之类的显示器、麦克风、扬声器、振铃、振动器等。在一个示例实施例中，用户接口206可以包括扬声器、麦克风、显示器和键盘、触摸屏等中的任一或所有，以及其他设备或元件。就此而言，例如处理器202可以包括用户接口电路装置，其被配置成控制用户接口206的一个或多个元件的至少一些功能，诸如麦克风、扬声器、振铃、显示器等。处理器202和/或包括处理器202的用户接口电路装置可以被配置成通过计算机程序指令（例如存储在存储器上的软件和/或固件，存储器例如是处理器202可访问的至少一个存储器204等）控制用户接口206的一个或多个元件的一个或多个功能。
装置200可以包括电子设备。电子设备的一些示例可以包括通信设备、具有通信能力的媒体捕获设备、计算设备等。通信设备的一些示例可以包括移动电话、个人数字助理（PDA）等。计算设备的一些示例可以包括膝上型笔记本、个人计算机等。在一个示例实施例中，电子设备可以包括具有用户接口电路装置和用户接口软件的用户接口（例如，UI206），用户接口软件被配置成为便于用户通过使用显示器控制电子设备的至少一个功能并被配置成响应于用户输入。在一个示例实施例中，电子设备可以包括显示电路装置，其被配置成显示电子设备的用户接口的至少一部分。显示器和显示电路装置被配置成便于用户控制电子设备的至少一个功能。
在一个示例实施例中，电子设备可以体现为包括收发器。收发器可以是根据软件或以其他方式体现为硬件或硬件和软件的组合操作的任何设备或电路装置。例如，根据软件控制操作的处理器202或体现为ASIX或FPGA的处理器202被具体配置成执行本文中描述的操作或其组合，从而配置该装置或电路装置以执行收发器的功能。收发器可以被配置成接收多媒体内容。多媒体内容的示例可以包括音频内容、视频内容及其组合。
在一个示例实施例中，电子设备和/或媒体捕获设备可以体现为包括颜色图像传感器，诸如颜色图像传感器208。颜色图像传感器208可以与处理器202和/或装置200的其它部件通信。颜色图像传感器208可以与其它成像电路装置和/或软件通信，并且被配置成捕获数字图像或制作视频或其它图形媒体文件。颜色图像传感器208和其它电路装置可以组合为设备100的相机模块122的示例。在一个示例实施例中，颜色图像传感器208可以是其上布置颜色滤镜阵列（CFA）的图像传感器。使用半导体材料构建的图像传感器（诸如基于CMOS的传感器或电荷耦合器件（CCD）传感器）并不对颜色或波长敏感，并且因此可以在颜色图像传感器（诸如颜色图像传感器208）上布置CFA。在一个示例实施例中，CFA包括颜色传感器像素（诸如针对红色、绿色和蓝色（RGB）的像素），以马赛克（mosaic）模式布置在颜色图像传感器208之上以用于对与所捕获的场景对应的相应颜色进行采样。从这些颜色传感器像素获得的采样值在内插之后配置图像像素。由于每个图像像素被滤色以仅记录三种颜色之一，因此来自每个像素的数据无法根据其自身充分确定颜色。为了获得完全颜色图像，可以运用各种解马赛克算法以内插针对与所捕获的帧对应的每个图像像素的完整红色、绿色和蓝色值的集合。
在一个示例实施例中，颜色图像传感器208可以包括拜耳（Bayer）CFA，其被配置成提供RGB和青色、品红和黄色（CMY）颜色模式之一。在一个实施例中，Bayer CFA可以包括为红色或蓝色两倍的绿色图像像素以模仿人眼生理机能，相比于红色光和蓝色光而言，人眼对绿色光更为敏感。相应地，颜色模式可以是50%绿色、25%红色和25%蓝色，并且这也可以被称为RGBG、GRGB或RGGB颜色模式。
在一个示例实施例中，电子设备和/或媒体捕获设备可以体现为包括全色图像传感器，诸如全色图像传感器210。全色图像传感器210可以与处理器202和/或装置200的其它部件通信。全色图像传感器210可以与其它成像电路装置和/或软件通信，并且被配置成捕获数字图像或制作视频或其它图形媒体文件。全色图像传感器210和其它电路装置可以组合为设备100的相机模块122的一个示例。在一个示例实施例中，全色图像传感器210可以包括全色传感器像素或者可以与全色传感器像素相关联。在一个示例实施例中，包括全色传感器像素的CFA（例如，全色滤镜）可以布置在全色图像传感器210之上。在一个示例实施例中，对与全色图像传感器210的所捕获的场景对应的入射光的敏感度大于或等于颜色图像传感器208的敏感度的两倍。更具体而言，与全色图像传感器210相关联的全色传感器像素具有对入射光的如下敏感度，其大于或等于与颜色图像传感器208相关联的颜色传感器像素的敏感度的两倍。由于敏感度更高，因此对于给定场景照明而言，全色图像传感器210可以能够捕获为由颜色图像传感器208捕获的帧数目的至少两倍的帧数目。备选地，全色图像传感器210可以在针对近似颜色图像传感器208配置的一半曝光时间的情形下捕获如由颜色图像传感器208捕获的相同数目的帧。
这些部件（202-210）可以经由用于捕获视频内容的集中式电路系统212彼此通信。集中式电路系统212可以是被配置成提供或实现装置200的部件（202-210）之间的通信等的各种设备。在某些实施例中，集中式电路系统212可以是中央印刷电路板（PCB）、诸如母板、主板、系统板、或逻辑板。集中式电路系统212还可以或备选地包括其它印刷电路组件（PCA）或通信信道媒体。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200捕获视频内容。在一个实施例中，视频内容可以包括多个视频帧，例如，视频帧的序列。视频帧的序列可以对应于视频内容的单个场景。在一个实施例中，多个视频帧可以对应于由图像传感器（诸如颜色图像传感器208和全色图像传感器210）捕获的视频内容。注意，术语“视频帧”和“帧”在此被可互换地使用并且指代相同实体。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200接收与场景对应的第一帧集合。场景可以包括在装置200的周围环境中的可以由诸如颜色图像传感器208和全色图像传感器210之类的图像传感器捕获的一个或多个对象，例如，人物、或个体、鸟、书、操场、自然景物（诸如山等）的聚集。在一个示例实施例中，第一帧集合由颜色图像传感器（诸如装置200的颜色图像传感器208）捕获。在某些示例实施例中，颜色图像传感器208可以在装置200外部，但可由装置200访问和/或控制。在一个示例实施例中，使得装置200从颜色图像传感器208接收图像样本，并且执行图像样本的解马赛克以生成第一帧集合。在某些示例实施例中，也可以利用其它技术以根据从颜色图像传感器208接收的非完整图像样本生成第一帧集合。在一个示例实施例中，第一帧集合包括与所捕获的场景对应的色度信息（例如，主色信息，诸如RGB信息）。在一个示例实施例中，处理装置可以被配置成接收与由颜色图像传感器208捕获的场景对应的第一帧集合。处理装置的示例可以包括处理器202，其可以是控制器108的一个示例。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200接收与场景对应的第二帧集合。在一个示例实施例中，第二帧集合由全色图像传感器（诸如装置200的全色图像传感器210）捕获。注意，全色图像传感器210和颜色图像传感器208同时捕获与场景对应的帧。第一帧集合和第二帧集合被同时捕获并且与相同的场景对应。在一个示例实施例中，同时或近似同时地接收所捕获的第一帧集合和第二帧集合。在某些示例实施例中，全色图像传感器210可以在装置200外部，但是可由装置200访问和/或控制。在一个示例实施例中，使得装置200从全色图像传感器210接收图像样本，并且执行图像样本的解马赛克以生成第二帧集合。在一个示例实施例中，第二帧集合包括与所捕获的场景对应的照度信息（例如，灰度信息）。在一个示例实施例中，处理装置可以被配置成接收与由全色图像传感器210捕获的场景对应的第二帧集合。处理装置的示例可以包括处理器202，其可以是控制器108的示例。
在一个示例实施例中，对与全色图像传感器210的所捕获的场景对应的入射光的敏感度大于或等于颜色图像传感器208的敏感度的两倍。如上所述地，全色图像传感器210可以包括全色传感器像素或者可以与全色传感器像素相关联，全色传感器像素具有对与所捕获的场景对应的入射光的较高敏感度（例如，大于或等于与颜色图像传感器208相关联的颜色传感器像素的敏感度的两倍）。在一个示例实施例中，全色传感器像素对光的敏感度近似为颜色传感器像素的三倍。这暗示着，如果颜色图像传感器208能够在曝光时间“T”、增益“G”的情形下实现信号水平“X”，则全色图像传感器210可以在“T/3”的时间（近似）以及相同增益下实现相似信号水平。备选地，全色图像传感器210可以在曝光时间“T”、增益“G”的情形下实现几乎3X的信号水平。全色图像传感器210的这种属性在两个方面有用，诸如改进信噪比（尤其在低光情形下）以及实现导致较高输出帧数的极快速曝光。例如，基于在环境状况中普遍的照明，可以由算法（例如，存储在存储器204中的计算机程序）确定曝光时间，并且因此来自在周围环境中显露的场景的光线可以基于所确定的曝光时间入射在颜色图像传感器208和全色图像传感器210上。对于相同的场景和相同的曝光时间而言，如果颜色图像传感器捕获“X”数目的帧，则全色图像传感器210可以捕获至少“2X”数目的帧，这是由于对与全色图像传感器210相关联的全色图像像素的入射光的敏感度较高。因此，第二集合中的帧数目大于第一集合中的帧数目。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。在一个示例实施例中，第一帧集合和第二帧集合的处理包括组合色度信息和照度信息以用于生成与所捕获的场景对应的颜色帧。可以通过运用各种融合技术来实现用于生成颜色帧的色度信息和照度信息的组合。在一个示例实施例中，如果与第一帧集合相关联的帧率（例如，每秒捕获的帧数目）是每秒30帧（fps），则颜色帧被配置成以高于30fps的帧率被生成。在一个示例实施例中，处理装置可以被配置成至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。处理装置的示例可以包括处理器202，其可以是控制器108的示例。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200在生成颜色帧之前基于第一帧集合对准第二帧集合。备选地，在一个示例实施例中，在生成颜色帧之前基于第二帧集合对准第一帧集合。可以执行对准（例如，变形）以便获得一个图像传感器（诸如全色图像传感器210）的依据第二图像传感器（诸如颜色图像传感器208）的输出。这可以被实现为两个图像传感器，即使捕获相同场景可以因捕获角度的不同而捕获具有稍微不同的信息。相应地，可以执行像素的对准以获得一个图像传感器的依据其它图像传感器的视图。相应地，可以计算变形以获得全色图像传感器210的依据颜色图像传感器208的输出。在此关于获得全色图像传感器210的依据颜色图像传感器208的输出来说明帧的对准，然而，注意，备选地，可以计算变形以获得颜色图像传感器208的依据全色图像传感器210的输出。在一些实施例中，可以优选地计算用于获得颜色图像传感器208的依据全色图像传感器210的输出的变形。以此方式的变形可以排除所生成的颜色帧的“锐度（sharpness）”（例如，图像质量）的损失。在一些实施例中，变形可以涉及执行内插（例如，双线性内插），其可以影响与帧相关联的锐度。如果来自第一集合的帧被变形，或者更具体而言，在第一集合中的与帧相关联的色度信息被变形至来自第二集合中的帧的照度信息，则照度信息的锐度被保持，而色度信息中的一些锐度的损失并不影响所生成的颜色帧的锐度，这是因为相比于照度信息而言，色度信息相对而言为低通的。在一个示例实施例中，变形可以被计算为8参数变换（例如，使用标准技术，诸如相似性、单应性（homography）、仿射等）或可以使用针对立体相机计算的密集对应（dense correspondence）被计算。
在一个示例实施例中，与颜色图像传感器208和全色图像传感器210相关联的曝光时间（例如，光针对每帧到达图像传感器的持续时间）被对准，例如用于捕获用于颜色图像传感器208和全色图像传感器210的场景的曝光瞬间被匹配。在一个示例实施例中，第二集合中在时间戳处的帧与第一集合中在对应时间戳处的帧对准。例如，第二集合中在时间戳X（例如，在第10秒）处的帧与第一集合中的在第10秒处的帧对准。类似地，第二集合中的在时间戳Y处的帧与第一集合中的在时间戳Y处的帧对准。如上所述，第二集合中的帧数目大于第一集合中的帧的数目，这是由于由与全色图像传感器210相关联的全色传感器像素捕获的帧数目较高。相应地，第二集合中可以有如下帧，其可能不具有在第一集合中的具有匹配时间戳的任何帧。在一个示例实施例中，如果在第一集合中没有在对应时间戳处的帧，则在第二集合中在时间戳处的帧与第一集合中的如下帧对准，该帧位于第二集合中的帧的时间戳之前的时间戳处。例如，如果第二集合中的该帧在时间戳X处，而在第一集合中没有在时间戳X处的对应帧，则第二集合中的该帧与第一集合中在之前时间戳（例如，时间戳“X-1”）处的帧对准。在高帧率时，场景内容经常可能改变不多，并且相应地，第二集合中的帧可以与第一集合中在之前时间戳处的帧对准。在图4中说明当与颜色图像传感器208和全色图像传感器210相关联的曝光时间被对准时帧的对准。第二集合中的帧在对准后的照度信息可以与第一集合中（在匹配时间戳处或在之前帧的时间戳处）的帧的色度信息组合以用于生成颜色帧。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200交错与颜色图像传感器208和全色图像传感器210相关联的曝光时间。在一个示例实施例中，与第一集合中的帧对应的时间戳被配置为在与颜色图像传感器208和全色图像传感器210相关联的曝光时间的交错之后落入与第二集合中的帧对应的时间戳之间。在一个示例实施例中，第一集合中的帧的时间戳可以落入第二集合中的帧的（例如，交织）时间戳之间。例如，在与颜色图像传感器208和全色图像传感器210相关联的曝光时间的交错之后，如果与第二集合中的帧的中间序列对应的时间戳按秒是10、12、14、16、18、20、22、24等等，则与第一集合中的帧对应的时间戳按秒可以是11、17、23等等，即，其中时间戳落入与第一集合中的帧对应的时间戳之间。
在一个示例实施例中，在第二集合中在时间戳处的帧与第一集合中的如下至少一个帧对准，该至少一个帧位于第二集合中的帧的时间戳的之前时间戳和后继时间戳处。例如，在上面的示例中，第二集合中的在第16秒的时间戳处的帧可以与第一集合中的在第11秒的时间戳（即之前时间戳）处的帧和第一集合中的在第17秒的时间戳（即后继时间戳）处的帧对准。由于时间戳的这类交织，第二集合中的一个或多个帧可以与第一集合中的多于一个的帧对准，这是因为旁边帧中的场景内容可能改变不多。相应地，所生成的颜色帧的帧率较高，甚至高于用于使用用于颜色图像传感器208和全色图像传感器210的经对准的曝光时间生成的颜色帧的帧率。在图5A和图5B中进一步说明在此情形下的颜色帧的对准和生成。在一个示例实施例中，处理装置可以被配置成交错与颜色图像传感器208和全色图像传感器210相关联的曝光时间。处理装置的示例可以包括处理器202，其可以是控制器108的一个示例。
在一个示例实施例中，出于对准的目的，可以基于与第二集合中的帧相关联的特征点和与在第一集合中的帧相关联的特征点确定变形矩阵。特征点的示例可以包括但不限于拐角、图像边缘、或感兴趣的其它区域，诸如场景的背景。在一个示例实施例中，使得装置200执行第一集合中的帧的灰度转换以生成灰度图像以及确定与灰度图像相关联的特征点。在一个示例实施例中，可以使得装置200使用诸如尺度不变特征变换（SIFT）、哈里斯角检测（Harris cornerdetector）、最小单值分段同化核（smallest univalue segmentassimilating nucleus）（SUSAN）角检测、来自加速分段测试的特征（features from accelerated segment test）（FAST）之类的算法以用于确定与灰度图像和第二集合中的帧相关联的特征点。在一个示例实施例中，使得装置200确定在与对应于第一集合中的帧的灰度图像相关联的特征点和与第二集合中的帧相关联的特征点之间的对应信息。在一个示例实施例中，使得装置200使用诸如随机采样一致性（RANSAC）之类的算法确定对应信息。在一个示例实施例中，使得装置200基于对应信息计算变形矩阵。在一个示例实施例中，可以使用变形矩阵与第一集合中的帧对应地变形第二集合中的帧。
在一个示例实施例中，可以计算与第一集合中的帧相关联的色度信息。在一个示例实施例中，使得装置200通过将帧分解为亮度-色度格式来确定第一集合中的帧的色度信息。在一个示例实施例中，可以对第一集合中的帧的色度信息（例如RGB图像）去噪声以生成平滑色度信息。在一个示例实施例中，可以使用变形矩阵将与第二集合中的帧的对应的照度信息与去噪声的色度信息对应地变形。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200在将第一集合和第二集合的帧对准之前执行以下动作中的至少一个：使得第一集合的帧清晰，以及增加与第一集合的帧相关联的亮度。在一个示例实施例中，对于捕获参数的给定集合而言与第一集合的帧相关联的亮度低于第二集合中的帧的亮度。在一个示例实施例中，对于捕获参数的给定集合而言与第一集合的帧相关联的亮度显著低于第二集合中的帧的亮度。在一个示例实施例中，如果对于捕获参数的给定集合而言与第一集合的帧相关联的亮度显著低于第二集合中的帧的亮度，则可以通过使用增益（例如，通过使用在图像捕获期间的放大器或图像捕获之后通过计算）增加与第一集合的帧相关联的亮度以阻止所生成的颜色帧中的颜色的去饱和，这是因为颜色和颜色饱和的感觉取决于对应的照度水平。在一个示例实施例中，可以基于预先确定的人工和/或自动配置施加增益，或者备选地可以基于第一集合中的帧和第二集合中的帧的相对亮度来施加增益。在需要向第一集合的帧施加增益以阻止损失颜色信息的情形下，观察到随着增益增加的噪声分量的增加。为了减轻噪声分量的增加，可以通过使用各种技术在第一集合的帧上或（在对准之前或之后）选择性地向色度信息应用去噪声算法。这类技术的示例可以包括但不限于西格玛过滤、双边过滤以及基于小波的方法。
在一些示例性情形中，可以在较不理想的状况下捕获与场景对应的帧。例如，所捕获的场景可能包括移动的画面或者装置200可能在捕获与场景对应的帧时不稳定，或者这两者。在此情形下，所捕获的帧可以包括内容的模糊，其可以产生对在帧中包括的细节的失真效果。模糊效果尤其可以影响第一集合中的帧，这是因为与颜色图像传感器208相关联的曝光时间可以高于与全色图像传感器210相关联的曝光时间。在一个示例实施例中，清晰化算法可以用于在变形色度信息和确定关于在第二帧集合中包括的照度信息的密集对应之前清晰化（例如，根据模糊效果纠正帧）。在一个实施例中，清晰化算法可以涉及计算模糊内核以用于清晰化色度信息。在一个示例实施例中，可以以盲的方式或使用来自第二集合的非模糊帧来计算模糊内核。在一个示例实施例中，这类去模糊可以减少第一集合的帧中的动作模糊并且改进所生成的颜色帧的主观质量。在一个示例实施例中，处理装置可以被配置成在将第一集合和第二集合的帧对准之前执行以下动作中的至少一个：使得第一集合的帧清晰，以及增加与第一集合的帧相关联的亮度。处理装置的示例可以包括处理器202，其可以是控制器108的一个示例。
在一个示例实施例中，装置200被配置成将第二集合中的帧的经变形的照度信息与第一集合中的帧的色度信息组合以生成颜色帧。备选地，第一集合中的帧的经变形的色度信息可以与第二集合中的帧的照度信息组合以生成颜色帧。在一个示例实施例中，在根据从全色图像传感器210和颜色图像传感器208单独接收的帧的质量方面，所生成的颜色帧是改进的帧。例如，颜色帧是通过处理全色图像传感器210的经变形的照度信息和色度信息生成的颜色图像，其继而为颜色帧提供比从颜色图像传感器208接收的图像帧（RGB）更高的SNR。在一个示例实施例中，颜色帧可以具有比由全色图像传感器210和颜色图像传感器208以其它方式捕获的帧更好的质量，这是因为它是基于第二集合中的帧的照度（其对光更为敏感）和第一集合中的帧的颜色分量（例如，色度信息）生成的。
在一个示例实施例中，以高于第一帧集合的帧率的帧率生成与场景对应的颜色帧。如前所述，第二集合中的帧数目高于第一集合中的帧数目。将第二集合中的帧的较高数目与第一集合中的帧对准，并在对准之后，将照度信息和色度信息组合以生成较高数目的颜色帧。在一个示例实施例中，如果场景光照使得颜色图像传感器208所需的曝光时间为33ms（这意味着颜色传感器的帧率为1000/33=～30fps），则全色图像传感器210所需的曝光时间将小于或等于16ms以获得近似相似的亮度。因此，将两个图像传感器输出组合（例如，将亮度和色度信息进行组合）导致具有平均曝光时间小于或等于16ms的视频序列，这意味着颜色帧的帧率被加倍至～60帧每秒。在低光情况下，如果场景光照使得针对颜色图像传感器208可以仅为15fps，则曝光时间将为66.67ms（例如，1000/15ms）。在此情形下，针对全色图像传感器210的曝光时间将小于或等于33ms。因此，获得的帧率将为有效的33ms曝光，这对应于针对颜色帧的30fps。因此，无论场景光照状况如何，所生成的颜色帧的帧率都高于与颜色图像传感器208相关联的帧率。在图4、图5A和图5B中进一步说明以较高帧率生成颜色帧。
在一个示例实施例中，装置200可以不包括颜色图像传感器208和全色图像传感器210而是包括单个传感器，其与用于捕获视频内容的颜色传感器像素和全色传感器像素相关联。这类图像传感器可以被配置有用于全色传感器像素和颜色传感器像素的像素专用曝光控制和/或单独的曝光控制。在图2B中说明这类装置。
图2B示出根据一个示例实施例的用于捕获视频内容的装置200。图2B的装置200不包括图2A的颜色图像传感器208和全色图像传感器210，并且被描述为除了处理器202、存储器204、用户接口206和集中式电路系统212之外还包括图像传感器214。图2B的装置200的各种部件（诸如处理器202、存储器204、用户接口206和集中式电路系统212）执行与图2A中描述的相似功能，并且在此不再对其进行说明。在一个示例实施例中，可以在图像传感器214上布置颜色滤镜阵列（CFA）。如图2A中说明的那样，使用半导体材料构建的图像传感器（诸如基于CMOS的传感器或电荷耦合器件（CCD）传感器）是对颜色或波长不敏感的，因此在这类图像传感器中，在图像传感器之上布置CFA。在一个示例实施例中，与图像传感器214相关联的CFA可以包括颜色传感器像素和全色传感器像素。在一个示例实施例中，CFA可以包括RGBW颜色滤镜模式。更具体而言，CFA除了全色传感器像素（也称为白色像素或W）之外还可以包括颜色传感器像素，诸如用于红色、绿色和蓝色（RGB）的像素。可以在图像传感器214之上按马赛克模式（例如，RGBW颜色滤镜模式）布置颜色传感器像素和全色传感器像素以用于采样与所捕获的场景对应的相应色度-照度信息。在某些示例实施例中，图像传感器214可以在装置200外部，但是可由装置200访问和/或控制。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200接收与由关联于图像传感器214的颜色传感器像素捕获的场景对应的第一帧集合（例如，如图2A中所说明的第一帧集合）。在一个示例实施例中，使得装置200从颜色传感器像素接收图像样本，并且执行图像样本的解马赛克以生成第一帧集合。在一个示例实施例中，第一帧集合包括与所捕获的场景对应的色度信息（例如，主色信息，诸如RGB信息）。在一个示例实施例中，可以配置处理装置以接收与由关联于图像传感器214的颜色传感器像素捕获的场景对应的第一帧集合。处理装置的示例可以包括处理器202，其可以是控制器108的一个示例。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200接收与由关联于图像传感器214的全色传感器像素捕获的场景对应的第二帧集合。在一个示例实施例中，第二帧集合包括与所捕获的场景对应的照度信息（例如，灰度信息）。全色传感器像素具有对与所捕获的场景对应的入射光的较高敏感度，并且其敏感度大于或等于与图像传感器214相关联的颜色传感器像素的敏感度的两倍。在一个示例实施例中，全色传感器像素可以具有单独的曝光控制和独立的读出（例如，采样）机制。例如，可以针对每个RGB像素采样读出全色传感器像素两次，并且可以执行解马赛克以获得第二集合的帧。由于对全色传感器像素的入射光的敏感度较高，因此第二集合中的帧数目大于第一集合中的帧数目。在一个示例实施例中，处理装置可以被配置成接收与由关联于图像传感器214的全色传感器像素捕获的场景对应的第二帧集合。处理装置的示例可以包括处理器202，其可以是控制器108的一个示例。
在一个示例实施例中，处理器202被配置成使用存储器204的内容以及可选地使用在本文中描述的其它部件以使得装置200至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。在一个示例实施例中，第一帧集合和第二帧集合的处理包括将帧的色度信息和照度信息组合以用于生成与所捕获的场景对应的颜色帧。可以通过运用各种融合技术来实现用于生成颜色帧的色度信息和照度信息的组合。在一个示例实施例中，如果与第一帧集合相关联的帧率是15帧每秒（fps），则颜色帧被配置成以大于15fps的帧率生成。在一个示例实施例中，如图2A中说明的那样，可以基于第一帧集合和第二帧集合执行颜色帧的生成。在一个示例实施例中，颜色帧的生成可以不包括基于第一帧集合对准第二帧集合。在一个示例实施例中，处理装置可以被配置成至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。处理装置的示例可以包括处理器202，其可以是控制器108的一个示例。在图3中说明颜色帧的生成的简化概览。
图3示出了描绘根据一个示例实施例的颜色帧的生成的简化概览的框图300。在一个实施例中，可以由图2A的装置200运用如由框图300示出的颜色帧的生成。如图2A中说明的那样，颜色图像传感器208和全色图像传感器210可以捕获与场景对应的帧。场景光照状况可以指示用于捕获与场景对应的帧的颜色图像传感器208和全色图像传感器210中的每个的曝光时间。在302处，颜色图像传感器208和全色图像传感器210捕获与场景对应的帧。在一个示例实施例中，同时或者近似同时地接收所捕获的第一帧集合和第二帧集合。在图3中，由颜色图像传感器208捕获的与场景对应的第一帧集合由X（n）表示，而由全色图像传感器210捕获的与相同场景对应的第二帧集合由Y（N）表示。注意，Y（N）中的帧数目大于X（N）中的帧数目，这是因为与全色图像传感器210相关联的全色传感器像素对入射光的敏感度更高。
在304处，基于第一帧集合执行第二帧集合的对准。如图2A中说明的那样，可以执行对准（例如，变形）以获得一个图像传感器（诸如全色图像传感器210）的依据第二图像传感器（诸如颜色图像传感器208）的输出。这可以实现为两个图像传感器，即使捕获相同场景可以因捕获角度差异而捕获稍微不同的信息。相应地，可以执行像素的对准以获得一个图像传感器的依据其它图像传感器的视图。相应地，可以计算变形以获得全色图像传感器210的依据颜色图像传感器208的输出。如图2A中说明的那样，可以通过计算特征点和确定变形矩阵来执行第二帧集合的对准。在图4、图5A和图5B中进一步说明第二帧集合的对准。在306处，经对准的第二帧集合（例如，具有变形照度信息的第二帧集合）由Y’（N）表示。
在308处，来自经对准的第二帧集合Y’（N）的变形照度信息与来自第一帧集合X（n）的色度信息组合。如图2A中说明的那样，可以利用各种融合技术以用于组合照度信息和色度信息。在310处，来自经对准的第二帧集合Y’（N）的变形照度信息与来自第一帧集合X（n）的色度信息的组合导致颜色帧Z（N）的生成。注意，生成的颜色帧Z（N）的帧率高于第一帧集合X（n）的帧率。由于第二集合中的较高帧数目被对准至第一集合中的帧（在匹配时间戳处或在之前时间戳处），并且在对准之后，组合照度信息和色度信息，因此生成较高的颜色帧数目，这意味着生成的颜色帧的帧率较高。在图4中进一步说明对准和颜色帧的生成。
注意，图2B的装置200排除包括颜色图像传感器208和全色图像传感器210，而是利用与颜色传感器像素和全色传感器像素相关联的图像传感器214。相应地，图2B的装置200可以运用由框图300示出的颜色帧的生成，其中分别从图像传感器214的颜色传感器像素和全色传感器像素接收第一帧集合X（n）和第二帧集合Y（n），并且将X（n）的色度信息与Y（N）的照度信息组合（同时排除需要在304处的对准）以生成颜色帧Z（N）。
图4示出了根据一个示例实施例的基于第一集合中的帧对准第二集合中帧。在一个实施例中，在颜色帧400的生成之前，可以由图2A的装置200运用图4中描绘的对准。在图4中，假设与颜色图像传感器208和全色图像传感器210相关联的曝光时间被配置成被对准以用于捕获与场景对应的帧。
在402处，从颜色传感器208接收配置第一集合的帧，诸如帧B1、帧B2等。在404处，从全色图像传感器210接收配置第二集合的帧，诸如帧P1、帧P2、帧P3、帧P4、帧P5、帧P6等。注意，第一帧集合和第二帧集合包括多个帧，并且出于示出的目的而描绘诸如帧B1-B2和P1-P6之类的帧。还注意，配置第一集合的帧以及配置第二集合的帧对应于相同场景，即，由颜色图像传感器208和全色图像传感器210同时且单独地捕获的帧。在一个示例实施例中，同时或近乎同时地接收所捕获的第一帧集合和第二帧集合。如图2A中说明的那样，与全色图像传感器210相关联的全色传感器像素对入射光的敏感度是与颜色图像传感器相关联的颜色传感器像素的至少两倍。相应地，第二集合中的帧数目大于第一集合中的帧数目。在图4中，假设全色传感器像素对入射光的敏感度是颜色传感器像素的三倍，并且相应地，第二集合中的帧数目被描绘为第一集合中的帧的数目的三倍。
注意，与全色图像传感器210相关联的全色传感器像素指代全色滤镜，其包括全色像素并且被布置在全色图像传感器210之上以用于采样照度信息。类似地，与颜色图像传感器208相关联的颜色传感器像素指代颜色滤镜阵列（诸如Bayer CFA），其包括颜色滤镜（例如，RGB颜色滤镜）的马赛克并且被布置在颜色图像传感器208之上以用于采样色度信息。在一个示例实施例中，第二集合中的帧包括与所捕获的场景对应的照度信息而第一集合中的帧包括与所捕获的场景对应的色度信息。
第二集合中的帧被对准至第一集合中的帧以便获得全色图像传感器210的依据颜色图像传感器208的输出。如图2A中说明的那样，第二集合中在时间戳处的帧与第一集合中在对应时间戳处的帧对准。在图4中，第二集合的帧P1与第一集合的帧B1在相同的时间瞬间被捕获，即它们的对应时间戳匹配。帧P1可以使用匹配的时间戳被对准至帧B1。在一个示例实施例中，可以针对针P1和B1计算特征点，并且标识在经计算的特征点之间的对应信息。可以基于对应信息确定变形矩阵，并且可以基于变形矩阵将帧P1对准至帧B1。在一个示例实施例中，与帧P1对应的照度信息可以被变形至灰度图像，其基于用于将帧P1对准至帧B1的变形矩阵由与帧B1对应的色度信息配置。类似地，基于帧B2（例如，第一集合中具有匹配时间戳的帧）对准帧P4。
此外，如图2A中说明的那样，如果在第一集合中没有对应时间戳处的帧，则在第二集合中在时间戳处的帧与第一集合中的如下帧对准，该帧位于第二集合中的帧的时间戳之前的时间戳处。在高帧率时，场景内容经常改变不多，并且相应地，第二集合中的帧可以被对准至第一集合中在之前时间戳处的帧。在图4中，第二集合的帧P2和P3并不具有第一集合中的、具有对应（例如，匹配）时间戳的帧。帧P2和P3中的每个帧被对准至第一集合中的具有之前时间戳的帧，例如帧B1。可以按照与帧P1和B1的对准类似的方式执行对准。类似地，第二集合的帧P5和P6并不具有在第一集合中的、具有匹配时间戳的帧。因此，帧P5和P8中的每个帧被对准至第一集合中的具有之前时间戳的帧，例如帧B2。
在406处，第二集合中的帧在对准之后的照度信息可以与第一集合中（在匹配时间戳处或在之前帧的时间戳处）的帧的色度信息组合以用于生成颜色帧400。例如，在对准帧P1和B1之后，与帧P1对应的变形照度信息可以与帧B1的色度信息组合以生成颜色帧B1+P1。类似地，在对准帧P2和B1之后，与帧P2对应的变形照度信息可以与帧B1的色度信息组合以生成颜色帧B1+P2。第二集合中的剩余帧可以与第一集合中的帧类似地对准和组合以生成颜色帧400。如图4中可见，颜色帧400的帧率高于第一帧集合的帧率。较高的帧率当在极其大的显示器上浏览与所捕获的场景对应的视频内容时尤其有用，这是因为视频将表现的更为平滑并且从而排除抖动和不连续性。此外，所生成的颜色帧400的质量也因改进的信噪比而优于由颜色图像传感器208或全色图像传感器210的任一者捕获的帧（这是因为通过组合色度和照度信息而非通过降低颜色图像传感器208的曝光时间增加了帧率，降低曝光时间可以不利地影响信噪比）。如上所述，在图4中，假设与颜色图像传感器208和全色图像传感器210相关联的曝光时间被配置成被对准以用于捕获与场景对应的帧。在图5A和图5B中说明当与颜色图像传感器208和全色图像传感器210相关联的曝光时间被交错时帧的对准和颜色帧的后续生成。
图5A和图5B示出了根据一个示例实施例的在与颜色图像传感器208和全色图像传感器210相关联的曝光时间的交错之后的帧的对准。在图5A中，假设与全色图像传感器210相关联的曝光时间是与颜色图像传感器208相关联的曝光时间的三分之一。在图5B中，假设与全色图像传感器210相关联的曝光时间是与颜色图像传感器208相关联的曝光时间的一半。在一个实施例中，在颜色帧500的生成之前，可以由图2A的装置200运用图5A和图5B中描绘的对准。
在502处，从颜色图像传感器208接收配置第一集合的帧。更具体而言，出于示出的目的，描绘从颜色图像传感器208接收第一集合中的帧的中间序列，诸如帧B3、帧B4和帧B5，该中间序列来自序列中的多个帧。在504处，从全色图像传感器210接收配置第二集合的帧。更具体而言，出于示出的目的，描绘从全色图像传感器210接收第二集合中的帧的中间序列，诸如帧P10，帧P11，帧P12，帧P13，帧P14和帧P15，该中间序列来自序列中的多个帧。注意，配置第一集合的帧和配置第二集合的帧对应于相同场景，即，由颜色图像传感器208和全色图像传感器210同时且单独地捕获帧。在一个示例实施例中，同时或近乎同时地接收所捕获的第一帧集合和第二帧集合。如图2A中说明的那样，与全色图像传感器210相关联的全色传感器像素对入射光的敏感度是与颜色图像传感器相关联的颜色传感器像素的至少两倍。相应地，第二集合中的帧数目大于第一集合中的帧数目。在图5A中，假设与全色图像传感器210相关联的曝光时间是与颜色图像传感器208相关联的曝光时间的三分之一，这意味着全色传感器像素对入射光的敏感度是颜色传感器像素的三倍，并且相应地，第二集合中的帧的数目被描绘为第一集合中的帧数目的三倍。
如图2A中说明的那样，在与颜色图像传感器208和全色图像传感器210相关联的曝光时间的交错之后，与第一集合中的帧对应的时间戳被配置成落入与第二集合中的帧对应的时间戳之间。例如，第一集合中的帧（例如，帧B4）的时间戳落入与第二集合中的帧（例如P10和P11）对应的时间戳之间。类似地，帧B5的时间戳落入与帧P13和P14对应的时间戳之间。
第二集合中的帧被对准至第一集合中的帧以便获得全色图像传感器210的依据颜色图像传感器208的输出。如图2A中说明的那样，在第二集合中在时间戳处的帧与第一集合中的如下至少一个帧对准，该至少一个帧位于第二集合中的帧的时间戳的之前时间戳和后继时间戳处。例如，在图5A中，帧P10被对准至第一集合中的在帧P10的时间戳之前的时间戳处的帧，例如，被对准至帧B3。此外，帧P10也被对准至第一集合中的在帧P10的时间戳之后的时间戳处的帧，例如，被对准至帧B4。帧P11和P12被对准至第一集合中在它们的对应时间戳之前的时间戳处的帧，例如，被对准至帧B4。帧P13和P14的时间戳交织与第一集合中的帧（例如，帧B5）对应的时间戳。相应地，帧P13被对准至帧B4和B5，并且帧P14被对准至第一集合的帧B5。
在一个示例实施例中，可以针对第一集合和第二集合中的帧计算特征点，并且标识在经计算的特征点之间的对应信息。可以基于对应信息确定变形矩阵，并且第二集合中的帧可以基于变形矩阵被对准至第一集合中的帧。在一个示例实施例中，与第二集合中的帧对应的照度信息可以被变形至灰度图像，其基于用于对准帧的变形矩阵从与第一集合中的帧对应的色度信息配置而成。
在506处，第二集合中的帧在对准之后的照度信息可以与第一集合中（在之前时间戳处或在后继时间戳处）的帧的色度信息组合以用于生成颜色帧500。例如，在对准帧P10和B3之后，与帧P10对应的变形照度信息可以与对应于帧B3的色度信息组合以生成颜色帧B3+P10。类似地，在对准帧P10和B4之后，与帧P10对应的变形照度信息可以与对应于帧B4的色度信息组合以生成颜色帧B4+P10。第二集合中的剩余帧可以与第一集合中的帧对准与组合以生成颜色帧500。如图5A中可见，颜色帧500的帧率高于第一帧集合的帧率。由于时间戳的交织，第二集合中的一些帧（诸如帧P10或P13）可以与第一集合中的多于一个的帧对准并随后组合，并且相应地，可以生成较高数目的颜色帧500。这类颜色帧500的生成500是可能的，这是因为旁边帧的场景内容在高帧率时改变不多。相应地，生成的颜色帧500的帧率为高，例如，甚至高于使用与对准的颜色图像传感器208和全色图像传感器210相关联的曝光时间生成的颜色帧400的帧率。
在图5B中，假设与全色图像传感器210相关联的曝光时间是与颜色图像传感器208相关联的曝光时间的一半。相应地，第二集合中的帧数目是第一集合中的帧数目的二倍。在508处，从颜色图像传感器208接收配置第一集合的帧。更具体而言，出于示出的目的，第一集合中的帧的中间序列（帧B3-B6）被描绘为从颜色图像传感器208接收，该中间序列来自序列中的多个帧。在510处，从全色图像传感器210接收配置第二集合的帧。更具体而言，出于示出的目的，第二集合中的帧的中间序列（帧P7-P12）被描绘为从全色图像传感器210接收，该中间序列来自序列中的多个帧。注意，配置第一集合的帧和配置第二集合的帧对应于相同场景，即，由颜色图像传感器208和全色图像传感器210同时且单独地捕获帧。在一个示例实施例中，同时或近乎同时地接收所捕获的第一帧集合和第二帧集合。
由于曝光时间的交错，与第一集合中的帧对应的时间戳被配置成落入与第二集合中的帧对应的时间戳之间。例如，第一集合中的帧（例如，帧B4）的时间戳落入与第二集合中的帧（例如，帧P7和P8）对应的时间戳之间。类似地，帧B5的时间戳落入与帧P9和P10对应的时间戳之间，并且帧B6的时间戳落入与帧P11和P12对应的时间戳之间。
第二集合中的帧被对准至第一集合中的帧以便获得全色图像传感器210的依据颜色图像传感器208的输出。在第二集合中在时间戳处的帧与第一集合中的如下至少一个帧对准，该至少一个帧位于第二集合中的帧的时间戳的之前时间戳和后继时间戳处。例如，在图5B中，帧P7被对准至第一集合中的在帧P7的时间戳之前时间戳处的帧，例如，被对准至帧B3。此外，帧P7也被对准至第一集合中的在帧P7的时间戳之后时间戳处的帧，例如，被对准至帧B4。帧P8被对准至第一集合中的在其时间戳之前时间戳处的帧，例如，被对准至帧B4。帧P9和P10的时间戳交织与第一集合中的帧（例如，帧B5）对应的时间戳。相应地，帧P9被对准至帧B4和B5。帧P10被对准至B5。类似地，帧P11被对准至帧B5和B6而帧P12被对准至B6。
可以如图5A中所说明的那样执行对准。此外，在512处，第二集合中的帧在对准之后的照度信息可以与第一集合中（在之前时间戳处或在后续时间戳处）的帧的色度信息组合以用于生成颜色帧500。例如，在帧P7和B3对准之后，与帧P7对应的变形照度信息可以与帧B3的色度信息组合以生成颜色帧B3+P7。类似地，在帧P7和B4对准之后，与帧P7对应的变形照度信息可以与帧B4的色度信息组合以生成颜色帧B4+P7。第二集合中的剩余帧可以被与第一集合中的帧类似地对准和组合以生成颜色帧500。如图4中可见，颜色帧500的帧率高于第一集合中的帧的帧率。由于时间戳的交织，第二集合中的一些帧（诸如帧P7、P9和P11）可以与第一集合中的多于一个的帧对准且随后组合，并且相应地可以生成较高数目的颜色帧500。在图6中说明用于捕获视频内容的方法。
图6是描绘根据一个示例实施例的用于捕获视频内容的示例方法600的流程图。可以由例如图2A的装置200执行在流程图中描绘的方法600。流程图的操作以及流程图中操作组合可以由各种装置实现，诸如硬件、固件、处理器、电路装置和/或与包括一个或多个计算机程序指令的软件执行相关联的其它设备。例如，在各种实施例中描述的一个或多个过程可以由计算机程序指令体现。在一个示例实施例中，在各种实施例中描述的体现过程的计算机程序指令可以由装置的至少一个存储器设备存储并且由装置中的至少一个处理器执行。任何这类计算机程序指令可以被加载至计算机或其它可编程装置（例如，硬件）上以产生机器，从而使得所得的计算机或其它可编程装置体现用于实现在流程图中详述的操作的装置。这些计算机程序指令还可以被存储在计算机可读存储存储器中（相对于诸如载波或电磁信号之类的传输介质而言），该指令可以使得计算机或其它可编程装置以特定方式工作，从而使得存储在计算机可读存储器中的指令产生制品，该制品的执行实现在流程图中详述的操作。计算机程序指令还可以被加载至计算机或其它可编程装置上以引起在计算机或其它可编程装置上执行用于产生计算机实现的处理的一系列操作，从而使得在计算机或其它可编程装置上执行的指令提供用于实现流程图中的操作的操作。借助于图2A的装置200描述方法600的操作。然而，可以通过使用任何其它装置来描述和/或实践方法的操作。
在方法600的块602处，从颜色传感器（诸如颜色图像传感器208）接收与场景对应的第一帧集合。场景可以包括在周围环境中的一个或多个对象，例如，人物或个体、鸟、书、操场、自然景物（诸如山）等的聚集。在一个示例实施例中，颜色图像传感器可以是其上布置颜色滤镜阵列（CFA）的图像传感器。使用半导体材料构建的图像传感器（诸如基于CMOS的传感器、或电荷耦合器件（CCD）传感器）是对颜色或波长不敏感的，并且因此在这类颜色图像传感器之上布置CFA。在一个示例实施例中，CFA包括颜色传感器像素（诸如红色、绿色和蓝色（RGB）的像素），其以马赛克模式被布置在颜色图像传感器之上以用于采样与所捕获的场景对应的相应颜色。从这些颜色传感器像素获得的采样值在内插之后配置图像像素。由于每个图像像素被过滤以仅记录三种颜色之一，因此来自每个像素的数据无法仅凭其自身充分确定颜色。为了获得全颜色图像，可以运用各种解马赛克算法以针对与所捕获的帧对应的每个图像像素内插完整的红色、绿色和蓝色值的集合。
在一个示例实施例中，颜色图像传感器可以包括Bayer CFA，其被配置成提供RGB以及青色、品红色和黄色（CMY）颜色模式之一。在一个实施例中，Bayer CFA滤镜模式可以包括红色或蓝色的两倍的绿色图像像素以模拟人眼的生理技能，相比于红色和蓝色，人眼对于绿色光更为敏感。相应地，滤镜模式可以是50%绿色、25%红色和25%蓝色，并且还可以被称为RGBG、GRGB或RGGB颜色模式。在一个示例实施例中，可以执行从CFA接收的图像样本的解马赛克以生成第一帧集合。在一个示例实施例中，第一帧集合包括与所捕获的场景捕获的对应的色度信息（例如，主色信息，诸如RGB信息）。
在块604处，接收与场景对应的第二帧集合。在一个示例实施例中，由全色图像传感器（诸如装置200的全色图像传感器210）捕获第二帧集合。在一个示例实施例中，第二帧集合包括与所捕获的场景对应的照度信息（例如，灰度信息）。在一个示例实施例中，全色图像传感器可以包括全色传感器像素或者可以与全色传感器像素相关联。在一个示例实施例中，包括全色传感器像素的CFA（例如，全色滤镜）可以被布置在全色图像传感器之上。注意，全色图像传感器和颜色图像传感器同时捕获与场景对应的帧。同时捕获第一帧集合和第二帧集合，并且第一帧集合和第二帧集合对应于相同场景。在一个示例实施例中，同时或近乎同时地接收所捕获的第一帧集合和第二帧集合。在一个示例实施例中，全色图像传感器的、对与所捕获的场景对应的入射光的敏感度大于或等于颜色图像传感器的敏感度的两倍。更具体而言，与全色图像传感器相关联的全色传感器像素具有对入射光的如下敏感度，其大于或等于与颜色图像传感器相关联的颜色传感器像素的敏感度的两倍。由于敏感度更大，因此对于给定场景照明而言，全色图像传感器可以能够捕获由颜色图像传感器捕获的帧数目的至少两倍的帧数目。备选地，全色图像传感器可以在针对颜色图像传感器配置的曝光时间的接近一半的情形下捕获与由颜色图像传感器捕获的帧数目相同的帧数目。在一个示例实施例中，全色传感器像素的敏感度是与颜色图像传感器对应的颜色传感器像素的近似3倍。例如，如果场景光照使得颜色图像传感器所需的曝光时间为33ms（这意味着颜色图像传感器的帧率是1000/33=～30fps），则全色图像传感器所需的曝光时间将少于或等于16ms以获得近似相似的亮度。
在块606处，确定与颜色图像传感器和全色图像传感器相关联的曝光时间在捕获与场景对应的帧期间对准。如果确定对准了曝光时间，则在块608处，基于第一帧集合对准第二帧集合。备选地，在一个示例实施例中，可以基于第二帧集合对准第一帧集合。可以执行对准（例如，变形）以便获得一个图像传感器（诸如全色图像传感器）的依据第二图像传感器（诸如颜色图像传感器）的输出。这可以实现为两个图像传感器，即使捕获相同场景可以因捕获角度差异而捕获稍微不同的信息。相应地，可以执行像素对准以获得一个图像传感器的依据其它图像传感器的视图。相应地，可以计算变形以获得全色图像传感器的依据颜色图像传感器的输出。在一些实施例中，出于图2A中说明的理由，可以优选地计算变形以用于获得颜色图像传感器的依据全色图像传感器的输出。在一个示例实施例中，变形可以作为8参数变换（例如，使用标准技术，诸如相似性、单应性、仿射等）计算，或者可以使用针对立体相机计算的密集对应来计算。
在一个示例实施例中，第二集合中在时间戳处的帧与第一集合中在对应时间戳处的帧对准。此外，第二集合中的帧数目大于第一集合中的帧数目，这是因为由与全色图像传感器相关联的全色传感器像素捕获的帧数目较高。相应地，还可以有第二集合中的如下帧，其不具有第一集合中的具有匹配时间戳的任一帧。在一个示例实施例中，如果在第一集合中没有在对应时间戳处的帧，则在第二集合中在时间戳处的帧与第一集合中的如下帧对准，该帧位于第二集合中的帧的时间戳之前的时间戳处。可以如图4中说明的那样执行第二集合中（在匹配时间戳和之前时间戳处）的帧的对准。
如果确定曝光时间未被对准，则在块608处，对于交错的曝光时间而言，基于第一帧集合对准第二帧集合。在第二集合中的在时间戳处的帧被对准至第一集合中的、在第二集合中的帧的时间戳的之前时间戳和相继时间戳处至少一个帧。在一个示例实施例中，与第一集合中的帧对应的时间戳被配置成在交错与颜色图像传感器和全色图像传感器相关联的曝光时间之后落入与在第二集合中的帧对应的时间戳之间。在一个示例实施例中，如图5A和图5B中所示，第一集合中的帧的时间戳可以落入（例如，交织）第二集合中的帧的时间戳之间。在一个示例实施例中，在第二集合中在时间戳处的帧与第一集合中的如下至少一个帧对准，该至少一个帧位于第二集合中的帧的时间戳的之前时间戳和后继时间戳处。例如，第二集合中在第16秒的时间戳处的帧可以被对准至第一集合中在第11秒的时间戳（即，之前时间戳）处的帧和第一集合中在第17秒的时间戳（即，相继时间戳）处的帧。
在一个示例实施例中，出于对准的目的，可以基于与第二集合中的帧相关联的特征点和与在第一集合中的帧相关联的特征点确定变形矩阵。特征点的示例可以包括但不限于拐角、图像边缘或感兴趣的其它区域，诸如场景背景。在一个示例实施例中，可以执行第一集合中的帧的灰度转换，并且可以确定与灰度图像相关联的特征点。在一个示例实施例中，可以使用诸如尺度不变特征变换（SIFT）、哈里斯角检测、最小单值分段同化核（SUSAN）角检测、来自加速分段测试的特征（FAST）之类的算法以用于确定与灰度图像和第二集合中的帧相关联的特征点。在一个示例实施例中，可以确定在与对应于第一集合中的帧的灰度图像相关联的特征点和与第二集合中的帧相关联的特征点之间的对应信息。在一个示例实施例中，可以使用诸如随机采样一致性（RANSAC）之类的算法确定对应信息。在一个示例实施例中，可以基于对应信息计算变形矩阵。在一个示例实施例中，可以使用变形矩阵将第二集合中的帧与第一集合中的帧对应地变形。
在一个示例实施例中，可以计算与第一集合中的帧相关联的色度信息。在一个示例实施例中，可以通过将帧分解为照度-色度格式来确定第一集合中的帧的色度信息。在一个示例实施例中，可以对第一集合中的帧的色度信息（例如，RGB图像）去噪声以生成平滑色度信息。在一个示例实施例中，可以使用变形矩阵将与第二集合中的帧的对应的照度信息与去噪声的色度信息对应地变形。
在一个示例实施例中，在第一集合和第二集合的帧的对准之前，执行第一集合的帧的清晰化和增加与第一集合的帧相相关联的亮度中的至少一个。在一个示例实施例中，对于捕获参数的给定集合而言与第一集合的帧相关联的亮度低于第二集合中的帧的亮度。在一个示例实施例中，对于捕获参数的给定集合而言与第一集合的帧相关联的亮度显著低于第二集合中的帧的亮度。在一个示例实施例中，如果对于捕获参数的给定集合而言与第一集合的帧相关联的亮度显著低于第二集合中的帧的亮度，则可以通过使用增益（例如，通过使用放大器）来增加与第一集合的帧相关联的亮度以排除所生成的颜色帧中的颜色的去饱和，这是因为颜色和颜色饱和的感觉取决于对应照度水平。在一个示例实施例中，可以基于预先确定的人工和/或自动配置施加增益，或者备选地可以基于第一集合中的帧和第二集合中的帧的相对亮度来施加增益。在需要向第一集合的帧施加增益以阻止损失颜色信息的情形下，观察到随着增益增加的噪声分量的增加。为了减轻噪声分量的增加，可以通过使用各种技术在第一集合的帧上或（在对准之前或之后）选择性地向色度信息应用去噪声算法。这类技术的示例可以包括但不限于西格玛过滤、双边过滤以及基于小波的方法。
在一些示例性情形中，可以在较不理想的状况下捕获与场景对应的帧。例如，在捕获与场景对应的帧时，所捕获的场景可能包括移动的画面，或者图像传感器可能不稳定，或者这两者。在此情形下，所捕获的帧可以包括内容的模糊，其可以产生对在帧中包括的细节的失真影响。模糊结果可以由其影响第一集合中的帧，因为与颜色图像传感器相关联的曝光时间高于与全色图像传感器相关联的曝光时间。在一个示例实施例中，在变形色度信息和关于在第二帧集合中包括的照度信息确定密集对应之前，可以运用清晰化算法以用于清晰化（例如，根据模糊效果纠正帧）。在一个实施例中，清晰化算法可以涉及计算模糊内核以用于清晰化色度信息。在一个示例实施例中，可以以盲的方式或使用来自第二集合的非模糊帧来计算模糊内核。在一个示例实施例中，这类去模糊可以减少第一集合的帧的动作模糊并且改进所生成的颜色帧的主观质量。
在块610处，至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成与场景对应的颜色帧。在一个示例实施例中，第一帧集合和第二帧集合的处理包括组合色度信息和照度信息以用于生成与所捕获的场景对应的颜色帧。可以通过运用各种融合技术来实现用于生成颜色帧的色度信息和照度信息的组合。
在一个示例实施例中，可以基于第二集合中的变形帧的处理和第一集合中的帧的色度信息来生成各个颜色帧。在一个示例实施例中，如图4中说明的那样，第二集合中的帧的变形照度信息可以与第一集合中的帧的色度信息组合以生成颜色帧。在一个示例实施例中，在从全色图像传感器和颜色图像传感器单独接收帧的质量方面而言，所生成的颜色帧是改进的帧。
在一个示例实施例中，以高于第一帧集合的帧率的帧率生成与场景对应的颜色帧。如前所述，第二集合中的帧数目高于第一集合中的帧数目。如图4中说明的那样，第二集合中的较高数目的帧被对准至第一集合中（在匹配时间戳或在之前时间戳处）的帧，并且在对准之后，将照度信息和色度信息组合以生成较高数目的颜色帧。此外，曝光时间的交错使得第二集合中的一个或多个帧可以对准至第一集合中的多于一个的帧（并且随后组合），因为旁边帧的场景内容在高帧率时改变不多。相应地，所生成的颜色帧的帧率高，例如，甚至高于使用颜色图像传感器和全色图像传感器的经对准的曝光时间所生成的颜色帧的帧率。
在一个示例实施例中，处理装置可以被配置成执行以下项中的一些或所有：接收与由颜色图像传感器捕获的场景对应的第一帧集合；接收与由全色图像传感器捕获的场景对应的第二帧集合，其中第二集合中的帧数目大于第一集合中的帧数目；以及至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成对应于场景的颜色帧。处理装置的示例可以包括处理器202，其可以是控制器108的一个示例。参见附图7具体说明用于捕获视频内容的另一方法。
图7是描绘了根据另一示例实施例的用于捕获视频内容的示例方法700的流程图。图2B的装置200可以运用用于捕获视频内容的方法700。包括颜色传感器像素和全色传感器像素的图像传感器（诸如图像传感器214）可以被运用于捕获视频内容。在一个示例实施例中，可以在图像传感器之上布置颜色滤镜阵列（CFA）。在一个示例实施例中，与图像传感器相关联的CFA可以包括颜色传感器像素和全色传感器像素。在一个示例实施例中，CFA可以包括RGBW颜色滤镜模式。更具体而言，CFA除了全色传感器像素（也被称为白色像素或W）之外还可以包括颜色传感器像素，诸如红色、绿色和蓝色（RGB）像素。可以在图像传感器之上以马赛克模式（例如，RGBW颜色滤镜模式）布置颜色传感器像素和全色传感器像素以用于采样对应于所捕获的场景的相应色度-照度信息。
在方法700的块702处，接收与由与图像传感器相关联的颜色传感器像素捕获的场景对应的第一帧集合（例如，如图2A中说明的第一帧集合）。在一个示例实施例中，可以执行从颜色传感器像素接收的图像样本的解马赛克以生成第一帧集合。在一个示例实施例中，第一帧集合包括与所捕获的场景对应的色度信息（例如，主色信息，诸如RGB信息）。
在块704处，接收与由与图像传感器相关联的全色传感器像素捕获的场景对应的第二帧集合。第二集合中的帧数目大于第一集合中的帧数目。在一个示例实施例中，第二帧集合包括对应于所捕获的场景的照度信息（例如，灰度信息）。全色传感器像素具有对与所捕获的场景对应的入射光的较高敏感度，并且其敏感度大于或等于与图像传感器相关联的颜色传感器像素的敏感度的至少两倍。在一个示例实施例中，全色传感器像素可以具有单独的曝光控制和单独的读出（例如，采样）机制。例如，可以针对每个RGB像素采样读出全色传感器像素两次，并且可以执行解马赛克以获得第二集合的帧。由于全色传感器像素的对入射光的敏感度较高，因此第二集合中的帧数目大于第一集合中的帧数目。
在块706处，至少部分地基于第一帧集合和第二帧集合的处理以高于第一帧集合的帧率的帧率生成与场景对应的颜色帧。在一个示例实施例中，第一帧集合和第二帧集合的处理包括将帧的色度信息和照度信息组合以用于生成与所捕获的场景对应的颜色帧。可以通过运用各种融合技术来实现用于生成颜色帧的色度信息和照度信息的组合。在一个示例实施例中，如图2A中说明的那样，可以执行基于第一帧集合和第二帧集合的颜色帧的生成。在一个示例实施例中，颜色帧的生成可以不包括第二帧集合的基于第一帧集合的对准。
为了便于论述图6和图7的方法600和/或方法700，某些操作在此被描述为构成以某些顺序执行的独特步骤。这些实现方式是示例性和非限制性的。某些操作可以聚集在一起并且以单个操作执行，并且可以按照不同于本文阐述的示例中运用的顺序的顺序执行某些操作。此外，以自动方式执行方法600和/或方法700的某些操作。这些操作实际上不涉及与用户的交互。可以按照人工方式或半自动方式执行方法600和/或方法700的其它操作。这些操作涉及经由一个或多个用户接口呈现的与用户的交互。
在不以任何方式限制下面出现的权利要求书的范围、解读或应用的前提下，本文公开的示例实施例的一个或多个示例实施例的技术效果涉及捕获视频内容。如图2–图7中说明的那样，可以使用颜色图像传感器（诸如颜色图像传感器208）和全色图像传感器（诸如全色图像传感器210）同时捕获场景。来自全色图像传感器的照度信息在对准之后可以与来自颜色图像传感器的色度信息组合，从而以高于由颜色图像传感器捕获的帧的帧率的帧率生成颜色帧。可以将帧率增加为由单个颜色图像传感器捕获的帧率的两至三倍。如图5A和图5B中说明的那样，与颜色图像传感器和全色图像传感器相关联的曝光时间的交错实现了甚至更高的帧率的配置。当在极其大的显示器上浏览与所捕获的场景对应的视频内容时，较高的帧率可以尤其有用，这是因为视频将表现的更为平滑并且从而排除抖动和不连续性。此外，所生成的颜色帧的质量也优于由颜色图像传感器或全色图像传感器捕获的帧，这是由于信噪比的改进（由于通过组合色度和照度信息而非通过减少颜色图像传感器的曝光时间来增加帧率，减少曝光时间不利地影响SNR）。改进的SNR在低光照状况下尤其有用，这是因为帧率无需用于增加曝光频率的折衷以用于改进帧质量。此外，各种实施例建议利用配置有RGBW颜色滤镜模式的单个图像传感器以用于改进视频内容的帧率。
在此描述的各种实施例可以在软件、硬件、应用逻辑或软件、硬件和应用逻辑的组合中实现。软件、应用逻辑和/或硬件可以驻留在至少一个存储器、至少一个存储器、装置、或计算机程序产品上。在一个示例实施例中，应用逻辑、软件或指令集被维持在各种常规计算机可读介质中的任一者上。在本文献的情景中，“计算机可读介质”可以是可以包含、存储、传达、传播或传送指令以供指令执行系统、装置或设备（诸如计算机）使用或与上述结合使用的任何介质或装置，其中装置的一个示例在图1和/或图2中描述或描绘。计算机可读介质可以包括计算机可读存储介质，其可以是可以包含或存储供指令执行系统、装置或设备（诸如计算机）使用或与上述结合使用的指令的任何介质或装置。
如果期望，则可以按照不同顺序和/或彼此并行地执行本文中讨论的不同功能。此外，如果期望，则上述功能中的一个或多个可以是可选的或可以被组合。
虽然在独立权利要求中阐明了实施例的各个方面，但是其他方面包括所述实施例和/或具有独立权利要求的特征的从属权利要求的其它特征组合，并且并非仅包括权利要求中明确阐明的组合。
还应注意，在本文中，虽然上述内容描述了本发明的一些示例实施例，但是这些描述不应被视为限制。而是，可以有在不偏离如权利要求书限定的本公开的范围的前提下所做的若干变化和修改。

Claims (35)

1.一种用于捕获视频内容的方法，包括：
接收与由颜色图像传感器捕获的场景对应的第一帧集合；
接收与由全色图像传感器捕获的所述场景对应的第二帧集合，其中所述第二帧集合中的帧数目大于所述第一帧集合中的帧数目；以及
至少部分地基于所述第一帧集合和所述第二帧集合的处理，以高于所述第一帧集合的帧率的帧率生成对应于所述场景的颜色帧；
其中在生成所述颜色帧之前基于所述第一帧集合来对准所述第二帧集合。
2.根据权利要求1所述的方法，其中所述全色图像传感器对与所捕获的场景对应的入射光的敏感度大于或等于所述颜色图像传感器的敏感度的两倍。
3.根据权利要求1或2所述的方法，其中所述第一帧集合包括与所捕获的场景对应的色度信息。
4.根据权利要求3所述的方法，其中所述第二帧集合包括与所捕获的场景对应的照度信息。
5.根据权利要求4所述的方法，其中所述第一帧集合和所述第二帧集合的处理包括组合所述色度信息和所述照度信息以用于生成与所捕获的场景对应的所述颜色帧。
6.根据权利要求1所述的方法，其中在生成所述颜色帧之前基于所述第一帧集合对准所述第二帧集合。
7.根据权利要求6所述的方法，其中所述第二帧集合中在时间戳处的帧与所述第一帧集合中的在对应时间戳处的帧对准。
8.根据权利要求7所述的方法，其中，如果在所述第一帧集合中没有在对应时间戳处的帧，则将在所述第二帧集合中在时间戳处的帧与所述第一帧集合中的如下帧对准，该帧位于所述第二帧集合中的帧的时间戳之前的时间戳处。
9.根据权利要求6所述的方法，还包括交错与所述颜色图像传感器和所述全色图像传感器相关联的曝光时间，其中在所述曝光时间交错之后，与所述第一帧集合中的帧对应的时间戳被配置成落入与所述第二帧集合中的帧对应的时间戳之间。
10.根据权利要求9所述的方法，其中在所述第二帧集合中在时间戳处的帧与所述第一帧集合中的如下至少一个帧对准，所述至少一个帧位于所述第二帧集合中的帧的时间戳的之前时间戳和后继时间戳处。
11.根据权利要求1所述的方法，其中在生成所述颜色帧之前，基于所述第二帧集合对准所述第一帧集合。
12.根据权利要求6所述的方法，还包括在对准所述第一帧集合和所述第二帧集合的帧之前，执行使所述第一帧集合的帧清晰和增加与所述第一帧集合的帧相关联的亮度中的至少一个。
13.根据权利要求1所述的方法，其中所述颜色图像传感器包括拜耳颜色滤镜阵列(CFA)，所述拜耳颜色滤镜阵列(CFA)被配置成提供红色-绿色-蓝色(RGB)和青色-品红色-黄色(CMY)颜色模式之一。
14.一种用于捕获视频内容的方法，包括：
接收与由关联于图像传感器的颜色传感器像素捕获的场景对应的第一帧集合；
接收与由关联于所述图像传感器的全色传感器像素捕获的所述场景对应的第二帧集合，其中所述第二帧集合中的帧数目大于所述第一帧集合中的帧数目；以及
至少部分地基于所述第一帧集合和所述第二帧集合的处理，以高于所述第一帧集合的帧率的帧率生成对应于所述场景的颜色帧；
其中在生成所述颜色帧之前基于所述第一帧集合来对准所述第二帧集合。
15.根据权利要求14所述的方法，其中所述全色传感器像素对与所捕获的场景对应的入射光的灵敏度大于或等于所述颜色传感器像素的灵敏度的两倍。
16.根据权利要求14或15所述的方法，其中所述第一帧集合包括与所捕获的场景对应的色度信息并且所述第二帧集合包括与所捕获的场景对应的照度信息。
17.根据权利要求16所述的方法，其中所述第一帧集合和所述第二帧集合的处理包括组合所述色度信息和所述照度信息以用于生成与所捕获的场景对应的所述颜色帧。
18.一种用于捕获视频内容的设备，包括：
用于接收与由颜色图像传感器捕获的场景对应的第一帧集合的装置；
用于接收与由全色图像传感器捕获的所述场景对应的第二帧集合的装置，其中所述第二帧集合中的帧数目大于所述第一帧集合中的帧数目；以及
用于至少部分地基于所述第一帧集合和所述第二帧集合的处理以高于所述第一帧集合的帧率的帧率生成对应于所述场景的颜色帧的装置；
其中在生成所述颜色帧之前基于所述第一帧集合来对准所述第二帧集合。
19.根据权利要求18所述的设备，其中所述全色图像传感器对与所捕获的场景对应的入射光的敏感度大于或等于所述颜色图像传感器的敏感度的两倍。
20.根据权利要求18或19所述的设备，其中所述第一帧集合包括与所捕获的场景对应的色度信息。
21.根据权利要求20所述的设备，其中所述第二帧集合包括与所捕获的场景对应的照度信息。
22.根据权利要求21所述的设备，其中所述第一帧集合和所述第二帧集合的处理包括组合所述色度信息和所述照度信息以用于生成与所捕获的场景对应的所述颜色帧。
23.根据权利要求18所述的设备，其中所述设备还包括：
用于在生成所述颜色帧之前，基于所述第一帧集合对准所述第二帧集合的装置。
24.根据权利要求23所述的设备，其中所述设备还包括：
用于将所述第二帧集合中在时间戳处的帧与所述第一帧集合中在对应时间戳处的帧对准的装置。
25.根据权利要求24所述的设备，其中所述设备还包括：
用于如果在所述第一帧集合中没有在对应时间戳处的帧，则将在所述第二帧集合中在时间戳处的帧与所述第一帧集合中的如下帧对准的装置，该帧位于所述第二帧集合中的帧的时间戳之前的时间戳处。
26.根据权利要求23所述的设备，其中所述设备还包括：
用于交错与所述颜色图像传感器和所述全色图像传感器相关联的曝光时间的装置，其中在所述曝光时间交错之后，与所述第一帧集合中的帧对应的时间戳被配置成落入与所述第二帧集合中的帧对应的时间戳之间。
27.根据权利要求26所述的设备，其中在所述第二帧集合中在时间戳处的帧与所述第一帧集合中的如下至少一个帧对准，所述至少一个帧位于所述第二帧集合中的帧的时间戳的之前时间戳和后继时间戳处。
28.根据权利要求18所述的设备，其中所述设备还包括：
用于在生成所述颜色帧之前，基于所述第二帧集合对准所述第一帧集合的装置。
29.根据权利要求23所述的设备，其中所述设备还包括：
用于在对准所述第一帧集合和所述第二帧集合的帧之前，执行使所述第一帧集合的帧清晰和增加与所述第一帧集合的帧相关联的亮度中的至少一个的装置。
30.根据权利要求18所述的设备，其中所述颜色图像传感器包括拜耳颜色滤镜阵列(CFA)，所述拜耳颜色滤镜阵列(CFA)被配置成提供红色-绿色-蓝色(RGB)和青色-品红色-黄色(CMY)颜色模式之一。
31.一种用于捕获视频内容的设备，包括：
用于接收与由关联于图像传感器的颜色传感器像素捕获的场景对应的第一帧集合的装置；
用于接收与由关联于图像传感器的全色传感器像素捕获的所述场景对应的第二帧集合的装置，其中所述第二帧集合中的帧数目大于所述第一帧集合中的帧数目；以及
用于至少部分地基于所述第一帧集合和所述第二帧集合的处理以高于所述第一帧集合的帧率的帧率生成对应于所述场景的颜色帧的装置；
其中在生成所述颜色帧之前基于所述第一帧集合来对准所述第二帧集合。
32.根据权利要求31所述的设备，其中所述全色传感器像素对与所捕获的场景对应的入射光的灵敏度大于或等于所述颜色传感器像素的灵敏度的两倍。
33.根据权利要求31或32所述的设备，其中所述第一帧集合包括与所捕获的场景对应的色度信息并且所述第二帧集合包括与所捕获的场景对应的照度信息。
34.根据权利要求33所述的设备，其中所述第一帧集合和所述第二帧集合的处理包括组合所述色度信息和所述照度信息以用于生成与所捕获的场景对应的颜色帧。
35.根据权利要求31所述的设备，其中所述设备包括：
与所述颜色传感器像素和所述全色传感器像素相关联的图像传感器。
CN201310253481.2A 2012-06-22 2013-06-24 用于捕获视频内容的方法、装置和计算机程序产品 Active CN103517046B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN2494CH2012 2012-06-22
IN2494/CHE/2012 2012-06-22

Publications (2)

Publication Number Publication Date
CN103517046A CN103517046A (zh) 2014-01-15
CN103517046B true CN103517046B (zh) 2017-04-26

Family

ID=48745637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310253481.2A Active CN103517046B (zh) 2012-06-22 2013-06-24 用于捕获视频内容的方法、装置和计算机程序产品

Country Status (4)

Country Link
US (1) US9232199B2 (zh)
EP (1) EP2677732B1 (zh)
KR (1) KR101434796B1 (zh)
CN (1) CN103517046B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9496922B2 (en) 2014-04-21 2016-11-15 Sony Corporation Presentation of content on companion display device based on content presented on primary display device
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9866764B2 (en) * 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
CN105812651A (zh) * 2015-07-27 2016-07-27 维沃移动通信有限公司 一种视频数据的处理方法及终端设备
GB2544851B (en) 2015-09-22 2019-04-17 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10567645B2 (en) * 2017-05-17 2020-02-18 Samsung Electronics Co., Ltd. Method and apparatus for capturing video data
CN110740272B (zh) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
CN110971799B (zh) * 2019-12-09 2021-05-07 Oppo广东移动通信有限公司 控制方法、摄像头组件及移动终端
US11910121B2 (en) * 2021-01-26 2024-02-20 Zf Friedrichshafen Ag Converting dual-context video data to full color video
US20220327718A1 (en) * 2021-04-13 2022-10-13 Qualcomm Incorporated Techniques for enhancing slow motion recording

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998016068A1 (en) * 1996-10-10 1998-04-16 Florida Atlantic University Color video camera system and method
CN1965589A (zh) * 2004-05-06 2007-05-16 皇家飞利浦电子股份有限公司 高帧速运动补偿的彩色序列系统和方法
CN101601306A (zh) * 2007-09-07 2009-12-09 松下电器产业株式会社 多色图像处理装置以及信号处理装置
CN102165783A (zh) * 2008-09-25 2011-08-24 苹果公司 利用独立的亮度与色度传感器的图像捕捉

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2175768B (en) 1985-05-23 1989-04-05 Gec Avionics Television camera arrangement
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US7408986B2 (en) 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
WO2005046248A1 (ja) 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
US20070247517A1 (en) 2004-08-23 2007-10-25 Sarnoff Corporation Method and apparatus for producing a fused image
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
CN101485192B (zh) * 2006-10-30 2011-05-18 松下电器产业株式会社 图像生成装置以及图像生成方法
US7893976B2 (en) 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
US8885099B2 (en) 2007-02-16 2014-11-11 Marvell World Trade Ltd. Methods and systems for improving low resolution and low frame rate video
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US20090219432A1 (en) 2008-02-29 2009-09-03 Palum Russell J Sensor with multi-perspective image capture
US7781716B2 (en) * 2008-03-17 2010-08-24 Eastman Kodak Company Stacked image sensor with shared diffusion regions in respective dropped pixel positions of a pixel array
US8345936B2 (en) 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
US7924312B2 (en) 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
WO2010038197A1 (en) 2008-09-30 2010-04-08 Nxp B.V. Profile for frame rate conversion
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US20100201831A1 (en) 2009-02-10 2010-08-12 Weinstein Larry R Digital camera with asymmetrically configured sensors
US8260086B2 (en) 2009-03-06 2012-09-04 Harris Corporation System and method for fusion of image pairs utilizing atmospheric and solar illumination modeling
US8179466B2 (en) 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US8237831B2 (en) 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US8363093B2 (en) 2009-07-27 2013-01-29 Eastman Kodak Company Stereoscopic imaging using split complementary color filters
JP2011044801A (ja) 2009-08-19 2011-03-03 Toshiba Corp 画像処理装置
US8203615B2 (en) 2009-10-16 2012-06-19 Eastman Kodak Company Image deblurring using panchromatic pixels
JP5440615B2 (ja) 2010-01-06 2014-03-12 コニカミノルタ株式会社 ステレオカメラ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998016068A1 (en) * 1996-10-10 1998-04-16 Florida Atlantic University Color video camera system and method
CN1965589A (zh) * 2004-05-06 2007-05-16 皇家飞利浦电子股份有限公司 高帧速运动补偿的彩色序列系统和方法
CN101601306A (zh) * 2007-09-07 2009-12-09 松下电器产业株式会社 多色图像处理装置以及信号处理装置
CN102165783A (zh) * 2008-09-25 2011-08-24 苹果公司 利用独立的亮度与色度传感器的图像捕捉

Also Published As

Publication number Publication date
KR20140000177A (ko) 2014-01-02
US20130342740A1 (en) 2013-12-26
EP2677732B1 (en) 2019-08-28
KR101434796B1 (ko) 2014-08-26
EP2677732A2 (en) 2013-12-25
EP2677732A3 (en) 2014-08-06
CN103517046A (zh) 2014-01-15
US9232199B2 (en) 2016-01-05

Similar Documents

Publication Publication Date Title
CN103517046B (zh) 用于捕获视频内容的方法、装置和计算机程序产品
Jiang et al. Unsupervised decomposition and correction network for low-light image enhancement
US20140320602A1 (en) Method, Apparatus and Computer Program Product for Capturing Images
CN107534735B (zh) 终端的图像处理方法、装置和终端
CN101675454B (zh) 采用全色像素的边缘绘图
CN110827200A (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
CN107431760A (zh) 摄像装置、摄像装置的图像处理方法以及程序
CN107292860A (zh) 一种图像处理的方法及装置
CN108419028A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN102754443A (zh) 图像处理设备和图像处理方法
CN113850367B (zh) 网络模型的训练方法、图像处理方法及其相关设备
CN108024054A (zh) 图像处理方法、装置及设备
CN108875900A (zh) 视频图像处理方法和装置、神经网络训练方法、存储介质
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
Nam et al. Modelling the scene dependent imaging in cameras with a deep neural network
WO2023005818A1 (zh) 噪声图像生成方法、装置、电子设备及存储介质
Hong et al. Near-infrared image guided reflection removal
Yue et al. Recaptured screen image demoiréing in raw domain
Wang et al. Coarse-to-fine disentangling demoiréing framework for recaptured screen images
Rao et al. An Efficient Contourlet-Transform-Based Algorithm for Video Enhancement.
WO2016026072A1 (en) Method, apparatus and computer program product for generation of extended dynamic range color images
CN108141530A (zh) 图像处理装置、图像处理方法及程序
Han et al. A large-scale image database for benchmarking mobile camera quality and NR-IQA algorithms
CN113808022B (zh) 一种基于端侧深度学习的手机全景拍摄与合成方法
CN111416937A (zh) 图像处理方法、装置、存储介质及移动设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160118

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant