CN104704810B - 图像捕获加速器及用于图像捕获加速的方法 - Google Patents

图像捕获加速器及用于图像捕获加速的方法 Download PDF

Info

Publication number
CN104704810B
CN104704810B CN201380047352.6A CN201380047352A CN104704810B CN 104704810 B CN104704810 B CN 104704810B CN 201380047352 A CN201380047352 A CN 201380047352A CN 104704810 B CN104704810 B CN 104704810B
Authority
CN
China
Prior art keywords
image data
described image
capture
image
acquisition mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380047352.6A
Other languages
English (en)
Other versions
CN104704810A (zh
Inventor
S·P·坎贝尔
S·乔拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
High Patrol Co
Original Assignee
High Patrol Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Patrol Co filed Critical High Patrol Co
Publication of CN104704810A publication Critical patent/CN104704810A/zh
Application granted granted Critical
Publication of CN104704810B publication Critical patent/CN104704810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

图像捕获加速器执行图像数据的加速处理。在一个实施例中，图像捕获加速器包括加速器电路装置，加速器电路装置包括预处理引擎和压缩引擎。预处理引擎被配置用于在接收到的图像数据上执行加速处理，并且压缩引擎被配置用于压缩从预处理引擎接收的经处理的图像数据。在一个实施例中，图像捕获加速器进一步包括被配置用于接收由例如在图像传感器芯片上的图像传感器阵列捕获的图像数据的信号分离器。当图像数据由图像传感器阵列在标准捕获模式下捕获时，信号分离器可以向图像信号处理器输出接收到的图像数据，并且当图像数据由图像传感器阵列在加速捕获模式下捕获时，可以向加速器电路装置输出接收到的图像数据。

Description

图像捕获加速器及用于图像捕获加速的方法
相关申请的交叉引用
本申请要求2012年7月12日提交的第61/671,068号美国临时申请、2013年7月11日提交的第13/940,215号美国实用新型申请和 2013年7月11日提交的第13/940,221号美国实用新型申请的权益，这些申请通过引用整体并入本文。
技术领域
本公开内容总体上涉及图像捕获系统的领域，并且具体地涉及加速图像捕获。
背景技术
随着图像传感器技术的改善，图像传感器正变得能够以更高的分辨率和帧速率来捕获图像和视频。然而，图像信号处理(ISP)ASIC 经常遭受带宽限制，这些限制妨碍它们以空间的、时间的和位深度的分辨率和它们被捕获的帧速率有效地处理图像传感器帧。在数字相机系统中，这样的ISP瓶颈可以阻碍相机性能。此外，即使ISP 具有赶上相关联的图像传感器的能力，ISP也可能使用比典型相机电池可以提供的更多的电力。
附图说明
所公开的实施例具有其他优点和特征，这些优点和特征将从详细说明、所附权利要求书和附图(或绘图)更容易显而易见。附图的简要介绍如下。
图1图示了用于图像捕获加速的系统的一个实施例。
图2图示了用于图像捕获加速的系统的备选实施例。
图3图示了用于图像捕获加速的系统的备选实施例。
图4图示了被配置为经由固件以加速的方式处理图像数据而无需专用图像捕获加速器(ICA)的图像信号处理器(ISP)的一个实施例。
图5图示了拜耳色彩阵列向YUV 4:2:2格式的重排序的示例。
具体实施方式
附图和以下描述仅通过图示的方式涉及优选实施例。应当说明的是从以下讨论中，本文所公开的结构和方法的备选实施例将轻易被识别为可以在不脱离权利要求书的原理的情况下被使用的可变的备选例。
现在将更详细地参考若干实施例，其示例在附图中被图示。注意只要可行类似或相同的附图标记可以用于附图中并且可以指示相似或相同的功能。附图仅为了图示的目的描绘所公开系统(或方法) 的实施例。本领域技术人员从以下描述中将轻易地认识到本文所图示的结构和方法的备选实施例可以在不脱离本文所描述的原理的情况下被使用。
配置概述
在一个示例实施例中，图像捕获系统架构被配置以并入图像捕获加速器(ICA)。ICA被配置用于处理受限的ISP带宽和/或在支持以高帧速率捕获图像时过多的系统功率使用。在一个示例实施例中，ICA是回避图像捕获系统(诸如数字相机)中传统的ISP图像处理以便增加带宽和/或降低图像捕获系统的功率使用的设备。ICA 可以是专用ASIC、可以被实现在图像传感器或ISP芯片架构内、或者可以使用现存的硬件、固件和/或软件而被实现。
图像捕获加速器提供图像数据的加速处理。
在一个实施例中，图像捕获加速器包括加速器电路装置，加速器电路装置包括预处理引擎和压缩引擎。预处理引擎被配置用于对接收到的图像数据执行加速处理，并且压缩引擎被配置用于压缩从预处理引擎接收的经处理的图像数据。在一个实施例中，图像捕获加速器进一步包括配置用于接收由例如在图像传感器芯片上的图像传感器阵列捕获的图像数据的信号分离器(demultiplexer)。当图像数据由图像传感器阵列在第一捕获模式(“标准模式”)中捕获时，信号分离器向图像信号处理器(ISP)输出接收到的图像数据，并且当图像数据由图像传感器阵列在第二捕获模式(“加速模式”)中捕获时，向加速器电路装置输出接收到的图像数据。应当说明的是 ICA可以在如对于本领域技术人员所理解的额外的模式(诸如延时模式)中处理捕获的图像数据。
在一个实施例中，标准捕获模式与第一帧速率和第一分辨率的图像的捕获相关联，并且加速捕获模式与第二帧速率和第二分辨率的图像捕获相关联。在一些实施例中，第一帧速率比第二帧速率更低，和/或第一分辨率比第二分辨率更低。因此，当帧的捕获被期望以比ISP可以供应的更高的分辨率和/或帧速率时，ICA可以操作在加速模式中，并且信号分离器可以向加速器电路装置输出捕获的图像数据。
由ICA处理并且从ICA输出的图像数据可能并不处于标准图像格式，而是可能处于需要进一步解码(例如，解码由ICA执行的编码)和/或处理(例如，将图像数据格式化为标准图像格式，诸如JPEG 或PNG)的格式中。该后处理可以发生在相机内(例如，在图像数据的捕获之后)或者数字相机系统外(例如，在计算机或移动设备中脱机)。进一步地，本文所描述的图像捕获系统架构可以包括配置用于接收和处理从ICA输出的图像数据的额外的部件。在一个示例实施例中，ICA可以在加速模式中捕获和处理图像数据、可以存储经处理的图像数据并且可以在以后的时间里将存储的图像数据后处理成可视图像格式。
示例图像捕获加速系统
现在转到图1，它图示了用于图像捕获加速的系统100，系统100 包括传感器阵列110、ICA 120和ISP 130。如图1所示，ICA 120被耦合到传感器阵列110和ISP 130。通信总线142将传感器阵列110 耦合到ICA 120，并且第二通信总线144将ICA 120耦合到ISP 130。在该实施例和其他实施例中，通信总线142、通信总线144基于图像捕获系统100的带宽要求被选择。例如，总线142可以被实现使得总线142并不抑制图像数据转移或者充当图像捕获系统100的瓶颈。
传感器阵列110被配置用于捕获图像数据并且向诸如ICA 120 或ISP 130之类的处理器输出图像数据。在一个实施例中，传感器阵列110是拜耳色彩滤波阵列(Bayer colorfilter array)，并且传感器阵列110输出原始拜耳模式数据。其他类型的图像传感器也可以被使用在加速图像捕获系统100中。传感器阵列110可以被配置用于以(例如由用户指定的)一个或者多个的帧速率和一个或者多个的分辨率在相机处理器(未示出)或者ISP 130的控制下捕获图像数据。虽然在图1中未示出，但是传感器阵列110可以被实现在图像传感器芯片内，例如电荷耦合器件(“CCD”)或者互补金属氧化物半导体(“CMOS”)，所述图像传感器芯片被配置用于将入射在图像传感器芯片上的捕获的光转换成表示捕获的光的电信号(本文中的“图像数据”)。
ISP 130处理从传感器阵列110接收的原始图像数据并且生成用于向显示器屏幕、存储器或外部计算设备输出的处理的图像数据。在一个实施例中，ISP 130执行处理步骤，包括干净拜耳处理、去马赛克等，以及压缩以格式化用于输出的原始图像数据。在各种实施例中，ISP 130可以被配置为处理图像数据以生成处于标准格式的图像或者视频文件，诸如JPEG、PNG、TIFF、AVI或MPEG。
ICA 120在它被输出到ISP 130之前拦截由传感器阵列110捕获的图像数据。在一个实施例中，ICA 120被配置为响应于对加速图像处理的用户请求而处理图像数据。在另一实施例中，ICA 120被配置为当图像传感器在标准捕获模式中(例如，以低帧速率和/或分辨率) 捕获图像时向ISP 130自动地提供图像数据，并且当图像传感器在加速捕获模式中(例如，以更高的帧速率和/或分辨率)捕获图像时处理接收到的图像数据。例如，当以120帧每秒(fps)和1080p分辨率捕获图像数据时，ICA 120可以向ISP 130发送图像数据，而当以240fps和4K分辨率捕获图像数据时，ICA 120可以(通过加速处理) 处理图像数据。
标准和加速捕获模式可以相对于阈值而被限定。具体地，当以高于阈值的帧速率或高于阈值的分辨率捕获图像数据时加速捕获模式可以被实现。在这样的实例中，阈值可以足够低能够保证在阈值帧速率和/或像素下捕获的图像数据可以由ISP 130处理。例如，阈值可以被选择使得低端ISP可以处理以标准捕获模式捕获的图像数据。通过允许在图像捕获系统中实现更廉价的ISP，这允许实现潜在的成本节省。此外，对于更高功率图像处理环境，潜在的成本节省可以通过使用ICA 120而不是ISP 130实现。
应当说明的是，在一个实施例中，当图像传感器在第一模式中捕获图像时，ICA120可以处理接收到的图像数据(而不是ISP 130)。例如，除了处理以高于阈值的帧速率和分辨率捕获的图像数据之外， ICA 120还可以处理以低帧速率和低分辨率捕获的图像数据(例如，用于预览图像)、以低帧速率和高分辨率捕获的图像数据(例如，用于延时摄影)以及以高帧速率和低分辨率捕获的图像数据(例如，用于低带宽流)。图像数据可以备选地由ICA120和ISP 130并行地处理。此外，当ICA 120处理图像数据时，ISP 130可以保持闲置，或者可以同时处理降格的和/或帧速率降低的图像数据(例如，从ICA 120接收的图像数据)，允许ISP 130跟上捕获的图像数据的节奏同时最小化功率消耗。例如，由图像传感器以60fps捕获的4K分辨率的图像可以由ICA 120处理。同时，这些图像可以(由ICA 120或者ISP 130)降格(例如，到WVGA分辨率)到30fps，并且由ISP 130 处理。这样的实施例允许由ISP 130处理的图像数据被用于预览由 ICA 120以全分辨率和帧速率处理的图像、以降格的分辨率和帧速率被存储、经由WiFi或其他低带宽流被流出，等。
传感器阵列110可以经由通信总线142传递优选的处理模式(例如，与ICA 120在加速捕获模式中或者与ISP 130在标准捕获模式中处理)。备选地，ICA 120可以从相机控制器接收请求捕获模式的信息，并且可以确定是向用于处理的ISP 130发送图像数据还是作为响应利用ICA 120的加速器电路装置处理图像数据。在一个实施例中，相机控制器提供操作在标准模式或者加速模式中的指令，并且作为响应ICA 120配置信号分离器121。
在图1中图示的实施例中，ICA 120包括信号分离器(“demux”) 121、干净拜耳处理模块122、预处理引擎123、压缩引擎124和一个或者多个输出接口125。在其他实施例中，ICA120可以包括比本文所描述的那些更少的、额外的或者不同的部件，诸如一个或者多个CPU核和存储器(其可以被配置为在全部或者某些情况下起ISP 的作用)、一个或者多个动态范围预处理器、加密引擎、元数据嵌入模块、线性化查找表等。
demux 121被配置为接收由传感器阵列110捕获的图像数据并且向用于处理的ISP130输出图像数据，或者向ICA 120内的加速器电路装置输出图像数据以用于处理。在一个实施例中，demux 121为模拟demux以降低ICA 120的功率消耗。在一个实施例中，demux 121在以不需要加速图像处理或大量的处理能力的帧速率和/或分辨率的图像捕获期间向ISP130输出图像数据以用于处理。demux 121可以在高帧速率或高分辨率图像捕获模式期间，或者在任何其他时间期间(例如，当由用户选择时，在其他处理集中的捕获模式期间，等)向ICA 120的加速器电路装置输出图像数据。在一个实施例中，传感器阵列110例如通过基于期望的捕获模式传递控制信号来控制 demux 121的控制线。备选地，传感器阵列110可以传递在向demux 121做出图像处理决定中有用的各种信息，诸如图像捕获的帧速率和分辨率，并且demux 121或ICA 120可以向ISP 130输出图像数据或者基于接收到的信息在ICA120处处理它。应当说明的是，在一些实施例中，demux 121可以在ICA 120外部。
在图1中图示的ICA 120的实施例的加速器电路装置包括干净拜耳处理模块122、预处理引擎123、压缩引擎124和输出接口125。在一个实施例中，干净拜耳处理模块122被配置为对图像数据执行拜耳处理，诸如修复坏点、校正颜色和照度以及修复其他捕获误差。预处理引擎123可以对图像数据执行一个或者多个图像处理操作，包括去马赛克操作、噪声降低操作、图像锐化操作、分辨率调整、颜色校正和/或色彩空间转换、亮度调整、像素格式化操作、量化、 iHDR解析或其他形式的解析等。在一些实施例中，预处理引擎123 仅执行最少的处理操作，而并不执行需要超过时间的阈值量和/或消耗超过功率的阈值量的处理操作。压缩引擎124被配置用于通过有损或无损压缩将图像数据压缩成等于或者小于原图像数据的大小的压缩数据格式。例如，压缩引擎124可以使用诸如VC-5或 CINEFORMTM之类的小波压缩算法来压缩经处理的图像数据。使用小波压缩算法的优点是降格图像的生成，在一个实施例中降格图像可以由压缩引擎124输出到ISP 130或者到相机的显示屏(例如，用于用户预览图像)。
一个或者多个输出接口125可以向非瞬态计算机可读存储介质 (例如，闪存或者磁盘)输出图像数据，或者可以向用于存储、后续处理和/或格式化的另一部件(诸如处理器)输出经处理的图像数据。在一个实施例中，输出接口125包括耦合到存储介质、处理器或其他部件的物理层接口。
在一个实施例中，输出图像数据可以经由标准图像处理管线被处理以将图像数据格式化成标准图像或视频格式(诸如JPEG格式、 PNG格式或MPEG格式)。该图像处理管线可以位于相机外部，诸如在计算机或其他移动设备中。通过将标准图像处理管线设置在相机外的设备上，更高水平的图像处理质量可以通过外部设备实现，倘若外部设备具有比相机更好的处理和功率资源和/或处于更不受限的时间约束中。进一步地，通过让外部设备执行标准图像处理，处理和功率负载节省可以由相机实现。
如图1所示，ICA 120是在传感器阵列110和ISP 130外部的专用IC。然而，在其他实施例中，ICA 120和一个或者多个传感器阵列110和ISP 130可以被实现为单个部件。例如，图2图示了包括传感器阵列110和ICA 120的图像传感器芯片200，其向ISP 130或另一外部设备(诸如在相机内部或外部的存储器或者外部处理器)输出图像数据。同样地，ISP 130可以向内部或外部存储器、另一处理器等输出经处理的图像数据。图3图示了包括ICA 120和ISP 130的图像处理芯片300。图像处理芯片300从传感器阵列110接收原始图像数据并且向例如在相机内部或外部的存储器输出经处理的图像数据。应当说明的是关于图1所描述的ICA 120的部件可以被实现在本文所描述的其他实施例内；例如，图2和图3的实施例可以包括一个或者多个demux 121、干净拜耳处理模块122、预处理引擎123、压缩引擎125和在处理路径中的输出接口125。
现在参考图4，所图示的是配置以经由固件以加速方式处理图像数据而无需专用ICA的ISP 410的实施例。ISP 410从图像传感器芯片405接收捕获的图像数据、处理接收到的数据并且向存储器420 输出经处理的图像数据。在图4的实施例中，ISP 410可以在标准模式中正常地处理图像数据(例如，当接收到的图像数据以不需要加速图像处理的帧速率和分辨率被捕获时)，并且可以在加速模式中处理图像数据(例如，当加速图像数据处理被需要或者被请求时)。备选地，ISP 410可以不管其中捕获图像数据的模式如何而在加速模式中处理图像数据。
在一个实施例中，ISP 410通过实现以下步骤中的一个或者多个步骤来处理图像数据：1)执行干净拜耳处理412、2)绕开去马赛克处理413、3)执行位深度的转换414、4)执行色彩空间转换415、以及5)执行图像数据编码416。操作412至操作416中的每个操作可以由专用独立模块、由通用处理模块、由硬件或任何其他合适的模块实现。干净拜耳处理操作412可以包括与由关于图1所描述的干净拜耳处理模块122执行的功能类似的功能，并且在一个实施例中可以由干净拜耳处理模块122执行。
在标准处理模式中，ISP 410可以对图像数据执行去马赛克操作以将图像数据转换为标准格式。然而，在加速处理模式中，在对从图像传感器芯片405接收到的图像数据执行干净拜耳处理412之后，标准去马赛克处理被绕开413以便将图像数据保持在拜耳色彩空间或原生传感器色彩空间。绕开413标准去马赛克处理可以改善ISP 410的图像处理性能，因为去马赛克步骤可以增加在后续步骤期间处理的数据的量。还可以绕开额外的预处理操作，例如噪声降低和图像锐化操作。
在绕开413各种预处理操作之后，ISP 410(操作在加速模式在) 可以使用查找表(LUT)以执行位深度的转换414。任何合适的LUT 可以用于转换414位深度的图像数据，诸如线性或非线性域LUT、对数(log)LUT、色调(tone)/gamma LUT等。
ISP 410然后可以执行色彩空间转换415以将图像数据转换成 YUV色彩空间的格式。在一个实施例中，使用4:2:2比率将图像数据转换到YUV空间中，4:2:2比率指示图像数据亮度信息以图像数据颜色信息的U分量和V分量的分辨率的两倍被存储，然而也可以使用其他YUV比率(诸如4:1:1比率、4:4:4比率，等等)。
在一个实施例中，为了执行色彩空间转换415，ISP 410(通过重新排列图像数据的矢量条目)将图像数据混合到YUV色彩空间中。具体地，ISP 410可以将来自拜耳色彩空间的图像数据的像素位重新排序到YUV色彩空间中。将图像数据混合或重新排序到YUV空间中可以包括将YUV域的Y分量映射到图像数据的G拜耳分量，将 YUV域的U分量映射到图像数据的B拜耳分量，并且将YUV域的 V分量映射到图像数据的R拜耳分量。例如，图5图示了拜耳色彩阵列502向YUV4:2:2格式504的示例转换。拜耳色彩阵列502包括红色子像素R、蓝色子像素B和两个绿色子像素GR和GB。ISP 410 重新排序像素位以形成YUV 4:2:2格式504的矢量[R GRB GB]。备选地，ISP 410可以应用色彩空间变换以将拜耳色彩阵列映射到YUV 域。应当说明的是可以执行本文所描述的形式之外的其他形式的混合，并且图像数据可以被转换到除拜耳色彩空间或YUV色彩空间之外的色彩空间。
ISP 410使用例如H.264或H.265编码或任何其他合适的编码算法对YUV图像数据进行编码416。编码的YUV图像数据然后可以由ISP 410输出用于由存储器420存储。在一个实施例中，存储器 420是本地存储(例如，相机内存储器)。在另一实施例中，存储器 420是外部存储器(例如，在外接到相机的计算机中的存储器)。在后一实施例中，例如通过以HDMI格式编码YUV图像数据并且以HDMI格式输出编码的数据，压缩引擎可以编码图像数据用于向外部存储器传输。
存储的编码YUV图像数据可以被后处理以撤销YUV混合。在解码和解压缩存储的编码YUV图像数据之后，图像数据可以经由标准图像处理管线被处理以将图像数据格式化成用于存储或显示的标准图像或视频格式。类似于关于图1所描述的实施例，用于撤销YUV 混合的图像处理管线可以位于相机外部，诸如在计算机或其他移动设备中，以实现高水平的图像处理质量并且降低相机的处理和功率负载。应当说明的是，使用图4的实施例的方法，有效图像处理速率可以是标准ISP处理速率的两倍或更多，并且在图像处理中使用的功率量可以被降低。
额外的配置考虑
本文所描述的实施例提供用于加速图像捕获和图像捕获系统中的存储的系统和方法。通过加速图像捕获和存储，图像捕获系统可以以高帧速率和分辨率捕获图像或视频，因为图像捕获系统不受图像信号处理器的能力限制。此外，加速的捕获和存储可以降低图像捕获系统的功率消耗，从而改善包括加速的图像捕获系统的相机的电池寿命。
贯穿本说明书，一些实施例已经使用表达“耦合”以及衍生表达。如本文所使用的术语“耦合”不一定限制到两个或者更多元件直接物理或电接触。相反，术语“耦合”还可以包括两个或者更多元件不直接与彼此接触，但仍与彼此合作或相互作用，或者被构造以提供元件之间的导热路径。
同样地，如本文所使用，术语“包括”、“包含”、“具有”、“拥有”或者其任何其他变体旨在涵盖非排他性的包含物。例如，包括元件的列表的过程、方法、物品或装置不一定限制于仅仅那些元件而是可以包括未明显地列出的或者对这样的步骤、方法、物品或装置固有的其他元件。
此外，“一”或“一个”的使用被采用以描述本文的实施例的元件和部件。这么做仅仅是为了方便并给出本发明的一般含义。该描述应当被领会为包括一个或者至少一个并且单数还可以包括复数除非明显它另有意指。
最后，如本文所使用的任何对“一个实施例”或“实施例”的参考意指结合实施例所描述的特定元件、特征、结构或特性被包括在至少一个实施例中。短语“在一个实施例中”在本说明书中各个位置的出现不一定全指相同的实施例。
在阅读本公开后，本领域技术人员将领会用于如从本文的原理公开的相机扩展模块的其他额外的备选结构和功能设计。因此，虽然已经图示并描述了特定的实施例和应用，但是应当理解的是所公开的实施例不限于本文所公开的精确构造和部件。可以在不脱离在所附权利要求书中限定的精神和范围的情况下在本文所公开的方法和装置的布置、操作和细节中做出对于本领域技术人员将显而易见的各种修改、变化和改变。

Claims (13)

1.一种图像捕获加速器，包括：
加速器电路装置，包括：
预处理引擎，被配置用于对接收到的图像数据执行加速处理，以及
压缩引擎，被配置用于压缩从所述预处理引擎接收到的经处理的图像数据；
信号分离器，被配置用于接收由图像传感器阵列捕获的图像数据，所述信号分离器被配置为当所述图像数据由所述图像传感器阵列在第一捕获模式中被捕获时向图像信号处理器ISP输出所述接收到的所述图像数据，并且被配置为当所述图像数据由所述图像传感器阵列在第二捕获模式中被捕获时向所述加速器电路装置输出所述接收到的所述图像数据，所述信号分离器被进一步配置为接收标识所述图像传感器阵列是在所述第一捕获模式还是所述第二捕获模式中捕获图像数据的信息；以及
输出接口，被配置用于输出压缩的所述图像数据。
2.根据权利要求1所述的图像捕获加速器，其中所述预处理引擎被配置用于执行以下处理操作中的一个或者多个操作：干净拜耳处理、噪声降低、色调映射和图像数据解析。
3.根据权利要求1所述的图像捕获加速器，其中所述第一捕获模式与以第一帧速率和第一分辨率对图像的所述捕获相关联，其中所述第二捕获模式与以第二帧速率和第二分辨率对图像的所述捕获相关联，并且其中所述第一帧速率低于所述第二帧速率和/或所述第一分辨率低于所述第二分辨率。
4.根据权利要求1所述的图像捕获加速器，其中所述信号分离器被配置为从所述图像传感器阵列接收标识所述图像数据是在所述第一捕获模式还是所述第二捕获模式中被捕获的信息。
5.根据权利要求1所述的图像捕获加速器，其中所述输出接口包括物理层接口，其中所述物理层接口被耦合到在所述图像捕获加速器外部的非瞬态计算机可读存储介质，并且其中所述非瞬态计算机可读存储介质被配置用于存储接收到的压缩的图像数据。
6.根据权利要求1所述的图像捕获加速器，其中所述图像捕获加速器被实现在相机内，所述相机包括图像传感器芯片集和ISP芯片集。
7.根据权利要求6所述的图像捕获加速器，其中所述图像捕获加速器被实现于在所述图像传感器芯片集和所述ISP芯片集外部的专用芯片集中，并且被通信地耦合到所述图像传感器芯片集和所述ISP芯片集。
8.根据权利要求6所述的图像捕获加速器，其中所述相机进一步包括用于存储来自所述图像捕获加速器的压缩的图像数据的非瞬态计算机可读存储介质。
9.一种图像捕获加速器，包括：
加速器电路装置，包括：
预处理引擎，被配置用于对接收到的图像数据执行加速处理，以及
压缩引擎，被配置用于压缩从所述预处理引擎接收到的经处理的图像数据；
信号分离器，被配置用于接收由图像传感器阵列捕获的图像数据，所述信号分离器被配置为当所述图像数据由所述图像传感器阵列在第一捕获模式中捕获时向图像信号处理器ISP输出接收到的所述图像数据，并且被配置为当所述图像数据由所述图像传感器阵列在第二捕获模式中捕获时向所述加速器电路装置输出接收到的所述图像数据；以及
输出接口，被配置用于输出压缩的所述图像数据。
10.一种用于图像捕获加速的方法，包括：
在信号分离器处接收由图像传感器阵列捕获的图像数据；
在信号分离器处接收标识所述图像传感器阵列是在第一捕获模式还是第二捕获模式中捕获图像数据的信息；
响应于所述图像数据由操作在所述第一捕获模式中的所述图像传感器阵列捕获，向图像信号处理器输出接收到的所述图像数据；以及
响应于所述图像数据由操作在所述第二捕获模式中的所述图像传感器阵列捕获：
对所述图像数据执行预处理，
压缩预处理的所述图像数据，以及
经由输出接口输出压缩的所述图像数据。
11.根据权利要求10所述的方法，其中对所述图像数据执行预处理包括执行以下处理操作中的一个或者多个处理操作：干净拜耳处理、噪声降低、色调映射和图像数据解析。
12.根据权利要求10所述的方法，其中所述第一捕获模式与以第一帧速率和第一分辨率对图像的所述捕获相关联，其中所述第二捕获模式与以第二帧速率和第二分辨率对图像的所述捕获相关联，并且其中所述第一帧速率低于所述第二帧速率和/或所述第一分辨率低于所述第二分辨率。
13.根据权利要求12所述的方法，进一步包括：
接收所述图像传感器阵列以其捕获所述图像数据的帧速率和分辨率；以及
确定所述图像数据是由操作在所述第一捕获模式中还是由操作在所述第二捕获模式中的所述图像传感器阵列基于接收到所述的帧速率和分辨率而捕获。
CN201380047352.6A 2012-07-12 2013-07-12 图像捕获加速器及用于图像捕获加速的方法 Active CN104704810B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261671068P 2012-07-12 2012-07-12
US61/671,068 2012-07-12
US13/940,221 2013-07-11
US13/940,221 US9288413B2 (en) 2012-07-12 2013-07-11 Image capture accelerator
US13/940,215 2013-07-11
US13/940,215 US8970718B2 (en) 2012-07-12 2013-07-11 Image capture accelerator
PCT/US2013/050389 WO2014012067A2 (en) 2012-07-12 2013-07-12 Image capture accelerator

Publications (2)

Publication Number Publication Date
CN104704810A CN104704810A (zh) 2015-06-10
CN104704810B true CN104704810B (zh) 2018-10-19

Family

ID=49913690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047352.6A Active CN104704810B (zh) 2012-07-12 2013-07-12 图像捕获加速器及用于图像捕获加速的方法

Country Status (4)

Country Link
US (4) US9288413B2 (zh)
EP (1) EP2873230A4 (zh)
CN (1) CN104704810B (zh)
WO (1) WO2014012067A2 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
KR102146857B1 (ko) * 2014-04-07 2020-08-21 삼성전자주식회사 촬영 장치 및 이의 제어 방법
KR102565847B1 (ko) * 2015-07-06 2023-08-10 삼성전자주식회사 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
EP3174286B1 (en) 2015-11-25 2021-01-06 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
JP6603558B2 (ja) * 2015-11-25 2019-11-06 キヤノン株式会社 撮像素子および撮像装置
US10157190B2 (en) * 2016-03-28 2018-12-18 Microsoft Technology Licensing, Llc Image action based on automatic feature extraction
US9883112B1 (en) * 2016-09-22 2018-01-30 Pinnacle Imaging Corporation High dynamic range imaging
EP3416307B1 (en) * 2017-06-12 2022-07-27 STMicroelectronics (Research & Development) Limited Vehicle communications using visible light communications
US11212539B2 (en) * 2017-07-28 2021-12-28 Nvidia Corporation Efficient lossless compression of captured raw image information systems and methods
US10613870B2 (en) * 2017-09-21 2020-04-07 Qualcomm Incorporated Fully extensible camera processing pipeline interface
CN107909686B (zh) * 2017-11-02 2021-02-02 Oppo广东移动通信有限公司 人脸解锁的方法、装置、计算机可读存储介质和电子设备
US10768047B2 (en) 2018-02-15 2020-09-08 Viavi Solutions Inc. Sensor device and methods of use
US10841458B2 (en) * 2018-03-02 2020-11-17 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10861421B2 (en) * 2018-09-27 2020-12-08 Mediatek Inc. Adaptive control of GPU rendered frame quality
KR102213765B1 (ko) * 2019-08-09 2021-02-08 엘지이노텍 주식회사 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
CN112991138A (zh) * 2019-12-12 2021-06-18 北京比特大陆科技有限公司 基于图像处理的运算装置及相关产品
TWM600051U (zh) * 2020-04-15 2020-08-11 聯詠科技股份有限公司 影像裝置及其影像處理積體電路
US11533687B2 (en) * 2020-09-25 2022-12-20 Cypress Semiconductor Corporation Dynamic switching of power levels in device having different wireless communication circuits

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004093438A1 (en) * 2003-04-17 2004-10-28 Nokia Corporation An improved mobile camera telephone
CN101385334A (zh) * 2006-12-18 2009-03-11 索尼株式会社 图像捕捉设备和方法、记录设备和方法及再现设备和方法
CN101536491A (zh) * 2006-10-30 2009-09-16 索尼株式会社 图像捕捉装置和图像捕捉方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5206730A (en) 1989-11-10 1993-04-27 Konica Corporation Still video camera having one-shot and serial shot modes
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US7215345B1 (en) * 1999-04-09 2007-05-08 Sun Microsystems, Inc. Method and apparatus for clipping video information before scaling
US7847833B2 (en) * 2001-02-07 2010-12-07 Verisign, Inc. Digital camera device providing improved methodology for rapidly taking successive pictures
US6734905B2 (en) * 2000-10-20 2004-05-11 Micron Technology, Inc. Dynamic range extension for CMOS image sensors
US7155066B2 (en) * 2001-05-31 2006-12-26 Agilent Technologies, Inc. System and method for demosaicing raw data images with compression considerations
US6697521B2 (en) * 2001-06-15 2004-02-24 Nokia Mobile Phones Ltd. Method and system for achieving coding gains in wavelet-based image codecs
US6954204B2 (en) * 2002-07-18 2005-10-11 Nvidia Corporation Programmable graphics system and method using flexible, high-precision data formats
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
US7293178B2 (en) * 2002-12-09 2007-11-06 Microsoft Corporation Methods and systems for maintaining an encrypted video memory subsystem
KR20040055060A (ko) * 2002-12-20 2004-06-26 삼성전자주식회사 색신호 처리장치 및 그 처리방법
US7469059B1 (en) * 2004-12-17 2008-12-23 Google Inc. Reorganization of raw image data for processing
US7298379B2 (en) * 2005-02-10 2007-11-20 Samsung Electronics Co., Ltd. Luminance preserving color conversion from YUV to RGB
JP5006568B2 (ja) * 2005-05-06 2012-08-22 キヤノン株式会社 レジスタ設定制御装置、レジスタ設定制御方法、プログラム及びデジタルカメラ
JP4525561B2 (ja) * 2005-11-11 2010-08-18 ソニー株式会社 撮像装置、画像処理方法、並びにプログラム
US20080165843A1 (en) * 2007-01-03 2008-07-10 Human Monitoring Ltd. Architecture for image compression in a video hardware
WO2008139274A1 (en) * 2007-05-10 2008-11-20 Freescale Semiconductor, Inc. Video processing system, integrated circuit, system for displaying video, system for generating video, method for configuring a video processing system, and computer program product
US8305461B2 (en) * 2007-08-08 2012-11-06 Sanyo Electric Co., Ltd. Information display device
JP2009159359A (ja) 2007-12-27 2009-07-16 Samsung Techwin Co Ltd 動画像データ符号化装置、動画像データ復号化装置、動画像データ符号化方法、動画像データ復号化方法及びプログラム
CN102057664B (zh) 2008-06-03 2013-07-17 佳能株式会社 摄像设备
US8446484B2 (en) * 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
WO2012088046A2 (en) * 2010-12-21 2012-06-28 Syndiant, Inc. Spatial light modulator with storage reducer
US20120236181A1 (en) * 2011-03-16 2012-09-20 Qualcomm Incorporated Generating a zoomed image
US9258483B2 (en) * 2012-06-01 2016-02-09 Mediatek Inc. Multi-purpose camera system supporting normal camera functionality and additional user input functionality
KR101905648B1 (ko) * 2012-02-27 2018-10-11 삼성전자 주식회사 카메라 장치의 동영상 촬영방법 및 장치
US20130321675A1 (en) * 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004093438A1 (en) * 2003-04-17 2004-10-28 Nokia Corporation An improved mobile camera telephone
CN101536491A (zh) * 2006-10-30 2009-09-16 索尼株式会社 图像捕捉装置和图像捕捉方法
CN101385334A (zh) * 2006-12-18 2009-03-11 索尼株式会社 图像捕捉设备和方法、记录设备和方法及再现设备和方法

Also Published As

Publication number Publication date
WO2014012067A3 (en) 2014-05-08
US10089710B2 (en) 2018-10-02
US20140015995A1 (en) 2014-01-16
EP2873230A4 (en) 2016-05-25
US20140015996A1 (en) 2014-01-16
US9288413B2 (en) 2016-03-15
US20150138391A1 (en) 2015-05-21
CN104704810A (zh) 2015-06-10
US20170262957A1 (en) 2017-09-14
EP2873230A2 (en) 2015-05-20
US8970718B2 (en) 2015-03-03
WO2014012067A2 (en) 2014-01-16
US9686493B2 (en) 2017-06-20

Similar Documents

Publication Publication Date Title
CN104704810B (zh) 图像捕获加速器及用于图像捕获加速的方法
US10096082B2 (en) Upscaling and downscaling in a camera architecture
US9338373B2 (en) Image sensor data compression and DSP decompression
US10110806B2 (en) Electronic device and method for operating the same
CN1263282C (zh) 在图象传感器和图象处理器之间进行接口的装置和方法
CN110891138A (zh) 黑光全彩实现方法和黑光全彩摄像机
CN201854358U (zh) 图像传感器和显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant