CN110036628A - 动态配置用于图像产生的存储器带宽 - Google Patents

动态配置用于图像产生的存储器带宽 Download PDF

Info

Publication number
CN110036628A
CN110036628A CN201780075007.1A CN201780075007A CN110036628A CN 110036628 A CN110036628 A CN 110036628A CN 201780075007 A CN201780075007 A CN 201780075007A CN 110036628 A CN110036628 A CN 110036628A
Authority
CN
China
Prior art keywords
stream
preview
request
snapshot
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780075007.1A
Other languages
English (en)
Other versions
CN110036628B (zh
Inventor
昌丹·杰拉
戈拉芙·加格拉尼
斯里坎特·乌亚拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110036628A publication Critical patent/CN110036628A/zh
Application granted granted Critical
Publication of CN110036628B publication Critical patent/CN110036628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

一种装置可包含一或多个处理器、图像信号处理器和系统存储器。所述一或多个处理器被配置成接收容纳预览流和快照流的请求，并且响应于接收到所述容纳所述预览流和所述快照流的请求，输出增加所述图像信号处理器与所述系统存储器之间的容纳所述预览流的带宽的请求。所述增加容纳所述预览流的所述带宽的请求制止容纳所述快照流。响应于接收到产生对应于正在由所述预览流输出的图像的图像以存储在所述系统存储器处的请求，所述一或多个处理器被进一步配置成输出进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。

Description

动态配置用于图像产生的存储器带宽
本申请案主张2017年1月5日申请的印度临时申请案第201741000501号的优先权，所述印度临时申请案的整个内容特此以引用的方式并入本文中。
技术领域
本发明涉及图像产生，且更具体地说，涉及配置用于图像产生的系统存储器的带宽。
背景技术
用于图像产生的装置(例如，移动装置、相机等)可在包含预览模式和快照模式的各种模式中操作。在预览模式中，用于图像产生的装置可产生预览图像流，所述装置捕获所述预览图像流以在不将图像存储在系统存储器中用于长期存储的情况下显示所述图像。在快照模式中，所述装置可产生快照流，并且响应于在预览流期间接收到用户输入，所述装置可使用快照流将对应于当接收到用户输入时正在预览流中输出的图像的图像存储在系统存储器中。
发明内容
本发明描述减小装置的功率消耗的实例技术。更具体地，响应于在预览模式中操作图像信号处理器(ISP)，而非在ISP与系统存储器之间分配准许处理预览流和快照流两者的带宽，主机处理器可在接收到对快照操作的请求之前增加ISP与系统存储器之间的所分配的带宽以仅准许预览流。
在一个实例中，一种用于图像产生的方法包含接收容纳预览流和快照流的请求。响应于接收到所述容纳所述预览流和快照流的请求，所述方法另外包含输出增加图像信号处理器与系统存储器之间的容纳所述预览流的带宽的请求。所述增加容纳所述预览流的所述带宽的请求制止容纳所述快照流。响应于接收到产生对应于正在由所述预览流输出的图像的图像以存储在所述系统存储器处的请求，所述方法另外包含输出进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。
在一些实例中，一种装置可包含一或多个处理器、图像信号处理器和系统存储器。所述一或多个处理器被配置成接收容纳预览流和快照流的请求。响应于接收到所述容纳所述预览流和快照流的请求，所述一或多个处理器被进一步配置成输出增加所述图像信号处理器与所述系统存储器之间的容纳所述预览流的带宽的请求。所述增加容纳所述预览流的所述带宽的请求制止容纳所述快照流。响应于接收到产生对应于正在由所述预览流输出的图像的图像以存储在所述系统存储器处的请求，所述一或多个处理器被进一步配置成输出进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。
在一些实例中，一种上面存储有指令的非暂时性计算机可读媒体，所述指令在被执行时致使一或多个处理器接收容纳预览流和快照流的请求。响应于接收到所述容纳所述预览流和快照流的请求，所述指令进一步致使所述一或多个处理器输出增加图像信号处理器与系统存储器之间的容纳所述预览流的带宽的请求。所述增加容纳所述预览流的所述带宽的请求制止容纳所述快照流。响应于接收到产生对应于正在由所述预览流输出的图像的图像以存储在所述系统存储器处的请求，所述指令进一步致使所述一或多个处理器输出进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。
在一些实例中，一种装置包括用于接收容纳预览流和快照流的请求的装置；和用于响应于接收到所述容纳所述预览流和所述快照流的请求，输出增加图像信号处理器与系统存储器之间的容纳所述预览流的带宽的请求的装置。所述增加容纳所述预览流的所述带宽的请求制止容纳所述快照流。所述装置另外包含用于响应于接收到产生对应于正在由所述预览流输出的图像的图像以存储在所述系统存储器处的请求，输出进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求的装置。
在附图和以下描述中阐明一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书而显而易见。
附图说明
图1是被配置成执行本发明中所描述的一或多种实例技术的用于图像处理的装置的框图。
图2是更详细地示出根据本发明的一或多个方面的图1的组件的图式。
图3是示出根据本发明的一或多个方面的用于增加用于预览模式的带宽的示范性过程的框图。
图4是示出根据本发明的一或多个方面的用于在预览模式期间增加用于快照模式的带宽的示范性过程的框图。
图5是示出根据本发明的一或多个方面的用于投票表决增加用于预览模式和快照模式的带宽的示范性过程的框图。
图6是示出根据本发明的一或多个方面的用于投票表决增加用于预览模式的带宽并且随后投票表决进一步增加用于快照模式的带宽的示范性过程的框图。
图7是说明根据本发明的一或多个方面的用于制止增加用于快照模式的带宽的示范性操作的流程图。
具体实施方式
用于图像产生的装置(例如，移动装置、相机等)可并入有各自使用图像信号处理器(ISP)与系统存储器之间的带宽的数个过程。举例来说，主机处理器可增加ISP与系统存储器之间的所分配的带宽以准许在预览模式中操作ISP(例如，在不存储图像的情况下输出由相机捕获的图像以供显示)。在另一实例中，主机处理器可增加ISP与系统存储器之间的所分配的带宽以准许处理快照流，从而准许在快照模式中操作ISP(例如，将相机捕获的图像存储在系统存储器中)。
可执行快照操作以捕获对应于(例如，同时捕获)正在由预览流输出的图像的图像。举例来说，主机处理器可输出包含图像的预览流以供在显示器处输出。响应于接收到指示快照操作的用户输入，主机处理器将对应于当接收到用户输入时正在输出的图像的图像存储在系统存储器中。在此实例中，主机处理器可增加ISP与系统存储器之间的所分配的带宽以准许处理预览流和快照流以用于将图像存储在系统存储器中。
一些应用程序框架(例如，AndroidTM)与应用程序框架的先前版本相比允许软件应用程序接入更多相机功能。举例来说，硬件抽象层3(HAL3)与硬件抽象层1(HAL1)相比增加软件应用程序控制AndroidTM装置上的相机子系统的能力。
然而，此类框架提供的额外功能性可导致装置的功率消耗增加。举例来说，并非在HAL1中使用高水平预览和静态捕获请求，HAL3应用程序框架而是准许应用程序同时向ISP请求预览流和快照流。在所述实例中，在快照流处于作用中时，甚至当装置并非正在请求快照流帧时，所述装置的功率消耗增加。
更具体地，当使用应用程序框架的软件应用程序向ISP请求预览流和快照流时，用于应用程序框架的下伏核心空间增加用于存取存储器(例如，双数据速率同步动态随机存取存储器(DDR SDRAM)，通常被称为“DDR”)的频率以提供用于预览流和快照流两者的额外带宽。即，响应于来自软件应用程序的对快照流的请求，用于应用程序框架的核心空间致使主机处理器增加用于存取存储器的频率，从而提供适用于预览流和快照流两者的额外带宽，这增加所述装置的功率消耗。如下文进一步论述，装置可被配置成支持预览流和快照流的及时操作以使得捕获用于快照操作的图像的延迟最小。
ISP可在零快门滞后(ZSL)模式、非ZSL模式或伪ZSL模式中操作。在非ZSL模式中，ISP捕获低分辨率(例如，1080P或约2.1百万像素)的内容，且ISP仅将预览流输出所述应用程序框架。在ZSL模式中，ISP捕获高分辨率(例如，16百万像素)的内容，且ISP将预览流和快照流两者输出到应用程序框架。在伪ZSL模式中，ISP捕获高分辨率(例如，16百万像素)的内容，且ISP仅将预览流输出到应用程序框架。然而，因为ISP捕获高分辨率的内容，所以ISP可在无显著延迟(即，ZSL)的情况下将预览流和快照流两者输出到应用程序框架。
在一些技术中，根据本发明，当ISP在伪ZSL模式中操作时，主机处理器可延迟增加用于存取系统存储器的频率以容纳用于快照流的额外带宽直到接收到捕获快照的请求。举例来说，当ISP在伪ZSL模式中操作时，当使用应用程序框架的软件应用程序向ISP请求预览流和快照流时，用于应用程序框架的下伏核心空间致使主机处理器增加用于存取存储器的频率以容纳仅适用于预览流的额外带宽。在所述实例中，主机处理器仅在接收到捕获快照的请求(例如，将正在预览流中预览的帧存储在存储器内的请求)之后增加用于存取存储器的频率以容纳适用于预览流和快照流两者的额外带宽。
举例来说，装置接收指示软件应用程序中的起始预览模式的元件的选择的用户交互。在此实例中，预览模式准许用户指示捕获对应于在用于预览模式的预览流中(例如，720P)正在输出的图像的快照(例如，16百万像素图像)的请求。举例来说，响应于在所述装置的触敏显示器输出预览流时所述触敏显示器检测到用户交互(例如，触按手势)，所述装置捕获对应于当检测到用户交互时正在所述装置的触敏显示器处预览的帧的快照。在所述实例中，软件应用程序经由应用程序框架请求用于输出到触敏显示器的预览流以及用于捕获当前正在显示器上输出的帧的快照流。在所述实例中，所述装置的ISP在伪ZSL模式中操作，其中ISP致使相机装置的传感器捕获高分辨率(例如，16MP)的图像内容，但ISP仅输出低分辨率(例如，1080P)的预览流。
更具体地，在触敏显示器输出预览流的同时接收到用户交互之前，用于应用程序框架的核心空间致使所述装置的主机处理器(例如，中央处理单元(CPU))增加用于存取存储器的频率以容纳仅适用于预览流的额外带宽。当用户与装置的触敏显示器交互以指示捕获所述装置正在预览的快照的请求时，用于应用程序框架的核心空间致使所述装置的主机处理器进一步增加用于存取存储器的频率以容纳适用于预览流和快照流两者的额外带宽，并且致使所述快照存储于存储器中。因为ISP在伪ZSL模式中操作，所以当用户与装置的触敏显示器交互以指示捕获正在预览的快照的请求时，待存储于存储器中的快照与正在预览流中预览的图像基本对应。以此方式，可在维持装置的功能性的同时减小装置的功率消耗。
图1是被配置成执行本发明中所描述的一或多种实例技术的用于图像处理的装置10的框图。装置10的实例包含个人计算机、台式计算机、手提式计算机、计算机工作站、视频游戏平台或控制台、无线通信装置(例如移动电话、蜂窝式电话、卫星电话和/或移动电话手持机)、陆线电话、因特网电话、手持式装置(例如便携式视频游戏装置或个人数字助理(PDA))、个人音乐播放器、视频播放器、显示装置、独立相机、电视、电视机顶盒、服务器、中间网络装置、主机计算机，或包含捕获照片或其它类型的图像数据的相机的任何其它类型的装置。
如图1的实例中所说明，装置10包含多个相机装置12A-N(例如，作为两个实例的四个相机或九个相机)、至少一个图像信号处理器(ISP)14、CPU 16、图形处理单元(GPU)18和GPU 18的本地存储器20、用户接口22、提供对系统存储器30的存取的存储器控制器24，以及输出致使在显示器28上显示图形数据的信号的显示器接口26。
并且，虽然各种组件说明为单独的组件，但在一些实例中，所述组件可组合以形成片上系统(SoC)。作为实例，ISP 14、CPU 16、GPU 18和显示器接口26可形成于共同芯片上。在一些实例中，ISP 14、CPU 16、GPU 18和显示器接口26中的一或多个可处于单独的芯片中。
图1中说明的各种组件可形成于一或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其它等效集成或离散逻辑电路中。本地存储器20的实例包含一或多个易失性或非易失性存储器或存储装置，例如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、快闪存储器、磁性数据媒体或光学存储媒体。
图1中所说明的各种单元使用总线32彼此通信。总线32可以是多种总线结构中的任一种，例如第三代总线(例如，超传输总线或无限频带总线)、第二代总线(例如，高级图形端口总线、外围组件互连(PCI)高速总线，或高级可扩展接口(AXI)总线)或者另一类型的总线或装置互连件。应注意，图1所示的不同组件之间的总线和通信接口的特定配置仅为示范性的，且可使用计算装置的其它配置和/或具有相同或不同组件的其它图像处理系统来实施本发明的技术。
如所说明，装置10包含相机装置12A-N。相机装置12A-N不需要一定是装置10的部分并且可在装置10外部。在此类实例中，ISP 14可类似地在装置10外部；然而，在此类实例中，ISP 14可有可能在装置10内部。为易于描述，关于作为装置10的部分的相机装置12A-N和ISP 14来描述实例(例如，在其中装置10是例如智能电话、平板计算机、手持机、移动通信手持机等移动装置的实例中)。
本发明中所使用的相机装置12A-N涉及单独组像素(例如，相机装置12A包含第一组像素，相机装置12B包含第二组像素等)。在一些实例中，相机装置12A-N中的每一个可被视为包含多个传感器，且每一传感器包含多个像素。举例来说，每一传感器包含三个像素(例如一个用于红色的像素、一个用于绿色的像素和一个用于蓝色的像素)。作为另一实例，每一传感器包含四个像素(例如，一个用于红色的像素、两个用于绿色的用于确定绿色强度和总照度的像素、一个用于蓝色的如与拜耳滤光器布置在一起的像素)。即使在其中相机装置12A-N包含包括多个像素的多个传感器的实例中，相机装置12A-N也各自包含多个像素。可使用其它命名规范。举例来说，装置10可被视为包含一个相机，且相机装置12A-N分别被称为传感器而非相机或子相机。本发明中描述的技术适用于所有这些实例。
不管特定命名规则如何，相机装置12A-N中的每一个均可捕获图像内容以产生一个图像。这些图像中的每一个可组合以产生较高分辨率图像。然而，在一些实例中，可存在来自由相机装置12A-N捕获以供显示的图像中的任一个的足够分辨率。
相机装置12A-N中的每一个可包含其自身的光圈和透镜。然而，技术不限于此。在一些实例中，可存在用于相机装置12A-N以及将所捕获光传输到12A-N中的相应者的分光器和波导的共同光圈和/或透镜。其它配置是可能的且本发明中描述的技术预期其它配置。
相机装置12A-N的像素不应与图像像素混淆。图像像素是用于定义来自相机装置12A-N所捕获的内容的所产生图像上的单个“圆点”的术语。举例来说，基于相机装置12A-N中的任一个所捕获的内容产生的图像包含所确定的数目的像素(例如百万像素)。
然而，相机装置12A-N的像素是具有光电导性的实际光电传感器元件(例如，捕获检视频谱中或检视频谱外部的光粒子的元件)。相机装置12A-N的像素基于照在像素表面上的光能(例如，红外或可见光)的强度导电。作为几个非限制性实例，所述像素可通过锗、镓、硒、具有掺杂剂的硅或某些金属氧化物和硫化物形成。
在一些实例中，相机装置12A-N的像素可根据拜耳滤光器哟用红色-绿色-蓝色(RGB)彩色滤光器覆盖。使用拜耳滤波，所述像素中的每一个可接收用于特定色彩分量(例如，红色、绿色或蓝色)的光能。相应地，由每一像素产生的电流指示所捕获的光中的红色、绿色或蓝色色彩分量的强度。
ISP 14被配置成接收来自相机装置12A-N的相应像素的电流，且处理所述电流以产生图像。虽然说明一个ISP 14，但在一些实例中，可存在多个ISP(例如，每相机装置12A-N一个ISP)。因此，在一些实例中，在装置10中可存在一或多个ISP，如ISP 14。
除了将模拟电流输出转换成数字值之外，ISP 14可执行一些额外后处理以增加最终图像的质量。举例来说，ISP 14可评估相邻图像像素的色彩和亮度数据，且执行去马赛克来更新图像像素的色彩和亮度。作为额外实例，ISP 14也可以执行降噪和图像锐化。ISP 14经由存储器控制器24将所得图像(例如，图像像素中的每一个的像素值)输出到系统存储器30。
CPU 16可包括控制装置10的操作的通用或专用处理器。用户可将输入提供到装置10以致使CPU 16执行一或多个软件应用程序。在CPU 16上执行的软件应用程序可包含例如操作系统、字处理器应用程序、电子邮件应用程序、电子数据表应用程序、媒体播放器应用程序、视频游戏应用程序、图形用户界面应用程序或另一程序。用户可经由一或多个输入装置(未示出)(例如，键盘、鼠标、麦克风、触摸垫或经由用户接口22耦合到装置10的另一输入装置)将输入提供到装置10。
作为一个实例，用户可执行捕获图像的应用程序。应用程序可在显示器28上呈现实时图像内容，以供用户在获取图像之前检视。在一些实例中，在显示器28上显示的实时图像内容可为来自相机装置12A-N中的一个的内容。用以捕获图像的应用程序的代码可存储在系统存储器30上，且CPU 16可检索和执行所述应用程序的目标代码，或检索和编译源代码以获得目标代码，CPU 16可执行所述目标代码以呈现所述应用程序。
当用户对实时图像内容满意时，用户可与用户接口22(其可为显示器28上显示的图形按钮)交互以捕获图像内容。作为响应，一或多个相机装置12A-N可捕获图像内容，且ISP 14可处理所接收的图像内容以产生多个图像。在一些实例中，并非相机装置12A-N在所有情况下均捕获图像，而是在CPU 16上执行的应用程序可经由显示器28输出供用户选择高分辨率图像产生的选项。作为响应，相机装置12A-N中的每一个将捕获图像。如果未选择高分辨率图像产生，那么相机装置12A-N中的一个捕获图像内容。替代地，所有相机装置12A-N可在所有情况下捕获图像。然而，ISP 14可能不在所有情况下均处理来自所有相机装置12A-N的所得内容。
存储器控制器24有助于进入和离开系统存储器30的数据传送。举例来说，存储器控制器24可接收存储器读取和写入命令，并且提供关于存储器30的此类命令以便为计算装置10中的组件提供存储器服务。存储器控制器24通信耦合到系统存储器30。虽然在图1的实例装置10中将存储器控制器24说明为与CPU 16和系统存储器30两者分开的处理模块，但在其它实例中，存储器控制器24的功能性中的一些或全部可实施于CPU 16和系统存储器30中的一或两者上。
系统存储器30可存储可由ISP 14、CPU 16和GPU 18存取的程序模块和/或指令和/或数据。举例来说，系统存储器30可存储用户应用程序、来自ISP 14的所得图像、中间数据等等。系统存储器30可另外存储供装置10的其它组件使用和/或由装置10的其它组件产生的信息。举例来说，系统存储器30可充当用于ISP 14的装置存储器。系统存储器30可包含一或多个易失性或非易失性存储器或存储装置，例如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存存储器、磁性数据媒体或光学存储媒体。
在一些方面中，系统存储器30可包含致使ISP 14、CPU 16、GPU 18和显示器接口26执行归于本发明中的这些组件的功能的指令。因此，系统存储器30可表示具有存储于其上的指令的计算机可读存储媒体，所述指令在被执行时致使一或多个处理器(例如，ISP 14、CPU 16、GPU 18和显示器接口26)执行本发明中描述的技术的各个方面。
在一些实例中，系统存储器30可表示非暂时性计算机可读存储媒体。术语“非暂时性”指示存储媒体不以载波或传播信号体现。然而，术语“非暂时性”不应解释为意味着系统存储器30是不可移动的或其内容为静态的。作为一个实例，系统存储器30可从装置10移除，并且移动到另一装置。作为另一实例，大体上类似于系统存储器30的存储器可插入到装置10中。在某些实例中，非暂时性存储媒体可存储可随时间改变的数据(例如，在RAM中)。
ISP 14、CPU 16和GPU 18可将图像数据等存储于在系统存储器30内分配的相应缓冲器中。显示器接口26可从系统存储器30检索数据且配置显示器28以显示由经再现图像数据表示的图像。在一些实例中，显示器接口26可包含被配置成将从系统存储器30检索的数字值转换成显示器28可消费的模拟信号的数/模转换器(DAC)。在其它实例中，显示器接口26可将数字值直接传送到显示器28以用于处理。
显示器28可包含监视器、电视、投影装置、液晶显示器(LCD)、等离子体显示器面板、发光二极管(LED)阵列、阴极射线管(CRT)显示器、电子纸、表面传导电子发射显示器(SED)、激光电视显示器、纳米晶体显示器或另一类型的显示单元。显示器28可集成于装置10内。举例来说，显示器28可为移动电话手持机或平板计算机的屏幕。替代地，显示器28可为经由有线或无线通信链路耦合到装置10的独立装置。举例来说，显示器28可为经由电缆或无线链路连接到个人计算机的计算机监视器或平板显示器。
根据本发明中描述的技术，并非分配ISP 14与系统存储器30之间的带宽以准许预览流和快照流两者的处理，而是CPU 16可增加ISP 14与系统存储器30之间的所分配的带宽以仅准许预览流直到接收对快照操作的请求。在图1的实例中，增加带宽致使存储器控制器24增加系统存储器30的操作频率。因而，制止在接收到对快照操作的请求之前为准许快照流而增加ISP 14与系统存储器30之间的所分配的带宽会减小系统存储器30的操作频率，进而减小装置10的功率消耗。
在操作中，响应于接收到容纳预览流和快照流的请求，CPU 16将增加ISP 14与系统存储器30之间的带宽以容纳预览流的请求输出到存储器控制器24，其中增加带宽以容纳预览流的请求制止容纳快照流。响应于接收到产生对应于正在由预览流输出的图像的图像以存储在系统存储器30处的请求，CPU 16将进一步增加带宽以容纳快照流的请求输出到存储器控制器24。以此方式，装置10制止在接收到对快照操作的请求之前增加系统存储器30的操作频率以容纳用于快照流的额外带宽，进而减小装置10的功率消耗。
图2是更详细地示出根据本发明的一或多个方面的图1的组件的图式。图2包含CPU16、ISP 14、相机装置12A-N、存储器控制器24、系统存储器30、显示器接口26、显示器28和用户接口22。如所示出，CPU 16可执行用户空间50和核心空间70。用户空间50可包含应用程序52和应用程序框架54。核心空间70可包含相机模块72、系统存储器模块74、显示器接口模块76和用户接口模块78。
应用程序52可包含在CPU 16上执行的一或多个应用程序，例如(但不限于)操作系统、文字处理器应用程序、电子邮件应用程序、电子数据表应用程序、媒体播放器应用程序、视频游戏应用程序、图形用户界面应用程序或另一程序。作为一个实例，用户可执行捕获图像的应用程序。应用程序可在显示器28上呈现实时图像内容，以供用户在获取图像之前检视。在一些实例中，在显示器28上显示的实时图像内容可为来自相机装置12A-N中的一个的内容(例如，预览模式)。用以捕获图像的应用程序的代码可存储在系统存储器30上，且CPU16可检索和执行所述应用程序的目标代码，或检索和编译源代码以获得目标代码，CPU 16可执行所述目标代码以呈现所述应用程序。
应用程序框架54可包含可与应用程序52一起使用的软件框架。应用程序框架54的实例可包含(但不限于)MacApp、微软基础类库(Microsoft Foundation Class Library)、甲骨文应用程序开发框架(Oracle Application Development Framework)、MARTHA和其它应用程序构架。在一些实例中，应用程序框架54可包含一或多个应用程序接口(API)。
相机模块72可被配置成根据来自用户空间50的输出操作相机装置12A-N的功能。相机模块72可包含硬件抽象层(HAL)的一或多个组件。举例来说，相机模块72可包含硬件抽象层3(HAL3)的一或多个组件。在一些实例中，相机模块72可包含用于ISP 14的装置驱动器的一或多个组件。
相机模块72可被配置成控制相机装置12A-N的一或多个传感器。举例来说，相机模块72可将指令输出到相机装置12A以设置相机装置12A-N的传感器捕获高分辨率(例如，16百万像素)的图像。在另一实例中，相机模块72可将指令输出到相机装置12A以设置相机装置12A-N的传感器捕获低分辨率(例如，1080P或约2.1百万像素)的图像。
相机模块72可被配置成在零快门滞后(ZSL)模式、非ZSL模式或伪ZSL模式中操作ISP 14。在非ZSL模式中，ISP 14捕获低分辨率(例如，1080P或约2.1百万像素)的内容，且ISP 14仅将预览流输出应用程序框架54。在ZSL模式中，ISP 14捕获高分辨率(例如，16百万像素)的内容，且ISP 14将预览流和快照流两者输出到应用程序框架54。在伪ZSL模式中，ISP 14捕获高分辨率(例如，16百万像素)的内容，且ISP 14仅将预览流输出到应用程序框架54。举例来说，相机模块72可被配置成指示ISP 14致使相机装置12A-N捕获第一分辨率(例如，高分辨率)的内容并且输出预览流中的小于第一分辨率的第二分辨率(例如，低分辨率)的所捕获内容的表示。因为ISP 14在伪ZSL模式期间捕获高分辨率的内容，ISP 14可在无显著延迟(即，ZSL)的情况下将可包含低分辨率的图像的预览流和可包含高分辨率的图像的快照流两者输出到应用程序框架54。
相机模块72可被配置成接收容纳预览流和快照流的请求。举例来说，相机模块72可从应用程序52经由应用程序框架54接收启动预览流和快照流的请求。在一些实例中，容纳预览流的请求可包含提供用于预览流所述快照流的带宽的指示。举例来说，容纳预览流的请求可包含请求用于预览流和快照流两者的额外带宽的指令。
系统存储器模块74可被配置成根据来自用户空间50的输出操作系统存储器30的功能。系统存储器模块74可包含硬件抽象层的一或多个组件。举例来说，系统存储器模块74可包含硬件抽象层3(HAL3)的一或多个组件。在一些实例中，系统存储器模块74可包含用于存储器控制器24和/或系统存储器30的装置驱动器的一或多个组件。
系统存储器模块74可被配置成输出操作系统存储器30的频率的指示。举例来说，系统存储器模块74可执行征求为模块72-78中的每一个请求的带宽的量的带宽投票表决操作。可与来自相机模块72的带宽投票表决一起使用的过程的实例可包含(但不限于)与相机装置12A-N的一或多个传感器有关的数据、由ISP 14输出的数据、与CPP相关联的数据、与JPEG标准(例如，SO/IEC 10918)相关联的数据、与相机装置12A-N的数据统计相关联的数据，以及其它过程。在此实例中，系统存储器模块74确定用于模块72-78中的每一个的带宽的组合量，并且将符合带宽的组合量的操作系统存储器30的频率的指示输出到存储器控制器24。
系统存储器模块74可被配置成计算ISP 14与系统存储器30之间的带宽。举例来说，响应于接收到容纳预览流和快照流的请求，系统存储器模块74可计算ISP 14与系统存储器30之间的带宽以容纳用于预览流的额外带宽。在一些实例中，系统存储器模块74可致使系统存储器30以使用带宽确定的频率操作。举例来说，系统存储器模块74可修改操作系统存储器30的频率以使得系统存储器符合(例如，超过)所述带宽。
显示器接口模块76可被配置成根据来自用户空间50的输出操作显示器28的功能。显示器接口模块76可包含硬件抽象层的一或多个组件。举例来说，显示器接口模块76可包含硬件抽象层3(HAL3)的一或多个组件。在一些实例中，显示器接口模块76可包含用于显示器28和/或显示器接口26的装置驱动器的一或多个组件。
显示器接口模块76可被配置成致使显示器28输出预览流中所含的图像。举例来说，显示器接口模块76可被配置成将从系统存储器30检索预览流中所含的图像的指令输出到显示器接口26。在此实例中，显示器接口26可检索预览流中所含的图像并且致使显示器28输出预览流中所含的图像。
显示器接口模块76可被配置成致使显示器28输出快照流中所含的图像。举例来说，显示器接口模块76可被配置成将从系统存储器30检索快照流中所含的图像的指令输出到显示器接口26。在此实例中，显示器接口26可检索快照流中所含的图像并且致使显示器28输出快照流中所含的图像。
用户接口模块78可被配置成根据来自用户空间50的输出操作用户接口22的功能。用户接口模块78可包含硬件抽象层的一或多个组件。举例来说，用户接口模块78可包含硬件抽象层3(HAL3)的一或多个组件。在一些实例中，用户接口模块78可包含用于用户接口22的装置驱动器的一或多个组件。
在操作中，相机模块72接收容纳预览流和快照流的请求。举例来说，应用程序52经由应用程序框架54输出容纳预览流和快照流的请求。响应于接收到容纳预览流和快照流的请求，相机模块72将增加ISP 14与系统存储器30之间的带宽以容纳预览流的请求输出到系统存储器模块74，其中增加带宽以容纳预览流的请求制止容纳快照流。举例来说，并非投票表决增加容纳预览流和快照流两者的带宽，而是相机模块72仅投票表决容纳预览流的额外带宽。相机模块72接收产生对应于正在由预览流输出的图像的图像以存储在系统存储器处的请求。举例来说，应用程序52经由应用程序框架54输出执行与预览流相关联的快照操作的请求。响应于接收到产生对应于正在由预览流输出的图像的图像以存储在系统存储器30处的请求，相机模块72将进一步增加带宽以容纳快照流的请求输出到系统存储器模块74。
图3是示出根据本发明的一或多个方面的用于增加用于预览模式的带宽的示范性过程的框图。在图3的实例中，用户接口22接收指示预览模式的用户交互101。用户接口22产生指示用户交互的数据102。用户接口22将指示用户交互的数据103输出到用户接口模块78。应用程序52接收指示用户交互的数据103并且输出用于预览模式的指令104。响应于接收到用于预览模式的指令104，应用程序框架54将容纳预览流和快照流的指令105输出到相机模块72。相机模块72输出对增加仅容纳预览流的带宽的请求106并且将在伪零快门滞后模式中操作的指令108输出到ISP 14。系统存储器模块74基于增加带宽的请求设置系统存储器30的频率107。响应于接收到在伪零快门滞后模式中操作的指令108，ISP 14输出预览流109到系统存储器30并且将用于快照模式和预览模式(例如，伪零快门滞后模式)的捕获指令110输出到相机装置12A-N。以此方式，相机模块72可当ISP 14仅使用预览流时制止请求容纳快照流的带宽。
图4是示出根据本发明的一或多个方面的用于在预览模式期间增加用于快照模式的带宽的示范性过程的框图。在图4的实例中，ISP 14将预览流输出到系统存储器30并且将用于快照模式和预览模式(例如，伪零快门滞后模式)的捕获指令输出到相机装置12A-N。在操作中，用户接口22接收在预览模式期间指示快照模式的用户交互151。用户接口22将指示用户交互的数据152输出到用户接口模块78。用户接口模块78将指示用户交互的数据153输出到应用程序52。应用程序52接收指示用户交互的数据153并且输出用于快照模式的指令154。
响应于接收到用于快照模式的指令154，应用程序框架54将在预览模式期间操作快照模式的指令155输出到相机模块72。举例来说，应用程序框架54将致使ISP 14在快照流中输出对应于正在由预览流输出的图像的图像的指令输出到相机模块72。相机模块72请求进一步增加容纳预览流和快照流的带宽156。另外，相机模块72将在伪零快门滞后模式中操作的指令158输出到ISP 14。举例来说，相机模块72可指示ISP 14致使相机装置12A-N捕获第一分辨率(例如，16百万像素)的内容并且致使ISP 14输出预览流中的小于第一分辨率的第二分辨率(例如，720P)的所捕获内容的表示。系统存储器模块74基于进一步增加带宽的请求设置系统存储器30的频率157。ISP 14输出预览流和快照流159到系统存储器30。以此方式，相机模块72可在有极小快门滞后或无快门滞后的情况下请求容纳快照流的带宽。
ISP 14将用于快照模式和预览模式的捕获指令160(例如，伪零快门滞后模式)输出到相机装置12A-N。举例来说，相机模块72输出产生对应于正在由预览流输出的图像的图像的请求，并且响应于接收到产生对应于正在由预览流输出的图像的图像的请求，显示器接口模块76输出致使显示器接口26在显示器28处输出对应于正在由预览流输出的图像的图像的指令。在一些情况下，对应于正在由预览流输出的图像的图像具有第一分辨率(例如，16百万像素)，且预览流具有第二分辨率(例如，720P)。
图5是示出根据本发明的一或多个方面的用于投票表决增加用于预览模式和快照模式的带宽的示范性过程的框图。在图5的实例中，应用程序52输出开始记录的指令202。应用程序52经由应用程序框架54将容纳预览流和快照流的请求204输出到相机模块72。举例来说，应用程序52经由应用程序框架54将指示在预览模式和快照模式两者中操作ISP 14的指令的指令ISP_StreamON(预览、视频和快照)输出到相机模块72。换句话说，CPU 16在应用程序框架54在CPU 16处操作的情况下产生配置系统存储器30容纳预览流和快照流的指令。在一些实例中，CPU 16响应于接收到在预览模式中操作图像信号处理器的指令(例如，开始记录的指令202)而产生配置系统存储器30容纳预览流和快照流的指令。
在图5的实例中，相机模块72在接收到指示在预览模式和快照模式两者中操作ISP14的指令的指令ISP_StreamON(预览、视频和快照)204后即刻投票表决用于预览流和快照流的绝对带宽(AB)和瞬时带宽(IB)206。因而，系统存储器模块74容纳额外550Mbps。另外，在图5的实例中，用户接口22产生指示用户在记录期间点击快照的数据210，且应用程序52经由应用程序框架54将请求帧的指令212(例如，快照操作)输出到相机模块72。在图5的实例中，系统存储器模块74先前已经容纳用于现时快照的550Mbps。
图6是示出根据本发明的一或多个方面的用于投票表决增加用于预览模式的带宽并且随后投票表决进一步增加用于快照模式的带宽的示范性过程的框图。在图6的实例中，应用程序52输出开始记录的指令252。应用程序52经由应用程序框架54将指示在预览模式和快照模式两者中操作ISP 14的指令的指令ISP_StreamON(预览、视频和快照)254输出到相机模块72。然而，在图6的实例中，相机模块72在接收到指示在预览模式和快照模式两者中操作ISP 14的指令的指令ISP_StreamON(预览、视频和快照)254后即刻投票表决仅用于预览流的绝对带宽(AB)和瞬时带宽(IB)256。举例来说，系统存储器模块74可计算ISP 14与系统存储器30之间的仅容纳额外236Mbps的带宽。在此实例中，系统存储器模块74可致使系统存储器30在使用使得系统存储器30具有在ISP 14与系统存储器30之间分配的超过额外带宽236Mbps的额外带宽的带宽确定的频率下操作。
另外，在图6的实例中，用户接口22产生指示用户在记录期间点击快照的数据260，且应用程序52经由应用程序框架54将请求帧的指令262(例如，快照操作)输出到相机模块72。在图6的实例中，相机模块72在接收到请求帧的指令262后即刻投票表决用于预览流和快照流的绝对带宽(AB)和瞬时带宽(IB)264。举例来说，系统存储器模块74可计算ISP 14与系统存储器30之间的容纳额外314Mbps或总计550Mbps增加的带宽。在此实例中，系统存储器模块74可致使系统存储器30在使用使得系统存储器30具有在ISP 14与系统存储器30之间分配的超过用于快照流的314Mbps额外带宽或用于快照流和预览流的总计550Mbps增加的额外带宽的带宽确定的频率下操作。
图7是说明根据本发明的一或多个方面的用于制止增加用于快照模式的带宽的示范性操作的流程图。在图7的实例中，应用程序52基于用户交互产生在预览模式中操作ISP14的指令(302)。举例来说，响应于用户接口22产生指示用户交互的数据，应用程序52确定用户交互指示对应于预览操作的图形元素的选择并且产生在预览模式中操作ISP 14的指令。应用程序框架54产生容纳预览流和快照流的指令(304)。举例来说，应用程序框架54将指示在预览模式和快照模式两者中操作ISP 14的指令的指令ISP_StreamON(预览、视频和快照)输出到相机模块72。相机模块72输出增加ISP 14与系统存储器30之间的仅容纳预览流的带宽的指令(306)。举例来说，相机模块72在接收到指示在预览模式和快照模式两者中操作ISP 14的指令的指令ISP_StreamON(预览、视频和快照)后即刻投票表决仅用于预览流的绝对带宽(AB)和瞬时带宽(IB)。以此方式，相机模块72可在用户请求快照操作之前制止请求用于快照模式(例如，快照流)的额外带宽，以便可减小系统存储器30处的操作频率，这可导致装置10处的较低功率消耗。
相机模块72指示ISP 14在捕获第一分辨率的图像内容的伪零快门滞后模式中操作，并且基于图像内容输出第二分辨率的预览流(308)。举例来说，相机模块72将输出含有第二分辨率(例如，1080P)的图像的预览流的指令输出到ISP 14，并且将用于第一分辨率(例如，16百万像素)下的快照模式的捕获指令输出到相机装置12A-N。相机模块72输出致使ISP 14在显示器28处输出第二分辨率的预览流的指令(310)。举例来说，相机模块72将指示显示器接口模块76输出预览流的指令输出到ISP 14，且显示器接口模块76经由显示器接口致使显示器28输出预览流中所含的第二分辨率的图像。以此方式，装置10可被配置成在无显著延迟的情况下执行快照操作，这是因为伪零快门滞后模式可配置相机装置12A-N的传感器用于第一分辨率(例如，16百万像素)的快照操作。
应用程序52接收产生对应于当接收到产生用于存储的图像的请求时由预览流输出的图像的图像以存储在系统存储器30处的请求(312)。举例来说，响应于用户接口22产生指示用户交互的数据，应用程序52确定用户交互指示对应于由预览流输出的图像的快照操作的图形元素的选择。应用程序52基于产生用于存储的图像的请求，产生在快照模式中操作ISP 14的指令(314)。相机模块72输出进一步增加ISP 14与系统存储器30之间的容纳预览流和快照流的带宽以处理图像以便存储在系统存储器30处的指令(316)。以此方式，相机模块72可减小ISP 14与系统存储器30之间分配的带宽，进而减小装置10的功率使用量。更具体地，与不被配置成使用本文中所描述的用于制止分配用于快照流的带宽的一或多种技术的装置相比，装置10当被配置成使用本文中所描述的用于制止分配用于快照流的带宽的一或多种技术时可将电流消耗减小20毫安。
在一或多个实例中，所描述功能可用硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码存储在计算机可读媒体上且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体。以此方式，计算机可读媒体通常可以对应于非暂时性的有形的计算机可读存储媒体。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。应理解，计算机可读存储媒体和数据存储媒体并不包含载波、信号或其它暂时性媒体，而是替代地涉及非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含于计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可在被配置成用于编码和解码的专用硬件和/或软件模块内提供，或并入于组合编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)的多种装置或设备中。本发明中描述各种组件、模块或单元是为了强调被配置成执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (30)

1.一种用于图像产生的方法，所述方法包括：
接收容纳预览流和快照流的请求；
响应于接收到所述容纳所述预览流和所述快照流的请求，输出增加图像信号处理器与系统存储器之间的容纳所述预览流的带宽的请求，
其中所述增加容纳所述预览流的所述带宽的请求制止容纳所述快照流；和
响应于接收到产生对应于正在由所述预览流输出的图像的图像以存储在所述系统存储器处的请求，输出进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。
2.根据权利要求1所述的方法，其中接收所述容纳所述预览流和所述快照流的请求包括：
从在处理器处操作的应用程序框架接收配置所述系统存储器容纳所述预览流和所述快照流的指令。
3.根据权利要求2所述的方法，其另外包括：
响应于从在所述处理器处操作的应用程序接收到在预览模式中操作所述图像信号处理器的指令，通过所述应用程序框架产生所述配置所述系统存储器容纳所述预览流和所述快照流的指令。
4.根据权利要求2所述的方法，其中接收所述产生对应于正在由所述预览流输出的所述图像的所述图像的请求包括：
从在所述处理器处操作的所述应用程序框架接收致使所述图像信号处理器在所述快照流中输出对应于正在由所述预览流输出的所述图像的所述图像的指令。
5.根据权利要求1所述的方法，其另外包括：
指示所述图像信号处理器致使一或多个相机装置捕获第一分辨率的内容并且输出所述预览流中的小于所述第一分辨率的第二分辨率的所捕获内容的表示。
6.根据权利要求5所述的方法，其另外包括：
响应于接收到所述产生对应于正在由所述预览流输出的所述图像的所述图像的请求，致使在显示器处的对应于正在由所述预览流输出的所述图像的所述图像的输出。
7.根据权利要求6所述的方法，其中对应于正在由所述预览流输出的所述图像的所述图像具有所述第一分辨率。
8.根据权利要求1所述的方法，其中所述带宽是第一带宽，所述方法另外包括：
响应于接收到所述容纳所述预览流和所述快照流的请求，计算所述图像信号处理器与所述系统存储器之间的容纳用于所述预览流的额外带宽的第二带宽，其中输出所述增加所述图像信号处理器与所述系统存储器之间的容纳所述预览流的所述第一带宽的请求指示所述第二带宽。
9.根据权利要求8所述的方法，其另外包括：
致使所述系统存储器在使用所述第二带宽确定的频率下操作。
10.根据权利要求1所述的方法，其中接收所述容纳所述预览流和所述快照流的请求包括：
接收指示在预览模式中操作所述图像信号处理器的指令的用户交互，
其中输出所述增加所述图像信号处理器与所述系统存储器之间的容纳所述预览流的所述带宽的请求是响应于接收到在所述预览模式中操作所述图像信号处理器的所述用户交互。
11.根据权利要求1所述的方法，其中接收所述产生对应于正在由所述预览流输出的所述图像的所述图像的请求包括：
接收指示在快照模式中操作所述图像信号处理器的指令的用户交互，
其中输出所述进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的指令是响应于接收到所述指示在所述快照模式中操作所述图像信号处理器的指令的所述用户交互。
12.一种用于图像产生的装置，所述装置包括：
一或多个处理器；
图像信号处理器；和
系统存储器，
其中所述一或多个处理器被配置成：
接收容纳预览流和快照流的请求；
响应于接收到所述容纳所述预览流和所述快照流的请求，输出增加所述图像信号处理器与所述系统存储器之间的容纳所述预览流的带宽的请求，
其中所述增加容纳所述预览流的所述带宽的请求制止容纳所述快照流；和
响应于接收到产生对应于正在由所述预览流输出的图像的图像以存储在所述系统存储器处的请求，输出进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。
13.根据权利要求12所述的装置，其中所述一或多个处理器被进一步配置成：
通过在所述一或多个处理器处操作的应用程序框架产生配置所述系统存储器容纳所述预览流和所述快照流的指令，其中所述容纳所述预览流和所述快照流的请求指示配置所述系统存储器容纳所述预览流和所述快照流的指令。
14.根据权利要求13所述的装置，其中所述一或多个处理器被进一步配置成：
响应于从在所述一或多个处理器处操作的应用程序接收到在预览模式中操作所述图像信号处理器的指令，产生所述配置所述系统存储器容纳所述预览流和所述快照流的指令。
15.根据权利要求13所述的装置，其中所述一或多个处理器被进一步配置成：
通过在所述一或多个处理器处操作的所述应用程序框架产生所述致使所述图像信号处理器在所述快照流中输出对应于正在由所述预览流输出的所述图像的所述图像的指令，
其中所述一或多个处理器被进一步配置成进一步响应于产生所述致使所述图像信号处理器在所述快照流中输出对应于正在由所述预览流输出的所述图像的所述图像的指令，输出所述进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。
16.根据权利要求12所述的装置，其中所述一或多个处理器被进一步配置成：
指示所述图像信号处理器致使一或多个相机装置捕获第一分辨率的内容并且输出所述预览流中的小于所述第一分辨率的第二分辨率的所捕获内容的表示。
17.根据权利要求16所述的装置，其中所述一或多个处理器被进一步配置成：
响应于接收到所述产生对应于正在由所述预览流输出的所述图像的所述图像的请求，致使在显示器处的对应于正在由所述预览流输出的所述图像的所述图像的输出。
18.根据权利要求17所述的装置，其中对应于正在由所述预览流输出的所述图像的所述图像具有所述第一分辨率。
19.根据权利要求12所述的装置，其中所述带宽是第一带宽且其中所述一或多个处理器被进一步配置成：
响应于接收到所述容纳所述预览流和所述快照流的请求，计算所述图像信号处理器与所述系统存储器之间的容纳用于所述预览流的额外带宽的第二带宽，其中所述增加所述第一带宽的请求指示所述第二带宽。
20.根据权利要求19所述的装置，其中所述一或多个处理器被进一步配置成：
致使所述系统存储器在使用所述第二带宽确定的频率下操作。
21.根据权利要求12所述的装置，其中所述一或多个处理器被进一步配置成：
接收指示用户交互的数据，所述用户交互指示在预览模式中操作所述图像信号处理器的指令，
其中所述一或多个处理器被进一步配置成响应于接收到所述指示所述用户交互的数据，输出所述增加所述图像信号处理器与所述系统存储器之间的容纳所述预览流的所述带宽的请求。
22.根据权利要求12所述的装置，其中所述一或多个处理器被进一步配置成：
接收指示用户交互的数据，所述用户交互指示在快照模式中操作所述图像信号处理器的指令，
其中所述一或多个处理器被进一步配置成响应于接收到所述指示所述用户交互的数据，输出所述进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。
23.一种上面存储有指令的非暂时性计算机可读媒体，所述指令在被执行时致使一或多个处理器：
接收容纳预览流和快照流的请求；
响应于接收到所述容纳所述预览流和所述快照流的请求，输出增加图像信号处理器与系统存储器之间的容纳所述预览流的带宽的请求，
其中所述增加容纳所述预览流的所述带宽的请求制止容纳所述快照流；和
响应于接收到产生对应于正在由所述预览流输出的图像的图像以存储在所述系统存储器处的请求，输出进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。
24.根据权利要求23所述的非暂时性计算机可读，其中所述指令进一步致使所述一或多个处理器：
通过在所述一或多个处理器处操作的应用程序框架产生配置所述系统存储器容纳所述预览流和所述快照流的指令，其中所述容纳所述预览流和所述快照流的请求指示配置所述系统存储器容纳所述预览流和所述快照流的指令。
25.根据权利要求24所述的非暂时性计算机可读，其中所述指令进一步致使所述一或多个处理器：
响应于从在所述一或多个处理器处操作的应用程序接收到在预览模式中操作所述图像信号处理器的指令，产生所述配置所述系统存储器容纳所述预览流和所述快照流的指令。
26.根据权利要求24所述的非暂时性计算机可读，其中所述指令进一步致使所述一或多个处理器：
通过在所述一或多个处理器处操作的所述应用程序框架产生所述致使所述图像信号处理器在所述快照流中输出对应于正在由所述预览流输出的所述图像的所述图像的指令，
其中所述一或多个处理器被配置成进一步响应于产生所述致使所述图像信号处理器在所述快照流中输出对应于正在由所述预览流输出的所述图像的所述图像的指令，输出所述进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求。
27.根据权利要求23所述的非暂时性计算机可读，其中所述指令进一步致使所述一或多个处理器：
指示所述图像信号处理器致使一或多个相机装置捕获第一分辨率的内容并且输出所述预览流中的小于所述第一分辨率的第二分辨率的所捕获内容的表示。
28.根据权利要求27所述的非暂时性计算机可读，其中所述指令进一步致使所述一或多个处理器：
响应于接收到所述产生对应于正在由所述预览流输出的所述图像的所述图像的请求，致使在显示器处的对应于正在由所述预览流输出的所述图像的所述图像的输出。
29.根据权利要求28所述的非暂时性计算机可读，其中对应于正在由所述预览流输出的所述图像的所述图像具有所述第一分辨率。
30.一种用于图像产生的装置，所述装置包括：
用于接收容纳预览流和快照流的请求的装置；
用于响应于接收到所述容纳所述预览流和所述快照流的请求，输出增加图像信号处理器与系统存储器之间的容纳所述预览流的带宽的请求的装置，
其中所述增加容纳所述预览流的所述带宽的请求制止容纳所述快照流；和
用于响应于接收到产生对应于正在由所述预览流输出的图像的图像以存储在所述系统存储器处的请求，输出进一步增加所述图像信号处理器与所述系统存储器之间的容纳所述快照流的所述带宽的请求的装置。
CN201780075007.1A 2017-01-05 2017-11-17 动态配置用于图像产生的存储器带宽 Active CN110036628B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN201741000501 2017-01-05
IN201741000501 2017-01-05
US15/473,255 US10313594B2 (en) 2017-01-05 2017-03-29 Dynamically configuring memory bandwidth for image generation
US15/473,255 2017-03-29
PCT/US2017/062293 WO2018128717A1 (en) 2017-01-05 2017-11-17 Dynamically configuring memory bandwidth for image generation

Publications (2)

Publication Number Publication Date
CN110036628A true CN110036628A (zh) 2019-07-19
CN110036628B CN110036628B (zh) 2020-06-23

Family

ID=62712089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075007.1A Active CN110036628B (zh) 2017-01-05 2017-11-17 动态配置用于图像产生的存储器带宽

Country Status (3)

Country Link
US (1) US10313594B2 (zh)
CN (1) CN110036628B (zh)
WO (1) WO2018128717A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681422B2 (en) * 2010-02-16 2023-06-20 John W. Rowles Methods for a user selectable digital mirror
US10917582B2 (en) 2019-01-04 2021-02-09 Gopro, Inc. Reducing power consumption for enhanced zero shutter lag
CN111698414B (zh) * 2019-03-14 2021-11-16 北京小米移动软件有限公司 图像信号处理方法及装置、电子设备、可读存储介质
US10965944B2 (en) * 2019-07-01 2021-03-30 Qualcomm Incorporated Dynamic bandwidth voting
US10861127B1 (en) * 2019-09-17 2020-12-08 Gopro, Inc. Image and video processing using multiple pipelines
US20240069851A1 (en) * 2022-08-25 2024-02-29 Capital One Services, Llc Systems and methods for providing a server-side-generated preview stream for a user of a video conferencing service

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1806431A (zh) * 2003-08-08 2006-07-19 三洋电机株式会社 摄像装置
CN101129062A (zh) * 2005-03-02 2008-02-20 索尼爱立信移动通讯股份有限公司 利用多个图像缓冲器来处理图像的方法、电子装置和计算机程序产品
US20120033103A1 (en) * 2010-08-05 2012-02-09 Apple Inc. Raw-Split Mode Image Capture
CN102681810A (zh) * 2011-01-11 2012-09-19 苹果公司 将图形内容镜像到外部显示器
US20130076957A1 (en) * 2011-09-28 2013-03-28 Altek Corporation Image Capturing Device Capable of Automatically Switching Clock of Memory and Control Method Thereof

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110025B1 (en) * 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
US6961083B2 (en) * 2001-12-21 2005-11-01 Hewlett-Packard Development Company, L.P. Concurrent dual pipeline for acquisition, processing and transmission of digital video and high resolution digital still photographs
US6992707B2 (en) * 2002-03-06 2006-01-31 Hewlett-Packard Development Company, L.P. Delayed encoding based joint video and still image pipeline with still burst mode
US8520093B2 (en) * 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
KR101469544B1 (ko) * 2008-09-26 2014-12-05 삼성전자주식회사 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP5230381B2 (ja) * 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像装置の制御方法
US9113124B2 (en) 2009-04-13 2015-08-18 Linkedin Corporation Method and system for still image capture from video footage
US8930888B2 (en) * 2011-06-29 2015-01-06 International Business Machines Corporation Modelling serialized object streams
US9225904B2 (en) 2012-02-13 2015-12-29 Htc Corporation Image capture method and image capture system thereof
KR101893406B1 (ko) 2012-03-28 2018-08-30 삼성전자 주식회사 카메라의 이미지처리 장치 및 방법
CN105376473A (zh) 2014-08-25 2016-03-02 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN104580908B (zh) 2014-12-31 2019-03-05 惠州Tcl移动通信有限公司 一种图像抓拍方法和移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1806431A (zh) * 2003-08-08 2006-07-19 三洋电机株式会社 摄像装置
CN101129062A (zh) * 2005-03-02 2008-02-20 索尼爱立信移动通讯股份有限公司 利用多个图像缓冲器来处理图像的方法、电子装置和计算机程序产品
US20120033103A1 (en) * 2010-08-05 2012-02-09 Apple Inc. Raw-Split Mode Image Capture
CN102681810A (zh) * 2011-01-11 2012-09-19 苹果公司 将图形内容镜像到外部显示器
US20130076957A1 (en) * 2011-09-28 2013-03-28 Altek Corporation Image Capturing Device Capable of Automatically Switching Clock of Memory and Control Method Thereof

Also Published As

Publication number Publication date
US10313594B2 (en) 2019-06-04
CN110036628B (zh) 2020-06-23
WO2018128717A1 (en) 2018-07-12
US20180191993A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN110036628A (zh) 动态配置用于图像产生的存储器带宽
US11727644B2 (en) Immersive content production system with multiple targets
US9906713B2 (en) Camera command set host command translation
RU2639651C2 (ru) Идентификация изображения и организация согласно макету без вмешательства пользователя
US20150363913A1 (en) Adaptive filter demosaicizing for super resolution
US9686460B2 (en) Enabling a metadata storage subsystem
WO2019001091A1 (zh) 视频传输方法、装置及计算机可读存储介质
TWI717317B (zh) 對顯示裝置的顯示圖像進行截屏的方法及裝置
US20220217322A1 (en) Apparatus, articles of manufacture, and methods to facilitate generation of variable viewpoint media
US11936928B2 (en) Method, system and device for sharing contents
US9600296B2 (en) Executing a command within a transport mechanism based on a get and set architecture
US20140063025A1 (en) Pipelined Image Processing Sequencer
CN114567767B (zh) 显示装置、光场采集方法、图像数据传输方法及相关设备
US10861497B2 (en) High framerate video recording
GB2600341A (en) Image special effect processing method and apparatus, electronic device and computer-readable storage medium
CN111292245A (zh) 图像处理方法和装置
US11375142B1 (en) Asymmetric exposure time adjustments for multi-frame high dynamic range imaging in low light conditions
WO2024000352A1 (en) Methods and apparatus to improve camera image quality
CN103533253B (zh) 一种基于安卓系统的dvd功能控制方法及装置
US20220014740A1 (en) Methods and apparatus to perform dirty region reads and writes to reduce memory bandwidth usage
CN103634655A (zh) 一种显示方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant