CN112073629A - 图像信号处理器及其操作方法和图像处理系统 - Google Patents

Abstract

提供图像信号处理器及其操作方法和图像处理系统。所述图像处理系统包括：控制处理器，被配置为生成并输出与N个(其中，N是2或更大的整数)图像帧对应的设置信息；以及图像信号处理器，被配置为：基于所述设置信息对从图像传感器接收的所述N个图像帧执行图像处理，并且基于对所述N个图像帧执行的图像处理的完成，生成中断信号并将中断信号发送到控制处理器。

Description

图像信号处理器及其操作方法和图像处理系统

本申请要求于2019年6月10日在韩国知识产权局提交的第10-2019-0068267号韩国专利申请的权益，所述韩国专利申请的公开通过引用完整地包含于此。

技术领域

发明构思涉及图像信号处理，更具体地讲，涉及用于对从图像传感器接收的图像数据执行图像处理的图像信号处理器、图像信号处理器的操作方法和/或包括图像信号处理器的图像处理系统。

背景技术

包括在成像装置(诸如，相机或智能电话)中的图像信号处理器可执行图像处理(诸如，将从图像传感器提供的图像数据的数据格式转换为诸如RGB或YUV的数据格式，或者从图像数据去除噪声并调节亮度)。图像信号处理器可以以帧为单位处理从图像传感器输出的图像数据。由于成像装置已经支持以高帧速率提供图像的操作模式(诸如，慢动作模式或超慢动作模式)，因此图像传感器可以以高帧速率生成并输出图像数据。因此，用于对具有高帧速率的图像数据正常执行图像处理的图像信号处理器会是有益的。

发明内容

发明构思提供能够快速读出以对以高帧速率接收的图像数据正常执行图像处理的图像信号处理器、图像信号处理器的操作方法以及包括图像信号处理器的图像处理系统。

根据发明构思的方面，提供一种图像处理系统，所述图像处理系统包括：控制处理器，被配置为生成并输出与N个(其中，N是等于或大于2的整数)图像帧对应的设置信息；以及图像信号处理器，被配置为基于设置信息对从图像传感器接收的所述N个图像帧执行图像处理，并且基于对所述N个图像帧执行的图像处理的完成，生成中断信号并将中断信号发送到控制处理器。

根据发明构思的其它方面，提供一种图像信号处理器，所述图像信号处理器包括：图像处理引擎，被配置为对从图像传感器接收的图像帧顺序地执行图像处理；直接存储器存取(DMA)控制器，被配置为将由图像处理引擎生成的处理数据存储在存储器中；以及快速读出电路，被配置为：从控制处理器接收包括与N个(其中，N是等于或大于2的整数)图像帧对应的N个设置值的设置信息，并且基于所述N个图像帧被顺序执行图像处理，向图像处理引擎或DMA控制器提供被执行图像处理的图像帧的设置值。

根据发明构思的其它方面，提供一种图像信号处理器的操作方法，所述操作方法包括：从控制处理器接收N个(其中，N是等于或大于2的整数)设置值；将所述N个设置值存储在存储区域中；从图像传感器接收图像帧；基于所述N个设置值，对图像帧中的N个图像帧顺序地执行图像处理；以及基于对所述N个图像帧执行的图像处理的完成，生成结束中断信号。

根据发明构思的其他方面，提供一种应用处理器，所述应用处理器包括：主处理器，被配置为：生成并输出包括N个(其中，N是等于或大于2的整数)设置值的设置信息；以及图像信号处理器，被配置为：接收并存储所述设置信息，基于设置信息对从图像传感器接收的N个图像帧顺序地执行图像处理，以及基于对所述N个图像帧执行的图像处理的完成，生成结束中断信号并将结束中断信号发送到图像信号处理器。

附图说明

从以下结合附图进行的详细描述，将更清楚地理解发明构思的实施例，在附图中：

图1是示出根据示例实施例的图像处理装置的框图；

图2是示出根据示例实施例的图像信号处理器的框图；

图3A是示出根据示例实施例的图像信号处理器的发送/接收信号和操作的时序图，图3B是示出根据比较示例的图像信号处理器的发送/接收信号和操作的时序图；

图4是示出图1的快速读出电路的框图；

图5是示例性地示出根据示例实施例的由图像信号处理器接收的设置信息的示图；

图6是示出根据示例实施例的图像处理系统的操作方法的流程图；

图7是示出根据示例实施例的图像处理系统的操作方法的流程图；

图8是示出根据示例实施例的基于图像信号处理器的操作模式的操作方法的时序图；

图9是示出根据示例实施例的图像信号处理器的框图；

图10是示出根据示例实施例的图像信号处理器的框图；

图11是示出根据示例实施例的图像信号处理器的框图；

图12是示出根据示例实施例的图像处理系统的框图；

图13是示出根据示例实施例的图像处理系统的框图；以及

图14是示出根据示例实施例的图像处理装置的框图。

具体实施方式

在下文中，将参照附图详细描述实施例。

图1是示出根据示例实施例的图像处理装置1000的框图。

图像处理装置1000可被实现为捕获图像并显示捕获的图像或基于捕获的图像执行操作的电子装置。图像处理装置1000可被实现为例如个人计算机(PC)、物联网(IoT)装置和/或便携式电子装置。便携式电子装置的示例可包括膝上型计算机、移动电话、智能电话、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数字静态相机、数字摄像机、音频装置、便携式多媒体播放器(PMP)、个人导航装置(PND)、MP3播放器、手持式游戏机、电子书、可穿戴装置等。此外，图像处理装置1000可装备在诸如无人机或高级驾驶员辅助系统(ADAS)的电子装置和/或作为车辆、家具、制造设施和各种测量机器中的部件提供的电子装置中。

参照图1，图像处理装置1000可包括图像传感器1100和图像处理系统1200。图像处理装置1000还可包括诸如显示器和用户接口的其他元件。图像处理系统1200可包括图像信号处理器100、控制处理器200和存储器300。图像信号处理器100、控制处理器200和存储器300可被实现为单个半导体芯片或多个半导体芯片。例如，图像信号处理器100和控制处理器200可集成到一个半导体芯片中。

图像处理系统1200可包括处理电路(诸如，包括逻辑电路的硬件、硬件/软件组合(诸如，执行软件的处理器)或它们的组合)。例如，处理电路更具体地可包括但不限于中央处理器(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。

如在此公开的，术语“存储器”、“存储介质”、“计算机可读存储介质”或“非暂时性计算机可读存储介质”可表示用于存储数据的一个或多个装置，用于存储数据的一个或多个装置包括只读存储器(ROM)、随机存取存储器(RAM)、磁性RAM、核存储器、磁盘存储介质、光学存储介质、闪存装置和/或用于存储信息的其他有形机器可读介质。术语“计算机可读介质”可包括但不限于便携式或固定存储装置、光学存储装置以及能够存储、包含或携带一个或多个指令和/或数据的各种其他介质。

图像传感器1100可将通过光学透镜LS输入并与对象对应的光信号转换为电信号，并且可基于电信号生成并输出图像数据IDT。图像传感器1100可包括例如包括二维布置的多个像素的像素阵列和读出电路，并且像素阵列可将接收的光信号转换为电信号。像素阵列可用例如光电转换器件(诸如，电荷耦合器件CCD或互补金属氧化物半导体(CMOS))来实现，此外，像素阵列可用各种其他光电转换器件来实现。读出电路可基于从像素阵列提供的电信号生成原始数据，并且可输出生成的原始数据或已经被执行了预处理(诸如，去除坏像素)的原始数据作为图像数据IDT。图像传感器1100可被实现为包括像素阵列和读出电路的半导体芯片或封装。

图像信号处理器100可对从图像传感器1100提供的图像数据IDT执行图像处理。例如，图像信号处理器100可执行图像处理(诸如，转换图像数据IDT的数据格式(例如，将具有拜耳图案的图像数据转换为YUV或RGB格式)、去除噪声、调节亮度和调节清晰度的图像处理)，以增强图像质量。图像信号处理器100可配置图像处理系统1200的硬件。

图像信号处理器100可包括图像信号处理核110(在下文中被称为ISP核)和快速读出电路120(在下文中被称为FRO电路)。ISP核110可以以帧为单位对从图像传感器1100输出的图像数据IDT执行图像处理。ISP核110可被称为图像处理引擎。通过图像处理生成的处理数据PDT(例如，通过图像处理生成的图像处理帧(在下文中被称为转换图像数据)和/或结果数据(统计数据、直方图等))可存储在存储器300中。

FRO电路120可存储设置信息IF_N，设置信息IF_N包括从控制处理器200提供的多个图像帧(在下文中被称为N(其中，N是等于或多于二的正整数)数量的帧)的设置值，并且在对特定图像帧执行图像处理的情况下，FRO电路120可提供相应图像帧(当前图像帧)的设置值(当前设置值)。例如，设置信息(例如，帧的设置值)可包括用于调节图像帧的图像质量的寄存器值(例如，由ISP核110在图像处理过程中使用的寄存器值)和表示存储器300的与每个帧对应的处理数据PDT将被存储的区域的地址寄存器值。可按照每个帧设置(或改变)这样的设置值。

FRO电路120可从控制处理器200接收并存储关于N个帧的设置信息IF_N，并且在N个帧中的每个被执行图像处理的情况下，FRO电路120可将相应帧的设置值提供给ISP核110或另一电路(例如，图2的直接存储器存取(DMA)控制器130)。因此，可以以帧为单位对N个帧执行图像处理。

当对N个帧执行的图像处理完成时，FRO电路120可生成指示对N个帧执行的图像处理完成的中断信号INT，或者可向ISP核110发出请求以生成中断信号INT。

例如，FRO电路120可存储关于通过一次性接收处理从控制处理器200接收的N个帧的设置信息IF_N。在N个帧中的每个被执行图像处理的情况下，FRO电路120可提供相应帧的设置值，并且当对N个帧执行的图像处理完成时，FRO电路120可生成中断信号INT。

控制处理器200可控制图像信号处理器100执行图像处理。控制处理器200可包括处理电路(诸如，包括逻辑电路的硬件、硬件/软件组合(诸如，执行软件的处理器)或它们的组合)，例如以配置图像处理系统1200的软件。控制处理器200可以是中央处理器(CPU)、微处理器、ARM处理器、X86处理器、不具有互锁流水线级(MIPS)处理器的微处理器、图形处理器(GPU)、通用GPU和/或被配置为执行存储在存储器中的指令的其他处理器。控制处理器200可处理或执行数据和包括图像信号处理器100的执行算法的指令代码(或程序)，以生成用于控制控制处理器200的控制信号CONS。控制信号CONS可包括关于N个帧的设置信息IF_N。

控制处理器200可预先生成关于N个帧的设置信息IF_N，并且在N个帧开始被执行图像处理之前，控制处理器200可将设置信息IF_N发送到图像信号处理器100。控制处理器200可在图像信号处理器100正在对N个帧执行图像处理的同时生成关于接下来的N个帧的设置信息，并且在对N个帧执行的图像处理完成之前(即，在从图像信号处理器100接收到指示对N个帧执行的图像处理完成的中断信号INT之前)，控制处理器200可将生成的关于接下来的N个帧的设置信息发送到图像信号处理器100。控制处理器200可在图像信号处理器100正在对N个帧执行图像处理的同时生成并发送关于接下来的N个帧的设置信息。

存储器300可存储从图像信号处理器100接收的处理数据PDT，并且可将处理数据PDT提供给图像信号处理器100、控制处理器200或图像处理装置1000的其他元件。

存储器300可被实现为易失性存储器或非易失性存储器。易失性存储器的示例可包括动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等，并且非易失性存储器的示例可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除和可编程ROM(EEPROM)、闪存、相变RAM(PRAM)、磁性RAM(MRAM)、电阻式RAM(RRAM)、铁电RAM(FRAM)等。

图2是示出根据示例实施例的图像信号处理器100的框图。图2详细示出了图1的图像信号处理器100。

参照图2，图像信号处理器100可包括ISP核110、FRO电路120和DMA控制器130。ISP核110可包括控制器111和多个知识产权(IP)块112。在图2中，多个IP块112被示出为包括第一IP块11至第三IP块13(例如，IP_B1、IP_B2和IP_B3)，但是不限于此，并且多个IP块112可包括两个或更多个IP块。

控制器111可从控制处理器200接收控制信号CONS，并且可基于控制信号CONS来控制图像信号处理器100的整体操作。控制信号CONS可包括关于N个帧的设置信息IF_N，并且控制器111可向FRO电路120提供关于N个帧的设置信息IF_N。FRO电路120可存储接收的设置信息IF_N，并且当图像处理按照每个帧基于包括在设置信息IF_N中的设置值被执行时，FRO电路120可将存储的设置信息IF_N提供给多个IP块112或DMA控制器130。

被设置为图像处理块的多个IP块112(例如，第一IP块11至第三IP块13)可执行图像处理，并且第一IP块11至第三IP块13可执行不同的图像处理。在一些示例实施例中，第一IP块11可转换图像数据IDT的数据格式，第二IP块12可调节亮度，并且第三IP块13可调节对比度。第一IP块11至第三IP块13可顺序地对帧执行图像处理。由第一IP块11至第三IP块13中的每个基于图像处理而获得的图像处理完成帧和/或结果数据(例如，转换图像数据)可被存储在存储器300中。多个IP块112可从FRO电路120接收与处理的帧对应的设置值，并且可基于设置值对相应帧执行图像处理。

DMA控制器130可将从第一IP块11至第三IP块13中的至少一个接收的处理数据PDT存储在存储器300中。处理数据PDT可包括基于图像处理的结果数据和/或转换图像数据。此时，DMA控制器130可从FRO电路120接收地址ADDR(或地址寄存器值)，并且可将处理数据PDT存储在存储器300的与地址ADDR对应的存储区域中。

例如，当第一帧被执行图像处理时(或当图像处理完成时)，FRO电路120可基于存储的设置信息IF_N中的表示第一帧的转换图像数据(例如，第一转换图像数据)将被存储的区域的地址寄存器值来生成第一地址，并可将第一地址(或第一地址寄存器值)提供给DMA控制器130，并且DMA控制器130可将第一转换图像数据存储在与第一地址对应的区域中。随后，当第二帧被执行图像处理时，FRO电路120可基于存储的设置信息IF_N中的表示第二帧的转换图像数据(例如，第二转换图像数据)将被存储的区域的地址寄存器值来生成第二地址，并可将第二地址(或第二地址寄存器值)提供给DMA控制器130，并且DMA控制器130可将第二转换图像数据存储在与第二地址对应的区域中。

当对N个帧执行的图像处理完成时，FRO电路120可生成表示图像处理完成的中断信号INT。FRO电路120可将中断信号INT直接发送到控制处理器200或控制器111。在一些示例实施例中，FRO电路120可向控制器111发出请求以生成中断信号，并且响应于该请求，控制器111可生成并发送中断信号INT。

图3A是示出根据示例实施例的图像信号处理器100的发送/接收信号和操作的时序图，图3B是示出根据比较示例的图像信号处理器的发送/接收信号和操作的时序图。图3A示出图1的图像信号处理器100的操作。

参照图3A，图像信号处理器100可以以帧为单位接收图像数据。例如，图像信号处理器100可接收第一帧F1至第n+1帧Fn+1。图像信号处理器100可对接收的帧执行图像处理。

在执行图像处理之前，图像信号处理器100可从控制处理器(图1的200)接收用于控制帧的处理的控制信号。图像信号处理器100可接收包括N个帧(例如，第一帧至第N帧)F1至Fn的设置值的设置信息IF_N1。当在接收到设置信息IF_N1之后接收到帧(例如，第一帧F1)时，图像信号处理器100可开始执行图像处理，并且可向控制处理器200发送指示图像处理的开始的开始中断信号INT_S1。

图像信号处理器100可对N个帧F1至Fn执行图像处理。如上所述，FRO电路(图1的120)可存储设置信息IF_N1，并且当每个帧开始被执行图像处理时，FRO电路120可提供相应帧的设置值。此外，在N个帧F1至Fn被执行图像处理的同时，图像信号处理器100可从控制处理器200接收关于接下来的N个帧(例如，第n+1帧至第2n帧)Fn+1至F2n的设置信息IF_N2。

当N个帧F1至Fn被执行图像处理时，图像信号处理器100可向控制处理器200发送指示对N个帧执行的图像处理的完成的结束中断信号INT_E1。随后，当再次接收到帧时(例如，当接收到第n+1帧Fn+1时)，图像信号处理器100可开始执行图像处理，并且可向控制处理器200发送指示图像处理的开始的开始中断信号INT_S2。

如上所述，根据一些示例实施例的图像信号处理器100可以以N个帧为单位接收设置信息IF_N1和IF_N2，并可基于接收的设置信息对N个帧执行图像处理，并且当对N个帧执行的图像处理完成时，图像信号处理器100可向控制处理器200发送指示图像处理的完成的结束中断信号INT_E1和INT_E2。此时，包括在图像信号处理器100中的FRO电路120可存储设置信息IF_N1和IF_N2，并且可在每一帧被执行图像处理时提供相应的设置值。控制处理器200可在N个帧(例如，第一帧F1至第n帧Fn)被执行图像处理的第一时段T1期间生成并发送关于接下来的N个帧(例如，第n+1帧Fn+1至第2n帧F2n)的设置信息IF_N2。第一时段T1可被确保为控制处理器200的设置裕度(即，用于控制设置的时间裕度)。

下面将参照图3B描述根据比较示例的图像信号处理器的发送/接收信号和操作。根据比较示例的图像信号处理器不包括FRO电路。

根据比较示例的图像信号处理器可按照每个帧从控制处理器接收设置信息IF1至IFn+2中的相应一个，并且可基于接收的设置信息对相应帧执行图像处理，然后，当图像处理完成时，图像信号处理器可向控制处理器发送中断信号。例如，图像信号处理器可从控制处理器接收包括第一帧F1的设置值的设置信息IF1，并且可基于设置信息IF1对接收的第一帧F1执行图像处理。当第一帧F1开始被执行图像处理时，图像信号处理器可将开始中断信号INT_S1发送到控制处理器，并且当图像处理完成时，图像信号处理器可将结束中断信号INT_E1发送到控制处理器。

当第一帧F1被执行图像处理时(即，在接收到开始中断信号INT_S1之后直到接收到结束中断信号INT_E1为止)，控制处理器可生成并发送关于下一帧(例如，第二帧F2)的设置信息IF2。

如上所述，根据基于比较示例的图像信号处理器的操作，控制处理器可在一个帧被执行图像处理的第二时段T2期间生成并发送关于下一帧的设置信息。第二时段T2可被确保为控制处理器的设置裕度。

当图像数据以高帧速率(例如，等于或大于预定阈值的帧速率，例如，120fps(帧每秒)、240fps、960fps等)被接收时，一个帧的图像处理时间可缩短。在根据比较示例的图像信号处理器执行图像处理的情况下，由于控制处理器必须在一个帧的图像处理时间(例如，第二时段T2)期间生成并发送关于下一帧的设置信息，所以控制处理器的设置裕度会不够，并且由于此，图像信号处理器不会被正常地控制并且会异常地操作。

然而，如上所述，在根据一些示例实施例的图像信号处理器100执行图像处理的情况下，控制处理器200可确保N数量的图像处理时段(例如，第一时段T1)作为设置裕度，因此，设置裕度可被充分地确保。因此，可防止控制处理器200的异常控制，并且图像信号处理器100可正常地对具有高帧速率的图像数据执行图像处理。

图4是示出图1的FRO电路120的框图。

参照图4，FRO电路120可包括存储关于N个帧的设置信息的存储区域21和逻辑电路22。

存储区域21可存储N个帧中的每个的设置值(例如，第一设置值IF1至第n设置值IFn)。例如，存储区域21可包括N个寄存器(例如，第一寄存器至第n寄存器)REG1至REGn，并且第一寄存器REG1至第n寄存器REGn可分别存储第一设置值IF1至第n设置值IFn。

响应于用于请求表示被执行图像处理的帧的信息FIF或相应帧的设置值的命令CMD，逻辑电路22可从存储区域21读取与相应帧对应的设置值IF，并且可输出相应帧的设置值IF或相应帧的地址ADDR。例如，逻辑电路22可向ISP核(图1的110)提供用于调节相应帧的图像质量的寄存器值，或者可向DMA控制器(图2的130)提供相应帧的地址寄存器值或基于地址寄存器值生成的地址ADDR。

图5是示例性地示出根据示例实施例的由图像信号处理器接收的设置信息的示图。

如上所述，图像信号处理器(图1的100)可从控制处理器200接收关于N个帧的设置信息IF_N。关于N个帧的设置信息IF_N可包括接收的数据的大小211、N个帧的地址寄存器值212(例如，ADD_F1、ADD_F2、…、ADD_Fn)以及关于在哪个帧发生中断的帧信息213(例如，F_INT)。当对相应帧执行的图像处理完成时，图像信号处理器100可基于关于中断发生的位置的帧信息213生成中断信号。

在一些示例实施例中，设置信息IF_N可以以包数据格式被接收，并且还可包括表示包数据的开始的头比特和表示包数据的结束的尾比特。

图6是示出根据示例实施例的图像处理系统的操作方法的流程图。图6示出图1的图像信号处理器100和控制处理器200中的每个的操作方法。

参照图6，控制处理器200可在操作S110中生成关于N个帧的设置信息IF_N1，并且可在操作S120中将设置信息IF_N1发送到图像信号处理器100。如以上参照图1所述，控制处理器200可执行用于控制图像信号处理器100的指令代码和数据以生成设置信息IF_N1。

详细地，在操作S130中，图像信号处理器100的FRO电路120可存储接收的设置信息IF_N1。随后，在操作S140中，可从图像传感器接收图像帧，图像信号处理器100可在操作S150中将开始中断信号发送到控制处理器200发，并且可开始执行图像处理。

在操作S160中，图像信号处理器100可基于设置信息IF_N1对N个帧执行图像处理。当帧被执行图像处理时，FRO电路120可基于设置信息IF_N1提供每个帧的设置值，并且图像信号处理器100可基于设置值以帧为单位执行图像处理。

此时，控制处理器200可在操作S170中生成关于接下来的N个帧的设置信息IF_N2，并且可在操作S180中将设置信息IF_N2发送到图像信号处理器100。详细地，在操作S190中，图像信号处理器100的FRO电路120可存储接收的设置信息IF_N2。

当对N个帧执行的图像处理完成时，图像信号处理器100可将结束中断信号发送到控制处理器200。

随后，图像信号处理器100和控制处理器200可重复地执行操作S150至S200，因此，控制处理器200可以以N个帧为单位生成并发送设置信息，并且图像信号处理器100可以以帧为单位执行图像处理(即，可以以N个帧为单位生成中断信号并且可将中断信号发送到控制处理器200)。

图7是示出根据示例实施例的图像处理系统的操作方法的流程图。图7的操作方法可由图1的图像信号处理器执行。

参照图7，图像处理系统1200可在操作S210中确定操作模式。图像处理系统1200可基于用户的设置来确定操作模式，或者可检测从图像传感器1100接收的图像数据IDT的帧速率并且可基于检测的帧速率来确定操作模式。在一些示例实施例中，当以高速(例如，240fps或更高的速度)从图像传感器1100接收帧时，图像处理系统1200可将操作模式确定为高速操作模式。

图像处理系统1200可在操作S220中确定所确定的操作模式是否是高速操作模式，并且当确定的操作模式是高速操作模式时，如以上参照图1至图6所述，图像处理系统1200可在操作S230中以N个帧为单位执行图像处理。在操作S231中，控制处理器200可生成关于N个帧的设置信息，并且可将设置信息发送到图像信号处理器100。图像信号处理器100可在操作S232中对N个帧执行图像处理，并且当图像处理完成时，图像信号处理器100可在操作S233中生成中断信号。在操作S231中，图像信号处理器100可按照每个帧基于从包括在其中的FRO电路120提供的相应帧的设置值，基本上以帧为单位执行图像处理。

当确定的操作模式不是高速操作模式时(即，当确定的操作模式是正常操作模式或低速操作模式时)，图像处理系统1200可在操作S240中以一个帧为单位执行图像处理。控制处理器200可在操作S241中生成关于一个帧的设置信息，并可将设置信息发送到图像信号处理器100。图像信号处理器100可在操作S242中对一个帧执行图像处理，并且当图像处理完成时，图像信号处理器100可在操作S243中生成中断信号。

图8是示出根据示例实施例的基于图像信号处理器的操作模式的操作方法的时序图。图8示出图1的图像信号处理器100的操作方法。

参照图1和图8，第一操作模式可以是低速操作模式或正常操作模式，第二操作模式可以是高速操作模式。当图像处理系统1200在第二操作模式下操作时，图像数据的帧速率(例如，图像数据的接收速度)可高于当图像处理系统1200在第一操作模式下操作时的图像数据的帧速率。在第二操作模式下接收和处理N个帧(例如，第一帧至第n帧)的时段T4可相对短于在第一操作模式下接收和处理N个帧的时段T3。

在第一操作模式下，图像信号处理器100可以以帧为单位从控制处理器200接收设置信息IF1至IFn+2。图像信号处理器100可基于接收的设置信息以帧为单位执行图像处理，并且可在每个帧向控制处理器200发送指示图像处理的开始和结束的中断信号(例如，开始中断信号INT_S1至INT_Sn+1和结束中断信号INT_E1至INT_En+1)。

在第二操作模式下，图像信号处理器100可以以N个帧为单位从控制处理器200接收设置信息(例如，第一设置信息至第三设置信息)IF_N1、IF_N2和IF_N3。例如，第一设置信息IF_N1可包括第一帧F1至第n帧Fn的设置值。图像信号处理器100可对N个帧执行图像处理，并且可以以N个帧为单位生成并发送中断信号(例如，开始中断信号INT_S1和INT_S2以及结束中断信号INT_E1和INT_E2)。在这种情况下，图像信号处理器100可基于从存储设置信息IF_N1、IF_N2和IF_N3的FRO电路120提供的每个帧的设置值，基本上以帧为单位执行图像处理。

当图像信号处理器100在第一操作模式下操作时，一个帧的图像处理时段T5可足以使控制处理器200生成关于下一帧的设置信息。因此，在第一操作模式下，一个帧的图像处理时段T5可被确保为控制处理器200的设置裕度，并且控制处理器200可以以一个帧为单位生成并发送设置信息IF1至IFn+2。图像信号处理器100可基于接收的设置信息以帧为单位执行图像处理。此时，FRO电路120可被去激活。当对一个帧执行的图像处理开始时，图像信号处理器100可生成并发送中断信号INT_S1至INT_Sn+1中的相应一个。当对一个帧执行的图像处理完成时，图像信号处理器100可生成并发送中断信号INT_E1至INT_En+1中的相应一个。

当图像信号处理器100在第二操作模式下操作时(即，当图像数据的帧速率高时)，一个帧的图像处理时段T7会非常短，因此，控制处理器200会不足以生成关于下一帧的设置信息。因此，控制处理器200可以以N个帧为单位生成并发送设置信息IF_N1至IF_N3，因此，可确保N个帧的处理时段T6作为设置裕度。图像信号处理器100可将接收的设置信息存储在FRO电路120中，并且当对每个帧执行图像处理时，图像信号处理器100可基于从FRO电路120提供的相应帧的设置值执行图像处理，并且可将转换图像数据存储在存储器300中。当对N个帧执行的图像处理开始时，图像信号处理器100可生成并发送中断信号INT_S1和INT_S2。当对N个帧执行的图像处理完成时，图像信号处理器100可生成并发送中断信号INT_E1和INT_E2。

如上所述，图像信号处理器100可基于图像数据的帧速率来改变操作模式，以适应性地改变帧设置方法和操作方法。因此，即使当图像数据的帧速率改变时，也可充分地确保控制处理器200的设置裕度。

图9是示出根据示例实施例的图像信号处理器100a的框图。图9的图像信号处理器100a的配置和操作与图2的图像信号处理器100的配置和操作类似，因此，将主要描述它们之间的差异。

参照图9，图像信号处理器100a可包括ISP核110a、FRO电路120和DMA控制器130，并且包括在ISP核110a中的多个IP块112a(例如，第一IP块11a至第三IP块13a)中的至少一个IP块(例如，第一IP块11a)可包括FRO电路121。控制器111a可向第一IP块11a的FRO电路(FRO1)121提供从控制处理器200接收的关于N个帧的多条设置信息IF_N之中的关于第一IP块11a的一些设置信息。在对N个帧中的每个执行图像处理的情况下，第一IP块11a可基于存储在FRO电路121中的设置信息中的相应帧的设置值来执行图像处理。

图10是示出根据示例实施例的图像信号处理器100b的框图。

图10的图像信号处理器100b可包括ISP核110b和DMA控制器130。ISP核110b可包括多个IP块112b(例如，第一IP块11b至第三IP块13b)，并且第一IP块11b至第三IP块13b可分别包括FRO电路(FRO1至FRO3)121至123。换句话说，在图10的图像信号处理器100b中，FRO电路FRO1至FRO3可分别包括在多个IP块112b中。

控制器111b可向多个IP块112b中的每个提供从控制处理器200接收的关于N个帧的多条设置信息IF_N中的关于多个IP块112b中的每个的设置信息(例如，多个IP块112b中的每个的N个帧的设置值)。多个IP块112b中的每个可将接收的设置信息存储在包括在其中的相应的FRO电路中，并且在对每个帧执行图像处理的情况下，多个IP块112b中的每个可基于存储在相应的FRO电路中的设置信息中的相应帧的设置值来执行图像处理。此外，多个IP块112b中的每个可生成相应帧的地址，并可将该地址提供给DMA控制器130，因此，可将基于图像处理的结果数据和/或转换图像数据存储在存储器300中。

图11是示出根据示例实施例的图像信号处理器100c的框图。

图11的图像信号处理器100c可包括ISP核110c、FRO电路120、第一DMA控制器140和第二DMA控制器150。ISP核110c可包括控制器111c、多个IP块112c和后处理块113c。

图11的图像信号处理器100c的配置和操作与图2的图像信号处理器100的配置和操作类似。因此，将主要描述差异。

参照图11，包括在ISP核110c中的后处理块113c可对由多个IP块112c中的每个生成的转换图像数据执行后处理。例如，后处理块113c可包括缩放器、联合图像编码专家组(JPEG)电路等。

多个IP块112c中的每个可将转换图像数据直接发送到后处理块113c，或者可通过第一DMA控制器140将转换图像数据存储在存储器300中。此时，如上面参照图2所述，第一DMA控制器140可按照每帧基于从FRO电路120接收的地址ADDR将转换图像数据存储在存储器300中。

后处理块113c可从多个IP块112c中的每个接收转换图像数据，或者可通过第二DMA控制器150接收存储在存储器300中的转换图像数据。后处理块113c可通过第二DMA控制器150将后处理图像数据IDT'存储在存储器300中，或者可将后处理图像数据IDT'输出到包括在图像处理装置(图1的1000)中的其他元件(例如，显示器)。

图12是示出根据示例实施例的图像处理系统20的框图。

参照图12，图像处理系统20可包括主处理器210、ROM 220、RAM 230、图像信号处理器240、非易失性存储器接口250、相机接口260、存储器接口270和显示接口280。图像处理系统20的元件(例如，主处理器210、ROM 220、RAM 230、图像信号处理器240、非易失性存储器接口250、相机接口260、存储器接口270和显示接口280)可通过系统总线290发送或接收数据。在一些示例实施例中，图像处理系统20可被实现为片上系统(SoC)。在一些示例实施例中，图像处理系统20可以是应用处理器。

主处理器210可控制图像处理系统20的整体操作。主处理器210可用例如CPU、微处理器、ARM处理器、X86处理器或MIPS处理器来实现。根据一些实施例，主处理器210可用包括两个或更多个独立处理器(或核)的一个计算组件(例如，多核处理器)来实现。主处理器210可处理或执行各自存储在ROM 220或RAM 230中的数据和指令代码(或程序)。

ROM 220可存储连续使用的程序和/或数据。ROM 220可被实现为EPROM或EEPROM。

RAM 230可临时存储程序、数据和/或指令。根据一些实施例，RAM 230可被实现为DRAM或SRAM。RAM 230可临时存储通过接口250至280输入/输出或者由图像信号处理器240通过图像处理生成的图像数据。

非易失性存储器接口250可接口连接从非易失性存储器装置255输入的数据或输出到非易失性存储器装置255的数据。非易失性存储器装置255可用例如存储卡(例如，多媒体卡(MMC)、嵌入式多媒体卡(eMMC)、安全数字(SD)卡或微型SD卡)来实现。

相机接口260可接口连接从设置在图像处理系统20外部的相机265输入的图像数据(例如，原始图像数据)。相机265可生成与通过使用多个光感测器件捕获的图像对应的数据。通过相机接口260接收的图像数据可被提供给图像信号处理器240，或者可通过存储器接口270存储在存储器275中。

存储器接口270可接口连接从存储器275输入的数据或输出到存储器275的数据。根据一些实施例，存储器275可被实现为易失性存储器(诸如，DRAM或SRAM)或非易失性存储器(诸如，ReRAM、PRAM或NAND闪存)。

显示接口280可接口连接输出到显示装置285的数据(例如，图像数据)。显示装置285可通过显示器(诸如，液晶显示器(LCD)或有源矩阵有机发光二极管(AMOLED))输出基于图像数据的图像信号。

图像信号处理器240可对从相机265提供的图像数据执行图像处理以生成转换图像数据，并且可将转换图像数据存储在存储器275中，或者可将转换图像数据进行缩放以将缩放的图像提供给显示装置285。

以上各自参照图1至图11描述的控制处理器和图像信号处理器可分别应用为主处理器210和图像信号处理器240。在高速操作模式下，主处理器210可以以N个帧为单位生成设置信息并且可将设置信息发送到图像信号处理器240，并且当对N个帧执行的图像处理完成时，图像信号处理器240可将中断信号发送到主处理器210。图像信号处理器240可包括FRO电路(图1的120)，并且FRO电路可存储设置信息。当每个帧被执行图像处理时，FRO电路可提供相应帧的设置值。因此，即使在高速操作模式下，图像信号处理器240也可正常地执行图像处理。

图13是示出根据示例实施例的图像处理系统30的框图。

参照图13，图像处理系统30可包括CPU 310、ROM 320、后处理块330、传感器接口340、ISP核350、FRO电路360和DMA控制器370。CPU 310、ROM 320、后处理块330、传感器接口340、ISP核350、FRO电路360和DMA控制器370可通过系统总线380发送或接收数据。

CPU 310可控制图像处理系统30的整体操作，并且可处理或执行存储在ROM 320中的程序以控制图像处理操作。

ROM 320可存储包括图像处理算法的指令代码(例如，程序)和/或数据。

后处理块330可对由ISP核350生成的转换图像数据执行后处理(例如，调节数据的大小或对数据进行压缩)。后处理图像数据可通过DMA控制器370存储在存储器375中。

在一些示例实施例中，图像处理系统30还可包括显示接口，并且后处理图像数据可通过显示接口被提供给显示装置。可选地，存储在存储器375中的图像数据可通过DMA控制器370被读取，并且可通过显示接口被提供给显示装置。

传感器接口340可与图像传感器345通信并且可从图像传感器345接收图像数据(例如，原始图像数据)。

以上各自参照图2、图9、图10和图11描述的控制处理器、ISP核、FRO电路和DMA控制器可分别应用为CPU 310、ISP核350、FRO电路360和DMA控制器370。在高速操作模式下，CPU310可以以N个帧为单位生成设置信息并可将设置信息发送到ISP核350，并且当ISP核350完成对N个帧执行的图像处理时，FRO电路360可将中断信号发送到CPU 310。FRO电路360可存储设置信息，并且当每个帧被执行图像处理时，FRO电路360可向ISP核350和/或DMA控制器370提供相应帧的设置值。因此，可以以一个帧为单位执行图像处理，并且可将处理数据存储在存储器375中。即使在高速操作模式下，图像处理系统30也可正常地执行图像处理，并且可将图像处理过的图像数据(例如，转换图像数据或后处理图像数据)存储在存储器375中。

图14是示出根据示例实施例的图像处理装置2000的框图。图14的图像处理装置2000可以是便携式终端。

参照图14，根据一些示例实施例的图像处理装置2000可包括应用处理器(AP)2100、图像传感器2200、显示装置2400、工作存储器2500、存储装置2600、用户接口2700和无线收发器2800，并且应用处理器2100可包括图像信号处理器(ISP)2300。图1的图像信号处理器100可被应用为图像信号处理器2300。在一些实施例中，图像信号处理器100可被实现为独立于应用处理器2100的单独的集成电路。

应用处理器2100可控制图像处理装置2000的整体操作，并且可作为驱动应用程序和操作系统(OS)的SoC被提供。

应用处理器2100可控制图像信号处理器2300的操作，并且可将由图像信号处理器2300生成的转换图像数据提供给显示装置2400，或者将由图像信号处理器2300生成的转换图像数据存储在存储装置2600中。

图像传感器2200可基于接收的光信号生成图像数据(例如，原始图像数据)，并且可将图像数据提供给图像信号处理器2300。

以上参照图1至图11描述的图像信号处理器可被应用为图像信号处理器2300。图像信号处理器2300可从包括在应用处理器2100中的处理器接收关于第N帧的设置信息，并可基于设置信息对第N帧执行图像处理。当对第N帧执行的图像处理完成时，图像信号处理器2300可将中断信号发送到处理器。

工作存储器2500可被实现为易失性存储器(诸如，DRAM或SRAM)或非易失性电阻式存储器(诸如，FeRAM、RRAM或PRAM等)。工作存储器2500可存储各自由应用处理器2100处理或执行的程序和/或数据。

存储装置2600可被实现为非易失性存储器装置(诸如，NAND闪存或电阻式存储器)，并且例如可被提供为存储卡(例如，MMC、eMMC、SD或微型SD)。存储装置2600可存储与用于控制图像信号处理器2300的图像处理操作的执行算法对应的数据和/或程序，并且当图像处理操作被执行时，数据和/或程序可被加载到工作存储器2500中。在一些实施例中，存储装置2600可存储由图像信号处理器2300生成的图像数据(例如，转换图像数据或后处理图像数据)。

用户接口2700可用各种装置(诸如，键盘、字幕键面板、触摸面板、指纹传感器和麦克风)来实现，以接收用户输入。用户接口2700可接收用户输入，并且可向应用处理器2100提供与接收的用户输入对应的信号。

无线收发器2800可包括收发器2810、调制解调器2820和天线2830。

尽管参照具体示例和附图进行了描述，但是本领域普通技术人员可根据说明书对示例实施例进行各种修改、添加和替换。例如，可以以与描述的方法的顺序不同的顺序来执行描述的技术，和/或可将诸如所描述的系统、架构、装置、电路等的组件连接或组合为与上述方法不同，或者可通过其他组件或等同物来适当地实现结果。

尽管已经参照发明构思的实施例具体地示出和描述了发明构思，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (25)

1.一种图像处理系统，包括：

控制处理器，被配置为生成并输出与N个图像帧对应的设置信息，其中，N是2或更大的整数；以及

图像信号处理器，被配置为：

基于所述设置信息对从图像传感器接收的所述N个图像帧执行图像处理，以及

基于对所述N个图像帧执行的图像处理的完成，生成中断信号并将中断信号发送到控制处理器。

2.根据权利要求1所述的图像处理系统，其中，所述设置信息包括所述N个图像帧中的每个的设置值。

3.根据权利要求2所述的图像处理系统，其中，图像信号处理器包括：

多个图像处理块，所述多个图像处理块中的每个被配置为执行设置的图像处理；

直接存储器存取控制器，被配置为将由所述多个图像处理块中的每个生成的处理数据存储在存储器中；以及

快速读出电路，被配置为：

存储所述设置信息，并且

基于所述N个图像帧被顺序执行图像处理，向所述多个图像处理块或直接存储器存取控制器提供被执行图像处理的图像帧的设置值。

4.根据权利要求3所述的图像处理系统，其中，所述多个图像处理块中的至少一个图像处理块被配置为存储所述设置信息之中的与所述至少一个图像处理块有关的设置信息。

5.根据权利要求3所述的图像处理系统，其中，所述设置值包括地址寄存器值，地址寄存器值表示通过执行图像处理而生成的转换图像数据将被存储的区域。

6.根据权利要求3所述的图像处理系统，其中，直接存储器存取控制器被配置为：

从快速读出电路接收所述设置值或地址，并且

将处理数据存储在存储器的与所述设置值或所述地址对应的区域中，处理数据从所述多个图像处理块中的每个被接收。

7.根据权利要求3所述的图像处理系统，其中，快速读出电路包括：N个寄存器，被配置为存储包括在所述设置信息中的所述N个图像帧中的每个的设置值。

8.根据权利要求1所述的图像处理系统，其中，控制处理器被配置为：基于图像信号处理器对所述N个图像帧执行图像处理，生成与接下来的N个图像帧相关的设置信息，并将生成的设置信息发送到图像信号处理器。

9.根据权利要求1所述的图像处理系统，其中，所述设置信息包括：

表示所述N个图像帧的多条转换图像数据将被存储的区域的N个地址寄存器值，以及

关于将生成中断信号的图像帧的信息。

10.根据权利要求1所述的图像处理系统，其中，图像信号处理器包括：

多个图像处理块，每个图像处理块被配置为执行设置的图像处理；以及

直接存储器存取控制器，被配置为将由所述多个图像处理块中的每个生成的处理数据存储在存储器中，并且

所述多个图像处理块中的每个包括：

快速读出电路，被配置为：

存储所述设置信息之中的相应设置信息，并且

基于所述N个图像帧被顺序执行图像处理，将被执行图像处理的图像帧的设置值提供给直接存储器存取控制器。

11.一种图像信号处理器，包括：

图像处理引擎，被配置为对从图像传感器接收的图像帧顺序地执行图像处理；

直接存储器存取控制器，被配置为将由图像处理引擎生成的处理数据存储在存储器中；以及

快速读出电路，被配置为：从控制处理器接收包括与N个图像帧对应的N个设置值的设置信息，并基于所述N个图像帧被顺序执行图像处理，向图像处理引擎或直接存储器存取控制器提供被执行图像处理的图像帧的设置值，其中，N是2或更大的整数。

12.根据权利要求11所述的图像信号处理器，其中，快速读出电路被配置为：基于对所述N个图像帧执行的图像处理的完成，生成提供给控制处理器的中断信号。

13.根据权利要求11所述的图像信号处理器，其中，所述设置值包括地址寄存器值，地址寄存器值表示基于图像处理的图像帧中的每个的图像处理结果或转换图像帧将被存储的区域。

14.根据权利要求13所述的图像信号处理器，其中，快速读出电路被配置为：

基于图像信号处理器在第一模式下进行操作，处于激活状态，并且存储并输出所述N个设置值，并且

基于图像信号处理器在第二模式下进行操作，处于去激活状态。

15.根据权利要求14所述的图像信号处理器，其中，在第一模式下，从图像传感器接收的所述N个图像帧中的每个的帧速率是240帧每秒或更大。

16.一种图像信号处理器的操作方法，所述操作方法包括：

从控制处理器接收N个设置值，其中，N是2或更大的整数；

将所述N个设置值存储在存储区域中；

从图像传感器接收图像帧；

基于所述N个设置值，顺序地对从图像帧之中的N个图像帧执行图像处理；以及

基于对所述N个图像帧执行的图像处理的完成生成结束中断信号。

17.根据权利要求16所述的操作方法，还包括：

从控制处理器接收N个其他设置值，

其中，与执行图像处理同时地执行接收所述N个其他设置值。

18.根据权利要求17所述的操作方法，还包括：

生成开始中断信号，

其中，在生成开始中断信号的时刻与生成结束中断信号的时刻之间执行接收所述N个其他设置值。

19.根据权利要求16所述的操作方法，其中，执行图像处理的步骤包括：将图像帧中的每个的图像处理结果存储在存储器的由所述N个设置值之中的与被执行图像处理的图像帧对应的设置值表示的区域中。

20.根据权利要求16所述的操作方法，其中，执行图像处理的步骤包括：

由图像处理引擎从存储区域接收所述N个设置值之中的当前设置值，以及

基于当前设置值执行图像处理，

其中，当前设置值与当前正被执行图像处理的图像帧对应。

21.一种应用处理器，包括：

主处理器，被配置为：生成并输出包括N个设置值的设置信息，其中，N是2或更大的整数；以及

图像信号处理器，被配置为：

接收并存储所述设置信息，

基于所述设置信息对从图像传感器接收的N个图像帧顺序地执行图像处理，并且

基于对所述N个图像帧执行的图像处理的完成，生成结束中断信号并将结束中断信号发送到主处理器。

22.根据权利要求21所述的应用处理器，其中，图像信号处理器包括：

多个图像处理块，每个图像处理块被配置为执行设置的图像处理；

直接存储器存取控制器，被配置为将由所述多个图像处理块中的每个生成的处理数据存储在存储器中；以及

快速读出电路，被配置为：

存储所述设置信息，并且

基于所述N个图像帧被顺序执行图像处理，向所述多个图像处理块或直接存储器存取控制器提供被执行图像处理的图像帧的设置值。

23.根据权利要求21所述的应用处理器，其中，所述N个设置值中的每个包括分别与所述N个图像帧对应的N个转换图像帧中的相应转换图像帧将被存储的地址，并且

所述N个设置值中的每个包括所述N个转换图像帧之中的相应转换图像帧的设置值。

24.根据权利要求21所述的应用处理器，其中，图像信号处理器以等于或大于预定阈值的帧速率对所述N个图像帧执行图像处理。

25.根据权利要求21所述的应用处理器，其中，主处理器被配置为：在接收到结束中断信号之前，生成包括N个其他设置值的设置信息，并将生成的设置信息发送到图像信号处理器。

Images