CN104516841A - 包括可配置的图像处理管线的片上系统及包含其的系统 - Google Patents
包括可配置的图像处理管线的片上系统及包含其的系统 Download PDFInfo
- Publication number
- CN104516841A CN104516841A CN201410513201.1A CN201410513201A CN104516841A CN 104516841 A CN104516841 A CN 104516841A CN 201410513201 A CN201410513201 A CN 201410513201A CN 104516841 A CN104516841 A CN 104516841A
- Authority
- CN
- China
- Prior art keywords
- image processing
- view data
- bus
- scaler
- control signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 278
- 230000004044 response Effects 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000012546 transfer Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 230000005055 memory storage Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
提供一种包括可配置的图像处理管线的片上系统(SoC)以及包括该SoC的系统。所述SoC包括：总线；被配置为连接到总线并且处理图像数据的第一图像处理模块；第一图像处理阶段，被配置为响应于第一控制信号通过第一旁路通路将第一图像数据或从总线接收到的第二图像数据发送到总线和第一图像处理模块中的至少一个；以及第二图像处理阶段，被配置为响应于第二控制信号通过第二旁路通路和第二缩放器通路中的一个将从第一图像处理模块接收到的第三图像数据或从总线接收到的第四图像数据发送到总线。
Description
相关申请的交叉引用
此申请要求2013年10月2日提交的韩国专利申请No.10-2013-0117682的优先权，其通过引用全面合并在本文中。
技术领域
本发明构思的实施例涉及一种片上系统(SoC)，并且更具体地，涉及一种包括可根据使用目的被配置的图像处理管线(pipeline)的SoC以及包括该SoC的系统。
背景技术
为了将具有给定分辨率的图像数据转换成为具有不同于该给定分辨率的分辨率的图像数据，需要执行用于改变分辨率的方法，例如，图像缩放方法。为了执行图像缩放方法，包括缩放器(scaler)的图像处理设备需要从存储了给定分辨率的图像数据的存储器中读取图像数据。因为每当执行图像缩放方法时图像处理设备需要从存储器读取图像数据，所以存储器等待时间(latency)，即，图像处理设备从存储器读取图像数据花费的时间是显著的。此外，当诸如智能电话的移动通信设备包括图像处理设备时，缩放器的功耗影响移动通信设备的功耗。
发明内容
根据本发明构思的一方面，提供一种片上系统(SoC)，包括：总线；被配置为连接到总线并且处理图像数据的第一图像处理模块；第一图像处理阶段，被配置为响应于第一控制信号将第一图像数据或从总线接收到的第二图像数据(例如，通过第一旁路通路)发送到总线和第一图像处理模块中的至少一个；以及第二图像处理阶段，被配置为响应于第二控制信号通过第二旁路通路和第二缩放器通路中的一个将从第一图像处理模块接收到的第三图像数据或从总线接收到的第四图像数据发送到总线。
当第一图像处理阶段还包括第一缩放器通路时，第一图像处理阶段可以响应于包括第一控制信号的第三控制信号通过第一旁路通路和第一缩放器中的一个将第一图像数据或第二图像数据发送到总线和第一图像处理模块中的至少一个。
第三图像数据可以与从第一图像处理阶段输出的图像数据或通过总线接收到的图像数据有关。
包括在第一缩放器通路中的第一缩放器的缩放比率(或第一预定输出分辨率)可以不同于包括在第二缩放器通路中的第二缩放器的缩放比率(或第二预定输出分辨率)。
SoC可以还包括被配置为生成第二控制信号和第三控制信号的寄存器。可替换地，SoC可以还包括被配置为运行与第二控制信号和第三控制信号的生成有关的软件的中央处理单元(CPU)。
SoC可以还包括连接到总线的第二图像处理模块和第三图像处理阶段中的一个。第二图像处理阶段可以使用开关将通过第二旁路通路和第二缩放器通路中的一个发送的图像数据发送到第二图像处理模块和第三图像处理阶段中的至少一个。
根据本发明构思的一方面，提供一种SoC，包括：总线；被配置为连接到总线并且处理图像数据的第一图像处理模块；第一图像处理阶段，被配置为响应于第一控制信号通过第一旁路通路和第一缩放器通路中的至少一个将第一图像数据或从总线接收到的第二图像数据发送到总线和第一图像处理模块中的至少一个；以及第二图像处理阶段，被配置为响应于第二控制信号通过第二旁路通路将从第一图像处理模块接收到的第三图像数据或从总线接收到的第四图像数据发送到总线。
当第二图像处理阶段还包括第二缩放器通路时，第二图像处理阶段可以响应于包括第二控制信号的第三控制信号通过第二旁路通路和第二缩放器通路中的一个将第三图像数据或第四图像数据发送到总线。
包括在第一缩放器通路中的第一缩放器的缩放比率可以不同于包括在第二缩放器通路中的第二缩放器的缩放比率。
SoC可以还包括被配置为生成第一控制信号和第三控制信号的寄存器。可替换地，SoC可以还包括被配置为运行与第一控制信号和第三控制信号的生成有关的软件的CPU。
SoC可以还包括被配置为控制第一图像处理模块和总线之间的连接的开关。
根据本发明构思的一方面，提供一种图像处理系统，其包括多个图像数据源以及被配置为控制图像数据源的操作的应用处理器。
应用处理器可以包括：总线；被配置为连接到总线并且处理图像数据的第一图像处理模块；第一图像处理阶段，被配置为响应于第一控制信号(例如，通过第一旁路通路)将从图像数据源中的一个输出的第一图像数据或从总线接收到的第二图像数据发送到总线和第一图像处理模块中的至少一个；以及第二图像处理阶段，被配置为响应于第二控制信号通过第二旁路通路和第二寄存器通路中的一个将从第一图像处理模块接收到的第三图像数据或从总线接收到的第四图像数据发送到总线。
当第一图像处理阶段还包括第一缩放器通路时，第一图像处理阶段可以响应于包括第一控制信号的第三控制信号通过第一旁路通路和第一缩放器中的一个将第一图像数据或第二图像数据发送到总线和第一图像处理模块中的至少一个。
根据本发明构思的一方面，提供一种图像处理系统，其包括多个图像数据源以及被配置为控制图像数据源的操作的应用处理器。
应用处理器可以包括：总线；被配置为连接到总线并且处理图像数据的第一图像处理模块；第一图像处理阶段，被配置为响应于第一控制信号通过第一旁路通路和第一缩放器通路中的至少一个将第一图像数据或从总线接收到的第二图像数据发送到总线和第一图像处理模块中的至少一个；以及第二图像处理阶段，被配置为响应于第二控制信号通过第二旁路通路将从第一图像处理模块接收到的第三图像数据或从总线接收到的第四图像数据发送到总线。
当第二图像处理阶段还包括第二缩放器通路时，第二图像处理阶段可以响应于包括第二控制信号的第三控制信号通过第二旁路通路和第二缩放器通路中的一个将第三图像数据或第四图像数据发送到总线。
附图说明
通过参照附图详细描述本发明构思的示例性实施例，本发明构思的上述及其他特征将对所属技术领域的专业人员变得更加清楚，附图中：
图1是根据本发明构思的实施例的图像处理系统的框图；
图2是图1中示出的可配置的图像处理管线的框图；
图3是根据本发明构思的实施例的图像处理系统的框图；
图4是图3中示出的可配置的图像处理管线的框图；
图5到图8是示出图1或图3中示出的可配置的图像处理管线的配置操作的概念图；
图9是用于说明图1或图3中示出的可配置的图像处理管线相对于使用目的的操作模式的流程图；以及
图10是示出图1或图3中示出的可配置的图像处理管线的操作的流程图。
具体实施方式
现在将参照附图更全面地描述本发明构思，附图中示出了本发明构思的实施例。然而，本发明构思可以以许多不同的形式来具体实现，不应被解释为局限于此处阐述的实施例。相反，提供这些实施例是为了使本公开全面和完整，并向本领域技术人员充分传达本发明构思的范围。附图中，为清楚起见，可能放大了层和区域的大小及相对大小。相同的参考标记始终指代相同的元件。
将会理解，当一个元件被称为“连接”或“耦接”到另一元件时，它可以直接连接或耦接到所述另一元件，或者也可以存在居间的元件。相反，当一个元件被称为“直接连接”或“直接耦接”到另一元件时，不均在居间的元件。此处使用的术语“和/或”包括相关列出项目中的任何一个以及其中的一个或多个的所有组合，并且术语“和/或”可以缩写为“/”。
将会理解，尽管此处可能使用术语第一、第二等等来描述不同的元件，但这些元件不应受到这些术语的限制。这些术语仅仅用于将一个元件与另一个元件区分开来。例如，第一信号可以被称为第二信号，类似地，第二信号也可以被称为第一信号，这样做不会偏离本公开的教导。
此处使用的术语仅仅是为了描述特定实施例，并非意图限制本发明构思。与此处使用的，单数形式“一”、“一个”和“该”意图也包括复数形式，除非上下文明确给出相反指示。还将理解，当在本说明书中使用词语“包括”和/或“包含”时，表明存在所描述的特征、区域、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、区域、整体、步骤、操作、元件、组件和/或它们的组合。
除非另外定义，否则此处使用的所有术语(包括技术术语和科学术语)所具有的含义与本发明构思所属领域的普通技术人员通常理解的含义相同。
图1是根据本发明构思的实施例的图像处理系统100-1的框图。所述图像处理系统100-1可以处理(例如，缩放)图像数据(例如，静止图像数据或运动图像数据)。图像处理系统100-1包括处理器200-1、相机300、外部存储器400和显示器500。
图像处理系统100-1可以实现为移动电话、智能电话、平板个人计算机(PC)、移动因特网设备(MID)、数字相机、可穿戴计算机、物联网(IoT)设备、万物网(IoE)设备、或视频录像机。图像处理系统100-1可以支持用于计算摄影的计算平台，例如，相机2.0。
处理器200-1可以处理(例如，缩放)通过至少一个图像处理管线(pipeline)210-1A和/或210-1B从多个图像数据源(例如，内部存储器221、至少一个多媒体硬件(H/W)知识产权(IP)260-1和/或260-2(通过260共同地表示)、无线接口270、相机300以及外部存储器400)中的一个输出的图像数据，并且可以向内部存储器221、至少一个多媒体H/W IP 260、无线接口270、外部存储器400和/或显示器500输出处理(例如，缩放)过的图像数据。相机300可以是使用互补金属氧化物半导体(CMOS)技术制造的图像传感器。
处理器200-1可以实现为集成电路(IC)或片上系统(SoC)。处理器200-1可以是应用处理器或移动应用处理器。处理器200-1包括中央处理单元(CPU)203、图形处理单元(GPU)205、相机接口207、至少一个可配置的图像处理管线210-1A和/或210-1B(通过210-1共同地表示)、内部存储器控制器220、内部存储器221、存储控制器230、寄存器240、有限态自动机(FSM)241、显示控制器250、至少一个多媒体H/W IP 260以及无线接口270。
CPU 203可以通过总线201控制元件205、210-1、220、230、240、241、250和260中的至少一个的操作。CPU 203可以运行为控制处理器200-1或至少一个应用所必需的操作系统(OS)。CPU 203包括至少一个核并且可以包括多核。
CPU 203还可以控制接口207和270。此外，CPU 203可以控制生成至少一个图像处理管线210-1所需的控制信号(例如，选择信号和/或开关信号)的H/W组件(例如，寄存器240或FSM 241)，和/或软件(S/W)组件(例如，与控制信号的生成相关的S/W)。
可以使用有限态自动机(FSM)241生成选择信号和/或开关信号。FSM241可以在多个替换实施例中通过计算机程序或通过应用专用顺序逻辑电路实现。当FSM 241实现为计算机程序时，FSM 241可以是通过处理器200-1，例如，CPU 203运行的程序。当FSM 241实现为顺序逻辑电路时，FSM 241可以实现在处理器200-1之内。
GPU 205可以处理从图像源210-1、221、300、400和270输出的图像数据。
相机接口207可以将来自相机300的图像数据发送到图像处理管线210-1或发送到其他元件，例如，205、220、230、250、260或270。相机接口207可以支持低电压差分信号(LVDS)、移动工业处理器接口()相机串行接口(CSI)、或高速串行接口。当相机接口207支持CSI时，相机300和相机接口207可以使用MIPI CSI相互通信。
图像处理管线210-1A和210-1B中的每一个可以使用选择信号和开关信号来控制(或动态地调整)将被用于缩放图像数据的缩放器的有效数量(effective number)。图像处理管线210-1A和210-1B中的每一个可以响应于选择信号和开关信号动态地串联连接至少一个缩放器。
虽然为描述中的便利性起见在图1中仅示出两个图像处理管线210-1A和210-1B，但是这仅仅是示例。在处理器200-1中实现的图像处理管线的数量和位置可以由设计者或制造商不同地选择。
内部存储器控制器220连接在总线201和内部存储器221之间，并且内部存储器控制器220处理总线201和内部存储器221之间的图像数据。例如，内部存储器221可以通过静态随机存取存储器(SRAM)或寄存器文件(register file)实现，并且内部存储器221可以根据内部存储器控制器220的控制，存储已经通过图像处理管线210-1A和/或210-1B处理过或将被处理的图像数据。
存储控制器230可以控制处理器200-1和外部存储器400之间的图像数据的发送。可以通过动态随机存取存储器(DRAM)、固态驱动器(SSD)、多媒体卡(MMC)、嵌入MMC(eMMC)或通用闪存储存器(UFS)实现外部存储器400。
寄存器240可以存储生成选择信号和/或开关信号所需的数据(例如，配置表)。寄存器240是可通过CPU 203或通过在处理器200-1中实现的其他主机(未示出)编程的存储器的示例，并且能够通过易失性存储器或非易失性存储器实现。在多个其他实施例中，寄存器240可以是H/W组件或寄存器文件。
FSM 241生成与寄存器240相联系的选择信号和/或开关信号。当通过运行在CPU 203中的S/W控制选择信号的生成时，处理器200-1不需要包括存储为图像处理管线210-1A和/或210-1B的重新配置所必需的信号的独特的(distinct)寄存器240。
显示控制器250向显示器500发送已经由处理器200-1处理的图像数据。显示控制器250可以支持诸如LVDS、嵌入显示端口(eDP)、或高速串行接口之类的数字视频格式，或模拟视频传输格式。当显示控制器250支持显示串行接口(DSI)时，显示控制器250和显示器500可以使用DSI相互通信。
显示器500可以通过薄膜晶体管液晶显示器(TFT-LCD)、发光二极管(LED)阵列显示器、有机LED(OLED)显示器、主动矩阵OLED(AMOLED)显示器或柔性显示器实现。控制器220和230中的每一个可以执行直接存储器访问(DMA)控制器的功能。
多媒体H/W IP 260-1和/或260-2可以通过视频编解码器实现。视频编解码器是可以压缩或解压缩数字视频数据的设备或S/W。多媒体H/W IP 260-1和/或260-2可以通过支持诸如MPEG的联合图像专家组(JPEG)标准的设备或S/W实现。
多媒体H/W IP 260-1和/或260-2可以实现为未包括在图像处理管线210-1A和/或210-1B中的缩放器，或实现为用于多媒体的H/W加速器。例如，多媒体H/W IP 260-1和/或260-2可以处理将输入到至少一个图像处理管线210-1A和/或210-1B的图像数据或者从至少一个图像处理管线210-1A和/或210-1B输出的图像数据。
无线接口270可以将通过无线连接外部地接收到的图像数据转换成为可以由处理器200-1处理的图像数据，或者可以将通过总线201接收到的图像数据转换成为将通过无线连接发送的图像数据。无线接口270可以支持电气和电子工程师学会(IEEE)802.11标准、长期演进(LTETM)、或无线因特网。
图2是图1中示出的可配置的图像处理管线210-1A的框图。参照图1和图2，图像处理管线210-1A包括连接到总线201的管线式(pipelined)图像处理阶段211-1到211-3。图1中示出的两个图像处理管线210-1A和210-1B可以具有彼此相同的结构和功能，或者可以具有彼此不同的结构和功能。
图像处理管线210-1A包括连接在图像处理阶段211-1到211-3当中的两个邻近的图像处理阶段211-1和211-2和/或211-2和211-3之间的至少一个图像处理模块219-1和/或219-2。在多个其他实施例中，图像处理模块219-1可以被包括在图像处理阶段211-1和211-2中的任何一个中，并且图像处理模块219-2可以被包括在图像处理阶段211-2和211-3中的任何一个中。
为了描述中的便利性起见，三个图像处理阶段211-1到211-3被示出在图2到图8中，但是这仅仅是示例。本发明构思不局限于示出的管线式图像处理阶段211-1到211-3的数量或形式。
第一电路块OP1可选地实现在第一图像处理阶段211-1中。第二电路块OP2可选地实现在第二图像处理阶段222-2中。第三电路块OP3可选地实现在第三图像处理阶段211-3中。
生成选择信号和/或开关信号的H/W组件或S/W组件的结构和/或操作可以根据电路块OP1到OP3是否分别实现在图像处理阶段211-1到211-3中而改变。此外，图像处理管线210-1A和210-1B的结构和操作可以根据电路块OP1到OP3是否分别实现在图像处理阶段211-1到211-3中而改变。
在当前示例性实施例中，为描述中的便利性起见，电路块OP1到OP3分别实现在图像处理阶段211-1到211-3中。然而，本发明构思不局限于示例性实施例。
如上所述，可以使用应用专用硬件(H/W)组件或软件(S/W)和微处理器组件来生成选择信号SE1到SE6以及开关信号S1到S8。图像处理阶段211-1到211-3可以分别包括分别具有不同的缩放比率的缩放器SC1到SC3。缩放比率可以确定已处理的图像数据的分辨率。
连接控制电路使用选择信号SE1到SE6以及开关信号S1到S8串联连接缩放器SC1到SC3当中的至少一个缩放器以便控制用于缩放(例如，放大或缩小)图像数据IM或BM的缩放器的数量。连接控制电路包括多个选择器(例如，多路复用器)213-1、213-2、215-1、215-2、217-1和217-2以及分别相应于开关信号S1到S8的开关，其中开关S1和S2可以实现第一解复用器或分路(branch)，并且开关S5和S6可以实现第二解复用器或分路。最初的两个图像处理阶段211-1和211-2包括第一解复用器/分离器(开关S1和S2)以及第二解复用器/分离器(开关S5和S6)，而最后的(末端)图像处理阶段211-N(例如，211-3，其中N等于三)不包括这种解复用器/分离器功能。
第一图像处理阶段211-1从两个不同的图像源中的一个接收图像数据IM或BM(响应于相应的选择信号SE1)，并且可选地缩放它(SC1)或绕过(bypass)它(BP1)(响应于选择信号SE2)，并且向第一图像处理模块219-1和总线201中的至少一个(例如，向所选择的一个)输出被可选地缩放的图像数据(响应于开关信号S1以及S2)。
换句话说，第一图像处理阶段211-1可以响应于相应的选择信号SE1和SE2以及相应的开关信号S1和S2从多个内部或本地通路当中选择一个内部通路。内部通路或本地通路是图像数据IM或BM通过其被发送到和发送出图像处理阶段的通路。包括缩放器的内部通路被称为“缩放器通路”。
总线201上的图像数据BM可以是从图像处理管线210-1A和/或210-1B中的每一个输出的图像数据，从内部存储器控制器220输出的图像数据，从存储控制器230输出的图像数据，从多媒体H/W IP 260输出的图像数据，或从无线接口270输出的图像数据。
第一选择器213-1响应于第一选择信号SE1选择并输出从总线201接收到的图像数据IM或图像数据BM中的一个。例如，图像数据IM可以是通过相机300和相机接口207接收到的图像数据或从另一图像数据源输出的图像数据。第一旁路通路BP1允许由第一选择器213-1输出的被选择的图像数据IM或BM绕过第一缩放器SC1。
第一缩放器SC1被配置为使用第一缩放比率缩放从第一选择器213-1输出的被选择的图像数据IM或BM。第一缩放器SC1可以被实现为被配置为降低从第一选择器213-1输出的被选择的图像数据IM或BM的分辨率的缩小器(down-scaler)。
第二选择器213-2(响应于第二选择信号SE2)选择和输出通过第一旁路通路BP1接收到的未缩放的图像数据(IM或BM)或从第一缩放器SC1接收到的缩放的输出图像数据(IM或BM)中的一个。从第二选择器213-2输出的图像数据然后可以通过第一开关(其响应于第一开关信号S1而接通/关断)和第二开关(其响应于第二开关信号S2而接通/关断)输出到第一图像处理模块219-1和/或总线201中的一个或两个。
换句话说，从第二选择器213-2输出的图像数据可以根据开关信号S1和S2中的每一个的电平，被输出到第一图像处理模块219-1，输出到总线201，或输出到第一图像处理模块219-1和总线201两者。响应于开关信号S1和S2操作的开关包含第一开关块。
第一图像处理模块219-1可以被配置为执行坏像素(bad pixel)的校正、降噪和/或支持相机3A操作(例如，自动曝光、自动白平衡和自动对焦)。第一图像处理模块219-1通过第三开关(响应于第三开关信号S3而接通/关断)向总线201发送图像数据并且通过第四开关(响应于第四开关信号S4而接通/关断)从总线201接收图像数据。
响应于开关信号S3和S4操作的开关包含第二开关块。总线201的图像数据BM可以通过CPU 203、通过GPU 205、通过至少一个图像处理管线210-1A和/或210-1B、通过内部存储器控制器220、通过存储控制器230、通过显示控制器250、通过至少一个多媒体H/W IP 260-1和/或260-2、或通过无线接口270被接收/处理。
在多个其他实施例中，如果第一图像处理模块219-1未被实现在图像处理管线210-1A之内，则第二选择器213-2的输出图像数据可以(根据开关信号S1和S2中的每一个的电平)被输出到第三选择器215-1、输出到总线201、或输出到第三选择器215-1和总线201两者。
然而，如果第一图像处理阶段211-1不包括第一电路块OP1，则第一图像处理阶段211-1可以(根据开关信号S1和S2中的每一个的电平)向第一图像处理模块219-1、向总线201、或向第一图像处理模块219-1和总线201两者发送接收到的图像数据(第一旁路通路BP1上的IM或BM)。
第二图像处理阶段211-2(响应于相应信号S1、S4、SE3)从三个不同的图像源211-1、219-1和总线201中的一个接收图像数据并且(响应于相应开关信号S5和S6)向第二图像处理模块219-2和总线201中的至少一个输出图像数据。
第二图像处理阶段211-2可以响应于选择信号SE3和SE4以及相应的开关信号S5和S6从多个本地通路当中选择一个内部通路。第二图像处理模块219-2可以实现为图像信号处理器(ISP)IP核或实现为可以执行ISP的功能的图像信号处理模块。
第三选择器215-1可以(响应于第三选择信号SE3)输出从第一图像处理模块219-1或从总线201中的任何一个接收到的图像数据。第二旁路通路BP2可以被选择以旁路SC2，以便由第三选择器215-1输出的图像数据未经改变地进入到第四选择器215-2中。第二缩放器SC2被配置为使用第二缩放比率(或第二预定分辨率)缩放第三选择器215-1的输出图像数据。
第四选择器215-2(响应于第四选择信号SE4)输出通过第二旁路通路BP2接收到的未改变的图像数据或从第二缩放器SC2输出的被缩放的图像数据中的任何一个。由第四选择器215-2输出的图像数据可以通过第五开关(其响应于第五开关信号S5接通/关断)输出到第二图像处理模块219-2和/或通过第六开关(其响应于第六开关信号S6接通/关断)输出到总线201。
响应于开关信号S3和S4操作的开关包含第三开关块。从第四选择器215-2输出的图像数据可以(根据开关信号S5和S6中的每一个的电平)输出到第二图像处理模块219-2，输出到总线201，或输出到第二图像处理模块219-2和总线201两者。
第二图像处理模块219-2可以将已接收到的Bayer格式的Bayer图像数据转换成为以YUV格式的YUV数据或以RGB格式的RGB图像数据。第二图像处理模块219-2可以通过第八开关(其响应于第八开关信号S8而接通/关断)从总线201接收图像数据，并且可以通过第七开关(其响应于第七开关信号S7接通/关断)向总线201发送图像数据。响应于开关信号S7和S8操作的开关包含第四开关块。
如果第二图像处理阶段211-2不包括第二电路块OP2，则第二图像处理阶段211-2可以(根据开关信号S5和S6中的每一个的电平)通过第二旁路通路BP2向第二图像处理模块219-2、向总线201、或向第二图像处理模块219-2和总线201两者发送图像数据。
第三图像处理阶段211-3可以响应于选择信号SE5从三个不同的图像源211-2、219-2和201中的任何一个接收图像数据，并且可以响应于选择信号SE6向所选择的总线201输出图像数据。因此第三图像处理阶段211-3可以响应于相应的选择信号SE5和SE6选择多个本地通路当中的一个内部通路。
第五选择器217-1(响应于第五选择信号SE5)选择和输出从第二图像处理模块219-2接收到的图像数据或从总线201接收到的图像数据。第三旁路通路BP3允许第五选择器217-1的输出图像数据绕过第三缩放器SC3。第三缩放器SC3使用第三缩放比率(或第三预定分辨率)缩放第五选择器217-1的输出图像数据。第一缩放比率到第三缩放比率(或第一预定输出分辨率到第三预定输出分辨率)可以彼此不同。
第六选择器217-2响应于第六选择信号SE6将通过第三旁路通路BP3接收到的图像数据或第三缩放器SC3的被缩放的图像数据输出到总线201。然而，当第三图像处理阶段211-3不包括第三电路块OP3时，第三图像处理阶段211-3可以将第三旁路通路BP3中的图像数据直接发送到总线201。
另一图像处理模块(或第四图像处理阶段)可以连接到第三图像处理阶段211-3的输出。在此情况下，第六选择器217-2的输出图像数据可以通过开关被输出到该图像处理模块(或第四图像处理阶段)以及总线201中的至少一个。
选择器213-1、213-2、215-1、215-2、217-1和217-2中的每一个可以被实现为多路复用器。开关中的每一个可以被实现为金属氧化物半导体(MOS)晶体管。第一图像处理阶段211-1可以是纯Bayer域，第二图像处理阶段211-2可以是预处理Bayer域，并且第三图像处理阶段211-3可以是YUV或RGB域。
如图1和图2中示出的，图像处理管线210-1A中的内部通路和/或图像处理管线210-1A和总线201之间的通路取决于通过选择信号SE1到SE6以及开关信号S1到S8控制的开关的导电(即，开/关)状态而确定。
因此，选择信号SE1到SE6以及开关信号S1到S8可以控制从相机接口207接收图像数据，从图像处理管线210-1A和/或210-1B接收图像数据，从内部存储器控制器220接收图像数据，从存储控制器230接收图像数据，从多媒体H/W IP 260-1和/或260-2接收图像数据，和/或从无线接口270接收图像数据。
图像处理管线210-1A处理在内部通路中从图像数据源203、205、207、210-1A、210-1B、220、230、260和/或270接收到的图像数据，从而降低对存储器221以及400的访问的数量。
根据选择信号SE1到SE6以及开关信号S1到S8，从图像处理阶段211-1、211-2和211-3中的每一个输出的图像数据可以通过总线201反馈到本身或其他阶段。
图3是根据本发明构思的实施例的图像处理系统100-2的框图。除了图像处理管线210-2A和210-2B的结构，图3中示出的处理器200-2的结构和操作与图1中示出的处理器200-1的结构和操作本质上相同。
图像处理管线210-2A和210-2B(通过210-2共同的表示)中的每一个包括内部处理器202、寄存器240和FSM 241。内部处理器202控制图像处理管线210-2A中的相应操作。包括在图像处理管线210-2A和210-2B中的每一个中的寄存器240和FSM 241的结构和操作与已经参照图1描述的寄存器240和FSM 241的结构和操作本质上相同。
图4是图3中示出的可配置的图像处理管线210-2A的框图。除了内部处理器202、寄存器240和FSM 241被包括在图像处理管线210-2中之外，图4中示出的图像处理管线210-2的结构和操作与图2中示出的图像处理管线210-1的结构和操作本质上相同。
图5到图8是示出图1或图3中所示出的可配置的图像处理管线的示例性配置和操作的概念图。将参照图1、图2、图4和图5描述处理高质量图像数据。为描述中的便利性起见，假定第二图像处理阶段211-2包括执行与第一图像处理模块219-1本质上相同功能或类似功能的图像增强模块EM。
在图像处理管线210-1A、210-1B、210-2A和210-2B(通过210A共同地表示)中，根据选择信号SE1到SE6以及开关信号S1到S8选择用于处理图像数据IM或BM的图像数据处理通路。
例如，在图5的示例中，在第一图像处理阶段211-1中通过选择器213-1和213-2选择第一旁路通路BP1，在第二图像处理阶段211-2中通过选择器215-1和215-2选择第二旁路通路BP2，并且在第三图像处理阶段211-3中通过选择器217-1和217-2选择第三缩放器SC3。图像数据IM或BM通过第一旁路通路BP1被发送到图像增强模块EM。图像增强模块EM处理(例如，执行坏像素校正，降噪和/或相机3A操作)图像数据IM或BM并且通过第二旁路通路BP2将已处理图像数据发送到第二图像处理模块219-2。
第二图像处理模块219-2可以将Bayer图像数据转换成为YUV图像数据或RGB图像数据。第三缩放器SC3缩放(例如，放大或缩小)从第二图像处理模块219-2输出的YUV或RGB图像数据，并且将被缩放的图像数据输出到总线201。
将参照图1、图2、图3和图6描述处理“预览”图像数据或录像摄像机图像数据。例如，当相机300的分辨率和显示器500的分辨率之间存在较大差别时，可以考虑功耗和画面质量两者来使用多个缩放器SC1到SC3来记录/显示视频数据。
根据选择信号SE1到SE6以及开关信号S1到S8选择用于在图像处理管线210-1A、210-1B、210-2A和210-2B(通过210B共同地表示)中处理图像数据IM或BM的图像数据处理通路。
如图6的示例中所示，在第一图像处理阶段211-1中选择第一缩放器SC1，在第二图像处理阶段211-2中选择第二缩放器SC2，并且在第三图像处理阶段211-3中选择第三缩放器SC3。从第一图像处理阶段211-1输出的图像数据通过响应于已经激活的开关信号S2和S4被分别接通的开关发送到图像增强模块EM。从第二图像处理阶段211-2输出的图像数据通过响应于已经激活的开关信号S6和S8被分别接通的开关发送到第二图像处理模块219-2。从第三图像处理阶段211-3输出的图像数据通过第六选择器217-2输出到总线201。从第一选择器213-1输出的图像数据IM或BM被第一缩放器SC1缩放(例如，缩小)，然后通过第二选择器213-2和响应于第二开关信号S2被接通的开关输出到总线201。图像数据通过响应于第四开关信号S4接通的开关从总线201发送到图像增强模块EM。从图像增强模块EM输出的图像数据通过第三选择器215-1发送到第二缩放器SC2。由第二缩放器SC2缩放的图像数据通过第四选择器215-2和响应于第六开关信号S6接通的开关输出到总线201。图像数据通过响应于第八开关信号S8接通的开关从总线201发送到第二图像处理模块219-2。从第二图像处理模块219-2输出的图像数据通过第五选择器217-1发送到第三缩放器SC3。由第三缩放器SC3缩放的图像数据通过第六选择器217-2输出到总线201。
将参照图1、图2、图4和图7描述处理低功率录像摄像机图像数据。当以低功率执行摄像很长时间时，第一图像处理阶段211-1使用第一缩放器SC1缩小图像数据IM或BM以便降低功耗。
根据选择信号SE1到SE4以及开关信号S1到S8选择用于在图像处理管线210-1A、210-1B、210-2A和210-2B(通过210C共同地表示)中处理图像数据IM或BM的图像数据处理通路。
如图7的示例中所示，在第一图像处理阶段211-1中选择第一旁路通路SC1，在第二图像处理阶段211-2中选择第二旁路通路SC2，并且第三图像处理阶段211-3被禁用。从第一选择器213-1输出的图像数据IM或BM被第一缩放器SC1缩小。被缩小的图像数据通过第二选择器213-2和响应于已经激活的第一开关信号S1被接通的开关输出到图像增强模块EM。由图像增强模块EM处理的图像数据通过第三选择器215-1和第二旁路通路BP2被发送到第四选择器215-2。从第四选择器215-2输出的图像数据通过响应于已经激活的第五开关信号S5被接通的开关发送到第二图像处理模块219-2。由第二图像处理模块219-2处理的图像数据通过响应于已经激活的第七开关信号S7接通的开关发送到总线201。此时，响应于已经停用的第八开关信号S8关断的开关切断总线201和第二图像处理模块219-2之间的连接。将参照图8描述处理低功率多输出图像数据。例如，图像数据IM或BM由第一到第三图像处理阶段211-1、211-2和211-3处理，并且彼此具有不同分辨率的多个被缩放的图像数据被同时输出。因此，降低对存储器221和400中的至少一个的访问的数量。结果，降低图像处理管线210-1A、210-1B、210-2A和210-2B(通过210D共同地表示)的功耗。
根据选择信号SE1到SE6以及开关信号S1到S8选择在图像处理管线210D中处理图像数据IM或BM的图像数据处理通路。
参照图2和图8，在第一图像处理阶段211-1中选择第一旁路通路SC1，在第二图像处理阶段211-2中选择第二旁路通路SC2，并且在第三图像处理阶段211-3中选择第三旁路通路SC3。从第一选择器213-1输出的图像数据IM或BM通过第一旁路通路BP1输出到第二选择器213-2。从第二选择器213-2输出的图像数据通过响应于已经激活的第一开关信号S1接通的开关被发送到图像增强模块EM。由图像增强模块EM处理的图像数据IM1通过响应于已经激活的第三开关信号S3接通的开关输出到总线201，并且还输出到第三选择器215-1。由第二缩放器SC2缩放的图像数据IM2通过第四选择器215-2和响应于已经激活的第六开关信号S6接通的开关输出到总线201。总线201上的图像数据通过响应于已经激活的第八开关信号S8接通的开关发送到第二图像处理模块219-2。由第二图像处理模块219-2处理的图像数据通过第五选择器217-1发送到第三缩放器SC3。由第三缩放器SC3缩放的图像数据IM3通过第六选择器217-2输出到总线201。
当适当地设计元件EM、215-1，SC2，215-2、219-2、217-1、SC3和217-2中的每一个的延迟并且相应地配置它们的互连时，多个图像数据IM1、IM2和IM3同时输出到总线201。
图9是用于说明图1或图3中示出的可配置的图像处理管线210-1A和210-1B或210-2A和210-2B(通过210共同地表示)相对于使用目的的三个操作模式的流程图。参照图1到图9，当在步骤S110中在图像处理管线210中需要低功率操作时，在步骤S112中通过选择信号SE1到SE6以及开关信号S1到S8选择第一模式MODE1。
当在步骤S110中在图像处理管线210中不需要低功率操作时并且当在步骤S120中需要高质量图像数据时，在步骤S122中通过选择信号SE1到SE6以及开关信号S1到S8选择第二模式MODE2。当在步骤S110中在图像处理管线210中不需要低功率操作时并且当在步骤S120中不需要高质量图像数据时，在步骤S124中通过选择信号SE1到SE6以及开关信号S1到S8选择第三模式MODE3。
如图9中所示，用户可以执行画面质量和功耗之间的折衷。例如，图像处理系统100-1或100-2(通过100共同地表示)可以为用户提供图形用户界面(GUI)，其指示或暗示模式MODE1、MODE2和MODE3中的每一个，以便用户通过GUI选择需要的模式。然后，H/W或S/W组件可以生成与所选择的模式相对应的选择信号SE1到SE6以及开关信号S1到S8。在响应中，图像处理管线210响应于已经生成的选择信号SE1到SE6以及开关信号S1到S8控制处理图像数据所需的缩放器的数量。
因为S/W组件可以使用数据(或配置表)控制管线式图像处理阶段的组合，所述数据(或配置表)被存储在寄存器240中并且是生成选择信号SE1到SE6以及开关信号S1到S8所需的，所以可以在短时间内设置寄存器240或配置表。换句话说，因为S/W组件可以使用配置表控制处理图像数据所需的缩放器的数量，所以图像处理系统100可以降低S/W组件的参与和使用时间。
图10是示出根据本发明构思的一些实施例的、图1或图3中示出的可配置的图像处理管线的操作的流程图。参照图1到图10，在步骤S210中使用H/W或S/W组件生成控制信号，例如，选择信号SE1到SE6以及开关信号S1到S8。
图像处理管线210响应于控制信号(即，选择信号SE1到SE6以及开关信号S1到S8)串联连接多个缩放器SC1到SC3(分别包括在管线式图像处理阶段211-1到211-3中并且具有相互不同的缩放比率)当中的至少一个缩放器，从而在步骤S220中控制缩放图像数据IM或BM所需的缩放器的数量。在步骤S230中，图像处理管线210使用至少一个选择的缩放器缩放图像数据IM或BM并且向总线201输出已经缩放的至少一个图形数据组。
如上所述，根据本发明构思的一些实施例，包括可配置的图像处理管线的SoC响应于控制信号串联连接多个缩放器当中的至少一个缩放器，从而控制用于缩放图像数据的缩放器的数量。此外，SoC在内部通路中使用可配置的图像处理管线处理图像数据，从而降低对与存储图像数据有关的存储器的访问的数量。此外，SoC根据使用目的在实现在SoC中的管线式图像处理阶段中容易地重新配置内部通路。因为SoC可以使用配置表在管线式图像处理阶段中重新配置内部通路，所以最小化在重新配置中的H/W组件和S/W组件的参与并且迅速地设置配置表。
尽管已经参照本发明构思的示例性实施例具体示出和描述了本发明构思，但本领域普通技术人员将会理解，可以对其进行形式和细节上的各种改变而不脱离权利要求限定的本发明构思的精神和范围。
Claims (22)
1.一种片上系统(SoC)，包括：
总线；
第一图像处理模块，可切换地连接到总线，并且被配置为将接收到的图像数据处理成为第三图像数据；
第一图像处理阶段，被配置为响应于第一控制信号将第一图像数据或从总线接收到的第二图像数据作为接收到的图像数据发送到总线和第一图像处理模块中的至少一个；以及
第二图像处理阶段，被配置为响应于第二控制信号通过第二旁路通路和包括第二缩放器的第二缩放器通路中的一个向总线发送从第一图像处理模块接收到的第三图像数据或从总线接收到的第四图像数据。
2.如权利要求1所述的SoC，其中第一图像处理阶段还包括第一缩放器通路，而且其中所述第一图像处理阶段响应于包括第一控制信号的第三控制信号通过第一旁路通路和包括第一缩放器的第一缩放器通路中的一个将第一图像数据或第二图像数据发送到总线和第一图像处理模块中的至少一个。
3.如权利要求2所述的SoC，其中第三图像数据与从第一图像处理阶段输出的图像数据或通过总线接收到的图像数据有关。
4.如权利要求2所述的SoC，其中第一缩放器的缩放比率不同于第二缩放器的缩放比率。
5.如权利要求2所述的SoC，还包括被配置为生成第二控制信号和第三控制信号的寄存器。
6.如权利要求2所述的SoC，还包括被配置为运行与第二控制信号和第三控制信号的生成有关的软件的中央处理单元(CPU)。
7.如权利要求1所述的SoC，还包括连接到总线的第二图像处理模块和第三图像处理阶段中的一个，
其中第二图像处理阶段使用开关将通过第二旁路通路和第二缩放器通路中的一个接收到的图像数据发送到第二图像处理模块和第三图像处理阶段中的至少一个。
8.一种片上系统(SoC)，包括：
总线；
第一图像处理模块，可切换地连接到总线并且被配置为处理接收到的图像数据；
第一图像处理阶段，被配置为响应于第一控制信号通过第一旁路通路和第一缩放器通路中的一个将第一图像数据或从总线接收到的第二图像数据作为接收到的图像数据发送到总线和第一图像处理模块中的至少一个；以及
第二图像处理阶段，被配置为响应于第二控制信号将从第一图像处理模块接收到的第三图像数据或从总线接收到的第四图像数据发送到总线。
9.如权利要求8所述的SoC，其中第二图像处理阶段还包括
第二缩放器通路；以及
第二旁路通路，
并且其中第二图像处理阶段响应于包括第二控制信号的第三控制信号通过第二旁路通路和第二缩放器通路中的一个将第三图像数据或第四图像数据发送到总线。
10.如权利要求9所述的SoC，其中包含在第一缩放器通路中的第一缩放器的缩放比率不同于包含在第二缩放器通路中的第二缩放器的缩放比率。
11.如权利要求9所述的SoC，还包括被配置为生成第一控制信号和第三控制信号的寄存器。
12.如权利要求9所述的SoC，还包括被配置为运行与第一控制信号和第三控制信号的生成有关的软件的中央处理单元(CPU)。
13.如权利要求9所述的SoC，还包括连接到总线的第二图像处理模块和第三图像处理阶段中的一个，
其中第二图像处理阶段使用开关将通过第二旁路通路以及第二缩放器通路发送的图像数据发送到第二图像处理模块和第三图像处理阶段中的至少一个。
14.如权利要求8所述的SoC，还包括被配置为控制第一图像处理模块和总线之间的连接的开关。
15.一种用于处理来自多个图像数据源的图像数据的图像处理系统，所述系统包括:
应用处理器，被配置为控制图像数据源，
其中所述应用处理器包括:
总线；
第一图像处理模块，可切换地连接到总线并且被配置为处理接收到的图像数据；
第一图像处理阶段，被配置为响应于第一控制信号将从图像数据源中的一个输出的第一图像数据或从总线接收到的第二图像数据作为接收到的图像数据发送到总线和第一图像处理模块中的至少一个；以及
第二图像处理阶段，被配置为响应于第二控制信号通过第二旁路通路和第二缩放器通路中的一个将从第一图像处理模块接收到的第三图像数据或从总线接收到的第四图像数据发送到总线。
16.如权利要求15所述的图像处理系统，其中第一图像处理阶段还包括第一缩放器通路，并且其中第一图像处理阶段响应于包括第一控制信号的第三控制信号通过第一旁路通路和第一缩放器通路中的一个将第一图像数据或第二图像数据发送到总线和第一图像处理模块中的至少一个。
17.如权利要求16所述的图像处理系统，其中包含在第一缩放器通路中的第一缩放器的缩放比率不同于包含在第二缩放器通路中的第二缩放器的缩放比率。
18.如权利要求16所述的图像处理系统，还包括被配置为运行与第二控制信号和第三控制信号的生成有关的软件的中央处理单元(CPU)。
19.一种用于处理多个图像数据源的图像处理系统，所述系统包括:
应用处理器，被配置为控制图像数据源，
其中所述应用处理器包括:
总线；
第一图像处理模块，可切换地连接到总线并且被配置为处理接收到的图像数据；
第一图像处理阶段，被配置为响应于第一控制信号通过第一旁路通路和第一缩放器通路中的至少一个将第一图像数据或从总线接收到的第二图像数据作为接收到的图像数据发送到总线和第一图像处理模块中的至少一个；以及
第二图像处理阶段，被配置为响应于第二控制信号将从第一图像处理模块接收到的第三图像数据或从总线接收到的第四图像数据发送到总线。
20.如权利要求19所述的图像处理系统，其中第二图像处理阶段还包括第二缩放器通路，并且其中第二图像处理阶段响应于包括第二控制信号的第三控制信号通过第二旁路通路和第二缩放器通路中的一个将第三图像数据或第四图像数据发送到总线。
21.如权利要求20所述的图像处理系统，其中包含在第一缩放器通路中的第一缩放器的缩放比率不同于包含在第二缩放器通路中的第二缩放器的缩放比率。
22.如权利要求20所述的图像处理系统，还包括被配置为运行与第一控制信号和第三控制信号的生成有关的软件的中央处理单元(CPU)。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2013-0117682 | 2013-10-02 | ||
| KR1020130117682A KR102023501B1 (ko) | 2013-10-02 | 2013-10-02 | 설정가능한 이미지 처리 파이프라인을 포함하는 시스템 온 칩과, 상기 시스템 온 칩을 포함하는 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104516841A true CN104516841A (zh) | 2015-04-15 |
| CN104516841B CN104516841B (zh) | 2019-02-05 |
Family
ID=52739705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410513201.1A Active CN104516841B (zh) | 2013-10-02 | 2014-09-29 | 包括可配置的图像处理管线的片上系统及包含其的系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9460482B2 (zh) |
| KR (1) | KR102023501B1 (zh) |
| CN (1) | CN104516841B (zh) |
| TW (1) | TWI627601B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308677A (zh) * | 2017-07-26 | 2019-02-05 | 聚晶半导体股份有限公司 | 图像处理芯片与图像处理系统 |
| CN109391788A (zh) * | 2017-08-03 | 2019-02-26 | 爱思开海力士有限公司 | 用于处理图像信号的系统 |
| CN110956574A (zh) * | 2019-11-22 | 2020-04-03 | 华为终端有限公司 | Soc芯片、移动终端 |
| CN113763906A (zh) * | 2020-06-05 | 2021-12-07 | 格科微电子（上海）有限公司 | 图像信号处理器件、终端 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102254676B1 (ko) * | 2014-10-31 | 2021-05-21 | 삼성전자주식회사 | 이미지를 실시간으로 처리할 수 있는 이미지 처리 회로와 이를 포함하는 장치들 |
| US20170094190A1 (en) * | 2015-09-30 | 2017-03-30 | Microsoft Technology Licensing, Llc | Processing display of digital camera readout with minimal latency |
| KR102466160B1 (ko) * | 2016-01-08 | 2022-11-14 | 삼성전자주식회사 | 데이터의 루프백을 수행하는 시스템 온 칩과 집적 회로, 및 이들을 포함하는 모바일 장치 |
| US10489878B2 (en) | 2017-05-15 | 2019-11-26 | Google Llc | Configurable and programmable image processor unit |
| TWI640957B (zh) | 2017-07-26 | 2018-11-11 | 聚晶半導體股份有限公司 | 影像處理晶片與影像處理系統 |
| US11321798B2 (en) * | 2019-08-08 | 2022-05-03 | Nvidia Corporation | Dynamic allocation of system on chip resources for efficient signal processing |
| TWI717021B (zh) * | 2019-09-18 | 2021-01-21 | 義隆電子股份有限公司 | 影像處理系統及其人工智慧晶片 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120195503A1 (en) * | 2011-01-31 | 2012-08-02 | Samsung Electronics Co., Ltd. | Image processing device |
| WO2012125862A1 (en) * | 2011-03-16 | 2012-09-20 | Qualcomm Incorporated | Generating a zoomed image |
| CN103065604A (zh) * | 2011-10-20 | 2013-04-24 | 三星电子株式会社 | 显示器驱动器和操作图像数据处理装置的方法 |
| CN104035739A (zh) * | 2013-03-07 | 2014-09-10 | 三星电子株式会社 | 使用原始图像同时生成缩放的图像 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06315083A (ja) | 1993-04-30 | 1994-11-08 | Minolta Camera Co Ltd | 画像形成装置 |
| US5493335A (en) | 1993-06-30 | 1996-02-20 | Eastman Kodak Company | Single sensor color camera with user selectable image record size |
| US5828406A (en) | 1994-12-30 | 1998-10-27 | Eastman Kodak Company | Electronic camera having a processor for mapping image pixel signals into color display pixels |
| JPH09116818A (ja) | 1995-10-17 | 1997-05-02 | Purotetsuku Japan Kk | 撮像回路 |
| US6529640B1 (en) | 1998-06-09 | 2003-03-04 | Nikon Corporation | Image processing apparatus |
| US7253836B1 (en) | 1998-06-30 | 2007-08-07 | Nikon Corporation | Digital camera, storage medium for image signal processing, carrier wave and electronic camera |
| JP3416536B2 (ja) | 1998-10-14 | 2003-06-16 | 三洋電機株式会社 | ディジタルカメラ |
| US6771837B1 (en) * | 1999-09-27 | 2004-08-03 | Genesis Microchip Inc. | Method and apparatus for digital image rescaling with adaptive contrast enhancement |
| AU2001239926A1 (en) * | 2000-02-25 | 2001-09-03 | The Research Foundation Of State University Of New York | Apparatus and method for volume processing and rendering |
| US7068316B1 (en) | 2000-09-29 | 2006-06-27 | Ess Technology, Inc. | Selectable resolution image capture system |
| US20030007703A1 (en) * | 2001-07-03 | 2003-01-09 | Roylance Eugene A. | Configurable image processing logic for use in image processing devices |
| JP2003158665A (ja) | 2001-11-20 | 2003-05-30 | Olympus Optical Co Ltd | 撮像装置 |
| JP4196588B2 (ja) | 2002-05-08 | 2008-12-17 | ソニー株式会社 | 撮像装置および方法、記録媒体、並びにプログラム |
| US7468752B2 (en) | 2003-10-23 | 2008-12-23 | Nokia Corporation | Camera output format for real time viewfinder/video image |
| JP2005303367A (ja) | 2004-04-06 | 2005-10-27 | Sony Corp | 映像処理装置とカメラ機能を有した電子機器 |
| JP2005303815A (ja) | 2004-04-14 | 2005-10-27 | Canon Inc | デジタルカメラ |
| US7787026B1 (en) | 2004-04-28 | 2010-08-31 | Media Tek Singapore Pte Ltd. | Continuous burst mode digital camera |
| JP2006054641A (ja) | 2004-08-11 | 2006-02-23 | Canon Inc | 撮像装置 |
| JP2006074677A (ja) | 2004-09-06 | 2006-03-16 | Canon Inc | デジタルカメラ |
| KR100702955B1 (ko) | 2005-01-12 | 2007-04-03 | 삼성테크윈 주식회사 | 디지털 영상 처리 장치의 제어 방법 및 이 방법을 채용한디지털 영상 처리 장치 |
| KR100657145B1 (ko) | 2005-02-24 | 2006-12-13 | 매그나칩 반도체 유한회사 | 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법 |
| JP2006301294A (ja) | 2005-04-20 | 2006-11-02 | Kyocera Mita Corp | 画像形成装置及びプログラム |
| JP2007110221A (ja) | 2005-10-11 | 2007-04-26 | Fujifilm Corp | 撮像装置 |
| JP2007259344A (ja) | 2006-03-24 | 2007-10-04 | Fujifilm Corp | 撮像装置および画像処理方法 |
| JP4898283B2 (ja) | 2006-05-11 | 2012-03-14 | パナソニック株式会社 | 画像記録装置 |
| JP4795138B2 (ja) * | 2006-06-29 | 2011-10-19 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| US8736695B2 (en) * | 2010-11-12 | 2014-05-27 | Qualcomm Incorporated | Parallel image processing using multiple processors |
| KR20130012749A (ko) | 2011-07-26 | 2013-02-05 | (주)영훈전자 | 환경 자동 적응 비디오 인핸서 및 비디오 이미지의 처리 방법 |
| US9721319B2 (en) * | 2011-10-14 | 2017-08-01 | Mastercard International Incorporated | Tap and wireless payment methods and devices |
| US8687922B2 (en) * | 2012-02-24 | 2014-04-01 | Apple Inc. | Parallel scaler processing |
| US9218639B2 (en) * | 2013-09-27 | 2015-12-22 | Apple Inc. | Processing order in block processing pipelines |
-
2013
- 2013-10-02 KR KR1020130117682A patent/KR102023501B1/ko active IP Right Grant
-
2014
- 2014-09-04 US US14/477,368 patent/US9460482B2/en active Active
- 2014-09-16 TW TW103131835A patent/TWI627601B/zh active
- 2014-09-29 CN CN201410513201.1A patent/CN104516841B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120195503A1 (en) * | 2011-01-31 | 2012-08-02 | Samsung Electronics Co., Ltd. | Image processing device |
| WO2012125862A1 (en) * | 2011-03-16 | 2012-09-20 | Qualcomm Incorporated | Generating a zoomed image |
| CN103065604A (zh) * | 2011-10-20 | 2013-04-24 | 三星电子株式会社 | 显示器驱动器和操作图像数据处理装置的方法 |
| CN104035739A (zh) * | 2013-03-07 | 2014-09-10 | 三星电子株式会社 | 使用原始图像同时生成缩放的图像 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308677A (zh) * | 2017-07-26 | 2019-02-05 | 聚晶半导体股份有限公司 | 图像处理芯片与图像处理系统 |
| CN109391788A (zh) * | 2017-08-03 | 2019-02-26 | 爱思开海力士有限公司 | 用于处理图像信号的系统 |
| CN109391788B (zh) * | 2017-08-03 | 2020-12-18 | 爱思开海力士有限公司 | 用于处理图像信号的系统 |
| CN110956574A (zh) * | 2019-11-22 | 2020-04-03 | 华为终端有限公司 | Soc芯片、移动终端 |
| CN110956574B (zh) * | 2019-11-22 | 2024-04-09 | 华为终端有限公司 | Soc芯片、移动终端 |
| CN113763906A (zh) * | 2020-06-05 | 2021-12-07 | 格科微电子（上海）有限公司 | 图像信号处理器件、终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9460482B2 (en) | 2016-10-04 |
| KR20150039299A (ko) | 2015-04-10 |
| CN104516841B (zh) | 2019-02-05 |
| TW201514916A (zh) | 2015-04-16 |
| US20150091916A1 (en) | 2015-04-02 |
| KR102023501B1 (ko) | 2019-09-20 |
| TWI627601B (zh) | 2018-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104516841A (zh) | 包括可配置的图像处理管线的片上系统及包含其的系统 | |
| US11250537B2 (en) | Configurable and programmable image processor unit | |
| US9716830B2 (en) | Image signal processing device performing image signal processing through plural channels | |
| US10282805B2 (en) | Image signal processor and devices including the same | |
| US20150022534A1 (en) | Graphics processor with arithmetic and elementary function units | |
| US10681273B2 (en) | Mobile device including multiple cameras | |
| US9703731B2 (en) | Data transfer apparatus and data transfer method | |
| KR20050073265A (ko) | 화상 변환 장치, 화상 변환을 위한 직접 메모리 액세스장치 및 화상 변환을 지원하는 카메라 인터페이스 | |
| US7596679B2 (en) | Interconnections in SIMD processor architectures | |
| US11223762B2 (en) | Device and method for processing high-resolution image | |
| CN110225269B (zh) | 具有宏像素处理的图像传感器装置以及相关装置和方法 | |
| US20180191940A1 (en) | Image capturing device and control method thereof | |
| KR20190048347A (ko) | 프로세서 및 그 제어 방법 | |
| JP2010097311A (ja) | 半導体装置及び半導体集積回路 | |
| Chao et al. | Pyramid architecture for 3840 x 2160 quad full high definition 30 frames/s video acquisition | |
| Khalifat et al. | A dynamic partial reconfiguration design for camera systems | |
| US7502075B1 (en) | Video processing subsystem architecture | |
| US7542041B2 (en) | Runtime configurable virtual video pipeline | |
| US8764874B2 (en) | Arrangement, method, integrated circuit and device for routing requests | |
| TWI731464B (zh) | 串列周邊介面的被控端電路的影像感測器與其中的像素陣列電路 | |
| JP7113368B2 (ja) | 撮像装置及びカメラシステム | |
| US20240161799A1 (en) | Programmable signal processing apparatus | |
| CN1983327A (zh) | 用于灵活的和可扩展的媒体处理的接口架构的装置和方法 | |
| CA2040659C (en) | Digital signal processing device | |
| CN117221744A (zh) | 一种自适应分辨率转换方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |