CN117730294A - 用于图像传感器应用的动态电压和频率缩放 - Google Patents

用于图像传感器应用的动态电压和频率缩放 Download PDF

Info

Publication number
CN117730294A
CN117730294A CN202280029399.9A CN202280029399A CN117730294A CN 117730294 A CN117730294 A CN 117730294A CN 202280029399 A CN202280029399 A CN 202280029399A CN 117730294 A CN117730294 A CN 117730294A
Authority
CN
China
Prior art keywords
digital circuit
clock frequency
circuit block
imaging device
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280029399.9A
Other languages
English (en)
Inventor
约翰·史蒂文·蔡尔兹
马克·普德
村上裕隆
罗伯特·詹姆斯·蔡尔兹
科迪·齐斯格勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN117730294A publication Critical patent/CN117730294A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/324—Power saving characterised by the action undertaken by lowering clock frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals

Abstract

一种成像装置，其中具有在感测操作模式的帧序列期间经受帧内DVFS的数字电路块。在示例实施例中，帧内DVFS使得较高电源电压和较高时钟频率在帧序列的读取周期期间供应至数字电路块，且较低电源电压和较低时钟频率在帧序列的垂直消隐周期期间供应至数字电路块。较低电源电压和时钟频率被选择为足以使数字电路块在垂直消隐周期期间支持其相关功能而不会不利地影响性能。例如，较低的电源电压足以使数字电路块的SRAM在其中保持数据。有益的是，帧内DVFS使得成像装置能够执行运动检测，同时消耗非常小的电力。

Description

用于图像传感器应用的动态电压和频率缩放
相关申请的交叉引用
本申请要求了美国专利申请提交于26-APR-2021且名称为“In-frame DynamicVoltage Scaling(DVS)and Dynamic Frequency Scaling(DFS)for CMOS Image SensorApplications”的临时专利申请号63/180，015，将其通过引用全文并入本文。
技术领域
不同示例实施例涉及图像传感器，并且更具体地但不排他地，涉及用于降低图像传感器中的功耗的方法和设备。
背景技术
本节介绍了可有助于更好地理解本发明的方面。因此，该部分的陈述应就此进行阅读，并且不应被理解为承认现有技术中有什么或者现有技术中没有什么。
图像传感器用于各种电子成像装置和系统(诸如数码相机、智能电话、医学成像装置、机器视觉设备等)。在这种成像装置中使用的两种主要类型的图像传感器是电荷耦合器件(CCD)传感器和互补金属氧化物半导体(CMOS)传感器。除了光收集的主要任务之外，CMOS图像传感器通常可直接在传感器的集成电路(IC)和/或IC组件中提供若干处理和/或控制功能。例如，一些CMOS传感器可具有电源管理功能以降低一些操作模式中的功耗。
发明内容
本文公开了一种成像装置的不同实施例，成像装置中具有数字电路块，数字电路块在感测操作模式的帧序列期间经受帧内动态电压和频率缩放(DVFS)。在示例实施例中，帧内DVFS使得较高电源电压和较高时钟频率在帧序列的读取周期期间供应至数字电路块，且较低电源电压和较低时钟频率在帧序列的垂直消隐(V-blanking)周期期间供应至数字电路块。较低电源电压和时钟频率被选择为足以使数字电路块在垂直消隐周期期间支持其相关功能而不会不利地影响性能。例如，较低的电源电压足以使数字电路块的静态随机存取存储器(SRAM)在其中保持数据。有益的是，在一些实施例中，所公开的帧内DVFS使得成像装置能够执行运动检测，同时消耗非常小的电力，例如以1fps的帧速率消耗大约100μW。
一些实施例可采用帧内DFS和帧内DVS中的一者，但不采用两者。
根据示例实施例，提供一种设备，其包括成像装置，成像装置包括：电子控制器，被配置为响应于主机命令来控制成像装置的一帧操作，一帧操作至少包含读取周期及垂直消隐周期；以及电源调节器，被配置为选择性地将第一非零电压和第二非零电压供应至成像装置的数字电路块；并且其中，成像装置被配置为在一帧操作内使数字电路块经受动态电压缩放，使得在读取周期期间将第一非零电压供应至数字电路块，并且在垂直消隐周期期间将第二非零电压供应至数字电路块。
根据另一示例实施例，提供一种设备，其包括成像装置，成像装置包括：电子控制器，被配置为响应于主机命令来控制成像装置的一帧操作，一帧操作至少包括读取周期及垂直消隐周期；一个或多个振荡器，被配置为将第一时钟频率和第二时钟频率中所选的一个频率供应至成像装置的数字电路块；并且其中，成像装置被配置为在一帧操作内使数字电路块经受动态频率缩放，使得在读取周期期间将第一时钟频率供应至数字电路块，并且在垂直消隐周期期间将第二时钟频率供应至数字电路块。
根据又一示例实施例，提供一种在成像装置中实现的方法，该方法包括：利用电子控制器，响应于主机命令来控制成像装置的一帧操作，一帧操作至少包括读取周期和垂直消隐周期；利用电源调节器，将第一非零电压和第二非零电压选择性地供应至成像装置的数字电路块；利用一个或多个振荡器，将第一时钟频率和第二时钟频率中所选的一个供应至数字电路块；并且使数字电路块在一帧操作内经受动态电压和频率缩放DVFS，DVFS包括在读取周期期间将第一非零电压和第一时钟频率供应至数字电路块，以及在垂直消隐周期期间将第二非零电压和第二时钟频率供应至数字电路块。
附图说明
通过示例的方式，根据以下具体实施例和附图，各个所公开的实施例的其他方面、特征和益处将变得更加显而易见，其中：
图1是示出根据示例实施例的成像装置的框图；
图2为示出根据实施例的图1的成像装置在感测模式下的示例一帧操作的时序图；
图3A至图3B示出根据实施例示出的在图1的成像装置的不同电路中的并发的省电操作的时序图；
图4是示出根据各种实施例的包括图1的成像装置的成像系统的示例配置的框图；以及
图5示出根据实施例的可用于图1的成像装置中的IC组件的简化三维立体图。
具体实施方式
动态频率缩放(DFS)是一种用于通过根据操作模式动态地改变时钟频率以防止电路在非最优高时钟频率下操作来节省电力的技术。与涉及时钟的开/关切换的时钟门控不同，DFS涉及升高和/或降低时钟频率。可以使用不同电路实现的方法来改变时钟频率。例如，在一些实施例中，可以通过改变生成时钟信号的振荡器的输出频率来改变时钟频率。例如，在一些实施例中，可以通过在对应的振荡器的下游提供能够改变其分频因子的可配置分频器来改变时钟频率。在一些其他实施例中，可以通过设置振荡频率彼此不同的多个振荡器，并且在从这些振荡器中获得的时钟输出之间切换以选择时钟的任何时钟频率来改变时钟频率。如本文中使用的，术语“振荡器”可以指接收参考时钟的输入的电子振荡器，例如，作为具有锁相环(PLL)的实例，或指独执行振荡的电子振荡器。
动态电压缩放(DVS)是可与DFS组合以在时钟频率高时实现较高电压操作并在时钟频率低时实现较低电压操作的技术。与涉及电源开/关切换的电源门控不同，DVS涉及在其不同的非零值之间改变电压。DFS和DVS的组合使用使得可以比单独使用DFS节省更多的电力。DFS和DVS的组合使用可被称为动态电压和频率缩放(DVFS)。
根据示例实施例，在一帧操作内(下文中统称为“帧内DVFS”)使用DVS和DFS的应用可以减小CMOS图像传感器(CIS)在感测模式和/或查看模式(其中，图像尺寸小)下消耗的电力。如本文中使用的，术语“感测模式”可以指CIS操作模式，在该模式中，在相对小尺寸(例如，32×10(单声道))的图像帧流内连续执行运动检测。术语“查看模式”可指CIS操作模式，在该模式中，从CIS的移动行业处理器接口(MIPI)块输出较大尺寸(例如，320×120(颜色)以上)的图像数据。例如，可通过改变物理像素阵列的分格模式来实现图像数据尺寸的改变。
CIS中的一帧操作通常可包括以下周期(1)至(4)：
(1)快门周期：重置像素中的光电二极管；
(2)集成(或曝光)周期：光电二极管中的光电(O/E)转换；
(3)读取周期：在O/E转换期间由光电二极管生成的电荷的模数(A/D)转换；以及
(4)垂直消隐周期：直到帧序列中下一帧的快门周期为止的等待时间。
当在感测或查看模式下图像尺寸小(例如，VGA图像尺寸或更小)时，或者当帧速率低时，周期(1)和(3)可以相对较短。结果，垂直消隐周期(4)可以考虑一帧的大部分时间。由此，在垂直消隐周期(4)期间的功耗的降低通常可以导致CIS的伴随降低的总功耗。
在垂直消隐周期(4)中要实现的一个相关功能是简单地等待下一帧的开始定时。为了在垂直消隐周期(4)中实现该功能，通过向CIS供应低频时钟信号可足以选择性地操作CIS的块。在一些情况下，对于具有短曝光时间的卷帘快门CIS，可以在对最后一线的快门操作完成之前开始对像素阵列的第一线的读取操作。因此，在一些情况下，可能不存在单独的集成周期(2)。这里，集成周期(2)是指关于传感器的操作状态的从对所有像素的快门操作的完成到读取操作的开始的等待时间的周期，而不是每个像素的曝光时间。
在允许小尺寸图像和低精度模数转换的情况下，诸如在感测模式中，快门周期(1)和读取周期(3)可以相对较短。在这样的情况下，集成周期(2)的持续时间可以是相对显著的。在集成周期(2)中实现的重要功能是等待直到相应的读取周期(3)开始。因此，与垂直消隐周期(4)类似，在某些情况中，集成周期(2)可以利用所选的块服从低电力操作，所选的块在供应有低频时钟的同时被操作。
图1是示出根据示例实施例的成像装置100的框图。图像装置100包括行扫描器110、像素阵列120和列电路130。列电路130的输出经由总线132被引导至图像信号处理器140。由图像信号处理器140生成的处理的信号进一步经由总线142被引导至连接至成像装置100的输出端口154的MIPI块150。输出端口154可进一步连接至应用处理器(在图1中未明确示出；参见图4的440)。在操作中，MIPI块150可根据MIPI协议经由输出端口154将从图像信号处理器140接收的图像数据传输至应用处理器。
在示例实施例中，处理器140可包括SIF块和DU块(图1中未明确示出)。SIF块是从列电路130接收图像数据并将该图像数据输出到DU块的接口。DU块对接收到的图像数据执行预定图像处理，并将得到的图像数据输出到MIPI块150。
像素阵列120包括布置成二维矩阵阵列的多个像素(在图1中未明确示出)，其中，单个的像素通常布置在相互正交的行和列中。在示例实施例中，像素阵列120可以具有像素以1280列和720行布置的尺寸。在其他实施例中，也可以使用其他阵列尺寸。在一些实施例中，例如，每个像素可包括两个以上相应的子像素(在图1中未明确示出)以能够捕捉彩色图像和/或实现其他期望的成像功能。行和列有时可相应地被称为CIS的水平(H)元件和垂直(V)元件。
像素阵列120的每行像素经由相应的行信号线连接至行扫描器110。像素阵列120的每列像素经由相应的列信号(V)线连接到列电路130。在示例实施例中，列电路130可包括放大器电路和模数转换器(ADC)电路(在图1中未明确示出)。
在操作中，像素阵列120的单个的像素可响应于接收到的光而生成电荷。行扫描器110可将驱动信号(例如，电压)施加到像素以使得像素能够适当地清除和累积电荷，并经由相应的列信号线将对应的电信号顺序地输出到列电路130。列电路130通常可以包括电流源，该电流源可连接到(多条)所选的列信号线以使得从对应的像素中能够读取合适的像素信号。像素信号通常可在放大器电路中放大，在ADC电路中转换为数字形式，并且可经由总线132被引导至图像信号处理器140。
成像装置100还包括控制单元(CU)电路块160、静态随机存取存储器(SRAM)162、中央处理单元(CPU)164、PLL 170以及振荡器180和190。CU块160和CPU 164操作以基于从上述应用处理器接收的命令和数据来控制行扫描器110、像素阵列120和列电路130。CU块160操作以基于从CPU 164接收的输入和来自应用处理器的可能的额外输入来生成用于行扫描器110、像素阵列120和列电路130的适当的控制信号。例如，由CU块160以这种方式生成的控制信号可以控制每个操作状态的开始定时和结束定时，诸如上述的快门周期(1)、集成周期(2)、读取周期(3)和垂直消隐周期(4)。SRAM 162是可接入CU块160和CPU 164的存储器，其由此使用以支持预期的控制操作。
PLL 170和振荡器180和190操作以生成由成像装置100的不同电路使用的时钟信号。例如，振荡器190操作以生成用于尤其包含CU块160、CPU 164和SRAM 162的数字电路块或电源域168的时钟信号188。振荡器180操作以相应地生成用于列电路130和数字电路模块168的时钟信号176和178。振荡器180和190的时钟输出通常可由CU块160控制。
成像装置100进一步包括连接至外部电源(在图1中未明确示出；参见图4的490)。在操作中，终端102从外部电源接收电源电压Vdd1(例如，1.05V)，该电源电压Vdd1随后可被分配给成像装置100的不同部分。例如，连接到Vdd1电源线的是电源门104和低压降(LDO)调节器106。LDO调节器106包括稳定地输出低于电源电压Vdd1的电压Vdd2(例如，0.80V)的电路。LDO调节器106将电压Vdd2所施加到的Vdd2电源线连接到至少数字电路块168。电源门104可以闭合或打开，从而使数字电路块168接收来自外部电源的电源电压Vdd1或来自LDO调节器106的电压Vdd2。例如，电源门104可在CU块160的控制下闭合或打开。
SRAM 162通常需要电源电压Vdd1以能够在其中正常执行数据读取和数据写入操作，利用电压Vdd2不足以用于SRAM正常执行数据读取和数据写入操作。然而，电压Vdd2仍足以使SRAM 162执行数据保留操作，即，将数据保持在其中而不执行数据读取或数据写入操作且不丢失数据的操作。
图2为示出根据实施例的成像装置100的感测操作模式中的示例一帧操作的时序图。所示的一帧操作实现如下文更详细解释的帧内DVFS。所示出的实施例对应于以下电路参数：(i)电压Vdd1为1.05V；(ii)电压Vdd2为0.8V；(iii)时钟信号176的频率为612MHz；(iv)时钟信号178的频率为153MHz；以及(v)时钟信号188的频率为422kHz(也参见图1)。在其他实施例中，也可以使用其他电路参数。例如，其他时钟频率可用于时钟信号176、178、188。其他电压可用作电压Vdd1和Vdd2。
图2中所示的时间间隔与感测模式中的两个连续帧相对应，说明性地示出第(k-1)帧和第k帧，并且包括以下帧周期：第(k-1)帧的曝光周期2k-1；第(k-1)帧的读取周期3k-1；第(k-1)帧的垂直消隐周期4k-1；第k帧的快门周期1k；所述第k帧的曝光周期2k；第k帧的读取周期3k；以及第k帧的垂直消隐周期4k。第(k-1)帧的读取周期3k-1期间的斜线202表示像素阵列120中读取像素电荷的行序列。在第k帧的快门周期1k期间的斜线204表示在像素阵列120中重置像素光电二极管的行序列。第k帧的读取周期3k期间的斜线206与斜线202类似。
在图2中，迹线210示出数字电路块168的内部时钟频率的时间依赖性。该频率在帧周期2k-1、3k-1、1k、2k和3k期间为153MHz。在帧周期4k-1和4k期间，该频率为422kHz。通过在时钟信号178与188之间切换内部时钟信号来实现频率的改变。例如，为了具有153MHz的内部时钟频率，选择时钟信号178。为了具有422kHz的内部时钟频率，选择时钟信号188。为了在垂直消隐帧周期(例如周期4k-1和4k)期间实现附加的电力节省，可以停止振荡器180，这使得停止时钟信号176和178两者。在示例实施例中，时钟信号176和178可以通过将参考时钟频率除以不同相应的分频因子而从公共参考振荡器导出。在所示示例中，时钟信号178的频率比时钟信号176的频率低四倍，即，612MHz/153MHz＝4。
在图2中，迹线220示出电源门104的状态作为时间的函数。迹线230示出了数字电路块168中的内部电源电压的时间依赖性。当电源门104处于导通状态时，数字电路块168与Vdd1电源线连接，这导致在帧周期k-1，3k-1，1k，2k，和3k期间电源电压为1.05V。当电源门104关闭时，数字电路模块168在垂直消隐帧周期4k-1和4k期间接收降低的0.8V的电源电压。注意，在一帧操作的序列(1)-(4)期间，电路块168的内部时钟信号频率和电源电压两者都被改变，这是帧内DVFS的表现。
图3A至图3B示出示出根据实施例的在成像装置100的不同电路中同时进行省电操作的时序图。更具体地，图3A示出对于成像装置100的所选电路示出的时钟频率变化的时序图。图3B类似地示出对于成像装置100的所选电路示出的电源电压改变的时序图。每个时序图涵盖在成像装置100的查看模式与感测模式之间的时间t0处的过渡。
参考图3A，迹线310、320和330相应地示出图像信号处理器(ISP)140、列电路(CC)130和CU块160的内部时钟频率的时间依赖性。图像信号处理器140的内部时钟在查看模式中为153MHz，并且在感测模式中停止，如迹线310所指示的。照此，迹线310指示在图像信号处理器140中的查看模式与感测模式之间应用时钟门控。列电路130的内部时钟在查看模式中在612MHz处，并且在感测模式中被门控，如迹线320所指示的。更具体地，对于感测模式的帧读取周期3i和3i+1，列电路130的内部时钟处于612MHz，即，处于与查看周期期间相同的频率。对于其他帧周期，停止列电路130的内部时钟。照此，迹线320指示在列电路130中的查看模式与感测模式之间以及感测模式内应用时钟门控。CU块160的内部时钟在查看模式中为153MHz，并且在感测模式中经受帧内DFS，如迹线330所指示的(也参见图2中的210)。照此，迹线330指示在CU块160中的查看模式与感测模式之间以及感测模式内应用DFS。
参考图3B，迹线340、350和360分别示出图像信号处理器140的DU块、图像信号处理器140的SIF块和CU块160的电源电压的时间依赖性。图像信号处理器140的电源电压在查看模式中处于1.05V并且在感测模式中处于0V(例如，从电源断开)，如迹线340所指示的。照此，迹线340指示在图像信号处理器140的DU块中的查看模式以及感测模式之间应用电源门控。SIF块的电源电压在查看模式中为1.05V，并且在感测模式中被门控，如迹线350所示。更具体地，对于感测模式的帧读取周期3i和3i+1，SIF块的电源电压为1.05V，即处于与查看周期期间相同的水平。对于其他帧周期，关闭SIF块的电源电压。照此，迹线350指示在SIF块中的查看模式与感测模式之间以及感测模式内应用电源门控。CU块160的电源电压在查看模式中处于1.05V并且在感测模式中经受帧内DVS，如迹线360所指示的(也参见图2的230)。照此，迹线360指示在CU块160中的查看模式与感测模式之间以及感测模式内应用DVS。
根据各种实施例和修改例的成像装置100可用于实施各种成像系统，诸如数字静态照相机或视频照相机、具有成像功能的便携式装置、以及在其图像捕获单元中包括成像元件的各种电子设备(例如，在其图像读取单元中包括成像元件的复印机)。此外，示例实施例还可适用于机器人、无人机、汽车、医疗设备(例如，内窥镜)、或包括成像装置100或其等同物的其他系统。在不同的实施例中，成像装置100可形成为一个芯片或包括成像单元和信号处理器的封装模块或具有成像功能的光学系统。参考图4进一步描述了包括根据上述实施例和变形例中的任一的成像装置100的示例成像系统。
图4为示出根据上述示例实施例和变形例的包括成像装置100的成像系统400的示例配置的框图。如图所示，例如，成像系统400包括成像装置100、光学部件410、快门装置420、控制电路430、处理器电路440、帧存储器450、显示单元460、数据存储装置470、操作单元480和电源单元490的合适实施例。系统400的不同部件经由总线499彼此耦接。处理器电路440表示上述应用处理器的特定但非限制性示例。
光学部件410可以包括一个或多个透镜。在操作中，光学部件410将入射光束402(例如，从物体或场景接收的)引导至成像装置100以将光聚焦在像素阵列120的光接收表面上。快门装置420布置在光学部件410和成像装置100之间并操作以在控制电路430的控制下控制相对于成像装置100的曝光周期和遮光周期。成像装置100累积光生电荷达一定周期，这可取决于通过光学部件410聚焦在像素阵列120的光接收表面上的光和快门装置420的状态。例如，光生电荷基于从控制电路430供应的控制信号作为像素信号(图像数据)被传输到处理器电路440。
处理器电路440和成像装置100可经由控制线438交换控制信号并经由总线499交换数据。处理器电路440可处理从成像装置100输出的像素信号(图像数据)。帧存储器450可基于帧单元暂时保持正由处理器电路440处理的图像数据。例如，显示单元460可以是显示面板(诸如液晶面板或有机电致发光(EL)面板)。显示单元460可根据由成像装置100捕获的图像的类型来显示运动图像或静止图像。数据存储装置470可在记录介质(诸如半导体存储器或磁性硬盘)上记录运动图像或静止图像的图像数据。操作单元480可根据用户请求的操作发出用于成像系统400的各种功能的操作命令。电源单元490操作以向系统400的不同部件适当地供应电力。例如，电源单元490可以被连接以向成像装置100的电源端子102供应电源电压Vdd1(也参见图1)。
图5示出根据实施例的可用于成像装置100的IC组件500的简化三维立体图。组件500包括以垂直堆叠布置的光接收芯片510和逻辑芯片520，如图5所示。
如本文中所使用的，术语“堆叠”是指其中堆叠管芯的主平面面对彼此并彼此接近的封装或非封装管芯的有序布置。例如，面对的管芯或芯片可使用图案化的导电(诸如金属)层、球栅阵列、焊料凸块、引线接合等来电连接。在一些这样的实施例中，堆叠的管芯或芯片可按堆叠管芯的主平面彼此平行和/或平行于机械载体的主平面的方向被安装在机械载体上。在一些这样的实施例中，堆叠的管芯或芯片中的一个可以用作机械载体。在一些实施例中，堆叠的单个的IC可包括一个或多个相应的衬底、一个或多个再分布层(RDL)、一个或多个插入物、一个或多个层压板等的任何组合。
在本文中，物体(例如，裸片、衬底或IC)的“主平面”是平行于其基本上平坦的表面的平面，该平面具有在物体的外表面之中的大约最大面积。该基本上平坦的表面可以被称为主表面。具有一个相对大的尺寸(例如，长度)但是具有小得多的面积(例如，小于主表面面积的一半)的物体的外表面通常被称为物体的边缘。
在一些实施例中，芯片510和520可以使用直接接合进行倒晶封装(flip-chip)接合，其中芯片的面对表面被平坦化，并且芯片被层压在一起以形成组件500。在一些其他实施例中，芯片510和520可以使用Cu到Cu接合进行倒晶封装接合，其中，形成在芯片的面对表面上的铜(Cu)焊盘被接合以提供组件500中的芯片之间的电连接。在一些备选实施例中，也可以使用其他合适的芯片堆叠技术。
在示例实施例中，光接收芯片510可包括像素阵列120(例如，2560×1920像素阵列)。逻辑芯片520可包括以下一些或全部：电源门104、LDO调节器106、行扫描器110、列电路130、处理器140、MIPI块150、CU块160、SRAM 162、CPU 164、PLL 170以及振荡器180和190。在其他实施例中，成像装置100在对应的IC组件的两个以上的不同IC中的其他合适分区也是可能的。
根据以上公开的示例实施例，例如，在发明内容部分中和/或参见图1至图5中的一些或全部中的任一或任何组合，提供了一种设备，该设备包括成像装置(例如，图1中的100)，该成像装置包括：电子控制器，被配置为响应于主机命令(例如，图4中的438)来控制成像装置的一帧操作(例如，图2中的1k，2k，3k，4k)，该一帧操作至少包括读取周期和垂直消隐周期；以及电源调节器(例如，图1中的104、106)，被配置为选择性地将第一非零电压(例如，图1中的Vdd1)和第二非零电压(例如，图1中的Vdd2)供应至成像装置的数字电路块(例如，图1中的168)；并且其中，成像装置被配置为使数字电路块在一帧操作内经历动态电压缩放，使得在读取周期期间将第一非零电压供应至数字电路块，并且在垂直消隐周期期间将第二非零电压供应至数字电路块(例如，如图2所示)。
在上述设备的一些实施例中，电源调节器包括在成像装置的电源端子(例如，图1的102)与数字电路块之间彼此并联连接的低压降调节器(例如，图1的106)和电源门(例如，图1的104)。
在任何上述设备的一些实施例中，电源调节器被配置为使第二非零电压的绝对值小于第一非零电压的绝对值(例如，Vdd2＝0.8V＜Vdd1＝1.05V)。
在任何上述设备的一些实施例中，数字电路块包括静态随机存取存储器(SRAM)(例如，图1中的162)；并且其中，第二非零电压使SRAM在其中执行数据保持操作。
在任何上述设备的一些实施例中，第二非零电压不足以使SRAM在其中执行数据读取操作或数据写入操作。
在任何以上设备的一些实施例中，该设备还包括一个或多个振荡器(例如，图1的180、190)，一个或多个振荡器被配置为将第一时钟频率(例如，图1的178)和第二时钟频率(例如，图1的188)中所选的一个供应至数字电路块；并且其中，成像装置还被配置为使数字电路块在一帧操作内对经历动态频率缩放，使得在读取周期期间将第一时钟频率供应至数字电路块，并且在垂直消隐周期期间将第二时钟频率供应至数字电路块(例如，如图2所示)。
在任何上述设备的一些实施例中，该一帧操作包括快门周期；并且其中，在一帧操作内的动态电压缩放和动态频率缩放被配置为使得第一非零电压和第一时钟频率在快门周期期间被供应至数字电路块(例如，如图2所示)。
在任何上述设备的一些实施例中，一帧操作包括曝光周期；并且其中，一帧操作内的动态电压缩放和动态频率缩放被配置为使得第一非零电压和第一时钟频率在曝光周期期间被供应至数字电路块(例如，如图2所示)。
在任何上述设备的一些实施例中，一个或多个振荡器被配置为在垂直消隐周期期间停止生成第一时钟频率。
在任何上述设备的一些实施例中，第一时钟频率与第二时钟频率的比值大于300。
在任何上述设备的一些实施例中，成像装置可被配置为在包括第一模式(例如，图3A至图3B的感测模式)和不同的第二模式(例如，图3A至图3B的查看模式)的多个操作模式中所选的一个中操作，第一模式包括一帧操作的序列。
在任何上述设备的一些实施例中，电源调节器被配置为在第二模式(例如，图3B的360)期间将第一非零电压连续供应至数字电路块。
在任何上述装置的一些实施例中，一个或多个振荡器被配置为在第二模式(例如，图3A中的330)期间将第一时钟频率连续供应至数字电路块。
在任何上述装置的一些实施例中，一个或多个振荡器被配置为在第二模式(例如，图3A中的330)期间将第一时钟频率连续供应至数字电路块。
在任何上述设备的一些实施例中，成像装置还包括像素阵列(例如，图1中的120)和连接至像素阵列的模数转换器(ADC)电路(例如，图1中的130)；并且其中，一个或多个振荡器被配置为将第三时钟频率(例如，图1中的176)供应至ADC电路(例如，图1中的130)，第三时钟频率大于第一时钟频率。
在任何上述设备中的一些实施例中，第三时钟频率是第一频率的整数倍(例如，612MHz/153MHz＝4)。
在任何上述设备的一些实施例中，一个或多个振荡器被配置为：在读取周期(例如，图3A中的320、3i)期间将第三时钟频率供应至ADC电路；并且在垂直消隐周期期间(例如，图3A中的320，以及3i和3i+1之间)停止生成第三时钟频率。
在任何上述设备的一些实施例中，电子控制器包括数字电路块。
根据以上公开的另一示例实施例，例如，在发明内容部分中和/或参考图1至图5中的一些或全部中的任一或任何组合，提供了一种包括成像装置(例如，图1中的100)的设备，该成像装置包括：电子控制器，被配置为响应于主机命令(例如，图4中的438)控制成像装置的一帧操作(例如，图2中的1k，2k，3k，4k)，一帧操作至少包括读取周期和垂直消隐周期；一个或多个振荡器(例如，180、190，图1)，被配置为将第一时钟频率(例如，178，图1)和第二时钟频率(例如，188，图1)中所选的一个供应至成像装置的数字电路块；并且其中，成像装置被配置为在一帧操作内使数字电路块经受动态频率缩放，使得在读取周期期间将第一时钟频率供应至数字电路块，并且在垂直消隐周期期间将第二时钟频率供应至数字电路块(例如，如图2所示)。
根据上述公开的又一示例实施例，例如，在发明内容部分中和/或参考图1至图5中的一些或全部中的任一或任何组合，提供了一种在成像装置中实现的方法，该方法包括以下步骤：利用电子控制器，响应于主机命令(例如，图4的438)，控制成像装置的一帧操作(例如，图2的1k，2k，3k，4k)，一帧操作至少包括读取周期和垂直消隐周期；利用电源调节器(例如，104、106，图1)，将第一非零电压(例如，Vdd1，图1)和第二非零电压(例如，Vdd2，图1)选择性地供应至成像装置的数字电路块(例如，168，图1)；利用一个或多个振荡器(例如，180、190，图1)，将第一时钟频率(例如，178，图1)和第二时钟频率(例如，188，图1)中所选的一个供应至数字电路块；以及使数字电路块在一帧操作内经受动态电压和频率缩放(DVFS)，DVFS包括在读取周期期间将第一非零电压和第一时钟频率供应至数字电路块，以及在垂直消隐周期期间将第二非零电压和第二时钟频率供应至数字电路块(例如，如图2所示)。
虽然本公开包括对说明性实施例的引用，但是本说明书不旨在以限制性意义来解释。例如，对所描述的实施例的不同修改、以及在本公开范围内的对于本公开所属领域的普通技术人员而言显而易见的其他实施例被认为落入本公开的范围内，如以上权利要求书中所表达的。
一些实施例可以被实现为基于电路的过程，包括在单个集成电路上的可能实现。
除非另外明确说明，每个数值和范围应当被解释为近似的，好像词语“约”或“近似”在该值或范围之前。
将进一步理解，在不偏离本公开的范围的情况下，例如，如以上权利要求书中所表达的，相关领域的技术人员可以做出已经描述和示出以便解释本公开的性质和原理部分的细节、材料和布置的各种改变。
权利要求书中的图形编号和/或图形参考标记(如果有的话)的使用旨在标识所要求保护的主题的一个或多个可能的实施例，以便促进对权利要求书的解释。这样的用途不应被解释为必须将那些权利要求的范围限制于在相应附图中示出的实施例。
尽管以上方法权利要求中的元件(如果有的话)是以具有相应标记的特定序列来叙述的，除非权利要求叙述另外暗示用于实现那些元件中的一些或全部的特定序列，否则那些元件不一定旨在限于以该特定序列来实现。
在此提及“一个实施例”或“实施例”是指结合该实施例所描述的特定特征、结构或特性可以包括在本公开的至少一个实施例中。短语“在一个实施例中”在本说明书的不同地方的出现不一定都是指同一个实施例，也不是必须与其他实施例相互排斥的单独或替代的实施例。这同样适用于术语“实施”。
除非本文中另外规定，否则使用序数形容词“第一”、“第二”、“第三”等来指代多个相似物体中的物体仅指示此类相似物体的不同实例被提及，并且不旨在暗示如此提及的相似物体必须在时间上、空间上、排序上或以任何其他方式处于相应的顺序或序列中。
除非本文中另有规定，除其简单含义之外，连词“如果”还可以或者可替换地解释为意指“当…时”或“一旦”或“响应于确定”或“响应于检测到”，其构造可以取决于相应的具体上下文。例如，短语“如果确定”或“如果检测到[陈述的条件]”可被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[陈述的条件或事件]”或“响应于检测到[陈述的条件或事件]”。
同样出于本说明书的目的，术语“耦接(couple)”、“耦接(coulping)”、“耦接(coupled)”、“连接(connect)”、“连接(connecting)”或“连接(connected)”是指本领域中已知的或以后开发的任何方式，其中允许在两个或更多个元件之间传递能量，并且设想插入一个或多个另外的元件，尽管不是必需的。相反，术语“直接耦接(directly coupled)”、“直接连接(directly connected)”等意味着没有这种额外的元件。
所描述的实施例在所有方面都被视为仅是说明性的而非限制性的。具体地，本公开的范围由所附权利要求而不是由本文中的描述和附图指示。落入权利要求的等同物的含义和范围内的所有变化均包含在其范围内。
说明书和附图仅示出了本公开的原理。因此，应当理解，本领域普通技术人员将能够设计出各种布置，虽然在本文中未明确描述或示出，但是这些布置体现本公开的原理并包括在其范围内。此外，在本文中引用的所有实例主要明确地旨在仅用于教育目的，以帮助读者理解本公开的原理和由发明人为促进本领域所贡献的概念，并且将被解释为不限于这些具体引用的实例和条件。此外，在本文中叙述本公开的原理、方面和实施例及其特定实例的所有陈述旨在涵盖其等同物。
附图中所示的各种元件的功能(包括被标记为“处理器”和/或“控制器”的任何功能块)可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、由单个共享处理器或由多个单个的处理器提供，其中一些处理器可以被共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为排他地指能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。还可以包括常规和/或定制的其他硬件。类似地，在附图中示出的任何开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至手动地执行，如从上下文更具体地理解的，具体技术可由实施者选择。
如在本申请中使用的，术语“电路”可以指以下的一个或多个或全部：(a)仅硬件的电路实现方式(例如，仅在模拟和/或数字电路中的实现方式)；(b)硬件电路和软件的组合，诸如(如果适用的话)：(i)模拟和/或数字硬件电路与软件/固件的组合以及(ii)硬件处理器与软件(包括数字信号处理器)、软件、以及存储器的任何部分，它们一起工作以使诸如移动电话或服务器的装置执行不同功能；以及(c)需要用于操作的软件(例如，固件)的硬件电路和/或处理器，诸如，微处理器或微处理器的一部分，但是在不需要操作时，软件可能不存在。”电路的该定义适用于该术语在本申请中的所有使用，包括在任何权利要求中。作为进一步的实例，如在本申请中所使用的，术语电路还涵盖仅硬件电路或处理器(或多个处理器)或硬件电路或处理器的一部分及其(或其)附带软件和/或固件的实现方式。例如并且如果适用于特定的权利要求元件，术语电路还涵盖用于移动设备的基带集成电路或处理器集成电路或者在服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。
本领域普通技术人员应当理解，本文中的任何框图表示体现本公开的原理的说明性电路的概念视图。类似地，将了解，任何流程图、流程图、状态转变图、伪代码等表示可大体上在机器可读(例如，非暂时性)媒体中表示且由计算机或处理器执行的不同过程，而不管是否明确地展示此计算机或处理器。
在本说明书中的“一些具体实施例的概述”旨在介绍一些示例实施例，在“具体实施例”中和/或参考一个或多个附图描述了其他实施例。“一些具体实施例的概述”不旨在标识所要求保护的主题的基本元件或特征，也不旨在限制所要求保护的主题的范围。

Claims (20)

1.一种包括成像装置的设备，所述成像装置包括：
电子控制器，被配置为响应于主机命令来控制所述成像装置的一帧操作，所述一帧操作至少包括读取周期和垂直消隐周期；以及
电源调节器，被配置为选择性地将第一非零电压和第二非零电压供应至所述成像装置的数字电路块；并且
其中，所述成像装置被配置为在所述一帧操作内使所述数字电路块经受动态电压缩放，使得在所述读取周期期间将所述第一非零电压供应至所述数字电路块，并且在所述垂直消隐周期期间将所述第二非零电压供应至所述数字电路块。
2.根据权利要求1所述的设备，其中，所述电源调节器包括彼此并联连接在所述成像装置的电源端子和所述数字电路块之间的低压降调节器与电源门。
3.根据权利要求1所述的设备，其中，所述电源调节器被配置为使所述第二非零电压的绝对值小于所述第一非零电压的绝对值。
4.根据权利要求3所述的设备，
其中，所述数字电路块包括静态随机存取存储器(SRAM)；并且
其中，所述第二非零电压使所述SRAM能够在所述SRAM中执行数据保持操作。
5.根据权利要求4所述的设备，其中，所述第二非零电压不足以使所述SRAM在所述SRAM中执行数据读操作或数据写入操作。
6.根据权利要求1所述的设备，还包括：一个或多个振荡器，被配置为将第一时钟频率和第二时钟频率中所选的一个供应至所述数字电路块；并且
其中，所述成像装置还被配置为使所述数字电路块在所述一帧操作内经历动态频率缩放，使得在所述读取周期期间将所述第一时钟频率供应至所述数字电路块，并且在所述垂直消隐周期期间将所述第二时钟频率供应至所述数字电路块。
7.根据权利要求6所述的设备，
其中，所述一帧操作包括快门周期；并且
其中，所述一帧操作内的所述动态电压缩放和所述动态频率缩放被配置为使所述第一非零电压和所述第一时钟频率在所述快门周期期间被供应至所述数字电路块。
8.根据权利要求6所述的设备，
其中，所述一帧操作包括曝光周期；并且
其中，所述一帧操作内的所述动态电压缩放和所述动态频率缩放被配置为使所述第一非零电压和所述第一时钟频率在所述曝光周期期间被供应至所述数字电路块。
9.根据权利要求6所述的设备，其中，所述一个或多个振荡器被配置为在所述垂直消隐周期期间停止生成所述第一时钟频率。
10.根据权利要求6所述的设备，其中，所述第一时钟频率与所述第二时钟频率的比值大于300。
11.根据权利要求6所述的设备，其中，所述成像装置能被配置为在包括第一模式和不同的第二模式的多个操作模式中所选的一个中操作，所述第一模式包括一帧操作的序列。
12.根据权利要求11所述的设备，其中，所述电源调节器被配置为在所述第二模式期间将所述第一非零电压连续供应至所述数字电路块。
13.根据权利要求12所述的设备，其中，所述一个或多个振荡器被配置为在所述第二模式期间将所述第一时钟频率连续供应至所述数字电路块。
14.根据权利要求11所述的设备，其中，所述一个或多个振荡器被配置为在所述第二模式期间将所述第一时钟频率连续供应至所述数字电路块。
15.根据权利要求6所述的设备，
其中，所述成像装置还包括像素阵列和连接至所述像素阵列的模数转换器(ADC)电路；并且
其中，所述一个或多个振荡器被配置为将第三时钟频率供应至所述ADC电路，所述第三时钟频率大于所述第一时钟频率。
16.根据权利要求15所述的设备，其中，所述第三时钟频率是第一频率的整数倍。
17.根据权利要求15所述的设备，其中，所述一个或多个振荡器被配置为：
在所述读取周期期间将所述第三时钟频率供应至所述ADC电路；并且
在所述垂直消隐周期期间停止生成所述第三时钟频率。
18.根据权利要求1所述的设备，其中，所述电子控制器包括所述数字电路块。
19.一种包括成像装置的设备，所述成像装置包括：
电子控制器，被配置为响应于主机命令来控制所述成像装置的一帧操作，所述一帧操作至少包括读取周期和垂直消隐周期；
一个或多个振荡器，被配置为将第一时钟频率和第二时钟频率中所选的一个供应至所述成像装置的数字电路块；并且
其中，所述成像装置被配置为在所述一帧操作内使所述数字电路块经受动态频率缩放，使得在所述读取周期期间将所述第一时钟频率供应至所述数字电路块，并且在所述垂直消隐周期期间将所述第二时钟频率供应至所述数字电路块。
20.一种在成像装置中实施的方法，所述方法包括：
利用电子控制器，响应于主机命令来控制成像装置的一帧操作，所述一帧操作至少包括读取周期和垂直消隐周期；
利用电源调节器，将第一非零电压和第二非零电压选择性地供应至所述成像装置的数字电路块；
利用一个或多个振荡器，将第一时钟频率和第二时钟频率中所选的一个供应至所述数字电路块；并且
使所述数字电路块在所述一帧操作内经受动态电压和频率缩放(DVFS)，所述DVFS包括在所述读取周期期间将所述第一非零电压和所述第一时钟频率供应至所述数字电路块，以及在所述垂直消隐周期期间将所述第二非零电压和所述第二时钟频率供应至所述数字电路块。
CN202280029399.9A 2021-04-26 2022-04-22 用于图像传感器应用的动态电压和频率缩放 Pending CN117730294A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163180015P 2021-04-26 2021-04-26
US63/180,015 2021-04-26
PCT/US2022/025899 WO2022231961A1 (en) 2021-04-26 2022-04-22 Dynamic voltage and frequency scaling for image-sensor applications

Publications (1)

Publication Number Publication Date
CN117730294A true CN117730294A (zh) 2024-03-19

Family

ID=83846509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280029399.9A Pending CN117730294A (zh) 2021-04-26 2022-04-22 用于图像传感器应用的动态电压和频率缩放

Country Status (2)

Country Link
CN (1) CN117730294A (zh)
WO (1) WO2022231961A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8102398B2 (en) * 2006-03-03 2012-01-24 Ati Technologies Ulc Dynamically controlled power reduction method and circuit for a graphics processor
JP5343727B2 (ja) * 2009-06-19 2013-11-13 カシオ計算機株式会社 デジタルカメラ装置
KR20140088691A (ko) * 2013-01-03 2014-07-11 삼성전자주식회사 Ｄｖｆｓ 정책을 수행하는 시스템-온 칩 및 이의 동작 방법
US9378536B2 (en) * 2014-04-30 2016-06-28 Qualcomm Incorporated CPU/GPU DCVS co-optimization for reducing power consumption in graphics frame processing
US10319065B2 (en) * 2017-04-13 2019-06-11 Microsoft Technology Licensing, Llc Intra-frame real-time frequency control

Also Published As

Publication number Publication date
WO2022231961A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
WO2017018215A1 (ja) 固体撮像装置およびその制御方法、並びに電子機器
US9906753B2 (en) Imaging device, imaging apparatus, and electronic apparatus
Kumagai et al. A 1/4-inch 3.9 Mpixel low-power event-driven back-illuminated stacked CMOS image sensor
WO2013176007A1 (ja) 撮像素子、駆動方法、および電子装置
CN103139473A (zh) 消除快门迟滞的方法、照相机模块和具有其的移动设备
TWI616099B (zh) 在影像感測器中在每一影像擷取之間實施不均等時序間隔之方法及系統
US11323638B2 (en) Method of correcting dynamic vision sensor (DVS) events and image sensor performing the same
KR102183357B1 (ko) 고체 촬상 소자, 구동 방법 및 전자 기기
WO2015141490A1 (ja) 撮像素子、制御方法、並びに、撮像装置
KR20200010769A (ko) 이미지 센서
US10277807B2 (en) Image device and method for memory-to-memory image processing
US10097799B2 (en) Image sensor device with macropixel processing and related devices and methods
CN104010144A (zh) 固态成像器件和电子设备
JP2015216644A (ja) ビデオ処理、高速静止画処理、及び高品質静止画処理のためのアーキテクチャ
US20130306841A1 (en) Solid-state image device, method of driving solid-state imaging device, and electronic system
KR20210013388A (ko) 이미지 센서
Murakami et al. A 4.9 mpixel programmable-resolution multi-purpose cmos image sensor for computer vision
US20140264694A1 (en) Solid state imaging device and manufacturing method, and electronic apparatus
JP6173022B2 (ja) 画像処理装置
CN117730294A (zh) 用于图像传感器应用的动态电压和频率缩放
US20190394402A1 (en) Image sensor and electronic apparatus including the same
US11509823B2 (en) Imaging element, imaging apparatus, imaging method, and program
JP4232714B2 (ja) 読出アドレス制御方法、物理情報取得装置、および半導体装置
US7960767B2 (en) System for programmable gate array with sensor array
US11032476B2 (en) Image sensor and electronic device comprising the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination