CN101753820A - 信息处理装置、缓冲器控制方法和计算机程序 - Google Patents
信息处理装置、缓冲器控制方法和计算机程序 Download PDFInfo
- Publication number
- CN101753820A CN101753820A CN200910258386A CN200910258386A CN101753820A CN 101753820 A CN101753820 A CN 101753820A CN 200910258386 A CN200910258386 A CN 200910258386A CN 200910258386 A CN200910258386 A CN 200910258386A CN 101753820 A CN101753820 A CN 101753820A
- Authority
- CN
- China
- Prior art keywords
- line
- view data
- buffer
- read
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000872 buffer Substances 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims description 15
- 238000004590 computer program Methods 0.000 title claims description 7
- 230000010365 information processing Effects 0.000 title abstract 2
- 239000000654 additive Substances 0.000 claims description 33
- 230000000996 additive effect Effects 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 53
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/7795—Circuitry for generating timing or clock signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
提供了一种信息处理装置，包括：缓冲器，用于保持从图像拾取设备逐行输出的图像数据；写入使能生成器，用于生成写入使能信号，所述写入使能信号指示通过其将所述图像数据逐行写入所述缓冲器的时序；加法器，用于按照每个参考时钟将读取频率设置值相加，所述读取频率设置值确定写入所述缓冲器中的所述图像数据的读出频率；以及读取使能生成器，用于基于所述读取频率设置值的相加值生成读取使能信号，所述读取使能信号指示通过其逐行读出写入所述缓冲器中的所述图像数据的时序。
Description
技术领域
本发明涉及信息处理装置、缓冲器控制方法和计算机程序。
背景技术
图像拾取装置(如数字照相机)通常使用如CCD(电荷耦合器件)或CMOS(互补金属氧化半导体)成像器的固态图像拾取设备作为图像拾取设备。具体地，CMOS成像器可以高速读出数据，并且适于要求高速性能的实时处理的实现。
当从前端将图像数据读入相机系统LSI并且执行图像处理时，从前端输出的图像数据首先输出到相机信号处理器，并且经历各种相机信号处理。此时，相同的图像数据也从前端输出到图像信号检测器，其用于对检测到的由相机拍摄的图像信号执行处理。由相机信号处理器处理的图像数据通过存储器控制器输出到数据总线，并且经由存储器接口(以下也称为“存储器I/F”)输出到图像存储器，并且暂时存储在其中。暂时存储在图像存储器中的图像数据通过存储器控制器再次经由存储器I/F从图像存储器输出到数据总线。此后，将图像数据输入到监视器接口(以下也称为“监视器I/F”)用于显示或输出到图像压缩器/解压缩器，然后在对其执行预定图像处理后，经历用于将其输出到外部监视器的处理或记录处理。
当实践这种数据流程时，数据总线由多个图像处理块共享，因此需要注意数据总线带宽的使用。具体地，当图像数据以高速从CMOS成像器读出并暂时存储在图像存储器中以便实现要求高速性能的实时处理时，存在数据总线带宽的使用可能瞬时大幅度增加的问题。在这种情况下，其它图像处理块或微计算机不能使用数据总线，因此降低了处理效率。此外，数据总线带宽的使用的瞬时和大幅度的增加导致LSI内的功耗的峰值的增加，因此从电源方面不能确保稳定操作。
为了克服这种困难，在日本未审专利申请公开No.2002-135663中公开了一种方法，用于将FIFO数据缓冲器插入在外部输入部分和数据处理器之间，通过FIFO数据缓冲器暂时接收输入数据，并且控制从缓冲器的输出速率。利用这种方法，可以比较FIFO数据缓冲器中的剩余数据量和输入数据量，以便确定与该比较结果对应的输出数据速率的增加或减少，并且以阶段性(phased)方式传输数据，因此对数据速率控制是有效的。
此外，在日本未审专利申请公开No.H10-322571中公开了一种方法，用于通过具有图像处理的共同线缓冲器控制、通过对图像处理共享线存储器并且瞬时执行输入图像数据的镜面反向处理，执行相机信号处理所需的输入图像数据处理。
发明内容
然而，存在这样的困难：日本未审专利中请公开No.2002-135663中的方法要求安装如数据速率确定器和速度转换器的电路，并且应当实现适于速率确定和速度转换的算法开发和实现方法。
然后，考虑前述问题，期望提供一种新颖的和改进的信息处理装置、缓冲器控制方法和计算机程序，能够发出以高速从固态图像拾取设备读出的图像数据而不增加数据总线带宽的瞬时使用。
根据本发明的实施例，提供了一种信息处理装置，包括：缓冲器，用于保持从图像拾取设备逐行输出的图像数据；写入使能生成器，用于生成写入使能信号，该写入使能信号指示通过其将图像数据逐行写入缓冲器的时序；加法器，用于按照每个参考时钟将读取频率设置值相加，该读取频率设置值确定写入缓冲器中的图像数据的读出频率；以及读取使能生成器，用于基于读取频率设置值的相加值生成读取使能信号，该读取使能信号指示通过其逐行读出写入缓冲器中的图像数据的时序。
根据本发明，基于根据读取频率设置值的相加值生成的读取使能信号，逐行读出写入缓冲器中的图像数据。以此方式，通过使用读取频率设置值的相加值，可以容易地控制图像数据的读出处理中的数据总线带宽的使用。因为这个原因，可以减少数据总线带宽的瞬时使用，并且可用的数据总线带宽可以被其它图像处理块或微计算机使用，从而实现增加处理效率。
这里，当所述读取频率设置值的相加值超过预定值时，所述读取使能生成器可以生成读取使能信号。此时，所述加法器从相加值中减去所述预定值。
此外，还可以包括设置值存储，用于在将读取频率设置值与图像拾取设备成像图像的成像模式相关联的同时存储读取频率设置值。此时，还可以包括改变器，用于根据成像模式改变读取频率设置值。
此外，图像数据的读取频率越高，可以将读取频率设置值设置越大。
此外，可以设置读取频率设置值，使得从缓冲器读出图像数据的读取速率大于将图像数据写入缓冲器的写入速率。
所述写入使能生成器可以基于垂直同步信号的输出开始输出写入使能信号，所述垂直同步信号在图像数据帧的头部处获得激活。此后，所述写入使能生成器可以基于水平同步信号输出写入使能信号，所述水平同步信号在图像数据的每行的头部处获得激活。
此外，根据本发明的另一实施例，提供了一种缓冲器控制方法，包括以下步骤：生成写入使能信号，该写入使能信号指示通过其将从图像拾取设备输出的图像数据逐行写入缓冲器的时序；基于写入使能信号的输出，将图像数据逐行写入缓冲器；按照每个参考时钟将读取频率设置值相加，该读取频率设置值确定写入缓冲器中的图像数据的读出频率；基于读取频率设置值的相加值生成读取使能信号，该读取使能信号指示通过其逐行读出写入缓冲器中的图像数据的时序；以及基于读出使能信号的输出，从缓冲器逐行读出图像数据。
此外，根据本发明的另一实施例，提供了一种计算机程序，用于使得计算机用作以下部件：生成写入使能信号，该写入使能信号指示通过其将从图像拾取设备输出的图像数据逐行写入缓冲器的时序；基于写入使能信号的输出，将图像数据逐行写入缓冲器；按照每个参考时钟将读取频率设置值相加，该读取频率设置值确定写入缓冲器中的图像数据的读出频率；基于读取频率设置值的相加值生成读取使能信号，该读取使能信号指示通过其逐行读出写入缓冲器中的图像数据的时序；以及基于读出使能信号的输出，从缓冲器逐行读出图像数据。
根据本发明的上述实施例，可以提供一种信息处理装置、缓冲器控制方法和计算机程序，能够发出以高速从固态图像拾取设备读出的图像数据而不增加数据总线带宽的瞬时使用。
附图说明
图1是示出根据本发明实施例的数字照相机的示意性配置的方块图；
图2是示出根据该实施例的相机系统LSI的配置的方块图；
图3是示出由CMOS成像器输出的图像数据的二维像素图像的示例的说明图；
图4是示出根据该实施例的数据速率控制器的配置的方块图；
图5是用于说明将图像数据写入和读出根据该实施例的行缓冲器的时序的说明图；
图6是示出图像数据的配置的说明图；
图7是示出通过根据该实施例的数据速率控制器的图像数据的写入处理的流程图；
图8是示出通过根据该实施例的数据速率控制器的图像数据的读出处理的流程图；
图9是用于说明图像数据的读取时序的说明图；以及
图10是用于说明数据总线带宽的使用的说明图。
具体实施方式
以下，将参照附图描述本发明的各优先实施例。注意，在本说明书和附图中，具有基本相同功能和结构的结构性元件用相同的参照标号表示，并且省略这些结构元件的重复说明。
<数字照相机的示意性配置>
首先，将基于图1和图2描述作为包括根据本发明实施例的信息处理装置的装置的一个示例的数字照相机100的示意性配置。此外，图1是示出根据本实施例的数字照相机100的示意性配置的方块图。图2是示出根据本实施例的相机系统LSI 150的配置的方块图。
根据本实施例的数字照相机100包括镜头110、图像传感器120和时序生成器(时序生成器；TG)130，如图1所示。此外，数字照相机100包括前端140、相机系统LSI 150、微计算机160、图像存储器170、外部存储介质180和图像监视器190。
镜头110是聚集来自拍摄对象的光并将其引导到图像传感器120的光学元件。在镜头110和图像传感器120之间提供有光圈112和快门114。光圈112通过改变光通过的区域来控制聚集到图像传感器120的光量。快门114通过阻断光的通过来控制曝光。此外，尽管在图1中分开提供光圈112和快门114，但是可以提供也具有快门114的功能的光圈112。
图像传感器120是如CCD或CMOS传感器的传感器，并且是将拍摄对象的光信息转换为电信号的元件。在图像传感器120的表面安排多个滤色镜(未示出)以便区分颜色。图像传感器120将转换后的电信号传输到稍后描述的前端140。
时序生成器(TG)130在水平方向和垂直方向上驱动图像传感器120。此外，TG 130例如使用高速/低速电子快门控制曝光。
前端140将从图像传感器120输入的模拟信号转换为数字信号。前端140执行用于移除噪声的相关双采样、增益控制和A/D转换，如图1所示。前端140将生成的数字信号传输到稍后描述的相机系统LSI 150。
相机系统LSI 150基于来自图像传感器120的数字化的信息执行各种数字信号处理，并且生成亮度信号和颜色信号。相机系统LSI 150还可以通过压缩数据生成压缩数据。相机系统LSI 150包括图像信号检测器151、存储器接口152和相机信号处理器153，如图2所示。此外，相机系统LSI 150包括存储器控制器154、微计算机接口155、图像压缩器/解压缩器156和监视器接口157。
图像信号检测器151对检测到的通过相机拍摄的图像信号执行处理，该图像信号变为各种相机控制(如自动聚焦(AF)、自动曝光(AE)和自动白平衡(AWB))的基础。存储器接口152用作与用于相机系统LSI 150中的图像存储器170的接口，并发送和接收图像数据和压缩数据。
基于在前端140处数字化的、来自传感器的图像信息，相机信号处理器153执行数字信号处理，并且生成包括亮度信号和颜色信号的图像信号。相机信号处理器153执行如插值计算、滤波计算、矩阵计算、亮度生成计算和颜色生成计算的数字信号处理。存储器控制器154在每个信号处理块之间或在信号处理块和存储器之间发送和接收图像数据，并且控制其中数据流动的数据总线。
微计算机接口155用作与控制相机系统LSI 150的微计算机160的总线接口，并且在微计算机160和相机系统LSI 150之间发送和接收控制数据和图像数据。图像压缩器/解压缩器156通过压缩数据来生成压缩数据以及解压缩压缩数据。例如，JPEG解码器等可以用作图像压缩器/解压缩器156。监视器接口157将图像数据转换为各种显示格式，用于将其显示在外部监视器190上。例如，NTSC解码器等可以用作监视器接口157。
返回图1，微计算机160是控制整个相机块的微计算机。例如，微计算机160执行通过光圈112的曝光控制、快门114的打开和关闭控制、TG 130中的电子快门控制、前端140中的增益控制、通过相机系统LSI 150的各种模式控制和参数控制。
图像存储器170是用于存储数字图像数据的存储器元件，并且例如是SDRAM(同步DRAM)。图像存储器170用于相机系统LSI 150中的数字信号处理。
外部存储介质180是存储压缩数据(例如，JPEG等)的存储介质。通常相对于数字照相机100的主体可移动的提供存储介质180。在相机系统LSI150中处理的图像数据记录在外部存储介质180中。
图像监视器190是用于监视拍摄的图像的显示器，并且例如是LCD(液晶显示器)面板。在相机系统LSI 150中处理的图像数据显示在图像监视器190上。
在这种数字照相机100中，从前端140将图像数据读入相机系统LSI 150中，并且对其执行图像处理。从前端140输出的图像数据输出到相机信号处理器153，并且经历各种相机信号处理。此时，相同的图像数据还从前端140输出到图像信号检测器151，用于对检测到的通过相机拍摄的图像信号执行处理。由相机信号处理器153处理的图像数据通过存储器控制器154输出到数据总线158，并且经由存储器接口152输出到图像存储器170，以便暂时存储在其中。
暂时存储在图像存储器170中的图像数据通过存储器控制器154，经由存储器接口152从图像存储器170再次输出到数据总线。此后，图像数据输入图像压缩器/解压缩器156，并且经历记录处理。此外，图像数据在输入监视器接口157并经历预定图像处理后输出到图像监视器190。
上面已经描述了根据本实施例的数字照相机100的示意性配置。接着，将基于图3和图4描述根据本实施例的数据速率控制器300的配置。此外，图3是示出由CMOS成像器输出的图像数据的二维像素图像的示例的说明图。图4是示出根据本实施例的数据速率控制器300的配置的方块图。
<数据速率控制器的配置>
在描述根据本实施例的数据速率控制器300的配置之前，将基于图3描述通过CMOS成像器输出的图像数据的二维像素图像。由CMOS成像器输出的图像数据包括用于黑检测的光学黑(OPB)区域200、有效区域205、以及无关区域，如图3所示。无关区域包括围绕有效区域205的左无关区域201、上无关区域202、右无关区域203和下无关区域204。无关区域通常是围绕作为记录区域的有效区域205的区域，具有两个像素宽度，但是对本实施例中的无关区域给出余量。根据本实施例的数字照相机100的CMOS成像器从OPB区域200的左上向右方向扫描并且逐行地输出图像数据，向下到作为最后一行的下无关区域204。
接着，将基于图4描述根据本实施例的数据速率控制器300的配置。数据速率控制器300是执行行缓冲器控制的信息处理装置。数据速率控制器300包括行缓冲器310、写入使能生成器320、设置值存储330、加法器340、以及读取使能生成器350，如图4所示。
行缓冲器310是每行暂时存储图像数据的缓冲器。根据本实施例的行缓冲器310包括两个缓冲器(第一缓冲器312和第二缓冲器314)，以便保持两行的图像数据。基于从写入使能生成器320输出的写入使能信号，行缓冲器310存储要暂时存储的图像数据。此外，行缓冲器310基于从读取使能生成器350输出的读取使能信号，输出图像数据到BUS I/F 304。
写入使能生成器320是生成写入使能信号并将写入使能信号输出到行缓冲器310的功能部件。写入使能信号指示通过其将从前端140输入的图像数据写入行缓冲器310的时序。
设置值存储330存储读取频率设置值，其确定从行缓冲器310读出图像数据的频率。通过由微计算机302映射控制寄存器来获得读取频率设置值。例如，将读取频率设置值设为从0到1的值。此外，设置值存储330还可以在将读取频率设置值与数字照相机100的每个成像模式相关的同时存储该读取频率设置值。
加法器340通过参照设置值存储330获得读取频率设置值，并且执行每个时钟周期将读取频率设置值相加的处理。加法器340将读取频率设置值的相加值输出到读取使能生成器350。
读取使能生成器350是生成读取使能信号并将读取使能信号输出到行缓冲器310的功能部件。读取使能生成器350判断对从加法器340输入的读取频率设置值的相加值是否出现进位(carry)，并且当它出现时，读取使能生成器350将读取使能信号输出到行缓冲器310。例如，当读取频率设置值设为0到1之间的值时，读取使能生成器350判断相加值是否为1或更多，并且当相加值变为1或更多时，读取使能生成器350输出读取使能信号到行缓冲器310。
上面已经描述了根据本实施例的数据速率控制器300的配置。接着，将基于图5到图9描述通过数据速率控制器300的行缓冲器控制器。首先，将基于图5和图6描述根据本实施例的将图像数据写入和读出行缓冲器310的时序。此外，图5是用于说明将图像数据写入和读出根据该实施例的行缓冲器310的时序的说明图。图6是示出图像数据的配置的说明图；
图像数据到行缓冲器310的写入处理从垂直同步信号的输出开始，如图5所示。垂直同步信号在帧的头部处获得激活。如图6所示，图3中的图像数据的有效区域205包括其中在水平方向上交替排列红色像素(R)和绿色像素(Gr)的R-Gr行、以及其中在水平方向上交替排列绿色像素(Gr)和蓝色像素(B)的Gr-B行。R-Gr行(参考标号201和203)和Gr-B行在垂直方向上交替排列。如上所述，CMOS成像器从OPB区域200的左向右方向扫描并且逐行地输出图像数据，向下到作为最后一行的下无关区域204。因此，当输出垂直同步信号时，R-Gr行201首先输入行缓冲器310中，例如，行缓冲器310的第一行缓冲器312，如图5所示。
当基于垂直同步信号的输出开始输出构成图像数据的各行中的第一行时，基于水平同步信号的输出，将垂直安排的Gr-B行和R-Gr行输入行缓冲器310中。水平同步信号在行的头部处获得激活。从CMOS成像器输入的每行的数据交替输入第一缓冲器312和第二缓冲器314中。以图像拾取设备(如CMOS成像器)的数据速率快速执行图像数据到行缓冲器310中的输入。
另一方面，基于稍后描述的读取使能信号的输出，将输入行缓冲器310中的图像数据输出到图像扩展电路360。存储在行缓冲器310的两个缓冲器中的行数据交替输出到图像扩展电路360，如从第一缓冲器312，第二缓冲器314，第一缓冲器312等。在图5的示例中，在水平同步信号获得激活时的时序从行缓冲器310输出行数据。
根据本实施例的数据速率控制器300调整行数据的输出，以便防止快速写入行缓冲器310中的行数据快速输出到数据总线158。在图5的示例中，因为以高速执行行数据到行缓冲器310的写入处理，所以在短的时间使用中将行数据写入行缓冲器310中。另一方面，在从行缓冲器310的行数据的读出处理中，使用水平同步信号的输出周期逐渐输出数据，以便防止数据快速输出到数据总线158。
下面将基于图7到图10详细描述图像数据的写入处理和读出处理。此外，图7是示出通过根据该实施例的数据速率控制器300的图像数据的写入处理的流程图。图8是示出通过根据该实施例的数据速率控制器300的图像数据的读出处理的流程图。图9是用于说明图像数据的读出时序的说明图。图10是用于说明数据总线带宽的使用的说明图。
<图像数据的写入处理>
首先，将基于图7描述图像数据到行缓冲器310的写入处理。此外，在图7中，当输出标志WEN为0时，不输出写入使能信号，而当输出标志WEN为1时，输出写入使能信号。
在图像数据到根据本实施例的行缓冲器310的写入处理的开始处，输出标志WEN为0，如图7所示(步骤S110)。首先，判断是否输出垂直同步信号(步骤S 120)。输出标志WEN保持为0直到输出垂直同步信号，并且等待直到输出垂直同步信号。然后，当输出垂直同步信号时，输出标志WEN变为1(步骤S130)。通过这样，开始将图像数据的每行数据写入行缓冲器310。
接着，判断第一行数据(例如，图6中的R-Gr行201)到行缓冲器310的第一行缓冲器312的写入是否完成(步骤S140)。当在步骤S140判断第一行数据的写入没有完成时，继续写入处理，返回到步骤S130。另一方面，当在步骤S140判断第一行数据的写入完成时，输出标志设为0(步骤S150)。
此外，判断图像数据的所有行数据是否写入到行缓冲器310(步骤S160)。当在步骤S160判断所有行数据写入行缓冲器310时，处理返回到步骤S110，并且等待直到输出垂直信号，即，直到重新输入图像数据。另一方面，当在步骤S160判断所有行数据没有写入行缓冲器310时，判断是否输出水平同步信号(步骤S170)。当在步骤S170判断没有输出水平同步信号时，处理返回到步骤S150，并且等待将下一行数据写入行缓冲器310，直到输出水平同步信号。
另一方面，当在步骤S170判断输出了水平同步信号时，判断是否存在终止图像数据的写入处理的指令(步骤S180)。然后，当继续图像数据的写入处理时，处理返回到步骤S130，并且输出标志WEN设为1，并且将第二行数据(例如，图6中的Gr-B行202)写入行缓冲器310的第二缓冲器314。以此方式，直到图像数据的所有行数据的写入完成，以水平同步信号的输出时序，将图像数据的每个行数据交替写入行缓冲器310的两个缓冲器中。此外，当在步骤S180存在终止图像数据的写入处理的指令时，写入处理终止。
<图像数据的读出处理>
接着，将基于图8描述图像数据到行缓冲器310的读出处理。此外，当输出标志REN为0时不输出读取使能信号，而当输出标志REN为1时输出读取使能信号。
在图像数据到根据本实施例的行缓冲器310的读出处理的开始处，输出标志REN为0，如图8所示(步骤S210)。首先，判断是否输出水平同步信号(步骤S220)。输出标志REN保持为0直到输出水平同步信号，并且等待直到输出水平同步信号。然后，当输出水平同步信号时，输出标志REN变为1。通过这样，开始从行缓冲器310将图像数据的每行数据读出。
接着，当输出水平同步信号时，执行读取频率设置值的加法处理(步骤S230)。通过读取频率设置值确定读取使能信号的输出时序。在步骤S230，加法器340从设置值存储330读出读取频率设置值，并且每个时钟周期执行读取频率设置值的加法处理。加法器340将读取频率设置值的相加值输出到读取使能发生器350。
此外，读取使能发生器350判断从加法器340输入的读取频率设置值的相加值是否为1或更多(步骤S240)。如上所述，读取频率设置值设为从0到1的值。因此，当加法器340重复读取频率设置值的加法时，在某个时序对于相加值出现进位，并且相加值变为1或更多。在步骤S240判断对于相加值是否出现进位，并且当不出现进位时，输出标志REN保持为0(步骤S250)，并且处理返回到步骤S230，并且重复读取频率设置值的加法。
另一方面，当在步骤S240判断对于相加值出现进位时，输出标志REN设为1(步骤S260)。通过这样，读取使能生成器350输出读取使能信号到行缓冲器310。当接收读取使能信号的输入时，行缓冲器310将首先写入两个缓冲器之一的行数据输出到图像扩展电路360。此外，当相加值变为1或更多时，加法器340使得从相加值中减去1的值作为新的相加值。
这里，图9中示出了读出处理的一个示例。在该示例中，读取频率设置值设为0.2。加法器340以每个时钟周期(CLK)的输出时序将读取频率设置值相加。然后，当相加值变为1.0并且出现进位时，指导读取使能信号的输出的输出标志REN在随后的时钟周期变为1。通过这样，从行缓冲器310开始输出一行数据。此外，当对于相加值出现进位时，将减去1的相加值(在本示例中位0)设为新的相加值，并且在随后的时钟周期，将读取频率设置值加到新的相加值。此后，当对于相加值再次出现进位时，输出标志REN再次变为1，并且输出读取使能信号。
返回到图8，判断是否随后从行缓冲器310的缓冲器之一(例如，第一缓冲器312)读出第一行数据(例如，图6中的R-Gr行201)(步骤S270)。当在步骤S270判断第一行数据的读取没有完成时，读出处理返回到步骤S230并且继续。在步骤S230，每个时钟周期将读取频率设置值相加，并且当相加值再次变为1或更多时，读出行数据。
另一方面，当在步骤S270判断第一行数据的读取完成时，确认是否存在用于终止读出处理的指令(步骤S280)。然后，当图像数据的写入和读出处理继续时，处理返回到步骤S210，并且将输出标志REN设为0，并且等待从行缓冲器310的读出处理直到输出随后的水平信号。当输出随后的水平信号时，开始将读取频率设置值相加，并且当相加值变为1或更多时，执行第二行数据(例如，图6中的Gr-B行202)的读取。此外，当在步骤S280存在用于终止图像数据的读出处理的指令时，终止读出处理。
上面已经描述了通过根据本实施例的数据速率控制器300的行缓冲器控制。利用通过根据本实施例的数据速率控制器300的行缓冲器控制，在以对应于图像拾取设备的数据速率的高速执行行数据的写入处理时，以根据读取频率设置值的低速执行行数据的读出处理。也就是说，行数据的读取可通过读取频率设置值控制，而不依赖于图像拾取设备的数据速率。
当没有执行根据本实施例的行缓冲器控制时，由于同样以对应于图像拾取设备的数据速率的高速执行行数据的读出处理，所以数据总线带宽瞬时增加，如图10的左图所示。相反，通过执行根据本实施例的行缓冲器控制，以低速从行缓冲器310读出行数据，从而实现数据总线带宽的瞬时使用的减少，如图10的右图所示。通过这样，可用的数据总线带宽可以被其它图像处理块或微计算机使用，从而实现增加处理效率。此外，数据总线带宽的瞬时使用的减少可以减少相机系统LSI 150内的功耗的峰值，并且同样从电源方面可以实现稳定操作。此外，因为这种缓冲器控制可以只通过确定的读取频率设置值来控制数据速率，所以可以利用非常简单的电路和软件应用的实现来实现。
<根据成像模式的读取频率设置值的设置>
这里，确定从行缓冲器310的读出处理的速度的读取频率设置值可以根据成像模式改变它的值。在数字照相机100中，例如存在视频记录模式、静态图像监视模式和静态图像记录模式作为成像模式。通过图像拾取设备输出的一行中的像素数目和水平时段根据不同的成像模式而变化。因为这样，图像拾取设备的读取速率(通过水平时段划分的一行中的输出像素数目)也根据成像模式变化。在本实施例中，图像拾取设备的读取速率可以在大于图像数据到行缓冲器310的写入速率的范围内确定。这是因为如果写入速率变得大于读取速率，则由于用于读出的不足容量，在数据读出终止前覆盖了下一行数据。
例如，如项目的表1所示，可以对每个成像模式设置读取频率设置值。此外，静态图像监视模式指示在静态图像记录前的取景(framing)时间。此外，假设1个像素等于16位，计算图像拾取设备的读出速率。
表1
| 读出模式 | 通过图像拾取设备输出的一行中的像素数目(像素) | 水平时段(μs) | 图像拾取设备的读出速率(百万像素/秒/百万位/秒) | 读取频率设置值 |
| 视频记录 | 1200 | 10 | 120/1920 | 0.20 |
| 静态图像监视 | 1200 | 40 | 30/480 | 0.05 |
| 静态图像记录 | 3600 | 15 | 240/3840 | 0.40 |
如表1所示，当通过图像拾取设备输出的一行的读出速率大时，读取频率设置值设为相对大的值，如静态图像记录模式。当需要比静态图像监视模式更快的处理时，读取频率设置值设为大的值，如视频记录模式。以此方式，根据成像模式设置适当的读取频率设置值，从而可以只使用必需的用于成像模式的数据总线带宽量。因此，可以更有效地使用数据总线带宽，并且可用的数据总线带宽可以有效地使用，例如，如由其它图像处理块或微计算机使用。
尽管在前面已经参照附图描述了本发明的优选实施例，但是本发明不限于此。本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效物的范围内。
例如，在上面实施例中描述了数字照相机中的行缓冲器控制，但是本发明不限于此。例如，这种行缓冲器控制可以应用于包括能够以高速读取数据的图像拾取设备的成像装置。
本申请包含涉及于2008年12月12日向日本专利局提交的日本优先权专利申请JP 2008-316975中公开的主题，在此通过引用并入其全部内容。
Claims (8)
1.一种信息处理装置，包括：
缓冲器，用于保持从图像拾取设备逐行输出的图像数据；
写入使能生成器，用于生成写入使能信号，所述写入使能信号指示通过其将所述图像数据逐行写入所述缓冲器的时序；
加法器，用于按照每个参考时钟将读取频率设置值相加，所述读取频率设置值确定写入所述缓冲器中的所述图像数据的读出频率；以及
读取使能生成器，用于基于所述读取频率设置值的相加值生成读取使能信号，所述读取使能信号指示通过其逐行读出写入所述缓冲器中的所述图像数据的时序。
2.如权利要求1所述的信息处理装置，其中当所述读取频率设置值的相加值超过预定值时，
所述读取使能生成器生成所述读取使能信号，并且
所述加法器从所述相加值中减去所述预定值。
3.如权利要求1所述的信息处理装置，还包括：
设置值存储，用于在将所述读取频率设置值与所述图像拾取设备成像图像的成像模式相关联的同时存储所述读取频率设置值；以及
改变器，用于根据所述成像模式改变所述读取频率设置值。
4.如权利要求3所述的信息处理装置，其中所述图像数据的读取频率越高，将所述读取频率设置值设置越大。
5.如权利要求1所述的信息处理装置，设置所述读取频率设置值，使得从所述缓冲器读出所述图像数据的读取速率大于将所述图像数据写入所述缓冲器的写入速率。
6.如权利要求1所述的信息处理装置，其中
所述写入使能生成器基于垂直同步信号的输出开始输出所述写入使能信号，然后基于水平同步信号输出所述写入使能信号，所述垂直同步信号在所述图像数据帧的头部处获得激活，所述水平同步信号在所述图像数据的每行的头部处获得激活。
7.一种缓冲器控制方法，包括以下步骤：
生成写入使能信号，所述写入使能信号指示通过其将从图像拾取设备逐行输出的图像数据写入缓冲器的时序；
基于所述写入使能信号的输出，将所述图像数据逐行写入所述缓冲器；
按照每个参考时钟将读取频率设置值相加，所述读取频率设置值确定写入所述缓冲器中的所述图像数据的读出频率；
基于所述读取频率设置值的相加值生成读取使能信号，所述读取使能信号指示通过其读取写入所述缓冲器中的所述图像数据的时序；以及
基于所述读出使能信号的输出，从所述缓冲器逐行读出所述图像数据。
8.一种计算机程序，用于使得计算机用作以下部件：
生成写入使能信号，所述写入使能信号指示通过其将从图像拾取设备逐行输出的图像数据写入缓冲器的时序；
基于所述写入使能信号的输出，将所述图像数据逐行写入所述缓冲器；
按照每个参考时钟将读取频率设置值相加，所述读取频率设置值确定写入所述缓冲器中的所述图像数据的读出频率；
基于所述读取频率设置值的相加值生成读取使能信号，所述读取使能信号指示通过其读出写入所述缓冲器中的所述图像数据的时序；以及
基于所述读取使能信号的输出，从所述缓冲器逐行读出所述图像数据。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP316975/08 | 2008-12-12 | ||
| JP2008316975A JP4692621B2 (ja) | 2008-12-12 | 2008-12-12 | 情報処理装置、バッファ制御方法およびコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101753820A true CN101753820A (zh) | 2010-06-23 |
| CN101753820B CN101753820B (zh) | 2013-04-17 |
Family
ID=42240053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910258386.5A Expired - Fee Related CN101753820B (zh) | 2008-12-12 | 2009-12-14 | 信息处理装置、缓冲器控制方法和计算机程序 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8194155B2 (zh) |
| JP (1) | JP4692621B2 (zh) |
| CN (1) | CN101753820B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109922284A (zh) * | 2017-12-13 | 2019-06-21 | 三星电子株式会社 | 图像感测系统及其操作方法 |
| CN114697557A (zh) * | 2022-06-01 | 2022-07-01 | 合肥埃科光电科技股份有限公司 | 信号时序控制方法及存储介质 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010199880A (ja) * | 2009-02-24 | 2010-09-09 | Olympus Imaging Corp | 撮像装置 |
| JP2012175303A (ja) | 2011-02-18 | 2012-09-10 | Jvc Kenwood Corp | 撮像装置、撮像方法、及びプログラム |
| JP5909997B2 (ja) * | 2011-11-01 | 2016-04-27 | 株式会社リコー | 撮像装置および撮像装置の制御方法 |
| JP6065185B2 (ja) * | 2014-03-07 | 2017-01-25 | パナソニックＩｐマネジメント株式会社 | 撮像装置及び暗電荷測定方法 |
| EP3113540B1 (en) * | 2014-04-04 | 2019-11-06 | Huawei Technologies Co., Ltd. | Method and device for adjusting data transmission rate |
| JP6539509B2 (ja) * | 2015-06-15 | 2019-07-03 | オリンパス株式会社 | データ転送装置およびデータ転送方法 |
| JP6564625B2 (ja) * | 2015-06-15 | 2019-08-21 | オリンパス株式会社 | データ転送装置およびデータ転送方法 |
| JP7170478B2 (ja) * | 2018-09-18 | 2022-11-14 | 株式会社東芝 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US11470282B2 (en) | 2020-12-09 | 2022-10-11 | Waymo Llc | Systems, apparatus, and methods for transmitting image data |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002135663A (ja) * | 2000-10-26 | 2002-05-10 | Nec Eng Ltd | 送信装置 |
| CN1816108A (zh) * | 2004-11-25 | 2006-08-09 | 索尼株式会社 | 图象拾取设备和图象拾取方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998040874A1 (fr) * | 1997-03-10 | 1998-09-17 | Komatsu Ltd. | Synthetiseur d'image, convertisseur d'image et procedes |
| JPH10322571A (ja) | 1997-05-20 | 1998-12-04 | Canon Inc | 映像信号処理装置及び方法 |
| JP2002508091A (ja) * | 1998-04-02 | 2002-03-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像表示システム |
| US6937277B1 (en) * | 1998-04-24 | 2005-08-30 | Canon Kabushiki Kaisha | Image input apparatus employing read region size determination |
| JP2005020521A (ja) * | 2003-06-27 | 2005-01-20 | Mitsubishi Electric Corp | 撮像装置及びこの撮像装置を備える携帯型電話機 |
| US8451282B2 (en) * | 2007-11-16 | 2013-05-28 | Mstar Semiconductor, Inc | Method and apparatus for accessing image data |
-
2008
- 2008-12-12 JP JP2008316975A patent/JP4692621B2/ja not_active Expired - Fee Related
-
2009
- 2009-12-07 US US12/592,987 patent/US8194155B2/en not_active Expired - Fee Related
- 2009-12-14 CN CN200910258386.5A patent/CN101753820B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002135663A (ja) * | 2000-10-26 | 2002-05-10 | Nec Eng Ltd | 送信装置 |
| CN1816108A (zh) * | 2004-11-25 | 2006-08-09 | 索尼株式会社 | 图象拾取设备和图象拾取方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109922284A (zh) * | 2017-12-13 | 2019-06-21 | 三星电子株式会社 | 图像感测系统及其操作方法 |
| CN109922284B (zh) * | 2017-12-13 | 2022-03-15 | 三星电子株式会社 | 图像感测系统及其操作方法 |
| CN114697557A (zh) * | 2022-06-01 | 2022-07-01 | 合肥埃科光电科技股份有限公司 | 信号时序控制方法及存储介质 |
| CN114697557B (zh) * | 2022-06-01 | 2022-09-13 | 合肥埃科光电科技股份有限公司 | 信号时序控制方法及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20100149376A1 (en) | 2010-06-17 |
| JP4692621B2 (ja) | 2011-06-01 |
| US8194155B2 (en) | 2012-06-05 |
| CN101753820B (zh) | 2013-04-17 |
| JP2010141687A (ja) | 2010-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101753820B (zh) | 信息处理装置、缓冲器控制方法和计算机程序 | |
| US10616511B2 (en) | Method and system of camera control and image processing with a multi-frame-based window for image data statistics | |
| US8350791B2 (en) | Image display controlling device | |
| US8941744B2 (en) | Image sensors for establishing an image sharpness value | |
| US11758284B2 (en) | Image processors and image processing methods | |
| US11223762B2 (en) | Device and method for processing high-resolution image | |
| CN110198419A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US7996603B2 (en) | DRAM controller that forces a refresh after a failed refresh request | |
| JPWO2020170729A1 (ja) | 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム | |
| US20110193988A1 (en) | Semiconductor device and semiconductor integrated circuit | |
| CN110278375A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN113873141A (zh) | 电子设备 | |
| JP7414431B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
| JP6955308B2 (ja) | 撮像素子、撮像装置、撮像方法及びプログラム | |
| JP4356651B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
| CN109391788A (zh) | 用于处理图像信号的系统 | |
| JP6403479B2 (ja) | 撮像装置およびその制御方法 | |
| US11875047B2 (en) | Local memory use for perspective transform engine | |
| US12114073B2 (en) | Imaging element including processor configured to receive vibration information related to a vibration exerted on the imaging element, imaging apparatus, operation method of imaging element, and program | |
| JP2012209798A (ja) | 画像処理システム及び撮像装置 | |
| WO2019153264A1 (zh) | 图像预处理方法及装置、图像传感器接口、图像处理方法及装置 | |
| CN117078493A (zh) | 图像处理方法及系统、npu、电子设备、终端及存储介质 | |
| JPH09326962A (ja) | デジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130417 Termination date: 20151214 |
|
| EXPY | Termination of patent right or utility model |