CN101305619A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN101305619A
CN101305619A CNA2006800420957A CN200680042095A CN101305619A CN 101305619 A CN101305619 A CN 101305619A CN A2006800420957 A CNA2006800420957 A CN A2006800420957A CN 200680042095 A CN200680042095 A CN 200680042095A CN 101305619 A CN101305619 A CN 101305619A
Authority
CN
China
Prior art keywords
data
image
signal
frame
signal processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800420957A
Other languages
English (en)
Other versions
CN101305619B (zh
Inventor
鲁尧焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maira Co.,Ltd.
Original Assignee
MtekVision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MtekVision Co Ltd filed Critical MtekVision Co Ltd
Publication of CN101305619A publication Critical patent/CN101305619A/zh
Application granted granted Critical
Publication of CN101305619B publication Critical patent/CN101305619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Color Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种图像处理方法及装置，其通过迅速进行YUV数据的编码，从而能够在图像捕获时将延迟现象最小化。本发明的实施方式涉及的图像信号处理器中，用于预览模式的处理时钟速率或输出时钟速率和用于捕获模式的处理时钟速率或输出时钟速率应用不同的时钟速率，控制成在执行捕获模式时，处理时钟速率为输出时钟速率以上。通过本发明能够减少图像处理时的延迟现象。

Description

图像处理方法及装置
技术领域
本发明涉及图像处理，更详细地说，涉及用于减少图像处理延迟的装置及方法。
背景技术
近年来，通过将小型且薄型的摄像元件搭载到便携电话机或PDA(Personal Digital Assistant：个人数字助理)等小型且薄型的便携用终端上，从而使得便携用终端能够作为摄像装置工作，由此，不仅能够远程传送音频信息，还能够传送图像信息。摄像元件不仅可以配备在便携电话机或PDA中，还可配备在MP3播放机等便携用终端中，实现为能够在各种装置中将外部影像作为电子数据保持。
在这种摄像装置中，通常使用的有CCD(Charge Coupled Device：电荷耦合器件)型图像传感器或CMOS(Complementary Metal-OxideSemiconductor：互补型氧化金属半导体)型图像传感器等固态摄像元件。
图1是简要地示出通常的摄像装置的结构的图，图2是示出现有技术所涉及的用于输出编码后的数据的信号波形的图，图3是示出通常的JPEG编码过程的图。
如图1所述，将外部影像转换成电数据并显示到显示部150上的摄像装置包括图像传感器110、图像信号处理器(ISP，Image SignalProcessor)120、后端芯片(Back-end chip)130、基带芯片(Baseband Chip)140、以及显示部150。除此之外，摄像装置还包括用于存储转换后的电数据的存储器、将模拟信号转换成数字信号的AD转换器等。
图像传感器110是具有拜耳模式(Bayer Pattern)的传感器，按照每个单位像素，输出与经由透镜输入的光量相应的电信号(raw data)。
图像信号处理器120将从图像传感器110输入的电信号(raw data)转换成YUV值，将转换后的YUV值输出到后端芯片130。YUV方式是关注人眼对亮度比色相更加敏感这一事实的方式，将颜色分为作为亮度(Luminance)的Y成分和作为色相(Chrominance)的U及V成分。由于误差对Y成分的影响很大，所以以多于作为色相成分的U和V的比特对其进行编码。典型的Y∶U∶V的比例为4∶2∶2。
图像信号处理器120将转换后的YUV值依次存储到FIFO中，从而能够使得后端芯片130得到相应信息的输入。
后端芯片130通过预先指定的编码方法将所输入的YUV值转换成JPEG或BMP，存储到存储器中，或将其解码，显示到显示部150上。后端芯片130还能够进行图像的放大、缩小、旋转等工作。当然，如图1所示，基带芯片140还可以从后端芯片130输入解码后的数据，将该数据显示到显示部150上。
基带芯片140执行对摄像装置的动作进行整体控制的功能。例如，若使用者经由键输入部(未图示)输入摄像命令，则基带芯片140还可以通过向后端芯片130传送图像生成命令，使后端芯片130生成与所输入的外部影像相应的编码后的数据。
显示部150显示通过后端芯片130或基带芯片140的控制来提供的解码后的数据。
图2示出蓄积在存储器中的数据被依次输入以进行解码等处理的过程的信号波形。通常，后端芯片130实现为能够输入YUV/拜耳(BAYER)格式的数据，作为用于接受这种数据输入的接口，使用时钟信号(P_CLK)、垂直同步信号(V_sync)、有效数据使能信号(H_REF)、以及数据(DATA)信号。
如图2所示，现有的后端芯片130如下构成：在对一个帧(例如，第k个输入的帧，k为自然数)进行编码处理的过程中，针对后续帧(例如，第k+1个输入的帧)输入垂直同步信号(V_sync2)和/或图像数据，所以存在对图像数据进行编码时产生错误的可能性很大的问题。
即，现有的后端芯片130有时不仅对当前正在处理的帧进行编码处理，还一同对下一帧进行编码处理，所以存在不能完成正确的数据编码的问题。
并且，还存在如下问题：在后端芯片130的编码部将编码后的数据传递给解码部，或存储到存储器的情况下，在接收到新的垂直同步信号(V_sync2)之后，不能针对当前帧正常输入编码后的数据。
而且，如图2所示，现有的图像信号处理器120交替输出可在后端芯片130中存储数据时使用的H_REF信号。但是，这有可能成为后端芯片130的存储器切换记录使能(Write Enable)信号时引起电力消耗的原因。
图3示出通过后端芯片130进行的通常的JPEG编码过程。JPEG编码过程200对于本领域的技术人员来说是显而易见的，所以进行简要说明。
如图3所示，所输入的YUV值的图像被分成8×8像素大小的块，对各块进行DCT(离散余弦转换：Discrete Cosine Transform)(210)。DCT表示通过按照空间图像将图像转换成与之相应的频率形式来进行傅立叶转换(Fourier Transform)的一连串的转换过程。
接着，量化器(Quantizer)根据给视觉带来的影响，对各块的DCT系数进行加权，以进行量化(220)。将该权重表称为量化表。对于量化表的值，在DC附近取较小的值，在高频下，取较大的值，从而以较小的损失传输信息量较多的DC附近的数据，而在高频下实现较高的压缩率。
然后，通过作为无损耗编码器(Lossless coder)的熵编码器(entropyencoder)生成最终压缩的数据(230)。经过量化处理过程的系数由表示为0的一连串连续构成。因此，通过将数据表示为码符的游程(Run-length)编码，能够缩小数据大小。并且，通过哈夫曼(Huffman)编码，也能够减小数据大小。哈夫曼算法统计性地对更加重复频繁地生成的码符分配更短的符号。游程以及哈夫曼的这2个熵编码均是将数据大小缩小的编码过程，但不产生数据损失。
经过上述过程进行编码的数据被积载到存储器中。后端芯片130进行将积载在存储器中的数据解码并显示到显示部150上等的处理。
现有的图像信号处理器120实现为以比后端芯片140的时钟速率(Clock rate)低的时钟速率进行动作。
通常，图像传感器110以拜耳图像形式输出电信号(raw data)。所输出的电信号通过在图像信号处理器120中进行的预先指定的预处理(例如，图像处理、内插(interpolation)等)转换成RGB数据形式，该RGB数据为输出而转换成YUV数据。其结果，所输出的数据量为所输入的数据量的约2倍。因此，在图像信号处理器120的输出端中使用的时钟速率也为在图像信号处理器120内部中用于图像处理的时钟速率的约2倍。在后端芯片130中使用的时钟速率也为在图像信号处理器120内部用于图像处理的时钟速率的约2倍。
如上所述，由于在图像信号处理器120的输出端中使用的时钟速率较高，所以会在处理图像时出现问题。
即，在考虑到最近的高像素化倾向时，可以认为图像处理的速度是重要的因素。在以往的VGA或1兆字节左右的图像处理时，为了能够使使用者识别为自然的图像，20MHz～40MHz左右的时钟频率就已足够。但是，在发展到3～5兆字节以上的当前状态，为了满足每秒10～20帧，要求60MHz～80MHz下的图像处理。
但是，在考虑到现有的图像信号处理器120以及后端芯片130的联动结构时，在增加用于图像信号处理器120的图像处理的时钟速率的情况下，后端芯片130的时钟速率也要随之变得非常高，这是技术上不能实现的问题。
像这样，现有的图像信号处理器120将高像素图像处理成低频时钟速率，所以在捕获(capture)1个场景时，需要大量时间，不能捕获瞬间的场景，而捕获包含延迟时间的场景。即，存在如下问题：因在图像捕获时产生的延迟(lagging)现象，在拍摄动态物体时，捕获到模糊的图像。
并且，为了以低频时钟速率进行图像处理，在对一个图像完成JPEG编码之前，输入后续帧的图像数据，从而存在发生冲突的问题。
发明内容
于是，用于解决上述问题的本发明的目的在于，提供一种图像处理方法及装置，其能够迅速进行YUV数据的编码，从而在捕获图像时，将延迟现象最小化。
本发明的另一目的在于，提供一种图像处理方法及装置，其在针对一个帧进行编码处理时，限制针对后续帧的数据输入，从而能够抑制数据间的冲突。
本发明的又一目的在于，提供一种图像处理方法及装置，其通过将用于YUV数据的编码处理的时钟速率维持在用于输出编码后的图像数据的时钟速率以上，从而能够在数据的传送区间，迅速地传送更多的数据。
本发明的又一目的在于，提供一种图像处理方法及装置，其通过迅速地将有效数据传送到后端芯片，从而后端芯片能够将编码后的数据迅速解码。
本发明的又一目的在于，提供一种图像处理方法及装置，其图像信号处理器在将编码后的数据提供给后端芯片时，使用通常的接口结构，从而在硬件的设计以及控制方面具有有利的效果。
本发明的又一目的在于，提供一种图像处理方法及装置，其能够防止接收端(例如，后端芯片、基带芯片)的处理效率增进以及电力消耗。
本发明的又一目的在于，提供一种图像处理方法及装置，其图像信号处理器能够根据编码速度决定可否对所输入的帧进行编码，能够进行顺利的编码动作。
本发明的又一目的在于，提供一种图像处理的延迟减少装置及方法，其在将通过编码器编码后的数据传递到接收端时，能够在最佳时刻，输出垂直同步信号(V_sync)。
本发明的又一目的在于，提供一种图像处理的延迟减少装置及方法，当在接收端输入编码后的数据的情况下，不会因表示输入新帧的垂直同步信号的输入而导致当前帧进行了处理的数据的输入受到影响。
本发明的又一目的在于，提供一种图像处理的延迟减少装置及方法，其使仅由构成图像的有效数据构成的编码后的数据以集合方式传送到后端芯片，以增进后端芯片的处理效率以及处理速度。
本发明的又一目的在于，提供一种图像处理的延迟减少装置及方法，其将在后端芯片中存储数据时可利用的H_REF信号恒定维持在高电平(High)或低电平(Low)状态，从而能够防止由后端芯片的存储器的记录使能(Write Enable)信号的切换引起电力消耗。
本发明的又一目的在于，提供一种图像处理的延迟减少装置及方法，其通过使构成图像的有效数据集中配置在所输出的数据串的前端部，从而能够增进后端芯片的处理效率以及处理速度。
其他本发明的目的将通过以下叙述的优选实施方式进一步加以明确。
为了达到上述目的，根据本发明的一侧面，提供一种图像信号处理器和/或包括所述图像信号处理器的摄像装置。
根据本发明的一个优选实施方式，本发明提供一种摄像装置，该摄像装置包括图像传感器、图像信号处理器以及接收端，所述摄像装置包括：图像传感器，其生成与外部影像相应的电信号(raw data)并输出；以及图像信号处理器，其具备编码器，使用与所述电信号相应的YUV数据或所述编码器，生成编码后的数据，输出到所述接收端，在此，所述接收端是后端芯片(Back-End Chip)或基带芯片(Baseband Chip)。在此，用于生成所述YUV数据的第一处理时钟速率小于用于生成所述编码后的数据的第二处理时钟速率。
并且，在此，所述第一处理时钟速率为用于输出所述YUV数据和所述编码后的数据的输出时钟速率以下，所述第二处理时钟速率为所述输出时钟速率以上。
所述第一处理时钟速率与所述第二处理时钟速率之比可以是与一个帧相应的所述YUV数据的大小和应进行编码的数据的大小之比。所述大小可以是面积、横向长度、纵向长度、对角线长度中的任意一个。
所述图像传感器能够以符合与所述第一处理时钟速率或所述第二处理时钟速率相应地从所述图像信号处理器输入的时钟信号的方式生成所述电信号并输出。
所述第一处理时钟速率是预览(Preview)状态的时钟速率，所述第二处理时钟速率是用于处理与从所述接收端输入的捕获命令相应的帧的时钟速率。
在对与所述捕获命令相应的第k个帧进行处理的过程中，在从所述图像传感器输入表示开始输入第k+1个帧的垂直同步信号(V_sync)的情况下，所述图像信号处理器向所述图像传感器传送跳过(skip)命令，所述图像传感器不输出与所述第k+1个帧相应的电信号，其中，k为自然数。
在对与所述捕获命令相应的第k个帧进行处理的过程中，在从所述图像传感器输入表示开始输入第k+1个帧的垂直同步信号(V_sync)的情况下，所述图像信号处理器能够跳过(skip)从所述图像传感器输入的电信号的处理，其中，k为自然数。
所述图像信号处理器包括缓存，该缓存进行临时存储，以将所述编码后的数据传送到所述接收端。在此，当存储于所述缓存的编码后的数据量为预先指定的大小以上时，减小所述第二处理时钟速率。
在对与所述捕获命令相应的第k个帧进行处理的过程中，指示所述图像传感器，使之延迟输入第k+1个帧。
本发明的一个优选实施方式涉及的图像信号处理器包括：时钟生成器，其输出与处理时钟速率相应的时钟信号；控制单元，其进行如下控制：在被输入捕获命令时，使所述时钟生成器输出与增加后的处理时钟速率相应的时钟信号；子ISP，其根据所述时钟信号，使用从图像传感器输入的电信号，生成YUV数据；编码部，其根据所述时钟信号，使用所述YUV数据生成编码后的图像数据；存储器，其蓄积所述编码后的图像数据；以及输出部，其通过所述控制单元的控制，在每个预先指定的时刻，将所述蓄积的编码后的图像数据输出到接收端，其中，所述接收端是后端芯片或基带芯片。
所述图像信号处理器还包括缓存管理部，该缓存管理部监视所述存储器中蓄积的编码后的图像数据的量，生成监视信息。在此，所述控制单元使用所述监视信息来增减所述处理时钟速率。
在被输入所述捕获命令之前，所述输出部将通过所述子ISP输出的所述YUV数据输出到所述接收端。
在对与所述捕获命令相应的第k个帧进行处理的过程中，在从所述图像传感器输入表示开始输入第k+1个帧的垂直同步信号(V_sync)的情况下，所述控制单元向所述图像传感器传送跳过(skip)命令，所述图像传感器不输出与所述第k+1个帧相应的电信号，其中，k为自然数。
在对与所述捕获命令相应的第k个帧进行处理的过程中，在从所述图像传感器输入表示开始输入第k+1个帧的垂直同步信号(V_sync)的情况下，所述控制单元向所述子ISP传送跳过命令，所述子ISP跳过(skip)与所述第k+1个帧相应的YUV数据生成，k为自然数。
在对与所述捕获命令相应的第k个帧进行处理的过程中，指示所述图像传感器，使之延迟输入第k+1个帧，其中，k为自然数。
为了达到上述目的，根据本发明的另一方面，提供一种图像处理方法和/或记录有用于执行该方法的程序的记录介质。
根据本发明的一个优选实施方式，提供一种图像处理方法，该图像处理方法由摄像装置的图像信号处理器执行，所述摄像装置包括图像传感器、所述图像信号处理器以及接收端，所述图像处理方法包括执行如下处理的步骤：(a)依照第一处理时钟速率，生成与从所述图像传感器输入的电信号(raw data)相应的YUV数据，依照第一输出时钟速率，将所述YUV数据输出到所述接收端，在此，所述接收端是后端芯片或基带芯片；(b)从所述接收端输入捕获命令；以及(c)依照第二处理时钟速率，生成与从所述图像传感器输入的电信号(raw data)相应的编码后的数据，依照第二输出时钟速率，将所述编码后的数据输出到所述接收端。在此，所述图像信号处理器具备编码器，所述第一处理时钟速率为所述第二处理时钟速率以下。
所述图像传感器能够以符合与所述第一处理时钟速率或所述第二处理时钟速率相应地从所述图像信号处理器输入的时钟信号的方式生成所述电信号并输出。
所述第一处理时钟速率是预览(Preview)状态的时钟速率，所述第二处理时钟速率是用于处理与从所述接收端输入的捕获命令相应的帧的时钟速率。
所述步骤(c)包括执行如下处理的步骤：依照所述第二处理时钟速率，生成与从所述图像传感器输入的电信号(raw data)相应的编码后的数据；将所述编码后的数据存储到缓存中；将在符合预先指定的的期间内存储于所述缓存的所述编码后的数据，按照每个预先指定的时刻，依照所述第二输出时钟速率输出到所述接收端。在此，在所述缓存中存储的编码后的数据量为预先指定的大小以上的情况下，能够减小所述第二时钟速率。
如上所述，本发明具有如下效果：通过迅速进行YUV数据的编码，从而能够在捕获图像时，将延迟现象最小化。
并且，本发明具有如下效果：针对一个帧进行编码处理时，限制针对后续帧的数据输入，从而能够抑制数据间的冲突。
而且，本发明具有如下效果：通过将用于YUV数据的编码处理的时钟速率维持在用于输出编码后的图像数据的时钟速率以上，从而能够在数据的传送区间，迅速地传送更多的数据。
此外，本发明具有如下效果：通过迅速地将有效数据传送到后端芯片，从而后端芯片能够将编码后的数据迅速解码。
另外，本发明中，图像信号处理器在将编码后的数据提供给后端芯片时，使用通常的接口结构，从而在硬件的设计以及控制方面具有有利的效果。
并且，本发明具有如下效果：能够防止接收端(例如，后端芯片、基带芯片)的处理效率增进以及电力消耗。
而且，本发明具有如下效果：图像信号处理器能够根据编码速度决定可否对所输入的帧进行编码，从而能够进行顺利的编码动作。
此外，本发明具有如下效果：将通过编码器进行了编码的数据传递到接收端时，能够在最佳时刻，输出垂直同步信号(V_sync)。
另外，本发明具有如下效果：在接收端输入编码后的数据的情况下，不会因表示输入新帧的垂直同步信号的输入而导致当前帧进行了处理的数据的输入受到影响。
并且，本发明具有如下效果：使仅由构成图像的有效数据构成的编码后的数据以集合方式传送到接收端，以增进后端芯片的处理效率以及处理速度。
而且，本发明具有如下效果：将在后端芯片中存储数据时可利用的H REF信号恒定维持在高电平(High)或低电平(Low)状态，从而能够防止由后端芯片的存储器的记录使能(Write Enable)信号的切换引起电力消耗。
此外，本发明具有如下效果：通过使构成图像的有效数据集中配置在所输出的数据串的前端部，从而能够增进后端芯片的处理效率以及处理速度。
附图说明
图1是简要地示出了通常的摄像装置的结构的图。
图2是示出现有技术所涉及的用于输出编码后的数据的信号波形的图。
图3是示出通常的JPEG编码过程的图。
图4是简要地示出本发明的一个优选实施方式涉及的摄像装置的结构的图。
图5是详细地示出本发明的一个优选实施方式涉及的图像信号处理器的结构的图。
图6是例示出本发明的一个优选实施方式涉及的用于输出在图像信号处理器中编码后的数据的信号波形的图。
图7是例示出本发明的另一个优选实施方式涉及的用于输出在图像信号处理器中编码后的数据的信号波形的图。
图8是概念性地示出本发明的另一个优选实施方式涉及的从图像信号处理器传送并蓄积到后端芯片的存储器中的数据的存储方式的图。
图9是例示出本发明的另一个优选实施方式涉及的用于输出在图像信号处理器中编码后的数据的信号波形的图。
图10是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器中编码后的数据的信号波形的图。
图11是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器中编码后的数据的信号波形的图。
图12是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器中编码后的数据的信号波形的图。
图13是概念性地示出本发明的又一个优选实施方式涉及的从图像信号处理器传送并蓄积到后端芯片的存储器中的数据的存储方式的图。
图14是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器中编码后的数据的信号波形的图。
图15是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器的各结构要素中进行处理的数据的信号波形的图。
图16是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器的各结构要素中进行处理的数据的信号波形的图。
图17是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器的各结构要素中进行处理的数据的信号波形的图。
图18是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器的各结构要素中进行处理的数据的信号波形的图。
标记说明
110图像传感器；120图像信号处理器；130后端芯片；140基带芯片；150显示部；220量化器；230熵编码器；310时钟生成器；320子ISP；330编码部；340数据输出部；410预处理部；415YUV输出部；420输出控制部；425JPEG编码器；430缓存；435缓存管理部；450传感器控制部；445控制单元。
具体实施方式
上述的目的、特征以及优点将通过与附图相关的以下详细说明进一步加以明确。首先，需要注意的是，对各附图的结构要素附加标号时，对于相同的结构要素，例如即使表示在其他附图上，仍尽可能赋予相同的标号。下面，参照附图详细说明本发明的一个优选实施方式。
图4是简要地示出本发明的一个优选实施方式涉及的摄像装置的结构的图，图5是详细地示出本发明的一个优选实施方式涉及的图像信号处理器的结构的图。
参照图4，本发明涉及的摄像装置包括图像传感器110、图像信号处理器310、后端芯片130、基带芯片140、以及显示部150。
图像传感器110生成与外部影像相应的电信号(raw data)，输出到图像信号处理器310。图像传感器110在生成电信号并输出时，能够使用从时钟生成器440(参照图5)输入的时钟信号。对于本领域的技术人员来说，图像传感器110生成与外部影像相应的电信号并输出的过程属于显而易见的，所以省略其说明。
图像信号处理器310将从图像传感器110输入的电信号转换成YUV数据或编码后的数据，输出到后端芯片130。在预览(Preview，是利用显示部150显示通过图像传感器110输入的数据，而不生成图像数据的状态，是由使用者输入摄影命令之前的状态)状态下，输出YUV数据；在输入了捕获命令(即，用于生成对外部影像进行拍摄的图像数据的命令)时，输出对相应的帧进行了JPEG编码的数据。通常，摄像装置在输入捕获命令之前以及完成与捕获命令相应的图像数据编码之后，处于预览状态。
图像信号处理器310能够包括子ISP320、编码部330、以及数据输出部340等。除此之外，还可以包括时钟生成器、传感器控制部等。子ISP320还可以包括预处理部410、YUV输出部415等。对于编码部330，虽然假设为JPEG编码器的情况进行说明，但当然也可以是用于其他格式的数据转换的编码器。数据输出部340可以包括缓存430、缓存管理部435等。
参照详细示出图像信号处理器310的结构的图5，图像信号处理器310可以包括预处理部410、YUV输出部415、输出控制部420、JPEG编码器425、缓存430、缓存管理部435、时钟生成器440、控制单元445、传感器控制部450以及复用器(MUX`455。
预处理部410对从图像传感器110输入的电信号(raw data)进行处理，输出高分辨率YUV数据。可以通过预处理部410进行图像的色相、亮度等方面的画质改善。预处理部410可以采用与现有的图像信号处理器120相同或极其近似的结构要素。
YUV输出部415将从预处理部410输入的高分辨率YUV数据转换成符合预先设定的垂直线数和水平像素数的低分辨率YUV数据，输出到输出控制部420。用于预览(Preview)的垂直线数和水平像素数可由使用者设定或预先指定。
并且，YUV输出部415通过从后端芯片130经由I2C或SPI输入了捕获命令的控制单元445的控制，能够将高分辨率YUV数据提供给JPEG编码器425。JPEG编码器425使用从YUV输出部415输入的高分辨率YUV数据，生成JPEG编码后的数据。在由JPEG编码器425对与捕获命令相应的帧(例如，第k个帧)进行的编码处理中，在开始从图像传感器110输入后续帧(例如，第k+1个帧)的数据(raw data)的情况下，YUV输出部415通过控制单元445的控制，可以不将与后续帧相应的高分辨率YUV数据输入到JPEG编码器425。
输出控制部420对复用器455进行控制，该复用器455为了通过控制单元445的控制向后端芯片130输出低分辨率YUV数据或编码后的数据，进行切换动作。图5中示出，输出控制部420设置在YUV输出部415和复用器455之间的低分辨率YUV数据传送路径上的情况，当输出控制部420仅为了用于控制复用器455而存在的情况下，其也可以设置在控制单元445和复用器455之间的控制路径上。低分辨率YUV数据可提供给后端芯片130，以用于进行预览(Preview)；编码后的数据可提供给后端芯片130，以用于将进行了压缩的图像数据存储和/或解码。
JPEG编码器425使用从YUV输出部415输入的高分辨率YUV数据，生成JPEG编码后的数据，存储到缓存430中。JPEG编码过程已在上面进行了详细叙述，所以省略对其进行说明。
缓存430可以是例如环形存储器，能够按照所输入的顺序记录JPEG编码后的数据，按照所读出的(read)顺序重写(overwrite)新的数据。当然，还可以设定成删除(delete)所读出的数据。记录于缓存430内的JPEG编码后的数据可以仅限为有效数据(即，实际构成图像的数据)。对于从JPEG编码器425输出的JPEG编码后的数据是有效数据还是无效数据，可通过JPEG编码器425、缓存管理部435、以及控制单元445等的至少任意一个进行判断。无效数据输出到缓存430，该缓存430设定成在要记录的地点记录为空白或可连续记录后面的有效数据。在无效数据地点被记录为空白的情况下，对于该地点，可向后端芯片130输出充填数据(padding data，用于使形式上符合水平像素数的形式数据)。
缓存管理部435监视记录于缓存430的JPEG编码后的数据量，管理成缓存的容量不会全部被使用(即，不会出现不足)。缓存管理部435将对缓存430进行监视的信息(以下称为“监视信息”)提供给控制单元445。并且，缓存管理部435使记录于缓存430的数据在每个预先指定的时刻(例如，在图2中H REF信号被切换成高电平状态的时刻)，输出到后端芯片130。除此之外，缓存管理部435进一步使时钟信号(P_CLK)、垂直同步信号(V_sync)、以及有效数据使能信号(H_REF)输出到后端芯片130。
具体说明缓存管理部435的功能如下。
缓存管理部435设定成生成与现有的输出波形相同方式的输出波形，输入到后端芯片130。并且，在减少时钟速率(Clock rate)的情况下，管理成使得缓存430起到用于数据输出的缓冲作用。这是由于，在本发明涉及的图像信号处理器310中，用于编码处理的时钟速率(以下称为“处理时钟速率”)设定成比用于输出JPEG编码后的数据的时钟速率(以下称为“输出时钟速率”)高，所以为了输出JPEG编码后的数据，需要减少时钟速率。并且，通过减少时钟速率，可与现有的输出波形同样地输出JPEG编码后的数据，所以即使是现有的后端芯片130，也能够与本发明涉及的图像信号处理器310互换。
而且，缓存管理部435对存储于缓存430、经由复用器455输出的JPEG编码后的数据量进行合计，检查文件大小等，将相应信息传递给控制单元445，从而能够与时钟速率相关地调整压缩率，使得能够稳定地输出JPEG编码后的数据量。标度因子(scale factor)是指定为0～255范围内的任意值，来决定画质和压缩率的变量。若标度因子较大，则压缩率良好，但画质变差；若标度因子较小，则画质良好，但压缩率变差。控制单元445根据存储于缓存430的JPEG编码后的数据量调节标度因子，从而能够在输出缓存中无损失地调节时钟速率。这能够消除如下问题：即，由于用于生成编码后的数据的处理时钟速率过大，在读出所记录的数据之前，被新的数据重写。
因此，控制单元445在对与捕获命令相应的帧进行处理时，检查最大缓存利用量(即，全体缓存容量中预先指定的存储限度基准)是否全部被使用，由此，检查考虑到当前时钟速率的输出稳定度。接着，在存储于缓存430的数据量过多的情况下，提高标度因子。该情况下，优选标度因子设定成阶段性地提高。
作为其他方法，控制单元445可以仅统计对一个帧(即，FFD8(startmark)～FFD9(end mark))进行了JPEG编码的数据之中的有效数据(即，实际构成图像的数据)，调节标度因子。可通过JPEG编码器425、缓存管理部435、或控制单元445等的至少任意一个来识别出从JPEG编码器425输出的数据是有效数据还是无效数据。
作为又一方法，还可使用预处理部410的滤波器，这是在进行微细调整的情况下，控制模糊(bluring)程度的同时，限制数据量的方法。
时钟生成器440通过控制单元445的控制生成与任意的时钟速率相应的时钟信号，提供给各结构要素。通过被输入了捕获命令的控制单元445的控制，生成与处理时钟速率相应的时钟信号，输出到相应的结构要素(例如，预处理部410、YUV输出部415、JPEG编码器425、缓存管理部435等)。由时钟生成器440生成的时钟信号还输入到图像传感器110，在图像传感器110和图像信号处理器310之间联动。时钟生成器440还能够生成与输出时钟速率相应的时钟信号，输出到后端芯片130。
时钟生成器440可以在捕获命令输入到图像信号处理器310之前，像以往那样，维持小于输出时钟速率的处理时钟速率。但是，通过控制单元445的控制向图像信号处理器310输入了捕获命令之后，使得处理时钟速率(以下称为“第二处理时钟速率”)变为预览(preview)状态下的处理时钟速率(以下称为“第一处理时钟速率”)以上(即，第二处理时钟速率＞第一处理时钟速率)。该情况下，第二处理时钟速率增加的限界(即，上限值)可以预先设定。并且，增加的第二处理时钟速率可以大于或小于输出时钟速率。
即，若被输入了捕获命令，则为了迅速进行图像信号处理器310的处理，增加第一处理时钟速率，更新为第二处理时钟速率。该情况下，第一处理时钟速率和第二处理时钟速率之间的增加比例可以根据由各处理时钟速率处理的数据量来决定。通常，在预览模式中，以符合显示部150的大小或其以下的大小显示图像影像，但根据捕获命令编码后的图像按照预先指定的大小生成，而与显示部150的大小无关。但是，只是在编码后的图像被显示到显示部150上时，根据显示部150的大小或预览模式的显示大小进行显示。因此，第一处理时钟速率与第二处理时钟速率之比可以和用于预览模式的数据的大小(或，为预览图像的大小，例如可以为320×240，这是宽度、横向长度、纵向长度或对角线长度等的任意一个)与要进行编码的数据的大小(例如可以为640×480，这是宽度、横向长度、纵向长度或对角线长度等的任意一个)之比一致。
第二处理时钟速率的上限值可以是使记录于缓存430的数据量(即，输入量)与读出并传递到后端芯片130的数据量(即，输出量)之差维持在缓存430的存储容量(或最大缓存利用量)以下(或小于)的限界值。当然，即使第二处理时钟速率被指定为上述的上限值以下，在输入量与输出量之差处于缓存430的存储容量(或最大缓存利用量)以上的情况下，为了保护作为记录于缓存430的数据还未被读出的数据，可以减少第二处理时钟速率。第二处理时钟速率的增减可以通过缓存管理部435进行控制，或者使用从缓存管理部435提供的监视信息，通过控制单元445进行控制。
除此之外，时钟生成器440为了具备第二处理时钟速率比第一时钟速率相对增加的效果，能够进一步适用各种方法。例如，在处理时钟速率固定，输出时钟速率可变的情况下，时钟生成器440可以相对地减少输出时钟速率。但是，变更后的输出时钟速率应该能够在接收端进行识别并相应地进行动作。如上所述，通过控制单元445或缓存管理部435的控制，输出时钟速率可以与以往相比减少，处理时钟速率也可以比以往增加。例如，自不必说，在处理时钟速率增加的情况下，各结构要素能够更加迅速进行编码处理；在输出时钟速率减少的情况下，各结构要素能够进一步确保用于编码处理的时间。
控制单元445控制成，在预览状态中，从YUV输出部415输出的低分辨率YUV数据经由复用器455输出到后端芯片130；若从后端芯片130输入了捕获命令，则在对相应的帧进行编码处理时，控制各结构要素，以便能够使延迟现象最小化。并且，为了设定复用器455的路径，以便能够在当前动作状态(例如，预览状态或捕获命令输入状态)下输出相应的数据，对输出控制部420进行控制。并且，为了不使与捕获命令相应的帧(例如，第k个帧)的编码处理受到后续帧(即，第k+1个帧)的数据输入影响，或防止数据冲突，通过传感器控制部450来控制图像传感器110，从而能够抑制后续帧(该情况下，可以仅限定为第k+1个帧)的电信号(rawdata)输出。当然，在与捕获命令相应的帧的编码处理中，从图像传感器110开始输入后续帧的数据(raw data)的情况下，控制单元445能够控制成，YUV输出部415不会将与后续帧相应的高分辨率YUV数据输入到JPEG编码器425。并且，在图像传感器110和预处理部410之间具备切换机构的情况下，控制单元445能够控制成，对该切换机构进行控制，使得从图像传感器110输出的电信号不会输入到预处理部410。
传感器控制部450能够通过控制单元445的控制来控制图像传感器110的输出。例如，为对与捕获命令相应的帧进行编码处理，从控制单元输入了后续帧的跳过(skip)命令的情况下，传感器控制部450能够控制成不输出与后续帧相应的数据(raw data)。当然，除此之外，还可适用各种方法，对于这些方法，下面参照附图，详细进行说明。
复用器455通过输出控制部420的控制进行切换动作。即，若从输出控制部420要求作为预览状态设定用于输出低分辨率YUV数据的路径，则将路径设定成，使得从YUV输出部415输出的低分辨率YUV数据输入到后端芯片130。或者，若从输出控制部420要求设定用于输出与捕获命令相应的JPEG编码后的数据的路径，则将路径设定成，使得存储于缓存430的JPEG编码后的数据输出到后端芯片130。
下面，参照图5，说明本发明涉及的图像信号处理器310的动作过程。
首先，说明预览(Preview)状态下的动作过程。在预览状态下，在图像信号处理器310和图像传感器110的处理过程中，使用第一处理时钟速率。
图像传感器110生成与外部影像相应的电信号(raw data)，输入到预处理部410；预处理部410通过预先指定的方法对电信号进行处理，生成高分辨率YUV数据并输出。
YUV输出部415将高分辨率YUV数据转换成符合预先设定的垂直线数和水平像素数的低分辨率YUV数据，输出到输出控制部420。如上所述，在输出控制部420仅用于控制复用器455的切换动作的情况下，输出控制部420可以设置在控制单元445和复用器455之间的控制路径上。
并且，YUV输出部415还能够将高分辨率YUV数据提供给JPEG编码器425。这是由于，JPEG编码器425并不是用于使用高分辨率YUV数据来生成JPEG编码后的数据，而仅用于预先识别在输入了捕获命令的情况下，应输出的压缩后的图像数据量。JPEG编码器425可以预先了解针对应处理的图像数据的垂直线数和水平像素数，或从控制单元445接受相应的提供。
输出控制部420将从YUV输出部415输入的低分辨率YUV数据经由复用器455传递给后端芯片130。由于输入了捕获命令的情况不是一般的状态，所以复用器455设定的默认(default)路径可以是用于输出低分辨率YUV数据的路径。输入捕获命令时，通过输出控制部420的控制，复用器455可以变更路径，以便输出JPEG编码后的数据。
后端芯片130使用从图像信号处理器310输入的低分辨率YUV数据，向显示部150输出相应的图像，从而进行预览动作。
在使用低分辨率YUV数据进行预览动作时，在图像信号处理器310和后端芯片130之间收发的数据量较少，所以显然可以不受时钟速率影响地迅速传递数据。因此，在预览状态下，时钟生成器440的处理时钟速率能够与以往相同地适用。
其中，若为了顺利执行预览动作，需要进一步减少收发的数据量，则还可以利用图像传感器110和/或YUV输出部415进行子采样(Subsampling)。
但是，如上所述，根据由使用者输入的捕获命令，将与外部影像相应的JPEG编码后的数据传送到后端芯片130的情况下，必须将较大的图像快速输送，所以会产生延迟(lagging)现象。即，这是由于，根据捕获命令进行JPEG编码的数据(即，高分辨率YUV数据)的大小，要比为进行预览而输出的数据(即，低分辨率YUV数据)的大小大。以下，说明本发明涉及的图像信号处理器用于减少延迟现象的方法。
若摄像装置在预览状态下进行动作时，使用者为了拍摄任意影像而按下快门(或摄影按钮)，则图像信号处理器310(或控制单元445)经由I2C或SPI从后端芯片130接受捕获命令输入。被输入了捕获命令的控制单元445对时钟生成器440进行控制，控制成第二处理时钟速率达到第一处理时钟速率以上(或大于)。该情况下，第二处理时钟速率可以在输出时钟速率以上或小于输出时钟速率。使第二处理时钟速率相比于第一处理时钟速率绝对或相对地增加的方法如上所述。自不必说，与增加的第二处理时钟速率相应的时钟信号被用于对图像数据进行编码的各结构要素，而减少的输出时钟速率被用于输出JPEG编码后的数据。
在该情况下，图像传感器110生成与外部影像相应的电信号(rawdata)，输入到预处理部410；预处理部410通过预先指定的方法对电信号进行处理，生成高分辨率YUV数据，并输出。该情况下，图像传感器110以与从时钟生成器440输入的第二处理时钟速率(或基于第二处理时钟速率的时钟信号)相应的方式输出电信号，预处理部能够与第二处理时钟速率相应地进行预处理。
虽然完成了编码处理，但根据本发明，进行了JPEG编码的数据(或有效数据)集中配置在前半部，在垂直像素数的后半部仅配置有充填数据，所以无需读出与垂直像素数相当的全部数据。
缓存管理部435对缓存430进行监视，将监视信息传送到控制单元445。控制单元445能够使用从缓存管理部435输入的监视信息，将时钟生成器440控制成可调节处理时钟速率(或输出时钟速率)。例如，控制单元445能够将处理时钟速率(或输出时钟速率)控制成，使得存储于缓存430的JPEG编码后的数据维持在缓存430的存储空间的最大缓存利用量以下。这是为了控制处理时钟速率(或输出时钟速率)，以便不会在记录于缓存430的JPEG编码后的数据传送到后端芯片130之前，被新的数据重写(overwrite)，或由于存储了新的数据而导致还未读出的数据被删除。
存储于缓存430的JPEG编码后的数据从数据输出时刻(例如，图2中，H REF信号切换到高电平状态的时刻)起在数据输出区间的期间内输出。缓存430中可以仅记录有从JPEG编码器425输出的数据之中的有效数据，该情况下，能够仅依次输出有效数据，或在输出无效数据的区间输出充填数据。输出信号的波形通过缓存管理部435或控制单元445生成为与现有的输出波形相同。存储于缓存430的编码后的数据通过缓存管理部435或输出控制部420读出，输入到复用器455。
复用器455通过输出控制部420的控制，将路径设定成能够输出JPEG编码后的数据，所以从缓存430输出的JPEG编码后的数据经由复用器455输出到后端芯片130。
在JPEG编码器425对与捕获命令相应的帧进行编码处理的过程中，从图像传感器110向图像信号处理器310输入针对新帧的电信号的情况下，控制单元445控制YUV输出部415，使得相应的高分辨率YUV数据不输入到JPEG编码器，或预处理部410不接受相应的电信号(raw data)输入。当然，在图像传感器110和预处理部410之间设有切换机构的情况下，控制单元445控制该切换机构，使得从图像传感器110输出的电信号不会输入到预处理部410。通过上述的方法，能够省略与后续帧相应的数据的输入和/或处理，其结果，无需将图1b所示的V_sync2输出到后端芯片130，能够跳过(skip)。该情况下，自不必说，在V_sync2不输出到后端芯片130的情况下，相应的数据也不会输出到后端芯片130。
到现在为止，以如下方法为中心进行了说明：即，为了顺利地处理与通过使用者输入的捕获命令相应的帧(例如，第k个帧)的数据，跳过后续输入的帧(例如，第k+1个帧)的处理。
除了该方法，参照相关附图，详细说明能够无错误地进行图像信号处理器310的数据编码，并在图像信号处理器310和接收端(例如，后端芯片130、基带芯片140等)之间收发JPEG编码后的数据的各种方法。
图6是例示出本发明的一个优选实施方式涉及的用于输出图像信号处理器310中进行了编码的数据的信号波形的图。图6示出使记录于缓存430的数据具备一定时间的延迟(delay)之后依次输出的情况。
示出的信号波形通过缓存管理部435生成并输出，或者，也可以通过控制单元445生成并输出。在通过控制单元445生成信号波形并输出的情况下，缓存管理部435将在预先指定的区间(例如，H_REF(有效数据使能信号)信号维持在高电平状态的区间)期间记录于缓存430的JPEG编码后的数据(或有效数据)输出到接收端。H_REF信号在接收端被识别为记录使能(Write Enable)信号，将相应的数据记录到存储器中，通过这种方法，能够在接收端的存储器中仅依次记录有效数据。图6中，无效数据或充填数据为0×00的形式示出，但这并不指特定的数据。
通过缓存管理部435或控制单元445输出到接收端的时钟信号(P_CLK)可以是从时钟生成器440生成的、或由预先设定的输出时钟速率产生的时钟信号。图6所示，时钟信号可以仅在有效数据输出的期间，输出到接收端；在应输出无效数据或充填数据的区间，不输出到接收端(或维持在低电平状态)。当然，时钟信号也可以持续输出(下面的各附图中也相同)。自不必说，示出的垂直同步信号(V_sync)后续地输出与新帧相应的数据。
在与V_sync1相应的第k个帧的编码处理过程中，从图像传感器110输入与第k+1个帧相应的V_sync2的情况下，图像信号处理器310通过上述方法将跳过命令提供给图像传感器110或任意的结构要素，以跳过针对第k+1个帧的处理。该情况下，V_sync2无需输出到接收端，所以如图6所示，V_sync2的输出被跳过。可否输入V_sync信号可以通过检测V_sync信号的上升沿(rising edge)或下降沿(falling edge)来进行识别。
缓存管理部435或控制单元445可以从存储于缓存430的数据的JPEG报头(Header)和/或尾部(Tail)捕获“START MARKER”和“STOPMARKER”，以识别JPEG编码的开始和结束。
因此，即使从图像传感器110依次输入与#1、#2、#3帧相应的电信号(raw data)，图像信号处理器310输出的编码后的数据也可被仅限在针对#1、#3帧的数据。
图7是例示出本发明的另一个优选实施方式涉及的用于输出在图像信号处理器310中编码后的数据的信号波形的图，图8是概念性地示出本发明的另一个优选实施方式涉及的从图像信号处理器传送并蓄积到后端芯片的存储器中的数据的存储方式的图，图9是例示出本发明的另一个优选实施方式涉及的用于输出在图像信号处理器310中编码后的数据的信号波形的图。
图7至图9示出在缓存430中记录预先指定的大小的有效数据的每个时刻，输出到接收端的情况。
示出的信号波形通过缓存管理部435生成并输出，或者，也可以通过控制单元445生成并输出。通过控制单元445生成并输出信号波形的情况下，缓存管理部435将在预先指定的区间(例如、H_REF(有效数据使能信号)信号维持在高电平状态的区间)期间记录于缓存430的JPEG编码后的数据中的有效数据输出到接收端。缓存430可设定成仅记录有效数据。H_REF信号在接收端被识别为记录使能(Write Enable)信号，将相应的数据记录到存储器中，通过这种方法，接收端的存储器中可仅依次记录有效数据(参照图8)。图7和图9中，无效数据或充填数据以0×00的形式示出，但这不表示特定的数据。
如上所述，根据本发明的另一个优选实施方式，除去JPEG编码后的数据之中的无效数据，仅提取有效数据，在缓存430中蓄积与预先指定的行大小(图8的n，例如在H_REF信号维持在高电平状态期间传送的数据大小)相当的量。因此，可以在重复与预先指定的列大小(图8的m，例如，针对一个帧，H_REF信号被切换到高电平状态的总数量)相当的量之前，将针对第k个帧的全部有效数据传送到接收端。该情况下，如果在接收端识别为还未从图像信号处理器310接收到与预先指定的行大小×列大小相当量的JPEG编码后的数据(和/或充填数据)，则不进行处理。为了防止该情况，缓存管理部435或控制单元445在tf时间的期间内输出与剩余列数(即，由预先指定的列数一有效数据构成的列数)相当量的充填数据。输出蓄积在缓存中的有效数据的各区间的时间是输出预先指定大小的数据的时间，所以全部一致(即，ta＝tc＝td＝tf)。但是，蓄积该数据的时间(例如，tb)有可能各不一致。有效数据连续存在的情况下，能够减少蓄积时间。但是，输出充填数据之前的等待时间(例如te)相一致。
通过缓存管理部435或控制单元445输出到接收端的时钟信号(P_CLK)可以是在时钟生成器440中生成的、或由预先设定的输出时钟速率产生的时钟信号。如图7和图9所示，时钟信号可以仅在有效数据输出的期间(即，H_REF信号维持在高电平状态的区间)输出到接收端；在应输出无效数据或充填数据的区间，不输出到接收端(或维持在低电平状态)。自不必说，示出的垂直同步信号(V_sync)后续地输出与新帧相应的数据。
在与V_sync1相应的第k个帧的编码处理过程中，从图像传感器110输入与第k+1个帧相应的V_sync2的情况下，图像信号处理器310通过上述方法将跳过命令提供给图像传感器110或任意的结构要素，以跳过针对第k+1个帧的处理。该情况下，V_sync2无需输出到接收端，所以如图9所示，V_sync2的输出被跳过。缓存管理部435或控制单元445可以从存储于缓存430的数据的JPEG报头(Header)和/或尾部(Tail)捕获“START MARKER”和“STOP MARKER”，以识别JPEG编码的开始和结束。因此，即使从图像传感器110依次输入与#1、#2、#3帧相应的电信号(raw data)，图像信号处理器310输出的编码后的数据也可被仅限在针对#1、#3帧的数据。
图10和图11是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器310中编码后的数据的信号波形的图。
图10和图11所示的信号波形在输出针对一个帧的所有JPEG编码后的数据的期间，将H_REF信号维持在高电平状态。H_REF信号维持在高电平状态的期间，有效数据和充填数据(或无效数据)连续输出到接收端。
这是由于，在接收端，作为记录使能信号识别的H_REF信号交替，从而在接收端产生无谓的电力消耗。
自不必说，即使在该情况下，如上所述，也可跳过针对在当前进行处理的第k个帧的处理中输入的第k+1个帧的V_sync2，跳过基于V_sync2的数据输入以及处理。
图12是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器310中编码后的数据的信号波形的图；图13是概念性地示出本发明的又一个优选实施方式涉及的从图像信号处理器传送并蓄积到后端芯片的存储器中的数据的存储方式的图；图14是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器310中编码后的数据的信号波形的图。
与前面说明的图7至图9相比，图12至图14示出在预先指定的期间记录于缓存430的数据在预先指定的每个时刻输出的情况。即，缓存430中蓄积数据的时间以及将所蓄积的数据输出的时间预先进行指定。如果在预先指定的时间期间记录于缓存430的数据不符合预先指定的大小的情况下，对于剩余的不足部分，添加充填数据，传送到接收端。
该情况下，接收端的存储器中以与图8相同的方式记录数据，接收端在对记录于存储器的数据进行处理时，不读出n×m大小的所有数据，而仅读出集中配置在前半部的有效数据来进行处理，从而可以进行迅速的处理。
自不必说，即使在该情况下，如上所述，也可跳过针对在当前进行处理的第k个帧的处理中输入的第k+1个帧的V_sync2，跳过基于V_sync2的数据输入以及处理。
图15和图16是例示出本发明的又一个优选实施方式涉及的用于输出在图像信号处理器310的各结构要素中进行了处理的数据的信号波形的图。
如图15和图16所示，从各结构要素输入的V_sync信号以最小限的延迟(或无延迟)输入到后续的结构要素。与此相比，从在前的结构要素输入的数据在缓存以及处理等过程产生一定的延迟(例如、d1、d2、d3、d4等)。
因此，在图像信号处理器310中，若经由复用器455从在前的结构要素输入了V_sync的时刻，向接收端输出V_sync，则接收端在输入了V_sync之后经过至少d1+d2+d3+d4的时间，开始输入JPEG编码后的数据。这样能够减少接收端的处理效率。
因此，本发明的另一个优选实施方式中，在用于缓存JPEG编码器编码的数据的延迟时间、即d4的时间范围中的任意时刻(例如，JPEG编码器425为了开始编码，将1～8行之中的任意行缓存的时刻)，将V_sync输出到接收端，从而能够将接收端的等待时间最小化。
图17和图18是例示出本发明的又一个优选实施方式涉及的图像信号处理器310的各结构要素中处理的数据输出的信号波形的图。
图17所示，若图像信号处理器310在预览状态(例如，输入了第k-1个帧的状态)下被输入了捕获命令，则向图像传感器110输入V_sync_extend命令。V_sync_extend命令可以通过传感器控制部450输入。V_sync_extend命令可以在与捕获命令相应的帧、即第k个帧的处理过程中或处理之前进行传送。
被输入了V_sync_extend命令的图像传感器110在将针对第k+1个帧的V_sync输出到图像信号处理器310时，在留有图像信号处理器310将第k个帧全部处理的时间富余的状态下，输入到图像信号处理器310。
假设V_sync信号的输入被上升沿(rising_edge)检测出，则如图18所示，设定成针对第k+1个帧的V_sync在与输出针对第k个帧的“STOPMARKER”的时刻相同或其之后输出。
如上所述，本发明涉及的图像信号处理器310能够解决如下问题：即，通过上述的各种方法对第k个帧进行处理的期间，由于针对第k+1个帧的V_sync信号，导致第k个帧的正常的数据处理受到妨碍。
现有的后端芯片130实现成接受YUV/BAYER格式的数据输入，作为用于接受这种数据输入的接口，使用P_CLK、V_sync、H_REF、DATA信号。
考虑这一点，本发明的图像信号处理器310也实现为使用与以往相同的接口。
因此，自不必说，本发明即使在后端芯片130通过现有的后端芯片的设计方法来实现的情况下，也能够进行互换(port matching)。
以上，仅以图像信号处理器310采用JPEG编码方式的情况为中心进行了说明，但自不必说，即使在支持BMP编码方式、MPEG(MPEG1/2/4、MPEG-4AVC)编码方式、TV-out方式等其他编码方式的情况下，也能够利用相同的数据传送方式。
附图和具体实施方式仅用于例示地示出本发明，仅是以用于说明本发明的目的而使用的，并不是为了限定含义或限定权利要求书中记载的本发明的范围而使用的。因此，本领域的技术人员可由此进行各种变形以及等效的其他实施方式。因此，本发明的真正的技术保护范围应由本申请的权利要求书中的技术思想来决定。

Claims (20)

1.一种摄像装置，该摄像装置包括图像传感器、图像信号处理器以及接收端，该摄像装置的特征在于，所述摄像装置包括：
图像传感器，其生成与外部影像相应的电信号并输出；以及
图像信号处理器，其具备编码器，使用与所述电信号相应的YUV数据或所述编码器，生成编码后的数据，将相应数据输出到所述接收端，
用于生成所述编码后的数据的第二处理时钟速率大于用于生成所述YUV数据的第一处理时钟速率。
2.根据权利要求1所述的摄像装置，其特征在于，所述第一处理时钟速率为用于输出所述YUV数据和所述编码后的数据的输出时钟速率以下，所述第二处理时钟速率为所述输出时钟速率以上。
3.根据权利要求1所述的摄像装置，其特征在于，所述第一处理时钟速率与所述第二处理时钟速率之比是与一个帧相应的所述YUV数据的大小与应进行编码的数据的大小之比。
4.根据权利要求3所述的摄像装置，其特征在于，所述大小是面积、横向长度、纵向长度、以及对角线长度中的任意一个。
5.根据权利要求1所述的摄像装置，其特征在于，所述图像传感器能够以符合与所述第一处理时钟速率或所述第二处理时钟速率相应地从所述图像信号处理器输入的时钟信号的方式生成所述电信号并输出。
6.根据权利要求1所述的摄像装置，其特征在于，所述第一处理时钟速率是预览状态的时钟速率，所述第二处理时钟速率是用于处理与从所述接收端输入的捕获命令相应的帧的时钟速率。
7.根据权利要求6所述的摄像装置，其特征在于，在对与所述捕获命令相应的第k个帧进行处理的过程中，在从所述图像传感器输入表示开始输入第k+1个帧的垂直同步信号的情况下，所述图像信号处理器向所述图像传感器传送跳过命令，所述图像传感器不输出与所述第k+1个帧相应的电信号，其中，k为自然数。
8.根据权利要求6所述的摄像装置，其特征在于，在对与所述捕获命令相应的第k个帧进行处理的过程中，在从所述图像传感器输入表示开始输入第k+1个帧的垂直同步信号的情况下，所述图像信号处理器跳过从所述图像传感器输入的电信号的处理，其中，k为自然数。
9.根据权利要求1所述的摄像装置，其特征在于，所述图像信号处理器包括缓存，该缓存进行临时存储，以将所述编码后的数据传送到所述接收端，
当存储于所述缓存的编码后的数据量为预先指定的大小以上时，减小所述第二处理时钟速率。
10.根据权利要求6所述的摄像装置，其特征在于，在对与所述捕获命令相应的第k个帧进行处理的过程中，指示所述图像传感器，使之延迟输入第k+1个帧，其中，k为自然数。
11.一种图像信号处理器，所述图像信号处理器包括：
时钟生成器，其输出与处理时钟速率相应的时钟信号；
控制单元，其进行如下控制：在被输入捕获命令时，使所述时钟生成器输出与增加后的处理时钟速率相应的时钟信号；
子ISP，其根据所述时钟信号，使用从图像传感器输入的电信号，生成YUV数据；
编码部，其根据所述时钟信号，使用所述YUV数据生成编码后的图像数据；
存储器，其蓄积所述编码后的图像数据；以及
输出部，其通过所述控制单元的控制，在每个预先指定的时刻，将所述蓄积的编码后的图像数据输出到接收端。
12.根据权利要求11所述的图像信号处理器，其特征在于，所述图像信号处理器还包括缓存管理部，该缓存管理部监视所述存储器中所蓄积的编码后的图像数据的量，生成监视信息，
所述控制单元使用所述监视信息来增减所述处理时钟速率。
13.根据权利要求11所述的图像信号处理器，其特征在于，在被输入所述捕获命令之前，所述输出部将通过所述子ISP输出的所述YUV数据输出到所述接收端。
14.根据权利要求11所述的图像信号处理器，其特征在于，在对与所述捕获命令相应的第k个帧进行处理的过程中，在从所述图像传感器输入表示开始输入第k+1个帧的垂直同步信号的情况下，所述控制单元向所述图像传感器传送跳过命令，所述图像传感器不输出与所述第k+1个帧相应的电信号，其中，k为自然数。
15.根据权利要求11所述的图像信号处理器，其特征在于，在对与所述捕获命令相应的第k个帧进行处理的过程中，在从所述图像传感器输入表示开始输入第k+1个帧的垂直同步信号的情况下，所述控制单元向所述子ISP传送跳过命令，所述子ISP跳过与所述第k+1个帧相应的YUV数据生成，其中，k为自然数。
16.根据权利要求11所述的图像信号处理器，其特征在于，在对与所述捕获命令相应的第k个帧进行处理的过程中，指示所述图像传感器，使之延迟输入第k+1个帧，其中，k为自然数。
17.一种图像处理方法，该图像处理方法由摄像装置的图像信号处理器来执行，所述摄像装置包括图像传感器、所述图像信号处理器以及接收端，所述图像处理方法的特征在于，所述图像处理方法包括执行如下处理的步骤：
(a)依照第一处理时钟速率，生成与从所述图像传感器输入的电信号相应的YUV数据，依照第一输出时钟速率，将所述YUV数据输出到所述接收端；
(b)从所述接收端输入捕获命令；以及
(c)依照大于所述第一处理时钟速率的第二处理时钟速率，生成与从所述图像传感器输入的电信号相应的编码后的数据，依照第二输出时钟速率，将所述编码后的数据输出到所述接收端，
所述图像信号处理器具备编码器。
18.根据权利要求17所述的图像处理方法，其特征在于，所述图像传感器以符合与所述第一处理时钟速率或所述第二处理时钟速率相应地从所述图像信号处理器输入的时钟信号的方式生成所述电信号并输出。
19.根据权利要求17所述的图像处理方法，其特征在于，所述第一处理时钟速率是预览状态的时钟速率，所述第二处理时钟速率是用于处理与从所述接收端输入的捕获命令相应的帧的时钟速率。
20.根据权利要求17所述的图像处理方法，其特征在于，所述步骤(c)包括执行如下处理的步骤：
依照所述第二处理时钟速率，生成与从所述图像传感器输入的电信号相应的编码后的数据；
将所述编码后的数据存储到缓存中；以及
将在符合预先指定的条件的期间内存储于所述缓存的所述编码后的数据，按照每个预先指定的时刻，依照所述第二输出时钟速率输出到所述接收端，
当所述缓存中所存储的编码后的数据量为预先指定的大小以上时，减小所述第二时钟速率。
CN2006800420957A 2005-11-11 2006-05-29 图像处理方法及装置 Active CN101305619B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2005-0108257 2005-11-11
KR1020050108257A KR100591796B1 (ko) 2005-11-11 2005-11-11 이미지 처리 방법 및 장치
PCT/KR2006/002055 WO2007055450A1 (en) 2005-11-11 2006-05-29 Image processing method and device

Publications (2)

Publication Number Publication Date
CN101305619A true CN101305619A (zh) 2008-11-12
CN101305619B CN101305619B (zh) 2010-05-19

Family

ID=37183077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800420957A Active CN101305619B (zh) 2005-11-11 2006-05-29 图像处理方法及装置

Country Status (5)

Country Link
US (1) US8018499B2 (zh)
JP (1) JP4932846B2 (zh)
KR (1) KR100591796B1 (zh)
CN (1) CN101305619B (zh)
WO (1) WO2007055450A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289143A (zh) * 2010-06-18 2011-12-21 上海三旗通信科技有限公司 低端手机平台可以挂载高像素摄像头的实现方法
CN107924554A (zh) * 2015-08-26 2018-04-17 苹果公司 图像处理流水线中对图像数据的多速率处理

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100674474B1 (ko) * 2005-11-02 2007-01-25 엠텍비젼 주식회사 수직 동기 신호 지연 출력 방법 및 그 방법을 수행하는이미지 시그널 프로세서
KR100827680B1 (ko) 2006-07-13 2008-05-07 엠텍비젼 주식회사 썸네일 데이터 전송 방법 및 장치
US20090167888A1 (en) * 2007-12-28 2009-07-02 Yo-Hwan Noh Methods of processing imaging signal and signal processing devices performing the same
KR101661574B1 (ko) * 2009-11-10 2016-10-14 삼성전자주식회사 셔터-딜레이를 줄이기 위한 카메라 모듈
US20110268427A1 (en) * 2010-04-30 2011-11-03 Brelay Herve Methods and apparatuses for a projected pvr experience
US8543724B2 (en) 2010-04-30 2013-09-24 Digital Keystone, Inc. Methods and apparatuses for a projected PVR experience
US9883116B2 (en) * 2010-12-02 2018-01-30 Bby Solutions, Inc. Video rotation system and method
JP5808485B2 (ja) * 2011-06-23 2015-11-10 ▲華▼▲為▼終端有限公司Ｈｕａｗｅｉ Ｄｅｖｉｃｅ Ｃｏ．， Ｌｔｄ． 移動端末の録画方法、関連装置及びシステム
TWI459814B (zh) * 2011-09-28 2014-11-01 Altek Corp 可自動切換記憶體時脈之影像擷取裝置及其控制方法
US9313378B2 (en) * 2012-04-16 2016-04-12 Samsung Electronics Co., Ltd. Image processing apparatus and method of camera
US11570479B2 (en) 2020-04-24 2023-01-31 Samsung Electronics Co., Ltd. Camera module, image processing device and image compression method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5206730A (en) * 1989-11-10 1993-04-27 Konica Corporation Still video camera having one-shot and serial shot modes
JPH03154487A (ja) * 1989-11-10 1991-07-02 Konica Corp ディジタルスチルビデオカメラ
JPH099251A (ja) * 1995-06-20 1997-01-10 Hitachi Ltd 並列画像符号化方法およびその装置
JPH10233947A (ja) 1997-02-19 1998-09-02 Hitachi Ltd 撮像装置
JP3296780B2 (ja) * 1998-05-11 2002-07-02 三洋電機株式会社 ディジタルカメラ
JP2000032332A (ja) * 1998-07-07 2000-01-28 Casio Comput Co Ltd 電子カメラ
US7424207B2 (en) * 2000-02-18 2008-09-09 Sanyo Electric Co., Ltd. Digital camera
JP2001292347A (ja) 2000-04-06 2001-10-19 Sony Corp ワイヤレス・ビデオカメラ
KR100377108B1 (ko) 2000-12-11 2003-03-26 주식회사 테라벨류테크놀로지 라스터-블록변환 데이터 처리장치
JP4570837B2 (ja) * 2002-05-20 2010-10-27 富士フイルム株式会社 撮像装置
US20060174303A1 (en) * 2003-04-15 2006-08-03 Kanazawa University Technology Licensing Organization Ltd. Moving picture encoding or decoding processing system and mobin g picture encoding or decoding processing method
JP4054917B2 (ja) * 2003-09-17 2008-03-05 カシオ計算機株式会社 撮像装置、及びその動画撮影方法、プログラム
KR100605935B1 (ko) * 2003-10-31 2006-08-02 삼성전자주식회사 동영상 촬영 방법
JP2005167489A (ja) * 2003-12-01 2005-06-23 Sony Corp 記録装置および方法、再生装置および方法、ならびに、記録再生装置および方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289143A (zh) * 2010-06-18 2011-12-21 上海三旗通信科技有限公司 低端手机平台可以挂载高像素摄像头的实现方法
CN107924554A (zh) * 2015-08-26 2018-04-17 苹果公司 图像处理流水线中对图像数据的多速率处理
CN107924554B (zh) * 2015-08-26 2021-09-10 苹果公司 图像处理流水线中对图像数据的多速率处理

Also Published As

Publication number Publication date
JP2009515459A (ja) 2009-04-09
US8018499B2 (en) 2011-09-13
KR100591796B1 (ko) 2006-06-26
CN101305619B (zh) 2010-05-19
WO2007055450A1 (en) 2007-05-18
JP4932846B2 (ja) 2012-05-16
US20090015701A1 (en) 2009-01-15

Similar Documents

Publication Publication Date Title
CN101305619B (zh) 图像处理方法及装置
KR100347508B1 (ko) 촬상 장치
CN101312532B (zh) 摄像装置、摄像电路以及摄像方法
CN104952470A (zh) 用于数字视频记录器的视频格式
EP1981272B1 (en) Image capturing apparatus, image processing apparatus and control methods thereof
KR101323733B1 (ko) 고속 고화질 연사 기능을 가지는 영상 입력 장치 및 이를이용한 연사 방법
US7948527B2 (en) Image signal processor and method for outputting deferred vertical synchronous signal
KR20070025929A (ko) 화상 처리 장치, 촬상 장치 및 화상 처리 시스템
KR100664550B1 (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
US7936378B2 (en) Image pickup device and encoded data transferring method
US8873878B2 (en) Image processing apparatus and method with reduced processing load
KR100788983B1 (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
US8154749B2 (en) Image signal processor and deferred vertical synchronous signal outputting method
JP2018011120A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
KR100664554B1 (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
JP2941913B2 (ja) 画像信号記録装置
JP3368164B2 (ja) 符号化復号化システム
JPH09270991A (ja) 映像記録装置
KR20070047730A (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치
KR20080050076A (ko) 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210112

Address after: Han Guoshouer

Patentee after: Maira Co.,Ltd.

Address before: Han Guoshouer

Patentee before: MTEKVISION Co.,Ltd.