CN100375498C - 信号处理方法及信号处理装置 - Google Patents

信号处理方法及信号处理装置 Download PDF

Info

Publication number
CN100375498C
CN100375498C CNB2004100835996A CN200410083599A CN100375498C CN 100375498 C CN100375498 C CN 100375498C CN B2004100835996 A CNB2004100835996 A CN B2004100835996A CN 200410083599 A CN200410083599 A CN 200410083599A CN 100375498 C CN100375498 C CN 100375498C
Authority
CN
China
Prior art keywords
memory
data
mentioned
reading
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2004100835996A
Other languages
English (en)
Other versions
CN1614990A (zh
Inventor
北村臣二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
松下电器产业株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 松下电器产业株式会社 filed Critical 松下电器产业株式会社
Publication of CN1614990A publication Critical patent/CN1614990A/zh
Application granted granted Critical
Publication of CN100375498C publication Critical patent/CN100375498C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Input (AREA)

Abstract

本发明公开了一种信号处理方法及信号处理装置。本发明的目的在于：实现在成本较低的情况下高速地进行图像数据等的排序。存储n个数据的记忆器7由m个存储器(m≠n)构成，不管多个读出扫描中的哪一个读出扫描被选择，都进行将n个数据分别写入各存储器，以达到能够同时读出n个数据的控制。

Description

信号处理方法及信号处理装置
技术领域
本发明涉及一种信号处理方法及其装置，特别涉及要求高速化的以块为单位的编码方法及其装置。
背景技术
在压缩图像的领域中，有以MPEG、JPEG等为代表的图像编码技术。这些编码技术，为将图像分割为多个块，以块为单位依次进行编码的图像压缩技术。在以JPEG为代表的静态图像编码技术中，使用了利用这个小区域(块)内的空间冗余(spatial redundancy)以实现情报量的缩减(压缩)的帧内预测编码(以下，内部(intra)编码)，在以MPEG为代表的运动图像编码中，与静态图像相比，为了响应压缩更膨大的情报量的要求，除了使用上述内部编码之外，还使用利用时间方向预测试图压缩情报量的帧间预测编码(以下，帧间(inter)编码)的编码。
以下，参照图22对这些编码技术中都进行的处理加以简单说明。首先，在正交变换器中对分割成块的图像数据进行离散余弦变换(以下，DCT)。其次，为了更进一步地提高编码效率(压缩效率)，通过切断用人的视觉难以识别的高频率成分，能够在量子化器中对DCT系数进行量子化获得量子化DCT系数。该量子化DCT系数，按照被称为光栅扫描的写入顺序被暂时存储在记忆器中。如上上述，被暂时存储在记忆器的量子化DCT系数，然后按照被称为锯齿形扫描的读出顺序读出，在编码器中，例如依次进行霍夫曼编码(huffman-coded)。如此，由于在以块为单位的编码中生成量子化DCT系数的顺序、和对量子化DCT系数进行编码的顺序不同，因此用于进行数据排序(扫描的变更)的上述记忆器不可缺少。
为了实现在上述那样的编码中的高速化，向存储器进行写入、及读出控制的高速化技术为人所知(例如，参照专利文献1的图9～图11)。
以下，对专利文献1所公开的技术加以具体地说明。
图23的信号处理装置1001，为在专利文献1所公开的典型的信号处理装置的一个例子，为能够高速地进行上述数据排序的装置。图24(a)表示记忆器的写入扫描(光栅扫描)，图24(b)表示同记忆器的读出扫描(锯齿形扫描)。
图23的信号处理装置1001，由输入按照写入扫描(第1扫描)顺序连续的n个(这里，n＝2)数据(这里，为量子化DCT系数，以下，称为系数)的输入端子2、3；用于将这些从输入端子2、3输入的系数分配给多个存储器的输入选择器4、5；暂时存储由第1存储器701及第2存储器702构成的系数的记忆器7；从由该记忆器7读出的n个(这里，n＝2)系数中一个一个选择的输出选择器9、10；将这些通过输出选择器9、10选择的n个系数输出的输出端子11、12；以及用于控制记忆器7的写入及读出的存储器控制电路8构成。
以下，对用上述信号处理装置1001高速地进行数据排序的情况进行说明。
<写入控制的说明>
首先，将由输入端子2、3输入的两个系数输入到输入选择器4、5。第1输入选择器4，根据由存储器控制电路8输入的选择信号S1，从同时由输入端子2及输入端子3输入的系数中选择应该写入第1存储器701的系数，且将其作为写入第1存储器701的数据WD1输出。而第2输入选择器5，根据由存储器控制电路8输入的选择信号S2，从同时由输入端子2及输入端子3输入的系数中选择应该写入第2存储器702的系数，且将其作为写入第2存储器702的数据WD2输出。
这里，为了能够每次同时从第1存储器701及第2存储器702读出两个按照读出扫描顺序连续的系数，生成能够事先将按照写入扫描顺序连续的系数一个一个分别写入第1存储器701及第2存储器702的选择信号S1及S2。
并且，第1存储器701，按照由存储器控制电路8提供的地址A1、和允许写信号WE1，向地址A1依次写入由第1输入选择器4提供的写入数据WD1。而第2存储器702，按照由存储器控制电路8提供的地址A2、和允许写信号WE2，向地址A2依次写入由第2输入选择器5提供的写入数据WD2。
图25(a)及图25(b)表示通过上述的控制将系数分别写入第1存储器701及第2存储器702时的存储器分配图的一个例子。并且，图26(a)表示向具有这样的存储分配的第1存储器701及第2存储器702进行写入时的寻址的具体例子。
<读出控制的说明>
其次，对每次同时读出两个按照读出扫描顺序连续的量子化DCT系数的控制加以说明。
首先，为了每次从各存储器同时读出一个通过上述写入控制分别写入第1存储器701及第2存储器702的系数，存储器控制电路8对第1存储器701及第2存储器702，依次提供如图26(b)所示的地址A1及A2，同时提供允许读信号RE1及RE2。由此，将量子化DCT系数按照0、16、9、10、…、47、63的顺序从第1存储器701依次读入RD1。另一方面，将量子化DCT系数按照1、8、2、3、…、55、62的顺序从第2存储器702依次读入RD2。
如上上述，为了将每次从RD1及RD2中读出一个系数的两个系数输入到输出选择9、10，且将在读出扫描(第2扫描)顺序中的靠前的系数输出到输出端子11，靠后的系数输出到输出端子12，存储器控制电路8对第1输出选择器9提供选择信号S4，且对第2输出选择器10提供选择信号S5。
也就是说，按照0、8、9、3、…、62的顺序将量子化DCT系数输出到输出端子11，按照1、16、2、10、…、63的顺序将量子化DCT系数输出到输出端子12。通过进行这样的控制，能够高速地进行系数的排序。
【专利文献1】日本特开平11-252338号公报
如上所述，若由n个存储器构成记忆器，且为了能够从不同的存储器中同时读出按照读出扫描顺序连续的n个数据，事先在写入数据时，对于n个存储器将按照写入扫描(第1扫描)顺序连续的数据分别写入不同的存储器的话，则能够同时读出数据，能够实现高速地编码。
虽然在如JPEG中的编码那样，读出扫描(第2扫描)仅存在锯齿形扫描时，通过使用上述技术，能够实现高速的扫描变更，但是例如在用于实现运动图像中的低位(传送)速率编码的图像压缩技术的MPEG-4时，则难以用上述技术对应。
近年来，实现上述低位(传送)速率编码的MPEG-4，被应用在以携带电话为主的各种设备中，人们不难预想到，今后随着宽(频)带的更进一步地发展，对于对应解像度更高的图像编码、及对应帧率更高的编码的要求将会越来越高。
在这样的MPEG-4中，为了实现低位(传送)速率采用了各种各样的新技术，其中有一个为谋求提高帧内预测编码(内部编码)中的编码效率的预测编码。
在MPEG-4中，为了谋求提高内部编码中的编码效率，从与编码对象块邻接的多个块中选择一个最恰当的预测块，将与该预测块的差分依次编码。用图27对该情况加以说明。
图27中的块X为编码对象块，块A、B、C分别为与块X邻接的块。块X、A、B、C均由多个DCT系数构成。
如式子(1)那样将块X的预测块P选择出来。即，
式子(1)为：
if(|σA-σB|＜|σB-σC|)
P＝C
else
P＝A
这里，
σA：块A的DC系数
σB：块B的DC系数
σC：块C的DC系数
|z|：z的绝对值
也就是，计算邻接的块A、B、C的DC系数的斜率，斜率较大的块被选为编码对象块X的预测块P。
例如，根据上述式子(1)，当块C被选为预测块P时，块X和块C的差分被编码，当块A被选择时，块X和块A的差分被编码(系数预测编码)。
并且，在MPEG-4中，有DC预测编码、和DC/AC预测编码两种预测手法作为这样的系数预测编码。
DC预测编码，为仅将根据上述方法选择的预测块的系数中的DC系数作为预测对象的编码，编码中的系数的读出扫描只能为锯齿形扫描(第2扫描)。
而DC/AC预测编码，为以谋求编码效率更高于上述DC预测编码为目的的预测编码，是不仅将预测块的系数中的DC系数作为预测对象，而且AC系数也作为预测对象的编码。例如，当块C被选为预测块P时，块C上端的系数均为预测对象的系数，当块A被选择时，块A左端的系数均为预测对象的系数。并且，对于编码中的读出扫描，当块C被选为预测块P时，为水平方向优先扫描(第3扫描)，当块A被选为预测块P时，为垂直方向优先扫描(第4扫描)。即，编码中的读出扫描根据被选择的预测块P发生变化。
并且，与DC预测编码的情况相比较，为了进行将DC预测编码和DC/AC预测编码适当地切换的控制，以使当判断DC/AC预测编码能够谋求提高编码效率时，使用DC/AC预测编码；当判断不能提高编码效率时，使用DC预测编码，在MPEG-4编码中，编码中的读出扫描，不仅是如JPEG等那样的一种，还必须与水平方向优先扫描、垂直方向优先扫描、锯齿形扫描那3种读出扫描相对应。而且，由于当进行仅使用DC预测的编码时，读出扫描只能为锯齿形扫描，因此如果使用专利文献1的技术，则能够同时读出系数，但是因为当进行使用DC/AC预测的编码时，直到块中的DCT系数的写入结束(AC预测效果的判定结束)为止，都没有从这3种读出扫描中确定一个读出扫描，所以当将按照写入扫描顺序连续的n个DCT系数分别分配给n个存储器时，不管哪一种读出扫描被选择，都必须事先使按照被选择的读出扫描顺序连续的n个系数能够同时读出。
图28(a)～图28(d)表示在需要多个这样的读出扫描的编码中，应用专利文献1所公开的技术的具体例子。图28(a)表示与图24(a)相对应的第1扫描(光栅扫描)，图28(b)表示与图24(b)相对应的第2扫描(锯齿形扫描)，图28(c)表示第3扫描(水平方向优先扫描)，图28(d)表示第4扫描(垂直方向优先扫描)。
如图28(b)～28(d)所明确示出的，记忆器由n个(这里，n＝2)存储器构成，在3种读出扫描的情况下，都难以同时从不同的n个存储器中读出按照读出扫描顺序连续的n个系数。在图示的例子中，在图28(c)所示的第3扫描中，必须从第2存储器702读出系数2、3及系数6、7，由于这些系数被分别存储在不同的地址中，因此不能一次同时读出两个系数。并且，在同一扫描中，必须从第1存储器701读出系数16、17及系数10、11，由于这些系数被分别存储在不同的地址中，因此不能一次同时读出两个系数。
这里所示的例子，只不过是在同时读出两个系数的情况下，由两个存储器构成记忆器时分割存储器的一个例子，但是不管以什么形式将两个系数分配给两个存储器，都难以解决上述课题。
发明内容
为了解决上述课题，本发明的目的在于：提供一种在编码中存在多个系数的读出扫描，并且即使在将系数写入记忆器时没有预先决定读出扫描的情况下，也能够始终从不同的存储器中连续读出按照读出扫描顺序连续的n个系数，且能够在成本较低的情况下，高速地进行数据排序的信号处理方法及其装置。
本发明所涉及的第1信号处理方法，其处理由多个数据构成的二维数据块，包括：在设n为大于等于2的整数且设m为不同于n的大于等于3的整数时，将按照第1扫描顺序连续的n个数据依次分别写入m个存储器，来存储上述数据块的步骤；从上述m个存储器中读出多个数据，且对按照从与上述第1扫描不同的第2扫描、与上述第1扫描及上述第2扫描不同的第3扫描或者与上述第1扫描、上述第2扫描及上述第3扫描不同的第4扫描中选出的读出扫描顺序连续的n个数据依次进行选择，来实现数据排序的步骤；对上述选出的n个数据进行第1处理的步骤；以及在上述第1处理结束后，从由上述m个存储器中读出的多个数据中依次选择按照第1扫描顺序连续的n个数据，且对该选出的n个数据进行第2处理的步骤。
这样一来，能够将按照写入扫描顺序连续的n个数据高速地排序为按照从多个扫描顺序中选出的读出扫描顺序连续的n个数据(扫描的变更)。
本发明所涉及的第2信号处理方法，其处理由多个数据构成的二维数据块，包括：在设n为大于等于2的整数且设m为不同于n的大于等于3的整数时，将按照光栅扫描顺序连续的n个数据依次分别写入m个存储器，来存储上述数据块的步骤；从上述m个存储器中读出多个数据，且对按照从锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据依次进行选择，来实现数据排序的步骤；对上述选出的n个数据进行编码处理的步骤；以及在上述编码处理结束后，对从上述m个存储器中按照光栅扫描顺序读出的数据进行解码处理的步骤；上述读出扫描顺序，在编码方式设定为DC/AC预测编码时，计算三个邻接块的DC系数的斜率，确定预测块，当预测块为正上方的块时，与DC预测编码相比谋求提高编码效率时判定为水平方向优先扫描，否则选择锯齿形扫描，当预测块为左方的块时，与DC预测编码相比谋求提高编码效率时判定为垂直方向优先扫描，否则选择锯齿形扫描。
这样一来，通过高速地进行数据排序，能够尽早开始编码处理及解码处理，并且，也能够有希望实现处理本身的高速化。
本发明所涉及的第3信号处理方法，其处理由多个数据构成的二维数据块，包括：在设n为大于等于2的整数且设m为不同于n的大于等于3的整数时，将按照光栅扫描顺序连续的n个数据依次分别写入m个存储器，来存储上述数据块的步骤；以及从上述m个存储器中读出多个数据，且对按照从锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据依次进行选择，来实现数据排序的步骤；上述m个存储器的各存储器，为具有至少一个写入接口，且具有两个以上能够相互独立读出的读出接口的存储器；上述信号处理方法还包括：从上述m个存储器的各存储器中的某个读出接口进行为了对上述数据排序的数据读出，且对按照从上述锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据进行编码处理的步骤；以及与上述编码处理同时进行的，对从由上述m个存储器的各存储器的另一个读出接口中按照光栅扫描顺序读出的数据进行解码处理的步骤；上述读出扫描顺序，在编码方式设定为DC/AC预测编码时，计算三个邻接块的DC系数的斜率，确定预测块，当预测块为正上方的块时，与DC预测编码相比谋求提高编码效率时判定为水平方向优先扫描，否则选择锯齿形扫描，当预测块为左方的块时，与DC预测编码相比谋求提高编码效率时判定为垂直方向优先扫描，否则选择锯齿形扫描。
这样一来，由于能够高速地进行多个数据的排序，能够同时进行编码处理和解码处理，因此能够有希望比上述第1信号处理方法更高速化。
本发明所涉及的第4信号处理方法，其处理由多个数据构成的二维数据块，包括：对于具有至少一个写入接口和设n为大于等于2的整数时能够相互独立读出的n个读出接口的存储器，从上述写入接口向上述存储器依次写入按照第1扫描顺序连续的n个数据，以便将上述数据块存储到上述存储器的步骤；从上述存储器的n个读出接口读出多个数据，对按照从与上述第1扫描不同的第2扫描、与上述第1扫描及上述第2扫描不同的第3扫描或者与上述第1扫描、上述第2扫描及上述第3扫描不同的第4扫描中选出的读出扫描顺序连续的n个数据依次进行选择，来实现数据排序的步骤；对上述选出的n个数据进行第1处理的步骤；以及在上述第1处理结束后，从由上述存储器的n个读出接口读出的多个数据中依次选择按照第1扫描顺序连续的n个数据，对该选出的n个数据进行第2处理的步骤。
这样一来，即使记忆器不由多个存储器构成，而由一个存储器构成，也能够高速地进行数据的排序。
本发明所涉及的第5信号处理方法，其处理由多个数据构成的二维数据块，包括：对于具有至少一个写入接口和设n为大于等于2的整数时能够相互独立读出的n个读出接口的存储器，从上述写入接口向上述存储器依次写入按照光栅扫描顺序连续的n个数据，以便将上述数据块存储到上述存储器的步骤；从上述存储器的n个读出接口读出多个数据，对按照从锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据依次进行选择，来实现数据排序的步骤；对上述选出的n个数据进行编码处理的步骤；以及在上述编码处理结束后，对从由上述存储器的n个读出接口按照光栅扫描顺序读出的数据中进行解码处理的步骤；上述读出扫描顺序，在编码方式设定为DC/AC预测编码时，计算三个邻接块的DC系数的斜率，确定预测块，当预测块为正上方的块时，与DC预测编码相比谋求提高编码效率时判定为水平方向优先扫描，否则选择锯齿形扫描，当预测块为左方的块时，与DC预测编码相比谋求提高编码效率时判定为垂直方向优先扫描，否则选择锯齿形扫描。
这样一来，通过高速地进行数据的排序，能够尽早开始第1处理及第2处理，并且，也能够有希望实现处理本身的高速化。
本发明所涉及的第6信号处理方法，其处理由多个数据构成的二维数据块，包括：在锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中，判定进行哪一个写入扫描的判定步骤；在设n为大于等于2的整数且设m为不同于n的大于等于3的整数时，将按照在上述判定步骤中判定出的写入扫描顺序连续的n个数据依次分别写入m个存储器，来存储上述数据块的步骤；以及对从上述m个存储器中按照光栅扫描顺序读出的数据进行解码处理，来实现数据排序的步骤；上述写入扫描顺序，在编码方式设定为DC/AC预测编码时，计算三个邻接块的DC系数的斜率，确定预测块，当预测块为正上方的块时，与DC预测编码相比谋求提高编码效率时判定为水平方向优先扫描，否则选择锯齿形扫描，当预测块为左方的块时，与DC预测编码相比谋求提高编码效率时判定为垂直方向优先扫描，否则选择锯齿形扫描。
这样一来，能够将按照从多个扫描顺序中选出的写入扫描顺序的数据高速地排序为按照读出扫描顺序的数据。
这样一来，能够实现使用了高速进行数据排序结果的编码处理。
本发明所涉及的第7信号处理方法的特征在于，根据设定的动作方式，在编码方式中使用上述第1或第2信号处理方法进行数据排序，在解码方式中使用上述第6信号处理方法进行数据排序。
这样一来，由于根据设定的动作方式，适当地进行将数据从写入扫描顺序排序为从多个扫描顺序中选出的读出扫描顺序，和将数据从多个扫描顺序中选出的写入扫描顺序排序为读出扫描顺序的切换，因此能够在成本较低的情况下，高速地进行数据排序。
本发明所涉及的第8信号处理方法的特征在于，在上述第1、第4信号处理方法中的任意一个方法中的上述第1扫描为行方向或者列方向的光栅扫描，上述第2扫描为锯齿形扫描，上述第3扫描为水平方向优先扫描，上述第4扫描为垂直方向优先扫描。
这样一来，能够将数据从行方向或者列方向的光栅扫描顺序高速地排序为锯齿形扫描顺序或者水平方向优先扫描顺序或者垂直方向优先扫描顺序。
本发明所涉及的第9信号处理方法的特征在于，在上述第1、第4信号处理方法中的任意一个方法中的上述第1处理为编码处理，上述第2处理为用于生成在运动图像编码中的帧间预测编码时所需的参照图像(重构像)的处理。
这样一来，能够对已经高速地进行了排序的数据尽早开始编码，而且也能够有希望实现编码本身的高速化。并且，也能够对已经高速地进行了排序的数据尽早开始解码，而且也能够有希望实现解码本身的高速化。
本发明所涉及的第1信号处理装置的特征在于，为处理由多个数据构成的二维数据块的信号处理装置，包括：由用于存储上述数据块的m个存储器构成的记忆器；从按照写入扫描顺序连续的n个数据中选择向上述m个存储器写入的数据的多个输入选择器；从由上述m个存储器中读出的多个数据中选择按照读出扫描顺序连续的n个数据的多个输出选择器；以及用于向上述记忆器进行数据块的写入及读出控制的同时，向上述多个输入选择器及上述多个输出选择器提供选择信号的存储器控制器。
通过这种结构，能够提供一种将数据从写入扫描顺序高速地排序为从多个扫描顺序中选出的读出扫描顺序的装置；其中设n为大于等于2的整数且设m为不同于n的大于等于3的整数。
本发明所涉及的第2信号处理装置的特征在于，在上述第1信号处理装置中的构成上述记忆器的m个存储器的各存储器，为至少具有一个写入接口，且具有两个以上能够相互独立读出的读出接口的存储器。
通过这样的结构，由于能够同时进行将数据从写入扫描顺序排序为多个读出扫描顺序的变换，因此能够提供比上述第1信号处理装置更高速的装置。
本发明所涉及的第3信号处理装置的特征在于，还包括：用于对提供给上述第1信号处理装置的上述m个存储器的时钟进行个别控制的时钟控制器。
通过这样的结构，能够向m个存储器个别提供时钟，能够提供实现了高速、且耗电量低的信号处理装置。
本发明所涉及的第4信号处理装置的特征在于，上述第3信号处理装置中的上述时钟控制器，在将按照光栅扫描顺序连续的n个数据分别写入上述m个存储器时，进行向发生写入的存储器提供时钟，向没有发生写入的存储器停止提供时钟的控制的同时，为了选择按照从锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据，进行向发生读出周期的存储器提供时钟，向没有发生读出周期的存储器停止提供时钟的控制。
这样一来，由于适当地进行向发生了数据排列所需的存储器存取的存储器提供时钟，向没有发生存储器存取的存储器停止提供时钟的控制，因此能够有希望更进一步地减少耗电量。
本发明所涉及的第5信号处理装置的特征在于，为处理由多个数据构成的二维数据块的信号处理装置，包括：由存储器构成的记忆器，其中，该存储器具有至少一个写入接口、和设n为大于等于2的整数时能够相互独立读出的n个读出接口的存储器构成的记忆器，以存储所述数据块；从由上述存储器的n个读出接口中读出的多个数据中，选择按照读出扫描顺序连续的n个数据的多个输出选择器；以及用于在进行将数据块按照写入扫描顺序写入上述记忆器，且将存储在上述记忆器中的数据块按照读出扫描顺序读出的控制的同时，向上述多个输出选择器提供选择信号的存储器控制器。
通过这样的结构，由于不是由多个存储器构成记忆器，而是由一个存储器构成，因此当在半导体装置等中实现本技术时，能够减少存储器所占有的面积，能够有希望降低成本。
本发明所涉及的第1摄像系统的特征在于，包括：含有上述第1～第5信号处理装置的任意一个进行图像处理的图像处理电路；向上述图像处理电路输出图像信号的传感器；以及将光在上述传感器上成像的光学系统。
通过这样的结构，能够有希望伴随着数据排序的高速进行，实现图像处理的高速化。
本发明所涉及的第2摄像系统的特征在于，还包括：将从上述第1摄像系统中的上述传感器获得的图像信号变换为数字信号提供给上述图像处理电路的变换器。
这样一来，能够发挥数字信号处理的优点。
(发明的效果)
总而言之，使用本发明能够高速地进行数据排序。
附图的简单说明
图1为表示本发明的第1实施例所涉及的信号处理装置的结构图。
图2为表示本发明的第1实施例中的信号处理方法的流程图。
图3(a)～图3(d)为用二维图像表示本发明的第1实施例中的多个存储器的存储分配，且表示4个扫描顺序的图。
图4(a)～图4(c)为用一维图像表示本发明的第1实施例中的多个存储器的存储器分配图。
图5为表示在光栅扫描时，对本发明的第1实施例中的多个存储器进行写入控制的图。
图6为表示在锯齿形扫描时，对本发明的第1实施例中的多个存储器进行读出控制的图。
图7为表示在水平方向优先扫描时，对本发明的第1实施例中的多个存储器进行读出控制的图。
图8为表示在垂直方向优先扫描时，对本发明的第1实施例中的多个存储器进行读出控制的图。
图9为表示本发明的第2实施例所涉及的信号处理装置的结构图。
图10为表示本发明的第2实施例中的信号处理方法的流程图。
图11为表示本发明的第3实施例所涉及的信号处理装置的结构图。
图12为表示本发明的第4实施例所涉及的信号处理装置的结构图。
图13为表示本发明的第4实施例中的信号处理方法的流程图。
图14(a)及图14(b)分别为用二维图像及一维图像表示本发明的第4实施例中的存储器的存储器分配图。
图15为表示在光栅扫描时，对本发明的第4实施例中的存储器进行写入控制的图。
图16为表示在锯齿形扫描时，对本发明的第4实施例中的存储器进行读出控制的图。
图17为表示在水平方向优先扫描时，对本发明的第4实施例中的存储器进行读出控制的图。
图18为表示在垂直方向优先扫描时，对本发明的第4实施例中的存储器进行读出控制的图。
图19为表示本发明的第5实施例中的信号处理方法的流程图。
图20为表示本发明的第6实施例中的信号处理方法的流程图。
图21为表示本发明的第7实施例中的摄像系统的结构图。
图22为表示现有的一般图像编码装置的结构图。
图23为表示现有的信号处理装置的结构图。
图24(a)及图24(b)为用二维图像表示现有的信号处理装置中的多个存储器的存储器分配，且表示两个扫描顺序的图。
图25(a)及25(b)为用一维图像表示现有的信号处理装置中的多个存储器的存储器分配图。
图26(a)及图26(b)分别为表示对现有的信号处理装置中的多个存储器进行写入及读出控制的图。
图27为说明现有的系数预测方法的图。
图28(a)～图28(d)为具体地表示用现有的信号处理方法不能解决本发明的课题的图。
(符号的说明)
1、201、301、401、1001-信号处理装置；2、3-输入端子；4、5、6-输入选择器；9、10、209、210-输出选择器；7-记忆器；8-存储器控制电路；11、12、211、212-输出端子；13-预测系数输入端子；14-设定端子；30-时钟控制电路；501-摄像系统；502-光学系统；503-传感器；504-模拟/数字变换器(ADC)；505-图像处理电路；506-信号处理装置；507-存储传送电路；508-再生电路；509-时间控制电路；510-系统控制电路；701-第1存储器；702-第2存储器；703-第3存储器。
具体实施方式
以下，参照附图对本发明的实施例加以说明。
(第1实施例)
图1为表示本发明的第1实施例所涉及的信号处理装置1的结构的方块图，图2为表示使用了图1所示的信号处理装置1的本发明的信号处理方法的流程图。
本实施例的特征在于：为了能够同时读出按照读出扫描顺序连续的n个数据(系数)，由m个(m为3以上的整数，且m≠n)存储器构成记忆器7。以下，以n＝2，m＝3的情况为例加以说明。
图1的信号处理装置1，由输入按照写入扫描(第1扫描)顺序连续的n个(这里，N＝2)数据的输入端子2、3；用于将这些从输入端子2、3输入的量子化DCT系数分别分配到m个(这里，m＝3)存储器的输入选择器4、5、6；由第1存储器701、第2存储器702和第3存储器703构成的暂时存储数据的记忆器7；从由该记忆器7读出的m个数据中一个一个进行选择的输出选择器9、10；将这些由输出选择器9、10选出的n个数据输出的输出端子11、12；将与选择读出扫描所需的编码对象块邻接的块(A、B、C)的DC系数(σA、σB、σC)输入的预测系数输入端子13；设定切换DC预测编码、和DC/AC预测编码的方式的设定端子14；以及用于按照该设定端子14设定的编码方式来控制记忆器7的写入、读出，且分别向各选择器4、5、6、9、10提供选择信号S1、S2、S3、S4、S5的存储器控制电路8构成。
以下，参照图2～图8对本实施例的信号处理方法加以说明。
如图2所示，首先，不管多个读出扫描(第1扫描、第2扫描、第3扫描、第4扫描)中的哪一个扫描被选择，为了能够同时读出按照被选出的读出扫描顺序连续的两个系数，都将按照写入扫描(第1扫描)顺序连续的两个系数分别写入第1存储器701或者第2存储器702或者第3存储器703(步骤100)。其次，判断编码所需的块的系数是否全部写完(步骤101)。编码所需的块的系数，在例如MPEG-4等时，为由多个块构成的一个大块的系数，不断地重复进行步骤100、步骤101直到全部的系数写完为止。
如上所述，图3(a)表示将所有的系数分别写入第1存储器701、第2存储器702及第3存储器703的一个例子。在图3(a)中，向左下倾斜的斜线部分表示第1存储器701的区域，向右下倾斜的斜线部分表示第2存储器702的区域，没有斜线的部分表示第3存储器703的区域，如图3(a)所示，按照写入扫描(第1扫描)顺序(0、8、16、24、…、55、63)连续的两个系数分别被写入各存储器区域。当如这样分别写入时，存储器控制电路8向第1存储器701、第2存储器702、及第3存储器703提供如图4(a)～图4(c)所示的各地址A1、A2、A3。并且，存储器控制电路8，为了控制第1存储器701、第2存储器702、及第3存储器703的写入数据WD1、WD2、WD3，向输入选择器4、5、6提供控制信号S1、S2、S3，输入选择器4、5、6根据各选择信号S1、S2、S3依次选择图4(a)～图4(c)所示的写入数据WD1、WD2、WD3，第1存储器701、第2存储器702、及第3存储器703，按照由存储器控制电路8提供的允许写信号WE1、WE2、WE3，将系数写入各存储器的各个地址。
图5表示上述写入控制中的各存储器的地址(A1、A2、A3)、写入数据(WD1、WD2、WD3)及允许写信号(WE1、WE2、WE3)的情况。在图5中，WE1、WE2、WE3为“1”时进行写入，为“0”时不进行写入。
如上所述，在将按照写入扫描(第1扫描)顺序连续的两个系数都分别写入第1存储器701、第2存储器702、及第3存储器703后，其次，进行读出扫描的判定(图2的步骤102)。读出扫描的判定，使用由设定端子14设定的编码方式(DC预测编码、DC/AC预测编码)，和由预测系数输入端子13输入的邻接块(A、B、C)的DC系数(σA、σB、σC)如下述那样进行。
当编码方式被设定为DC预测编码时，读出扫描判定为锯齿形扫描(第2扫描)；当编码方式被设定为DC/AC预测编码时，首先，计算出邻接块的DC系数(σA、σB、σC)的斜率。根据计算出的斜率的结果判断预测块P，当预测块P被判断为块C时，与DC预测编码的情况比较谋求提高编码效率时，读出扫描判定为水平方向优先扫描(第3扫描)，当不谋求提高编码效率时，读出扫描判定为锯齿形扫描(第2扫描)。并且，根据计算出的斜率的结果判断预测块P，当预测块P被判断为块A时，与DC预测编码的情况比较谋求提高编码效率时，读出扫描判定为垂直方向优先扫描(第4扫描)，当不谋求提高编码效率时，读出扫描判定为锯齿形扫描(第2扫描)。
如上所述，当进行读出扫描判定的结果是，读出扫描为锯齿形扫描(第2扫描)时，如图3(b)所示，同时从第1存储器701、第2存储器702、及第3存储器703读出按照锯齿形扫描顺序连续的两个系数(步骤103)。图6表示步骤103中的各存储器的读出控制的情况。当为锯齿形扫描时，系数的读出顺序为0、1、8、16、9、2、…、47、55、62、63，存储器控制电路8，通过对各存储器提供读出地址A1、A2、A3及允许读信号RE1、RE2、RE3，且将这些系数从3个存储器701～703中适当地读出，在输出选择器9、10中选择按照锯齿形扫描顺序连续的两个系数，来将两个两个的系数同时输出到输出端子11、12。
也就是说，在最初应该输出到输出端子11、12的两个系数(0、1)的系数中，系数0从第1存储器701读出(RD1)，同时，系数1从第2存储器702读出(RD2)。存储器控制电路8对输出选择器9、10提供选择信号S4、S5，以使藉此方法读出的两个系数中的、在锯齿形扫描顺序中靠前的系数(0)输出到输出端子11，靠后的系数(1)输出到输出端子12。
在接着应该输出到输出端子11、12的两个系数(8、16)的系数中，系数8从第3存储器703读出(RD3)，同时，系数16从第2存储器702读出(RD2)。存储器控制电路8对输出选择器9、10提供选择信号S4、S5，以使藉此方法读出的两个系数中的、在锯齿形扫描顺序中靠前的系数(8)输出到输出端子11，靠后的系数(16)输出到输出端子12。以后，按照同样的方法依次同时读出两个两个的系数进行第1处理(编码)(步骤106)。
并且，当进行读出扫描判定的结果是，读出扫描为水平方向优先扫描(第3扫描)时，如图3(c)所示，同时从第1存储器701、第2存储器702、及第3存储器703读出按照水平方向优先扫描顺序连续的两个系数(步骤104)。图7表示步骤104中的各存储器的读出控制的情况。由于同时读出两个两个系数依次进行第1处理的情况，与上述锯齿形扫描的情况一样，因此不进行具体地说明。
并且，当进行读出扫描判定的结果是，读出扫描为垂直方向优先扫描(第4扫描)时，如图3(d)所示，同时从第1存储器701、第2存储器702、及第3存储器703读出按照垂直方向优先扫描顺序连续的两个系数(步骤105)。图8表示步骤105中的各存储器的读出控制的情况。由于同时读出两个两个的系数依次进行第1处理的情况，与上述锯齿形扫描的情况一样，因此不进行具体的说明。
如上所述，读出所有的系数，重复进行步骤102到步骤106为止的处理直到编码结束为止(步骤107)。如果读出了所有的系数，第1处理结束了的话，则接着按照与写入扫描相同的扫描(第1扫描)顺序从各存储器进行读出(步骤108)，依次进行第2处理(解码)生成参照图像(步骤109)。重复进行步骤108～步骤109的动作直到参照图像的生成结束为止(步骤110)。需要第2处理(解码)的理由，是因为在运动图像编码的情况下，为了进行帧间预测编码，需要前一帧的图像数据(参照数据)，必须预先进行现在的编码对象块的解码(逆量子化、逆DCT等)之故。
由上述内容明显得知：若为了实现n个(n为2以上的整数)数据的同时写入、同时读出，记忆器7由m个(m为3以上的整数且m≠n)存储器构成的话，则不管多个读出扫描中的哪一个扫描被选择，都能够将按照写入扫描顺序连续的n个数据分别写入不同的存储器，从而能够依次同时读出按照读出扫描顺序连续的n个数据(系数)，其结果，由于能够高速地进行写入、读出中的扫描的变更，因此能够实现高速的编码。并且，为了达到此目的，对于记忆器7在存储器的结构方面下了功夫，在增加容量方面的功夫都不要。
(第2实施例)
其次，参照图9及图10对本发明的第2实施例所涉及的信号处理装置201加以说明。
本实施例与第1实施例的不同之处在于：构成记忆器7的m个(这里，m＝3)存储器由具有至少一个写入接口(接口A)、和至少两个能够相互独立读出的读出接口(接口A、接口B)的存储器构成，能够使m个存储器从多个读出接口按照相互不同的读出扫描顺序同时进行读出，且能够使第1处理(编码)、和第2处理(解码)同时进行。
以下，对与第1实施例不同的部分加以具体地说明。
在图9中，第1存储器701、第2存储器702及第3存储器703均具有能够独立地写入、读出的接口A和只能读出的接口B。接口A和接口B，为能够相互独立读出的接口。以下，参照图10所示的流程图，对由上述能够从多个接口同时相互独立地进行读出的m个存储器构成的记忆器7时的编码方法中与第1实施例不同的部分加以说明。
首先，与第1实施例的情况一样，不管多个读出扫描(第1扫描、第2扫描、第3扫描、第4扫描)中的哪一个扫描被选择，都将按照写入扫描(第1扫描)顺序连续的两个系数分别写入第1存储器701或者第2存储器702或者第3存储器703，从而能够同时读出按照被选出的读出扫描顺序连续的两个系数。与第1实施例的不同之处在于：使用多个(这里为两个)存在的接口中的为能够进行写入/读出的接口的接口A来进行写入(步骤200)。
并且，在第1实施例的情况下，如果在步骤101中所有的系数都写入了各存储器的话，则首先进行第1处理(步骤102～步骤107)，然后进行第2处理(步骤108～步骤110)，但是在本实施例中，通过使用能够相互独立读出的接口A及接口B，用不同的读出扫描同时进行读出，来使第1处理(编码)、和第2处理(解码)同时进行。
也就是说，通过使用接口A进行第1处理所需的系数的读出(步骤203、步骤204、步骤205)，使用接口B进行第2处理所需的系数的读出(步骤208)，由于各处理能够独立地同时进行，因此与第1实施例的情况相比，能够实现更高速的运动图像编码。另外，由于接口A和接口B同时进行读出，因此从接口B读出的数据(RDB1、RDB2、RDB3)，被输入到输出选择器209、210，输出选择器209、210根据由存储器控制电路8提供的选择信号S6、S7选择按照读出扫描顺序连续的n个系数，输出到为了进行第2处理的输出端子211、212。
(第3实施例)
图11为表示本发明的第3实施例所涉及的信号处理装置301的结构的方块图。与第1及第2实施例最大的不同之处，在于：还具备控制构成记忆器7的m个(这里，m＝3)存储器的时钟的时钟控制电路30。
当考虑向第1及第2实施例中的m个存储器进行写入及读出控制时，不必如图5～图8所示的那样在整个时钟周期中使所有的存储器动作。在写入控制中，如图5所示，当将n个(这里，n＝2)系数同时写入m个(m＞n)存储器时，存在有不必写入的存储器。此时，时钟控制电路30进行向不必写入的存储器停止提供时钟的控制。例如，由于在写入系数0(WD1＝0)和系数8(WD3＝8)的周期中，通过存储器控制电路8进行控制，将系数0写入第1存储器701，将系数8写入第3存储器703，因此在第2存储器702没有发生写入周期。所以，时钟控制电路30向第2存储器702提供时钟停止信号CKE2，使时钟停止。
对于第1存储器701及第3存储器703也一样，在没有发生写入的周期，由时钟控制电路30提供时钟停止信号CKE1及CKE3，第1存储器701及第3存储器703根据CKE1及CKE3停止时钟。
如上所述，由于在本实施例中，进行仅对发生了写入及读出的周期的各存储器提供时钟的控制，因此能够实现谋求耗电量更低的信号处理装置。
另外，图11示出了在图1的结构上外加时钟控制电路30的情况，也可以在图9的结构上外加一样的时钟控制电路30。
(第4实施例)
图12为表示本发明的第4实施例所涉及的信号处理装置401的结构的方块图。与第1实施例最大的不同之处，在于：不是由多个(m个)存储器构成记忆器7，而是由一个存储器(第1存储器701)构成。并且，第1实施例中的m个存储器为具有一个读出接口的存储器，而本实施例中的第1存储器701为具有至少一个写入接口，且具有至少两个能够相互独立读出的读出接口的存储器。
以下，参照图13所示的流程图，以n＝2的情况为例加以具体地说明。
<写入控制方法的说明>
图12中的第1存储器701将从输入端子2及3输入的按照第1扫描顺序连续的n个(这里，n＝2)数据(WDAU、WDAL)组成一对作为WDA，通过接口A依次写入第1存储器701的一个地址。接口A中的向第1存储器701进行写入的控制，使用由存储器控制电路8提供的写入地址AA、和允许写信号WEA进行(步骤400)。重复步骤400直到将块的数据全部写入为止(步骤101)。图14(a)及图14(b)表示象这样将所有的数据写入第1存储器701的一个例子。图14(a)为用二维图像表示第1存储器701的存储器分配的图，示出了将n个(这里，n＝2)数据暂时存储在一个地址上的情况。并且，图14(b)表示第1存储器701的写入地址AA、和写入数据WDA(WDAU、WDAL)。图15表示此时的AA、WDAU、WDAL的变化。如图15所示，写入控制，例如，是以将按照写入扫描(第1扫描)顺序连续的两个数据0、8存入地址0，将其次的数据16、24存入地址8的形式依次存储下去。
<读出控制方法的说明>
使用在第1实施例的说明中记载的判定方法进行读出扫描的判定(步骤102)。若读出扫描决定的话，则使用接口A及接口B读出按照读出扫描(第2扫描或者第3扫描或者第4扫描)顺序连续的n个数据。具体地说，从接口A读出按照读出扫描顺序连续的两个数据中的靠前的数据，同时从接口B读出靠后的数据。图16～图18表示此情况。图16表示读出扫描为锯齿形扫描时的接口A的读出地址AA和读出数据RDA、及接口B的读出地址AB和读出数据RDB；图17表示读出扫描为水平方向优先扫描时的接口A的读出地址AA和读出数据RDA、及接口B的读出地址AB和读出数据RDB；图18表示读出扫描为垂直方向优先扫描时的接口A的读出地址AA和读出数据RDA。
以读出扫描为锯齿形扫描的情况(图16)为例加以具体地说明。为了每次同时读出n个(这里，n＝2)按照锯齿形扫描顺序连续的数据，必须要以(0、1)，(8、16)，(9、2)，(3、10)，…，(62、63)这样的顺序读出。为了以这样的顺序读出，由存储器控制电路8提供为了从接口A读出两个数据中的前一个数据(0、8、9、3、…、62)所需的读出地址AA，如0、0、1、3、…、30，存储在各地址AA的数据以(0、8)，(0、8)，(1、9)，(3、11)，…，(54、62)这样的顺序被两个两个读出。为了选出以这样的方法读出的每两个数据中的在读出扫描顺序中靠前的数据(0、8、9、3、…、62)且将其输出到输出端子11，存储器控制电路8向第1输出选择器9提供选择信号S4，第1输出选择器9根据S4，依次选出在读出扫描顺序中靠前的数据且将其输出到输出端子11。并且，与从接口A的读出同时进行的，由存储器控制电路8提供为了从接口B读出两个数据中的后一个数据(1、16、2、10、…、63)所需的读出地址AB，如1、8、2、2、…、31，存储在各地址AB的数据以(1、9)，(16、24)，(2、10)，(2、10)，…，(55、63)这样的顺序被两个两个读出。为了选出以这样的方法读出的每两个数据中的在读出扫描顺序中的后一个数据(1、16、2、10、…、63)且将其输出到输出端子12，存储器控制电路8向第2输出选择器10提供选择信号S5，第2输出选择器10根据S5，依次选出在读出扫描顺序中靠后的数据且将其输出到输出端子12。以上的动作为步骤403中的同时进行读出的动作(第2扫描)。由于其它的动作控制与第1实施例的情况一样，因此在此不进行详细地说明。
如上所述，通过进行写入、读出控制，即使由一个存储器构成记忆器7也能够同时读出n个数据，能够高速地进行扫描的变更。并且，不必如第1、第2及第3实施例那样由多个(m个)存储器构成记忆器7，在半导体装置等使用本发明时，能够在该存储器占有的面积上实现成本更低的装置。
(第5实施例)
图19为表示本发明的第5实施例所涉及的信号处理方法的流程图。使用与第1实施例一样的装置(图1)作为信号处理装置。
本实施例使用信号处理装置1进行运动图像解码中的高速的扫描变更，以下，参照图19加以具体地说明。
编码时，向第1存储器701、第2存储器702及第3存储器703的写入只能为第1扫描，读出扫描为第1扫描、第2扫描、第3扫描或者第4扫描中的任意一个，而解码(本实施例)时，写入扫描为第2扫描、第3扫描、或者第4扫描中的任意一个，读出扫描只能为第1扫描。
<写入控制方法的说明>
首先，由预测系数输入端子13输入与选择写入扫描所需的解码对象块邻接的块(A、B、C)的DC系数(σA、σB、σC)，由设定端子14输入DC预测编码、和DC/AC预测编码的方式切换的设定，进行写入扫描(第2扫描或者第3扫描或者第4扫描)的判定(步骤500)。判定方法与在第1实施例的说明中记载的方法一样。
其次，按照在步骤500中判定的写入扫描将以写入扫描顺序连续的n个(这里，n＝2)数据写入m个(这里，m＝3)存储器701、702、703(步骤503～步骤505)，不断进行写入直到所有的数据被写入为止(步骤506)。在写入控制中向各存储器提供的写入地址及写入数据，与图6～图8一样。
<读出控制方法的说明>
在步骤506中，若判断所有的数据都写完了的话，则通过从m个存储器701、702、703依次读出按照第1扫描顺序连续的n个系数，且在输出选择器9、10中选择按照第1扫描顺序连续的n个系数，来将按照第1扫描连续的n个数据依次输出到输出端子11、12(步骤507)。在读出控制中向各存储器提供的地址、和读出数据，与图5一样。
对藉此方法依次读出的按照第1扫描顺序连续的n个数据依次进行解码处理(步骤508)，重复进行直到所有数据的读出及解码结束为止(步骤509)。
通过使用上述信号处理方法，能够使运动图像解码处理中的数据排序(扫描的变换)，与编码处理时一样谋求高速化处理。
(第6实施例)
图20为表示本发明的第6实施例所涉及的信号处理方法的流程图。本实施例，通过在编码时和解码时都使用第1实施例所示的信号处理装置1，来实现成本更低、更高速的数据排序。
首先，进行所设定的动作方式的判定(步骤600)。当动作方式为编码时，在步骤601中进行与图2所示的步骤100～步骤110一样的处理，高速地进行数据排序。并且，当动作方式为解码时，在步骤602中进行与图19所示的步骤500～步骤509一样的处理，高速地进行数据排序。
如上所示，通过每次只使用一个信号处理装置，能够在成本较低的情况下，实现更高速的编码中的数据排序、和解码中的数据排序。
(第7实施例)
图21为表示本发明的第7实施例中的摄像系统501、例如数字静像摄影机(DSC)的结构的方块图。图21中的信号处理装置506，为上述本发明的第1～第6的实施例所涉及的信号处理装置中的任意一个。
根据图21，通过光学系统502入射的图像光在传感器503上成像。通过由时间控制电路509驱动传感器503，将成像的图像光蓄积，进行光电变换，变为电信号。从传感器503读出的电信号，在通过模拟/数字变换器(ADC)504变换为数字信号后，被输入到含有该信号处理装置506的图像处理电路505。在该图像处理电路505中，进行Y/C处理、边缘处理、图像的放大缩小、及使用了本发明的图像压缩扩张处理等图像处理。已经被图像处理的信号，在存储传送电路507中向媒体进行存储或者传送。被存储或者传送的信号，通过再生电路508再生。整个该摄像系统501，被系统控制电路510控制。
另外，本发明所涉及的信号处理装置506中的图像处理并不一定仅适用于根据通过光学系统502在传感器503上成像的图像光的信号，例如，当然也能够适用于处理由外部装置作为电信号输入的图像信号的情况。
(工业上的利用可能性)
由于本发明所涉及的信号处理方法及信号处理装置，即使在存在多个写入扫描及多个读出扫描的情况下，也能够较易高速地进行数据排序(扫描的变更)，因此能够应用于要求在成本较低的情况下，高速地编码及解码的图像编码解码系统中。
对近年来装备了作为低位(传送)速率编码技术倍受瞩目的MPEG-4的拍照手机、PDA等携带设备等特别有用，并且，对迫切要求在低位(传送)速率下的高画质、长时间动画记录的DSC、以及试图与这些携带设备协动的AV设备等也有用。

Claims (12)

1.一种信号处理方法，其处理由多个数据构成的二维数据块，其特征在于：包括：
在设n为大于等于2的整数且设m为不同于n的大于等于3的整数时，将按照光栅扫描顺序连续的n个数据依次分别写入m个存储器，来存储上述数据块的步骤；
从上述m个存储器中读出多个数据，且对按照从锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据依次进行选择，来实现数据排序的步骤；
对上述选出的n个数据进行编码处理的步骤；以及
在上述编码处理结束后，对从上述m个存储器中按照光栅扫描顺序读出的数据进行解码处理的步骤；
上述读出扫描顺序，在编码方式设定为DC/AC预测编码时，计算三个邻接块的DC系数的斜率，确定预测块，当预测块为正上方的块时，与DC预测编码相比谋求提高编码效率时判定为水平方向优先扫描，否则选择锯齿形扫描，当预测块为左方的块时，与DC预测编码相比谋求提高编码效率时判定为垂直方向优先扫描，否则选择锯齿形扫描。
2.一种信号处理方法，其处理由多个数据构成的二维数据块，其特征在于：包括：
在设n为大于等于2的整数且设m为不同于n的大于等于3的整数时，将按照光栅扫描顺序连续的n个数据依次分别写入m个存储器，来存储上述数据块的步骤；以及
从上述m个存储器中读出多个数据，且对按照从锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据依次进行选择，来实现数据排序的步骤；
上述m个存储器的各存储器，为具有至少一个写入接口，且具有两个以上能够相互独立读出的读出接口的存储器；
上述信号处理方法还包括：
从上述m个存储器的各存储器中的某个读出接口进行为了对上述数据排序的数据读出，且对按照从上述锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据进行编码处理的步骤；以及
与上述编码处理同时进行的，对从由上述m个存储器的各存储器的另一个读出接口中按照光栅扫描顺序读出的数据进行解码处理的步骤；
上述读出扫描顺序，在编码方式设定为DC/AC预测编码时，计算三个邻接块的DC系数的斜率，确定预测块，当预测块为正上方的块时，与DC预测编码相比谋求提高编码效率时判定为水平方向优先扫描，否则选择锯齿形扫描，当预测块为左方的块时，与DC预测编码相比谋求提高编码效率时判定为垂直方向优先扫描，否则选择锯齿形扫描。
3.一种信号处理方法，其处理由多个数据构成的二维数据块，其特征在于：包括：
对于具有至少一个写入接口和设n为大于等于2的整数时能够相互独立读出的n个读出接口的存储器，从上述写入接口向上述存储器依次写入按照光栅扫描顺序连续的n个数据，以便将上述数据块存储到上述存储器的步骤；
从上述存储器的n个读出接口读出多个数据，对按照从锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据依次进行选择，来实现数据排序的步骤；
对上述选出的n个数据进行编码处理的步骤；以及
在上述编码处理结束后，对从由上述存储器的n个读出接口按照光栅扫描顺序读出的数据中进行解码处理的步骤；
上述读出扫描顺序，在编码方式设定为DC/AC预测编码时，计算三个邻接块的DC系数的斜率，确定预测块，当预测块为正上方的块时，与DC预测编码相比谋求提高编码效率时判定为水平方向优先扫描，否则选择锯齿形扫描，当预测块为左方的块时，与DC预测编码相比谋求提高编码效率时判定为垂直方向优先扫描，否则选择锯齿形扫描。
4.一种信号处理方法，其处理由多个数据构成的二维数据块，其特征在于：包括：
在锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中，判定进行哪一个写入扫描的判定步骤；
在设n为大于等于2的整数且设m为不同于n的大于等于3的整数时，将按照在上述判定步骤中判定出的写入扫描顺序连续的n个数据依次分别写入m个存储器，来存储上述数据块的步骤；以及
对从上述m个存储器中按照光栅扫描顺序读出的数据进行解码处理，来实现数据排序的步骤；
上述写入扫描顺序，在编码方式设定为DC/AC预测编码时，计算三个邻接块的DC系数的斜率，确定预测块，当预测块为正上方的块时，与DC预测编码相比谋求提高编码效率时判定为水平方向优先扫描，否则选择锯齿形扫描，当预测块为左方的块时，与DC预测编码相比谋求提高编码效率时判定为垂直方向优先扫描，否则选择锯齿形扫描。
5.一种信号处理方法，其特征在于：
根据设定的动作方式，在编码方式中使用权利要求1所述的信号处理方法进行数据排序，在解码方式中使用权利要求4所述的信号处理方法进行数据排序。
6.一种信号处理装置，其处理由多个数据构成的二维数据块，其特征在于：包括：
由用于存储上述数据块的m个存储器构成的记忆器；
从按照写入扫描顺序连续的n个数据中选择向上述m个存储器写入的数据的多个输入选择器；
从由上述m个存储器中读出的多个数据中选择按照读出扫描顺序连续的n个数据的多个输出选择器；以及
用于对上述记忆器进行数据块的写入及读出的控制的同时，对上述多个输入选择器及上述多个输出选择器提供选择信号的存储器控制器；
其中设n为大于等于2的整数且设m为不同于n的大于等于3的整数。
7.根据权利要求6所述的信号处理装置，其特征在于：
构成上述记忆器的m个存储器的各存储器，为具有至少一个写入接口，且具有两个以上能够相互独立读出的读出接口的存储器。
8.根据权利要求6所述的信号处理装置，其特征在于：
还包括：用于对提供给上述m个存储器的时钟进行个别控制的时钟控制器。
9.根据权利要求8所述的信号处理装置，其特征在于：
上述时钟控制器，在将按照光栅扫描顺序连续的n个数据分别写入上述m个存储器时，进行向发生写入的存储器提供时钟，向没有发生写入的存储器停止提供时钟的控制的同时，为了选择按照从锯齿形扫描、水平方向优先扫描或垂直方向优先扫描中选出的读出扫描顺序连续的n个数据，进行向发生读出周期的存储器提供时钟，向没有发生读出周期的存储器停止提供时钟的控制。
10.一种信号处理装置，其处理由多个数据构成的二维数据块，其特征在于：
包括：为了存储上述数据块，由具有至少一个写入接口、和设n为大于等于2的整数时能够相互独立读出的n个读出接口的存储器构成的记忆器；
从由上述存储器的n个读出接口读出的多个数据中，选择按照读出扫描顺序连续的n个数据的多个输出选择器；以及
用于在进行将数据块按照写入扫描顺序写入上述记忆器，且将存储在上述记忆器中的数据块按照读出扫描顺序读出的控制的同时，对上述多个输出选择器提供选择信号的存储器控制器。
11.一种摄像系统，其特征在于：
包括：含有权利要求6～10中的任一项所述的信号处理装置进行图像处理的图像处理电路；
向上述图像处理电路输出图像信号的传感器；以及
将光在上述传感器上成像的光学系统。
12.根据权利要求11所述的摄像系统，其特征在于：
还包括：将从上述传感器得到的图像信号变换为数字信号提供给上述图像处理电路的变换器。
CNB2004100835996A 2003-11-06 2004-10-10 信号处理方法及信号处理装置 Active CN100375498C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003376962 2003-11-06
JP2003376962 2003-11-06

Publications (2)

Publication Number Publication Date
CN1614990A CN1614990A (zh) 2005-05-11
CN100375498C true CN100375498C (zh) 2008-03-12

Family

ID=34431308

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100835996A Active CN100375498C (zh) 2003-11-06 2004-10-10 信号处理方法及信号处理装置

Country Status (5)

Country Link
US (1) US7542612B2 (zh)
EP (1) EP1530373A2 (zh)
KR (1) KR20050043607A (zh)
CN (1) CN100375498C (zh)
TW (1) TW200516994A (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7248387B2 (en) * 2001-07-31 2007-07-24 Umax Data Systems, Inc. Scanning speed control device and method
CN101300849B (zh) * 2005-11-01 2011-07-06 三叉微系统(远东)有限公司 数据处理系统
JP4909779B2 (ja) * 2006-04-17 2012-04-04 パナソニック株式会社 画像データ転送方法、画像処理装置、及び撮像システム
KR100870144B1 (ko) * 2006-12-28 2008-11-24 학교법인 대전기독학원 웹 페이지 관리를 위한 웹 아카이브 시스템 및 방법
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
CN101599167B (zh) * 2008-06-03 2013-02-20 株式会社理光 存储器的存取方法
JP5421609B2 (ja) 2009-02-17 2014-02-19 キヤノン株式会社 スキャン変換装置及び画像符号化装置、並びにそれらの制御方法
JP5004986B2 (ja) 2009-03-19 2012-08-22 キヤノン株式会社 スキャン変換装置及び画像符号化装置、並びにそれらの制御方法
JP5302769B2 (ja) 2009-05-14 2013-10-02 キヤノン株式会社 スキャン変換装置及び画像符号化装置及びそれらの制御方法
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1201332A (zh) * 1997-05-30 1998-12-09 日本胜利株式会社 活动图象编码译码装置和方法以及活动图象编码记录媒体
JPH11225338A (ja) * 1998-02-06 1999-08-17 Kanebo Ltd 画像データ圧縮装置および画像データ伸長装置
US20020015445A1 (en) * 2000-03-24 2002-02-07 Takumi Hashimoto Image processing device
US20020122599A1 (en) * 2001-02-13 2002-09-05 Canon Kabushiki Kaisha Image coder/decoder, image coding/decoding method, and storage medium
CN1411577A (zh) * 1999-12-17 2003-04-16 西门子公司 多端口ram存储装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0536630B1 (en) * 1991-09-30 1999-11-17 Kabushiki Kaisha Toshiba Band-compressed signal processing apparatus and VTR
US5838834A (en) * 1991-11-07 1998-11-17 Canon Kabushiki Kaisha Image processing apparatus and method for quantizing image data and quantization errors using single quantizing unit and pluralities of quantization tables
JP3168183B2 (ja) 1998-03-05 2001-05-21 カネボウ株式会社 データ処理装置
US6313767B1 (en) * 1999-02-19 2001-11-06 Canon Kabushiki Kaisha Decoding apparatus and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1201332A (zh) * 1997-05-30 1998-12-09 日本胜利株式会社 活动图象编码译码装置和方法以及活动图象编码记录媒体
JPH11225338A (ja) * 1998-02-06 1999-08-17 Kanebo Ltd 画像データ圧縮装置および画像データ伸長装置
CN1411577A (zh) * 1999-12-17 2003-04-16 西门子公司 多端口ram存储装置
US20020015445A1 (en) * 2000-03-24 2002-02-07 Takumi Hashimoto Image processing device
US20020122599A1 (en) * 2001-02-13 2002-09-05 Canon Kabushiki Kaisha Image coder/decoder, image coding/decoding method, and storage medium

Also Published As

Publication number Publication date
EP1530373A2 (en) 2005-05-11
TW200516994A (en) 2005-05-16
KR20050043607A (ko) 2005-05-11
US20050100228A1 (en) 2005-05-12
US7542612B2 (en) 2009-06-02
CN1614990A (zh) 2005-05-11

Similar Documents

Publication Publication Date Title
CN1290342C (zh) 可执行区块比对移动补偿与全域移动补偿的装置与方法
CN100508585C (zh) 用于控制数字视频比特流逆向播放的装置和方法
CN101060628B (zh) 图像数据传输方法、图像处理装置和摄像系统
EP3525462B1 (en) Image decoding method with hierarchical reference picture selection
CN101115208A (zh) 图像编码装置
CN101971631A (zh) 自适应帧内模式选择
CN103444182A (zh) 存储运动信息的方法和使用该方法导出时间运动矢量预测值的方法
CN1893652A (zh) 视频编码方法和装置,以及视频解码方法和装置
CN100355290C (zh) 数据处理装置及其方法以及编码装置和解码装置
US7102551B2 (en) Variable length decoding device
CN100375498C (zh) 信号处理方法及信号处理装置
CN101707716B (zh) 视频编码器和编码方法
CN101960858A (zh) 运动图像编码装置、摄像装置以及运动图像编码方法
CN1825976A (zh) 译码数字影像序列的方法及装置
CN102143361B (zh) 一种视频编码方法和装置
CN102215392A (zh) 用于估计像素值的帧内预测方法或装置
EP1947863A1 (en) Image decoding apparatus and method, and image encoding apparatus
CN1363188A (zh) 以可选择的图像分辨率进行视频编码和解码
JP2007067526A (ja) 画像処理装置
JP4559785B2 (ja) 信号処理方法および信号処理装置
KR20100044333A (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
JP2003333600A (ja) 画像符号化方法および画像復号方法
KR100256646B1 (ko) 영상 부호화 시스템의 압축율 자동-변환 장치
JPH11252338A (ja) データ処理装置
CN104980751B (zh) 图像数据处理装置及图像数据处理的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200604

Address after: Kyoto Japan

Patentee after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Japan

Patentee before: Panasonic Corp.