CN1820509A - 图像处理显示装置和图像处理显示方法 - Google Patents

图像处理显示装置和图像处理显示方法 Download PDF

Info

Publication number
CN1820509A
CN1820509A CNA03826921XA CN03826921A CN1820509A CN 1820509 A CN1820509 A CN 1820509A CN A03826921X A CNA03826921X A CN A03826921XA CN 03826921 A CN03826921 A CN 03826921A CN 1820509 A CN1820509 A CN 1820509A
Authority
CN
China
Prior art keywords
image
data
mcu
composition
reference data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA03826921XA
Other languages
English (en)
Other versions
CN100477788C (zh
Inventor
黑木健一郎
但马裕二
山岸伸贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN1820509A publication Critical patent/CN1820509A/zh
Application granted granted Critical
Publication of CN100477788C publication Critical patent/CN100477788C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/427—Display on the fly, e.g. simultaneous writing to and reading from decoding memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

可以利用很少的存储器容量来实现对所拍摄的图像的实时加工处理。图像压缩装置(3)按各个单位图像(91)、(92)、……对所输入的原始图像(90)进行压缩，对于单位图像(92)、……，通过变换预定的基准数据而生成原始图像(90)的压缩数据(90a)。参照信息生成装置(4)从图像压缩装置(3)取得执行了基准数据变换的单位图像(92)、……各自的变换前的基准数据。图像解压装置(5)按照与图像处理内容对应的顺序，取得压缩后的单位图像(91)、(92a)、……，使用变换前的基准数据来进行解压。图像处理装置(6)对解压后的单位图像实施与预先指定的图像处理内容对应的加工后输出。

Description

图像处理显示装置和图像处理显示方法
技术领域
本发明涉及图像处理显示装置和图像处理显示方法，尤其是涉及实时地对拍摄到的数字图像进行加工、显示的图像处理显示装置和图像处理显示方法。
背景技术
通常，在数码相机中，在液晶显示器等的显示装置上实时地显示拍摄到的图像。由此，显示装置发挥取景器的功能。另外，在数码相机中，有些具有对输入图像实施某种加工处理后输出的功能。作为对输入图像进行的加工处理，例如有将图像旋转后显示、或将图像左右反转后显示的处理。
在实时地对拍摄到的图像进行加工的情况下，将图像暂时存储在存储器中，在该存储器上实施图像的变换处理。之后，在显示装置上显示加工后的图像，由此来显示加工后的图像。
但是，近年来，对数码相机要求的图像质量提高，由数码相机拍摄的图像的像素数进一步增加。并且，即使在作为便携电话机等电子设备的附加功能而搭载数码相机的情况下，也在推进高分辩率化。例如，即使是作为便携电话机的附属功能而搭载的数码相机，多数也具有大于等于100万像素的像素数。但是，若图像的像素数增加，则加工该图像所需的存储器容量也增加，导致装置整体的成本上升。
例如，还考虑将图像压缩后存储在存储器中、在将该压缩数据全部解码后对图像整体实施处理的方法。但是，该方法中，不仅需要大容量的存储器，处理的等待时间(latency)(从照相机捕捉图像至显示该图像所花费的延迟时间)也增大。而这对于上述取景动作而言非常不恰当。
这样，在复原原始图像之后加工该图像时，需要保存复原后的图像的存储器。因此，期望在对压缩数据进行解压的同时，不保存复原后的图像而实施加工处理的功能。此时，必须能从任意的块开始对由块等的单位图像构成的压缩数据进行解压。
但是，压缩数据中具有对每个块进行编码得到的编码成分，并且有时编码成分中包含关于与其它块的差分的信息。例如，在JPEG(JointPhotographic Coding Experts Group，联合图像编码专家组)方式中，虽然对每个块进行编码，但编码后的数据的一部分变为DC(直流)成分。将该DC成分编码为与其它块的差分值。这样，在具有被编码为差分值的值的情况下，即使仅解码某个特定区域的数据时，如果不从开始第一块的图像数据开始按顺序解码，也得不到该信息。
因此，考虑可从压缩数据的任意块开始复原的技术。具体而言，为了从中途开始复原被压缩的图像文件，预先确定“起点块”。起点块是在加工后(例如旋转90度后)排在上端的行上的块。之后，在复原压缩后的图像文件的同时，存储起点块的文件指针与DC成分(编码前的值)。之后，从压缩数据的起点块开始，执行图像的复原。关于起点块，由于已存储DC成分，所以不采用与其它块的差分即可复原(例如参照专利文献1)。
专利文献1：日本特开2001-86318号公报
但是，在专利文献1公开的技术中，为了存储起点块的DC成分，必须暂时将压缩数据复原。因此，可减少所需的存储器容量，而另一方面，却会导致处理等待时间的增大。因此，不适合于实时处理。
发明内容
本发明是鉴于上述问题而提出的，其目的在于提供能够以少的存储器容量来实现对拍摄的图像的实时加工处理的图像处理显示装置和图像处理显示方法。
在本发明中，为了解决上述问题，提供图1所示的图像处理显示装置。本发明的图像处理显示装置用于实时地执行图像的压缩、解压和加工。图1所示的各要素具有如下功能。
压缩数据缓存1是用于存储压缩后的数据的缓存。参照图像缓存2是用于存储在对数据进行解压时所参照的信息的缓存。图像压缩装置3按各个单位图像91、92、……来压缩输入的原始图像90，对于压缩后的一个以上的单位图像92、……，将预定的基准数据变换为对应于与其它单位图像内的预定数据的比较结果的值，由此生成原图像90的压缩数据90a，将压缩数据90a存储在压缩数据缓存1中。参照信息生成装置4从图像压缩装置3取得执行了基准数据变换的单位图像92、……各自的变换前的基准数据，将取得的基准数据与对应的单位图像92、……关联起来存储在参照图像缓存2中。图像解压装置5按照与预先指定的图像处理内容对应的顺序，取得存储在压缩数据缓存1中的已压缩的多个单位图像91、92a、……，同时，从参照图像缓存2中取得与取得的单位图像对应的变换前的基准数据，并使用取得的基准数据来对所取得的已压缩的单位图像91、92a、……进行解压。图像处理装置6对由图像解压装置5解压后的单位图像实施与预先指定的图像处理内容对应的加工后输出。
根据这种图像处理显示装置，当输入原始图像90时，由图像压缩装置3对各个单位图像91、92、……进行压缩。另外，利用图像压缩装置3，对于压缩后的一个以上的单位图像92、……，将预定的基准数据变换为对应于与其它单位图像内的预定数据的比较结果的值，由此生成原始图像90的压缩数据90a。将压缩数据90a存储在压缩数据缓存1中。通过参照信息生成装置4将执行了基准数据的变换的单位图像92、……各自的基准数据与对应的单位图像92、……关联起来存储在参照图像缓存2中。这样，通过图像解压装置5，按照与预先指定的图像处理内容对应的顺序，取得存储在压缩数据缓存1中的已压缩的多个单位图像91、92a、……。使用对应的变换前的基准数据来对所取得的单位图像进行解压。之后，通过图像处理装置6，对由图像解压装置5解压后的单位图像，实施与预先指定的图像处理内容对应的加工并输出。
如上所述，在本发明中，在压缩原始图像90时，存储单位图像的变换前的基准数据，使用该基准数据来对各单位图像进行解压，所以可按任意的顺序来对单位图像进行解压。结果，在根据预先指定的图像处理内容进行加工时，也按照与图像处理内容相应的顺序来对单位图像进行解压，从而不设置用于存储整个图像的存储器等即可实时地加工图像。
通过结合表示作为本发明的示例的优选实施方式的附图进行的说明，本发明的上述和其它目的、特征和优点会变得显而易见。
附图说明
图1是应用于实施方式的发明的示意图。
图2是表示图像处理显示装置的内部结构的框图。
图3是表示图像压缩装置与参照信息生成装置的内部结构的图。
图4是表示构成原始图像的块的图。
图5是表示构成原始图像的成分的图。
图6是表示DCT处理后的图像的图。
图7是表示压缩数据缓存的数据结构例的图。
图8是表示参照图像缓存的数据结构例的图。
图9是表示图像解压装置与图像处理装置的内部结构的图。
图10是说明旋转90度时的MCU计数器的输出顺序的图。
图11是表示MCU图像的旋转处理的图。
图12是第2实施方式的图像处理显示装置的内部框图。
图13是第3实施方式的图像处理显示装置的内部框图。
具体实施方式
下面，参照附图来说明本发明的实施方式。
首先，说明应用于实施方式的发明的概要，之后，说明实施方式的具体内容。
图1是应用于实施方式的发明的示意图。本发明的图像处理显示装置用于实时地执行图像的压缩、解压和加工，具有压缩数据缓存1、参照图像缓存2、图像压缩装置3、参照信息生成装置4、图像解压装置5和图像处理装置6。
压缩数据缓存1是用于存储压缩后的数据的存储装置。压缩数据缓存1只要至少具有能存储压缩原始图像90时的数据量的存储容量即可。
参照图像缓存2是用于存储在对数据进行解压时所参照的信息的存储装置。参照图像缓存2只要至少具有能存储原始图像90的单位图像91、92、……中包含的基准数据、和用于将该基准数据与单位图像关联起来的信息的存储容量即可。基准数据例如是表示单位图像内的各像素的级别(像素值)的平均值的数据。
图像压缩装置3按每个单位图像91、92、……来压缩所输入的原始图像90。并且，图像压缩装置3对于压缩后的一个以上的单位图像92、……，将预定的基准数据变换为对应于与其它单位图像内的预定数据的比较结果的值，由此生成原始图像90的压缩数据90a。所谓单位图像的基准数据的变换处理是例如将单位图像92的基准数据置换成与其它单位图像91的基准数据之间的差分的处理。另外，也可对置换成差分的基准数据进行编码。图像压缩装置3将压缩数据90a存储在压缩数据缓存1中。压缩数据90a由不需要基准数据变换的单位图像91和已变换了基准数据的单位图像92a、……构成。
参照信息生成装置4从图像压缩装置3取得执行了基准数据变换的单位图像92、……各自的变换前的基准数据，将取得的基准数据与对应的单位图像92、……关联起来，存储在参照图像缓存2中。另外，未执行基准数据变换的单位图像91的基准数据也可存储在参照图像缓存2中。若将刚压缩后的全部单位图像91、92、……的基准数据存储在参照图像缓存2中，则可以简化解压时的处理过程。另外，基准数据与单位图像92a的关联例如可使用压缩数据缓存1内的存储单位图像92a的区域的地址。即，只要将单位图像92a的地址与单位图像92a的变换前的基准数据成组地存储在参照图像缓存2中即可。
图像解压装置5按照与预先指定的图像处理内容对应的顺序，取得存储在压缩数据缓存1中的已压缩的多个单位图像91、92a、……。例如，图像解压装置5每当在压缩数据缓存1中存储了1个画面的压缩数据90a时，立即开始图像解压用的数据获取。
另外，图像解压装置5从参照图像缓存2中取得与所取得的单位图像对应的变换前的基准数据。之后，图像解压装置5使用所取得的基准数据来对取得的已压缩的单位图像91、92a、……进行解压。另外，对于未执行基准数据变换的单位图像91，即使不从参照图像缓存2中取得基准数据，也可进行解压。另外，所谓预先指定的图像处理内容是例如图像的旋转、镜像画面变换、缩小图像(缩略图像)的生成、马赛克图像的生成等。
图像处理装置6对由图像解压装置5解压后的单位图像，实施与预先指定的图像处理内容相应的加工后输出。
根据这种图像处理显示装置，当输入原始图像90时，由图像压缩装置3对每个单位图像91、92、……进行压缩。另外，利用图像压缩装置3，对于压缩后的一个以上的单位图像92、……，将预定的基准数据变换为对应于与其它单位图像内的预定数据之间的比较结果的值，由此生成原始图像90的压缩数据90a。将压缩数据90a存储在压缩数据缓存1中。通过参照信息生成装置4将执行了基准数据变换的单位图像92、……各自的基准数据与对应的单位图像92、……关联起来存储在参照图像缓存2中。这样，图像解压装置5按照与预先指定的图像处理内容相应的顺序，取得存储在压缩数据缓存1中的已压缩的多个单位图像91、92a、……。使用对应的变换前的基准数据来对所取得的单位图像进行解压。之后，图像处理装置6对由图像解压装置5解压后的单位图像，实施与预先指定的图像处理内容相应的加工，并输出。结果，显示出加工后的图像90b。
这样，在压缩原始图像90时，存储单位图像的变换前的基准数据，使用该基准数据来对各单位图像进行解压，由此可按任意的顺序来对单位图像进行解压。在根据预先指定的图像处理内容来实施加工时，也按照与图像处理内容相应的顺序对单位图像进行解压，从而不设置用于存储整个图像的存储器等即可实时地加工图像。
因此，本发明可用于执行JPEG压缩、解压的数码相机(包括安装了数码相机的便携电话机等电子设备)中。例如，在实现数码相机的取景动作中使图像旋转的功能的情况下，执行“图像传感器→图像数据输入→JPEG压缩→解压+旋转→旋转后的图像→显示输出装置”等一连串的动作。
下面，说明JPEG压缩、解压。
通常，图像数据是利用每个像素的级别(在彩色的情况下，考虑分成R(红)、G(绿)、B(蓝)、或Y、Cb、Cr等每个成分)来表示的。JPEG的压缩动作按如下步骤进行。
(a)将图像数据分成由8×8像素构成的块。然后，把一个或多个块作为一个MCU(Minimum Coded Unit，最小编码单位)。MCU是保存压缩数据时的单位数据。在以YCbCr420形式进行压缩的情况下，由于Cb成分与Cr成分是对于4个像素生成一个数据，所以将4个块作为一个MCU。这里，对各个块实施离散余弦变换(DCT：Discrete Cosine Transform)。在输入数据的尺寸不是8的倍数的情况下，为了能构成MCU，必要时在图像的右边与下边附加像素。
(b)对得到的DCT系数进行量化，舍弃不要的高次频率成分的系数。
(c)Z字形地扫描量化后的数据(Z字形顺序)，对值为0的数据使用游程(并排了多少个相同的值)来进行编码。
(d)根据哈夫曼(Huffman)编码表，进行熵编码。
按以上步骤执行图像数据的压缩。而解压操作按相反顺序执行以上的(a)-(d)步骤。
另外，JPEG数据中有DC成分与AC成分。在上述(a)中，DCT变换后的成分中，(0，0)成分(图像左上端的DCT系数)为DC成分。DC成分表示整个块的级别的平均值。将其余的63个成分称为AC成分。对于DC成分，仅存储与前一个块的数据之间的差分信息。对于AC成分，存储DCT系数本身。
如上所述可知，以由8×8像素构成的块为单位、针对每个成分压缩JPEG数据，集合成各个MCU后存储。为了旋转图像，必须改变MCU的排列方法，并且还必须改变构成各MCU的块内的数据的排列。
因此，如果在以往，在按照输出的顺序局部地对必要的MCU进行解码的情况下，为了得到各个MCU的DC成分，必须从最开始一次解码全部MCU。由于对于特定的MCU要一个个地解码该特定的MCU之前的全部MCU，所以效率不高，因此，在以下说明的实施方式中，对于特定的MCU，在进行JPEG压缩时生成提供
1、表示MCU的存储区域的开头的地址指针
2、DC成分的值
等信息的MCU信息表。
在进行局部解码时，为了对应于处理的内容、按正确的顺序得到输出图像，按照依据该MCU信息表的顺序来解码想要的MCU，将每个MCU旋转，然后输出。
这样，本发明可应用于根据JPEG执行图像压缩的装置。下面，以将本发明应用于根据JPEG方式进行图像压缩的装置的情况为例，具体说明本发明的实施方式。
(第1实施方式)
下面，具体说明本发明的实施方式的图像处理显示装置。在以下的实施方式中，详细说明实时地旋转图像的功能。把实时图像旋转作为便携电话或数码相机等中的取景器用的图像显示功能是有用的。另外，在以下的实施方式中，假定执行JPEG的YCbCr420形式的图像压缩。另外，在YCbCr中，彩色图像用Y成分、Cr成分、Cb成分来表现。Y成分是亮度成分，表示亮度。Cr成分是色差成分，表示R(红)成分与Y成分的差。Cb成分是色差成分，表示B(蓝)成分与Y成分的差。
图2是表示图像处理显示装置的内部结构的框图。如图2所示，在图像处理显示装置100上连接照相机11与显示器12。照相机11是具有图像传感器的装置。即，照相机11利用CCD(Charge-Coupled Devices，电荷耦合器件)接受经镜头入射的光，并变换为电信号。根据由各CCD变换的电信号，生成图像。将照相机11生成的图像输入图像处理显示装置100。显示器12从图像处理显示装置100取得图像数据，进行画面显示。
图像处理显示装置100具有输入缓存110、图像压缩装置120、压缩数据缓存130、参照信息生成装置140、参照图像缓存150、图像解压装置160、图像处理装置170和输出缓存180。
输入缓存110是接收照相机11生成的图像的数据、暂时存储的存储装置。作为输入缓存110，例如使用半导体存储器。输入缓存110将所存储的数据传递到图像压缩装置120。
图像压缩装置120以块为单位来接收存储在输入缓存110中的图像，针对每个块以JPE6方式来对图像进行压缩。1块是8×8像素的图像。压缩按DCT、量化、哈夫曼编码这样的步骤来进行。图像压缩装置120以MCU为单位将压缩后的图像数据写入到压缩数据缓存130中。MCU是单位图像的再现所必需的数据。在第1实施方式中，MCU由4Y(4块的Y成分)+1Cb(1块的Cb成分)+1Cr(1块的Cr成分)6个值构成。另外，若以YcbCr422形式来进行图像压缩，则DC成分为4个值。
压缩数据缓存130是存储压缩后的图像数据的存储区域。压缩数据缓存130可存储1帧的压缩图像数据。
参照信息生成装置140从由图像压缩装置120进行了DCT的图像中取出DC成分，存储在参照图像缓存150中。另外，参照信息生成装置140取得将压缩后的MCU存储在压缩数据缓存130中时的写入区域的地址。并且，参照信息生成装置140将MCU的写入区域的地址与该图像的DC成分关联起来、存储在参照图像缓存150中。
参照图像缓存150是存储1帧的各个MCU的DC成分与地址的组的存储区域。
图像解压装置160按照每个MCU，对存储在压缩数据缓存130中的压缩数据进行解压。具体而言，图像解压装置160按预定的顺序从压缩数据缓存130中读出MCU。之后，图像解压装置160从参照图像缓存150中读出与所读出的MCU的地址关联的DC成分。之后，图像解压装置160使用所读出的DC成分对MCU进行解压。将解压后的图像传递给图像处理装置170。
图像处理装置170根据加工内容来加工由图像解压装置160解压后的图像，写入到输出缓存180中。
输出缓存180是存储被显示的图像数据的存储区域。作为输出缓存180，例如使用半导体存储器。将存储在输出缓存180中的图像数据传递到显示器12，进行画面显示。
根据这种图像处理显示装置100，将照相机11拍摄到的图像存储在输入缓存110中。图像压缩装置120读出存储在输入缓存110中的图像，实施基于JPEG形式的压缩。将压缩后的图像数据(压缩数据)存储在压缩数据缓存130中。另外，对于压缩数据的每个MCU，由参照信息生成装置140从图像压缩装置120中取出DC成分与MCU存储地址的组。将取出的DC成分与地址相互关联起来，存储在参照图像缓存150中。
由图像解压装置160针对每个MCU读出存储在压缩数据缓存130中的压缩数据。此时，由图像解压装置160从参照图像缓存150中读出所读出的MCU的DC成分。之后，图像解压装置160使用DC成分来解压MCU，将解压后的图像数据传递给图像处理装置170。图像处理装置170按照与图像的加工内容对应的配置，将图像数据写入到输出缓存180中。根据写入到输出缓存180中的图像数据，在显示器12上显示图像。
下面，详细说明图像压缩处理。
图3是表示图像压缩装置与参照信息生成装置的内部结构的图。图像压缩装置120具有DCT电路121、量化电路122、哈夫曼编码电路123、和MCU单位图像写入电路124。
DCT电路121对输入的图像数据实施离散余弦变换(DCT)处理。通过DCT处理，根据图像的像素值(表示像素的亮度的数值)得到DCT系数。得到与像素数相同个数的DCT系数。在第1实施方式中，对每个8×8像素的块进行DCT处理，所以得到8×8个DCT系数。此时，左上的DCT系数为DC成分。将1个块的DCT系数传递给量化电路122。
当从DCT电路121取得了1个块的DCT系数时，量化电路122进行DCT系数的量化。量化是指用预定的数来除DCT系数而置换成代表值。例如，即使在原始图像用8比特来表示每1个像素的情况下，DCT系数也为-1024～1023之间的值，若对小数点后面的值进行四舍五入，则用11位的整数来表示。为了减少至每1个像素为8比特，只要用2的3次方(＝8)来除DCT系数即可。另外，关于对DCT系数进行除法运算时的小数点后面的值，进行四舍五入。将量化后的DCT系数(近似DCT系数)传递给哈夫曼编码电路123。
哈夫曼编码电路123根据预先准备的代码表，将量化后的DCT系数置换成哈夫曼代码(1，0代码)。这也被称为熵编码。此时，还进行块左上端的DC成分的编码。DC成分的编码仅排列多个块(例如8×8)的DC成分，生成缩小图像。之后，对该缩小图像进行编码。例如，进行DPCM(Differential PCM，差分脉冲编码调制)编码等。DPCM编码是用图像的差分(例如与左侧像素的差分)来表现的编码方式。将编码后的图像数据(压缩数据)传递给MCU单位图像写入电路124。此时，从哈夫曼编码电路123向MCU单位图像写入电路124传递应存储该压缩数据的区域的地址(指针)。
MCU单位图像写入电路124以MCU为单位将从哈夫曼编码电路123接收到的压缩数据写入到压缩数据缓存130中。具体而言，MCU单位图像写入电路124将4块的压缩数据(4块的Y成分、1块的Cb成分、1块的Cr成分)集合为一个MCU，写入到由哈夫曼编码电路123指定的压缩数据缓存130上的地址中。
参照信息生成装置140具有参照数据提取电路141与MCU指针提取电路142。
参照数据提取电路141取得从图像压缩装置120内的DCT电路121传递到量化电路122的DCT系数，从中提取DC成分。参照数据提取电路141按从上到下的顺序，将所提取的DC成分存储在参照图像缓存150的DC成分的项中。
MCU指针提取电路142提取从图像压缩装置120内的哈夫曼编码电路123传递到MCU单位图像写入电路124的指针。并且，按从上到下的顺序，将所提取的指针存储在参照图像缓存150的指针的项中。
这样，执行图像压缩、将MCU存储在压缩数据缓存130中，并且将参照信息(DC成分与指针的组)存储在参照图像缓存150中。
下面，说明到根据原始图像来生成MCU、并且提取DC成分为止的流程。
图4是表示构成原始图像的块的图。如图4所示，原始图像200被分为多个块211～214、221～224。各个块211～214、221～224由8×8个像素构成。若压缩该原始图像200，则由4个块211～214生成一个MCU210。同样，由4个块221～224生成一个MCU 220。
另外，原始图像200是彩色图像，由Y成分、Cb成分、Cr成分构成。
图5是表示构成原始图像的成分的图。构成MCU 210的块211～214可分解成Y成分30、Cb成分41、Cr成分42。Y成分30由分别对应于4个块211～214的4个块31～34构成。即，关于Y成分，对应于原始图像200的一个像素的数据，存在一个数据。
另外，关于Cb成分41，对于4个块211～214存在一个块。同样，关于Cr成分42，对于4个块211～214存在一个块。即，关于Cb成分与Cr成分，对应于原始图像200的4个像素的数据，存在一个数据。
当压缩这种结构的数据时，首先对原始图像200实施DCT处理，将各像素的各成分的数据置换成DCT系数。
图6是表示DCT处理后的图像的图。另外，图6中示出了DCT处理后的Y成分50。对于DCT处理后的Y成分50，把表示原始图像的各像素的亮度的值变换为DCT系数。构成Y成分50的各个块内的左上端的DCT系数是在块内不变化的直流(DC)成分。DC成分表示块内的各像素值的平均(实际上偏移了级别偏移量)。例如，块51的左上端的DCT系数51a是DC成分。
这里，假设仅由各块的DC成分排列而成的图像60。该图像60与原始图像相比，是像素数为1/8×1/8的缩小图像(也称为缩略图像)。
对DCT处理后的Y成分50内的各DCT系数进行量化，但此时，对DC成分执行编码处理。例如，在对某个块的DC成分进行编码的情况下，取与邻接块的DC成分之间的差分。将各块的DC成分置换成差分值，通过哈夫曼编码等来分配识别码。
另外，图6中仅示出了Y成分50，但对于Cr成分与Cb成分也同样进行DCT系数的量化和DC成分的编码。以MCU为单位将针对这些成分分别进行编码得到的数据存储到压缩数据缓存130中。
图7是表示压缩数据缓存的数据结构例的图。在压缩数据缓存130中，存储有MCU 131、132、……的数据。在第1实施方式中，假定以YCbCr420形式来进行压缩，可输出至多64KB的压缩数据。因此，压缩数据缓存130具有64KB的存储容量。此时，存储MCU 131、132、……的区域的地址(地址#1、地址#2、……)可用16位来表现。
MCU 131由4个Y成分块(Y成分块#1、Y成分块#2、Y成分块#3、Y成分块#4)、一个Cb成分块、一个Cr成分块构成。从这些成分各自的块中分别提取DC成分，存储在参照图像缓存150中。
图8是表示参照图像缓存的数据结构例的图。参照图像缓存150设置了DC成分项与指针项。参照数据提取电路141取得最开始的MCU(MCU#1)的DC成分时，将其存储在DC成分项的开头。作为MCU#1的DC成分，包含4个块的Y成分、1个块的Cb成分、1个块的Cr成分各自的DC成分。之后，每当取得后续的MCU(MCU#2、MCU#3、MCU#4、……)的DC成分时，接在MCU#1的DC成分后面存储这些DC成分。
另外，当将最开始的MCU(MCU#1)存储在压缩数据缓存130中时，通过MCU指针提取电路142将存储MCU#1的区域的开头地址(地址#1)存储在指针项中。之后，每当将后续的MCU(MCU#2、MCU#3、MCU#4、……)存储在压缩数据缓存130中时，将这些MCU的存储区域的地址(地址#2、地址#3、地址#4、……)存储在指针项中。
这样，对于DC成分与指针(地址)，从参照图像缓存150内的存储区域的上位开始按顺序存储。由此，将与各MCU对应的DC成分与地址存储在参照图像缓存150的DC成分项与指针项的相同序号的区域中。
在参照图像缓存150中保存有变换为差分值之前的DC成分，从而可单独地将任意的MCU复原成原始的图像。即，对于MCU内包含的DC成分，除去一部分块的DC成分，其它都被置换成与邻接块之间的差分。因此，在不使用参照图像缓存150的情况下，通过从包含未执行差分值置换的DC成分的MCU开始按顺序复原，可将被置换成差分值的DC成分恢复成原始值，复原其它MCU。因此，若没有参照图像缓存150，则不能单独地复原任意的MCU。
由于能够这样单独地复原任意的MCU，因而复原后的图像的旋转等加工处理变得容易。
下面，说明基于压缩数据的图像显示处理。
图9是表示图像解压装置与图像处理装置的内部结构的图。在图像处理显示装置100中，利用图像解压装置160与图像处理装置170来执行基于压缩数据的图像显示。当显示图像时，预先指定实施哪种加工。在第1实施方式中，由显示数据尺寸与处理模式来指定。显示数据尺寸例如由待显示的图像的纵向与横向的像素数来指定。处理模式例如是指定旋转、镜像、缩略、马赛克等加工内容的信息。在旋转处理模式中，可指定旋转角度(例如90度、180度、270度等)。
将显示数据尺寸与处理模式输入到图像处理装置170。图像处理装置170根据存储在压缩数据缓存130中的图像，生成由显示数据尺寸与处理模式所指定的图像数据，写入到输出缓存180中。具体而言，图像处理装置170具有MCU计数输出电路171与MCU单位图像处理电路172。
MCU计数输出电路171根据显示数据尺寸与处理模式，确定MCU的读出顺序，依次输出对应于读出顺序的MCU计数。MCU计数是指定将MCU存储在压缩数据缓存130中的顺序的数据。利用MCU计数来唯一地确定压缩数据缓存130内的MCU。
MCU单位图像处理电路172根据显示数据尺寸与处理模式来加工从图像解压装置160传递来的MCU原始图像，输出到输出缓存180。
图像解压装置160具有参照数据提取电路161与MCU单位图像解压电路162。
参照数据提取电路161从MCU计数输出电路171接收MCU计数值，从参照图像缓存150中取出与MCU计数值对应的DC成分与地址。具体而言，参照数据提取电路161从参照图像缓存150的上位开始，提取相当于与MCU计数值对应的序号的记录(DC成分与地址)。并且，参照数据提取电路161读出所提取的DC成分与地址，传递到MCU单位图像解压电路162。
MCU单位图像解压电路162从压缩数据缓存130中取出与从参照数据提取电路161接收到的地址对应的MCU。MCU单位图像解压电路162使用从参照数据提取电路161接收到的DC成分来对所读出的MCU进行解压。具体而言，MCU单位图像解压电路162将所取得的MCU内所包含的DC成分(已编码)置换成从参照数据提取电路161接收到的DC成分(编码前)。并且，MCU单位图像解压电路162对MCU进行解压，生成MCU解压图像，并传递给图像处理装置170。
根据该结构，每当将压缩数据存储在压缩数据缓存130中时，进行图像显示处理。即，当将压缩数据存储在压缩数据缓存130中时，从MCU计数输出电路171输出与显示数据尺寸和处理模式对应的MCU计数值。每当从图像解压装置160中输出MCU解压图像时，更新输出的MCU计数值，并依次输出。
参照数据提取电路161接收从MCU计数输出电路171输出的MCU计数值。并且，由参照数据提取电路161从参照图像缓存150中取得与MCU计数值对应的DC成分与地址，传递到MCU单位图像解压电路162。
MCU单位图像解压电路162从压缩数据缓存130取得存储在由接收到的地址所表示的区域中的MCU。使用从参照数据提取电路161传递来的DC成分对该MCU进行解压，输出MCU解压图像。
将MCU解压图像传递给MCU单位图像处理电路172。这样，在MCU单位图像处理电路172中对MCU解压图像实施与显示数据尺寸和处理模式对应的加工，写入到输出缓存180中。
这样，可以对压缩图像数据进行加工、显示。下面，具体说明使图像旋转90度时的加工例。
图10是说明旋转90度时的MCU计数的输出顺序的图。如图10所示，假定了使图像70顺时针旋转90度的情况。
图像70由多个MCU构成，横向的MCU个数为m(m为大于等于1的整数)，纵向的MCU个数为n(n为大于等于1的整数)。在压缩该图像70时，MCU的位置在图像70中越靠上，则越被优先压缩。另外，若在图像70内的上下方向的位置相同，则越靠左，越被优先压缩。
因此，从图像70的左上端的MCU开始压缩，压缩对象的MCU依次向相邻的右边移动。并且，若压缩了同一行(横向的相同排列)的右端的MCU，则接着压缩其下面的行的左端的MCU。
图10中，对图像70内的MCU，用数字表示压缩的序号。左上端的MCU的压缩序号为第1，连接于其右侧的MCU的压缩序号依次为第2、第3、……。左下端的MCU的压缩序号为第“m(n-1)+1”。右下端的MCU的压缩序号为第mn。
将压缩后的MCU按压缩的顺序存储在压缩数据缓存130中。同样，按MCU的压缩顺序，将与该MCU对应的DC成分与地址存储在参照图像缓存150中。因此，为了按任意顺序读出MCU来进行解压，只要指定压缩、存储该MCU的顺序(存储顺序)即可。
因此，MCU计数输出电路171利用MCU计数来指定应解压的MCU的存储顺序。若根据处理模式(加工内容)来定义MCU计数的初始值和更新方法，则可按照与处理模式对应的预定顺序来对MCU进行解压。
在图10的例子中，在生成加工后的图像80时，假定从图像80左上端的MCU开始，按顺序生成图像，并写入到输出缓存180中。此时，为了使图像70旋转90度，必须从在图像70中的位置为左下端的MCU开始，按顺序向上执行MCU单位图像的解压。因此，MCU计数的初始值为第“m(n-1)+1”。
当更新MCU计数时，从之前的MCU计数值中减去m。由此，接着对在原始图像70中与刚解压的MCU的上方相邻的MCU进行解压。另外，当刚才的MCU计数值不足m时，由于图像70中同一列(纵向上的相同排列)的处理结束，所以必须接着对右邻列的下端的MCU进行解压。因此，若刚才的MCU计数值为“k”(k为大于等于1小于m的整数)，则将MCU计数值更新为第“m(n-1)+(k+1)”。另外，若MCU计数值变为m，则MCU计数的更新结束。
如此更新MCU计数值的结果，输出的MCU计数为“m(n-1)+1、m(n-2)+1、……、1、m(n-1)+2、m(n-2)+2、……、mn、m(n-1)、……、m”。通过按此顺序依次解压，得到旋转90度后的图像80。
另外，为了得到旋转90度后的图像80，还必须旋转各MCU的图像。
图11是表示MCU图像的旋转处理的图。另外，图11中，示出MCU由一个块(8×8像素)构成的情况下，旋转90度前的MCU图像71与旋转后的MCU图像81。旋转前的图像71的尺寸为8×8像素。图中，向各像素分配1～64的序号。利用该像素的序号来表示各像素的数据通过图像71的旋转而移动到图像81中的何处。例如，图像71中的左上端的像素移动到了图81的右上端。
在由4个块构成一个MCU的情况下，考虑使图11的纵横像素数量变为2倍，也可容易地进行旋转处理。另外，在输出180度旋转图像、270度旋转图像、镜像图像等的情况下，与90度旋转图像一样，指定输出各MCU的顺序，并且也对各MCU内的64×4(块数)个图像数据执行旋转处理并输出。
对输入到MCU单位图像处理电路172中的各MCU执行这种像素的重新排列。由此，写入到输出缓存180中的图像数据为对写入到压缩数据缓存130中的压缩数据进行解压、并旋转90度后的图像。
如上所述，通过将压缩数据的各MCU的DC成分与地址存储在参照图像缓存150中，可对每个块依次执行压缩数据的展开、解压、处理。结果，可以利用很少的存储器容量来实时地执行旋转等的图像加工。即，由于以MCU为单位对压缩数据实施展开、解压、处理，所以不需要大容量存储器，并可抑制从图像输入至输出为止的等待时间。
即，以往，复原JPEG数据全体，旋转复原后的图像，在该现有方法中需要暂时保存复原后的图像全体的存储器。并且，与其它电路的处理速度相比，向存储器写入或读出图像要花费时间。因此，由于增加了介入的存储器，使得等待时间也增长。
另一方面，如第1实施方式所示，由于直接取出压缩后的数据的一部分，使之旋转预定角度后依次输出，因而不需要用于复原压缩数据全体、存储复原后的图像的存储器。另外，通过减少从图像的拍摄到显示之间介入的存储器，可减少等待时间。另外，由于可与MCU向压缩数据缓存130的写入同时并行地执行向参照图像缓存150写入DC成分与地址，所以不会对等待时间造成坏影响。
(第2实施方式)
第2实施方式可容易地生成八分之一的缩略图像。
作为图像的加工处理，有缩略图像的生成处理。在生成缩略图像的情况下，只要适当地对MCU内的数据进行抽取显示即可。尤其是输出八分之一尺寸的缩略图像时，可以仅输出各MCU的DC成分来生成图像。
图12是第2实施方式的图像处理显示装置的内部框图。在图像处理显示装置100a上，与第1实施方式一样，连接着照相机11和显示器12。另外，图像处理显示装置100a具有输入缓存110a、图像压缩装置120a、压缩数据缓存130a、参照信息生成装置140a、参照图像缓存150a、图像解压装置160a、图像处理装置170a、输出缓存180a和DC成分提取装置191。这些各要素除DC成分提取装置191外，其它均具有与图2所示第1实施方式中的同名要素相同的功能。但是，参照信息生成装置140a还具有将取得的DC成分传递给DC成分提取装置191的功能。另外，图像处理装置170a还具有在处理模式是八分之一缩略图像显示模式时停止自己的处理功能的功能。
DC成分提取装置191将从参照信息生成装置140a接收到的DC成分作为一个像素的数据，写入到输出缓存180a中。仅由各MCU的DC成分排列而成的图像就是八分之一尺寸缩小图像。因此，通过在显示器12上显示由DC成分提取装置191写入到输出缓存180a中的图像，来显示缩略图像。
这样，通过由DC成分提取装置191将仅由DC成分构成的图像写入到输出缓存180a中，可容易地制作缩略图像。
另外，使用第2实施方式所示的结构，还可显示马赛克图像。为了显示马赛克图像，DC成分提取装置191只要用DC成分来填充MCU内的数据即可。
另外，在图12的例子中，假定了通过处理模式的切换来显示缩略图像的情况，但在仅显示缩略图像的情况下，不需要压缩数据缓存130a、参照图像缓存150a、图像解压装置160a和图像处理装置170a。
(第3实施方式)
另外，还可旋转八分之一尺寸的缩略图像。
图13是第3实施方式的图像处理显示装置的内部框图。在图像处理显示装置100b上，与第1实施方式一样，连接着照相机11和显示器12。另外，图像处理显示装置100b具有输入缓存110b、图像压缩装置120b、压缩数据缓存130b、参照信息生成装置140b、参照图像缓存150b、图像解压装置160b、图像处理装置170b、输出缓存180b、DC成分提取装置191b和图像旋转电路192。这些各要素除参照信息生成装置140b与图像旋转电路192外，其它均具有与图12所示第2实施方式中的同名要素相同的功能。参照信息生成装置140b具有与图2所示的第1实施方式中的参照信息生成装置140相同的功能。
在处理模式是执行八分之一尺寸缩略图像的90度旋转显示的模式时，图像旋转电路192从参照图像缓存150中按预定顺序取得DC成分，传递到DC成分提取装置191b。DC成分的取得顺序的确定方法与图10所示的方法一样。
这样，当提取DC成分时，仅变更数据的取出顺序，就可使缩略图像旋转。
另外，在图13的例子中，假定了通过处理模式的切换来旋转显示缩略图像的情况，但在仅旋转显示缩略图像的情况下，不需要压缩数据缓存130b、参照图像缓存150b、图像解压装置160b和图像处理装置170b。
但是，在第1～第3实施方式中，仅说明了实时显示压缩数据的结构，但在作为数码相机发挥功能的情况下，附加了在按下快门时将存储在压缩数据缓存中的压缩数据存储到其它存储器中的功能。若将第1～第3实施方式所示的图像处理显示装置应用于数码相机，则由于到图像显示为止的等待时间少，所以可将显示器用作取景器。此时，如果按下快门，则记录与显示器上显示的图像大致相同的图像。
即，显示器上显示的图像是等待时间之前拍摄到的图像。因此，若象以往那样，等待时间长，则显示器上显示的图像与按下快门时拍摄的图像之间的差异变大。另一方面，若应用上述实施方式所示的图像处理显示装置，则等待时间少，所以显示器上显示的图像与按下快门时拍摄的图像之间的差异变小。结果，可拍摄用户所预期的图像。
另外，通过向第2和第3实施方式那样具有生成缩略图像的功能的图像处理显示装置追加缩略图像输出用的输出缓存，则可在多个显示器上同时实时地显示正常大小的图像与缩略图像。即，分成由图像处理装置进行写入的输出缓存和由DC成分提取装置进行写入的输出缓存。由此，可在通过图像处理装置对正常尺寸的图像进行加工而显示的同时，通过DC成分提取装置显示缩略图像。这可有效运用于具有多个画面的便携电话机等中。例如，在折叠式便携电话机折叠时位于内侧的显示器上显示正常尺寸的画面，在折叠时位于外侧的显示器上显示缩略图像。
另外，在上述各实施方式中，在参照图像缓存150中将每个MCU的DC成分的组与MCU的指针关联起来进行存储，但也可将指针与每个DC成分关联起来存储到参照图像缓存150中。此时，与DC成分相关联的指针指示与该DC成分对应的块的AC成分的开头地址。即，在解压时，将参照图像缓存150的DC成分追加到相关联的指针所示的AC成分之前。由此，可以进行每个块的解压。
另外，在上述各实施方式中，假定了在压缩数据缓存130中存储可直接解压的JPEG数据(包含编码后的DC成分)的情况，但也可将不包含DC成分的状态下的图像数据存储在压缩数据缓存130中。此时，即使不实施图像的旋转等加工时，也可使用保存在参照图像缓存150中的DC成分来进行JPEG数据的解压。
上述仅示出本发明的原理。并且，对本领域的技术人员而言，可进行多种变形、变更，本发明不限于上述示出、说明的确切的结构和应用例，对应的所有变形例和等同物均视为落在所附权利要求及其等同物所限定的本发明的范围内。

Claims (10)

1、一种实时地执行图像的压缩、解压和加工的图像处理显示装置，其特征在于：具有：
压缩数据缓存，其用于存储压缩后的数据；
参照图像缓存，其用于存储在对数据进行解压时参照的信息；
图像压缩装置，其按各个单位图像来对所输入的原始图像进行压缩，对于压缩后的一个以上的所述单位图像，将预定的基准数据变换为对应于与其它单位图像内的预定数据的比较结果的值，由此生成所述原始图像的压缩数据，将所述压缩数据存储在所述压缩数据缓存中；
参照信息生成装置，其从所述图像压缩装置取得执行了所述基准数据变换的所述单位图像各自的变换前的所述基准数据，将取得的所述基准数据与对应的所述单位图像关联起来存储在所述参照图像缓存中；
图像解压装置，其按照与预先指定的图像处理内容对应的顺序，取得存储在所述压缩数据缓存中的已压缩的多个所述单位图像，并且从所述参照图像缓存中取得与所取得的所述单位图像对应的变换前的所述基准数据，并使用所取得的所述基准数据来对所取得的已压缩的所述单位图像进行解压；和
图像处理装置，其对由所述图像解压装置解压后的所述单位图像，实施与所述预先指定的图像处理内容对应的加工后输出。
2、根据权利要求1所述的图像处理显示装置，其特征在于：
所述图像压缩装置对于压缩后的一个以上的所述单位图像，将预定的所述基准数据变换为对应于与其它单位图像内的所述基准数据的差分的值。
3、根据权利要求1所述的图像处理显示装置，其特征在于：
指定图像的旋转处理作为所述图像处理内容。
4、根据权利要求1所述的图像处理显示装置，其特征在于：
所述图像压缩装置按预定的顺序压缩构成所述原始图像的所述单位图像，
每次执行所述单位图像的压缩时，所述参照信息生成装置取得所述基准数据。
5、根据权利要求1所述的图像处理显示装置，其特征在于：
所述基准数据是表示所述单位图像内的各像素值的平均的数据。
6、根据权利要求1所述的图像处理显示装置，其特征在于：
所述参照信息生成装置利用存储了所述单位图像的所述压缩数据缓存内的存储区域的地址，来将所取得的所述基准数据和对应的所述单位图像关联起来。
7、根据权利要求1所述的图像处理显示装置，其特征在于：
每当将一个画面的数据存储到所述压缩数据缓存中时，所述图像解压装置就开始所述单位图像的解压处理。
8、一种实时地执行图像的压缩、解压和加工的图像处理显示装置，其特征在于：具有：
压缩数据缓存，其用于存储压缩后的数据；
图像压缩装置，其按各个单位图像来对所输入的原始图像进行压缩，对于压缩后的一个以上的所述单位图像，将表示所述单位图像内的各像素值的平均的基准数据变换为对应于与其它单位图像内的预定数据的比较结果的值，由此生成所述原始图像的压缩数据，将所述压缩数据写入到所述压缩数据缓存中；
参照信息生成装置，其从所述图像压缩装置取得执行了所述基准数据变换的所述单位图像各自的变换前的所述基准数据；和
缩小图像生成装置，其排列由所述参照信息生成装置取得的所述基准数据，生成缩小图像。
9、根据权利要求8所述的图像处理显示装置，其特征在于：
还具有参照图像缓存，其用于存储在对数据进行解压时参照的信息，
所述参照信息生成装置将取得的所述基准数据与对应的所述单位图像关联起来存储到所述参照图像缓存中，
所述缩小图像生成装置按照与预先指定的图像处理内容对应的顺序，经由所述参照图像缓存取得所述基准数据。
10、一种实时地执行图像的压缩、解压和加工的图像处理显示方法，其特征在于：
当输入原始图像时，按各个单位图像来压缩所述原始图像；
对于压缩后的一个以上的所述单位图像，将预定的基准数据变换为对应于与其它单位图像内的预定数据的比较结果的值，由此生成所述原始图像的压缩数据，将所述压缩数据存储在压缩数据缓存中；
取得执行了所述基准数据变换的所述单位图像的变换前的所述基准数据；
将取得的所述基准数据与对应的所述单位图像关联起来存储到参照图像缓存中；
按照与预先指定的图像处理内容对应的顺序，取得存储在所述压缩数据缓存中的已压缩的多个所述单位图像，并且从所述参照图像缓存中取得与所取得的所述单位图像对应的变换前的所述基准数据；
使用取得的所述基准数据来对所取得的已压缩的所述单位图像进行解压；
对解压后的所述单位图像，实施与所述预先指定的图像处理内容对应的加工后输出。
CNB03826921XA 2003-09-16 2003-09-16 图像处理显示装置和图像处理显示方法 Expired - Fee Related CN100477788C (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/011795 WO2005029863A1 (ja) 2003-09-16 2003-09-16 画像処理表示装置および画像処理表示方法

Publications (2)

Publication Number Publication Date
CN1820509A true CN1820509A (zh) 2006-08-16
CN100477788C CN100477788C (zh) 2009-04-08

Family

ID=34362478

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB03826921XA Expired - Fee Related CN100477788C (zh) 2003-09-16 2003-09-16 图像处理显示装置和图像处理显示方法

Country Status (5)

Country Link
US (1) US7965776B2 (zh)
EP (1) EP1667457A4 (zh)
JP (1) JP4130207B2 (zh)
CN (1) CN100477788C (zh)
WO (1) WO2005029863A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184558A (zh) * 2010-04-29 2011-09-14 微软公司 概率分布云的多质心压缩
CN102244712A (zh) * 2010-05-14 2011-11-16 富士胶片株式会社 图像数据扩展设备、图像数据压缩设备及控制其操作的方法
CN101719985B (zh) * 2009-11-17 2012-12-26 无锡中星微电子有限公司 一种图像采集和处理的方法和装置
CN103238324A (zh) * 2010-12-01 2013-08-07 夏普株式会社 图像处理装置以及图像处理方法
CN105812644A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 图像处理方法、成像装置和电子设备
CN108241645A (zh) * 2016-12-23 2018-07-03 腾讯科技（深圳）有限公司 图像处理方法及装置
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100615576B1 (ko) 2003-02-06 2006-08-25 주식회사 고영테크놀러지 3차원형상 측정장치
US7496242B2 (en) * 2004-12-16 2009-02-24 Agfa Inc. System and method for image transformation
US7821548B2 (en) 2005-06-03 2010-10-26 Nokia Corporation Temporal image buffer for image processor using compressed raw image
JP4706567B2 (ja) * 2006-06-12 2011-06-22 ソニー株式会社 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体、画像処理装置
JP4902474B2 (ja) * 2006-09-19 2012-03-21 株式会社リコー 画像処理装置及び画像処理方法
FI20065754L (fi) * 2006-11-28 2008-05-29 Liquid Air Lab Gmbh Kuvankäsittelymenetelmä
US8098941B2 (en) * 2007-04-03 2012-01-17 Aptina Imaging Corporation Method and apparatus for parallelization of image compression encoders
JP4952360B2 (ja) * 2007-04-26 2012-06-13 日本電気株式会社 動画像復号方法、動画像復号装置、動画像復号プログラム
US8094952B2 (en) 2007-09-19 2012-01-10 Ricoh Company, Ltd. Image processing apparatus and image processing method
WO2011089798A1 (ja) * 2010-01-19 2011-07-28 ルネサスエレクトロニクス株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
TWI426465B (zh) * 2010-06-07 2014-02-11 V R Thchnology Co Ltd 使用ｊｐｅｇ用於顯示及記錄的彩色影像旋轉之方法及裝置
KR20130094113A (ko) * 2012-02-15 2013-08-23 삼성전자주식회사 카메라 데이터 처리 장치 및 방법
US8717443B2 (en) * 2012-08-01 2014-05-06 Motorola Mobility Llc Method and system for testing temporal latency in device having optical sensing component and touch-sensitive display component
CN103974268B (zh) * 2013-01-29 2017-09-29 上海携昌电子科技有限公司 精细粒度可调的低延时传感器网络数据传输方法
CN104883691B (zh) * 2015-05-12 2018-03-30 祝敏 无线传感器网络中自适应动态子网划分方法
CN104809748B (zh) * 2015-05-13 2017-10-24 西安电子科技大学 基于变采样率和线性均值预测的图像压缩感知方法
US11582402B2 (en) * 2018-06-07 2023-02-14 Eys3D Microelectronics, Co. Image processing device
JP2020088694A (ja) * 2018-11-28 2020-06-04 キヤノン株式会社 画像処理装置、画像処理方法
JP2021164046A (ja) * 2020-03-31 2021-10-11 キヤノン株式会社 画像処理装置、記録装置、画像処理方法、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6370381A (ja) * 1986-09-12 1988-03-30 インターナショナル・ビジネス・マシーンズ・コーポレーション イメ−ジ・デ−タの回転方法
US5408328A (en) * 1992-03-23 1995-04-18 Ricoh Corporation, California Research Center Compressed image virtual editing system
WO1994022108A1 (en) * 1993-03-23 1994-09-29 Zoran Corporation Rapid thumbnail image reconstruction of dct compressed image data
US5751865A (en) * 1996-09-26 1998-05-12 Xerox Corporation Method and apparatus for image rotation with reduced memory using JPEG compression
TW341018B (en) * 1997-09-23 1998-09-21 Winbond Electronics Corp The compress and de-compress apparatus for video signal and its method
US6567571B1 (en) * 1998-06-24 2003-05-20 Canon Kabushiki Kaisha Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks
US6353682B2 (en) * 1998-09-17 2002-03-05 Xerox Corporation Rotated read-out of JPEG compressed images
US6442302B2 (en) * 1998-09-17 2002-08-27 Xerox Corporation Rotated read-out of JPEG compressed images
JP3661520B2 (ja) * 1999-09-10 2005-06-15 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像形成装置及びプログラムを記録した記録媒体
JP3835273B2 (ja) * 2001-12-10 2006-10-18 富士ゼロックス株式会社 画像符号化復号装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719985B (zh) * 2009-11-17 2012-12-26 无锡中星微电子有限公司 一种图像采集和处理的方法和装置
CN102184558A (zh) * 2010-04-29 2011-09-14 微软公司 概率分布云的多质心压缩
CN102244712A (zh) * 2010-05-14 2011-11-16 富士胶片株式会社 图像数据扩展设备、图像数据压缩设备及控制其操作的方法
CN103238324A (zh) * 2010-12-01 2013-08-07 夏普株式会社 图像处理装置以及图像处理方法
US11215711B2 (en) 2012-12-28 2022-01-04 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US11710309B2 (en) 2013-02-22 2023-07-25 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
CN105812644A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 图像处理方法、成像装置和电子设备
CN108241645A (zh) * 2016-12-23 2018-07-03 腾讯科技（深圳）有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
JP4130207B2 (ja) 2008-08-06
US20060139446A1 (en) 2006-06-29
JPWO2005029863A1 (ja) 2006-11-30
EP1667457A1 (en) 2006-06-07
US7965776B2 (en) 2011-06-21
CN100477788C (zh) 2009-04-08
EP1667457A4 (en) 2011-11-16
WO2005029863A1 (ja) 2005-03-31

Similar Documents

Publication Publication Date Title
CN1820509A (zh) 图像处理显示装置和图像处理显示方法
CN101031021A (zh) 图像拍摄设备、成像电路、和图像拍摄方法
CN1160641C (zh) 数据处理器及数据处理方法
CN1260946C (zh) 成像设备、图像处理方法和记录介质
EP2116058A2 (en) Architecture for image compression in a video hardware
US20090067734A1 (en) Methods and apparatuses for encoding and decoding an image
US20080165843A1 (en) Architecture for image compression in a video hardware
CN1413414A (zh) 数码相机、存储器控制设备、图像处理装置及其使用的图像处理方法
CN101990095B (zh) 压缩文件生成方法和设备、相关的相机模块和终端
CN1123992A (zh) 记录数字视频信号的方法和装置
TW200305830A (en) System and method for progressively transforming and coding digital data
JP4360416B2 (ja) 画像圧縮方法、画像圧縮装置およびプログラム
CN1674632A (zh) 图像处理设备和方法
TW201725905A (zh) 用於非４：４：４色度子採樣之顯示串流壓縮（ｄｓｃ）之熵寫碼技術
CN1943221A (zh) 图像处理装置
CN1825964A (zh) 片上处理视频数据的方法和系统
CN101064766A (zh) 图像处理方法和图像处理装置
CN1225120C (zh) 图像处理设备，图像处理方法，记录介质及程序
US10674163B2 (en) Color space compression
CN1262108C (zh) 图像处理装置和照相机
JP2000244935A (ja) 画像データ圧縮方法
CN1143438C (zh) 图像信号编码设备和方法及图像信号解码设备和方法
US7848582B2 (en) Image processing method, image processing apparatus, program of image processing method and recording medium recording program of image processing method
CN1159636C (zh) 半导体装置以及采用该装置的电子设备
CN1745573A (zh) 图像拾取设备及其运动图片拍摄方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: FUJITSU MICROELECTRONICS CO., LTD.

Free format text: FORMER OWNER: FUJITSU LIMITED

Effective date: 20081017

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20081017

Address after: Tokyo, Japan, Japan

Applicant after: Fujitsu Microelectronics Ltd.

Address before: Kawasaki, Kanagawa, Japan

Applicant before: Fujitsu Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: FUJITSU SEMICONDUCTOR CO., LTD.

Free format text: FORMER NAME: FUJITSU MICROELECTRON CO., LTD.

CP03 Change of name, title or address

Address after: Kanagawa

Patentee after: Fujitsu Semiconductor Co., Ltd.

Address before: Tokyo, Japan, Japan

Patentee before: Fujitsu Microelectronics Ltd.

ASS Succession or assignment of patent right

Owner name: SUOSI FUTURE CO., LTD.

Free format text: FORMER OWNER: FUJITSU SEMICONDUCTOR CO., LTD.

Effective date: 20150512

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150512

Address after: Kanagawa

Patentee after: Co., Ltd. Suo Si future

Address before: Kanagawa

Patentee before: Fujitsu Semiconductor Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090408

Termination date: 20180916