CN1263290C - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN1263290C
CN1263290C CN200310113275.8A CN200310113275A CN1263290C CN 1263290 C CN1263290 C CN 1263290C CN 200310113275 A CN200310113275 A CN 200310113275A CN 1263290 C CN1263290 C CN 1263290C
Authority
CN
China
Prior art keywords
image
band
picture signal
sub
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200310113275.8A
Other languages
English (en)
Other versions
CN1499831A (zh
Inventor
竹井浩文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002326935A external-priority patent/JP2004165800A/ja
Priority claimed from JP2003032267A external-priority patent/JP2004242250A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1499831A publication Critical patent/CN1499831A/zh
Application granted granted Critical
Publication of CN1263290C publication Critical patent/CN1263290C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种图像处理装置和方法，实现适合于作为图像的合成和切换用的效果的图像处理，和即使是有移动的图像也可进行平滑的高速再现的图像处理。具有将所输入的图像信号分割成多个频带成分的频带分割装置；以及在由频带分割装置对所输入的第1图像信号和第2图像信号进行了分割后，对每个进行了分割的频带成分替换图像数据，并输出第3图像信号的合成装置。或者，在对被分割成多个频带成分进行记录的图像数据进行频带合成并输出时，在进行高速再现的情况下，对合成多个图像的频率成分所得到的图像数据进行解码和再现。

Description

图像处理装置和方法
技术领域
本发明涉及用于进行多个图像信号的合成、切换、图像的高速再现的图像处理方法和装置。
背景技术
以往，作为对所输入的多个图像进行合成或切换的图像处理方法，有被称为“交叉衰落(cross-fade)”的方法：如图13所示那样，以预定的比率对两个输入图像的基带信号进行相加，随着时间的经过使加法比率变化，由此从图像A切换到图像B。另外，还有被称为“擦除(wipe)”的图像处理方法：如图14所示那样，随着时间的经过从画面的右侧向左侧按顺序进行切换。这些“交叉衰落”和“擦除”之类的图像处理，作为摄影时的效果，被用于摄像机中的摄影场景的切换等(例如，参照日本专利申请公开特开平2-301268号公报)。
另外，作为合成多个图像的其他图像处理方法，还考虑有以下的处理方法：从所输入的两个图像分别抽取低频成分和高频成分，在对两个图像的高频成分进行了合成之后，与一个图像的低频成分进行合成，得到第3图像。考虑由于在这样所生成的第3图像中包含两个图像的高频成分，故能够得到高精细的合成图像。(例如，参照日本专利申请公开特开平11-313205号公报)。
但是，由于在以往的“交叉衰落”和“擦除”之类的图像处理中，在进行合成或替换的图像信号为亮度信号和色差信号等这样的基带(baseband)信号的状态下进行，故在视觉效果上存在限制。
另外，由于在合成两个图像的高频成分后，与一方的图像的低频成分进行合成这样的以往图像处理中，是以强调所合成并生成的1张图像的轮廓为目的的结构，故不适合用于切换如活动图像那样的无缝图像时的效果。
另外，以往，人们要求：在再现例如像活动图像数据那样时间上连续的图像数据时，以在短时间内查找所希望的内容，或者大致把握整全体的流程等为目的，进行比实际记录时间还要高速的再现。
并且，具有这种高速再现功能的图像处理装置也得以实现。一般，由于活动图像是被称为帧的1画面量的图像的集合，故可通过每隔数帧对所记录的帧进行再现等，间取(downsample)再现来实现高速再现功能。
但是，在进行了这种间取再现的情况下，随着再现速度升高(即，随着进行间取的帧增多)，所再现的活动图像就变得不平稳，视觉特性不能说良好。
作为改良了视觉特性的高速再现方法，例如在日本专利申请公开特开平7-162851号公报中公开在一个帧内编码(intra-encoded)帧和多个帧间编码(inter-encoded)帧交互出现的编码图像数据中，仅再现帧内编码帧的高速再现方法。另外，在日本专利申请公开特开平7-162851号公报中记载有，通过将帧内编码帧分解成在水平方向上进行了分割的称为片(slice)的部分图像，进行1片/帧的再现，进而进行高速再现。
另外，在日本专利申请公开特开2001-352524号公报中，提案出以下方法：在高速再现以MPEG形式进行了编码的活动图像时，从连续的多个帧的部分图像生成1帧的合成图像，对此合成图像进行再现。
在这些文献中所提案出的高速再现方法，与单纯的帧间取相比，即使在高速再现时也能够在视觉上平滑地使图像的移动进行显示。但是由于在这些提案中都是将多个帧图像切成(分割)矩形状，组合各图像的片图像以构成1帧量的合成图像，故在合成图像中混杂在不同时间所摄影的图像。
为此，如图23那样当从在帧间有移动的4帧图像生成合成图像时，就成为图24所示那样有偏离(deviation)的合成图像，所再现的图像在视觉上就变得不好。
另外，为了一边生成这种合成图像一边进行高速再现，需要在通常的1帧量的再现处理时间内读出并合成多个图像，进行再现，因此有时装置的处理负荷就增大，或者大量需要存储器等资源。例如在日本专利申请公开特开2001-352524号公报提案的方法中，就需要在2倍速再现时以2倍的速度读出数据。
发明内容
本发明的主要目的之一就是解决上述问题，并提供可作为活动图像切换时的效果恰当地进行利用的图形处理方法和装置。
为了达到上述目的，本发明的第1技术方案提供一种用来接收和处理至少包括第一图像信号和第二图像信号的多个图像信号的图像处理装置，包括：频带分割装置，用于将接收的多个图像信号分割成不同的频带成分；以及图像合成装置，用于当所述频带分割装置分割了多个图像信号后，通过替换在所述多个图像信号间公共的频带成分中的一部分或者全部的图像数据来合成所述多个图像信号，并输出一个图像信号，其中，所述图像合成装置将所输出的图像信号作为从第一图像信号到第二图像信号的过渡状态信号输出。
此外，本发明的第2技术方案提供一种用于接收和处理至少包括第一图像信号和第二图像信号的多个图像信号的图像处理装置，包括：图像合成装置，用于接收已经被分割成频带成分的多个图像信号，通过替换在所述多个图像信号中预定的频带成分的一部分或者全部的图像数据来合成所述多个图像信号；以及图像输出装置，用于在随着时间的经过由所述图像合成装置变更了所述预定的频带成分后，将由所述图像合成装置所合成的图像作为活动图像信号输出，其中，所述图像输出装置将所述活动图像信号作为从第一图像信号到第二图像信号的过渡状态信号输出。
此外，本发明的第3技术方案提供一种用来接收和处理至少包括第一图像信号和第二图像信号的多个图像信号的图像处理方法，包括：频带分割步骤，用于将接收的多个图像信号分割成不同的频带成分；以及图像合成步骤，用于当在所述频带分割步骤分割了多个图像信号后，通过替换在所述多个图像信号中公共的频带成分的一部分或者全部的图像数据来合成所述多个图像信号，并输出一个图像信号，其中，所述图像合成步骤将所输出的图像信号作为从第一图像信号到第二图像信号的过渡状态信号输出。
此外，本发明的第4技术方案提供一种用于接收和处理至少包括第一图像信号和第二图像信号的多个图像信号的图像处理方法，包括：图像合成步骤，用于接收已经被分割成频带成分的多个图像信号，通过替换在所述多个图像信号中预定的频带成分的一部分或者全部的图像数据来合成所述多个图像信号；以及图像输出步骤，用于在随着时间的经过由所述图像合成步骤变更了所述预定的频带成分后，将由所述图像合成步骤所合成的图像作为活动图像信号输出，其中，所述图像输出步骤将所述活动图像信号作为从第一图像信号到第二图像信号的过渡状态信号输出。
附图说明
附图包含在说明书中，构成其一部分，表示本发明的实施方式，并与说明书的记述一起用于说明本发明的原理。
图1是包含本发明的第1实施形式中的图像处理装置的系统的框图。
图2A、B是说明离散子波变换单元的动作和子频带(subband)的图。
图3是表示量化单元中的输入值和输出值的关系的图。
图4是表示子频带和码组(code block)的关系的图。
图5A、B是表示将要合成的两个图像的子频带的图。
图6A-F是说明子频带成分的替换方法的图。
图7是包含第2实施形式中的图像处理装置的系统的框图。
图8是用于说明反离散子波变换单元的动作的图。
图9是进行本发明的交叉衰落的两个图像例子。
图10是说明本发明的交叉衰落的图。
图11A--E是说明替换两个图像的子频带成分时的其它方法的图。
图12A--E是说明替换两个图像的子频带成分时的其它方法的图。
图13是用于说明以往的特殊效果的动作的图。
图14是用于说明以往的特殊效果的显示的图。
图15是表示本发明的第3实施形式的记录处理装置的记录系统结构例子的框图。
图16是表示本发明的第3实施形式的记录处理装置的再现系统结构例子的框图。
图17A、B是说明本发明的第3实施形式中的通常再现时的各帧的子频带变换系数和被解码·再现的图像的关系的图·。
图18A～C是说明第3实施形式中，2倍速再现时从各帧读出的子频带变换系数和被解码·再现的图像的关系的图。
图19A～C是说明第3实施形式中，3倍速再现时从各帧读出的子频带变换系数和被解码·再现的图像的关系的图。
图20A、B是说明第3实施形式的变形例中，2倍速再现时从各帧读出的子频带变换系数和被解码·再现的图像的关系的图。
图21A～C是说明第4实施形式中，2倍速再现时从各帧读出的子频带变换系数和被解码·再现的图像的关系的图。
图22A～C是说明第4实施形式中，3倍速再现时从各帧读出的子频带变换系数和被解码·再现的图像的关系的图。
图23是表示在帧间有移动的图像的例子的图。
图24是示意性地表示通过以往的方法对图23的图像进行了高速再现的状态的图。
具体实施方式
下面参照附图对本发明的优选实施形式进行详细说明。
<第1实施形式>
图1是表示组合了本发明的第1实施形式中的图像处理装置、记录装置和显示装置的图像处理系统的结构例子的框图。
在本发明的图像处理装置中，作为图像的压缩编码技术使用遵循正在讨论标准化的所谓JPEG2000的方式，进行图像的频带分割处理和合成处理、压缩处理和扩展处理，关于JPEG2000的基础性的技术说明在ISO/IEC 15444等中详细地得以说明。在这里仅列举与本实施形式相关联的部分，并与图像处理装置的动作关联起来进行说明。
在图1中，101是第1图像输入单元，102是第1离散子波变换单元，103是第1存储器单元。104是数据合成单元，105是量化单元，106是熵编码单元，107是代码输出单元，108是记录装置。进而，201是第2图像输入单元，202是第2离散子波变换单元，203是第2存储器单元。204是外部输入单元。205是反离散子波变换单元，206是显示用缓冲存储器单元，207是图像输出单元，208是显示装置。
第1图像输入单元101，连接到照相机等摄影装置和外部的图像信号输出装置。首先，从第1图像输入单元101按光栅扫描顺序输入构成作为编码对象的第1图像信号的亮度信号和色度信号，并由第1离散子波变换单元102进行变换。
图2A是表示对输入信号进行频带分割的第1离散子波变换单元102的结构的图。在该图中，H0和H1是FIR滤波器，H0具有低通(Low Pass)特性，H1具有高通(High Pass)特性。另外，具有向下箭头记号的圆形部分表示间取。所输入的多值图像信号在由滤波器H0和H1进行处理被分割成不同的频带的信号以后，被下降采样(downsample)成2∶1。
在图2A中，所输入的多值图像信号，将水平方向和垂直方向的变换处理作为一组进行处理。另外，通过在最初的一组的处理结束后，进而对频带最低的信号反复相同的处理，最终就输出属于7个不同频带的一连串的数据。
图2B表示通过由图2A所示的结构组成的第1离散子波变换单元102进行了变换处理的结果为，所输入的多值图像信号被分割成不同频带的情形，是对各频带如HH1、HL1、LH1、HH2、HL2、HL1、LL那样附加了标注的例子。在以后的说明中，将向水平方向和垂直方向的一组变换处理视为分解的1个等级，将各频带HH 1、HL1、LH1、…、LL称为子频带。
由第1离散子波变换单元102进行了频带分割的图像信号，作为第1数据组保存到第1存储器单元103中。
另外，同样地从第2图像输出单元201输入的图像信号，由第2离散子波变换单元202进行频带分割，生成各频带的子频带HH1、HL1、LH1、…、LL，并作为第2数据组保存到第2存储器单元203中。
这里在不进行所输入的两个图像的合成和切换处理的情况下，例如第1数据组从存储器单元103以原封不动的形态通过数据合成单元104，并向其次的量化单元105或者反离散子波变换单元205输入。
量化单元105对从数据合成单元104输出的进行了离散子波的数据组进行量化。图3是表示量化单元105中的输入值和输出值的关系的图。这样，量化单元105将子波变换系数值变换成进行了量化的系数值(以后简称为系数值)，并输出到后续的熵编码单元106。
熵编码单元106，将所输入的系数区域分割成如图4所示那样的多个码组(在图4中用虚线标记的部分)。然后，对每个码组将系数值分解成位平面(bit plane)，进行算术编码后作为码流输出。
码流在由代码输出单元107附加首标信息等，并作为JPEG2000的文件形式被生成后，被输出到记录装置108。记录装置108由包括固体存储器的存储卡、光盘或磁盘等的记录介质，和记录介质的写入部和读出部等构成，将已输入的JPEG2000文件记录到记录介质。另外记录介质108也可以作为与本发明的图像处理装置进行了一体化的装置，或者作为可用有线或无线与图像处理装置进行连接的装置，或者连接到网络上的计算机或服务器。
从数据合成单元104输出的数据组也被输入到反离散子波变换单元205，能够反变换成原来的基带的图像信号。这里进行了反变换的图像信号被输入到显示用缓冲存储器单元206。图像输出单元207能够将来自显示用缓冲存储器单元206的图像信号作为可视图像，输出到液晶显示监视器(LCD)等的显示装置208进行显示。
接着，对使用本发明的图像处理装置进行多个图像的合成和切换的情况下，特别是切换以帧为单位连续的活动图像的情况下的数据合成单元104的动作进行说明。
从第1图像输入单元101输入的第1活动图像，由第1离散子波变换单元102如图5A所示那样进行频带分割，并作为第1数据组一边对每帧进行更新一边保存到第1存储器单元103。
从第2图像输入单元201输入的第2活动图像也同样地，由第2离散子波变换单元202如图5B所示那样进行频带分割，并作为第2数据组一边对每帧进行更新一边保存到第2存储器单元203。
来自第1和第2存储器单元的输出，被输入到数据合成单元104。另外数据合成单元104还连接到外部输入单元204，可从外部的装置或系统输入对活动图像进行了频带分割的数据组，除上述第1、第2的活动图像以外，还可分别自由地合成从外部输入单元204输入的活动图像。
这里作为例子，首先对合成来自第1存储器单元103和第2存储器单元203的图像数据，并进行切换的情况下的处理进行说明。此外，将在此以后的实施形式中进行说明的，“合成多个活动图像，并随着时间的经过进行切换的处理”称为“交叉衰落”。
通过使用数据合成单元104进行本实施形式的交叉衰落，例如在想表现出从由第1图像输入单元101输入的第1活动图像，向由第2图像输入单元201输入的第2活动图像，逐渐切换场景这样的视觉效果时有效。其结构如下：作为在从第1活动图像切换到第2活动图像的情况下，数据合成单元104的处理的说明如图6A～F所示那样，一边按照时间的经过(帧的过渡)对存在于构成活动图像每帧的各子频带的数据，从构成第1活动图像的成分向构成第2活动图像的成分依次进行替换一边构成新的数据组，并将其作为第3活动图像从数据合成单元104进行输出。
对使用图6A～F数据合成单元104进行的交叉衰落详细进行说明。这里，设第1活动图像的数据组是如图5A那样的结构，另外设第2活动图像的数据组是如图5B那样的结构。
从数据合成单元104输出的数据，首先在交叉衰落开始前的期间中，如图6A所示那样全部为仅第1活动图像的数据组的状态。
接着，当交叉衰落开始时，如图6B所示那样，在从交叉衰落开始到30帧(在NTSC方式中约1秒钟)为止的视频图像期间，将第1活动图像的数据组中的子频带成分HH1a，与第2活动图像的数据组对应的子频带成分HH1b进行替换，除此之外的子频带使第1数据组原样不变，作为其结果输出第3数据组。
接着，如图6C所示那样，在交叉衰落的执行中从31到60帧为止的视频图像期间，将第1活动图像的数据组中的子频带成分HH1a、HL1a、LH1a，与第2活动图像的数据组分别对应的子频带成分HH1b、HL1b、LH1b进行替换，除此之外的子频带原样采用第1数据组，作为其结果输出第3数据组。
接着，如图6D所示那样，在交叉衰落的执行中从61到90帧为止的视频图像期间，将第1活动图像的数据组中的子频带成分HH1a、HL1a、LH1a、HH2a，与第2活动图像的数据组分别对应的子频带成分HH1b、HL1b、LH1b、HH2b进行替换，除此之外的子频带原样采用第1数据组，作为其结果输出第3数据组。
接着，如图6E所示那样，在交叉衰落的执行中从91到120帧为止的视频图像期间，仅剩余第1活动图像的数据组中的子频带成分LLa，对每个子频带分别将第1数据组的其他子频带，与第2活动图像的数据组中的对应的子频带进行替换，作为其结果输出第3数据组。
然后从交叉衰落开始后在120帧以后，如图6F所示那样全部为仅输出第2活动图像的数据组的状态，交叉衰落完成(从第1活动图像向第2活动图像的切换结束)。
此外，尽管此切换的定时作为一例如上述那样进行设定，但在执行交叉衰落时，只要在视觉效果上在适当的范围内，则帧数或者时间间隔可以是任意的。
此后在图6A～F的各阶段中分别所生成的第3数据组，在经过了如上述那样的处理后，在显示装置208上实际进行显示，或者成为由记录装置108所记录的活动图像数据。
作为由如上所构成的图像处理装置，执行了交叉衰落时的显示形式，就能够实现在将第1活动图像设为图9的场景A，将第2活动图像设成图9的场景B的情况下，如图10所示那样，随着时间的经过逐渐从场景A向场景B进行切换这样的显示形式。
若对图10补充说明，则表示以下情况：当从场景A切换到场景B的交叉衰落开始时，随着时间经过场景A的高频成分逐渐减少接着低频成分也逐渐减少，最终与交叉衰落的结束一起场景A的成分变成零。反之对场景B，当交叉衰落开始时，随着时间经过高频成分逐渐增加接着低频成分也逐渐增加，最终与交叉衰落的结束一起画面全部被切换成场景B的图像信号。
如果不是将图像从场景A完全切换成场景B，而是想以两个图像总是被合成的状态使其显示，则只要进行控制使数据合成单元104保持图6的B～E的状态的任何一个合成状态即可。
进而，本发明的图像处理装置并不限于两个图像的交叉衰落，可以是还能够对应将来自第1存储器单元103、第2存储器单元203和外部输入端子204的，三个进行了频带分割的数据组按时序或者随机地进行切换的结构。当然即使设置多个外部输入端子204，或者增加图像输入单元，也能够由本发明的图像处理装置进行对应。
另外，数据合成单元104作为交叉衰落进行的，替换多个图像对应的子频带的处理，并不限于如上述图6A～F那样从高频成分的子频带开始按顺序进行替换的方法，也可以从低频成分的子频带(例如LL)开始进行替换。
进而，在替换子频带的情况下，在上述图6A～B中对一次替换HH1的全部子频带成分进行了说明，但作为其他的方法也能够进行控制使得如图11A～E所示那样按照时间的经过(帧的进度)进一步对子频带HH1进行细化以码组为单位顺序进行替换。
另外，也能够进行控制使得如图12A～E所示那样按照时间的经过(帧的进度)一边使两个图像对应的子频带成分的相加比率变化一边进行替换。
如上那样，通过使用在本实施形式中所说明的本图像处理装置，就可以在输入图像的处理中，提供这种新的特殊效果，并具有能够作为摄像机或编辑装置等的效果进行利用的效果。
<第2实施形式>
在第2实施形式中，对在第1实施形式中所说明的图像处理装置的，关于解码功能的结构(再现系统)进行说明。解码功能，用于再现记录于记录装置108的JPEG2000文件，并再现该文件的情况。此时，设记录装置108是具有再现功能的记录再现装置，另外，被再现的JPEG文件包含在第1实施形式中所说明的交叉衰落处理完的活动图像。
图7是表示组合了本发明第2实施形式中的图像处理装置、记录装置和显示装置的图像处理系统的结构例的框图。
图7中，108是具有再现功能的记录装置，701是代码输入单元，702是熵解码单元，703是反量化单元，704是解码用存储器单元，705是反离散子波变换单元，706是显示用缓冲存储器单元，707是图像输出单元，708是离散子波变换数据输出单元，709是LCD等的显示装置。
记录于记录单元108中的图像数据(JPEG2000文件)被进行再现，并输入到代码输入单元701。因此，分析包含在图像数据中的管理信息(首标)并抽取对后续处理所必需的参数。
之后，熵解码单元702对被量化的系数值进行解码。进行了解码的系数值被输出到后级的反量化单元703。反量化单元703对所输入的系数值进行反量化，将作为结果所得到的离散子波变换系数保存到解码用存储器单元704。
接着，在反离散子波变换单元705中，对保存在解码用存储器704中的变换系数进行反离散子波变换，对该过程在下面进行说明。
图8是表示反离散子波变换单元705的详细结构的图。反离散子波变换单元705首先，当在垂直方向上从保存于解码用帧存储器704中的数据组的子频带之中，LL2和LH2读出变换系数并以1∶2进行了上升采样以后，对LL2施加利用G0的滤波处理对LH2施加利用G1的滤波处理并进行相加。另外对HL2、HH2也进行同样的处理。接着，在水平方向上读出上面的处理结果，对先前从LL2和LH2得到的结果在上升采样后施加G0，对从HL2和HH2得到的结果在上升采样后施加G1并进行相加。通过以上的处理，1个等级的合成结束。通过用全部等级进行上面的处理，就能够从数据组复原基带的图像信号。
接着，在图7中从反离散子波变换单元705输出的图像信号被输入到显示用缓冲存储器单元706。图像输出单元707能够将来自显示用缓冲存储器单元706的图像信号作为可视图像，输出到液晶显示监视器(LCD)等的显示装置709进行显示。
另外，708是离散子波变换数据输出单元，采用可将来自解码用存储器单元704的输出，输出到外部的结构。
由于如果使用由上述那种结构所组成的第2实施形式的图像处理装置，则能够对从记录装置108进行了再现的图像数据进行解码、再现并显示，故关于在再现活动图像中包含交叉衰落的视频图像部分，能够与第1实施形式同样，如图9和图10那样对交叉衰落活动图像进行再现和显示。
进而，如果将从离散子波变换单元705输出的再现图像的数据组用于在第1实施形式中所说明的图1的外部输入单元204的输入，则来自记录装置108的再现图像和第1图像输入单元101或者第2图像输入单元201的输入图像的交叉衰落也能够实施。
如上那样，通过使用在本实施形式中所说明的本图像处理装置，使用再现图像也可提供新的特殊效果，并具有能够作为摄像机或编辑装置等的效果进行利用的效果。
<第3实施形式>
图15是表示作为本发明的图像处理装置的一例的记录再现装置中的，记录系统300的结构例的框图，图16是表示同一装置的再现系统400的结构例的框图。
(记录系统300的结构)
首先，参照图15对记录系统300的结构和动作进行说明。图中，301是由透镜和光圈等构成的透镜单元，302是由CCD、CMOS传感器等摄像元件构成的摄像单元。303是暂时存储从摄像单元302输出的数据的存储器单元。304是对暂时存储在存储器单元303中的图像数据进行预定处理的图像数据创建单元。305是总括地控制透镜单元301～图像数据创建单元304的照相机控制单元。
(记录系统300的动作)
通过透镜单元301入射的光，成像在摄像单元302的摄像元件上。然后，在摄像单元302中根据来自照相机控制单元305的驱动控制信号来驱动摄像元件。摄像元件的输出信号在摄像单元302内进行了A/D变换后，被存储到存储器单元303。所存储的图像数据根据来自照相机控制单元305的存储器读出控制信号被输入到图像数据创建单元304。
在图像数据创建单元304中进行像素插值处理、彩色运算处理、伽马处理等的处理，并创建1画面量的基带图像数据。由图像数据创建单元304所创建的图像数据被输入到后述的图像压缩单元320。
在本实施形式中，作为图像压缩单元320进行的图像压缩编码处理，设进行遵循将图像数据分割成多个频带进行压缩扩展的所谓JPEG2000方式的压缩编码处理来进行说明。此外，关于JPEG2000方式的压缩编码方式在ISO/IEC 15444中详细地得以说明，故在这里仅说明对本实施形式的理解所必需的部分。
由图像数据创建单元304所创建的图像数据，被输入到图像压缩单元320的离散子波变换单元306，实施二维离散子波变换。在本实施形式中，对输入信号进行频带分割的离散子波变换单元306，可利用在第1实施形式中所说明的图2A的结构。
这些从离散子波变换单元306输出的子频带变换系数被输出到图15的量化单元307。量化单元307对从离散子波变换单元306输出的子频带变换系数进行量化。本实施形式中的量化单元307的量化特性也可与图3中所说明的相同。这样，量化单元307对子频带变换系数进行线性量化，变换成量化索引(index)并输出到后续的熵编码单元308。
熵编码单元308将所输入的量化索引分解成位平面，以位平面为单位进行熵编码并作为码流输出。码流在由图像编码数据输出单元309附加首标信息等并加工成预定的文件形式后，被输出到记录装置310。记录装置310由存储卡或光盘、磁盘等构成。另外作为记录装置310也可以使用经网络所连接的计算机或服务器。
(再现系统400的结构)
接着，对本实施形式的记录再现装置的再现系统400进行说明。图16是表示进行由图15所示的记录系统300所编码的图像数据的展开、再现的再现系统400的结构例的框图。
图16中，310是图15所示的记录装置，401是代码读出单元，402是熵解码单元，403是反量化单元，404是解码用缓冲存储器单元，405是反离散子波变换单元，402～405构成对被压缩的图像数据进行展开的图像展开单元410。406是显示用缓冲存储器单元，407是LCD、CRT等的图像输出单元，408是总括地控制再现系统400的再现控制单元。在再现控制单元408上连接有用户指定各种再现动作用的操作开关409。
(通常再现时的动作)
首先，对通常再现(等速再现)时的动作进行说明。由上述记录系统300进行了压缩编码、并记录到记录装置310的图像数据，由代码读出单元401读出。代码读出单元401对包含在数据流中的首标进行分析，并抽取对后续的解码处理所必需的参数。
之后，熵解码单元402进行与熵编码单元308相反的解码处理，并对已量化的系数值进行解码。已解码的系数值被输出到后续的反量化单元403。反量化单元403使用与量化单元307相同的量化特性对所输入的系数值进行反量化，并将作为结果所得到的离散子波变换系数保存到解码用缓冲存储器单元404。
反离散子波变换单元405具有在第1实施形式中参照图8所说明的反离散子波变换单元705同样的结构，对保存在解码用缓冲存储器404中的变换系数进行反离散子波变换，并对基带的图像数据进行解码。
由反离散子波变换单元405所解码的基带图像数据被输入到显示用缓冲存储器单元406。图像输出单元407将来自显示用缓冲存储器单元406的数据作为可视图像，输出到LCD或CRT监视器等的显示装置。
这样，再现控制单元408在通常再现时，进行以下控制：对图17A所示的各帧的全部子频带变换系数进行解码，并如图17B所示那样按时间顺序使其解码和显示。在图17A、B中n、n+1、…表示已连续的帧图像的顺序，在此例中从第n帧的图像开始每隔1/30秒的间隔显示第(n+1)帧的图像。
(高速再现时的动作)
接着，使用图16的再现系统400来说明进行高速再现(搜索)时的动作。
例如，当从操作开关409发出高速再现(在这里设为2倍速再现)的指示时，再现控制单元408对代码读出单元401，通知进行2倍速再现。代码读出单元401，按照所通知的再现速度和预先决定的高速再现时的帧读出方法的对应，从记录装置310读出关于各帧的子频带变换系数。
即，在通常再现时，对各帧读出全部子频带的变换系数，进行解码再现，但在高速再现时，存在对全部子频带读出子频带变换系数的帧，和仅读出一部分的子频带的子频带变换系数的帧。在本实施形式中，当指示m倍速的再现(m是大于或等于2的整数)时，每m帧仅1帧读出全部子频带的子频带变换系数，对剩余的(m-1)帧仅读出最低等级的LL子频带(由于在本实施形式中进行2等级的离散子波变换，故是LL2子频带)的子频带变换系数。
由于现在是2倍速再现，故如图18所示那样，仅读出LL2子频带变换系数的帧(n、n+2、n+4)和读出全部子频带变换系数的帧(n+1、n+3、n+5)交互存在。由于仅读出LL2子频带变换系数所必需的时间与读出全部子频带的变换系数的情况相比非常短，故不需要日本专利申请公开特开2001-352524号公报所记载的，说是在m倍速再现中以通常再现时的m倍的速度进行读入那样的高速读出，代码读出单元401即使在高速再现时，只要比通常再现时稍微快的速度进行读出即可。
为仅读出LL2子频带变换系数，分析所记录的图像数据的首标，对图18A的LL2子频带以外的子频带(斜线部分)的子频带变换系数数据进行不从记录装置308读出的处理。
所读出的各子频带变换系数的数据由熵解码单元402对被量化的系数值进行解码。进行了解码的系数值被输出到后续的反量化单元403。反量化单元403对所输入的系数值进行反量化，并将所得到的离散子波变换系数保存到解码用缓冲存储器单元404。
之后，再现控制单元408在解码用缓冲存储器单元404内，合成连续的m帧，并生成一个合成帧。即，合成仅读出LL2子频带的变换系数(m-1)帧，和读出全部子频带的变换系数的1帧，并生成一个合成帧。
在本实施形式中，合成帧通过对读出全部子频带的变换系数的帧的LL2子频带变换系数，和剩余的(m-1)帧的LL2子频带变换系数进行加权平均而得以生成。
即，如图18B所示那样，对第(n+1)帧的LL2成分LL2(n+1)和第n帧的LL2成分LL2(n)，分别乘以预定的权重系数α、β并使其相加，以计算作为合成后的LL子频带变换系数的LL(n+1)′。即，进行LL(n+1)′＝α×LL(n+1)+β×LL(n)这种加权平均运算。
在本实施形式中，设系数α、β满足α+β＝1.0的关系。从而，例如在通过取单纯的平均值进行合成的情况下则为α＝0.5、β＝0.5，在想强调第(n+1)帧的LL成分的情况下例如像α＝0.7、β＝0.3那样使得α＞β来决定系数值进行加权平均运算。这样对LL子频带变换系数进行了加权平均的1帧量的各子频带变换系数值由反离散子波变换单元405变换成基带的图像数据。之后，图像数据被输入到显示用缓冲存储器单元406作为可视图像如图18C那样被输出到图像输出单元407。
这样，再现系统400按照再现控制单元408的控制，在2倍速再现中如图18A所示那样，交互设置仅读出特定的子频带的变换系数(在本实施形式中为LL子频带)的帧，和读出全部子频带的变换系数的帧，如图18B所示那样对连续的2帧的子频带变换系数以子频带为单位进行加权平均以生成一个合成帧。然后，将此合成帧解码成基带的图像信号使其显示。通过在1帧区间(1/30)进行对于连续的2帧的这些子频带系数的读出、合成以及解码处理，就能够如图18C那样实现2倍速再现。
如图18C所示那样，由于在本实施形式中的高速再现中所显示的图像，用单纯的帧间取方法信息将完全丢失的第n帧和第(n+2)帧的图像成分将如余像(afterimage)那样分别显示在第(n+1)帧、第(n+3)帧的再现图像上，故即使在使2倍速再现进行显示的情况下也能够获得自然的显示效果。
另外如上述那样，由于本实施形式中在读出记录于记录装置的子频带变换系数的情况下，在m倍速再现时对所记录的连续图像中的m帧的1张是读出全部子频带的子频带变换系数，对其他进行了间取的(m-1)帧使其仅读出一部分的子频带变换系数(在本实施形式中为LL2子频带变换系数)即可，故不需要以m倍的速度对全部m帧读出全部变换系数，还具有减少所使用的存储器容量和消费功率的效果。
显而易见这样的高速再现方法，并不限于2倍速再现，还可适用于m倍速(m是大于或等于2的整数)再现。
例如，在进行3倍速再现的情况下，如图19A～C所示那样进行处理即可。如与图18A～C所示的2倍速再现时的处理比较可知那样，在3倍速再现时，除了在连续的3帧中2帧成为仅读出LL2子频带变换系数的帧，3帧量的LL2子频带变换系数进行加权平均这一点外均进行共同的处理。
解码用缓冲存储器单元404内的加权平均的动作，为如图19B所示那样，对第(n+2)帧的LL2成分LL2(n+2)、第(n+1)帧的LL2成分LL2(n+1)和第n帧的LL2成分LL2(n)，分别乘以预定的系数α、β、γ并进行相加的处理。即，合成后的LL2子频带变换系数的LL2(n+2)′通过LL2(n+2)′＝α×LL2(n+2)+β×LL2(n+1)+γ×LL2(n)来求得。
在此情况下，成为α+β+γ＝1.0的关系。例如在计算简单的平均值的情况下则为α＝0.33、β＝0.33、γ＝0.33，在想强调第(n+2)帧的LL成分的情况下例如以α＝0.5、β＝0.3、γ＝0.2来进行加权平均运算。这样进行了加权平均的各子频带变换系数值由反离散子波变换单元405变换成基带的图像数据。之后，图像数据被输入到显示用缓冲存储器单元406作为可视图像如图19C那样被输出到图像输出单元407。
通过在1帧区间(1/30)进行对于连续的3帧的这些子频带系数的读出、合成以及解码处理，就能够实现3倍速再现。
即使在图19C所示的显示图像中，用单纯的帧间取方法信息将完全丢失的第n帧、第(n+1)帧的图像成分将如余像那样显示在第(n+2)帧的解码图像上，故即使在使3倍速再现进行显示的情况下也能够以自然的感觉使其进行再现显示。
以后在m倍速再现的情况下也同样如此，使用m个加权平均系数进行m帧量的LL成分的加权平均运算，由反离散子波变换单元405将所得到的子频带系数变换成基带的图像数据由此就得到余像效果，即使帧间的移动大也能够进行视觉上的不适感小的m倍速再现。
<第3实施形式的变形例>
在上述的例子中，对于仅读出一部分的子频带变换系数的帧(间取)，仅读出LL2子频带变换系数，生成对LL2子频带变换系数进行了加权平均的合成帧。
但是，对间取帧将读出的子频带变换系数的种类和数码，在其不成为全部子频带系数的范围内可任意地进行设定。
即，也可以如图20A、B所示那样，除了LL2子频带变换系数，对HL2、LH2、HH2的子频带变换系数也进行读出，对这些子频带变换系数进行加权平均以生成合成帧并进行再现。
在此情况下的，加权平均运算以子频带为单位进行。另外，图20A、B对2倍速再现时进行表示，但即使在3倍速以上的高速再现中也同样地进行处理即可。
如以上所说明那样，根据本实施形式，在高速再现对多个频带成分的每个进行了压缩编码的图像时，通过从多个连续的帧的子频带变换系数生成，表示将要再现的1帧量的图像的子频带变换系数的一部分，用简单的处理，且不论帧间的移动如何都可实现视觉上的不适感小的平滑的高速再现。
<第4实施形式>
在第3实施形式中，对在成为合成对象的各帧中公共的子频带变换系数进行加权平均以生成合成帧。相对于此本实施形式的特载在于：从成为合成对象的各帧读出相互不同的子频带变换系数，以生成一个合成帧。
此外，由于在本实施形式中说明的高速再现方法也可由在第3实施形式中所说明的记录再现装置进行实施，故有关记录再现装置的结构的说明就省略。另外，因为关于等倍速的再现时的处理也与第3实施形式共同，故下面仅对高速再现时的动作进行说明。
与第3实施形式同样，首先对2倍速再现进行说明。例如当如图16中的操作开关409发出2倍速再现的指示，则再现控制单元408对代码读出单元通知进行2倍速再现。代码读出单元401，按照所通知的再现速度和预先决定的高速再现时的帧读出方法的对应，从记录装置310读出关于各帧的子频带变换系数。
即，在通常再现时，对各帧读出全部子频带的变换系数，进行解码再现，但在高速再现时，对在成为合成对象的帧中相互不同的子频带读出子频带变换系数。在本实施形式中，当指示m倍速的再现(m是大于或等于2的整数)时，进行读出以从连续的m帧得到相互不同的子频带的子频带变换系数，即根据从这些m帧读出的子频带变换系数得到关于全部种类的子频带的子频带变换系数。
从而，在2倍速再现时，例如像图21A、21B所示那样，从连续的2帧的编码图像数据的一个帧读出第2等级(LL2、HL2、HH2、LH2)的子频带变换系数，从另一帧读出第1等级(HL1、HH1、LH1)的子频带变换系数，由此就从连续的2帧量的图像数据，得到为合成一帧所必需的全部子频带的子频带变换系数。
即，如果对第n帧和第(n+1)帧而言，关于第n帧的图像数据则读出HL1(n)、HH1(n)、LH1(n)的子频带变换系数数据，对接着的第(n+1)帧的图像数据则读出LL2(n+1)、HL2(n+1)、HH2(n+1)、LH2(n+1)的子频带变换系数数据。
这样，从某连续的2帧的图像数据，读出相互不同的子频带变换系数的数据，以使如图21B所示那样1画面量的全部子频带变换系数得以组合。
所读出的各子频带变换系数的数据，由熵解码单元402对被量化的系数值进行解码。进行了解码的系数值被输出到后级的反量化单元403。反量化单元403对所输入的系数值进行反量化，将所得到的离散子波变换系数保存到解码用存储器单元404。
之后，如图21B所示那样进行了组合的1画面量的子频带变换系数值由反离散子波变换单元405变换成基带的图像数据。然后，基带图像数据被输入到显示用缓冲存储器单元406，作为可视图像如图21C那样被输出到图像输出单元407。
这样，再现系统400按照再现控制单元408的控制，在2倍速再现中从图21A所示的各帧的连续2帧，如图21B所示那样得到全部子频带的子频带变换系数，且从各帧读出不同的子频带的子频带变换系数。然后，创建图21B所示的合成帧，并将其解码成基带的图像信号使其显示。通过在1帧区间(1/30)进行对于连续的2帧的这些子频带系数的读出、合成以及解码处理，就能够如图21C那样实现2倍速再现。
如图21C所示那样，由于在本实施形式中的高速再现中所显示的图像，用简单的帧间取方法信息将完全丢失的第n帧和第(n+2)帧的图像成分将如余像那样分别显示在第(n+1)帧、第(n+3)帧的再现图像上，故即使在使2倍速再现进行显示的情况下也能够获得自然的显示效果。
另外在本实施形式中当在m倍速再现时，读出记录在记录装置中的子频带变换系数时，分析数据的首标，从连续的m帧的图像数据中读出对每帧相互不同的子频带变换系数，且组合从m帧读出的相互不同的子频带变换系数以构成1帧量的全部子频带的子频带变换系数。从而，对各帧仅使其读出一部分的子频带变换系数即可，故不需要如现有技术那样以m倍的速度对全部m帧读出全部变换系数，与第3实施形式同样，还具有减少所使用的存储器容量和消费功率的效果。
显而易见本实施形式的方法也与第3实施形式同样，并不限于2倍速再现，还可适用于m倍速(m是大于或等于2的整数)再现。
例如，在进行3倍速再现的情况下，如图22A～C所示那样进行处理即可。如与图21A～C所示的2倍速再现时的处理比较可知那样，在3倍速再现时，除了从连续的3帧的图像数据中读出对每帧相互不同的子频带变换系数，且组合从3帧分别读出的子频带变换系数以构成1帧量的全部子频带的子频带变换系数这一点外均进行共同的处理。
在此例中，如图22A所示那样，顺次反复读出第1等级(HL1、HH1、LH1)的子频带变换系数的帧，读出除了LL2的第2等级(HL2、HH2、LH2)的子频带变换系数的帧，仅读出LL2子频带变换系数的帧。由此，就能够由从连续的3帧读出的子频带变换系数，得到一组全部子频带的子频带变换系数。
从各帧读出的各子频带变换系数的数据(图22A)，由熵解码单元402解码成量化了的系数值。并输出到后级的反量化单元403。反量化单元403对所输入的系数值进行反量化，将所得到的离散子波变换系数保存到解码用存储器单元404。之后，如图22B所示那样进行了组合的1画面量的子频带变换系数值由反离散子波变换单元405变换成基带的图像数据。之后，基带图像数据被输入到显示用缓冲存储器单元406，并作为可视图像如图22C那样被输出到图像输出单元407。
这样，再现系统400按照再现控制单元408的控制，在3倍速再现中从图22A所示的各帧的连续3帧，如图22B所示那样得到全部子频带的子频带变换系数，且从各帧读出不同的子频带的子频带变换系数。然后，创建图22B所示的合成帧，并将其解码成基带的图像信号使其显示。通过在1帧区间(1/30)进行对于连续的3帧的这些子频带系数的读出、合成以及解码处理，就能够如图22C那样实现3倍速再现。
如图22C所示那样，在本实施形式中的以高速再现所显示的图像，用简单的帧间取方法信息将完全丢失的第n帧和第(n+1)帧的图像成分将如余像那样显示在第(n+2)帧的再现图像上，故即使在使3倍速再现进行显示的情况下也能够获得自然的显示效果。
以后在m倍速再现的情况下也同样如此，进行控制从m帧的图像数据读出对每帧不同的子频带变换系数的数据。然后，由反离散子波变换单元405将所得到的子频带系数变换成基带的图像数据由此就得到高频成分的余像效果，即使帧间的移动大也能够进行视觉上的不适感小的m倍速再现。
如以上所说明那样，根据本实施形式，在高速再现对多个频带成分的每个进行了压缩编码的图像时，通过从多个连续的帧的子频带变换系数没有重复地生成，表示将要再现的1帧量的图像的子频带变换系数，用简单的处理，且不论帧间的移动如何都可实现视觉上的不适感小的平滑的高速再现。
《其他实施形式》
也可以组合上述第3和第4实施形式。在此情况下，例如在第4实施形式中，进行读出控制以使在m倍速再现时从连续的m帧的数据读出的子频带变换系数的一部分重复，在解码用缓冲存储器单元404内的合成/组装处理中，对重复的子频带变换系数进行在第3实施形式中所进行的加权平均处理，由此生成一个合成帧即可。
另外在上述实施形式中作为将图像分割成多个频带并压缩图像的处理，以使用了离散子波变换的JPEG2000方式为例进行了说明，但只要是将图像信号分割成多个频带进行压缩的压缩方法就可应用本发明，压缩方式自身没有特别限制。
进而，在上述实施形式中，为了使说明和本发明的理解容易，以使用2等级的二维离散子波变换进行压缩编码的图像数据为例进行了说明，但也可以进行3等级以上的变换。
在上述实施例中，仅对由1个设备构成的图像处理装置进行了说明，但也可通过由多个设备构成的系统来实现等同的功能。
此外，以下情况也包含在本发明中，即，将实现上述实施例的功能的软件的程序从记录介质直接，或者使用有线/无线通信提供给具有可执行该程序的计算机的系统或装置，通过该系统或装置的计算机执行所供给的程序来达到等同的功能。
从而，为用计算机实现本发明的功能处理，而供给并安装在该计算机的程序代码本身也将实现本发明。也就是，用于实现本发明的功能处理的计算机程序本身也包含在本发明中。
在此情况下，只要具有程序的功能，则不过问程序的形式，可使用对象代码、由解释程序所执行的程序、供给OS的脚本数据等。
作为用于供给程序的记录介质，例如有软盘、硬盘、磁带等的磁记录介质、MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RW等光/光磁存储介质、非易失性半导体存储器等。
作为使用了有线/无线通信的程序的供给方法，可列举出在计算机网络上的服务器中存储，形成本发明的计算机程序本身、或被压缩的包含自动安装功能的文件等可以作为在客户计算机上形成本发明的计算机程序的数据文件(程序数据文件)、并将程序数据文件下载到有连接的客户计算机的方法等。此时，也可将程序数据文件分割成多个分段文件，并将分段文件配置于不同的服务器。
也就是，使由计算机实现本发明的功能处理用的程序数据文件对多个用户下载的服务器装置也包含在本发明中。
另外，也可对本发明的程序进行加密并存储在CD-ROM等的存储介质中向用户发布，对满足预定条件的用户，例如经互联网从主页使其下载来提供解开密码的密钥信息，通过使用该密钥信息来执行被加密的程序使其安装在计算机上而实现。
除通过计算机执行所读出的程序使上述的实施例的功能得以实现外，根据该程序的指示，在计算机上运转的OS等执行实际处理的部分或全部，通过该处理也可使上述实施例的功能得以实现。
进而，在从记录介质读出的程序被写入到在计算机中所插入的功能扩充板和在计算机上所连接的功能扩充单元上备有的存储器以后，基于该程序的指示，该功能扩充板和功能扩充单元上备有的CPU等执行实际处理的部分或全部，通过该处理也可使上述实施例的功能得以实现。
如上面所说明那样，根据本发明，通过将图像分割成多个频带，并替换多个图像对应的频带的图像数据，就可进行具有在以往没有的视觉效果的图像合成和图像的切换。
进而根据本发明，在高速地再现被分割成多个频带进行了记录的图像时，通过至少对一部分的帧，仅读出一部分的子频带变换系数，就可进行高速再现而没有信息丢失的帧，即使在高速再现在帧间有移动的图像的情况下也可实现视觉上的不适感小的平滑的再现输出。
由于在不脱离本发明的精神和范围内，能够实现本发明大量而广泛的实施形式，应该理解为本发明并不限于特定的实施形式，而是由附加的权利要求所规定。

Claims (4)

1.一种用来接收和处理至少包括第一图像信号和第二图像信号的多个图像信号的图像处理装置，包括：
频带分割装置，用于将接收的多个图像信号分割成不同的频带成分；以及
图像合成装置，用于当所述频带分割装置分割了多个图像信号后，通过替换在所述多个图像信号间公共的频带成分中的一部分或者全部的图像数据来合成所述多个图像信号，并输出一个图像信号，
其中，所述图像合成装置将所输出的图像信号作为从第一图像信号到第二图像信号的过渡状态信号输出。
2.一种用于接收和处理至少包括第一图像信号和第二图像信号的多个图像信号的图像处理装置，包括：
图像合成装置，用于接收已经被分割成频带成分的多个图像信号，通过替换在所述多个图像信号中预定的频带成分的一部分或者全部的图像数据来合成所述多个图像信号；以及
图像输出装置，用于在随着时间的经过由所述图像合成装置变更了所述预定的频带成分后，将由所述图像合成装置所合成的图像作为活动图像信号输出，
其中，所述图像输出装置将所述活动图像信号作为从第一图像信号到第二图像信号的过渡状态信号输出。
3.一种用来接收和处理至少包括第一图像信号和第二图像信号的多个图像信号的图像处理方法，包括：
频带分割步骤，用于将接收的多个图像信号分割成不同的频带成分；以及
图像合成步骤，用于当在所述频带分割步骤分割了多个图像信号后，通过替换在所述多个图像信号间公共的频带成分中的一部分或者全部的图像数据来合成所述多个图像信号，并输出一个图像信号，
其中，所述图像合成步骤将所输出的图像信号作为从第一图像信号到第二图像信号的过渡状态信号输出。
4.一种用于接收和处理至少包括第一图像信号和第二图像信号的多个图像信号的图像处理方法，包括：
图像合成步骤，用于接收已经被分割成频带成分的多个图像信号，通过替换在所述多个图像信号中预定的频带成分的一部分或者全部的图像数据来合成所述多个图像信号；以及
图像输出步骤，用于在随着时间的经过由所述图像合成步骤变更了所述预定的频带成分后，将由所述图像合成步骤所合成的图像作为活动图像信号输出，
其中，所述图像输出步骤将所述活动图像信号作为从第一图像信号到第二图像信号的过渡状态信号输出。
CN200310113275.8A 2002-11-11 2003-11-10 图像处理装置和方法 Expired - Fee Related CN1263290C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002326935A JP2004165800A (ja) 2002-11-11 2002-11-11 画像処理装置
JP326935/2002 2002-11-11
JP032267/2003 2003-02-10
JP2003032267A JP2004242250A (ja) 2003-02-10 2003-02-10 画像再生装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2005100722297A Division CN100407784C (zh) 2002-11-11 2003-11-10 图像处理装置和方法

Publications (2)

Publication Number Publication Date
CN1499831A CN1499831A (zh) 2004-05-26
CN1263290C true CN1263290C (zh) 2006-07-05

Family

ID=32232708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200310113275.8A Expired - Fee Related CN1263290C (zh) 2002-11-11 2003-11-10 图像处理装置和方法

Country Status (2)

Country Link
US (1) US7706583B2 (zh)
CN (1) CN1263290C (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444025B2 (en) * 2004-12-24 2008-10-28 Gateway Inc. Motion encoding of still images
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
GB2429593A (en) 2005-08-26 2007-02-28 Electrosonic Ltd Data compressing using a wavelet compression scheme
US7551235B2 (en) * 2005-12-15 2009-06-23 Sony Corporation Image switching apparatus and method of controlling image processing unit thereof
JP4780053B2 (ja) * 2007-07-23 2011-09-28 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US20110084982A1 (en) * 2009-10-12 2011-04-14 Sony Corporation Apparatus and Method for Displaying Image Data With Memory Reduction
US9992252B2 (en) 2015-09-29 2018-06-05 Rgb Systems, Inc. Method and apparatus for adaptively compressing streaming video
CN108198160B (zh) * 2017-12-28 2019-12-17 深圳云天励飞技术有限公司 图像处理方法、装置、图像过滤方法、电子设备及介质
KR102655540B1 (ko) * 2018-04-24 2024-04-09 스냅 인코포레이티드 효율적인 병렬 광학 흐름 알고리즘 및 gpu 구현

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2862273B2 (ja) 1989-05-15 1999-03-03 キヤノン株式会社 映像信号処理装置
US5420630A (en) 1992-09-11 1995-05-30 Canon Kabushiki Kaisha Image pickup apparatus performing white balance control based on data from regions of a frame
JPH07162851A (ja) 1993-12-06 1995-06-23 Matsushita Electric Ind Co Ltd 特殊再生方法
JPH089222A (ja) 1994-06-17 1996-01-12 Canon Inc 視線検出機能付き撮像装置
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
JP4346697B2 (ja) * 1996-05-10 2009-10-21 キヤノン株式会社 撮像装置
US6545709B2 (en) 1996-09-02 2003-04-08 Canon Kabushiki Kaisha Wireless receiving apparatus and method therefor
US20030012445A1 (en) * 1997-05-08 2003-01-16 Nekka Matsuura Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
SE9800965D0 (sv) * 1998-03-23 1998-03-23 Astra Ab Analysing Device
US6370244B1 (en) * 1998-04-03 2002-04-09 Board Of Regents Of The University Of Texas System Efficient digital ITU-compliant zero-buffering DTMF detection using the non-uniform discrete fourier transform
JP3691247B2 (ja) 1998-04-27 2005-09-07 株式会社リコー 画像処理装置及び画像処理方法
KR20000059799A (ko) * 1999-03-09 2000-10-05 구자홍 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법
JP4323685B2 (ja) 2000-06-09 2009-09-02 キヤノン株式会社 再生装置及び再生方法
US7006686B2 (en) * 2001-07-18 2006-02-28 Hewlett-Packard Development Company, L.P. Image mosaic data reconstruction
JP2003274185A (ja) * 2002-03-19 2003-09-26 Sanyo Electric Co Ltd 画像処理方法とその方法を利用可能な画像符号化装置

Also Published As

Publication number Publication date
US20040091240A1 (en) 2004-05-13
US7706583B2 (en) 2010-04-27
CN1499831A (zh) 2004-05-26

Similar Documents

Publication Publication Date Title
CN1221927C (zh) 图像处理装置和方法
CN1076932C (zh) 图像信号编码和解码的方法与装置
CN1260946C (zh) 成像设备、图像处理方法和记录介质
CN1242620C (zh) 用于数字视频记录的基于代码转换器的自适应量化
CN1135708C (zh) 图像信号处理系统及方法，解码器及解码方法
CN1089527C (zh) 图像编码方法、图像编码装置及图像记录载体
CN1134992C (zh) 图像预测解码方法
CN1784011A (zh) 图像编码装置及图像编码方法
CN1199304A (zh) 附加信息嵌入和将其再生的装置、方法及记录媒体
CN1089982C (zh) 用于图象编码及记录/再现的装置及方法
CN1717058A (zh) 图像编码方法及装置、以及图像译码方法及装置
CN1941913A (zh) 用于跳跃图像的方法和设备
CN1285059C (zh) 活动图像转换方法和设备、活动图像传输方法和设备、程序
CN1086070A (zh) 编码和解码图象信号的方法和系统及相关的图象信号记录介质
CN1788496A (zh) 图像处理设备和方法、信息处理设备和方法、信息记录设备和方法、信息再现设备和方法、信息存储介质、以及程序
CN1229223A (zh) 图像处理装置、合成系统装置和方法、分离方法及客户机
CN1627830A (zh) 色彩空间编码框架
CN1428781A (zh) 产生要记录的信息信号的方法和设备
CN1076934C (zh) 活动图像编码方法、活动图像解码方法、活动图像记录媒体和活动图像编码装置
CN1652608A (zh) 数据处理装置及其方法以及编码装置和解码装置
CN1881452A (zh) 记录设备、记录方法、程序、记录介质、及数据记录介质
CN1270541C (zh) 编码设备和方法
CN1263290C (zh) 图像处理装置和方法
CN1767648A (zh) 信息处理设备和信息处理方法、记录介质、以及程序
CN1358029A (zh) 修改素材

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060705

Termination date: 20171110