CN100407797C - 运动图象编码装置以及运动图象译码装置 - Google Patents

运动图象编码装置以及运动图象译码装置 Download PDF

Info

Publication number
CN100407797C
CN100407797C CN008061386A CN00806138A CN100407797C CN 100407797 C CN100407797 C CN 100407797C CN 008061386 A CN008061386 A CN 008061386A CN 00806138 A CN00806138 A CN 00806138A CN 100407797 C CN100407797 C CN 100407797C
Authority
CN
China
Prior art keywords
mentioned
important information
image
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CN008061386A
Other languages
English (en)
Other versions
CN1346574A (zh
Inventor
永井刚
菊池义浩
增田忠昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1346574A publication Critical patent/CN1346574A/zh
Application granted granted Critical
Publication of CN100407797C publication Critical patent/CN100407797C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种运动图象编码装置,包括:编码单元(101),编码被输入的运动图象;重要信息构成单元(102),从在该编码单元内的编码信息中取出重要信息;同步信号发生单元(103),发生同步信号;比特串再构成单元(104),在用编码单元编码的比特串上加上从同步发生单元输出的同步信号和用重要信息构成单元再构成的重要信息再构成比特串。

Description

运动图象编码装置以及运动图象译码装置
技术领域
本发明涉及适用了使用ISDN和因特网等的有线通信网、或者PHS和卫星通信等的无线通信网、传送被编码后的运动图象/静止图象的信息传送方式以及方法的信息传送系统中的编码/译码装置。
背景技术
近年来,随着包括图象在内的各种信息的数字化编码技术以及宽带网技术的发展,利用这些技术的应用程序的开发兴旺起来,开发出了利用通信网传送被压缩编码后的图象等的系统。
例如,在电视电话、电视会议系统、数字电视广播中,使用把运动图象和声音分别压缩编码为很少的信息量,多路化这些被压缩后的运动图象编码字符串、声音字符串和其他的数据字符串将其汇总为1个字符串进行传送/储存的技术。
作为运动图象信号的压缩编码技术,开发出了运动补偿、离散余弦变换(DCT)、子带编码、锥形编码、可变长度编码等的技术,和组合它们的方式。另外,作为运动图象编码的国际标准有ISO  MPEG-1,MPEG-2 ITU-T、H.261、H.262、H.263,另外作为多路化压缩运动图象、声音·音频信号后的字符串和其他的数据的国际标准方式,有ISOMPEG系统、ITU-T H.221,H.223。
在如上述的运动图象编码国际标准方式的以往的运动图象编码方式中,把运动图象信号分割成各帧,进而对把帧分割成细小区域的GOB(Group of Block)和宏块等的各单位进行编码,在该帧、GOB、宏块的每一个上附加表示编码的方式等的标题信息。这些标题信息是在该帧、GOB等全部的译码中必须的信息。
因此,如果标题信息在传送路径/储存介质中混入错误,由此在运动图象编码装置中不能正确地进行译码时,不能正确地译码该标题信息的某些帧、GOB等全部,运动图象编码装置中的再生运动图象的品质大幅度恶化。
即,在使用通信网传送被压缩编码后的图象的情况下,在接收一侧需要进行从被传送来的“0”/“1”的比特串中,再生有意义的信息的译码处理。
因此,作为指明以哪种规则为基础编码了一定比特串的组合的信息,上述的标题信息非常重要。所谓该标题信息,例如是当前正在译码的帧的预测类型(帧内编码,或者帧间编码等),表示显示该帧的定时的定时基准点信息,或者进行量化时的步长信息等。
因而,如果这些标题信息丢失,则不能正确地译码此后传送来的图象信息。
假设,例如上述帧的预测类型虽然本来表示是帧间编码,但由于某种原因在比特串中混入错误,变化为表示帧内编码的位组合格式。这种情况下,即使此后的实际信息被正确地传送来,因为译码侧把位格式作为帧内编码确定所以在译码侧不能正常地编码最后顺序传送的信息。
在此前提下,在图象编码装置中的再生运动图象的品质大幅度恶化。
这种错误的混入,尤其容易发生在如无线电视电话和便携信息终端、无线数字电视接收装置等通过无线传送路径传送/存储运动图象的系统中。
以往的图象传送,主要使用有线通信网的系统,即使使用无线通信网的情况下也认为是错误率非常少的卫星通信。因而,对于传送的编码串构造自身的耐错误性并未充分考虑,对于标题信息等的重要信息的传送错误保护不够充分。
另一方面,在被看作今后移动通信主流之一的PHS(简易型便携电话)中,因为错误率相当于卫星通信的十万倍~百万倍,所以在如以往那样编码的比特串中只实施错误保护或者订正,不可能进行充分的纠正。
另外,和PSH一样在被预想为是今后通信的主流的因特网中,也存在由于不能确切地统计在何时、混入了什么样的错误,因而不能进行适宜的纠错的情况。
因此,当传送用任意形状的图象编码编码过的字符串时,存在传送数据的耐错误性弱的问题。
技术内容
采用本发明,即使在任意形状图象编码的情况下也可以和以往的长方形图象的编码一样具有同等的耐错误性。
第1发明提供具有以下单元的运动图象编码装置:编码单元,生成对输入的运动图象进行任意形状编码后的编码信息作为比特串;重要信息构成单元,从上述编码单元的编码信息中取出并构成重要信息,所述重要信息指明基于何种规则对特定比特串的组合进行编码;同步信号发生单元,发生同步信号;比特串构成单元,将从上述同步发生单元输出的同步信号、表示上述重要信息是否被二重化的HEC代码和在检测出表示上述重要信息已被二重化的HEC代码时由上述重要信息构成单元构成的重要信息加到由上述编码单元编码的比特串中,以重新构成比特串。
第2发明提供提供运动图象译码装置,具备:比特串接收单元,接收具有包含对运动图象进行任意形状编码后生成的编码运动图象、同步信息、以及标题信息的编码比特串,其中所述标题信息包含指明在对上述运动图象进行编码时基于何种规则对特定比特串的组合进行编码的重要信息;分离单元,从上述编码比特串中分离出与上述运动图象信息对应的图象比特串;译码单元,对上述图象比特串进行译码;同步信号检测单元,从上述比特串中检测出同步信号并通知给上述译码单元;重要信息构成单元,在检测出表示上述重要信息已被二重化的HEC代码时,根据由译码单元输出的上述标题信息来构成重要信息,并通知译码单元。
第3发明提供一种运动图象传送系统,包括:服务器计算机,具有用于对运动图象进行任意形状编码并生成编码比特串的运动图象编码装置;发送装置,发送上述服务器计算机的编码比特串;接收装置,接收来自上述服务器计算机的编码比特串;客户计算机,具有用于对来自上述接收装置的编码比特串进行译码的运动图象译码装置,其中,上述运动图象编码装置包括:编码单元,生成对输入的运动图象进行任意形状编码后的编码信息作为比特串;重要信息构成单元,从上述编码单元的编码信息中取出并构成重要信息,所述重要信息指明基于何种规则对特定比特串的组合进行编码;同步信号发生单元,产生同步信号;以及比特串构成单元,将从上述同步发生单元输出的同步信号、表示上述重要信息是否被二重化的HEC代码和在检测出表示上述重要信息已被二重化的HEC代码时由上述重要信息构成单元构成的重要信息加到由上述编码单元编码的比特串中,以构成比特串,以及上述运动图象译码装置包括:分离单元,从上述编码比特串中分离出与上述运动图象信息对应的图象比特串;译码单元,对上述图象比特串进行译码;同步信号检测单元,从上述比特串中检测出同步信号并通知给上述译码单元;以及重要信息构成单元,在检测出表示上述重要信息已被二重化的HEC代码时,根据由译码单元输出的上述标题信息来构成重要信息,并通知译码单元。
第4发明提供一种运动图象译码装置,包括:分离单元,从输入的比特串中分离出进行了任意形状编码的图象比特串;译码单元,对上述图象比特串进行译码;同步信号检测单元,从上述图象比特串中检测同步信号,并通知给上述译码单元;以及重要信息构成单元,在检测出表示重要信息已被二重化的HEC代码时,根据从上述译码单元输出的标题信息构成重要信息,并通知给译码单元,其中所述重要信息与经过上述任意形状编码的图象比特串的再现有关。
第5发明提供一种图象编码方法,包括以下步骤:生成对输入的运动图象进行任意形状编码后的编码信息作为比特串;从上述编码信息中取出指明基于何种规则对特定比特串的组合进行编码的重要信息;生成同步信号;以及将同步信号、表示上述重要信息是否被二重化的HEC代码和在检测出表示上述重要信息已被二重化的HEC代码时构成的上述重要信息加到被编码的比特串中,以构成比特串。
第6发明提供一种运动图象译码方法,包括以下步骤:接收具有对运动图象进行任意形状编码后生成的编码运动图象信息、同步信息、以及标题信息的编码比特串,其中所述标题信息包含指明在对上述运动图象进行编码时基于何种规则对特定比特串的组合进行编码的重要信息;从上述编码比特串中分离出与上述运动图象信息对应的图象比特串;对上述图象比特串进行译码;从上述比特串中检测出同步信号;以及在检测出表示上述重要信息已被二重化的HEC代码时,根据上述标题信息构成重要信息。
第7发明提供一种运动图象传送方法,包括:在服务器计算机中对运动图象进行任意形状编码并生成编码比特串的运动图象编码步骤;从上述服务器计算机发送上述编码比特串的步骤;接收来自上述服务器计算机的编码比特串的步骤;在客户计算机中对上述接收到的编码比特串进行译码的步骤,其中上述运动图象步骤包括:生成对输入的运动图象进行任意形状编码后的编码信息作为比特串的步骤;从在上述编码步骤中生成的编码信息中,取出指明基于何种规则对特定比特串的组合进行编码的重要信息的步骤;产生同步信号的步骤;以及将同步信号、表示上述重要信息是否被二重化的HEC代码和上述重要信息加到上述被编码的比特串中以构成比特串的步骤,上述译码步骤包括:从上述编码比特串中分离出与上述运动图象信息对应的图象比特率的步骤;对上述运动图象比特串进行译码的步骤;从上述比特串中检测同步信号的步骤;在检测出表示上述重要信息已被二重化的HEC代码时,根据上述标题信息生成重要信息的步骤。
第8发明提供一种运动图象译码方法,包括:从输入的比特串中分离出进行了任意形状编码的图象比特串的步骤;对上述图象比特串进行译码的步骤;从上述图象比特串中检测同步信号的步骤;在检测出表示与上述经过任意形状编码的图象比特串的再现有关的重要信息已被二重化的HEC代码时,根据上述标题信息生成上述重要信息的步骤。
本发明由于在运动图象编码中在编码后的数据中设置标题,并且除了在标题中进一步设置扩展标题单元,还在标题内存储在通常的图象编码方式中的重要信息,此外还可以在该扩展标题内包含在任意形状图象编码方式中的重要信息,所以,即使标题的一部分被破坏,也可以对具有完整标题的单元译码图象。另外,通过在图象数据中插入同步代码,还可以消除视频分组VP的不同步问题。即,视频分组VP是用同步代码RM开始的分组,即使在此前存在错误,并产生不同步的情况下也可以用该同步代码RM进行再同步。
由此,可以提供在传送时对噪声的耐受性高,另外,即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码等同的耐错性的运动图象编码技术。
附图说明
图1是展示本发明的实施方案1的编码单元的基本构成的图。
图2是展示在本发明的实施方案1中的编码单元的重要信息构成单元以及比特串再构成单元的详细的基本构成的图。
图3是展示在本发明的实施方案1中的比特串再构成单元的基本流程的图。
图4是展示在本发明的实施方案1的VP的扩展标题格式的图。
图5是展示本发明的实施方案1的译码单元中的基本构成的图。
图6是展示本发明的实施方案1的译码单元中的重要信息构成单元的详细基本构成的图。
图7是用于说明在本发明中使用的代码字构成的图。
图8是展示说明可变长度编码效果的例子的图。
图9是展示在重要信息中进行可变长度编码的图。
图10是本发明的实施方案2中的编码单元的基本构成图。
图11是本发明的实施方案2中的编码单元的重要信息构成单元的详构成图。
图12是展示在本发明的实施方案2中的扩展分组标题的例子的图。
图13是展示在本发明的实施方案2中的扩展分组标题的例子的图(有标识)。
图14是展示在本发明的实施方案2中的译码单元的基本构成的图。
图15是展示本发明的实施方案2的译码单元的重要信息构成单元的详细构成的图。
图16是说明任意形状图象的编码的图。
图17是说明任意编码图象的译码的图。
图18是展示MPEG-4的VOP构造的图。
图19是展示MPEG-4的VP构造的图。
图20是展示MPEG-4的VP标题格式的图。
图21A以及21B是展示通常的VP的问题的图。
图22A和22B是展示通常的VP的效果的图。
图23A和23B是展示使用了HEC情况下的VP效果的图。
图24是展示在任意形状图象的译码时合成图象并再生时的必要信息的图。
图25是展示适用本发明的实施方案3的编码/译码装置的无线运动图象传送系统的例子的图。
图26是展示与实施方案1的编码装置对应的实施方案4的编码装置的图。
图27是展示与实施方案1的译码装置对应的实施方案4的译码装置的图。
图28是展示与实施方案2的编码装置对应的实施方案5的译码装置的图。
图29是展示与实施方案2的译码装置对应的实施方案5的译码装置的图。
图30是展示实施方案3的译码装置的流程图。
具体实施方式
以下,参照附图说明本发明的实施例。
图1展示涉及本发明实施方案1的运动图象编码装置的基本构成。如果采用这种构成,则编码单元101的输出被连接在重要信息构成单元102以及比特串再构成单元104上。重要信息构成单元102的输出和同步代码发生单元103的输出一同被连接在比特串再构成单元104上。比特串再构成单元104的输出被连接在多路化单元105上。多路化单元105的输出被连接在传送路径106上。
编码单元101的构成是,编码被输入的图象信号131后输出到比特串再构成单元104,另外,把编码时的编码信息133输出到重要信息构成单元102。重要信息构成单元102的构成是,接收在用编码单元101编码时的编码信息133选择并输出译码所需要的重要信息134。
同步代码发生单元103,是以任意间隔发生同步代码135的单元,比特串再构成单元104的构成是,把来自同步代码发生单元103的同步代码135插入比特串132,此后如果需要就以已确定的格式插入并输出从重要信息构成单元102输出的重要信息134。
多路化单元105的构成是,把在比特串再构成单元104中再构成的比特串136,和其他的数据(例如声音数据、编码其他物体的比特串等)一同多路化处理,作为多路化比特串137输出到传送路径/储存介质106。
在上述那样的构成中,被输入的运动图象的图象信号131在编码单元101中被编码。用该编码单元101编码后输出的比特串132被输入比特串再构成单元104。另外,在编码单元101中编码时的编码信息133被输入重要信息构成单元102,只选择输出译码所需要的重要信息134。
在比特串再构成单元104中,在比特串132中插入以任意间隔从同步代码发生单元103输出的同步代码135,此后,如果需要就用已确定的格式插入从重要信息构成单元102输出的重要信息134。
在比特串再构成单元104中被再构成的比特串136被输入多路化单元105,和其他的数据(例如声音数据、编码其他的物体的比特串等)一同进行多路化处理。把多路化比特串137输出到传送路径/储存介质106。
这样,在本实施例中,在编码运动图象得到的比特串中,插入以任意间隔从同步代码发生单元103输出的同步代码135,此后,如果需要就根据已确定的格式通过比特串再构成单元104插入从重要信息构成单元102输出的重要信息134。
因此,把在MPEG-4中的任意形状的图象编码·译码所需要的信息,例如,在任意形状的图象编码中图象尺寸的宽度VW信息和高度VH信息以及用于表示显示译码后的图象位置的图象位置的x坐标VHMSR的信息、y坐标VVMSR的信息,以及,表示形状信息的编码方式的VOP形状编码类型“vop-shape-coding-type(VSCT)”,和作为表示是否在变换形状信息的大小后编码的标志的change-conv-ratio-disable(CCRD)等作为重要信息134生成。如果该重要信息在由已确定的格式通过比特串再构成单元104进行二重化后被插入VP标题,则即使在任意形状图象编码中也可以使其具有和长方形图象的编码一样的耐错误性,即使VOP标题和VP有一部分被破坏也可以进行运动图象的译码。
在MPEG-4的情况下,把相当于帧的部分称为视频目标平面“VideoObject Plane”(图18)。进而可以把该视频目标平面分割成多个分组,把它称为视频分组“Video Packet”(图19)。
视频分组“Video Packet”(以下,把它称为VP)是以同步代码(Resyncmarker,以下,称为RM)开始的分组,即使在此前存在错误,产生不同步的情况下也可以用该同步代码进行再同步。
因而,如果是开头以外的视频分组VP,则即使假设由于错误信息破坏/消失,其后的视频分组VP也可以正确地译码。这是因为视频目标平面VOP的开头的VOP标题被译码出来,在译码中所需要的信息全部得到的缘故(图20)。
在VOP标题信息中如上所述包含视频目标平面VOP的编码类型(帧内编码,帧间编码等)、定时基准点信息、步长等。如果该信息丢失,则全部的视频分组VP的译码不能进行(图21A、21B)。
在图22A、22B的例子的情况下,展示了视频目标平面VOP标题和其成为一对的数据虽未破坏,但只是第1视频分组VP的标题和与其成对的数据被破坏的状态。这种情况下,如图22B所示,因为视频目标平面VOP和其数据单元未被破坏,所以图象的第1区域被正常译码,接着的第2区域产生错误,译码出有瑕疵的图象,因为接着的第3区域以后被正常译码,所以虽然有局部被破坏,但可以译码几乎被完美再生的图象。
在MPEG-4中可以如此在视频分组VP的标题中定义标题扩展代码HEC,其后根据HEC信息记述VOP标题中的重要信息,使得即使在图21A、图21B的情况下图象也可以译码全部图象。
其结果,如图23所示,即使在VOP的开头存在某种错误,不能译码的情况下,通过使用用HEC保护的信息,即便在开头区域的图象不能正常复原,也可以复原第2区域以后单元的视频分组VP,虽然如图23B所示局部被破坏,也可以作为几乎被完美再生的图象译码。
但是,这只不过可以用长方形的图象区域单位实现。即,通过在VP标题中用HEC二重化VOP标题信息,即使VOP标题丢失的情况下,如果在VP标题中用HEC二重化了VOP标题,通过利用它就可以正确地译码其后的数据,而在可以使用HEC二重化的信息中,不包含在任意形状的图象编码时所需要的信息。因此,如果是以往的长方形的图象则没有问题,但如MPEG-4那样,在可以用目标单位编码任意形状图象的方式的情况下,不能译码。
这在MPEG-4中的使用目标单位的任意形状的图象编码中,因为与长方形图象的编码相比进一步追加了许多标题信息,所以难题是不能把它作为二重化的对象。
另外,从另一观点看。如果因特网和互连网络等的使用普及,则使用这种因特网的通信增多,还可以使用因特网电视电话等。这种情况下,需要实时传送运动图象。但是,如果要用因特网和互连网络等实时传送运动图象,则在一般所使用的TCP和UDP的通信协议中存在许多问题。特别是存在标题不具有时间信息这一问题。
因此,近年来,作为在运动图象/声音数据的传送中使用的通信协议,RTP(Peal-time Transfer Protocol)倍受注目。即,在TCP等的通信协议的情况下,因为没有附属在每组上的时间信息,所以在接收一侧不能知道在何时再生该接收到的数据好。因此,在分组发送数据的情况下,当接收一侧该数据是运动图象数据和声音·音频数据的情况下不能很好地再生。
但是,可以在RTP中对每一分组附加时间信息,在接收一侧以此为基础再生运动图象数据和声音·音频数据。这样,RTP就成为适宜实时数据传送的通信协议。
在该通信协议中,可以为每一应用程序定义扩展标题。
如在以往技术中说明的那样,在MPEG-4中通过在VP标题中使用HEC二重化VOP标题信息,即使在VOP标题丢失的情况下,如果在VP标题中使用HEC二重化VOP标题,则通过利用它就可以正确地译码其后的数据。
但是,在可以使用HEC二重化的信息中,不包含在任意形状的图象编码时所需要的信息。因此,虽然在以往的长方形图象的情况下没有问题,但在任意形状图象编码中和长方形的图象的编码相比因为追加了标题信息,所以它不能二重化是大问题。
例如,在任意形状的图象编码中因为对每一VOP来说图象尺寸有变化,所以在VOP标题中记述图象尺寸的宽度vop-width(以下,称为VW)和高度vop-height(以下,称为VH)。另外,还记述了用于表示显示已译码的图象的位置的图象位置的x坐标vop-horizontal-mc-spatial-ref(以下,称为VHMSR)、Y坐标vop-vertical-mc-spatial-ref(以下称为VVMSR)。这些值的关系展示于图24。
在只用没有这些信息的视频分组VP信息译码运动图象的情况下,在任意形状的图象编码中不能正确地译码。即,在任意形状的图象编码中,如果没有图象尺寸的宽度VW的信息和高度VH的信息以及用于表示显示译码后的图象的位置的图象位置的x坐标VHMSR的信息、y坐标VVMSR的信息,则不能正确地译码。
另外,还需要正确译码表示形状信息的编码方式的VOP形状编码类型“vop-shape-coding-type(以下,称为VSCT),和作为表示是否在改变形状信息的大小后编码的标志的change-conv-ratio-disable(以下,称为CCRD)。
采用MPEG-4的HEC的VOP标题的二重化,不保护这些信息。
因而,在传送用任意形状的图象编码编码后的字符串的情况下,存在传送数据的耐错误性弱的问题。通过本发明,即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码一样的耐错性。
这样,本系统,即使在任意形状图象编码的情况下也可以使其具有和以往的长方形图象的编码一样的耐错性。参照图2详细说明在上述的构成中作为本发明的重要构成的重要信息构成单元102和比特串再构成单元104。
首先,说明重要信息构成单元102的详细结构。
重要信息构成单元102如图2所示,由通常图象相关重要信息构成单元206、任意形状图象相关重要信息构成单元207、任意形状编码判定单元208、多路化单元210构成。
其中,通常图象相关重要信息构成单元206的构成是,接收来自编码单元101的编码信息133,在用它进行通常的编码时,选择被判断为重要的信息(例如编码方式信息和定时基准点信息等),作为通常图象相关重要信息238输出到多路化单元210。任意形状图象相关重要信息构成单元207的构成是,选择与任意形状图象编码相关的重要信息(例如,图象尺寸、位置、编码方式、尺寸变换率等),把它作为任意形状图象相关重要信息239输出。
任意形状编码判定单元208,是判定被编码的图象是通常的长方形的图象还是任意形状的图象的单元,把判定结果作为判定代码240输出。
切换单元209,根据来自任意形状编码判定单元208的判定代码240进行是否把来自通常图象相关重要信息构成单元206的任意形状图象相关重要信息239输出到多路化单元210的切换控制。多路化单元210的构成是,多路化来自通常图象相关重要信息构成单元206的通常图象相关重要信息238,和在任意形状图象编码中从任意形状编码判定单元208输出的任意形状图象相关重要信息239,作为重要信息134输出。
在上述那样的构成中,来自编码单元101的编码信息133,被输入作为重要信息构成单元102的构成要素的通常图象相关重要信息构成单元206,在该通常图象相关重要信息构成单元206中,在通常的编码时,通过选择被判断为重要的信息(例如编码方式信息和定时基准点信息等),把该被选择出的信息作为通常图象相关重要信息238输出到多路化单元210。因而,在通常图象相关重要信息238中,集中了在编码方式信息和定时基准点信息等的通常的编码时被判断为重要的信息。
以下,在任意形状图象相关重要信息构成单元207中,选择与任意形状图象编码相关的重要信息(例如,图象尺寸,位置,编码方式,尺寸变换率等),作为任意形状图象相关重要信息238输出到多路化单元210。
另一方面,在任意形状编码判定单元208中,在判定被编码的图象是通常的长方形的图象,或者是任意形状的图象的同时,把其判断结果作为判定代码240输出。用该判定代码240控制切换单元209,进行是否输出来自任意图象相关重要信息构成单元207的任意形状图象相关重要信息239的切换控制。
在多路化单元210中,多路化通常图象相关重要信息238和在任意形状图象编码情况下的任意形状图象相关信息239,作为重要信息134输出。
其结果,在任意形状图象编码的情况下,通常图象相关重要信息238和任意形状图象相关重要信息239作为被多路化后的重要信息134从多路化单元210输出。在通常图象编码的情况下,可以把通常图象相关重要信息238作为重要信息134输出。
接着说明比特串再构成单元104的详细结构。比特串再构成单元104如图2的上半部分区域所示,由MB边界判定单元201、计数器202、同步代码插入判定单元203、标题信息插入单元205、加法单元204构成。
其中,MB边界判定单元201,判定来自编码单元101的比特串132的数据是否处于宏块MB的边界。另外,编码计数器单元202,计数来自前段的编码单元101的比特串132的编码量。
同步代码插入单元203,在MB边界判定单元201对有关比特串132判定为MB边界,而且,对于该比特串132编码量计数单元202的计数值超过某一值的情况下,输出插入许可信号234。
另外,标题信息插入单元205,根据被输入的重要信息134和同步代码135制作标题信息,当在同步代码插入判定单元203中判断为插入许可的情况下,输出到应该对被编码的比特串132附加已制成的该标题信息237的加法单元204。
另外,加法单元204,将来自代编码单元101的比特串132和标题信息插入单元205的标题信息237相加,把其和作为比特串再构成单元104的再构成比特串136输出。
比特串再构成单元104,如果接收在前段的编码单元101中编码的比特串132,则比特串132输入到作为比特串再构成单元104的构成要素之一的MB边界判定单元201和编码量计数单元202。在该MB边界判定单元201中判定输入比特串132是否是MB的边界。
另外,在编码量计数单元202中,计数比特串132的编码量。在同步代码插入判定单元203中,当在MB边界判定单元201中的判定是MB边界,并且,在计数器202中的编码量的计数值超过某一值的情况下,进行生成插入许可信号234,并输出到标题信息插入单元205的动作。
另一方面,标题信息插入单元205,根据被输入的重要信息134和同步代码135制成标题信息,当在同步代码插入判定单元203中判定为插入许可的情况下,为了在被编码的比特串132中附加已制成的标题信息237而送到加法单元204。由此,加法单元204在被编码后的比特串132中插入标题信息237,输出被再构成的比特串136。该比特串136成为比特串再构成单元104的输出。
其结果,调查来自编码单元101的图象数据的比特串132,在成为宏块MB的边界位置的比特来到的时刻,当编码量超过了规定的值的情况下,产生插入许可信号234。根据被输入的重要信息134和同步代码135在标题信息插入单元205中制成的标题信息,可以附加在上述比特串132上。
重要信息构成单元102,选择在作为其构成要素之一的通常图象相关重要信息构成单元206以来自编码单元101的编码信息133为基础进行通常的编码时,被判断为重要的信息(例如,编码方式信息和定时基准点信息等),把它作为通常图象相关重要信息238。另外,任意形状图象相关重要信息构成单元207,选择与任意形状图象编码相关的重要信息(例如,图象尺寸,位置,编码方式,尺寸变换率等),把它作为任意形状图象相关重要信息239。通常图象相关重要信息238被用于通常图象编码。通常图象相关重要信息238和任意形状图象相关重要信息239在编码任意形状图象时被多路化。因而,在插入到比特串中的标题信息中可以包含通常图象信息相关重要信息和任意形状图象相关重要信息,可以在VP标题中包含为了再生在MPEG-4的通常图象和任意形状图象所需要的信息。
图3是展示与标题信息的制作有关的流程图。
在比特串再构成单元104中,首先作为第1阶段(步骤S502),对编码单元101的比特串,进行是否是MB(宏块)的边界位置的判断。
作为第2阶段(步骤S503),在是MB的情况下,进行是否应该插入同步代码RM的判定。该判定步骤,可以由用户以任意的算法进行。
例如,可以使用如果此前的同步代码超过了一定的位数则插入同步代码RM这种算法,和在此前的同步代码超过了一定MB的情况下,进行是否根据图象中的形状插入同步代码RM的判断等各种各样的方法。
视频分组VP是以同步代码RM开始的分组,即使在此前存在错误,产生不同步的情况下也可以靠同步代码RM实现再同步。
当在步骤S503中判定为插入同步代码RM信号情况下,插入RM,接着RM插入VP标题(图3的步骤S504)。
第3阶段(步骤S505),进行判定作为扩展标题信息是否作为扩展标题二重化VOP标题的重要信息的判定。
在判定为进行二重化的情况下,把HEC设置为真,其后,从VOP标题中选择在长方形的图象编码中的重要信息后输出(图3的步骤S506)。
在第4阶段(步骤S507)中,进行是否是任意形状图象的判定。在任意形状图象的情况下,选择VOL标题内的任意形状图象编码中的重要信息后输出(图3的步骤S508)。
经过以上的4个阶段生成VP标题部分,并插入到比特串中。
图4展示任意形状图象的VP标题信息的构成例子。对图2所示的以往的VP标题,追加扩展标题信息Ex-Header,在该扩展标题信息Ex-Header中,包含在任意形状图象编码中的重要信息,即,图象的宽度(VW)、高度(VH)、粘贴图象的X坐标(VHMSR)、Y坐标(VVMSR)、表示是否缩小变换形状信息并译码的标志(CCRD)、形状信息的编码类型(帧内编码/帧间编码等)的信息(VSCT)。
进而,作为在任意形状图象编码中的重要信息,并不限定于上述信息,根据应用程序的用途,可以进一步增加其它的信息,相反可以减少信息。但是,在发送一侧、接收一侧需要与标题格式有关的共同的识别。
以上,设置成具有抽出在任意形状图象编码中的重要信息的功能和是否使用任意形状图象编码的判定功能,以及宏块的边界检测功能。VP标题包含标题扩展信息。该标题扩展信息加上同步代码还包含在通常的图象编码中的重要信息以及在任意形状图象编码中在任意形状图象编码中的重要信息。即使标题的一部分被破坏,也可以对具有完整标题的单元译码图象。另外,因为有同步代码,所以还可以消除视频分组VP的不同步的问题。即,即使视频分组VP在此前存在错误,发生不同步的情况下,也可用该同步代码RM实现再同步。
由此,可以提供对传送时的噪声的耐受性高,另外,在任意形状图象编码的情况下也可以使其具有和以往的长方形图象的编码同等的耐错性的运动图象编码技术。
以上,详细说明了在编码一侧的构成和处理,而以下详细说明译码一侧的构成和处理。
现在说明译码单元。如果采用图5所示的实施方案1的译码单元,则输入编码比特串的分离单元302,被连接在译码单元303以及同步检测单元304上。同步检测单元304的输出被连接在译码单元303的另一输入上。译码单元303被连接在错误校验单元305。该错误校验单元305和译码单元303一起被连接在重要信息构成单元306上。重要信息构成单元306被连接在译码单元303上。
分离单元302的设置是为了把从传送路径/存储介质106接收到的比特串331分离为图象用的比特串332和此外的数据。同步检测单元304从由分离单元302输出的比特串332中检测出同步代码RM。另外,译码单元303,对从分离单元302输出的图象用比特串332进行译码处理生成图象数据。这时,译码单元303的构成是,一边与用同步代码检测单元304检测出的同步代码同步,一边实施译码处理。
另外,重要信息构成单元306的构成是,得到译码单元303当前译码处理中的数据,当在该译码单元303中存在当前译码中的VOP(视频目标平面)的VOP标题的情况下,抽出该信息并输出,给予译码单元303。
错误校验单元305,是检验译码单元303输出的译码信息334,检测在译码作业中是否有错误产生的单元,其构成是当检测出错误的情况下,错误校验单元305,通知重要信构成单元306在译码处理中有错误,并抑制对重要信息的译码单元303的输出。
译码单元303的构成是在产生错误的情况下,进行与该错误对应的处理。另外,译码单元303,在进行了与该错误对应的处理后,从同步检测单元304检测出的下次同步代码的位置开始再次进行译码作业。
在这种构成中,从传送路径/存储介质106接收到的比特串331,用分离单元302分离为图象用的比特串332和除此以外的数据。其它的数据,被分别发送到各自对应的译码单元。
用分离单元302分离出的图象用比特串332,被输入译码单元303,进行译码。此时,用同步代码检测单元304一边从比特串332中检测出同步代码一边进行译码处理。
在错误校验单元305中从通过在译码单元303中进行译码处理得到的译码信息334中检查在译码作业过程中是否产生错误。在检测出错误的情况下,在译码单元303中进行与错误对应的处理后,从同步检测单元304检测出的下次同步代码的位置开始进行译码作业。
译码单元303判定下次的同步代码种类,在是同步代码RM的情况下当错误信号335是真的情况下,从重要信息构成单元306中取得VOP标题的信息343。
重要信息构成单元306,当译码单元303在当前译码中的VOP(视频目标平面)中存在VOP标题的情况下,输出其信息。另外,当在当前译码中的VOP中没有VOP标题的情况下,如果在VP标题内用标题扩展代码HEC插入了重要信息,则将其输出。
在译码单元303中的译码处理中,使用在重要信息构成单元306中得到的重要信息。在重要信息构成单元306中得到的重要信息中,当译码单元303在当前译码中的VOP(视频目标平面)中存在VOP的情况下,输出其信息,当在当前译码中的VOP中没有VOP的情况下,如果在VP标题内用HEC(Header Extension Code)插入重要信息,则输出其。因为,在编码处理一侧,作为重要信息除了在通常的图象编码中的重要信息外,在任意形状图象编码中还包含在任意形状图象编码中的重要信息,所以即使标题的一部分被破坏,对于具有完整标题的部分来说,无论是编码通常的图象的数据,还是编码任意形状的图象的数据,都可以从该数据中译码图象。另外,因为有同步代码所以还可以消除视频分组VP的不同步问题。即,视频分组VP,即使在产生不同步的情况下,也可以用该同步代码RM实现再同步。
由此,可以提供在传送时对噪声的耐受性高,另外即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码同等的耐错性的运动图象编码技术的译码技术。
除了在通常的图象编码中的重要信息外,在任意形状图象编码中由于还把在其任意形状图象编码中的重要信息也作为标题信息持有并传送,因而是对在传送时的噪声具有耐受性的技术,重要的是在接收一侧中如何抽出该重要信息送到译码单元303,及是否可以用于译码处理。
因而,本实施方案的特征点是重要信息构成单元306。因而,对于重要信息构成单元306用图6详细说明。
重要信息构成单元306如图6所示,由通常图象相关重要信息构成单元307,任意形状编码判定单元308,切换单元309、311,任意形状图象相关重要信息构成单元310构成。
通常图象相关重要信息构成单元307的构成是,当在译码单元303中发现VP标题的情况下,从该VP标题信息中译码编码方式信息、定时基准点信息等后输出。
任意形状编码判定单元308,是判定译码单元303当前译码处理的图象是任意形状图象,还是来自以往的长方形图象的单元,根据其判定结果,切换控制切换单元309、311。切换控制单元309、311,是2个系统切换开关。
任意形状图象相关重要信息构成单元310是译码与任意形状图象有关的重要信息(例如,图象尺寸,图象位置等)的单元,在任意形状图象的情况下切换单元309、311被切换成与该任意形状图象相关重要信息构成单元310连接,再构成与任意形状图象有关的重要信息,除了采用与通常图象相关重要信息构成单元307的通常图象相关连的重要信息之外,还把与任意形状图象有关的重要信息都给予译码单元303,也可以在译码单元303中进行与任意形状图象有关的译码。
在这样构成的重要信息构成单元306中,当在译码单元303中发现在输入比特串中有VP标题的情况下,首先由通常图象相关重要信息构成单元307译码编码方式、定时基准点信息等。
另外,任意形状编码判定单元303判定在译码单元303中当前译码处理的图象是任意形状图象还是来自以往的长方形图象,产生根据该判定结果的控制信号。
用来自任意形状编码判定单元308的控制信号控制切换单元309、311。这时,在任意形状图象的情况下任意形状图象相关重要信息构成单元310译码与任意形状图象有关的重要信息(例如,图象尺寸,图象位置等),制成最终的重要信息343,并作为重要信息构成单元306的输出给予译码单元303。由此,如果在标题中设置扩展标题并在该扩展标题中嵌入与任意形状图象有关的重要信息,则即使在译码一侧也可以抽出它把在任意形状图象的译码所需要的重要信息给予译码单元303。
以上,如果采用本实施方案,则即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码相同的耐错性。
在实施方案1以及据此说明的实施方案2中,在任意形状图象的编码中,需要记述“图象的大小”,“位置信息”。这些信息在MPEG-4的情况下,分别各自以13位表现,因为需要“图象尺寸”,“位置信息”各自纵横的信息,所以需要合计4个信息,该所需要的比特数需要4×13=52合计52比特。这在以低比特速率传送的情况下,可能出现大的冗长。因而,需要尽可能地压缩该数据传送。以下,说明其方法。
视频目标平面VOP的大小等在MPEG-4中以13比特表现,但不使用全部13比特的事例也有很多。因而,考虑把大小的表现设置成可变长度来减少编码量的方法。
基本方针是,在此设置成用“代码字长”+“值”的组合表现。如图7所示设置表示代码长的标题部分和接着它的数据部分的组合。即,有标题“header1”和标题“header2”,前者采用1比特构成,后者采用3比特构成。采用从值1至值542的范围,值“1”和值“2”把代码字长设置成5比特构成,从值“3”至值“6”把代码字长设置成6比特构成,从值“7”至“14”把代码字长设置成7比特构成。从值“15”至值“30”把代码字长设置成8比特构成,从值31至94把代码字长设置成9比特构成,从值“95”至“158”把代码字长设置成10比特构成。从值“159”至值“286”把代码字长设置成11比特构成,从值“287”至值“542”代码字长设置成12比特构成。从值“543”至值“8222”把标题“header1”和“header2”设置成前者由1比特构成,后者由2比特构成,从值“543”至值“1054”把代码字长设置成12比特构成,从值“1055”到值“2078”把代码字长设置成13比特构成,从值“2029”到值“4126”把代码字长设置成14比特构成,从值“4127”至值“8222”把代码字长设置成15比特构成。
由此,字长就从13比特固定值通过数值变为从5比特至15比特的可变长。其结果,由于即使包含标题也以最大18比特实现,如果与以往的52比特相比34比特即可,构成比特数少。
因为在小的图象的情况下一般多要求以低速编码,大的图象其编码后的比特串其尺寸也大,所以一般认为比特率富裕的时候多。即便如此,也是在可变长度编码小的尺寸中安排短的符号特别有效。
例如,在图象层“Presentation Layer”是QCIF(176象素×144象素)的图象的情况下,VW、VH最大,
11[bit]×2=22[bit]
位置信息(VHMSR,VVMSR)也是最大,
11[bit]×2=22[bit]
因而,两者合计是44[bit],可以压缩8[bit]。
其它,在如图8所示的图象构成的情况下,
VW=128象素=10[bit],
VH=80象素=9[bit],
VHMSR=32象素=9[bit],
VVMSR=20象素=8[bit],
合计为:
10+9+8+9=36[bit]
削减16[bit]。
图9展示本变形例的基本构成图。在图9中,1001是可变长度编码单元,1002是可变长度编码生成单元,可变长度编码单元1002接收大小信息,把它变换为代码字。另外,可变长度编码单元1001从被输入的重要信息1031中读出大小信息,在把该大小信息1032送到可变长度编码生成单元1002的同时,把从可变长度编码生成单元1002得到的代码字1033作为代码字1034输出。
在这种构成中,如果输入重要信息1031,则该重要信息1031被输入可变长度编码单元1001,在可变长度编码单元1001中从该被输入的重要信息1031中读出大小信息,把大小信息1032送到可变长度编码生成单元1002,生成代码字1033。
在可变长度编码单元1001中输出在从可变长度编码生成单元1002得到的代码字1033中变换大小信息构成的代码字1034。
本实施方案叙述了MPEG-4,但即使是MPEG-4以外的任意形状编码的传送也可以通过附加同样的信息,提高耐错性。
以下,作为实施方案2说明另一实施例。
图10是涉及本发明的实施方案2的运动图象编码装置的基本构成图。如果采用图10所示的运动图象编码装置,则编码单元601的输出,被连接在比特串分割单元602以及重要信息构成单元603上。重要信息构成单元603的输出被连接在分组标题生成单元604上。比特串分割单元602以及分组标题生成单元的输出被连接在分组构成单元605上。分组构成单元605的输出被连接在传送路径106上。
编码单元601的构成是,编码被输入的图象信号131后输出到比特串分割单元602,另外,把编码后的编码信息634输出到重要信息构成单元603。
另外,重要信息构成单元603,是接收在编码单元601中编码后的编码信息634,只选择在译码中所需要的重要信息635输出的单元。特别是,除了通常图象相关重要信息外,把在MPEG-4中的任意形状的图象编码·译码所需要的信息,例如,在任意形状的图象编码中表示图象尺寸的宽度VW的信息和高度VH的信息以及用于显示译码后的图象的位置的图象位置的x坐标VHMSR的信息、y坐标VVMSR的信息,并且表示形状信息的编码方式的VOP形状编码型“vop-shape-coding-type(VSCT)”,和表示是否在变换形状信息的大小后编码的标志的change-conv-ratio-disable(CCRD)等的任意形状图象相关重要信息作为重要信息635取得。这些重要信息635,被给予分组标题生成单元604,对于通常图象相关重要信息在分组标题中反映通常,对于任意形状图象相关重要信息在分组标题中新设置的扩展标题中,用由已确定的格式反映的本发明独自的形式生成分组标题。
这样,分组标题生成单元604的构成是,把重要信息635装入分组标题内作为分组标题636输出到分组构成单元605,比特串分割单元602的构成是,把从编码单元601输出的比特串632分割成分组大小输出。
分组构成单元605的构成是,多路从比特串分割单元602输出的分割比特串633和从分组标题生成单元604输出的分组标题636,把得到的多路数据637输出到传送路径/存储介质106。
在这种构成中,被输入的运动图象的图象信号131在编码单元601中被编码。这时,从编码单元601输出在编码后的编码信息634,并被输入到重要信息构成单元603。重要信息构成单元603,从被输入的编码信息634中只选择在译码中所需要的重要信息635输出。重要信息635在分组标题生成单元604中,被装入分组标题内作为分组标题636输出。
另一方面,在比特串分割单元602中,把从编码单元601输出的比特串632分割成分组大小输出。在分组构成单元605中,多路从比特串分割单元602输出的分割比特串633和从分组标题生成单元604输出的分组标题636,把多路数据637输出到传送路径/存储介质106。
这样,在本实施例中,在编码运动图象得到的比特串中,通过分组标题生成单元604以已确定的格式把从重要信息构成单元602输出的重要信息635插入标题,把它附加在运动图象的编码数据中分组化,然后传送。
在分组标题中设置扩展标题,是为了在该扩展标题中存储通常图象相关重要信息以外的重要信息并传送而使用的。
因此,作为通常图象相关重要信息以外的重要信息,把在MPEG-4中得到的在任意形状的图象编码·译码所需要的信息,例如,在任意形状的图象编码中表示图象尺寸的宽度VW的信息和高度VH的信息以及用于表示显示译码后的图象的位置的图象位置的x坐标VJMSR的信息、y坐标VVMSR的信息,并且表示形状信息的编码方式的VOP形状编码型“vop-shape-coding-type(VSCT)”,和作为表示是否在变换形状信息的大小后编码的标志的change-conv-ratio-disable(CCRD)等作为重要信息635,把它用已确定的格式通过分组标题生成单元604作为扩展标题插入到分组标题中。如果译码单元的构成是,使用从该分组的扩展标题中取得的信息进行译码处理,则可以对每个分组再生任意形状的图象,即使在任意形状图象编码的情况下也可以具有和以往的长方形图象的编码同等的耐错性,即使VOP标题和一部分VP被破坏,也可以进行运动图象的译码。
这样,在本系统中,即使在任意形状图象编码的情况下,也可以具有和以往的长方形图象的编码同等的耐错性,而在上述构成中作为本发明的重要构成的重要信息构成单元60参照图11详细说明。
图11是展示重要信息构成单元603的方框图。重要信息构成单元603是本实施方案中的重点,如图11所示,重要信息构成单元603,由切换单元2201,扩展标题插入判定单元2202,任意形状图象相关重要信息构成单元2203构成。
扩展标题插入判定单元2202,是判定是否把扩展标题附加在分组标题上的单元,根据由编码单元601输入的编码信息634判断编码单元601是否正在实施任意形状的图象编码,在正在实施任意形状的图象编码的情况下把扩展标题附加在分组标题上。
切换单元2201,是系统开闭开关,当扩展标题插入判定单元2202判定为把扩展标题附加在分组标题上的情况下,用从该扩展标题插入判定单元2202输出的控制信号,切换单元2201关闭系统,把来自编码单元601的编码信息634给予任意形状图象相关重要信息构成单元2203。
任意形状图象相关重要信息构成单元2203的构成是,把经由切换单元2201输入的编码信息634作为输入编码信息2233接收,由此选择与任意形状编码相关的VOP标题信息,作为重要信息635输出。
在这种构成中,从编码单元601输入到重要信息构成单元603的编码信息634用扩展标题插入判定单元2202判定是否把扩展标题附加在分组标题中。当判定为附加的情况下,从切换单元2201向任意形状图象相关重要信息构成单元2203输入输入编码信息2233。在任意形状图象相关重要信息构成单元2203中从输入编码信息2233中选择与任意形状编码相关的VOP标题信息,输出重要信息635。
以下,对分组标题装入重要信息的过程详细叙述。
在任意形状图象的编码时,与长方形图象的编码相比,需要图象的宽度(VW),高度(VH),配置图象的X坐标(VHMSR)、Y坐标(VVMSR)、表示是否缩小并编码变换形状信息的标志(CCRD),形状信息的编码方式(VSCT)。此外,还可以包含用于把阿尔法混合时的阿尔法值设定为一定的标志(VCA)以及值(VCAV),表示用于在编码/译码中把计算精度设定为相同的全部运算的方法的标志(VRT)等的信息,但在此,假设装入前者的VW、VH、VHMSR、VVMSR、CCRD、VSCT。图12展示此时的分组标题扩展单元的格式。在此上面的数字表示比特数,用横向1列表示32比特。在MPEG-4的情况下,VW、VH、VHMSR、VVMSR各用13比特表示,剩下的CCED、VSCT各是1比特。
在此,因为作为例子匹配为32比特,所以在最后插入备用“Reserve”的位(RV)。在由于VW、VH等连续而有可能出现和同步代码等的比特串相同的比特串的情况下,例如如图13所示,也可以在各值之间插入标识(M),使得与同步代码那样的绝对不会出现其他比特串的比特串不一致。另外,标识M的位置,也不是必须在各信息之间,如果在发送一侧/接收一侧是同一标准,则嵌在哪里都没关系。
最后,需要在通常的标题信息中嵌入表示有扩展标题的标志。而其中是用1位的信息在通常标题内嵌入是否存在扩展标题的信息。这些格式是事例,只用这一部分的数据构成标题信息,或者也可以和此外的信息组合使用。
如上所述,在本实施方案中,当编码运动图象并分组的情况下,可以在嵌入通常图象相关重要信息的分组标题中附加扩展标题,当编码并发送任意形状图象的情况下,把该任意形状图象相关重要信息嵌入扩展标题中作为分组标题附加在数据中,并进行分组。因而,可以在每一分组中再生任意形状的图象,另外,即使是任意形状图象编码的情况下也可以具有和以往的长方形图象的编码同等的耐错性,即使VOP标题和局部的VP被破坏也可以进行运动图象的译码。
接着,说明进行这种分组译码的译码单元的例子。
有关译码单元的构成例子在以下说明。如果采用图14所示的译码单元,则接收编码位流的分离单元702的输出,被连接在译码单元703以及重要信息构成单元705上。译码单元703的输出,经由错误校验单元704被连接在重要信息构成单元705上。重要信息构成单元705的输出被连接译码单元703上。分离单元702的作用是,分离处理从传送路径/存储介质106输入的比特串731,分成图象用的比特串732和分组标题735,及除此以外的数据。
另外,译码单元703,是用来自重要信息构成单元705的重要信息译码处理被分离出的图象用比特串732,得到原本的图象数据的单元,错误校验单元704的作用是,从在译码单元703中得到的译码信息733中校验在译码中是否产生有错误。
另外,重要信息构成单元705的构成是,根据用分离单元702分离处理中的分组标题735的信息中构成重要信息并给予译码单元703。
在这种构成中,从传送路径/存储介质106输入的比特串731,用分离单元702分离为图象用的比特串732和分组标题735,以及除此以外的数据。其它的数据,被发送到各自对应的译码单元。被分离出的图象用比特串732被输入到译码单元703,进行译码。在译码单元703中的译码处理,对于被分离出的图象用比特串732使用来自重要信息构成单元705的重要信息进行。
错误校验单元704,根据来自译码单元703的译码信息733校验在译码中是否发生错误。校验的结果,当判定为有错误的情况下,重要信息构成单元705构成存在于分组标题735内的重要信息736,译码单元703用重要信息736开始编码比特串的译码。
在本系统中,当编码运动图象并分组的情况下,可以在嵌入通常图象相关重要信息的分组标题中附加扩展标题。另外,当编码并发送任意形状的图象的情况下,把在扩展标题中嵌入了该任意形状图象相关重要信息的分组标题附加在数据上。这样,由于运动图象可以被分组,所以可以用扩展标题取得任意形状图象相关重要信息,可以译码任意形状图象。
参照图15详细说明在本实施方案中作为重要单元的重要信息构成单元705。
如图15所示,重要信息构成单元705,由切换单元2301,扩展标题插入判定单元2302,任意形状图象相关重要信息译码单元2303构成。
扩展标题插入判定单元2302,是进行是否把扩展标题附加在分组标题上的判定的单元,其构成是,从由分离单元702输入的分组标题735的信息中判断图象用比特串732是否已实施任意形状的图象编码,在已实施任意形状的图象编码的情况下判断为把扩展标题附加在分组标题上,输出与该判断对应的控制信号。
切换单元2301,是系统开闭开关,当扩展标题插入判定单元2302判定为把扩展标题附加在分组标题上的情况下,靠从该扩展标题插入判定单元2302输出的控制信号,切换单元2301,关闭系统把来自分离单元702的分组标题735的信息给予任意形状图象相关重要信息译码单元2303。
任意形状图象相关重要信息泽码单元2303的构成是,把经由切换单元2301输入的分组标题735的信息作为输入信息2333接收,由此复原为与任意形状编码相关的信息,并作为重要信息636输出。
说明这种构成的重要信息构成单元705的作用。
被输入的分组标题735在扩展标题插入判定单元2302中,通过译码分组标题信息判定在分组标题信息上是否附加有扩展标题。其结果,当判定为有扩展标题的情况下,扩展标题插入判定单元2302通过控制关闭切换单元2301,使分组标题735通过,把它作为分组标题信息2333输入到任意形状图象相关重要信息译码单元2303。
任意形状图象相关重要信息译码单元2303把分组标题信息2333作为基础译码与任意形状的译码有关的重要信息,把它作为重要信息736输出,给予译码单元703。
这样,从设置成如可以嵌入任意形状图象相关的重要信息的扩展标题中的信息中,可以译码任意形状图象相关的重要信息。
以上,通过使用本实施方案2的技术,即使在和实施方案1同样的任意形状图象编码的情况下也可以具有和以往的长方形图象的编码同等的耐错性。进而,通过使用传送路径的通信协议的扩展标题,不改变与图象编码有关的比特串也可以安装。这在使用现有的标准方式等时有效。
和实施方案1的变形例一样,通过可变长编码VW、VH、VHMSR、VVMSR,就可以削减编码量。
进而,本实施方案对MPEG-4进行了叙述,但即使是MPEG-4以外的任意形状图象编码的传送,通过附加同样的信息,也可以提高耐错性。
以下,作为本发明的应用例子,参照图25说明适用本发明的编码装置/译码装置的运动图象传送系统的实施例。
由被附带在个人计算机3001(未图示)上的摄象机输入的运动图象信号,用被装在个人计算机3001中的编码装置(或者编码软件)进行运动图象编码。从该编码装置输出的运动图象信号,和其它的声音信号和数据信息一同,用无线设备3003以无线方式传送,由另一无线设备3004接收。在该无线设备中例如,可以使用手机,PHS,无线LAN装置等。在无线设备3004中接收到的信号,被分解为运动图象信号以及声音和数据的信息。这其中,运动图象信号由被装入笔记本电脑3005的译码装置(或者译码软件)译码后,被显示在笔记本PC3005的显示器上。
另一方面,由被附带在笔记本电脑3005(未图示)上的摄象机输入的运动图象信号,用被装入笔记本电脑3005的编码装置(或者编码软件)进行和上述同样的译码。被生成的运动图象信号,和其它的声音和数据的信息多路化,用无线设备3004以无线方式发送,用无线设备3003接收。用无线设备3003接收的信号,被分解为运动图象信号以及声音和数据的信息。这其中,运动图象信号用被装入个人计算机3001的译码装置(或者译码软件)进行译码后,被显示在个人计算机3001的显示器上。
在个人计算机3001或者笔记本电脑3005,和便携电视电话3006之间的运动图象通信也可以应用采用本发明的编码/译码装置。由被装入个人计算机3001或者笔记本电脑3005的编码装置生成的,从无线设备3003或者3004中以无线方式发送的运动图象信号,用被装入便携电视电话3006的无线设备接收。用无线设备接收到的信号被分解为运动图象信号以及声音和数据的信息。这其中,运动图象信号用被装入便携电视电话3006的译码装置(或者译码软件)进行译码后,被显示在便携电视电话3006的显示器上。
另一方面,用被装入手机3006的摄象机1007输入的运动图象信号,用被输入便携电视电话3006的编码装置(或者编码软件)进行和上述个人计算机3001以及笔记本电脑3005的例子一样的编码。生成的运动图象信号,被和其它的声音和数据的信息多路化,用被装入便携电视电话3006的无线设备以无线方式发送,用无线设备3003或者3004接收。用无线设备3003或者3004接收的信号,被分解为运动图象信号以及声音和数据的信息。这其中,运动图象信号用被装入个人计算机3001或者笔记本电脑3005的译码装置(或者译码软件)译码后,显示在个人计算机3001或者笔记本电脑3005的显示器上。
图26展示与图1的实施方案1的编码装置对应的实施方案4的编码装置。如果采用本实施方案4,则把从多路化单元105输出的多路化比特串存储在存储介质107中。该存储介质107,按照本发明格式化。即,存储介质107,存储形状信息标题和接着它的多个VOP。形状信息标题是存储有在编码数据内共用的信息的信息组,与VOP标题相比还存储有上位的信息。例如,存储矩形图象的图象尺寸等。各VOP包含有多个宏块,在最初的宏块中由VOP标题和设置在该VOP标题后面的MB标题构成,以后的宏块由VP标题和连接在该VP标题后的MB数据构成。VP标题按照图4格式化。
图27展示与图5的实施方案1的译码装置对应的实施方案4的译码装置。该译码装置,读取用实施方案4的编码装置存储在存储介质107中的多路化比特串后译码。
图28展示与图10的实施方案2的译码装置对应的实施方案5的译码装置。该编码装置,把从分组构成单元605输出的多路化数据按照本发明的格式存储在存储介质107中。即,格式包含形状信息标题和多个VOP,在各VOP的多个宏块的各自中设置VP标题。
图29展示与图14的实施方案2的译码装置对应的实施方案5的译码装置。该译码装置,读取用实施方案5的编码装置存储在存储介质107中的多路比特串后译码。
以下,根据图30说明图27的译码装置303中的处理的内容。
顺序从存储介质107中读入图象字符串,首先检测同步字符(步骤S11)。如果被检测出的同步字符是VOP,start code(步骤S12的是),则进行把此前被译码的VOP(帧)输出到图象信息输出装置的处理(步骤S13)。而后,进行接着图象字符串中VOP start code的VOP标题(图29中VOP header)的译码(步骤S14)。如果VOP标题可以正确地译码(步骤S15的是),则把被存储在译码装置中的暂存电路中的信息用已被译码的VOP标题信息(时刻信息,VOP预测方式等)置换(步骤S16)。而后译码接着VOP标题的宏块数据(图29中的MB data),进行该视频分组的译码(步骤S17)。
如果,被检测出的同步字符是resyncmarker(步骤S18的是),则进行接着resyncmarker的视频分组标题(宏块号码(MBA),视频分组量化方式(SQ),标题扩展代码HEC))的译码(步骤S19)。如果,是在视频分组标题中的标题扩展代码HEC=“0”的情况下(步骤S20的否),则进行该视频分组的译码(步骤S17)。如果,是在标题扩展代码HEC=“1”的情况下(步骤S20的是),则进行接着它的二重化信息(图29中的DUPH)的译码(步骤S21)。这时,判定是否是任意形状(步骤S21-1),如果是是,则译码任意形状图象相关重要信息(步骤S21-2)。如果判定是否,则跳到步骤22。如果可以正确地译码二重化信息(步骤S22的是),则比较该二重化信息,和被存储在暂存电路中的信息(步骤S23)。如果比较结果是相等(步骤S23的否),则译码接着视频分组标题的宏块数据(图29中的MBdata),译码该视频分组(步骤S17)。如果比较结果是不相等(步骤S23的“是”),则判定该视频分组和此前被译码的VOP属于不同的VOP,并进行把此前译码的VOP输出到图象信息输出装置的处理(步骤S24),把存储在暂存装置中的信息用已译码的二重化信息置换(步骤S25)。进而进行该视频分组的译码(步骤S17)。
以上,一边顺序读出被存储在存储介质810中的图象字符串一边重复从图30所示的同步字符检测开始的一连串的处理,再生运动图象信号。
进而,也可以不把图象字符串直接存储在存储介质中,而把和编码了声音信号和音频信号的字符串、数据、控制信息等进行了多路化的字符串存储在存储介质中。这种情况下,在在图象编码装置820中编码已记录在存储介质中的信息前,在逆多路化装置中进行把图象字符串和声音·音频字符串、数据、控制信息逆多路化的处理,在编码装置820中译码被反多路化的图象编码。
另外,在图29中,展示了把记录在存储介质810中的信息经由信号线80传递到译码装置820的例子,但除了信号线以外,经由有线/无线/红外线等的传送路径传递信息也可以。
如果如上述那样采用本发明,则被记录在存储介质中的字符串,因重要信息被二重化后存储,所以即使在记录在存储介质中的信息中有错误的情况下,和在把记录在存储信息中的信息传送到再生图象的信号线和传送路径中产生错误的情况下,也可以再生劣化少的再生图象。
如上所述如果采用本发明,则即使在编码任意形状图象的情况下,也可以具有和以往的长方形图象的编码同等的错误耐受力。另外,在通过使用作为被用于运动图象/声音数据传送的通信协议的RTP的扩展标题分组传送数据的情况下,也可以在以遵循MPEG-4等的现存的标准方式的状态编码传送,可以具有和以往的长方形图象的编码同等的错误耐受力。
如上所述如果采用本发明,则即使在任意形状图象编码的情况下因为也可以具有和以往的长方形图象的编码同等的耐错性,所以可以适用于使用ISDN和因特网等的有线通信网,或者PHS和卫星通信等的无线通信网传送被编码后的运动图象/静止图线的信息传送系统。

Claims (31)

1.一种运动图象编码装置,包括:
编码单元,生成对输入的运动图象进行任意形状编码后的编码信息作为比特串;
重要信息构成单元,从上述编码单元的编码信息中取出并构成重要信息,所述重要信息指明基于何种规则对特定比特串的组合进行编码;
同步信号发生单元,产生同步信号;以及
比特串重新构成单元,将从上述同步发生单元输出的同步信号、表示上述重要信息是否被二重化的HEC代码和在检测出表示上述重要信息已被二重化的HEC代码时由上述重要信息构成单元构成的重要信息加到由上述编码单元编码的比特串中,以重新构成比特串。
2.权利要求1所述的运动图象编码装置,其中上述重要信息构成单元包括:
任意形状编码判定单元,根据上述编码信息判定编码图象是否是任意形状图象;以及
输出单元,在上述任意形状编码判定单元判定为是任意形状图象的情况下输出与上述任意形状图象相关的重要信息。
3.权利要求1所述的运动图象编码装置,其中上述比特串构成单元将上述重要信息二重化为确定的格式并将其插入到标题中。
4.权利要求1所述的运动图象编码装置,其中上述重要信息包含表示图象尺寸以及图象位置的信息。
5.权利要求1所述的运动图象编码装置,其中上述重要信息按照以下顺序配置构成:表示图象的宽度的13比特信号,表示图象的高度的13比特信号,表示配置图象的X坐标的13比特信号,表示配置图象的Y坐标的13比特信号,表示是否在缩小变换了形状信息之后对其进行编码的1比特信号,表示形状信息的编码方式的1比特信号。
6.一种运动图象译码装置,包括:
比特串接收单元,接收具有对运动图象进行任意形状编码后生成的编码运动图象信息、同步信息、以及标题信息的编码比特串,其中所述标题信息包含指明在对上述运动图象进行编码时基于何种规则对特定比特串的组合进行编码的重要信息;
分离单元,从上述编码比特串中分离出与上述运动图象信息对应的图象比特串;
译码单元,对上述图象比特串进行译码;
同步信号检测单元,从上述比特串中检测出同步信号并通知给上述译码单元;以及
重要信息构成单元,在检测出表示上述重要信息已被二重化的HEC代码时,根据由译码单元输出的上述标题信息来构成重要信息,并通知译码单元。
7.权利要求6所述的运动图象译码装置,其中上述重要信息构成单元包括:
任意形状图象编码判定单元,根据上述标题信息判定正在译码的图象是否是任意形状图象;以及
重要信息构成单元,根据上述标题信息构成与所述任意形状图象相关连的重要信息。
8.权利要求6所述的运动图象译码装置,其中在上述译码单元的译码过程中得到的上述比特串中存在视频目标平面(VOP)标题的情况下,上述重要信息构成单元输出视频目标平面标题信息,而在译码过程中得到的上述比特串中不存在视频目标平面标题的情况下,上述重要信息构成单元输出视频目标平面标题的上述重要信息。
9.权利要求6所述的运动图象译码装置,还包括根据上述译码单元的译码信息判定是否有错误的错误校验单元,其中在上述错误校验单元检测出错误时,从由上述同步信号检测单元检测出的下一个同步信号的位置开始执行译码操作。
10.权利要求6所述的运动图象译码装置,其中上述重要信息包含表示图象尺寸以及图象位置的信息。
11.权利要求6所述的运动图象译码装置,其中上述重要信息按照以下顺序配置构成:表示图象的宽度的13比特信号,表示图象的高度的13比特信号,表示配置图象的X坐标的13比特信号,表示配置图象的Y坐标的13比特信号,表示是否在缩小变换了形状信息之后对其进行编码的1比特信号,表示形状信息的编码方式的1比特信号。
12.权利要求6所述的运动图象译码装置,其中所述重要信息与经过上述任意形状编码的图象比特串的再现有关。
13.权利要求12的运动图象译码装置,包括:
任意形状编码判定单元,根据上述标题信息判定正被译码的图象是否是任意形状图象;
任意形状图象相关重要信息构成单元,根据所述标题信息构成任意形状图象相关重要信息;以及
用于在上述任意形状编码判定单元判定所述正被译码的图象是任意形状图象的情况下输出上述任意形状图象相关重要信息的单元。
14.权利要求12所述的运动图象译码装置,其中上述重要信息包含表示图象尺寸以及图象位置的信息。
15.权利要求12所述的运动图象译码装置,其中上述重要信息按照以下顺序配置构成:表示图象的宽度的13比特信号,表示图象的高度的13比特信号,表示配置图象的X坐标的13比特信号,表示配置图象的Y坐标的13比特信号,表示是否在缩小变换了形状信息之后对其进行编码的1比特信号,表示形状信息的编码方式的1比特信号。
16.一种运动图象传送系统,包括:
服务器计算机,具有用于对运动图象进行任意形状编码并生成编码比特串的运动图象编码装置;
发送装置,发送上述服务器计算机的编码比特串;
接收装置,接收来自上述服务器计算机的编码比特串;
客户计算机,具有用于对来自上述接收装置的编码比特串进行译码的运动图象译码装置,
其中,上述运动图象编码装置包括:
编码单元,生成对输入的运动图象进行任意形状编码后的编码信息作为比特串;
重要信息构成单元,从上述编码单元的编码信息中取出并构成重要信息,所述重要信息指明基于何种规则对特定比特串的组合进行编码;
同步信号发生单元,产生同步信号;以及
比特串构成单元,将从上述同步发生单元输出的同步信号、表示上述重要信息是否被二重化的HEC代码和在检测出表示上述重要信息已被二重化的HEC代码时由上述重要信息构成单元构成的重要信息加到由上述编码单元编码的比特串中,以构成比特串,以及
上述运动图象译码装置包括:
分离单元,从上述编码比特串中分离出与上述运动图象信息对应的图象比特串;
译码单元,对上述图象比特串进行译码;
同步信号检测单元,从上述比特串中检测出同步信号并通知给上述译码单元;以及
重要信息构成单元,在检测出表示上述重要信息已被二重化的HEC代码时,根据由译码单元输出的上述标题信息来构成重要信息,并通知译码单元。
17.权利要求16所述的运动图象传送系统,其中上述重要信息包含表示图象尺寸以及图象位置的信息。
18.权利要求16所述的运动图象传送系统,其中上述重要信息按照以下顺序配置构成:表示图象的宽度的13比特信号,表示图象的高度的13比特信号,表示配置图象的X坐标的13比特信号,表示配置图象的Y坐标的13比特信号,表示是否在缩小变换了形状信息之后对其进行编码的1比特信号,表示形状信息的编码方式的1比特信号。
19.一种图象编码方法,包括以下步骤:
生成对输入的运动图象进行任意形状编码后的编码信息作为比特串;
从上述编码信息中取出指明基于何种规则对特定比特串的组合进行编码的重要信息;
生成同步信号;以及
将同步信号、表示上述重要信息是否被二重化的HEC代码和在检测出表示上述重要信息已被二重化的HEC代码时构成的上述重要信息加到被编码的比特串中,以构成比特串。
20.权利要求19所述的运动图象编码方法,其中在上述比特串构成步骤中,将上述重要信息二重化为确定的格式并将其插入到标题中。
21.权利要求19所述的运动图象编码方法,其中上述重要信息包含表示图象尺寸以及图象位置的信息。
22.权利要求19所述的运动图象编码方法,其中上述重要信息按照以下顺序配置构成:表示图象的宽度的13比特信号,表示图象的高度的13比特信号,表示配置图象的X坐标的13比特信号,表示配置图象的Y坐标的13比特信号,表示是否在缩小变换了形状信息之后对其进行编码的1比特信号,表示形状信息的编码方式的1比特信号。
23.一种运动图象译码方法,包括以下步骤:
接收具有对运动图象进行任意形状编码后生成的编码运动图象信息、同步信息、以及标题信息的编码比特串,其中所述标题信息包含指明在对上述运动图象进行编码时基于何种规则对特定比特串的组合进行编码的重要信息;
从上述编码比特串中分离出与上述运动图象信息对应的图象比特串;
对上述图象比特串进行译码;
从上述比特串中检测出同步信号;以及
在检测出表示上述重要信息已被二重化的HEC代码时,根据上述标题信息构成重要信息。
24.权利要求23所述的运动图象译码方法,其中在上述重要信息构成步骤中,在译码过程中得到的上述比特串中存在视频目标平面标题的情况下,输出视频目标平面标题信息,而在译码过程中得到的上述比特串中不存在视频目标平面标题的情况下,输出视频目标平面标题的上述重要信息。
25.权利要求23所述的运动图象译码方法,其中上述重要信息包含表示图象尺寸以及图象位置的信息。
26.权利要求23所述的运动图象译码方法,其中上述重要信息按照以下顺序配置构成:表示图象的宽度的13比特信号,表示图象的高度的13比特信号,表示配置图象的X坐标的13比特信号,表示配置图象的Y坐标的13比特信号,表示是否在缩小变换了形状信息之后对其进行编码的1比特信号,表示形状信息的编码方式的1比特信号。
27.权利要求23所述的运动图象译码方法,包括:
其中所述重要信息与上述经过任意形状编码的图象比特串的再现有关。
28.权利要求27所述的运动图象译码方法,其中上述重要信息按照以下顺序配置构成:表示图象的宽度的13比特信号,表示图象的高度的13比特信号,表示配置图象的X坐标的13比特信号,表示配置图象的Y坐标的13比特信号,表示是否在缩小变换了形状信息之后对其进行编码的1比特信号,表示形状信息的编码方式的1比特信号。
29.一种运动图象传送方法,包括:
在服务器计算机中对运动图象进行任意形状编码并生成编码比特串的运动图象编码步骤;
从上述服务器计算机发送上述编码比特串的步骤;
接收来自上述服务器计算机的编码比特串的步骤;
在客户计算机中对上述接收到的编码比特串进行译码的步骤,
其中上述运动图象步骤包括:
生成对输入的运动图象进行任意形状编码后的编码信息作为比特串的步骤;
从在上述编码步骤中生成的编码信息中,取出指明基于何种规则对特定比特串的组合进行编码的重要信息的步骤;
产生同步信号的步骤;以及
将同步信号、表示上述重要信息是否被二重化的HEC代码和上述重要信息加到上述被编码的比特串中以构成比特串的步骤,
上述译码步骤包括:
从上述编码比特串中分离出与上述运动图象信息对应的图象比特率的步骤;
对上述运动图象比特串进行译码的步骤;
从上述比特串中检测同步信号的步骤;
在检测出表示上述重要信息已被二重化的HEC代码时,根据上述标题信息构成重要信息的步骤。
30.权利要求29所述的运动图象传送方法,其中上述重要信息包含表示图象尺寸以及图象位置的信息。
31.权利要求29所述的运动图象传送方法,其中上述重要信息按照以下顺序配置构成:表示图象的宽度的13比特信号,表示图象的高度的13比特信号,表示配置图象的X坐标的13比特信号,表示配置图象的Y坐标的13比特信号,表示是否在缩小变换了形状信息之后对其进行编码的1比特信号,表示形状信息的编码方式的1比特信号。
CN008061386A 1999-03-05 2000-03-06 运动图象编码装置以及运动图象译码装置 Expired - Lifetime CN100407797C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP058590/99 1999-03-05
JP5859099 1999-03-05

Publications (2)

Publication Number Publication Date
CN1346574A CN1346574A (zh) 2002-04-24
CN100407797C true CN100407797C (zh) 2008-07-30

Family

ID=13088713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN008061386A Expired - Lifetime CN100407797C (zh) 1999-03-05 2000-03-06 运动图象编码装置以及运动图象译码装置

Country Status (10)

Country Link
US (3) US7027517B1 (zh)
EP (1) EP1158811A4 (zh)
KR (1) KR100483814B1 (zh)
CN (1) CN100407797C (zh)
AU (1) AU758372B2 (zh)
BR (1) BR0009262A (zh)
CA (1) CA2367055C (zh)
MX (1) MXPA01008928A (zh)
NO (1) NO20014284L (zh)
WO (1) WO2000054512A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
KR20040046540A (ko) * 2002-11-27 2004-06-05 엘지전자 주식회사 동영상 디코딩 방법
US8230094B1 (en) 2003-04-29 2012-07-24 Aol Inc. Media file format, system, and method
KR100987777B1 (ko) * 2004-02-05 2010-10-13 삼성전자주식회사 에러의 전파를 방지하고 병렬 처리가 가능한 디코딩 방법및 그 디코딩 장치
US20060062312A1 (en) * 2004-09-22 2006-03-23 Yen-Chi Lee Video demultiplexer and decoder with efficient data recovery
US7818614B2 (en) * 2004-10-25 2010-10-19 Hewlett-Packard Development Company, L.P. System and method for reintroducing a processor module to an operating system after lockstep recovery
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US8767844B2 (en) * 2006-05-24 2014-07-01 Cohda Wireless Pty. Ltd. Method and apparatus for multicarrier communications
US8379733B2 (en) * 2006-09-26 2013-02-19 Qualcomm Incorporated Efficient video packetization methods for packet-switched video telephony applications
US9357233B2 (en) * 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
JP5791451B2 (ja) * 2011-09-29 2015-10-07 キヤノン株式会社 符号化装置およびプログラム
KR20180080365A (ko) * 2011-10-14 2018-07-11 어드밴스드 마이크로 디바이시즈, 인코포레이티드 영역-기반 이미지 압축
FR3024582A1 (fr) * 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311052B2 (zh) * 1979-06-15 1988-03-11 Uop Inc
JPS6326967B2 (zh) * 1979-11-30 1988-06-01 Iwatani & Co
EP0677961A2 (en) * 1994-04-13 1995-10-18 Kabushiki Kaisha Toshiba Method for recording and reproducing data
EP0731422A2 (en) * 1995-03-09 1996-09-11 Mitsubishi Denki Kabushiki Kaisha Moving picture decoding circuit
JPH09271041A (ja) * 1996-03-29 1997-10-14 Sharp Corp 動画像符号化装置及び動画像復号装置
GB2327313A (en) * 1997-06-30 1999-01-20 Daewoo Electronics Co Ltd Motion vector detection in a wavelet transformed video signal
US5867231A (en) * 1995-01-31 1999-02-02 Sony Corporation Method and apparatus for decoding video signal
JPH1141108A (ja) * 1997-07-23 1999-02-12 Toshiba Corp 可変長符号化システム及び可変長符号化方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6413838A (en) * 1987-07-08 1989-01-18 Nec Corp Packet communication system
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
JPH06311052A (ja) 1993-04-27 1994-11-04 Victor Co Of Japan Ltd 圧縮信号の処理装置
JP2734335B2 (ja) 1993-05-12 1998-03-30 松下電器産業株式会社 データ伝送方法
CA2173812C (en) * 1995-04-11 2000-02-08 Shinichi Kikuchi Recording medium, recording apparatus and recording method for recording data into recording medium, and reproducing apparatus and reproduction method for reproducing data from recording medium
JP3249729B2 (ja) * 1995-10-24 2002-01-21 シャープ株式会社 画像符号化装置及び画像復号装置
JPH1174868A (ja) 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置/復号化装置、並びに符号化・多重化装置/復号化・逆多重化装置
JPH10262063A (ja) * 1997-03-19 1998-09-29 Fujitsu Ltd セルスイッチング方法及びセル交換システム
JPH10336746A (ja) * 1997-05-30 1998-12-18 Matsushita Electric Ind Co Ltd 携帯端末装置及びこれを用いた無線データ通信システム
JP3191922B2 (ja) * 1997-07-10 2001-07-23 松下電器産業株式会社 画像復号化方法
JPH11313324A (ja) * 1998-04-28 1999-11-09 Asahi Chem Ind Co Ltd 画像圧縮データの加工方法および装置ならびに画像圧縮データ加工プログラムを記憶した記憶媒体
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6449254B1 (en) * 1998-12-11 2002-09-10 Analog Devices, Inc. ATM cell filtering
US6885661B1 (en) * 1998-12-30 2005-04-26 Nortel Networks Limited Private branch exchange built using an ATM Network
US6151913A (en) * 1999-04-23 2000-11-28 Praxair Technology, Inc. Method and apparatus for agglomerating fine snow particles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311052B2 (zh) * 1979-06-15 1988-03-11 Uop Inc
JPS6326967B2 (zh) * 1979-11-30 1988-06-01 Iwatani & Co
EP0677961A2 (en) * 1994-04-13 1995-10-18 Kabushiki Kaisha Toshiba Method for recording and reproducing data
US5867231A (en) * 1995-01-31 1999-02-02 Sony Corporation Method and apparatus for decoding video signal
EP0731422A2 (en) * 1995-03-09 1996-09-11 Mitsubishi Denki Kabushiki Kaisha Moving picture decoding circuit
JPH09271041A (ja) * 1996-03-29 1997-10-14 Sharp Corp 動画像符号化装置及び動画像復号装置
GB2327313A (en) * 1997-06-30 1999-01-20 Daewoo Electronics Co Ltd Motion vector detection in a wavelet transformed video signal
JPH1141108A (ja) * 1997-07-23 1999-02-12 Toshiba Corp 可変長符号化システム及び可変長符号化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
工业调查会. 三木弼一.mpeg-4. 1998 *

Also Published As

Publication number Publication date
KR100483814B1 (ko) 2005-04-20
US20060008012A1 (en) 2006-01-12
BR0009262A (pt) 2002-02-05
EP1158811A4 (en) 2002-01-09
US7027517B1 (en) 2006-04-11
NO20014284D0 (no) 2001-09-04
US20060140281A1 (en) 2006-06-29
AU2830500A (en) 2000-09-28
WO2000054512A1 (en) 2000-09-14
CN1346574A (zh) 2002-04-24
NO20014284L (no) 2001-10-19
EP1158811A1 (en) 2001-11-28
KR20010108318A (ko) 2001-12-07
CA2367055C (en) 2004-09-14
AU758372B2 (en) 2003-03-20
MXPA01008928A (es) 2003-07-21
CA2367055A1 (en) 2000-09-14

Similar Documents

Publication Publication Date Title
US7010032B1 (en) Moving image coding apparatus and decoding apparatus
US6381282B1 (en) Video signal decoding arrangement and method for improved error concealment
JP3510628B2 (ja) ビデオ圧縮/圧縮解除システムのフィールド除去装置
CN100407797C (zh) 运动图象编码装置以及运动图象译码装置
EP1439705A2 (en) Method and apparatus for processing, transmitting and receiving dynamic image data
US20050254584A1 (en) Systems and methods for enhanced error concealment in a video decoder
CN1758722B (zh) 一种切换频道的方法及用于显示图像的解码系统
JPH08505513A (ja) デジタル映像デコーダのための二段階同期化方式
CN100407609C (zh) 编码分组传送接收方法及其装置
US6983016B2 (en) Method for detecting errors in video information
US20060209947A1 (en) Video compression
JP4174960B2 (ja) 信号処理装置及び方法並びにファイル生成方法
US7124429B2 (en) Video coding apparatus and video decoding apparatus
JP4242581B2 (ja) データ変換装置
JP2002010265A (ja) 送信装置およびその方法と受信装置およびその方法
US6970514B1 (en) Signal processing device, signal processing method, decoding device, decoding method and recording medium
JP2001309375A (ja) メディア分離方法と画像復号方法及び装置
JP3045186B2 (ja) 符号化データの切り出し方法
JPH08125967A (ja) 画像データ記録再生装置
JPH0937249A (ja) 符号化映像信号の復号化処理方法及びそれを用いた復号化装置
JP2000324491A (ja) 動画像符号化装置および動画像復号化装置
JP2007318797A (ja) 動画像復号装置及び方法
JP2000308049A (ja) 動画像符号化装置および動画像復号化装置
JP2003078916A (ja) 画像符号化方法および画像復号化方法
JPH10136369A (ja) ディジタル動画像の復号化装置

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20080730