CN101569202B - 活动图像编码方法和解码方法、其装置 - Google Patents

活动图像编码方法和解码方法、其装置 Download PDF

Info

Publication number
CN101569202B
CN101569202B CN2007800479423A CN200780047942A CN101569202B CN 101569202 B CN101569202 B CN 101569202B CN 2007800479423 A CN2007800479423 A CN 2007800479423A CN 200780047942 A CN200780047942 A CN 200780047942A CN 101569202 B CN101569202 B CN 101569202B
Authority
CN
China
Prior art keywords
frame
zone
information
image
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800479423A
Other languages
English (en)
Other versions
CN101569202A (zh
Inventor
志水信哉
木全英明
上仓一人
八岛由幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101569202A publication Critical patent/CN101569202A/zh
Application granted granted Critical
Publication of CN101569202B publication Critical patent/CN101569202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种活动图像编码方法，根据已经编码完成的多个帧，选择参照矢量对象帧和参照帧，对指定各帧的信息进行编码，对编码对象区域设定对所述参照矢量对象帧上的区域进行表示的参照矢量，对该参照矢量进行编码，使用通过所述参照矢量表示的参照矢量对象帧上的参照矢量对象区域的图像信息和所述参照帧，进行对应区域的探索，基于该结果设定所述参照帧上的参照区域，使用与所述参照区域对应的参照帧的图像信息生成预测图像，对编码对象区域的图像信息和所述预测图像的差分信息进行编码。

Description

活动图像编码方法和解码方法、其装置
技术领域
本发明涉及使用帧间预测编码方式对活动图像进行编码的活动图像编码方法及其装置、对通过该活动图像编码方法生成的编码数据进行解码的活动图像解码方法及其装置、在该活动图像编码方法的实现中使用的活动图像编码程序和记录有该程序的计算机能够读取的记录介质、在该活动图像解码方法的实现中使用的活动图像解码程序和记录有该程序的计算机能够读取的记录介质。 
本申请基于2006年10月30日申请的日本专利申请2006-293901号主张优先权，并在这里引用其内容。 
背景技术
多视点活动图像(多视点影像)指的是以多个摄影机对相同的被摄体和背景进行摄影的多个活动图像。在以下，将以一个摄影机摄影的活动图像称为“二维活动图像”，将对相同的被摄体和背景进行摄影的二维活动图像组称为“多视点活动图像”。 
多视点活动图像中包含的各摄影机的二维活动图像在时间方向上具有强相关。另一方面，在各摄影机被同步了的情况下，在相同时刻摄影的各摄影机的影像是从不同位置对完全相同状态的被摄体和背景进行摄影的影像，因此在摄影机间有强相关。在活动图像的编码中，通过利用这些相关能够提高编码效率。 
首先，对与二维活动图像的编码技术相关的现有技术进行说明。 
在以作为国际标准活动图像编码规格的MPEG-2和H.264为首的现有的多种二维活动图像编码方式中，通过被称为帧间预测编码的方法，利用时间方向的相关实现了高的编码效率。 
在二维活动图像编码中的帧间预测编码中使用的方法，由于是利用了根据时间的影像的变化、即利用了运动的方法，所以一边被称为运动补偿。在以下，根据该例子将时间方向的帧间预测编码称为运动补偿。再有，帧表示构成活动图像的、在某个时刻摄影的一枚图像。 
在一般的二维活动图像编码中的各帧的编码模式中，有不使用帧间的相关进行编码的I帧、根据过去编码的一枚帧一边进行运动补偿一边进行编码的P帧、以及根据过去编码的两枚帧一边进行运动补偿一边进行编码的B帧。 
进而，为了使影像预测的效率提高，在影像编码方式H.263和H.264中，在参照图像存储器中蓄积两枚帧以上的多枚帧的量的解码图像，能够从该存储器选择参照图像进行预测。 
参照图像能够按照每个块进行选择，通过对指定参照图像的参照图像指定信息进行编码，从而能够进行解码处理。 
在P帧中对块的每一个编码一个参照图像指定信息，在B帧中对块的每一个编码两个参照图像指定信息。 
在运动补偿中，除了参照图像指定信息，还对用于表示使用参照图像内的哪个位置进行编码对象块的预测的矢量进行编码。该矢量被称为运动矢量。与参照图像指定信息同样地，在P帧中一个运动矢量被编码，在B帧中两个运动矢量被编码。 
在运动矢量的编码中，在MPEG-4或H.264中，根据编码对象块的邻接块的运动矢量生成预测矢量，仅对编码对象块的运动补偿中使用的运动矢量和该预测矢量的差分矢量进行编码。根据该方法，在邻接块间有运动的连续性的情况下，能够编码效率高地对运动矢量进行编码。 
关于在H.264中的预测矢量的生成顺序的详细，记载在下面表示的非专利文献1中，以下对其概要进行说明。 
在H.264中，如图13A所示，根据在编码对象块的左边的块(图中的a)、上边的块(图中的b)、右上的块(图中的c)中使用的运动矢量(mv_a，mv_b，mv_c)，分别对每个方向计算中央值来求取水平成分和垂直成分。 
在H.264中，由于采用可变块大小运动补偿，所以有编码对象块和周边的块的动态补偿块大小不相同的情况，在该情况下，如图13B所示，块a作为左边邻接的块内的最上边的块，块b作为上边邻接的块内的最左边的块，块c作为存在于右上的最近的块。 
作为例外，在编码对象块的大小是8×16像素的情况下，如图13C所示，代替中央值，在预测中左边的块使用块a，右边的块使用块c，在编码对象块的大小是16×8像素的情况下，如图13D所示，代替中央 值，在预测中下边的块使用块a，上边的块使用块b。 
此外，如上上述，在H.264中，从过去编码了的多个帧中，对每个块选择参照帧，使用该参照帧进行运动补偿。 
一般，由于被摄体的运动根据参照帧而变化，所以比起使用与编码对象块的参照帧不同的参照帧进行运动补偿的情况下的运动矢量，可以认为使用相同的参照帧进行运动补偿的情况下的运动矢量是接近于在编码对象块中使用的运动矢量的矢量。 
因此，在H.264中，在块a、b、c内与编码对象块的参照帧相等的块只有一个的情况下，通过代替中央值而将该块的运动矢量作为预测矢量进行使用，能够生成可靠度更高的预测矢量。 
接着，对现有的多视点活动图像的编码方式进行说明。 
在一般的多视点活动图像的编码中，为了利用摄影机之间的相关，通过使用对在相同时刻以不同的摄影机摄影的帧之间应用了运动补偿的“视差补偿”，由此实现高编码效率。 
作为使用该方法的例子，有MEPG-2Multiview profile或非专利文献2中记述的方法等。 
在非专利文献2的方法中，对每一个块选择运动补偿和视差补偿的任何一方进行编码。通过对每一个块选择编码效率好的一方，能够利用时间方向的相关和摄影机间的相关这两方，与仅使用任一方的情况相比实现了高编码效率。 
在视差补偿中，除了预测残差之外，视差矢量也被编码。视差矢量对应于作为帧间的时间变化的运动矢量，表示在配置于不同位置的摄影机摄影的图像平面上，被摄体上的相同位置被投影的位置的差。 
图14表示该在摄影机间产生的视差矢量的概念图。在该概念图中，从上方垂直地向下观察光轴平行的摄影机的图像平面。 
在视差矢量的编码中，能够与运动矢量的编码同样地使用如下方法，根据编码对象块的邻接块的视差矢量生成预测矢量，仅对编码对象块的视差补偿中使用的视差矢量与该预测矢量的差分矢量进行编码。根据该方法，在邻接块之间有视差的连续性的情况下，能够高编码效率地对视差矢量进行编码。 
由于在多视点活动图像的各帧中，同时存在时间方向的冗余和摄影机之间的冗余，所以作为同时去除这两方的冗余的方法，有下面表示的 非专利文献3的方法。 
在该方法中，在时间方向上预测原图像与视差补偿图像的差分图像并进行编码。也就是说，对视差补偿后的差分图像中的运动补偿残差进行编码。 
根据该方法，由于在去除摄影机之间的冗余的视差补偿中不能去除的时间方向的冗余，能够通过运动补偿而被去除，所以最终进行编码的预测残差变小，能够实现高编码效率。 
非专利文献1：ITU-T Rec.H.264/ISO/IEC 11496-10，″Editor′sProposed Draft Text Modifications for Joint Video Specification(ITU-TRec.H，264/ISO/IEC 14496-10 Ave)，Draft7″，Final Committee Draft，Document JVT-E022，pp63-64，September 2002. 
非专利文献2：Hideaki Kimata and Masaki Kitahara，″Preliminaryresults on multiple view video coding(3DAV)″，document M 10976 MPEGRedmond Meeting，July，2004 
非专利文献3：Shinya Shimizu，Masaki Kitahara，Kazuto Kamikuraand Yoshiyuki Yashita，″Multi-view Video Coding based on 3-D Warpingwith Depth Map″，In Proceedings of Picture Coding Symposium 2006，SS3-6，April，2006. 
本发明要解决的课题 
在现有的方法中，在编码对象块中实际使用的运动矢量或视差矢量，根据与在邻接块中使用的运动矢量或视差矢量而生成的预测矢量的差分而被编码，由于基于在实际空间上被摄体连续地存在、在相同的被摄体内被摄体的运动变化不大的概率高的事实，所以能够以更少的码量对在编码对象块中使用的运动矢量或视差矢量进行编码。 
可是，在最适合于预测编码对象块的图像的参照帧，在邻接块中没有被使用的情况下，实际使用的运动矢量和预测矢量的差变大，不能够充分地削减码量。 
特别是在对每一个块适应性地选择运动补偿和视差补偿而进行编码的情况下，由于在运动矢量和视差矢量中性质非常不同，所以不能根据运动矢量生成视差矢量的预测矢量，或根据视差矢量生成运动矢量的预测矢量，不能够有效率地对运动矢量或视差矢量进行编码。 
另一方面，在B帧或非专利文献3的方法中，通过更正确地预测影像，使成为最终的编码对象的残差信号变小，由此能够以较少的码量对影像进行编码。 
可是，在B帧中，由于必须对两个参照图像指定信息和两个矢量信息进行编码，所以用于这些预测图像生成的附加信息的码量增加。 
此外，在非专利文献3的方法中，需要对用于生成视差补偿图像的深度(Depth)信息、和用于进行在视差补偿差分图像上的运动补偿的运动矢量进行编码，用于影像预测的信息增加。 
发明内容
本发明正是鉴于上述情况而完成的，其目的在于提供一种新的技术，该技术能够在活动图像编码中，即使在实施编码的区域和其邻接区域中进行帧间预测编码时使用的参照帧不同的情况下，也能够高效率地对成为编码对象的用于帧间预测编码的矢量信息进行编码。 
用于解决课题的方法 
为了实现该目的，本发明提供一种活动图像编码方法，对图像整体进行区域分割，对区域的每一个根据已经编码完成的多个帧的图像信息生成预测图像，通过对编码对象帧内的编码对象区域的图像和预测图像的差分信息进行编码，从而对活动图像进行编码，其中，该活动图像编码方法具有： 
参照矢量对象帧选择步骤，根据已经编码完成的多个帧，选择参照矢量对象帧； 
参照矢量对象帧指定信息编码步骤，对指定上述参照矢量对象帧的信息进行编码； 
参照矢量设定步骤，对编码对象区域，设定表示上述参照矢量对象帧上的区域的参照矢量； 
参照矢量编码步骤，对上述参照矢量进行编码； 
参照帧选择步骤，根据已经编码完成的多个帧，选择参照帧； 
参照帧指定信息编码步骤，对指定上述参照帧的信息进行编码； 
参照帧区域设定步骤，使用由上述参照矢量表示的参照矢量对象帧上的参照矢量对象区域的图像信息、与上述参照帧，进行对应区域的探 索，基于该探索结果设定上述参照帧上的参照区域； 
预测图像生成步骤，使用与上述参照区域对应的参照帧的图像信息，生成预测图像；以及 
差分信息编码步骤，对编码对象区域的图像信息与上述生成的预测图像的差分信息进行编码。 
作为典型例子，在上述预测图像生成步骤中，根据上述参照区域的图像信息与上述参照矢量对象区域的图像信息，生成预测图像。 
作为另一个典型例子， 
在上述预测图像生成步骤中，选择根据上述参照区域的图像信息生成预测图像、还是根据上述参照区域的图像信息和上述参照矢量对象区域的图像信息生成预测图像，使用该选择的生成方法来生成预测图像， 
该活动图像编码方法还具有：预测图像生成方法指定信息编码步骤，对指定上述选择的生成方法的信息进行编码。 
作为另一个典型例子，在上述参照帧选择步骤中选择对上述参照矢量对象区域进行编码时使用的参照帧作为上述参照帧的情况下，在上述参照帧区域设定步骤中，将对上述参照矢量对象区域进行编码时使用的参照区域作为上述参照区域进行设定。 
作为另一个典型例子，在上述参照帧选择步骤中选择对上述参照矢量对象区域进行编码时使用的参照矢量对象帧作为上述参照帧的情况下，在上述参照帧区域设定步骤中，将对上述参照矢量对象区域进行编码时使用的参照矢量对象区域作为上述参照区域进行设定。 
作为另一个典型例子，在上述参照帧选择步骤中选择已经编码完成的帧作为上述参照帧的情况下，在上述参照帧区域设定步骤中，将通过以上述编码对象区域作为起始点、与对上述参照矢量对象区域进行编码时使用的参照矢量具有相同朝向和大小的矢量表示的上述选择的参照帧上的区域，作为上述参照区域进行设定，其中，在该已经编码完成的帧与编码对象帧之间，具有与对上述参照矢量对象区域进行编码时使用的参照矢量对象帧、和对编码对象区域设定的参照矢量对象帧的时刻信息和视点信息的关系相等的关系。 
作为另一个典型例子，在上述参照帧选择步骤中选择已经编码完成的帧作为上述参照帧的情况下，在上述参照帧区域设定步骤中，将通过以上述编码对象区域作为起始点、与表示上述参照矢量对象区域和对上 述参照矢量对象区域进行编码时使用的参照区域的对应关系的矢量具有相同朝向和大小的矢量所表示的上述选择的参照帧上的区域，作为上述参照区域进行设定，其中，在该已经编码完成的帧与编码对象帧之间，具有与对上述参照矢量对象区域进行编码时使用的参照帧、和对编码对象区域设定的参照矢量对象帧的时刻信息和视点信息的关系相等的关系。 
作为优选例， 
该活动图像编码方法具有：中间帧设定步骤，将与上述参照矢量对象帧和上述参照帧不同的已经编码完成的帧作为中间帧进行设定， 
在上述参照帧区域设定步骤中，使用上述参照矢量对象区域的信息对作为上述中间帧上的区域的中间区域进行设定，使用该中间区域的信息、或该中间区域的信息和上述参照矢量对象区域的信息，对上述参照区域进行设定。 
在该情况下， 
在上述中间帧设定步骤中，将已经编码完成的帧作为中间帧进行设定，其中，该已经编码完成的帧和上述参照矢量对象帧的时刻及视点信息的关系、与上述编码对象帧和上述参照帧的时刻及视点信息的关系相同， 
在上述预测图像生成步骤中，根据上述参照区域的图像信息和上述中间区域的图像信息和上述参照矢量对象区域的图像信息，生成预测图像。 
同样地，在上述情况下， 
在上述中间帧设定步骤中，将已经编码完成的帧作为中间帧进行设定，其中，该已经编码完成的帧和上述参照矢量对象帧的时刻及视点信息的关系，与上述编码对象帧和上述参照帧的时刻及视点信息的关系相同， 
在上述预测图像生成步骤中，选择根据上述参照区域的图像信息生成预测图像、还是根据上述参照区域的图像信息与上述参照矢量对象区域的图像信息生成预测图像、还是根据上述参照区域的图像信息与上述中间区域的图像信息与上述参照矢量对象区域的图像信息生成预测图像，使用该选择的生成方法生成预测图像， 
该活动图像编码方法还具有：预测图像生成方法指定信息编码步 骤，对指定上述选择的生成方法的信息进行编码。 
在具有上述预测图像生成方法指定信息编码步骤的情况下， 
在上述参照帧指定信息编码步骤中，使用上述参照矢量对象区域的编码数据，对编码参照帧指定信息时的码字表(code word table)进行切换， 
在上述预测图像生成方法指定信息编码步骤中，对应于上述参照矢量对象区域的编码数据、上述参照帧、以及上述参照矢量对象帧的至少一个，对编码预测图像生成方法指定信息时的码字表进行切换。 
本发明还提供一种活动图像解码方法，对图像整体进行区域分割，对区域的每一个根据已经解码完成的多个帧的图像信息生成预测图像，通过对预测图像与解码对象帧内的解码对象区域的图像的差分信息进行解码，从而对活动图像进行解码，其中，该活动图像解码方法具有： 
参照矢量对象帧指定信息解码步骤，根据编码数据，对指定从已经解码完成的多个帧中选择的参照矢量对象帧的信息进行解码； 
参照矢量解码步骤，根据编码数据，对表示对解码对象区域设定的上述参照矢量对象帧上的区域的参照矢量进行解码； 
参照帧指定信息解码步骤，根据编码数据，对指定从已经解码完成的多个帧中选择的参照帧的信息进行解码； 
参照帧区域设定步骤，使用通过上述参照矢量表示的参照矢量对象帧上的参照矢量对象区域的图像信息和上述参照帧，进行对应区域的探索，基于该探索结果设定上述参照帧上的参照区域； 
预测图像生成步骤，使用与上述参照区域对应的参照帧的图像信息，生成预测图像。 
作为典型例子，在上述预测图像生成步骤中，根据上述参照区域的图像信息与上述参照矢量对象区域的图像信息，生成预测图像。 
作为另一个典型例子， 
具有：预测图像生成方法指定信息解码步骤，从编码数据对信息进行解码，其中，该信息对根据上述参照区域的图像信息生成预测图像、还是根据上述参照区域的图像信息和上述参照矢量对象区域的图像信息生成预测图像进行指定， 
在上述预测图像设定步骤中，使用上述解码后信息指定的生成方法生成预测图像。 
作为另一个典型例子，在表示对上述参照矢量对象区域进行解码时被解码的参照帧指定信息的帧，与上述参照帧相等的情况下，在上述参照帧区域设定步骤中，将对上述参照矢量对象区域进行解码时使用的参照区域，作为上述参照区域进行设定。 
作为另一个典型例子，在表示对上述参照矢量对象区域进行解码时被解码的参照矢量对象帧指定信息的帧，与上述参照帧相等的情况下，在上述参照帧区域设定步骤中，将对上述参照矢量对象区域进行解码时使用的参照矢量对象区域，作为上述参照区域进行设定。 
作为另一个典型例子，在上述参照矢量对象帧、和对上述参照矢量对象区域进行解码时被解码的参照矢量对象帧指定信息表示的帧的时刻信息及视点信息的关系，与上述解码对象帧、和上述参照帧的时刻信息及视点信息的关系相等的情况下，在上述参照帧区域设定步骤中，将通过以上述解码对象区域作为起始点、与解码上述参照矢量对象区域时使用的参照矢量具有相同朝向和大小的矢量表示的参照帧上的区域，作为上述参照区域进行设定。 
作为另一个典型例子，在上述参照矢量对象帧、和对上述参照矢量对象区域进行解码时被解码的参照帧指定信息表示的帧的时刻信息及视点信息的关系，与上述解码对象帧、和上述参照帧的时刻信息及视点信息的关系相等的情况下，在上述参照帧区域设定步骤中，将通过以上述解码对象区域作为起始点、与对上述参照矢量对象区域和解码上述参照矢量对象区域时使用的参照区域的对应关系进行表示的矢量具有相同朝向和大小的矢量表示的参照帧上的区域，作为上述参照区域进行设定。 
作为优选例， 
该活动图像解码方法还具有：中间帧设定步骤，将与上述参照矢量对象帧和上述参照帧不同的已经解码完成的帧作为中间帧进行设定， 
在上述参照帧区域设定步骤中，使用上述参照矢量对象区域的信息，对作为上述中间帧上的区域的中间区域进行设定，使用该中间区域的信息、或该中间区域的信息和上述参照矢量对象区域的信息，对上述参照区域进行设定。 
在该情况下， 
在上述中间帧设定步骤中，将已经解码完成的帧作为中间帧进行设 定，该已经解码完成的帧和上述参照矢量对象帧的时刻及视点信息的关系，与上述解码对象帧和上述参照帧的时刻及视点信息的关系相同， 
在上述预测图像生成步骤中，根据上述参照区域的图像信息与上述中间区域的图像信息与上述参照矢量对象区域的图像信息，生成预测图像。 
同样地，在上述情况下， 
在上述中间帧设定步骤中，将已经解码完成的帧作为中间帧进行设定，该已经解码完成的帧和上述参照矢量对象帧的时刻及视点信息的关系，与上述解码对象帧和上述参照帧的时刻及视点信息的关系相同， 
该活动图像解码方法还具有：预测图像生成方法指定信息解码步骤，根据编码数据，对信息进行解码，其中，该信息指定根据上述参照区域的图像信息生成预测图像、还是根据上述参照区域的图像信息和上述参照矢量对象区域的图像信息生成预测图像、还是根据上述参照区域的图像信息和上述中间区域的图像信息和上述参照矢量对象区域的图像信息生成预测图像， 
在上述预测图像设定步骤中，使用上述解码后信息指定的生成方法生成预测图像。 
在具有上述预测图像生成方法指定信息解码步骤的情况下， 
在上述参照帧指定信息解码步骤中，使用上述参照矢量对象区域的解码数据，对解码参照帧指定信息时的码字表进行切换， 
在上述预测图像生成方法指定信息解码步骤中，对应于上述参照矢量对象区域的解码数据、上述参照帧、以及上述参照矢量对象帧的至少一个，切换对预测图像生成方法指定信息进行解码时的码字表。 
本发明还提供具备实现上述活动图像编码方法中的各步骤的单元的活动图像编码装置、用于使计算机执行该各步骤的活动图像编码程序、以及记录有该程序的计算机能够读取的记录介质。 
本发明还提供具备实现上述活动图像解码方法中的各步骤的单元的活动图像解码装置、用于使计算机执行该各步骤的活动图像解码程序、以及记录有该程序的计算机能够读取的记录介质。 
发明的效果 
根据本发明，即使在邻接区域生成预测图像时的参照帧不同的情况 下，通过使用相同的参照矢量对象帧，必须以矢量表现的时间和视差等影像变化的要因被统一，根据在邻接区域被编码的矢量，能够生成接近于应该编码的矢量的预测矢量，由此，能够以更少的码量对用于帧间预测编码的矢量信息进行编码。 
附图说明
图1是表示使用参照矢量对象区域编码时的参照帧的参照区域决定方法的一个例子的图。 
图2是表示使用参照矢量对象区域编码时的参照矢量对象帧的参照区域决定方法的一个例子的图。 
图3是表示使用参照矢量对象区域编码时的参照矢量的参照区域决定方法的一个例子的图。 
图4是表示使用参照矢量对象区域编码时的矢量的参照区域决定方法的一个例子的图。 
图5是表示使用参照矢量对象区域编码时的参照矢量的参照区域决定方法的一个例子的图。 
图6是本发明的活动图像编码装置的一个实施方式例。 
图7是本实施方式例的活动图像编码装置执行的活动图像编码处理的流程图的一个例子。 
图8是不使用本实施方式例的中间帧的情况下的参照区域决定处理的流程图的一个例子。 
图9是使用本实施方式例的中间帧的情况下的参照区域决定处理的流程图的一个例子。 
图10是本实施方式例中的对应区域探索处理的流程图的一个例子。 
图11是本发明的活动图像解码装置的一个实施方式例。 
图12是本实施方式例的活动图像解码装置执行的活动图像解码处理的流程图的一个例子。 
图13A是H.264中的运动矢量预测的说明图。 
图13B同样是H.264中的运动矢量预测的说明图。 
图13C同样是H.264中的运动矢量预测的说明图。 
图13D同样是H.264中的运动矢量预测的说明图。 
图14是摄影机间产生的视差的说明图。 
附图标记说明 
100 活动图像编码装置 
101 图像输入部 
102 预测图像作成部 
103 差分图像编码部 
104 差分图像解码部 
105 参照帧存储器 
106 参照帧设定部 
107 参照矢量对象帧设定部 
108 预测图像生成方法设定部 
109 附加信息编码部 
110 参照矢量对象区域探索部 
111 参照区域探索部 
112 对应关系信息蓄积存储器 
113 预测参照矢量生成部 
114 差分参照矢量编码部 
具体实施方式
在本发明中，在设定对编码对象区域的图像信息进行编码时的用于帧间预测编码的矢量信息时，不设定对用于生成预测图像的参照帧上的区域进行表示的矢量，而设定作为为了表示矢量而使用的帧的参照矢量对象帧，求取表示该参照矢量对象帧上的区域的参照矢量并编码，使用通过参照矢量表示的参照矢量对象帧上的参照矢量对象区域的图像信息与参照帧，进行块匹配等的对应点探索，结果，使用得到的参照帧上的参照区域的图像信息生成预测图像。 
由此，即使在邻接区域间参照帧不同的情况下，也能够高效地对用于帧间预测编码的矢量信息进行编码。 
在现有的方法中，对编码对象区域(编码的单位区域)的每一个进行编码的用于帧间预测编码的矢量信息，以表示从对于各编码对象区域设定的参照帧向编码对象帧的影像变化的矢量来表示。 
因此，在现有方法中，在邻接区域中参照帧不同的情况下，矢量表示的影像变化发生的要因(是时间、还是摄影机、是长时间、还是短时 间)不同，存在通过预测矢量表示的影像变化与通过要编码的矢量表示的影像变化不同的情况。 
在该情况下，生成的预测矢量不能高精度地预测希望编码的矢量。不仅如此，有对希望编码的矢量和预测矢量的差分矢量进行编码所需的码量，变得比直接对希望编码的矢量进行编码的情况下所需的码量多的情况。 
相对于此，根据本发明，即使在邻接区域生成预测图像时的参照帧不同的情况下，通过使用相同的参照矢量对象帧，以矢量表现的影像变化的要因被统一，能够生成接近于应该编码的矢量的预测矢量，由此，能够以更少的码量对用于帧间预测编码的矢量信息进行编码。 
这里，也可以分别对指定参照矢量对象帧的参照矢量对象帧指定信息和指定参照帧的参照帧指定信息进行编码，也可以对作为能够指定两者的信息一起进行编码。 
也就是说，在存在两枚编码完成的帧的情况下，对参照矢量对象帧指定信息和参照帧指定信息分别进行编码，指的是对其分别编码0～1的数字，作为能够指定两者的信息进行编码，指的是能够对表示(0，0)、(0，1)、(1，0)、(1，1)的四种中的任意一种的信息进行编码。 
此外，在本发明中，通过对编码对象区域编码一个参照矢量，能够在参照矢量对象帧上和参照帧上分别得到一个、即合计两个对应区域，因此能够如B帧那样使用两个区域的图像信息生成预测图像。 
进而，在得到两个对应区域的情况下，能够选择使用两方的对应区域的图像信息生成预测图像、还是仅使用参照帧上的对应区域(参照区域)的图像信息生成预测图像，并进行编码。 
但是，在该情况下需要对表示使用哪种方法生成预测图像的信息进行编码。 
这里，作为选择预测图像的生成方法的基准，有使用在各个预测图像中尝试对相应的区域进行编码时的率失真成本的方法，使用输入图像和预测图像的差分绝对值和、以输入图像和预测图像的差生成的预测残差图像的像素值的方差值的方法等，使用哪种基准均可。 
在对指定预测图像的生成方法的信息进行编码的情况下，可以直接进行编码，也可以与其他的应该编码的信息一起编码。例如，也可以一起对参照矢量对象帧指定信息和参照帧指定信息等一起进行编码。 
也就是说，作为参照帧指定信息编码0或1，作为指定预测图像的生成方法的信息编码0或1也可，在两者的组中对表示(0，0)、(0，1)、(1，0)、(1，1)的四种内的任何一种的信息进行编码也可。 
作为参照帧，可以选择对参照矢量对象区域进行编码时使用的参照帧、或选择对参照矢量对象区域进行编码时使用的参照矢量对象帧。 
在该情况下，作为参照帧上的参照区域，也可以对应于各个情况，对在编码参照矢量对象区域时作为参照区域使用的区域进行设定、或对在编码参照矢量对象区域时作为使用的参照矢量对象区域使用的区域进行设定。 
在图1和图2中，表示通过这样的方法设定的参照区域的一个例子。 
图1表示作为参照帧选择对参照矢量对象区域进行编码时使用的参照帧，作为参照帧上的参照区域设定对编码参照矢量对象区域时作为参照区域使用的区域的情况下的处理例子。 
此外，图2表示作为参照帧选择对参照矢量对象区域进行编码时使用的参照矢量对象帧，作为参照帧上的参照区域设定对参照矢量对象区域进行编码时作为参照矢量对象区域使用的区域的情况下的处理例子。 
由于在编码参照矢量对象区域时作为参照矢量对象区域或参照区域而被选择的区域，是为了预测参照矢量对象区域的图像信息而使用的区域，所以可以说是对具有与参照矢量对象区域的图像信息类似的图像信息的参照矢量对象区域进行编码时利用的参照矢量对象帧上的区域、或是对参照矢量对象区域进行编码时利用的参照帧上的区域。 
也就是说，即使取得相对于参照矢量对象区域的参照帧上的区域，在该参照帧与在上述各个情况下利用的帧(参照矢量对象帧或参照帧)一致的情况下，在对上述参照矢量对象区域进行编码时选择作为参照矢量对象区域或参照区域的区域被选择。 
这样，根据参照矢量对象区域的编码信息，通过设定参照帧上的参照区域，能够在保持预测图像的品质的状态下，削减在编码/解码中应该实施的对应区域探索的次数。 
作为参照帧，能够 
(i)选择已经编码完成的帧，在该编码完成的帧与编码对象帧之间具有：与对参照矢量对象区域进行编码时使用的参照矢量对象帧、和对编码对象区域设定的参照矢量对象帧的时刻信息及视点信息的关系相 等的关系，或 
(ii)选择已经编码完成的帧，在该编码完成的帧与编码对象帧之间具有：与对参照矢量对象区域进行编码时使用的参照帧、和对编码对象区域设定的参照矢量对象帧的时刻信息及视点信息的关系相等的关系。 
相对于上述各个情况，作为参照区域， 
(i)设定(选择的)参照帧上的区域，该区域通过矢量来表示，该矢量将编码对象区域作为起始点、并与编码参照矢量对象区域时使用的参照矢量具有相同朝向和大小，或 
(ii)设定(选择的)参照帧上的区域，该区域通过矢量来表示，该矢量将编码对象区域作为起始点，并与表示参照矢量对象区域和编码参照矢量对象区域时使用的参照区域的对应关系的矢量具有相同朝向和大小， 
在图3～5中，表示通过这样的方法设定的参照区域的一个例子。 
如图3或图4所示，在赋予的数个对应区域关系在摄影机(视点)或时刻的任何一方相同的情况下，此外，在图5所示那样任一方均不同的情况下，均能够使用该方法对编码对象区域设定唯一的参照区域。 
在该方法中，在如图3和图4所示那样在对应区域中摄影机或时刻的任何一方是相同的情况下，假定不依靠时刻，从产生视差的各摄影机到被摄体为止的距离没有大的差异，指定适合于编码对象区域的参照区域。 
此外，在图5的情况下，假定在此之外在各时刻间被摄体的运动是连续的，指定适合于编码对象区域的参照区域。 
由于可以说对某个注目对象进行摄影所得的多视点影像、或摄影了风景等的多视点影像等的通常看到的影像处于这样的状态，所以第一个假定在几乎所有情况下成立。 
虽然第二个假定一般不成立，但是在帧间的时间短的情况下，由于能够假定物体一般进行匀速直线运动，所以能够认为在许多情况下成立。 
可是，由于后者的假设在帧间的时间变长时变得不成立的可能性高，所以该方法仅在图3或图4所示那样在对应区域中在摄影机或时刻的任何一方相同的情况下应用也可，仅在对应关系的帧间的时间变长的情况下中断也可。 
在上述那样的活动图像解码方法中，通过使用对参照矢量对象区域进行编码时的信息设定参照区域，从而削减对应区域探索的次数。 
可是，在率失真最优化的影响或假定的状态不成立的情况下，存在以这些方法设定的参照区域变得不再适合生成编码对象区域的预测图像的情况。 
因此，考虑到即使与最适合的区域发生偏差，也不会变得太大的特性，将以这些方法设定的参照区域作为暂时的参照区域，通过仅将其周边作为探索对象进行对应区域探索，由此提高对生成预测图像提供最适合条件的可能性。 
在该方法中，与单纯地探索对应区域相比，以较少的运算成本，能够找到大致同等品质的对应点。 
此外，不使用参照矢量对象区域的图像信息或编码信息，直接设定参照帧上的参照区域，也可以将与参照矢量对象帧和参照帧不同的已经编码完成的帧作为中间帧进行设定，首先使用参照矢量对象区域的图像信息或编码信息设定作为中间帧上的对应区域的中间区域，之后，使用中间区域的图像信息或编码信息，设定参照帧上的对应区域，将该区域作为参照区域。 
一般，为了找到帧间的影像的视差变化导致的对应区域，与找到时间变化导致的对应区域的情况相比，在狭窄范围的探索范围较好。这是因为影像的视差变化根据摄影机配置，只在一定的方向上产生，其变化量也在某种程度上被限制的范围内。 
特别是在摄影了图像的摄影机参数为已知的情况下，由于对极几何约束成立，所以一方的摄影机摄影的图像上的某个区域，存在于以另一方的摄影机摄影的图像上存在的直线上，所以包含摄影机参数的误差，仅探索该直线的周围的区域就足够了。 
可是，在包含帧间视差变化和时间变化的双方的情况下，不仅不能使用该性质，而且发生与仅找到时间变化的情况相比探索更多的范围的需要。 
因此，根据设定中间帧的该方法，通过设定中间区域，在第一阶段和第二阶段的探索中，能够使得分别探索时间和摄影机间的任何一方的要因导致的影像变化的对应区域即可。通过这样，比起直接求取参照区域，能够以较少的运算次数求取对应区域。 
此外，作为中间帧，设定为编码参照矢量对象区域时使用的参照矢量对象帧，或设定为编码参照矢量对象区域时使用的参照帧，在各个情况下，也可以将编码参照矢量对象区域时使用的参照矢量对象区域设定为中间区域，或将编码参照矢量对象区域时使用的参照区域设定为中间区域。 
这时，在中间帧与参照矢量对象帧相比接近参照帧的情况下，根据中间区域求取参照区域的探索，变得比根据参照矢量对象区域求取参照区域的探索容易，能够削减运算量。 
再有，在根据中间区域设定参照区域时，不仅是使用中间区域的图像信息和编码信息，也可以一起使用参照矢量对象区域的图像信息和编码信息。 
在作为中间帧设定为已经编码完成的帧的情况下，其中，该已经编码完成的帧和参照矢量对象帧的时刻和视点信息的关系、与编码对象帧和参照帧的时刻和视点信息的关系相同，使用对于编码对象区域赋予的三个对应区域的图像信息，即，参照矢量对象区域的图像信息、中间区域的图像信息、参照区域的图像信息，生成预测图像。 
作为根据三个对应区域的图像信息生成预测图像的方法，有对像素的每一个求取平均值的方法、或求取中间值的方法。 
此外，由于参照帧和编码对象帧的关系、与中间帧和参照矢量对象帧的关系相等，所以假设中间区域和参照矢量对象区域之间的变化，在参照区域和编码对象区域之间发生，按照下式生成预测图像。 
[数式1] 
pix ∀ , Pred [ pix ] = Ref [ pix ] + RVec [ pix ] - Mid [ pix ]
在这里，pix表示在区域内的像素位置，Pred表示预测图像，Ref表示参照区域的图像信息，RVec表示参照矢量对象区域的图像信息，Mid表示中间区域的图像信息。 
在这些方法中，不用增加需要编码的用于生成预测图像的信息，通过使用更多的对应区域的信息，能够生成接近于编码对象区域的图像信息的预测图像。 
再有，以哪一种方法生成预测图像均可，但在编码侧和解码侧，必须使生成预测图像的方法一致。 
此外，也可以一边选择根据参照区域的图像信息生成预测图像，还 是根据参照区域的图像信息和参照矢量对象区域的图像信息生成预测图像，还是根据参照区域的图像信息和参照矢量对象区域的图像信息和中间区域的图像信息生成预测图像，一边进行编码。 
其中，在该情况下，需要对表示在预测图像生成中使用哪个区域的图像信息的信息进行编码。 
也可以对以上述举出的区域之外的区域的组合制作预测图像的方法分配信息进行使用，也可以对使用上述举出的三个区域的情况下的预测图像的生成方法的每一个分配信息，选择预测图像的生成方法。 
进而，在对表示这些预测图像生成方法的信息进行编码时，也可以仅对该信息独立地进行编码，也可以与其他的应该编码的信息一起编码。例如，也可以与参照帧指定信息等一起编码。 
也就是说，作为参照帧指定信息对0或1进行编码，作为指定预测图像的生成方法的信息对0或1或2进行编码也可，在两者的组中对表示(0，0)、(0，1)、(0，2)、(1，0)、(1，1)、(1，2)的六种内的任何一种的信息进行编码也可。 
在参照矢量对象区域不进行帧间的影像预测而被编码的情况下，表示没有找到适合于预测该参照矢量对象区域的图像信息的已经编码完成的帧和该帧上的区域。 
因此，在与这样的参照矢量对象区域对应的编码对象区域中，作为用于生成预测图像的区域，可以认为选择参照矢量对象帧以外的帧上的区域的情况较少。 
因此，在对参照帧指定信息进行编码时，通过使对于指定与参照矢量对象帧相同的帧的信息的码字缩短，能够以更少的码量对参照帧指定信息进行编码。 
此外，通过使对于指定与参照帧或参照矢量对象帧对应的帧的信息的码字缩短，能够以更少的码量对参照帧指定信息进行编码。其中，该参照帧或参照矢量对象帧在对有对应关系的参照矢量对象区域进行编码时使用。 
也就是说，通过使用参照矢量对象区域中的编码信息，对编码参照帧指定信息时的码字表进行切换，能够以更少的码量对参照帧指定信息进行编码。 
此外，同样地，也可以在对预测图像生成方法指定信息进行编码时， 使用参照矢量对象区域中的编码信息，切换码字表。 
下面，按照实施方式对本发明进行详细地说明。 
图6表示本发明的活动图像编码装置100的一个实施方式例。 
该活动图像编码装置100具备：图像输入部101，对成为编码对象的图像进行输入；预测图像作成部102，对分割了编码对象图像后的区域的每一个，根据已经编码完成的图像作成预测图像；差分图像编码部103，对输入图像和预测图像的差分图像进行编码；差分图像解码部104，对差分图像的编码数据进行解码；参照帧存储器105，对通过被解码的差分图像和预测图像的和生成的编码对象区域的解码图像进行蓄积；参照帧设定部106，从参照帧存储器105中，设定用于生成预测图像的参照帧；参照矢量对象帧设定部107，从参照帧存储器105中，设定作为进行编码的矢量信息的参照对象的帧的参照矢量对象帧；预测图像生成方法设定部108，对于得到的对应区域设定生成预测图像的方法；附加信息编码部109，对附加信息进行编码，该附加信息包括参照帧指定信息和参照矢量对象帧指定信息和预测图像设定方法指定信息；参照矢量对象区域探索部110，使用输入图像和参照矢量对象帧求取参照矢量；参照区域探索部111，使用参照矢量对象区域的图像信息和参照帧探索参照区域；对应关系信息蓄积存储器112，将编码中使用的参照矢量和参照区域和参照矢量对象帧和参照帧的组，与编码对象帧和编码对象区域相关联并蓄积；预测参照矢量生成部113，根据对编码对象区域的邻接区域进行编码时使用的参照矢量，生成相对于编码对象区域的参照矢量的预测参照矢量；以及差分参照矢量编码部114，对参照矢量和预测参照矢量的差分的差分参照矢量进行编码。 
图7表示以该方式构成的活动图像编码装置100执行的活动图像编码处理的流程图. 
再有，在以下的各流程图中，被赋予索引的块或帧指的是该索引表示的块或帧。 
按照该流程图，对以该方式构成的活动图像编码装置100执行的活动图像编码处理进行详细的说明。其中，假设已经对多个帧的图像编码完成，该结果被蓄积在参照帧存储器105、对应关系信息蓄积存储器112。 
首先，通过图像输入部101对成为编码对象的图像进行输入[S101]。输入的编码对象图像的图像整体被区域分割，对区域的每一个进行编码 [S102～S131]。 
在该流程图中，将块(区域)的索引表示为blk，将对于一个图像的总块数表示为MaxBlk。 
也就是说，在将索引blk初始化为1之后[S102]，在blk变为MaxBlk之前[S130]，一边对blk加算1[S131]，一边反复执行以下的处理[S103～S129]。 
在对块的每一个进行的处理中，求取为了对该块进行编码而使用的参照矢量对象帧best_ref_vec、参照帧best_ref、参照矢量best_mv_ref、表示参照帧上的参照区域的矢量best_mv、预测图像生成方法best_pmode、以及预测参照矢量best_pmv[S113～S126]，使用这些信息生成相对于编码对象区域的图像信息的预测图像[S127]，在附加信息编码部109对包括best_ref_vec和best_ref和best_pmode的附加信息进行编码，在差分参照矢量编码部114对“best_mv_ref-best_pmv”进行编码，在差分图像编码部103对输入图像和预测图像的差分图像进行编码，将这些编码数据输出[S128]。 
然后，为了以后的编码处理，对编码数据进行解码并将解码图像存储在参照帧存储器105，关于为了预测图像生成而使用的对应区域(best_mv_ref所指的参照矢量对象区域、和best_mv所指的参照区域这两个区域)相关的信息，与编码对象帧的号码和块blk的图像上的位置对应起来并存储在对应关系信息蓄积存储器112[S129]。 
也就是说，在对应关系信息蓄积存储器112中，当将表示编码对象帧的索引值作为cur，将图像上的块blk的位置作为pos时， 
存储{cur，pos，best_ref，best_ref_vec，best_mv_ref，best_mv}的组。 
再有，关于S127的预测图像生成处理和S128的附加信息编码处理，在后面详细说明。 
用于生成在编码时使用的预测图像的信息，是对于能够作为参照矢量对象帧利用的全部的参照帧存储器105上的编码完成的帧，反复执行以下的处理[S104～S124]而求取的。 
也就是说，在将参照矢量对象帧索引ref_vec初始化为1，将相对于块blk的最小率失真成本bestCost初始化为绝对不可能取得的最大值MaxCost，将块blk的图像上的位置设定为pos之后[S103]，在ref_vec 变为参照帧存储器105中蓄积的能够参照的帧的数量NumOfRef之前[S125]，一边对ref_vec加算1[S126]，一边根据与块blk邻接的已经编码完成的块中的参照矢量生成预测参照矢量pmv[S104]，在将参照矢量对象帧作为ref_vec表示的帧时，反复进行求取率失真成本变为最小的、参照矢量和参照帧和参照区域和预测图像生成方法的组合的处理[S105～S124]。 
在该处理中，对于能够作为参照帧利用的全部的参照帧存储器105上的编码完成帧，反复执行以下的处理[S106～S112]。 
也就是说，在将参照帧索引ref初始化为1之后[S105]，在ref变为NumOfRef之前[S123]，一边对ref加算1[S124]，一边判定ref_vec和ref是否一致[S106]，在判定为一致的情况下，即变为参照矢量对象帧实质上不存在的状态的情况(变为与原来是相同的状态的情况)下，在将参照帧和参照矢量对象帧作为ref表示的帧时，反复执行求取率失真成本变为最小的参照矢量的处理[S107～S114]。 
在该处理中，在将参照矢量候补索引mv_ref_idx初始化为1之后[S107]，在mv_ref_idx变为与预先设定的参照矢量候补数量NumOfListMvRef相等之前[S113]，一边对mv_ref_idx加算1[S114]，一边将与mv_ref_idx对应的参照矢量设定为mv_ref[S108]，将帧ref上的位置pos+mv_ref的区域的图像信息作为预测图像Pred[][S109]，计算率失真成本cost[S110]，判定cost是否比bestCost小[S111]。 
在判断为cost较小的情况下，反复进行如下处理[S108～S112]，即将bestCost改写为cost，将best_ref改写为ref，将best_ref_vec改写为ref，将best_ref_mid改写为ref，将best_mv改写为0(零矢量)，将best_mv_ref改写为mv_ref，将best_pmode改写为1，将best_pmv改写为pmv[S112]。 
这里，关于在S110的处理中计算的率失真成本，实际上，可以对差分图像和差分参照矢量“mv_ref-pmv”和附加信息进行编码并计算码量，对其进行解码并计算品质劣化，基于下述的数式2计算，也可以基于下述的数式3使用简易的率失真成本进行计算。 
但是，在对一个块blk进行编码时的处理中，使用的数式必须统一。 
[数式2] 
cos t = D dec + λ 1 × { bit ( mv _ ref - pmv , ref , ref , 1 ) + BITS }
Figure G2007800479423D00222
这里，λ1是拉格朗日未定乘子，利用预先设定的值。pix表示像素位置，Org[]表示输入图像的编码对象区域的图像信息，Dec[]表示解码图像的图像信息。bit(vector，ref1，ref2，mode)表示如下函数，其在编码vector作为差分参照矢量，编码ref1作为参照矢量对象帧指定信息，编码ref2作为参照帧指定信息，编码mode作为预测图像生成方法指定信息时，返回需要的码量。BITS表示对差分图像Res[](＝Org[]-Pred[])进行编码时所需要的码量。 
[数式3] 
cos t = D pred + λ 2 × pbit ( mv _ ref - pmv , ref , ref , 1 )
Figure G2007800479423D00224
这里，λ2是拉格朗日未定乘子，利用预先设定的值。pbit(vector，ref1，ref2，mode)表示如下函数，其在编码vector作为差分参照矢量，编码ref1作为参照矢量对象帧指定信息，编码ref2作为参照帧指定信息，编码mode作为预测图像生成方法指定信息时，返回需要的码量。 
另一方面，在S106的判定处理中，在判定为ref_vec与ref不一致的情况下(判定为参照矢量对象帧与参照帧不一致的情况)，在将参照帧作为ref表示的帧，将参照矢量对象帧作为ref_vec表示的帧时，求取赋予最小率失真成本mcost的参照矢量b_mv_ref、和表示参照区域的矢量b_mv、和预测图像生成方法索引b_pmode[S117]。 
关于该S117中的处理在后面进行详细的说明。 
然后，判定mcost是否比bestCost小[S118]，在mcost较小的情况下，将bestCost改写为mcost，将best_ref改写为ref，将best_ref_vec改写为ref_vec，将best_mv改写为b_mv，将best_mv_ref改写为b_mv_ref，将best_pmode改写为b_pmode，将best_pmv改写为pmv[S119]。 
另一方面，在mcost较大的情况下，省略该S119的处理。 
接着，找到已经编码完成的帧(中间帧)，将表示其的索引作为ref_mid[S115]，其中，该已经编码完成的帧和ref_vec表示的帧的时刻关系和视点关系，与编码对象帧和ref表示的帧的时间关系和视点关系 一致。 
再有，在满足上述条件的编码完成帧不存在于参照帧存储器105内时，将ref_mid设定为ref。 
然后，判定ref_mid与ref或ref_vec是否一致[S116]。 
在该S116的判定处理中，在判定为ref_mid与ref或ref_vec均不同的情况下，在将参照帧作为ref表示的帧，将参照矢量对象帧作为ref_vec表示的帧，将中间帧作为ref_mid表示的帧时，求取赋予最小的率失真成本mcost的、参照矢量b_mv_ref、表示中间区域的矢量b_mv_mid、表示参照区域的矢量b_mv、和预测图像生成方法索引b_pmode[S120]。 
关于该S120中的处理在后面进行详细的说明。 
然后，判定mcost是否比bestCost小[S121]，在mcost较小的情况下，将bestCost改写为mcost，将best_ref改写为ref，将best_ref_vec改写为ref_vec，将best_ref_mid改写为ref_mid，将best_mv改写为b_mv，将best_mv_ref改写为b_mv_ref，将best_mv_mid改写为b_mv_mid，将best_pmode改写为b_pmode，将besr_pmv改写为pmv[S122]。 
另一方面，在S121的判定处理中，在mcost较大的情况下，省略该S122的处理。 
此外，在S116的判定处理中，在ref_mid与ref一致，或ref_mid与ref_vec一致的情况下，也省略包含该S22的S120～S122的处理。 
这里，在进行S117的处理后进行S120的处理，是因为在制作中间帧时率失真成本有变低的情况。 
接着，按照图8所示的流程图，对在S117进行的处理进行详细的说明。 
在该处理中，进行如下处理，一边使参照矢量变化，一边相对于这时设定的参照矢量，求取参照区域，求取赋予在这时最适合的率失真成本的预测图像的生成方法。 
也就是说，在将参照矢量候补索引mv_ref_idx初始化为1，将最小率失真成本mcost初始化为绝对不可能取得的最大值maxCost之后[S201]，在mv_ref_idx变为被分配的参照矢量候补数量NumOfListMvRef之前[S212]，一边对mv_rev_idx加算1[S213]，一边反复执行以下的处理[S202～S211]。 
在该反复执行的处理[S202～S211]中，首先，求取与mv_ref_idx对 应起来的参照矢量，将其作为mv_ref[S202]。 
这里，求取输入图像上的块blk的图像信息、与帧ref_vec上的位置pos+mv_ref的区域的图像信息的差异度，判定其是否比预先设定的阈值TH小[S203]。 
两个图像信息的差异度，利用在两个区域内对应的像素的像素值计算的差分绝对值或差分平方和或差分方差值等的、任何计算法均可。但是，需要使用与该计算方法对应起来的阈值TH。 
在差异度为阈值以上的情况下，由于以mv_ref表示的参照矢量对象区域的图像信息与差分对象区域的图像信息差异较大，表示该区域与编码对象区域不对应，所以相对于这时的mv_ref_idx的处理结束。 
另一方面，在S203的判定处理中，在判定为差异度比阈值小的情况下，首先，求取与帧ref_vec上的位置pos+mv_ref的区域对应的帧ref上的区域，求取将该位置作为pos+mv_ref+mv时的mv[S204]。关于该S204中的处理在后面进行详细的说明。 
然后，使用到此为止得到的帧ref_vec上的位置pos+mv_ref的区域的图像信息[]、和帧ref上的位置pos+mv_ref+mv的区域的图像信息Ref[]，调查是否能够生成可以得到最小的率失真成本的预测图像[S205～S211]。 
也就是说，在将预测图像生成方法索引pmode初始化为1之后[S205]，在pmode变为2之前[S210]，一边对pmode加算1[S211]，一边反复执行如下处理[S206～S209]，即以与pmode对应起来的预测图像的生成方法生成预测图像[S206]，计算这时的率失真成本cost[S207]，判定cost是否比mcost小[S208]，在判定为cost较小的情况下，将mcost改写为cost，将b_mv_ref改写为mv_ref，将b_mv改写为mv，将b_pmode改写为pmode[S209]。 
这时，在S207进行的率失真成本的计算使用与在上述的S110的方法相同的方法进行。 
在这里，作为能够在得到两个图像信息(参照矢量对象帧上的图像信息、和参照帧上的图像信息这两个图像信息)时利用的预测图像的生成方法，由于仅考虑了只使用参照帧上的图像信息生成预测图像的方法，和对对应的像素的每一个求取两个图像信息的平均值而生成预测图像的方法这两个方法，所以将pmode的最大值设定为2。 
也可以增加该最大值，使用除此之外的求取两个图像信息的加权和的方法等。 
即，在这里，为了说明，将pmode＝1或2的预测图像生成方法以下面的数式4的方式进行定义，但也能够使用除此之外的预测图像生成方法进行追加。 
[数式4] 
p mode = 1 ⇒ pix ∀ , Pred [ pix ] = Ref [ pix ]
p mode = 2 ⇒ ∀ pix , Pred [ pix ] = ( Ref [ pix ] + RVec [ pix ] + 1 ) / 2
再有，在预测图像生成方法中没有包括只使用参照矢量对象帧上的图像信息生成预测图像的方法，是因为在参照矢量对象帧和参照帧相等的情况下的预测图像生成方法与其对应的原因。 
接着，按照图9所示的流程图，对在S120进行的处理进行详细的说明。 
在该处理中，进行如下处理，一边使参照矢量变化，一边相对于这时设定的参照矢量，进行求取中间区域和参照区域，求取赋予在这时最适合的率失真成本的预测图像的生成方法。 
也就是说，在将参照矢量候补索引mv_ref_idx初始化为1，将最小率失真成本mcost初始化为绝对不可能取得的最大值maxCost之后[S301]，在mv_ref_idx变为被分配的参照矢量候补数量NumOfListMvRef之前[S313]，一边对mv_ref_idx加算1[S314]，一边反复执行以下的处理[S302～S312]。 
在该反复执行的处理[S302～S312]中，首先，求取与mv_ref_idx对应起来的参照矢量，将其作为mv_ref[S302]。 
这里，求取输入图像上的块blk的图像信息、与帧ref_vec上的位置pos+mv_ref的区域的图像信息的差异度，判定其是否比预先设定的阈值TH小[S303]。 
在这里的处理与在上述S203进行的处理相同，差异度也与S203时同样地求取。 
在差异度为阈值以上的情况下，由于以mv_ref表示的参照矢量对象区域的图像信息与编码对象区域的图像信息差异较大，表示该区域与编码对象区域不对应，所以相对于这时的mv_ref_idx的处理结束。 
另一方面，在S303的判定处理中，在判定为差异度比阈值小的情 况下，首先，求取与帧ref_vec上的位置pos+mv_ref的区域对应的帧ref_mid(中间帧)上的区域，求取将该位置作为pos+mv_ref+mv_mid时的mv_mid[S304]。 
接着，求取与帧ref_mid上的位置pos+mv_ref+mv_mid的区域对应的帧ref上的区域，求取将该位置作为pos+mv_ref+mv时的mv[S305]。关于该S304和S305中的处理在后面进行详细的说明。 
再有，在S305的处理中求取帧ref上的区域时，作为对应基础区域，代替帧ref_mid上的位置pos+mv_ref+mv_mid的区域，也可以使用帧ref_vec上的位置pos+mv_ref的区域。 
在该方法中，由于作为模板(template)使用的图像信息不变化，所以能够防止如下情况，即在求取对应区域时误差累积，具有与编码对象区域的图像信息不相近的图像信息的区域被作为对应区域被求取的情况。 
然后，使用到此为止得到的帧ref_vec上的位置pos+mv_ref的区域的图像信息RVec[]、帧ref_mid上的位置pos+mv_ref+mv_mid的区域的图像信息Mid[]、和帧ref上的位置pos+mv_ref+mv的区域的图像信息ref[]，调查是否能够生成可以得到最小的率失真成本的预测图像[S306～S312]。 
也就是说，在将预测图像生成方法索引pmode初始化为1之后[S306]，在pmode变为预测图像生成方法的数量MaxPmode之前[S311]，一边对pmode加算1[S211]，一边反复执行如下处理[S307～S310]，即以与pmode对应起来的预测图像的生成方法生成预测图像[S307]，计算这时的率失真成本cost[S308]，判定cost是否比mcost小[S309]，在判定为cost较小的情况下，将mcost改写为cost，将b_mv_ref改写为mv_ref，将b_mv_mid改写为mv_mid，将b_mv改写为mv，将b_pmode改写为pmode[S310]。 
这时，在S308进行的率失真成本的计算使用与在上述的S110的方法相同的方法进行。 
这里，作为得到三个图像信息(参照矢量对象帧上的图像信息、参照帧上的图像信息、中间帧上的图像信息等三个图像信息)时能够利用的预测图像的生成方法，在上述的以[数式4]所示的方法之外，还可以举出如下方法，对对应的像素的每一个求取三个图像信息的平均值而制 作预测图像的方法、对对应的像素的每一个求取三个图像信息的中间值而制作预测图像的方法、假定中间区域和参照矢量对象区域之间的变化在参照区域和编码对象区域之间发生而生成预测图像的方法。 
这些预测图像生成方法，当以数式表示时成为下述的[数式5]。在这里，为了说明，使其分别对应于pmode＝3、4、5。再有，也可以将pmode分配给除此以外的方法，也可以变更pmode的分配顺序。 
[数式5] 
p mode = 3 ⇒ ∀ pix , Pred [ pix ] = ( Ref [ pix ] + RVec [ pix ] + Mid [ pix ] + 1 ) / 3
p mode = 4 ⇒ pix ∀ , Pred [ pix ] = Median ( Ref [ pix ] , RVec [ pix ] , Mid [ pix ] )
p mode = 5 ⇒ pix ∀ , Pred [ pix ] = Ref [ pix ] + RVec [ pix ] - Mid [ pix ]
再有，在pmode＝5的预测中，以流程图所述那样执行S305的处理时，由于容易实现假定的信息，所以预测精度高。 
另一方面，pmode＝4的预测不是像S305的处理那样，在求取帧ref上的区域时，如上述那样，作为对应基础区域，代替帧ref_mid上的位置pos+mv_ref+mv_mid的区域，使用帧ref_vec上的位置pos+mv_ref的区域时，误差的累积变少而预测精度变好。 
因此，对应于pmode，在流程图S305中，能够采用如下方法，即切换使用帧ref_mid上的位置pos+mv_ref+mv_mid的区域，还是使用帧ref_vec上的位置pos+mv_ref的区域。 
接着，按照图10所示的流程图，对在上述S204、S304、S305进行的处理进行详细的说明。 
在该流程图中，表示使S204、S304、S305的处理一般化，求取与帧A上的位置X的区域对应的帧B上的区域Y的处理。 
其中，在S204、S304、S305中求取的mv或mv_mid，分别使用Y的位置计算需要的值。再有，在以下，将帧A上的位置X的区域仅表示为区域AX。 
首先，从对应关系信息蓄积存储器112取得对区域AX进行编码时利用的参照矢量对象帧的索引，作为ref_vec_t[S401]。 
这时，在区域AX与编码处理的单位块不一致的情况等下，在编码区域AX时利用的参照矢量对象帧不确定为一个。 
在该情况下，将多个参照矢量对象帧中的、对在区域AX中最大的区域使用的参照矢量对象帧的索引作为ref_vec_t。 
此外，在连一个参照矢量对象帧都不具有的情况下，将ref_vec_t设定为绝对不可能取得的值。 
接着，判定以该方式求取的ref_vec_t与B是否相等[S402]。在判定为相等的情况下，求取在编码区域AX时利用的参照矢量mv_vec_t[S403]。 
这时，在区域AX与编码处理的单位块不一致的情况等下，在编码区域AX时利用的参照矢量不确定为一个 
在该情况下，将在区域AX内，参照矢量对象帧是ref_vec_t的区域具有的参照矢量中的、在最大的区域中使用的参照矢量作为mv_vec_t。 
再有，不是单纯地在最大的区域中使用的参照矢量，也可以使用对区域的大小的每一个赋予权重的平均值或中间帧，或使用不根据区域的大小赋予权重而求取的平均值或中间值等。 
如果求取了mv_vec_t，在帧B上的位置X+mv_vec_t的周边，求取具有与区域AX的图像信息接近的图像信息的区域Y[S404]。 
再有，为了削减用于探索的运算量，也可以将位置X+mv_vec_t作为Y。其原因在于，由于以X+mv_vec_t表示的区域是对区域AX进行编码时参照的区域，所以是具有在某种程度上与区域AX的图像信息接近的图像信息的区域，不会使对应关系的适合度大幅下降。 
另一方面，在S402的判定处理中判定为ref_vec_t和B不相等的情况下，从对应关系信息蓄积存储器112取得对区域AX进行编码时利用的参照帧的索引，作为ref_t[S405]。 
这时，与S401的处理时同样地，有能够得到多个参照帧的情况，在这时使用与在S401的处理中说明的方法同样的方法，决定一个ref_t。 
然后，判定ref_t与B是否相等[S406]。 
在判定为相等的情况下，从对应关系信息蓄积存储器112取得从在编码区域AX时利用的位置X到参照区域为止的矢量mv_t[S407]。 
在对于区域AX能够得到多个mv_t的情况下，按照在S403的处理中说明的方法得到一个mv_t。 
如果求取了mv_t，在帧B上的位置X+mv_t的周边，求取具有与区域AX的图像信息接近的图像信息的区域Y[S408]。 
这时，如在S404的处理中说明的那样，为了削减用于探索的运算量，也可以将位置X+mv_t作为Y。 
另一方面，在S406的判定处理中判定为ref_t与B不相等的情况下，通过进行通常的块匹配等的探索，求取具有与区域AX的图像信息接近的图像信息的帧B上的区域Y[S409]。 
接着，对在S127中进行的预测图像生成处理的详细进行说明。 
预测图像按照通过在到达S127的处理之前进行的处理而求取的pos、best_ref、best_ref_vec、best_ref_mid、best_mv、best_mv_ref、bes_mv_mid、best_pmode，以以下的过程1生成。 
过程1 
1.从参照帧存储器105取得帧best_ref_vec上的位置pos+best_mv_ref的区域的图像信息RVec[] 
2.如果best_ref与best_ref_vec相等的话进入6 
3.从参照帧存储器105取得帧best_ref上的位置pos+best_mv_ref+best_mv的区域的图像信息Ref[] 
4.如果best_ref_mid与best_ref相等的话进入6 
5.从参照帧存储器105取得帧best_ref_mid上的位置pos+best_mvref+best_mv_mid的区域的图像信息Mid[] 
6.按照pmode的值，使用上述的[数式4]和[数式5]生成预测图像Pred[] 
再有，也可以使在这里举出的预测图像的生成方法之外的方法与pmode对应起来并利用。 
接着，对在S128中进行的附加信息编码处理的详细进行说明。 
在这里说的附加信息，指的是best_ref、best_ref_vec、best_pmode。再有，假设在对这些信息进行编码之前，差分参照矢量被编码。 
首先，对参照矢量对象帧best_ref_vec进行编码。 
由于考虑best_ref_vec被选择为在块blk的邻接区域中作为best_ref_vec被编码的帧，或与编码对象帧邻接的帧对应的帧的可能性较高，所以在对与这些帧对应的帧索引进行编码的情况下，对码字表进行切换，以便能够以比与除此之外的帧对应的帧索引进行编码的情况少的码量进行编码。 
通过这样，与对于任何帧都需要相同的码量的情况相比，能够以较少的码量进行编码。 
接着，对参照帧best_ref进行编码。 
使用先编码了的best_ref_vec、和能够根据另外编码的差分参照矢量生成的参照矢量，切换码字表。 
也就是说，使用通过参照矢量对象帧best_ref_vec上的参照矢量表示的参照矢量对象区域的编码信息，以对认为发生概率高的帧索引分配短的码字的方式切换码字表。 
例如，在参照矢量对象帧best_ref_vec虽然不是I帧，但是在参照矢量对象区域中使用帧内编码最多的情况下，表示不存在与该参照矢量对象区域的图像信息相似的其它的帧的区域，因此，由于best_ref和best_ref_vec变为相同的可能性高，所以与best_ref_vec相同地对帧索引分配短的码字。 
此外，同样地，由于对参照矢量对象区域进行编码时作为参照帧或参照矢量对象帧而使用的帧，在使用的区域越大的情况下越可能被选择为best_ref，所以按照该概率的顺序分配码字。 
通过这样，与对全部的索引分配相同长度的码字的情况相比，能够以较少的码量进行编码。 
最后，对best_mode进行编码。首先，使用已经编码的best_ref_vec和best_ref和参照帧存储器105内的帧信息，切换码字表。 
例如，在best_ref_vec和best_ref相等的情况下，对于块blk只能得到一个对应区域，因此即使pmode是1之外也没有意义，所以通过设定省略pmode的编码本身的码字表，能够削减码量。 
此外，相反地，在best_ref_vec与best_ref不同的情况下，可以认为作为pmode选择1的可能性极低，因此以使1以外的pmode值的码字变短的方式切换码字表，由此与对全部的预测图像生成方法分配相同长度的码字的情况相比，能够以较少的码量进行编码。 
此外，在参照帧上仅有两个帧的情况下，或在考虑best_ref_vec和best_ref的组合时，在参照帧存储器105上没有适合的中间帧的情况下，由于不能采用需要三个对应区域的预测图像生成方法，所以通过切换为另外的预测图像生成方法的码字变短的码字表，与对全部的预测图像生成方法分配相同长度的码字的情况相比，能够以较少的码量进行编码。 
再有，如上述那样，附加信息的项也可以个别地进行编码，也可以对组合分配号码而进编码。 
也就是说，在参照帧存储器中有两枚图像(假设索引为1和2)， 预测图像生成方法是到此为止举出的5种的情况下，{best_ref，best_ref_vec，best_pmode}的组存在以下20种，{1，1，1}、{1，1，2}、{1，1，3}、{1，1，4}、{1，1，5}、{1，2，1}、{1，2，2}、{1，2，3}、{1，2，4}、{1，2，5}、{2，1，1}、{2，1，2}、{2，1，3}、{2，1，4}、{2，1，5}、{2，2，1}、{2，2，2}、{2，2，3}、{2，2，4}、{2，2，5}。 
也可以对该20种组合分配1～20的号码，对该号码进行编码。 
可是，在这些组合中，存在数个没有意义的组合。 
例如，当best_ref和best_ref_vec相同时，由于相对于编码对象区域只能得到一个对应区域，所以pmode＝2～5没有可能。 
也就是说，有效的组合只有{1，1，1}、{1，2，1}、{1，2，2}、{1，2，3}、{1，2，4}、{1，2，5}、{2，1，1}、{2，1，2}、{2，1，3}、{2，1，4}、{2，1，5}、{2，2，1}这12种，只要对1～12的号码中的一个进行编码即可。 
此外，在参照帧存储器中只有两枚图像的情况下，由于没有能够作为中间帧选择的帧，所以需要三个对应区域的pmode也没有意义。因此，有效的组合进一步减少，只有{1，1，1}、{1，2，1}、{1，2，2}、{2，1，1}、{2，1，2}、{2，2，1}这6种是有效的，只要对1～6的号码中的一个进行编码即可。 
即使在参照帧存储器中有三枚以上的图像的情况下，在本实施例中，根据best_ref和best_ref_vec的组合，也可能有不存在适合的中间帧，不能生成需要三个对应区域的预测图像的情况。即使在这样的情况下，也能够采用对于无效的组合不分配符号的方法。 
进而，也可以不组合所有三个信息并进行编码，也可以仅组合特定的两个而进行编码。 
例如，也可以个别地对best_ref_vec进行编码，best_ref和pmode组合起来以一个码字进行编码。这时，根据使用best_ref_vec和另外被编码的参照矢量而得到的参照矢量对象区域中的编码数据，切换{best_ref，pmode}的码字表进行编码的方法，也能够通过上述的关联例子而容易地类推。 
图11表示本发明的活动图像解码装置200的一个实施方式例。 
该活动图像解码装置200，具备：差分图像解码部201，对差分图 像的编码数据进行解码，该差分图像是成为解码对象的图像相对于预测图像的差分；差分参照矢量解码部202，对差分参照矢量的编码数据进行解码，该差分参照矢量是生成预测图像时需要的参照矢量相对于预测参照矢量的差分；附加信息解码部203，对附加信息的编码数据进行解码，该附加信息包括生成预测图像时需要的参照矢量对象帧指定信息、参照帧指定信息、和预测图像生成方法指定信息；预测图像作成部204，按照赋予的信息作成解码对象区域的预测图像；参照帧存储器205，对以预测图像和被解码的差分图像的和求取的解码图像进行蓄积；预测参照矢量生成部206，根据在解码对象区域的邻接区域中使用的矢量信息，生成在解码对象区域中使用的成为参照矢量的预测矢量的预测参照矢量；对应关系信息蓄积存储器207，将在解码中使用的参照矢量和参照区域和参照矢量对象帧和参照帧的组，与解码对象帧和解码对象区域关联起来并蓄积；参照矢量对象区域设定部208，设定通过一预测参照矢量和被解码的差分参照矢量的和来求取的参照矢量表示的、参照矢量对象帧上的参照矢量对象区域；以及参照区域探索部209，使用参照矢量对象区域的图像信息和参照帧探索参照区域。 
图12表示以该方式构成的活动图像解码装置200执行的活动图像解码处理的流程图. 
按照该流程图，对以该方式构成的活动图像解码装置200执行的活动图像解码处理进行详细的说明。其中，假设已经对多个帧的图像解码完成，该结果被蓄积在参照帧存储器205、对应关系信息蓄积存储器207。 
首先，差分图像的编码数据、差分参照矢量的编码数据、附加信息的编码数据被输入活动图像解码装置200，分别被输送到差分图像解码部201、差分参照矢量解码部202、附加信息解码部203[S501]。 
解码对象图像的图像整体被区域分割，对区域的每一个进行解码[S502～S517]。在该流程图中，将块(区域)的索引表示为blk，将一个图像中包含的总块数表示为MaxBlk。也就是说，在将索引blk初始化为1之后[S502]，在blk变为MaxBlk之前[S516]，一边对blk加算1[S517]，一边反复执行以下的处理[S506～S515]，由此解码图像。 
在对每个块进行的处理中，首先将块blk的位置存储到pos[S503]，根据在对应关系信息蓄积存储器207中存储的、在块blk的周边块使用的参照矢量等，生成预测参照矢量pmv[S504]。 
接着，根据编码数据，对相对于块blk的参照矢量对象帧索引dec_ref_vec、参照帧索引dec_ref、预测图像生成方法索引dec_pmode、差分参照矢量dec_sub_mv_ref、和预测残差图像的图像信息Res[]进行解码，通过计算pmv+dec_sub_mv_ref得到参照矢量dec_mv_ref，以零矢量初始化mv[S505]。 
然后，进行dec_ref和dec_ref_vec是否相等的判定[S506]。在判定为相等的情况下，生成预测图像Pred[][S512]。 
在这里进行的预测图像生成处理，按照上述的过程1进行，将best_ref换为dec_ref，将best_ref_vec换为dec_ref_vec，将best_mv_ref换为dec_mv_ref，将best_pmode换为dec_pmode，将best_ref_mid换为ref_mid，将best_mv_mid换为mv_mid，将best_mv换为mv。 
另一方面，在S506的判定处理中，在判定为dec_ref和dec_ref_vec不相等的情况下，找到已经解码完成的帧，将其作为ref_mid[S507]，其中，该已经解码完成的帧和dec_ref_vec表示帧的时刻关系和视点关系，与解码对象帧和dec_ref表示的帧的时刻关系和视点关系一致。 
再有，在满足上述条件的解码完成帧不存在于参照帧存储器205内时，将ref_mid设定为dec_ref。 
然后，判定ref_mid与dec_ref或dec_ref_vec是否一致[S508]。 
在判定为一致的情况下，求取与帧dec_ref_vec上的位置pos+decmv_ref的区域对应的帧dec_ref上的区域，求取将该位置作为pos+dec_mv_ref+mv时的mv[S509]。 
在该处理中仅有一部分变量名不同，除此之外与已经说明的在S204进行的处理相同。 
此外，在S508的判定处理中，在判定为ref_mid与dec_ref与dec_ref_vec的任何一方均不相等的情况下，首先，求取与帧dec_ref_vec上的位置pos+dec_mv_ref的区域对应的帧ref_mid上的区域，求取将该位置作为pos+dec_mv_ref+mv_mid时的mv_mid[S510]。 
接着，求取与帧ref_mid上的位置pos+dec_mv_ref+mv_mid的区域对应的帧dec_ref上的区域，求取将该位置作为pos+dec_mv_ref+mv时的mv[S511]。 
在该处理中仅有一部分变量名不同，除此之外分别与已经说明的在S304和S305进行的处理相同。 
如果S509、S511的处理结束，使用求取的信息生成预测图像Pred[][S512]。 
在这里进行的预测图像生成处理，如上述那样，按照上述的过程1进行，将best_ref换为dec_ref，将best_ref_vec换为dec_ref_vec，将best_mv_ref换为dec_mv_ref，将best_pmode换为dec_pmode，将best_ref_mid换为ref_mid，将best_mv_mid换为mv_mid，将best_mv换为mv。 
当生成预测图像Pred[]后，对像素的每一个附加Pred[]和Res[]的像素值，生成解码图像Dec[][S513]。输出生成的Dec[]，并且存储在参照帧存储器205[S514]。 
此外，将解码中使用过的dec_ref_vec、dec_ref、dec_mv_ref、dec_pmode、mv与解码对象帧的索引和pos(或blk)对应起来，存储在对应关系信息蓄积存储器207[S515]。 
在这里，在S505的处理中进行的对附加信息的编码数据进行解码时，与上述编码时的方法同样地一边切换码字表一边进行解码。 
再有，在对附加信息的编码数据进行解码之前，对差分参照矢量的编码数据进行解码，得到在块blk使用的参照矢量。 
首先，对dec_ref_vec进行解码。 
Dec_ref_vec表示的帧是在块blk的邻接区域中作为参照矢量对象帧使用的帧、或是与邻接于编码对象帧的帧对应的帧的可能性较高，因此与这些帧对应的帧索引被编码的可能性较高，与除此以外的帧对应的帧索引相比，对这些帧索引切换为分配短的码字的码字表。 
接着，对dec_ref进行解码。在这里，使用先解码的best_ref_vec和参照矢量切换码字表。 
也就是说，使用通过帧best_ref_vec上的参照矢量表示的参照矢量对象区域的编码信息，对认为发生概率高的帧索引切换为分配短的码字的码字表。 
例如，在帧dec_ref_vec虽然不是I帧，但是在参照矢量对象区域中使用帧内编码最多的情况下，表示不存在与该参照矢量对象区域的图像信息相似的其它的帧的区域，因此，由于dec_ref和dec_ref_vec变为相同的可能性高，所以使用对与dec_ref_vec相同的帧索引分配短的码字的码字表。 
此外，同样地，由于对参照矢量对象区域进行解码时作为参照帧或参照矢量对象帧而使用的帧，在使用的区域越大的情况下越可能被选择为dec_ref，所以使用按照该概率的顺序分配码字的码字表。 
最后，对dec_pmode进行解码。使用已经解码的dec_ref_vec和dec_ref和参照帧存储器105内的帧信息，切换码字表。 
例如，在dec_ref_vec和dec_ref相等的情况下，对于块blk只能得到一个对应区域，因此即使dec_pmode是1之外也没有意义，所以判断为dec_pmode不包含在编码数据中，将dec_pmode解码为1。 
此外，相反地，在dec_ref_vec与dec_def不同的情况下，由于认为作为dec_pmode选择1的可能性极低，所以使用1以外dec_pmode值的码字短的码字表。 
此外，在参照帧上仅有两个帧的情况下，或在考虑dec_ref_vec和dec_ref的组合时，在参照帧存储器205上没有适合的中间帧的情况下，由于不能采用需要三个对应区域的预测图像生成方法，所以切换为另外的预测图像生成方法的码字短的码字表。 
但是，在这里使用的码字表和其切换基准需要使用与编码时相同的码字表和其切换基准。 
此外，如在上述活动图像编码装置100的实施方式例中说明的那样，也可以不对附加信息个别地进行编码，而对组合分配号码并进行编码。该情况在解码时也同样，对组合分配号码进行解码处理。 
按照图示的实施方式例对本发明进行了说明，但本发明并不局限于这些实施方式例。 
例如，在实施方式例中，中间帧被固定为和参照矢量对象帧的时刻关系和视点关系、与编码及解码对象帧和参照帧的时刻关系和视点关系一致的帧。 
可是，只要在编码侧和解码侧基于相同的规则进行选择，使用以其他的规则决定的帧也可。 
例如，也可以根据“显示时刻与参照矢量对象帧的显示时刻相等、视点信息与参照帧的视点信息相等的帧，或是显示时刻与参照帧的显示时刻相等、视点信息与参照矢量对象帧的视点信息相等的帧中，显示时刻和视点信息接近于编码及解码对象帧的显示时刻和视点信息的帧”的基准，选择中间帧。 
通过使用以该选择方法选择的中间帧，从参照矢量对象帧到中间帧、从中间帧到参照帧，各个之间包含的影像变化的要因是时间或摄影机间的任何一方，因此能够减少对应区域探索所需要的运算量。 
此外，在使用该选择方法的中间帧的情况下，与通过上述的pmode＝5的预测图像生成方法生成的图像的图像信息接近于编码(解码)对象区域的图像信息的可能性变低。这是因为在上述预测图像生成方法中假定的状况不再成立的原因。 
在该情况下，以该选择的方法选择的中间帧，仅在上述预测图像生成方法中假定的状况、即参照帧和编码对象帧的关系、与中间帧和参照矢量对象帧的关系相等的状况成立的情况下，能够选择上述预测图像生成方法，但也可以根据该假定状况成立时和不成立时切换码字表，对容易选择的预测图像生成方法分配更短的码字。 
此外，在实施方式例中，针对帧内编码没有进行叙述，但是作为制作预测图像的方法的一种，例如能够通过作为预测图像生成方法而分配其它的号码而容易地追加。 
此外，不作为预测图像生成方法，另外准备H 264那样的编码模式而实现的活动图像编码装置和活动图像解码装置也能够从本发明容易地类推。 
以上的活动图像编码和解码的处理，能够通过计算机和软件程序来实现，也能够将该程序记录在计算机能够读取的记录介质上进行提供，或通过网络进行提供。 
此外，在以上的实施方式例中，以活动图像编码装置和活动图像解码装置为中心进行了说明，但通过与该活动图像编码装置和活动图像解码装置的各部分的工作对应的步骤，能够实现本发明的活动图像编码方法和活动图像解码方法。 
以上，参照附图对本发明的实施方式进行了说明，但上述实施方式不过是本发明的例示，很明显本发明不被上述实施方式所限定。 
因此，在不脱离本发明的精神和范围的范围中，也能够进行结构要素的追加、省略、置换、或其他的变更。 
产业上的利用可能性 
根据本发明，即使在邻接区域生成预测图像时的参照帧不同的情况 下，通过使用相同的参照矢量对象帧，必须以矢量表现的时间和视差等影像变化的要因被统一，根据在邻接区域被编码的矢量，能够生成接近于应该编码的矢量的预测矢量，由此，能够以更少的码量对用于帧间预测编码的矢量信息进行编码。 

Claims (24)

1.一种活动图像编码方法，对图像整体进行区域分割，对区域的每一个根据已经编码完成的多个帧的图像信息生成预测图像，通过对编码对象帧内的编码对象区域的图像和预测图像的差分信息进行编码，从而对活动图像进行编码，该活动图像编码方法具有：
参照矢量对象帧选择步骤，根据已经编码完成的多个帧，选择参照矢量对象帧；
参照矢量对象帧指定信息编码步骤，对指定所述参照矢量对象帧的信息进行编码；
参照矢量设定步骤，对编码对象区域，设定表示所述参照矢量对象帧上的区域的参照矢量；
参照矢量编码步骤，对所述参照矢量进行编码；
参照帧选择步骤，根据已经编码完成的多个帧，选择参照帧；
参照帧指定信息编码步骤，对指定所述参照帧的信息进行编码；
参照帧区域设定步骤，使用由所述参照矢量表示的参照矢量对象帧上的参照矢量对象区域的图像信息、与所述参照帧，进行对应区域的探索，基于该探索结果设定所述参照帧上的参照区域；
预测图像生成步骤，使用与所述参照区域对应的参照帧的图像信息，生成预测图像；以及
差分信息编码步骤，对编码对象区域的图像信息与所述生成的预测图像的差分信息进行编码。
2.根据权利要求1所述的活动图像编码方法，其中，
在所述预测图像生成步骤中，根据所述参照区域的图像信息与所述参照矢量对象区域的图像信息，生成预测图像。
3.根据权利要求1所述的活动图像编码方法，其中，
在所述预测图像生成步骤中，选择根据所述参照区域的图像信息生成预测图像、还是根据所述参照区域的图像信息和所述参照矢量对象区域的图像信息生成预测图像，使用该选择的生成方法来生成预测图像，
该活动图像编码方法还具有：预测图像生成方法指定信息编码步骤，对指定所述选择的生成方法的信息进行编码。
4.根据权利要求1所述的活动图像编码方法，其中，
在所述参照帧选择步骤中选择对所述参照矢量对象区域进行编码时使用的参照帧作为所述参照帧的情况下，在所述参照帧区域设定步骤中，将对所述参照矢量对象区域进行编码时使用的参照区域作为所述参照区域进行设定。
5.根据权利要求1所述的活动图像编码方法，其中，
在所述参照帧选择步骤中选择对所述参照矢量对象区域进行编码时使用的参照矢量对象帧作为所述参照帧的情况下，在所述参照帧区域设定步骤中，将对所述参照矢量对象区域进行编码时使用的参照矢量对象区域作为所述参照区域进行设定。
6.根据权利要求1所述的活动图像编码方法，其中，
在所述参照帧选择步骤中选择已经编码完成的帧作为所述参照帧的情况下，在所述参照帧区域设定步骤中，将通过以所述编码对象区域作为起始点、与对所述参照矢量对象区域进行编码时使用的参照矢量具有相同朝向和大小的矢量表示的所述选择的参照帧上的区域作为所述参照区域进行设定，其中，在该已经编码完成的帧与编码对象帧之间，具有与对所述参照矢量对象区域进行编码时使用的参照矢量对象帧、和对编码对象区域设定的参照矢量对象帧的时刻信息和视点信息的关系相同的关系。
7.根据权利要求1所述的活动图像编码方法，其中，
在所述参照帧选择步骤中选择已经编码完成的帧作为所述参照帧的情况下，在所述参照帧区域设定步骤中，将通过以所述编码对象区域作为起始点、与表示所述参照矢量对象区域和对所述参照矢量对象区域进行编码时使用的参照区域的对应关系的矢量具有相同朝向和大小的矢量表示的所述选择的参照帧上的区域，作为所述参照区域进行设定，其中，在该已经编码完成的帧与编码对象帧之间，具有与对所述参照矢量对象区域进行编码时使用的参照帧、和对编码对象区域设定的参照矢量对象帧的时刻信息和视点信息的关系相同的关系。
8.根据权利要求1所述的活动图像编码方法，其中，
具有：中间帧设定步骤，将与所述参照矢量对象帧和所述参照帧不同的已经编码完成的帧作为中间帧进行设定，
在所述参照帧区域设定步骤中，使用所述参照矢量对象区域的信息对作为所述中间帧上的区域的中间区域进行设定，使用该中间区域的信息、或该中间区域的信息和所述参照矢量对象区域的信息，对所述参照区域进行设定。
9.根据权利要求8所述的活动图像编码方法，其中，
在所述中间帧设定步骤中，将已经编码完成的帧作为中间帧进行设定，其中，该已经编码完成的帧和所述参照矢量对象帧的时刻及视点信息的关系，与所述编码对象帧和所述参照帧的时刻及视点信息的关系相同，
在所述预测图像生成步骤中，根据所述参照区域的图像信息和所述中间区域的图像信息和所述参照矢量对象区域的图像信息，生成预测图像。
10.根据权利要求8所述的活动图像编码方法，其中，
在所述中间帧设定步骤中，将已经编码完成的帧作为中间帧进行设定，其中，该已经编码完成的帧和所述参照矢量对象帧的时刻及视点信息的关系，与所述编码对象帧和所述参照帧的时刻及视点信息的关系相同，
在所述预测图像生成步骤中，选择根据所述参照区域的图像信息生成预测图像、还是根据所述参照区域的图像信息与所述参照矢量对象区域的图像信息生成预测图像、还是根据所述参照区域的图像信息与所述中间区域的图像信息与所述参照矢量对象区域的图像信息生成预测图像，使用该选择的生成方法生成预测图像，
该活动图像编码方法还具有：预测图像生成方法指定信息编码步骤，对指定所述选择的生成方法的信息进行编码。
11.根据权利要求3或10所述的活动图像编码方法，其中，
在所述参照帧指定信息编码步骤中，使用所述参照矢量对象区域的编码数据，对编码参照帧指定信息时的码字表进行切换，
在所述预测图像生成方法指定信息编码步骤中，对应于所述参照矢量对象区域的编码数据、所述参照帧、以及所述参照矢量对象帧的至少一个，对编码预测图像生成方法指定信息时的码字表进行切换。
12.一种活动图像解码方法，对图像整体进行区域分割，对区域的每一个根据已经解码完成的多个帧的图像信息生成预测图像，通过对预测图像与解码对象帧内的解码对象区域的图像的差分信息进行解码，从而对活动图像进行解码，该活动图像解码方法具有：
参照矢量对象帧指定信息解码步骤，根据编码数据，对指定从已经解码完成的多个帧中选择的参照矢量对象帧的信息进行解码；
参照矢量解码步骤，根据编码数据，对表示对解码对象区域设定的所述参照矢量对象帧上的区域的参照矢量进行解码；
参照帧指定信息解码步骤，根据编码数据，对指定从已经解码完成的多个帧中选择的参照帧的信息进行解码；
参照帧区域设定步骤，使用通过所述参照矢量表示的参照矢量对象帧上的参照矢量对象区域的图像信息和所述参照帧，进行对应区域的探索，基于该探索结果设定所述参照帧上的参照区域；以及
预测图像生成步骤，使用与所述参照区域对应的参照帧的图像信息，生成预测图像，
差分信息解码步骤，根据编码数据，对解码对象区域的图像信息与所述生成的预测图像的差分信息进行解码。
13.根据权利要求12所述的活动图像解码方法，其中，
在所述预测图像生成步骤中，根据所述参照区域的图像信息与所述参照矢量对象区域的图像信息，生成预测图像。
14.根据权利要求12所述的活动图像解码方法，
具有：预测图像生成方法指定信息解码步骤，根据编码数据，对信息进行解码，其中，该信息对根据所述参照区域的图像信息生成预测图像、还是根据所述参照区域的图像信息和所述参照矢量对象区域的图像信息生成预测图像进行指定，
在所述预测图像生成步骤中，使用所述预测图像生成方法指定信息解码步骤解码后信息指定的生成方法生成预测图像。
15.根据权利要求12所述的活动图像解码方法，其中，
在对所述参照矢量对象区域进行解码时被解码的参照帧指定信息表示的帧与所述参照帧相同的情况下，在所述参照帧区域设定步骤中，将对所述参照矢量对象区域进行解码时使用的参照区域，作为所述参照区域进行设定。
16.根据权利要求12所述的活动图像解码方法，其中，
在对所述参照矢量对象区域进行解码时被解码的参照矢量对象帧指定信息表示的帧与所述参照帧相同的情况下，在所述参照帧区域设定步骤中，将对所述参照矢量对象区域进行解码时使用的参照矢量对象区域，作为所述参照区域进行设定。
17.根据权利要求12所述的活动图像解码方法，其中，
在所述参照矢量对象帧、和对所述参照矢量对象区域进行解码时被解码的参照矢量对象帧指定信息表示的帧的时刻信息及视点信息的关系，与所述解码对象帧、和所述参照帧的时刻信息及视点信息的关系相同的情况下，在所述参照帧区域设定步骤中，将通过以所述解码对象区域作为起始点、与解码所述参照矢量对象区域时使用的参照矢量具有相同朝向和大小的矢量所表示的参照帧上的区域，作为所述参照区域进行设定。
18.根据权利要求12所述的活动图像解码方法，其中，
在所述参照矢量对象帧、和对所述参照矢量对象区域进行解码时被解码的参照帧指定信息表示的帧的时刻信息及视点信息的关系，与所述解码对象帧、和所述参照帧的时刻信息及视点信息的关系相同的情况下，在所述参照帧区域设定步骤中，将通过以所述解码对象区域作为起始点、与对所述参照矢量对象区域和解码所述参照矢量对象区域时使用的参照区域的对应关系进行表示的矢量具有相同朝向和大小的矢量所表示的参照帧上的区域，作为所述参照区域进行设定。
19.根据权利要求12所述的活动图像解码方法，其中，
具有：中间帧设定步骤，将与所述参照矢量对象帧和所述参照帧不同的已经解码完成的帧作为中间帧进行设定，
在所述参照帧区域设定步骤中，使用所述参照矢量对象区域的信息，对作为所述中间帧上的区域的中间区域进行设定，使用该中间区域的信息、或该中间区域的信息和所述参照矢量对象区域的信息，对所述参照区域进行设定。
20.根据权利要求19所述的活动图像解码方法，其中，
在所述中间帧设定步骤中，将已经解码完成的帧作为中间帧进行设定，该已经解码完成的帧和所述参照矢量对象帧的时刻及视点信息的关系，与所述解码对象帧和所述参照帧的时刻及视点信息的关系相同，
在所述预测图像生成步骤中，根据所述参照区域的图像信息与所述中间区域的图像信息与所述参照矢量对象区域的图像信息，生成预测图像。
21.根据权利要求19所述的活动图像解码方法，其中，
在所述中间帧设定步骤中，将已经解码完成的帧作为中间帧进行设定，该已经解码完成的帧和所述参照矢量对象帧的时刻及视点信息的关系，与所述解码对象帧和所述参照帧的时刻及视点信息的关系相同，
该活动图像解码方法还具有：预测图像生成方法指定信息解码步骤，根据编码数据，对信息进行解码，其中，该信息指定根据所述参照区域的图像信息生成预测图像、还是根据所述参照区域的图像信息和所述参照矢量对象区域的图像信息生成预测图像、还是根据所述参照区域的图像信息和所述中间区域的图像信息和所述参照矢量对象区域的图像信息生成预测图像，
在所述预测图像生成步骤中，使用所述预测图像生成方法指定信息解码步骤解码后信息指定的生成方法生成预测图像。
22.根据权利要求14或21所述的活动图像解码方法，其中，
在所述参照帧指定信息解码步骤中，使用所述参照矢量对象区域的解码数据，对解码参照帧指定信息时的码字表进行切换，
在所述预测图像生成方法指定信息解码步骤中，对应于所述参照矢量对象区域的解码数据、所述参照帧、以及所述参照矢量对象帧的至少一个，切换对预测图像生成方法指定信息进行解码时的码字表。
23.一种活动图像编码装置，具备：实现权利要求1所述的活动图像编码方法的各步骤的单元。
24.一种活动图像解码装置，具备：实现权利要求12所述的活动图像解码方法的各步骤的单元。
CN2007800479423A 2006-10-30 2007-10-24 活动图像编码方法和解码方法、其装置 Active CN101569202B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP293901/2006 2006-10-30
JP2006293901 2006-10-30
PCT/JP2007/070711 WO2008053758A1 (fr) 2006-10-30 2007-10-24 Procédé de codage d'image dynamique, procédé de décodage, leur dispositif, leur programme et support de stockage contenant le programme

Publications (2)

Publication Number Publication Date
CN101569202A CN101569202A (zh) 2009-10-28
CN101569202B true CN101569202B (zh) 2011-11-16

Family

ID=39344100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800479423A Active CN101569202B (zh) 2006-10-30 2007-10-24 活动图像编码方法和解码方法、其装置

Country Status (11)

Country Link
US (2) US8532190B2 (zh)
EP (2) EP2512139B1 (zh)
JP (1) JP4999860B2 (zh)
KR (2) KR101533740B1 (zh)
CN (1) CN101569202B (zh)
BR (1) BRPI0718272A2 (zh)
CA (1) CA2667175A1 (zh)
ES (1) ES2439444T3 (zh)
RU (2) RU2458479C2 (zh)
TW (2) TWI400959B (zh)
WO (1) WO2008053758A1 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158491B1 (ko) 2008-12-08 2012-06-20 한국전자통신연구원 다시점 영상 부호화, 복호화 방법 및 그 장치.
KR101623062B1 (ko) * 2010-02-23 2016-05-20 니폰덴신뎅와 가부시키가이샤 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램
JP6342116B2 (ja) * 2010-07-15 2018-06-13 シャープ株式会社 イントラ予測モード推定装置
JP5281632B2 (ja) * 2010-12-06 2013-09-04 日本電信電話株式会社 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US20120189060A1 (en) * 2011-01-20 2012-07-26 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method for encoding and decoding motion information and disparity information
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
WO2012124121A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
US20120268551A1 (en) * 2011-04-19 2012-10-25 Ben Wu Image Interaction Device, Interactive Image Operating System, and Interactive Image Operating Method thereof
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US9366448B2 (en) 2011-06-20 2016-06-14 Honeywell International Inc. Method and apparatus for configuring a filter change notification of an HVAC controller
WO2012176684A1 (ja) * 2011-06-22 2012-12-27 ソニー株式会社 画像処理装置および方法
JP6112418B2 (ja) 2011-06-29 2017-04-12 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
WO2013001749A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US8892223B2 (en) 2011-09-07 2014-11-18 Honeywell International Inc. HVAC controller including user interaction log
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
US10747243B2 (en) 2011-12-14 2020-08-18 Ademco Inc. HVAC controller with HVAC system failure detection
JP2013126093A (ja) * 2011-12-14 2013-06-24 Sony Corp 画像処理装置及び画像処理方法
US8902071B2 (en) 2011-12-14 2014-12-02 Honeywell International Inc. HVAC controller with HVAC system fault detection
US9002523B2 (en) 2011-12-14 2015-04-07 Honeywell International Inc. HVAC controller with diagnostic alerts
US10533761B2 (en) 2011-12-14 2020-01-14 Ademco Inc. HVAC controller with fault sensitivity
US9206993B2 (en) 2011-12-14 2015-12-08 Honeywell International Inc. HVAC controller with utility saver switch diagnostic feature
US20130158720A1 (en) 2011-12-15 2013-06-20 Honeywell International Inc. Hvac controller with performance log
US10139843B2 (en) 2012-02-22 2018-11-27 Honeywell International Inc. Wireless thermostatic controlled electric heating system
JP5307958B1 (ja) * 2012-02-23 2013-10-02 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
US9442500B2 (en) 2012-03-08 2016-09-13 Honeywell International Inc. Systems and methods for associating wireless devices of an HVAC system
US10452084B2 (en) 2012-03-14 2019-10-22 Ademco Inc. Operation of building control via remote device
US9488994B2 (en) 2012-03-29 2016-11-08 Honeywell International Inc. Method and system for configuring wireless sensors in an HVAC system
US9349192B2 (en) * 2012-04-24 2016-05-24 Lg Electronics Inc. Method and apparatus for processing video signal
RU2506712C1 (ru) * 2012-06-07 2014-02-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ межкадрового прогнозирования для кодирования многоракурсной видеопоследовательности
US9736497B2 (en) * 2012-07-10 2017-08-15 Sharp Kabushiki Kaisha Prediction vector generation device, image encoding device, image decoding device, prediction vector generation method, and program
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9594384B2 (en) 2012-07-26 2017-03-14 Honeywell International Inc. Method of associating an HVAC controller with an external web service
US9477239B2 (en) 2012-07-26 2016-10-25 Honeywell International Inc. HVAC controller with wireless network based occupancy detection and control
US9020282B2 (en) * 2012-12-28 2015-04-28 Intel Corporation Coder based partial image storage and retrieval
US10094585B2 (en) 2013-01-25 2018-10-09 Honeywell International Inc. Auto test for delta T diagnostics in an HVAC system
JP6139953B2 (ja) * 2013-04-12 2017-05-31 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
US9806705B2 (en) 2013-04-23 2017-10-31 Honeywell International Inc. Active triac triggering circuit
US9584119B2 (en) 2013-04-23 2017-02-28 Honeywell International Inc. Triac or bypass circuit and MOSFET power steal combination
US10811892B2 (en) 2013-06-28 2020-10-20 Ademco Inc. Source management for a power transformation system
US9983244B2 (en) 2013-06-28 2018-05-29 Honeywell International Inc. Power transformation system with characterization
US11054448B2 (en) 2013-06-28 2021-07-06 Ademco Inc. Power transformation self characterization mode
US9628795B2 (en) * 2013-07-17 2017-04-18 Qualcomm Incorporated Block identification using disparity vector in video coding
US9426465B2 (en) * 2013-08-20 2016-08-23 Qualcomm Incorporated Sub-PU level advanced residual prediction
US10972751B2 (en) * 2013-10-17 2021-04-06 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, and video decoding apparatus and method
US20160286212A1 (en) * 2013-10-17 2016-09-29 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, and video decoding apparatus and method
KR101750421B1 (ko) 2013-10-17 2017-06-23 니폰 덴신 덴와 가부시끼가이샤 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
US9857091B2 (en) 2013-11-22 2018-01-02 Honeywell International Inc. Thermostat circuitry to control power usage
US9673811B2 (en) 2013-11-22 2017-06-06 Honeywell International Inc. Low power consumption AC load switches
CN105934949A (zh) * 2013-12-03 2016-09-07 日本电信电话株式会社 视频编码装置和方法、视频解码装置和方法、以及它们的程序
WO2015089116A1 (en) 2013-12-11 2015-06-18 Honeywell International Inc. Building automation control systems
JPWO2015098827A1 (ja) * 2013-12-27 2017-03-23 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
CN106464899A (zh) * 2014-03-20 2017-02-22 日本电信电话株式会社 活动图像编码装置及方法和活动图像解码装置及方法
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9628074B2 (en) 2014-06-19 2017-04-18 Honeywell International Inc. Bypass switch for in-line power steal
US9683749B2 (en) 2014-07-11 2017-06-20 Honeywell International Inc. Multiple heatsink cooling system for a line voltage thermostat
JP5858119B2 (ja) * 2014-10-15 2016-02-10 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
US10488062B2 (en) 2016-07-22 2019-11-26 Ademco Inc. Geofence plus schedule for a building controller
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
CN110636334B (zh) * 2019-08-23 2022-12-09 西安万像电子科技有限公司 数据传输方法及系统

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0232486A (ja) * 1988-07-22 1990-02-02 Fuji Electric Co Ltd 経時的収集データ欠損時の自動修復方法
JPH0262180A (ja) * 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
JPH05225152A (ja) * 1992-02-13 1993-09-03 Hitachi Ltd プロセスコントローラ
EP0645930B1 (en) 1993-04-09 2000-06-14 Sony Corporation Method and apparatus for coding image
JP3170958B2 (ja) * 1993-06-30 2001-05-28 日産自動車株式会社 情報収集方法
JP3383092B2 (ja) * 1994-09-14 2003-03-04 東芝システムテクノロジー株式会社 プラント性能計算装置
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
EP0765087B1 (en) * 1995-08-29 2003-11-12 Sharp Kabushiki Kaisha Video coding device
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3693407B2 (ja) * 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
JP3823370B2 (ja) * 1996-04-15 2006-09-20 ソニー株式会社 動画像符号化方法、復号方法及びその装置
JP3628810B2 (ja) 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
JPH1049203A (ja) * 1996-07-29 1998-02-20 Fuji Electric Co Ltd 定周期収集データの等値化装置
JPH10276481A (ja) * 1997-03-31 1998-10-13 Omron Corp ワイヤレス稼動情報収集方法および装置
US6690835B1 (en) * 1998-03-03 2004-02-10 Interuniversitair Micro-Elektronica Centrum (Imec Vzw) System and method of encoding video frames
JP2000261467A (ja) * 1999-03-09 2000-09-22 Toshiba Corp 情報収集装置
JP3684565B2 (ja) * 1999-03-29 2005-08-17 横河電機株式会社 分散オブジェクトシステムにおける通信装置
JP2003015735A (ja) * 2001-07-05 2003-01-17 Mitsubishi Electric Corp プラント監視・通報装置
JP2003076405A (ja) * 2001-08-30 2003-03-14 Digital Electronics Corp 制御用表示装置、制御システム、制御プログラムおよびそれを記録した記録媒体
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
JP3934568B2 (ja) * 2003-03-04 2007-06-20 松下電器産業株式会社 動画符号化方法および装置
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
US7286689B2 (en) * 2003-06-07 2007-10-23 Hewlett-Packard Development Company, L.P. Motion estimation for compression of calibrated multi-view image sequences
JP2005038246A (ja) * 2003-07-16 2005-02-10 Matsushita Electric Works Ltd 設備監視制御装置、設備監視制御システム、設備監視制御方法及び設備監視制御用プログラム
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
WO2006016418A1 (ja) 2004-08-11 2006-02-16 Hitachi, Ltd. 符号化ストリーム記録媒体、画像符号化装置、及び画像復号化装置
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
JP4937741B2 (ja) 2005-01-07 2012-05-23 日本電信電話株式会社 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP2006285353A (ja) * 2005-03-31 2006-10-19 Daikin Ind Ltd 機器管理システム
JP2006293901A (ja) 2005-04-14 2006-10-26 Fujitsu Ten Ltd 車載システム及び車載端末

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开平9-261653A 1997.10.03
JP特开平9-275578A 1997.10.21
JP特开平9-284777A 1997.10.31

Also Published As

Publication number Publication date
RU2458479C2 (ru) 2012-08-10
JPWO2008053758A1 (ja) 2010-02-25
CA2667175A1 (en) 2008-05-08
KR20090084829A (ko) 2009-08-05
EP2083571A4 (en) 2010-11-10
TWI400959B (zh) 2013-07-01
US8654854B2 (en) 2014-02-18
KR101447717B1 (ko) 2014-10-07
KR20140048320A (ko) 2014-04-23
TW200826692A (en) 2008-06-16
TWI502969B (zh) 2015-10-01
JP4999860B2 (ja) 2012-08-15
BRPI0718272A2 (pt) 2013-11-12
CN101569202A (zh) 2009-10-28
EP2512139A1 (en) 2012-10-17
US20120170651A1 (en) 2012-07-05
EP2083571A1 (en) 2009-07-29
WO2008053758A1 (fr) 2008-05-08
RU2009115654A (ru) 2010-10-27
US8532190B2 (en) 2013-09-10
TW201251472A (en) 2012-12-16
RU2012113724A (ru) 2013-10-27
US20100008422A1 (en) 2010-01-14
ES2439444T3 (es) 2014-01-23
EP2512139B1 (en) 2013-09-11
RU2504106C2 (ru) 2014-01-10
KR101533740B1 (ko) 2015-07-03

Similar Documents

Publication Publication Date Title
CN101569202B (zh) 活动图像编码方法和解码方法、其装置
KR102605638B1 (ko) 부분 코스트 계산
CN101536529B (zh) 图像编码方法和解码方法、其装置
CN101529918B (zh) 预测参照信息生成方法、活动图像的编码及解码方法及其装置
KR102103682B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 부호화 프로그램, 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
EP2094017B1 (en) Method for direct mode encoding and decoding
KR100823287B1 (ko) 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
CN101690234B (zh) 视频图像编码方法及解码方法、其装置
CN105791821A (zh) 动图像解码装置以及动图像解码方法
CN104065961A (zh) 图像预测编码装置及其方法、图像预测解码装置及其方法
CN113055687B (zh) 一种编解码方法、装置及其设备
CN103098475A (zh) 图像编码方法和装置、图像解码方法和装置以及它们的程序
CN105075257A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP5737383B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2016134852A (ja) 符号化装置、符号化方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant