CN104185993B - 图像处理设备和方法以及记录介质 - Google Patents

图像处理设备和方法以及记录介质 Download PDF

Info

Publication number
CN104185993B
CN104185993B CN201380015896.4A CN201380015896A CN104185993B CN 104185993 B CN104185993 B CN 104185993B CN 201380015896 A CN201380015896 A CN 201380015896A CN 104185993 B CN104185993 B CN 104185993B
Authority
CN
China
Prior art keywords
image
unit
coding
coding parameter
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380015896.4A
Other languages
English (en)
Other versions
CN104185993A (zh
Inventor
小鹰直彦
葭原义和
松仓健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104185993A publication Critical patent/CN104185993A/zh
Application granted granted Critical
Publication of CN104185993B publication Critical patent/CN104185993B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及使得能够防止图像编码的负荷增加的图像处理设备和系统,并且还涉及记录介质。所公开的图像处理设备包括:变换单元,用于把用于第一图像的编码的编码参数变换成第二图像的编码参数,所述第二图像不同于第一图像,但第二图像的时间和第一图像大体相同;以及第二图像编码单元,用于通过使用针对第二图像的编码参数来对第二图像编码,该针对第二图像的编码参数是由变换单元变换和获得的。本公开可以应用于图像处理装置。

Description

图像处理设备和方法以及记录介质
技术领域
本公开涉及图像处理设备和方法以及记录介质,具体地,涉及能够抑制图像编码的负荷的增大的图像处理设备和方法,以及记录介质。
背景技术
近年来,包括多个运动图像,比如用于立体视觉的多视点图像的内容已变得普及。作为这种包括多个运动图像的一种编码方式,例如,存在MVC(多视点视频编码)标准,MVC标准是MPEG(运动图像专家组)4AVC(高级视频编码)H.264标准(H.264/AVC标准)的扩展。在MVC标准中,定义称为基本视点视点视频流的视频流,和称为从属视点视频流的视频流(例如,参见专利文献1)。
在MVC标准中,对各个图像进行与编码相关的各种处理,比如帧内预测、帧间预测、正交变换、量化、无损编码、速率控制等。
引用列表
专利文献
专利文献1:JP 2011-216965A
发明内容
尽管这样的多个运动图像通常很可能具有高相关性,不过在现有技术的编码方式的情况中,对于各个运动图像进行独立的编码处理,并且在各个处理中,导出各种编码参数。
与各种编码参数的导出相关的处理都是伴随大处理量和高负荷的处理,并且如上所述是冗长地进行的,从而存在编码处理的负荷不必要地增大的顾虑。
考虑到上述情况,提出了本公开,本发明的目的是能够抑制图像编码的负荷的增大。
技术问题的解决方案
按照本公开的一个方面,提供一种图像处理设备,包括变换单元,所述变换单元被配置成把用于第一图像的编码的编码参数变换成第二图像的编码参数,所述第二图像不同于第一图像,并且第二图像的时间和第一图像实质上相同,和第二图像编码单元,所述第二图像编码单元被配置成利用通过变换单元的变换而获得的第二图像的编码参数,对第二图像编码。
编码参数可包括GMV(全局运动向量)、速率控制参数、运动向量和帧内预测模式中的一个或两个或更多个。
在编码参数包括速率控制参数的情况下,速率控制参数可以是目标比特,或者ΔQ值。
在编码参数是帧内预测模式的情况下,变换单元可移动(shift)帧内预测模式。
在编码参数是帧内预测模式的情况下,变换单元可按照第一图像的帧内预测模式,限制第二图像的帧内预测模式的候选预测方向。
在编码参数是帧内预测模式的情况下,变换单元可以仅仅对于一部分块,处理帧内预测模式。
编码单元可以以时分方式对多个图像编码。
还可包括配置成对第一图像编码的第一图像编码单元。
还可包括配置成导出第一图像的编码参数的导出单元,变换单元可把利用导出单元导出的第一图像的编码参数变换成第二图像的编码参数。
变换单元可把由导出单元导出的第一图像的编码参数变换成和第一图像的定时相同的定时的第二图像的编码参数。
可对于除第一图像外的多个图像,分别包括变换单元和编码单元,各个变换单元可把第一图像的编码参数变换成对应于该变换单元的每个图像的编码参数,并且各个编码单元可利用对应于该编码单元的每个图像的编码参数,对该图像编码。
变换单元可利用第一图像的图像信息和第二图像的图像信息,变换编码参数。
图像信息可以是视角,变换单元可利用第一图像和第二图像的视角之比,变换编码参数。
图像信息可以是图像大小,变换单元可利用第一图像和第二图像的图像大小之比,变换编码参数。
图像信息可以是帧速率,变换单元可利用第一图像和第二图像的帧速率之比,变换编码参数。
图像信息可以是比特率,变换单元可利用第一图像和第二图像的比特率之比,变换编码参数。
还可包括配置成获得第一图像的图像信息的第一图像信息获取单元,和配置成获得第二图像的图像信息的第二图像信息获取单元。
还可包括配置成以时分方式,获得第一图像的图像信息和第二图像的图像信息的图像信息获取单元。
按照本公开的另一个方面,提供一种图像处理设备的图像处理方法,包括利用变换单元,把用于第一图像的编码的编码参数变换成第二图像的编码参数,所述第二图像不同于第一图像,并且第二图像的时间和第一图像实质上相同,和由第二图像编码单元,利用通过所述变换而获得的第二图像的编码参数,对第二图像编码。
按照本公开的另一个方面,提供一种记录有程序的计算机可读记录介质,所述程序使计算机起以下作用:变换单元,所述变换单元被配置成把用于第一图像的编码的编码参数变换成第二图像的编码参数,所述第二图像不同于第一图像,并且第二图像的时间实质上和第一图像相同,和第二图像编码单元,所述第二图像编码单元被配置成利用通过变换单元的变换而获得的第二图像的编码参数,对第二图像编码。
按照本公开的另一个方面,用于第一图像的编码的编码参数被变换成第二图像的编码参数,所述第二图像不同于第一图像,并且第二图像的时间实质上和第一图像相同,并且利用通过所述变换而获得的第二图像的编码参数,对第二图像编码。
本发明的有益效果
按照本公开,能够处理图像。特别地,能够抑制图像编码的负荷的增大。
附图说明
图1是表示现有技术的图像编码设备的主要结构例子的方框图。
图2是表示本公开的图像编码设备的主要结构例子的方框图。
图3是表示本公开的图像编码设备的另一个结构例子的方框图。
图4是表示第一编码单元的主要结构例子的方框图。
图5是表示第二编码单元的主要结构例子的方框图。
图6是表示多个图像编码处理的流程的例子的流程图。
图7是表示编码处理的流程的例子的流程图。
图8是表示在编码参数提供侧的帧间运动预测处理的流程的例子的流程图。
图9是说明GMV导出处理的流程的例子的流程图。
图10是表示在编码参数提供侧的帧间运动预测处理的流程的例子的流程图。
图11是表示GMV变换处理的流程的例子的流程图。
图12是图解说明前馈状态的例子的示图。
图13是图解说明运动图像之间的不同图像信息的例子的示图。
图14是图解说明运动图像之间的不同图像信息的例子的示图。
图15是表示第一编码单元的另一个结构例子的方框图。
图16是表示第二编码单元的另一个结构例子的方框图。
图17是说明编码处理的流程的另一个例子的流程图。
图18是说明在编码参数提供侧的速率控制处理的流程的例子的流程图。
图19是说明在编码参数获取侧的速率控制处理的流程的例子的流程图。
图20是说明在编码参数提供侧的速率控制处理的流程的另一个例子的流程图。
图21是说明在编码参数获取侧的速率控制处理的流程的另一个例子的流程图。
图22是图解说明前馈状态的例子的示图。
图23是表示第一编码单元的又一个结构例子的方框图。
图24是表示第二编码单元的又一个结构例子的方框图。
图25是表示现有技术的MV导出单元的主要结构例子的方框图。
图26是表示MV导出单元和MV变换单元的主要结构例子的方框图。
图27是表示在编码参数提供侧的帧间运动预测处理的流程的另一个例子的流程图。
图28是表示在编码参数提供侧的运动向量搜索处理的流程的例子的流程图。
图29是表示在编码参数获取侧的帧间运动预测处理的流程的另一个例子的流程图。
图30是表示在编码参数获取侧的运动向量搜索处理的流程的例子的流程图。
图31是表示第一编码单元的又一个结构例子的方框图。
图32是表示第二编码单元的又一个结构例子的方框图。
图33是表示帧内预测单元的主要结构例子的方框图。
图34是表示帧内预测模式的移动的例子的示图。
图35是说明编码处理的流程的又一个例子的流程图。
图36是说明在编码参数提供侧的帧内预测处理的流程的例子的流程图。
图37是说明在编码参数获取侧的帧内预测处理的流程的例子的流程图。
图38是说明帧内变换处理的流程的例子的流程图。
图39是说明帧内变换处理的流程的再一个例子的流程图。
图40是说明帧内变换处理的流程的又一个例子的流程图。
图41是说明帧内变换处理的流程的另一个例子的流程图。
图42是说明帧内变换处理的流程的另一个例子的流程图。
图43是表示本公开的图像解码设备的主要结构例子的方框图。
图44是表示第一解码单元的主要结构例子的方框图。
图45是表示第二解码单元的主要结构例子的方框图。
图46是表示多个图像解码处理的流程的例子的流程图。
图47是说明解码处理的流程的例子的流程图。
图48是说明预测处理的流程的例子的流程图。
图49是表示计算机的主要结构例子的方框图。
具体实施方式
下面说明实现本公开的实施例(下面称为实施例)。注意,将按照以下顺序进行说明。
1.第一实施例(图像编码设备:编码参数)
2.第二实施例(图像编码设备:GMV)
3.第三实施例(图像编码设备:速率控制参数)
4.第四实施例(图像编码设备:MV)
5.第五实施例(图像编码设备:帧内预测模式)
6.第六实施例(图像解码设备:帧内预测模式)
7.第七实施例(计算机)
<1.第一实施例>
[编码参数]
在现有技术中,存在对具有多个运动图像的内容编码的图像编码设备。
(1)现有技术的图像编码设备
图1表示现有技术的对两个运动图像编码的图像编码设备的主要结构例子。在现有技术的图像编码设备10的情况下,获得包含在内容中的各个运动图像(第一图像和第二图像),各个图像被编码,随后作为比特流(第一比特流和第二比特流)被输出。
如图1中所示,图像编码设备10具有第一编码单元11和第二编码单元12。第一编码单元11对第一图像编码,从而生成第一比特流。第二编码单元12对第二图像编码,从而生成第二比特流。
第一编码单元11具有编码参数导出单元21。编码参数导出单元21导出由第一编码单元11使用的各种编码参数。
第二编码单元12具有编码参数导出单元22。编码参数导出单元22导出由第二编码单元12使用的各种编码参数。
第一编码单元和第二编码单元基本相同,并进行相同的处理。另外,第一图像和第二图像是相同内容的运动图像,从而具有高相关性。即,由编码参数导出单元21导出的编码参数也与由编码参数导出单元22导出的编码参数具有高相关性。
然而,如上所述,现有技术的图像编码设备10对于第一图像和第二图像,彼此独立地分别导出编码参数。因而,处理包括许多冗长的部分,从而效率低。换句话说,存在对于各个图像导出编码参数会不必要地增大编码处理的负荷的担忧。
(2)图像编码设备(2个视点)
于是,为了抑制对于多个图像的编码处理的负荷的这种不必要增大,对于某个图像生成的编码参数也被设定成可用于另一个图像的编码处理。
(2-1)结构
图2是表示按照本公开的实施例的图像编码设备100的结构的例子的方框图。图2中所示的图像编码设备100是本技术适用于的图像处理设备。
图像编码设备100如图像编码设备10一样地对输入的两个系统的运动图像(第一图像和第二图像)分别编码,并输出获得的两个系统的编码数据(第一比特流和第二比特流)。
如图2中所示,图像编码设备100具有第一图像信息获取单元111-1,第二图像信息获取单元111-2,第一编码单元112-1和第二编码单元112-2。
第一图像信息获取单元111-1获得第一图像信息,第一图像信息是与输入的第一图像相关的信息,比如视角、图像大小、帧速率、与视差相关的信息、比特率、信号分量、成像条件等。注意,第一图像信息的各项内容是任意的,只要它们与第一图像相关,它们的数目也是任意的。从而,例如,包括在第一图像信息中的信息并不局限于上面的例子,可以只是上述例子的一部分。
第一图像信息获取单元111-1从输入的第一图像的首部,提取例如第一图像信息。另外,第一图像信息获取单元111-1还可通过与拍摄被摄物体,从而获得第一图像的照相机(未图示)进行通信,获得第一图像信息。第一图像信息的获取来源或者获取方法当然是任意的,第一图像信息获取单元111-1可利用除上面方法外的方法,从除上述场所外的场所获得第一图像信息。例如,第一图像信息获取单元111-1还可利用不同的方法,从多个场所获得第一图像信息。
第一图像信息获取单元111-1把获得的第一图像信息提供给第一编码单元112-1。第一图像信息获取单元111-1还可把获得的第一图像信息提供给第二图像信息获取单元111-2。
第二图像信息获取单元111-2获得第二图像信息,第二图像信息是与输入的第二图像相关的信息,比如视角、图像大小、帧速率、与视差相关的信息、比特率、信号分量、成像条件等。注意,第二图像信息的各项内容是任意的,只要它们与第二图像相关,它们的数目也是任意的。从而,例如,包括在第二图像信息中的信息并不局限于上面的例子,可以只是上述例子的一部分。
第二图像信息获取单元111-2从输入的第二图像的首部,提取第二图像信息。另外,第二图像信息获取单元111-2还可通过与拍摄被摄物体,从而获得第二图像的照相机(未图示)进行通信,获得第二图像信息。第二图像信息的获取来源或者获取方法当然是任意的,第二图像信息获取单元111-2可利用除上面方法外的方法,从除上述场所外的场所获得第二图像信息。例如,第二图像信息获取单元111-2还可利用不同的方法,从多个场所获得第二图像信息。
第二图像信息获取单元111-2把获得的第二图像信息提供给第二编码单元112-2。另外,第二图像信息获取单元111-2把从第一图像信息获取单元111-1供给的第一图像信息提供给第二编码单元112-2。
第一编码单元112-1通过适当地利用从第一图像信息获取单元111-1供给的第一图像信息对第一图像编码,并把生成的第一流输出到图像编码设备100之外。
第一编码单元112-1具有编码参数导出单元121-1。编码参数导出单元121-1导出(生成)为编码第一图像所必需的至少一个或多个编码参数。编码参数导出单元121-1可导出任意数目和任意种类的编码参数。作为编码参数的例子,例如,存在GMV(全局运动向量)、MV(运动向量)、目标比特、Q值和帧内预测模式。编码参数导出单元121-1当然可以导出其它编码参数。
第一编码单元112-1(编码参数导出单元121-1)可把由编码参数导出单元121-1导出(生成)的编码参数中的至少任意一个编码参数提供给第二编码单元112-2。
第二编码单元112-2通过适当地利用从第二图像信息获取单元111-2供给的第一图像信息和第二图像信息,对第二图像编码,并把生成的第二流输出到图像编码设备100之外。
第二编码单元112-2具有编码参数变换单元121-2。编码参数变换单元121-2获得从第一编码单元112-1(编码参数导出单元121-1)供给的编码参数。
编码参数是为了编码第一图像信息而导出的,从而被设定成适合于第一图像的值。从而,编码参数变换单元121-2利用第一图像信息和第二图像信息,把获得的编码参数的值变换成适合于第二图像信息的值。
第二编码单元112-2利用其值已由编码参数变换单元121-2变换的编码参数,编码第二图像。
如上所述,图像编码设备100还能够把为第一图像的编码而生成的编码参数转用于第二图像的编码。从而,图像编码设备100能够减少导出沉重负荷的导出编码参数的处理。换句话说,图像编码设备100能够减少冗长处理,从而能够抑制对图像编码来说不必要的负荷的增大。
注意,第一编码单元112-1和第二编码单元112-2的编码方式是任意的。不过,第一编码单元112-1和第二编码单元112-2被设定成利用相同的编码方式进行编码。第一编码单元112-1和第二编码单元112-2当然可被设计成利用不同的编码方式进行编码,不过通过使这两个单元利用相同的编码方式,如上所述的编码参数的转用变得容易。
注意,第一图像信息获取单元111-1和第二图像信息获取单元111-2也可被设计成是一个图像信息获取单元111。在这种情况下,图像信息获取单元111按照例如时分方式,进行第一图像信息的获取和第二图像信息的获取。
另外,例如,第一编码单元112-1和第二编码单元112-2也可被设计成一个编码单元112。在这种情况下,编码单元112按照例如时分方式,进行第一图像的编码操作和第二图像的编码操作。
图像编码设备100当然可被设计成利用多个编码单元编码一个系统的运动图像,或者利用多个图像信息获取单元获得图像信息。即,图像编码设备100具有的图像信息获取单元和编码单元的数目是任意的。
注意,当例如已经给出第一图像和第二图像的输入图像信息时,图像信息获取单元111(第一图像信息获取单元111-1和第二图像信息获取单元111-2)也可被省略。例如当图像编码设备100根据MVC(多视点视频编码)标准进行编码时,图像之间的视差被给出,从而图像信息获取单元111(第一图像信息获取单元111-1和第二图像信息获取单元111-2)可被省略。
(2-2)图像
这里,说明利用图像编码设备100处理的运动图像。
输入图像编码设备100的第一图像和第二图像是可作为一个内容提供的运动图像组。第一图像和第二图像都可以是任意种类的运动图像。
例如,第一图像和第二图像的生成方法都可以是任意的。例如,图像可以是利用拍摄被摄物体的照相机等获得的运动图像,通过编辑其它图像而生成的运动图像,或者诸如计算机图像或动画之类通过除成像外的方法生成的运动图像。
另外,在成像的情况下,第一图像和第二图像可以利用相同的照相机拍摄,或者用不同的照相机拍摄。另外,第一图像和第二图像的被摄物体可以完全或者实质上相同,或者可以彼此不同。
第一图像和第二图像的图形的内容可以彼此不同,不过为了易于转用编码参数,图像之间的高相关性是合乎需要的。不过,第一图像和第二图像不同完全相同的图像,具有至少一项或多项不同的图像信息。
图像信息的种类是任意的。例如,图像信息可包括视角、图像大小、帧速率(fps)、视差、分辨率、比特率等。另外,图像信息例如可以是包括成像时的环境(例如,亮度、温度、湿度、时间、场所等)或照相机的设定(例如,曝光、快门速度、照相机或存储器的设备信息等)的成像条件,包括编辑时使用的应用程序或者编辑的内容的编辑条件,表示逐行扫描或隔行扫描方式的信息,等等。图像信息当然可以是除上述之外的信息。
由于第一图像和第二图像不是完全相同,但是具有高相关性,因此所述图像例如可以是通过在实质上相同的时间,拍摄实质上相同的被摄物体而获得的运动图像。在这种情况下,帧(或场)的成像定时可以相同或不同,不过在所有情况下,通常被认为实际上相同。
第一图像和第二图像的显示方法是任意的。例如,可以并行地(实际上同时地)显示这样的运动图像。在这种情况下,各帧(或场)的图像显示定时可以相同或不同,不过在所有情况下,通常被认为实际上相同。
(3)图像编码设备(N个视点)
注意,待处理的运动图像的系统的数目是任意的。例如,图像编码设备100可被设定成编码N个系统的图像(第一个图像~第N个图像),如图3中所示。在这种情况下,如图3中所示,可设置用于运动图像的每个系统的图像获取单元和编码单元,不过,一个图像获取单元和编码单元可被设定成按照时分方式处理多个系统的运动图像。
在这种情况下,设置在任意一个或多个编码单元中的编码参数导出单元导出编码参数。编码参数变换单元被设置在另一个编码单元中,变换参数和编码参数导出单元导出的编码参数,以便使用。
图像编码设备100因而能够省略导致沉重负荷的导出编码参数的处理。换句话说,图像编码设备100能够减少冗长处理,从而能够抑制对图像编码来说不必要的负荷的增大。
下面,说明编码参数的具体例子。注意,下面将说明其中图像编码设备100处理两个系统的运动图像的情况(即,图2的例子)。不过,所述说明也适用于其中图像编码设备100处理3个或者更多的系统的运动图像的情况(即,图3的例子),只要没有任何矛盾。
<2.第二实施例>
[GMV]
作为编码参数的例子,将说明GMV(全局运动向量)。GMV是指示所有图像的运动的运动向量。更具体地,GMV是对于每个宏块生成的运动向量之中的在图像内具有最高频度的运动向量。
GMV用作与利用GMV导出的帧或场相比,将在稍后的时间处理的帧或场的运动预测中,搜索运动向量的一个起点。换句话说,GMV用于在开始运动预测时,以一定的精度预测运动向量。由于按照这种方式使用GMV,因此预计能够更高效地进行运动向量的搜索。
对整个图像,聚合运动向量的直方图,具有最高频度的运动向量被选为GMV。在这种GMV导出处理中,直方图的生成、具有高频度的运动向量的搜索等会导致沉重的负荷。
如上所述,图像编码设备100在第二编码单元112-2的编码处理中,利用在第一编码单元112-1中导出的GMV,从而能够省略导致沉重负荷的与GMV的导出相关的处理。因而,图像编码设备100能够实现负荷的增大的抑制。
(1)编码单元
图4是表示这种情况的第一编码单元112-1的主要结构例子的方框图。
如H.264和MPEG(运动图像专家组)4 Part 10(AVC(高级视频编码))的编码方式中一样,图4中所示的第一编码单元112-1利用预测处理,编码图像数据。
如图4中所示,第一编码单元112-1具有A-D变换单元151、屏幕重排缓冲器152、计算单元153、正交变换单元154、量化单元155、无损编码单元156和累积缓冲器157。另外,第一编码单元112-1具有逆量化单元158、逆正交变换单元159、计算单元160、解块滤波器161、帧存储器162、选择单元163、帧内预测单元164、运动预测和补偿单元165、预测图像选择单元166和速率控制单元167。
第一编码单元112-1还具有GMV导出单元171。
A-D变换单元151对输入的图像数据进行A-D变换,并把变换后的图像数据(数字数据)提供给屏幕重排缓冲器152,以保存在其中。屏幕重排缓冲器152按照GOP(图像组),按用于编码的帧顺序,按保存的显示顺序重排各帧的图像,并把按帧顺序重排的图像提供给计算单元153。另外,屏幕重排缓冲器152还把按帧顺序重排的图像提供给帧内预测单元164及运动预测和补偿单元165。
计算单元153从读取自屏幕重排缓冲器152的图像中,减去通过预测图像选择单元166从帧内预测单元164或运动预测和补偿单元165供给的预测图像,随后把差分信息输出给正交变换单元154。
就对其进行帧间编码的图像来说,计算单元153从读取自屏幕重排缓冲器152的图像中,减去从运动预测和补偿单元165供给的预测图像。
正交变换单元154对从计算单元153供给的差分信息进行正交变换,比如离散余弦变换或Karhunen-Loeve变换。注意,正交变换的方法是任意方法。正交变换单元154把其变换系数提供给量化单元155。
量化单元155量化从正交变换单元154供给的变换系数。量化单元155根据与从速率控制单元167供给的代码量的目标值相关的信息,设定量化参数,随后进行量化。注意,量化方法是任意方法。量化单元155把量化的变换系数提供给无损编码单元156。
无损编码单元156利用任意编码方式,对在量化单元155中量化的变换系数编码。由于系数数据在速率控制单元167的控制下被量化,因此其代码量是速率控制单元167设定的目标值(或者近似于所述目标值)。
另外,无损编码单元156从帧内预测单元164获得表示帧内预测模式的信息等,并从运动预测和补偿单元165获得表示帧间预测模式的信息、运动向量信息等。此外,无损编码单元156获得在解块滤波器161中使用的滤波系数等。
无损编码单元156利用任意编码方式,对各种信息编码,从而把所述信息设定成编码数据的报头信息的一部分(复用)。无损编码单元156把通过编码获得的编码数据提供给累积缓冲器157,以便累积在其中。
作为无损编码单元156的编码方式,例如,例示了变长编码,算术编码等。例如,作为变长编码,例示了在H.264/AVC方式中定义的CAVLC(上下文自适应变长编码)等。例如,作为算术编码,例示了CABAC(上下文自适应二进制算术编码)等。
累积缓冲器157临时保存从无损编码单元156供给的编码数据。累积缓冲器157在预定定时,以比特流的形式,把保存的编码数据输出给下一级的未图示的记录设备(记录介质)、传输线路等。
另外,在量化单元155量化的变换系数还被提供给逆量化单元158。逆量化单元158利用与量化单元155的量化对应的方法,对量化的变换系数进行逆量化。逆量化方法可以是任意方法,只要该方法对应于量化单元155进行的量化处理。逆量化单元158把获得的变换系数提供给逆正交变换单元159。
逆正交变换单元159利用与正交变换单元154进行的正交变换处理对应的方法,对从逆量化单元158供给的变换系数进行逆正交变换。逆正交变换方法可以是任意方法,只要该方法对应于正交变换单元154进行的正交变换处理。经过逆正交变换的输出(恢复的差分信息)被提供给计算单元160。
计算单元160相加通过预测图像选择单元166,从帧内预测单元164或运动预测和补偿单元165供给的预测图像,和从逆正交变换单元159供给的逆正交变换结果,即,恢复的差分信息,从而获得局部解码的图像(解码图像)。解码图像被提供给解块滤波器161或帧存储器162。
解块滤波器161对从计算单元160供给的解码图像进行解块滤波处理,从而除去解码图像的块失真。必要时,解块滤波器161还可把诸如滤波处理中使用的滤波系数之类的信息提供给无损编码单元156,以便对该信息编码。
解块滤波器161把滤波处理结果(滤波处理之后的解码图像)提供给帧存储器162。注意,如上所述,从计算单元160输出的解码图像可以不经过解块滤波器161地被供给帧存储器162。换句话说,解块滤波器161进行的滤波处理可被省略。
帧存储器162保存供给的解码图像,并且在预定定时,把保存的解码图像作为参考图像,提供给选择163。
选择单元163选择从帧存储器162供给的参考图像的供给目的地。例如,在帧间预测的情况下,选择单元163把从帧存储器162供给的参考图像提供给运动预测和补偿单元165。
帧内预测单元164利用作为通过选择单元163,从帧存储器162供给的参考图像的处理目标图像内的像素值,进行生成预测图像的帧内预测(屏内预测)。帧内预测单元164按照预先准备的多个模式(帧内预测模式),进行帧内预测。
帧内预测单元164按所有候选的帧内预测模式,生成预测图像,并通过利用从屏幕重排缓冲器152供给的输入图像,评估每个预测图像的成本函数值,随后选择最佳模式。当选择了最佳帧内预测模式时,帧内预测单元164把按该最佳模式生成的预测图像提供给预测图像选择单元166。
另外,如上所述,帧内预测单元164把代表采用的帧内预测模式的帧内预测模式信息等,恰当地提供给无损编码单元156,以便编码。
运动预测和补偿单元165通过利用从屏幕重排缓冲器152供给的输入图像,和通过选择单元163,从帧存储器162供给的参考图像,进行运动预测(帧间预测),按照检测的运动向量,进行运动补偿处理,从而生成预测图像(帧间预测图像信息)。运动预测和补偿单元165按照预先准备的多种模式(帧间预测模式),进行这种帧间预测。
运动预测和补偿单元165按所有候选帧间预测模式,生成预测图像,并评估每个预测图像的成本函数值,从而选择最佳模式。当选择了最佳帧间预测模式时,运动预测和补偿单元165把按最佳模式生成的预测图像提供给预测图像选择单元166。
另外,运动预测和补偿单元165把表示采用的帧间预测模式的信息,或者在解码编码数据时按帧间预测模式进行处理所必需的信息等提供给无损编码单元156,以便编码。
预测图像选择单元166选择向计算单元153和计算单元160供给预测图像的供给来源。例如,在帧间编码的情况下,预测图像选择单元166选择运动预测和补偿单元165,作为预测图像的供给来源,并把从运动预测和补偿单元165供给的预测图像提供给计算单元153和计算单元160。
速率控制单元167根据累积在累积缓冲器157中的编码数据的代码量,控制量化单元155的量化操作的速率,以致不会发生上溢或下溢。
GMV导出单元171导出用作运动预测和补偿单元165的运动预测中的搜索起点的GMV。更具体地,GMV导出单元171获得在运动预测和补偿单元165中搜索的各个宏块的运动向量,并聚合运动向量,从而生成直方图。当生成一个图像的直方图时,GMV导出单元171选择运动向量之中具有最高频度的运动向量作为GMV。
GMV导出单元171把导出的GMV提供给运动预测和补偿单元165。运动预测和补偿单元165进行把从GMV导出单元171供给的GMV作为一个起点的运动搜索。
另外,GMV导出单元171把导出的GMV提供给第二编码单元112-2。
在这个例子中,编码参数是GMV。换句话说,GMV导出单元171对应于图2的编码参数导出单元121-1。
图5是表示第二编码单元112-2的主要结构例子的方框图。如图5中所示,第二编码单元112-2具有和(图4的)第一编码单元112-1相同的基本结构,并进行相同的处理。
不过,第二编码单元112-2具有GMV变换单元172,而不是第一编码单元112-1的GMV导出单元171。
GMV变换单元172获得从(图4的)GMV导出单元供给的GMV,根据从(图2的)第二图像信息获取单元111-2供给的第一图像信息和第二图像信息,把该GMV变换成用于第二图像的值。GMV变换单元172把变换的GMV提供给运动预测和补偿单元165。运动预测和补偿单元165进行把该GMV作为一个起点的运动搜索。
从而,第二编码单元112-2能够省略导致沉重负荷的与GMV的导出相关的处理。因而,图像编码设备100能够减少冗长处理,从而能够抑制对图像编码来说不必要的负荷的增大。
(2)处理流程
下面,说明由如上的图像编码设备100进行的处理的流程。
(2-1)多个图像编码处理
下面参考图6的流程图,说明图像编码设备100执行的多个图像编码处理的流程的例子。
图像编码设备100的图像信息获取单元111(第一图像信息获取单元111-1和第二图像信息获取单元111-2)进行步骤S101和步骤S102的处理,以获得各个图像的图像信息。
编码单元112(第一编码单元112-1和第二编码单元112-2)进行步骤S103和步骤S104的处理,以对各个图像编码。
(2-2)编码处理
下面参考图7的流程图,说明在图6的步骤S103中执行的图像的编码处理的流程的例子。对每个系统的运动图像进行该处理。换句话说,第一编码单元112-1和第二编码单元112-2都进行该编码处理。
在步骤S121,A-D变换单元151对输入图像进行A-D变换。在步骤S122,屏幕重排缓冲器152保存A-D变换的图像,并把图像从图像显示顺序重排成编码顺序。
在步骤S123,帧内预测单元164按照帧内预测模式,进行帧内预测处理。在步骤S124,运动预测和补偿单元165按帧间预测模式,进行运动预测和运动补偿。
在步骤S125,预测图像选择单元166根据从帧内预测单元164和运动预测和补偿单元165输出的各个成本函数值,决定最佳预测模式。换句话说,预测图像选择单元166选择利用帧内预测单元164生成的预测图像,和利用运动预测和补偿单元165生成的预测图像之一。
在步骤S126,计算单元153计算在步骤S122的处理中重排的各个图像和在步骤S125的处理中选择的预测图像之间的差分。与原始图像数据的数据量相比,差分数据的数据量被减小得更多。从而,与其中图像被原样编码的情况相比,能够进一步压缩数据量。
在步骤S127,正交变换单元154正交变换在步骤S126的处理中产生的差分信息。具体地,进行诸如离散余弦变换或Karhunen-Loeve变换之类的正交变换,并输出变换系数。在步骤S128,量化单元155量化在步骤S127中获得的正交变换系数。
在步骤S128的处理中量化的差分信息如下所述被局部解码。换句话说,在步骤S129,逆量化单元158利用与步骤S128的量化对应的方法,对在步骤S128的处理中量化的正交变换系数进行逆量化。在步骤S130,逆正交变换单元159利用与步骤S127的处理对应的方法,对在步骤S129的处理中获得的正交变换系数进行逆正交变换。
在步骤S131,计算单元160相加预测图像和局部解码的差分信息,从而生成局部解码的图像(与计算单元153的输入对应的图像)。在步骤S132,解块滤波器161对在步骤S131的处理中生成的图像,进行解块滤波处理。从而除去块失真等。
在步骤S133,帧存储器162保存其中在步骤S132的处理中,除去了块失真等的图像。注意,未经历解块滤波器161的滤波处理的图像也从计算单元160被供给帧存储器162,并保存在其中。保存在帧存储器162中的图像用在步骤S123和步骤S124的处理中。
在步骤S134,无损编码单元156对在步骤S128的处理中量化的变换系数编码,从而生成编码数据。换句话说,对差分图像(在帧间编码的情况下,二次差分图像),进行诸如变长编码或算术编码之类的无损编码。
注意,无损编码单元156编码与在步骤S125的处理中选择的预测图像的预测模式相关的信息,并把该信息加入通过对差分图像编码而获得的编码数据中。例如,当选择帧内预测模式时,无损编码单元156编码帧内预测模式信息。另外,当选择帧间预测模式时,无损编码单元156编码帧间预测模式信息。该信息被加入例如作为报头信息等的编码数据中(复用)。
在步骤S135,累积缓冲器157累积在步骤S134的处理中生成的编码数据。累积在累积缓冲器157中的编码数据被适当读取,并通过任意传输线路(不仅包括通信线路,而且包括存储介质等),被传送给在解码侧的设备。
在步骤S136,速率控制单元167根据在步骤S135的处理中,累积在累积缓冲器157中的压缩图像,控制量化单元155的量化操作的速率,以致不会发生上溢或下溢。
当步骤S136的处理终止时,编码处理终止。
(2-3)帧间运动预测处理
下面参考图8的流程图,说明在图7的步骤S124中执行的帧间运动预测处理的流程的例子。当第一编码单元112-1对第一图像执行图7的编码处理时,执行本处理。
在步骤S151,第一编码单元112-1的运动预测和补偿单元165搜索第一图像的运动,以检测各个宏块的运动向量。在步骤S152,运动预测和补偿单元165利用运动向量,对参考图像进行补偿处理,从而生成预测图像。
在步骤S153,GMV导出单元171利用在步骤S151检测的各个宏块的运动向量,进行GMV导出处理。
运动预测和补偿单元165重复步骤S151-S154的处理,以对所有宏块进行该处理。
(2-4)GMV导出处理
下面参考图9的流程图,说明在图8的步骤S153中执行的GMV导出处理的流程的例子。
当图像内的第一个宏块(MB)被设定成处理目标时,GMV导出单元171通过执行步骤S161和步骤S162的处理,初始化用于运动向量(MV)收集的直方图。
在步骤S163,GMV导出单元171从运动预测和补偿单元165收集正被处理的宏块的运动向量,然后更新用于运动向量收集的直方图。
GMV导出单元171通过执行步骤S164和步骤S165的处理,收集图像内的最后的宏块的运动向量,随后搜索直方图中具有高频度的地点,并把其运动向量设定成GMV。GMV导出单元171把如上所述导出的GMV提供给第二编码单元112-2。
(2-5)帧间运动预测处理
下面参考图10的流程图,说明在图7的步骤S124中执行的帧间运动预测处理的流程的例子。当第二编码单元112-2对第二图像进行图7的编码处理时,执行本处理。
第二编码单元112-2的GMV变换单元172获得从GMV导出单元171供给的GMV,进行把该GMV变换成用于第二图像的GMV的GMV变换处理。
在步骤S172,第二编码单元112-2的运动预测和补偿单元165利用在步骤S171的GMV变换处理中生成的用于第二图像的GMV,搜索第二图像的运动,以检测各个宏块的运动向量。在步骤S173,运动预测和补偿单元165利用运动向量,对参考图像进行补偿处理,从而生成预测图像。
运动预测和补偿单元165重复步骤S171-S174的处理,以对所有宏块进行该处理。
(2-6)GMV导出处理
下面参考图11的流程图,说明在图10的步骤S171中执行的GMV导出处理的流程的例子。
当图像内的第一个宏块(MB)被设定成处理目标时,通过执行步骤S181和步骤S182的处理,GMV变换单元172利用从第二图像信息获取单元111-2供给的第一图像信息和第二图像信息,把从GMV导出单元171供给的GMV变换成用于正被处理的第二图像的GMV。
通过执行上述各个处理,图像编码设备100能够把为第一图像生成的GMV用于另一个图像(例如,第二图像)的编码。换句话说,图像编码设备100能够减少冗长处理,从而能够抑制对图像编码来说不必要的负荷的增大。
(3)前馈
应注意,如现有技术中一样,当为每个运动图像导出GMV时,该GMV用在比导出定时晚的帧中。如图12的A中所示,例如,在帧(M+1)中导出的GMV用在帧(M+2)中。换句话说,进行反馈控制。从而,由于GMV的导出定时和使用定时不同,因此存在GMV的精度降低的担忧。
另一方面,如上所述,当使用在另一个运动图像中导出的GMV时,可在和从其导出该GMV的帧相同定时的帧中,使用该GMV。例如,如在图12的B中所示,在第一图像的帧(M+1)中导出的GMV可以用在第二图像的帧(M+1)中。换句话说,前馈控制是可能的。从而,由于GMV的导出定时和使用定时相同或更接近,因此图像编码设备100能够改善GMV的精度。
(4)图像信息
下面说明一个更具体的例子。
(4-1)视角
在第一图像和第二图像之间不同的一个图像信息被假定为视角。例如,如在图13的A中所示,第一图像被假定成在广角端,而第二图像被假定成在远摄端。在这种情况下,第一图像和第二图像的被摄物体基本相同,但是第一图像具有更宽的视角。
利用第一图像信息获取单元111-1获得的第一图像的视角被设定成视角[1],而利用第二图像信息获取单元111-2获得的第二图像的视角被设定成视角[2]。另外,利用GMV导出单元171导出的第一图像的GMV被设定成GMV[1]。GMV变换单元172可容易地获得第二图像的GMV[2],如下面的式(1)所示。
GMV[2]=视角[2]/视角[1]×GMV[1]…(1)
(4-2)图像大小
在第一图像和第二图像之间不同的另一个图像信息被假定为图像大小。例如,如在图13的B中所示,第一图像的图像大小被假定大于第二图像的大小。在这种情况下,第一图像和第二图像的被摄物体基本相同,但是第一图像是较大的图像。
利用第一图像信息获取单元111-1获得的第一图像的图像大小被设定成图像大小[1],而利用第二图像信息获取单元111-2获得的第二图像的图像大小被设定成图像大小[2]。另外,利用GMV导出单元171导出的第一图像的GMV被设定成GMV[1]。GMV变换单元172可容易地获得第二图像的GMV[2],如下面的式(2)所示。
GMV[2]=图像大小[2]/图像大小[1]×GMV[1]…(2)
(4-3)FPS
在第一图像和第二图像之间不同的另一个图像信息被假定为帧速率(FPS)。例如,如在图14的A中所示,第一图像的帧速率被假定为第二图像的帧速率的2倍。这种情况下,第一图像和第二图像的图像相同,但是在第二图像中,不存在“M+1”定时的帧。
利用第一图像信息获取单元111-1获得的第一图像的帧速率被设定成fps[1],而利用第二图像信息获取单元111-2获得的第二图像的帧速率被设定成fps[2]。另外,利用GMV导出单元171导出的第一图像的帧“M+2”的GMV被设定成GMV[1,M+2]。GMV变换单元172可容易地获得第二图像的帧“M+2”的GMV[2,M+2],如下面的式(3)所示。
GMV[2,M+2]=fps[2]/fps[1]×GMV[1,M+2]…(3)
例如,当设定fps[1]=60i和fps[2]=30p时,GMV变换单元172可如下获得GMV[2,M+2]。
GMV[2,M+2]=GMV[1,M+2]
(4-4)视差
假定例如如MVC的图像中一样,在第一图像和第二图像之间存在视差。例如如在图14的B中所示,第一图像被假定为左眼图像,而第二图像被假定为右眼图像。这种情况下,第一图像和第二图像的被摄物体基本相同,但是在第一图像和第二图像之间出现视差。
这种情况下,视差引起的图像的差异很小,从而第一图像和第二图像可被认为基本相同。从而,通过利用第一图像的GMV[1],GMV变换单元172可容易地获得第二图像的GMV[2],如下面的式(4)所示。
GMV[2]=GMV[1]…(4)
换句话说,第一图像的GMV可以无变化地应用于第二图像。
注意,可对任意图像信息,进行前馈控制。
另外,在第一图像和第二图像之间不同的图像信息可以是除以上例子之外的图像信息。另外,可存在在第一图像和第二图像之间不同的多个图像信息。
<3.第三实施例>
[速率控制参数]
用于另一个运动图像的编码参数可以是除GMV外的一个编码参数。例如,它可是用于速率控制的参数(速率控制参数)。更具体地,它可是例如每一帧的目标比特,或者Q值(量化参数)。
例如,以图像为单位,导出目标比特,并且用在时间比从其导出所述目标比特的帧或场更晚的待处理帧或场的速率控制中。在MVC的情况下,导出目标比特的方法例如由TM 5(测试模型5)定义,目标比特的导出(TM 5的步骤1)导致沉重的负荷。
通过把利用第一编码单元112-1导出的目标比特用于第二编码单元112-2的编码处理,图像编码设备100能够省略导致沉重负荷的与目标比特的导出相关的处理。因而,图像编码设备100能够抑制负荷的增大。
另外,对于每个宏块,计算Q值。TM5定义作为与预定Q值的差分的ΔQ值的计算(步骤3)。这种处理的负荷也沉重。
通过把利用第一编码单元112-1导出的ΔQ值用于第二编码单元112-2的编码处理,图像编码设备100能够省略导致沉重负荷的与ΔQ值的导出相关的处理。因而,图像编码设备100能够抑制负荷的增大。
(1)编码单元
图15是表示这种情况的第一编码单元112-1的主要结构例子的方框图。
在图15的例子的情况下,第一编码单元112-1也具有和图4的例子基本相同的结构,不过在图15中,省略了GMV导出单元171,并且包括速率控制单元201,而不是速率控制单元167。
速率控制单元201是基本上和速率控制单元167相同的处理单元,不过具有速率控制参数导出单元202。
速率控制参数导出单元202生成与速率控制相关的编码参数(速率控制参数),比如目标比特、ΔQ值等。速率控制单元201利用由速率控制参数导出单元202导出的速率控制参数,进行速率控制。另外,速率控制单元201(速率控制参数导出单元202)把导出的速率控制参数,例如,目标比特、ΔQ值等提供给第二编码单元112-2。
图16是表示第二编码单元112-2的主要结构例子的方框图。如图16中所示,第二编码单元112-2具有和(图15的)第一编码单元112-1相同的基本结构,并进行相同的处理。
不过,第二编码单元112-2具有速率控制单元211,而不是第一编码单元112-1的速率控制单元201。
速率控制单元211是进行和速率控制单元201相同的速率控制的处理单元,不过具有速率控制参数变换单元212。
速率控制参数变换单元212根据从(图2的)第二图像信息获取单元111-2供给的第一图像信息和第二图像信息,把从(图15的)速率控制单元201(速率控制参数导出单元202)供给供给的速率控制参数,比如目标比特、ΔQ值等,变换成用于第二图像的参数。速率控制单元211利用变换的速率控制参数,进行第二图像编码的速率控制。
按照以上方式,第二编码单元112-2能够省略导致沉重负荷的与速率控制参数的导出相关的处理。因而,图像编码设备100能够减少冗长处理,从而能够抑制对图像编码来说不必要的负荷的增大。
(2)处理流程
下面,说明图像编码设备100执行的处理的流程。按照和图6的例子相同的方式,执行多个图像编码处理。
(2-1)编码处理
图17表示这种情况的编码处理的流程的例子。如图17中所示,按照和图7的情况相同的方式,执行这种情况的编码处理。换句话说,按照分别和图7的步骤S121-步骤S136基本相同的方式,执行步骤S201-步骤S216的处理。不过,在图17的例子中,在步骤S216的速率控制的同时,而不是在步骤S204的帧间运动预测处理中,进行编码参数的导出或变换。
和图7的情况中一样,对每个系统的运动图像,也进行图17中所示的编码处理。换句话说,第一编码单元112-1和第二编码单元112-2都进行编码处理。
(2-2)速率控制处理
下面参考图18的流程图,说明在图17的编码处理的步骤S216中,由第一编码单元112-1执行的速率控制处理的流程的例子。
第一编码单元112-1的速率控制参数导出单元202执行步骤S231-步骤S233的处理,以在图像内的第一宏块的处理期间,获得以图像为单位的目标比特,作为速率控制参数,随后初始化图像单位的生成比特量。
在步骤S234,速率控制参数导出单元202获得正被处理的宏块的Q值(TM 5的步骤3的ΔQ值),作为速率控制参数。
在步骤S235,速率控制参数导出单元202相加正被处理的宏块的生成比特量和图像单位的生成比特量。
速率控制参数导出单元202执行步骤S236-步骤S237的处理,以在图像内的最后宏块的处理期间,获得在图像中产生的比特量。速率控制单元201利用速率控制参数,进行速率控制。
(2-3)速率控制处理:目标比特
下面参考图19的流程图,说明当速率控制参数是目标比特时,在图17的编码处理的步骤S216中,由第二编码单元112-2执行的速率控制处理的流程的例子。
速率控制参数变换单元212执行步骤S241-步骤S243的处理,以把作为在处理图像内的第一宏块时,从速率控制参数导出单元202供给的作为速率控制参数的目标比特变换成正被处理的第二图像的目标比特,随后初始化图像单位的生成比特量。
速率控制单元211在步骤S244,获得正被处理的宏块的Q值(TM 5的步骤3的ΔQ值),在步骤S245,相加正被处理的宏块的生成比特量和图像单位的生成比特量,随后在处理图像内的最后宏块的时候,通过步骤S246和步骤S247的处理,获得在图像中生成的比特量。
换句话说,速率控制参数导出单元202导出第一图像的各个画面的目标比特[1],把目标比特传送给速率控制参数变换单元212。速率控制参数变换单元212获得第一图像的比特率[1],作为第一图像信息,获得第二图像的比特率[2],作为第二图像信息。利用图像信息,速率控制参数变换单元212能够容易地根据第一图像的各个画面的目标比特[1],获得第二图像的各个画面的目标比特[2],如用下面的式(5)所示。
目标比特[2]=比特率[2]/比特率[1]×目标比特[1]…(5)
因而,能够导出目标比特[2],而不需要第二编码单元112-2进行负荷沉重的图像的目标比特的导出(步骤1)。
(2-4)速率控制处理:ΔQ值
下面参考图20的流程图,说明当速率控制参数是ΔQ值时,在图17的编码处理的步骤S216中,由第二编码单元112-2执行的速率控制处理的流程的例子。
速率控制单元211执行步骤S251-步骤S253的处理,以在处理图像内的第一宏块时,导出图像单位的目标比特,并初始化图像单位的生成比特量。
在步骤S254,速率控制参数变换单元212把从速率控制参数导出单元202供给的,作为正被处理的宏块的速率控制参数的ΔQ值(TM 5的步骤3的ΔQ值),变换成第二图像的正被处理的宏块的ΔQ值(TM 5的步骤3的ΔQ值),第二图像是正被处理的图像。
速率控制单元211在步骤S255,相加正被处理的宏块的生成比特量和图像单位的生成比特量,在处理图像内的第一宏块时,通过步骤S256和步骤S257的处理,获得在图像中生成的比特量。
换句话说,速率控制参数导出单元202对于第一图像的各个宏块,导出步骤3的ΔQ值[1],并把ΔQ值传送给速率控制参数变换单元212。
速率控制参数变换单元212获得第一图像的视角[1],作为第一图像信息,并获得第二图像的视角[2],作为第二图像信息。利用所述图像信息,速率控制参数变换单元212能够根据第一图像的正被处理的宏块的步骤3的ΔQ值[1],容易地获得第二图像的正被处理的宏块的步骤3的ΔQ值[2],如用下面的式(6)所示。
步骤3的ΔQ值[2]=视角[2]/视角[1]×步骤3的ΔQ值[1]…(6)
因而,在按照和现有技术相同的方式,利用各个MB进行步骤2时,第二编码单元112-2能够省略步骤3的处理。换句话说,能够导出各个宏块的ΔQ值,而不需要对各个宏块进行导致沉重负荷的步骤3的处理。
(2-5)速率控制处理:前馈
下面参考图21的流程图,说明当速率控制参数是目标比特时,在图17的编码处理的步骤S216中,由第二编码单元112-2执行的速率控制处理的流程的例子。在图21的例子的情况下,在前馈控制中,进行目标比特的控制。
速率控制参数变换单元212执行步骤S261-步骤S263的处理,以利用生成比特量,把在处理图像内的第一宏块之时,从速率控制参数导出单元202供给的作为速率控制参数的目标比特,变换成作为正被处理的图像的第二图像的目标比特,并初始化图像单位的生成比特量。
按照和图19的步骤S244-步骤S247的处理相同的方式,分别执行步骤S264-S267的处理。
换句话说,速率控制参数导出单元202导出第一图像的各个画面的目标比特[1]和生成比特量[1],并把数据传送给速率控制参数变换单元212。速率控制参数变换单元212获得第一图像的比特率[1],作为第一图像信息,并获得第二图像的比特率[2],作为第二图像信息。通过利用图像信息,速率控制参数变换单元212能够根据第一图像的各个画面的目标比特[1]和生成比特量[1],容易地获得第二图像的各个画面的目标比特[2],如用下面的式(7)所示。
目标比特[2]=比特率[2]/比特率[1]×(目标比特[1]+α(生成比特量[1]-目标比特[1]))…(7)
因而,能够导出目标比特[2],而不需要第二编码单元112-2进行导致沉重负荷的各个画面的目标比特的导出(步骤1)。
另外,如图22的A中所示,现有技术中存在反馈控制,不过,在进行以上操作之后,第一图像的画面M的结果可被应用于第二图像的画面M,如图22的B中所示,因而,前馈处理是可能的,这带来图像质量改善的效果。
上面说明的图像单位的目标比特的导出,关于各个MB的步骤3的处理,和前馈处理可被任意组合。
(2-6)速率控制处理:图像大小
注意,用于变换速率控制参数的图像信息是任意的,并不局限于上述例子。例如,当对步骤3的ΔQ值进行变换时,可以使用图像大小。
这种情况的流程图和图20中所示的例子相同。
换句话说,速率控制参数导出单元202对于第一图像的各个宏块,导出步骤3的ΔQ值[1],随后把该值传送给速率控制参数变换单元212。
速率控制参数变换单元212获得第一图像的图像大小[1],作为第一图像信息,并获得第二图像的图像大小[2],作为第二图像信息。通过利用所述图像信息,速率控制参数变换单元212能够根据第一图像的正被处理的宏块的步骤3的ΔQ值[1],容易地获得第二图像的正被处理的宏块的步骤3的ΔQ值[2],如用下面的式(8)所示。
步骤3的ΔQ值[2]=图像大小[2]/图像大小[1]×步骤3的ΔQ值[1] …(8)
因而,在按照和现有技术相同的方式,对于各个MB进行步骤2时,第二编码单元112-2能够省略步骤3的处理。换句话说,能够导出各个宏块的ΔQ值,而不需要对各个宏块进行导致沉重负荷的步骤3的处理。
(2-7)速率控制处理:帧速率
注意,用于变换速率控制参数的图像信息是任意的,并不局限于上述例子。例如,当变换目标比特时,可以使用帧速率(fps)。
这种情况的流程图和图19中所示的例子相同。
换句话说,速率控制参数导出单元202导出第一图像的各个画面的目标比特[1,M]、画面生成比特量[1,M]、各个画面的目标比特[1,M+1]、和画面生成比特量[1,M+1],并把数据传送给速率控制参数变换单元212。速率控制参数变换单元212获得第一图像的fps[1],作为第一图像信息,并获得第二图像的fps[2],作为第二图像信息。通过利用所述图像信息,速率控制参数变换单元212能够容易地获得第二图像的各个画面的目标比特[2,M],如用下面的式(9)所示。
目标比特[2,M]=fps[2]/fps[1]×(目标比特[1,M]+目标比特[1,M+1])…(9)
注意,当进行前馈控制时,速率控制参数变换单元212能够容易地获得第二图像的各个画面的目标比特[2,M],如用下面的式(10)所示。
目标比特[2,M]=fps[2]/fps[1]×(目标比特[1,M]+目标比特[1,M+1])+α(生成比特量[1,M]+生成比特量[1,M+1]-(目标比特[1,M]+目标比特[1,M+1])) …(10)
上面说明的图像单位的目标比特的导出,对于各个MB的步骤3的处理,和前馈控制可被任意组合。
另外,和当利用比特率作为图像信息时一样,在第二编码单元112-2中,可以省略步骤3的ΔQ值的处理。
注意,用于变换速率控制参数的图像信息并不局限于上述例子。另外,用于变换速率控制参数的图像信息的数目也是任意的。例如,也可以组合地使用诸如比特率、视角、图像大小和fps之类的多个图像信息。
此外,和MVC标准的情况下一样,速率控制参数可被设定成利用第一图像和第二图像之间的视差来变换。在这种情况下,第一图像和第二图像被设定成只具有轻微视差的实质上相同的图像。因此,可以按照和当利用比特率作为图像信息时相同的方式,处理图像。因而,能够减少目标比特的导出处理,能够减少步骤3的ΔQ值的导出,通过前馈处理,能够改善图像质量。
<4.第四实施例>
[MV]
用于另一个运动图像的编码参数可以是例如运动向量。通常以整数精度、分数精度等,多次地进行运动预测和补偿单元165的运动预测,这导致沉重的负荷。
通过把利用第一编码单元112-1导出的运动向量用于第二编码单元112-2的编码处理,图像编码设备100能够省略导致沉重负荷的与导出运动向量相关的处理。因而,图像编码设备100能够抑制负荷的增大。
(1)编码单元
图23是表示这种情况的第一编码单元112-1的主要结构例子的方框图。
在图23的例子的情况下,第一编码单元112-1也具有和图4的例子相同的基本结构,不过在图23的情况下,省略了GMV导出单元171。另外,在图23的情况下,第一编码单元112-1具有运动预测和补偿单元301。运动预测和补偿单元301是和运动预测和补偿单元165相同的处理单元。运动预测和补偿单元301具有导出第一图像的运动向量的MV导出单元302。
MV导出单元302利用第一图像的编码部分的图像,在利用第一编码单元112-1编码的第一图像的帧间预测中,进行运动搜索,以导出当前部分的运动向量。
图24是表示这种情况的第二编码单元112-2的主要结构例子的方框图。
在图24的例子的情况下,第二编码单元112-2也具有和图5的例子相同的基本结构,不过在图24的情况下,GMV变换单元172被省略。另外,在图24的情况下,第二编码单元112-2具有运动预测和补偿单元311,而不是运动预测和补偿单元165。运动预测和补偿单元311具有MV变换单元312,而不是MV导出单元。
MV变换单元312变换利用MV导出单元302导出的第一图像的运动向量,以导出第二图像的运动向量。
(2)MV导出单元和变换单元
在现有技术中,在第一编码单元112-1中,设置MV导出单元321,在第二编码单元112-2中,设置MV导出单元322,如图25中所示。即,MV是彼此独立地导出的。
MV导出单元321具有原始图像剔除电路331、参考图像剔除电路332、第一级缩小图像整数精度运动向量搜索单元333、第二级非缩小图像整数精度运动向量搜索单元334、和分数精度运动向量搜索单元335。
原始图像剔除电路通过剔除原始图像,生成缩小的原始图像。参考图像剔除电路332通过剔除参考图像,生成缩小的参考图像。
第一级缩小图像整数精度运动向量搜索单元333利用从原始图像剔除电路供给的缩小的原始图像,和从参考图像剔除电路332供给的缩小的参考图像,生成缩小图像整数精度运动向量MV1。
第二级非缩小图像整数精度运动向量搜索单元334利用未被缩小的原始图像和参考图像,把缩小图像整数精度运动向量MV1变换成非缩小图像整数精度运动向量MV2。
分数精度运动向量搜索单元335利用原始图像及其缩小图像,把非缩小图像整数精度运动向量MV2变换成分数精度运动向量MV3。分数精度运动向量MV3被提供给运动预测和补偿单元301。
MV导出单元322具有原始图像剔除电路341、参考图像剔除电路342、第一级缩小图像整数精度运动向量搜索单元343、第二级非缩小图像整数精度运动向量搜索单元344、和分数精度运动向量搜索单元345。
原始图像剔除电路341~分数精度运动向量搜索单元345分别对应于原始图像剔除电路331~分数精度运动向量搜索单元335,从而进行相同的处理。
换句话说,就现有技术中的运动向量的生成来说,执行了冗长处理。
另一方面,第一编码单元112-1(运动预测和补偿单元301)具有MV导出单元302,第二编码单元112-2(运动预测和补偿单元311)具有MV变换单元312。图26中表示了MV导出单元302和MV变换单元312的主要结构例子。
如图26中所示,和现有技术中一样,MV导出单元302具有原始图像剔除电路331~分数精度运动向量搜索单元335。MV变换单元312具有代替原始图像剔除电路341~第一级缩小图像整数精度运动向量搜索单元343的MV调整单元351。
MV调整单元351获得由MV导出单元302生成的分数精度运动向量MV3。MV调整单元351利用第一图像信息、第二图像信息等,变换供给的分数精度运动向量MV3,从而导出缩小图像整数精度运动向量MV4。缩小图像整数精度运动向量MV4对应于缩小图像整数精度运动向量MV1。
按照和上述GMV的情况相同的方式,MV调整单元351通过把第一图像信息和第二图像信息的关于例如视角、图像大小、帧速率等之比乘以分数精度运动向量MV3,导出缩小图像整数精度运动向量MV4。换句话说,如用式(1)-式(4)之一所述,导出缩小图像整数精度运动向量MV4。
随后,和现有技术中一样,第二级非缩小图像整数精度运动向量搜索单元344导出非缩小图像整数精度运动向量MV5,随后,分数精度运动向量搜索单元345导出分数精度运动向量MV6。分数精度运动向量MV6被输出到MV变换单元312之外。
利用以上操作,在运动预测和补偿单元311中,省略原始图像剔除电路331、参考图像剔除电路332和第一级缩小图像整数精度运动向量搜索单元333的操作。换句话说,由于抑制了冗长处理的执行,因此图像编码设备100能够抑制负荷的增大。
(3)处理流程
按照和图6的例子相同的方式,执行多个图像编码处理。按照和图7的例子相同的方式,执行编码处理。
(3-1)帧间运动预测处理
下面参考图27的流程图,说明这种情况的在图7的步骤S124中执行的帧间运动预测处理的流程的例子。当第一编码单元112-1对第一图像执行图7的编码处理时,执行本处理。
在步骤S301,MV导出单元302进行第一图像的运动搜索。
在步骤S302,运动预测和补偿单元301利用运动向量,对参考图像进行补偿处理,从而生成预测图像。重复步骤S301-步骤S303的各个处理,直到处理了所有宏块为止。
(3-2)运动向量搜索处理
下面参考图28的流程图,说明在图27的步骤S301中执行的运动向量搜索处理的例子。
在步骤S321,原始图像剔除电路331创建原始图像的缩小图像。在步骤S322,参考图像剔除电路332创建参考图像的缩小图像。
在步骤S323,第一级缩小图像整数精度运动向量搜索单元333进行第一级缩小图像整数精度运动向量搜索,从而导出缩小图像整数精度运动向量MV1。
在步骤S324,第二级非缩小图像整数精度运动向量搜索单元334利用原始图像、参考图像和缩小图像整数精度运动向量MV1,进行第二级非缩小图像整数精度运动向量搜索,从而导出非缩小图像整数精度运动向量MV2。
在步骤S325,分数精度运动向量搜索单元335利用原始图像、参考图像和非缩小图像整数精度运动向量MV2,进行分数精度运动向量搜索,从而生成分数精度运动向量MV3。
在步骤S326,分数精度运动向量搜索单元335把分数精度运动向量MV3输出到MV导出单元302之外,还把该向量提供给MV变换单元312。
(3-3)帧间运动预测处理
下面参考图29的流程图,说明这种情况的在图7的步骤S124中执行的帧间运动预测的流程的例子。当第二编码单元112-2对第二图像进行图7的编码处理时,执行本处理。
在步骤S341,MV变换单元312利用从MV导出单元302供给的运动向量,进行第二图像的运动搜索。
在步骤S342,运动预测和补偿单元311利用运动向量,进行参考图像的补偿处理,从而生成预测图像。重复步骤S341-步骤S343的各个处理,直到处理了所有宏块为止。
(3-4)运动向量搜索处理
下面参考图30的流程图,说明在图29的步骤S341中执行的运动向量搜索处理的流程的例子。
在步骤S361,MV调整单元351获得从MV导出单元302供给的分数精度运动向量MV3。在步骤S362,MV调整单元351根据图像信息等,调整运动向量,从而导出缩小图像整数精度运动向量MV4。
在步骤S363,第二级非缩小图像整数精度运动向量搜索单元344利用原始图像、参考图像和缩小图像整数精度运动向量MV4,进行第二级非缩小图像整数精度运动向量搜索,从而导出非缩小图像整数精度运动向量MV5。
在步骤S364,分数精度运动向量搜索单元345利用原始图像、参考图像和非缩小图像整数精度运动向量MV5,进行分数精度运动向量搜索,从而导出分数精度运动向量MV6。分数精度运动向量搜索单元345把生成的分数精度运动向量MV6输出到MV变换单元312之外。
通过进行以上各个处理,图像编码设备100能够把对于第一图像生成的MV用于另一个图像(例如,第二图像)的编码。换句话说,图像编码设备100能够减少冗长处理,从而能够抑制对图像编码来说不必要的负荷的增大。
注意,用于MV调整单元351导出缩小图像整数精度运动向量MV4的图像信息是任意的,可以是除上述例子外的信息。
另外,上面说明了利用MV导出单元302生成的分数精度运动向量MV3被调整,以导出缩小图像整数精度运动向量MV4,不过并不局限于此,MV调整单元351可被设定成调整分数精度运动向量MV3,以导出非缩小图像整数精度运动向量MV5。利用这种结构,第二级非缩小图像整数精度运动向量搜索单元344也可被省略。
此外,MV调整单元351可被设定成调整分数精度运动向量MV3,以导出分数精度运动向量MV6。利用这种结构,分数精度运动向量搜索单元345也可被省略。
不过,当处理被省略时,运动向量的精度降低,从而理想的是在实用范围内,决定要被省略的处理。注意,MV调整单元351可被设定成能够按照状况,选择分数精度运动向量MV3是否要被变换成缩小图像整数精度运动向量MV4~分数精度运动向量MV6之一。
另外,上面把分数精度运动向量MV3描述成从MV导出单元302提供给MV变换单元312,不过并不局限于此,缩小图像整数精度运动向量MV1或非缩小图像整数精度运动向量MV5可被设定成从MV导出单元302提供给MV变换单元312。另外,可以设定成能够选择哪个向量将被从MV导出单元302提供给MV变换单元312。
<5.第五实施例>
[帧内预测模式]
在诸如MVC标准的运动图像之类的立体运动图像的情况下,左右图像(第一图像和第二图像)具有预定视差,不过被摄物体基本上实质上相同,从而作为画面的内容实质上相同。因此,第一图像和第二图像的帧内预测模式实质上相同。从而,如现有技术中那样,对于各个运动图像,独立地导出帧内预测模式是冗长的,从而存在负荷不必要地增大的担忧。
从而,如在上述其它实施例中一样,图像编码设备100把对于某个图像生成的帧内预测模式用于另一个图像。
不过如上所述,第一图像和第二图像之间存在视差。换句话说,第一图像和第二图像在水平方向彼此偏离,从而导致视差。从而,难以把一方的帧内预测模式无变化地应用于另一方面。不过,由于图像只在水平方向偏离,因此通过把帧内预测模式移动偏离量,一方的帧内预测模式可被应用于另一方。于是,能够容易地把一方的帧内预测模式应用于另一方。
(1)编码单元
图31是表示这种情况的第一编码单元112-1的主要结构例子的方框图。
在图31的例子的情况下,第一编码单元112-1也具有和图4的例子的情况相同的基本结构,不过在图31的情况下,省略了GMV导出单元171。图31中所示的帧内预测单元401是和帧内预测单元164相同的处理单元。帧内预测单元401具有导出第一图像的帧内预测模式的帧内预测模式导出单元402。
帧内预测模式导出单元402利用由第一编码单元112-1编码的第一图像的编码部分的图像,进行当前部分的预测,从而导出第一图像的帧内预测模式。
图32是表示这种情况的第二编码单元112-2的主要结构例子的方框图。
在图32的例子的情况下,第二编码单元112-2也具有和图5的例子的情况相同的基本结构,不过在图32的情况下,省略了GMV变换单元172。另外,在图32的例子的情况下,第二编码单元112-2具有帧内预测单元411,而不是帧内预测单元164。帧内预测单元411具有帧内预测模式变换单元412,而不是帧内预测模式导出单元。
帧内预测模式变换单元412变换利用帧内预测导出单元402导出的第一图像的帧内预测,从而导出第二图像的帧内预测模式。
(2)帧内预测单元
图33是表示帧内预测单元401和帧内预测单元411的主要结构例子的方框图。
如图33中所示,帧内预测单元401具有帧内预测模式导出单元402和预测图像生成单元403。
帧内预测模式导出单元402利用第一图像的原始图像和参考图像,导出第一图像的帧内预测模式。帧内预测模式导出单元402把导出的帧内预测模式提供给预测图像生成单元403。
预测图像生成单元403利用供给的帧内预测模式,生成预测图像,并把预测图像提供给预测图像选择单元166。
另外,帧内预测模式导出单元402把导出的第一图像的帧内预测模式提供给帧内预测单元411的帧内预测模式变换单元412。
如图33中所示,帧内预测单元411具有帧内预测模式变换单元412和预测图像生成单元413。另外,帧内预测模式变换单元412具有移动量计算单元421和帧内预测模式计算单元422。
移动量计算单元421获得从帧内预测模式导出单元402供给的帧内预测模式,和从外部供给的与成像相关的照相机信息,比如成像条件、设定信息等。移动量计算单元421根据以上信息,和从第二图像信息获取单元111-2供给的第一图像信息和第二图像信息等,指定第一图像和第二图像之间的视差量,导出帧内预测模式的移动量,随后把导出的移动量提供给帧内预测模式计算单元422。
帧内预测模式计算单元422把从帧内预测模式导出单元402供给的第一图像的帧内预测模式移动由移动量计算单元421计算的移动量,从而导出第二图像的帧内预测模式。帧内预测模式计算单元422把导出的第二图像的帧内预测模式提供给预测图像生成单元413。
预测图像生成单元413利用供给的帧内预测模式,生成预测图像,随后把预测图像提供给预测图像选择单元166。
(3)移动
例如,假定第一图像(Lch)的帧内预测模式和第二图像(Rch)的帧内预测模式处于在图34的A中所示的状态。在这种情况下,两个图像的被黑框环绕的部分实质上相同,如在图34的B中所示。
从而,如果第一图像(Lch)的被黑框环绕的部分被向左移动一个宏块,并且右端的宏块被设定成DC模式,那么如在图34的C中所示,生成实质上和图34的A的第二图像(Rch)的帧内预测模式相同的帧内预测模式。换句话说,通过移动第一图像(Lch)的帧内预测模式,能够导出实质上和第二图像(Rch)的帧内预测模式相同的帧内预测模式。
按照这种方式,图像编码设备100通过利用图像之间的高相关性,把关于某个图像导出的帧内预测模式用于另一个图像。因而,图像编码设备100能够省略与导致沉重负荷的帧内预测相关的冗长处理。因而,图像编码设备100能够抑制负荷的增大。
(4)处理流程
下面说明由上述图像编码设备100执行的处理的流程。按照和图6的例子相同的方式,执行多个图像编码处理。
(4-1)编码处理
图35中表示这种情况的编码处理的流程的例子。如图35中所示,也按照和图7的情况相同的方式,执行这种情况的编码处理。换句话说,分别按照和图7的步骤S121-步骤S136的处理基本相同的方式,执行步骤S401-步骤S416的处理。不过,在图35的例子的情况下,编码参数的导出或变换是在步骤S403的帧内预测处理中进行的,而不是在步骤S404的帧间预测处理中进行的。
和图7的情况一样,对于各个系统的运动图像,也进行图35中所示的编码处理。换句话说,第一编码单元112-1和第二编码单元112-2都执行编码处理。
(4-2)帧内预测处理
下面参考图36的流程图,说明在图35的步骤S403,由帧内预测单元401执行的帧内预测处理的流程的例子。
在步骤S421,帧内预测模式导出单元402导出帧内预测模式。在步骤S422,预测图像生成单元403按照导出的帧内预测模式,生成预测图像。
在步骤S423,帧内预测模式导出单元402把在步骤S421导出的帧内预测模式,提供给帧内预测变换单元412。
(4-3)帧内预测处理
下面参考图37的流程图,说明在图35的步骤S403,由帧内预测单元411执行的帧内预测处理的流程的例子。
在步骤S431,帧内预测模式变换单元412获得第一图像的帧内预测模式。
在步骤S432,帧内预测模式变换单元412进行把在步骤S431获得的第一图像的帧内预测模式变换成第二图像的帧内预测模式的帧内变换处理。
在步骤S433,预测图像生成单元413按变换的帧内预测模式,生成预测图像。
(5)帧内变换处理
下面,说明在图37的步骤S432中执行的帧内变换处理。在帧内变换处理中,帧内预测模式变换单元412确定第一图像的帧内预测模式的移动量,把第一图像的帧内预测模式移动所述移动量,从而导出第二图像的帧内预测模式。
确定移动量的方法是任意的。例如,移动量可能已知。例如,在MVC标准的情况下,图像之间的视差被预先确定。从而,待移动的帧内预测模式的量也是固定值。
从而,在这种情况下,移动量可被设定成固定值(例如,预定数目的块)。换句话说,这种情况下,移动量计算单元421可被省略。
下面参考图38的流程图,说明这种情况的帧内变换处理的流程的例子。
在步骤S441,帧内预测模式计算单元422把供给的第一图像的帧内预测模式沿水平方向移动预定数目的块。
在步骤S442,帧内预测模式计算单元422判定在正被处理的宏块中,是否存在被移动的帧内预测模式。当判定存在被移动的帧内预测模式时,处理进入步骤S443,帧内预测模式计算单元422把被移动的帧内预测模式设定为正被处理的宏块的帧内预测模式。
另外,在步骤S442,当判定在正被处理的宏块中,不存在被移动的帧内预测模式时,处理进入步骤S444,并且帧内预测模式计算单元422利用任意方法,导出帧内预测模式。
通过如上所述把移动量设定成固定值,图像编码设备100能够更容易地移动帧内预测模式。
例如,宏块的帧内预测模式可被设定成全部都是DC模式,或者相邻宏块的帧内预测模式可被设定成重复。
另外,移动量计算单元421可被设定成根据照相机信息,确定帧内预测模式的移动量。
下面参考图39的流程图,说明这种情况的帧内变换处理的流程的例子。
移动量计算单元421在步骤S451获得照相机信息,并在步骤S452利用所述照相机信息确定移动量。
在步骤S453,帧内预测模式计算单元422沿水平方向,把供给的帧内预测模式移动在步骤S452中确定的移动量。
按照和图38的步骤S442-步骤S444相同的方式,执行步骤S454-步骤S456的处理。
通过如上所述把移动量设定成可变,图像编码设备100能够更准确地导出移动量。
另外,移动量计算单元421可被设定成通过对于一些宏块计算第二图像的帧内预测模式,随后比较第二图像的帧内预测模式和第一图像的帧内预测模式,估计移动量。例如,移动量计算单元421对于一个宏块,导出第二图像的帧内预测模式,并对于其一条块线(block line),比较第一图像的帧内预测模式和第二图像的帧内预测模式。移动量计算单元421根据比较结果获得第一图像和第二图像之间的偏离,从而确定移动量。移动量可被设定成是如上所述导出的。
下面参考图40的流程图,说明这种情况的帧内变换处理的流程的例子。
在步骤S461,移动量计算单元421对于一些宏块导出第二图像的帧内预测模式。在步骤S462,移动量计算单元421比较在步骤S461中导出的第二图像的帧内预测模式和第一图像的帧内预测模式,随后按照比较结果,导出移动量。
分别按照和步骤S453-步骤S456的处理相同的方式,执行步骤S463-步骤S466的处理。
通过如上实际比较第一图像的帧内预测模式和第二图像的帧内预测模式,图像编码设备100能够更精确地导出移动量。
注意,对其比较帧内预测模式的块的数目是任意的。精度随着所述数目的增大而提高,不过,负荷降低的优点恶化。
另外,上面说明了用于确定移动量的帧内预测模式的比较,不过实施例并不局限于此,可以比较第一图像和第二图像,并根据比较结果,计算移动量。
另外,在上述所有情况下,移动方向是任意的,只要该方向对应于第一图像和第二图像之间的偏离方向。例如,移动方向可以是垂直方向、倾斜方向或者旋转方向。另外,移动方向可以是通过组合多个方向中的任意两个或者更多方向而获得的方向。
另外,在不进行移动的情况下,在第二图像的帧内预测之际,候选的预测方向可被设定成有限的。例如,由于第一图像和第二图像之间的相关性高,因此它们的帧内预测模式的相关性预计也较高。换句话说,在第一图像和第二图像中,某些宏块的帧内预测模式(预测方向)预计通常相似。
从而,参考第一图像的帧内预测模式,充当第二图像的帧内预测的候选者的预测方向可被设定成有限的。例如,在第一图像中,其预测方向是水平方向的宏块很可能在第二图像中也把水平方向作为预测方向,而不太可能把垂直方向作为预测方向。从而,在对于第二图像的宏块的帧内预测中,垂直方向可被设定成被排除在预测方向的候选方向之外。
下面参考图41的流程图,说明这种情况的帧内变换处理的流程的例子。
在步骤S471,帧内预测模式计算单元422按照供给的第一图像的帧内预测模式,限定第二图像的帧内预测模式。
在步骤S472,帧内预测模式计算单元422从限定的预测模式中,导出帧内预测模式。
通过进行这种操作,图像编码设备100能够减少不必要的候选者,从而能够减小第二图像的帧内预测处理的负荷。
注意,可以从上述多种方法中选择一种方法。
下面参考图42的流程图,说明这种情况的帧内变换处理的流程的例子。
在步骤S481,移动量计算单元421判定第一图像的帧内预测模式是否要被移动,以导出第二图像的帧内预测模式。当根据任意条件,判定要被移动时,移动量计算单元421使处理进入步骤S482。
在步骤S482,移动量计算单元421利用任意方法,确定移动量。移动量确定方法是任意的。例如,它可以是上面说明的方法。
分别按照和图40的步骤S463-步骤S466的处理相同的方式,执行步骤S483-步骤S486的处理。
另外,在步骤S481,当判定不被移动时,帧内预测模式计算单元422使处理进入步骤S487。分别按照和图41的步骤S471和步骤S472的处理相同的方式,执行步骤S487和步骤S488的处理。
通过进行上述操作,存在用于导出第二图像的帧内预测模式的方法的各种各样选择,从而图像编码设备100能够利用更适当的方法,导出第二图像的帧内预测模式。
<6.第六实施例>
[帧内预测模式]
注意,在对应于图像编码设备100的图像解码设备中,也可实现如上所述的帧内预测模式的这种转用。
例如,当图像编码设备100如上所述,利用第一图像的帧内预测模式进行第二图像的帧内预测时,即使在图像解码设备中,也可从第一图像的帧内预测模式,获得用于第二图像的帧内预测模式。
换句话说,第二图像的帧内预测模式的传输可被省略。通过进行这种操作,图像编码设备100能够提高编码效率。
(1)图像解码设备
图43是表示与图2中所示的图像编码设备100对应的图像解码设备500的主要结构例子的方框图。图像解码设备500能够正确地解码由图像编码设备100生成的直方图。
换句话说,图像解码设备500分别解码输入的利用图像编码设备100生成的第一流和第二流,从而生成第一图像和第二图像。
如图43中所示,图像解码设备500具有解码单元501。解码单元501具有解码第一流的第一解码单元501-1,和解码第二流的第二解码单元501-2。
第一解码单元501-1具有编码参数提取单元502-1。编码参数提取单元502-1从第一流中,提取编码参数。第一解码单元501-1利用由编码参数提取单元502-1提取的编码参数,进行第一流的解码。
另外,第一解码单元501-1(编码参数提取单元502-1)把从第一流提取的编码参数提供给第二解码单元501-2。
第二解码单元501-2进行第二流的解码。第二解码单元501-2具有编码参数变换单元502-2。编码参数变换单元502-2获得从第一解码单元501-1(编码参数提取单元502-1)供给的第一图像的编码参数,随后把所述参数变换成第二图像的编码参数。第二解码单元501-2利用变换的编码参数,进行第二流的解码。
如上所述,图像解码设备500能够把从第一流提取的第一图像的编码参数也转用于第二流的解码。从而,第二图像的编码参数的传输不是必需的。换句话说,图像解码设备500能够提高编码效率。
注意,和图3的例子中一样,图像解码设备500也可被设定成能够解码3个或者更多系统的(N通道的)流。
(2)解码单元
图44是表示这种情况的第一解码单元501-1的主要结构例子的方框图。
如图44中所示,第一解码单元501-1具有累积缓冲器551、无损解码单元552、逆量化单元553、逆正交变换单元554、计算单元555、解块滤波器556、屏幕重排缓冲器557和D-A变换单元558。另外,第一解码单元501-1具有帧存储器509、选择单元560、帧内预测单元571、运动预测和补偿单元562和另一个选择单元563。
累积缓冲器551累积传送的编码数据,并在预定定时,把编码数据提供给无损解码单元552。无损解码单元552按照与无损编码单元156的编码方式对应的方式,解码由无损编码单元156编码并由累积缓冲器551供给的信息。无损解码单元552把通过量化从解码获得的差分图像而获得的系数数据,提供给逆量化单元553。
另外,无损解码单元552参考与从编码数据的解码获得的与最佳预测模式相关的信息,以判定对于最佳预测模式,是选择了帧内预测模式,还是选择了帧间预测模式。换句话说,无损解码单元552判定对于传送的编码数据采用的预测模式是帧内预测模式还是帧间预测模式。
无损解码单元552根据判定结果,把与预测模式相关的信息提供给帧内预测单元571或者运动预测和补偿单元562。例如,当帧内预测模式被选为图像编码设备100的最佳预测模式时,无损解码单元552把作为与从编码方供给的所选帧内预测模式相关的信息的帧内预测信息,提供给帧内预测单元571。另外,例如,当帧间预测模式被选为图像编码设备100的最佳预测模式时,无损解码单元552把作为与从编码方供给的所选帧间预测模式相关的信息的帧间预测信息,提供给运动预测和补偿单元562。
逆量化单元553按照和量化单元155的量化方式对应的方式(和逆量化单元158相同的方式),对从无损解码单元552的解码获得的量化系数数据,进行逆量化。逆量化单元553把逆量化的系数数据提供给逆正交变换单元554。
逆正交变换单元554按照和正交变换单元154的正交变换方式对应的方式,对从逆量化单元553供给的系数数据,进行逆正交变换。通过逆正交变换处理,逆正交变换单元554获得与图像编码设备100中的正交变换之前的差分图像对应的差分图像。
从逆正交变换获得的差分图像被提供给计算单元555。另外,预测图像从帧内预测单元571或运动预测和补偿单元562,经选择单元563被提供给计算单元555。
计算单元555相加预测图像和差分图像,从而获得与在图像编码设备100的计算单元153从中减去预测图像之前的图像对应的重构图像。计算单元555把重构图像提供给解块滤波器556。
解块滤波器556对于供给的重构图像,进行对于重构图像的解块滤波处理,从而除去块失真。
解块滤波器556把作为滤波处理结果的解码图像提供给屏幕重排缓冲器557和帧存储器559。注意,解块滤波器556的滤波处理可被省略。换句话说,计算单元555的输出可以不经过滤波处理地被保存在帧存储器559中。例如,帧内预测单元571利用包含在图像中的像素的像素值,作为周围像素的像素值。
屏幕重排缓冲器557进行供给的解码图像的重排。换句话说,按照初始显示顺序,重排由屏幕重排缓冲器152考虑到解码顺序而重排的各帧的顺序。D-A变换单元558对从屏幕重排缓冲器557供给的解码图像进行D-A变换,随后把图像输出给未图示的显示器,以便显示。
帧存储器559保存供给的重构图像和解码图像。另外,帧存储器559在预定定时,或者根据来自外部(比如帧内预测单元571或者运动预测和补偿单元562)的请求,通过选择单元560,把保存的重构图像和解码图像提供给帧内预测单元571或者运动预测和补偿单元562。
帧内预测单元571进行和帧内预测单元164基本相同的处理。不过,帧内预测单元571只对在编码时,通过帧内预测生成预测图像的区域,进行帧内预测。
另外,帧内预测单元571具有帧内预测模式提取单元572。帧内预测模式提取单元572从供给自无损解码单元552的与帧内预测相关的信息中,提取表示第一图像的帧内预测模式的信息。帧内预测单元571(帧内预测模式提取单元572)把第一图像的帧内预测模式提供给第二解码单元501-2。
在这个例子中,编码参数是帧内预测模式。换句话说,帧内预测模式提取单元572对应于图43的编码参数提取单元502-1。
另外,帧内预测单元571利用由帧内预测模式提取单元572提取的第一图像的帧内预测模式,对第一图像(第一比特流)进行帧内预测。
运动预测和补偿单元562根据从无损解码单元552供给的帧间预测信息,进行帧间预测(包括运动预测和运动补偿),从而生成预测图像。注意,运动预测和补偿单元562根据从无损解码单元552供给的帧间预测信息,只对在编码期间,进行了帧间预测的区域进行帧间预测。
帧内预测单元571和运动预测和补偿单元562通过选择单元563,把以预测处理为单位,对于各个区域生成的预测图像提供给计算单元555。
选择单元563把从帧内预测单元571供给的预测图像,或者从运动预测和补偿单元562供给的预测图像提供给计算单元555。
图45是表示第二解码单元501-2的主要结构例子的方框图。如图45中所示,第二解码单元501-2具有和(图44的)第一解码单元501-1基本相同的结构,从而进行相同的处理。
不过,第二解码单元501-2具有代替第一解码单元501-1的帧内预测单元571的帧内预测单元581。
帧内预测单元581具有帧内预测模式变换单元582。帧内预测模式变换单元582获得从第一解码单元501-1的帧内预测单元571(帧内预测模式提取单元572)供给的第一图像的帧内预测模式。帧内预测模式变换单元582利用第一图像和第二图像之间的高相关性,通过预定方法,把第一图像的帧内预测模式变换成第二图像的帧内预测模式。
利用以上操作,不必传送第二图像的帧内预测模式,从而图像解码设备500能够提高编码效率。
注意,帧内预测模式变换单元582变换帧内预测模式的方法是任意的,不过最好和帧内预测模式变换单元412进行的变换方法相同。
注意,帧内预测模式变换单元582的结构和(图33的)帧内预测模式变换单元412相同。
(3)处理流程
(3-1)多个图像解码处理
下面参考图46的流程图,说明多个图像解码处理的流程的例子。
如图46中所示,解码单元501通过对于每个系统的比特流,执行步骤S501和步骤S502的处理,对全部系统的比特流解码。
(3-2)解码处理
下面参考图47的流程图,说明在图46的步骤S501中执行的各个图像的解码处理的流程的例子。对各个系统的比特流进行该处理。换句话说,第一解码单元501-1和第二解码单元502-2都执行该解码处理。
当开始解码处理时,在步骤S521,累积缓冲器551累积传送的编码数据。在步骤S522,无损解码单元552解码从累积缓冲器551供给的编码数据。换句话说,利用无损编码单元156编码的I图像、P图像和B图像被解码。
此时,运动向量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)、和与量化相关的参数的信息也被解码。
在步骤S523,逆量化单元553利用在步骤S523的处理中重构的量化参数,对在步骤S522的处理中获得的量化的正交变换系数,进行逆量化。
在步骤S524,逆正交变换单元554按照和正交变换单元154对应的方法,对从逆量化单元553的逆量化获得的正交变换系数,进行逆正交变换。因而,与正交变换单元154的输入(计算单元153的输出)对应的差分信息被解码。
在步骤S525,计算单元555相加在步骤S524的处理中获得的差分信息,和在后面说明的步骤S528的处理中获得的预测图像。从而,原始图像数据被解码。
在步骤S526,解块滤波器556对在步骤S525的处理中获得的重构图像,适当地进行解块滤波处理。
在步骤S527,帧存储器559保存已经过解块滤波器556的滤波处理的重构图像。
在步骤S528,帧内预测单元571或运动预测和补偿单元562进行预测处理。在步骤S529,选择单元563选择预测图像。
在步骤S530,屏幕重排缓冲器557进行解码图像数据的帧的重排。换句话说,按照初始显示顺序,重排在图像编码设备100中被重排的帧的顺序。
在步骤S531,D-A变换单元558对其各帧由屏幕重排缓冲器557重排的解码图像数据,进行D-A变换。解码的图像数据被输出给未图示的显示器,从而其图像被显示。
(3-3)预测处理
下面参考图48的流程图,说明在图47的步骤S528中执行的各个图像的预测处理的流程的例子。对各个系统的比特流,都进行本处理。换句话说,第一解码单元501-1和第二解码单元501-2都执行本预测处理。
在步骤S551,帧内预测单元571或帧内预测单元581判定是否进行了帧内编码,当判定进行了帧内编码时,处理进入步骤S552。
在步骤S552,帧内预测单元571或帧内预测单元581进行帧内预测处理。由于该帧内预测处理和上面说明的编码侧的帧内预测处理相同,因此省略其说明。
另外,当在步骤S551,判定未进行帧内编码时,运动预测和补偿单元562进行步骤S553-步骤S555的处理,从而生成帧间预测图像。
如上所述,图像解码设备500也可进行和图像编码设备100相同的帧内预测。因而,不必传送第二图像的帧内预测模式,从而能够提高编码效率。
注意,不必对所有图像,都进行上面说明的帧内预测模式的移动。可按任意单位,进行帧内预测模式是否要被移动的判定,或者该情况的移动量的计算。例如,可以对于各个宏块,控制帧内预测模式的移动量。从而,可以只对图像内的一些宏块,移动帧内预测模式。
<7.第七实施例>
[补充说明]
注意,上面说明了第一图像的编码参数被转用于另一个图像的编码处理,不过,把其编码参数设定为参考源的图像的选择是任意的。例如,多个系统的图像的编码参数可被设定成转用于其它图像的编码处理。另外,可以规定按照负荷的增大或减小,或者编码目标图像,将系统设置为被选择,以把其运动图像的编码参数转用于另一个图像的编码。此外,可规定按照状况进行切换。
[计算机]
上述一系列处理可用硬件或者用软件执行。在这种情况下,它可被配置成例如图49中所示的计算机。
在图49中,计算机900的CPU(中央处理器)901按照保存在ROM(只读存储器)902中的程序,或者从存储单元913加载到RAM(随机存取存储器)903上的程序,执行各种处理。RAM903还适当地保存为CPU 901执行各种处理所必需的数据等。
CPU 901、ROM 902和RAM 903通过总线904互连。输入和输出接口910也连接到总线904。
包括键盘、鼠标、触摸面板、输入终端等的输入单元911,包括显示器(包括CRT(阴极射线管)、LCD(液晶显示器)和OLED(有机电致发光显示器))、诸如扬声器之类的任意输出装置、输出终端等的输出单元912,由诸如硬盘或闪存之类的任意存储介质,控制存储介质的输入和输出的控制单元等构成的存储单元913,和包括诸如调制解调器、LAN接口、USB(通用串行总线)、蓝牙(注册商标)之类的任意有线或无线通信装置的通信单元914连接到输入和输出接口910。通信单元914通过包括因特网的网络,与另一个通信装置进行通信处理。
另外,驱动器915酌情连接到输入和输出接口910。在驱动器915中,适当地装入诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质921。驱动器915按照CPU 901的控制,从装入其中的可拆卸介质921读取计算机程序、数据等。读取的数据或计算机程序被提供给例如RAM 903。另外,需要时,从可拆卸介质921读取的计算机程序被安装在存储单元913中。
在根据软件,进行上述一系列处理的情况下,通过网络或者从存储介质,安装包含在软件的程序。
记录介质可以利用图49中图解所示的与设备主体分离,为向用户提供程序而分发的记录有的程序的可拆卸介质921构成,可拆卸介质921由磁盘(包括软盘)、光盘(包括CD-ROM(压缩光盘-只读存储器)和DVD(数字通用光盘))、磁光盘(包括MD(小型光盘))或者半导体存储器,可利用包含在记录有程序,预先被嵌入设备主体中地提供给用户的ROM902,或者存储单元913中的硬盘构成。
应注意,计算机执行的程序可以是按照在本说明书中说明的顺序时序地处理的程序,或者并行地或在必要的时刻(比如当调用时)处理的程序。
另外应注意,在本说明书中,说明记录在记录介质中的程序的步骤不仅包括按照这里所示的顺序,时序地进行的处理,而且包括并行或单独地执行的,而不一定时序地进行的处理。
此外,在本说明书中,“系统”指的是由多个装置(设备)构成的整个设备。
此外,上面描述成单个装置(或处理单元)的元件可被拆分,以致被构造成多个装置(或处理单元)。相反,上面描述成多个装置(或处理单元)的元件可被集合地构造成单个设备(或处理单元)。此外,可向各个装置(或处理单元)中,增加除上面说明的元件之外的元件。此外,给定装置(或处理单元)的元件的一部分可被包含在另一个装置(或处理单元)的元件中,只要作为整个系统的结构或操作实质相同。换句话说,本技术的实施例并不局限于上面说明的实施例,可以作出各种变化和修改,而不脱离本技术的范围。
另外,也可如下构成本技术。
(1)一种图像处理设备,包括:
变换单元,所述变换单元被配置成把用于第一图像的编码的编码参数变换成第二图像的编码参数,所述第二图像不同于第一图像,但第二图像的时间和第一图像实质上相同;和
第二图像编码单元,所述第二图像编码单元被配置成利用通过变换单元的变换而获得的第二图像的编码参数,对第二图像编码。
(2)按照(1)所述的图像处理设备,其中编码参数包括GMV(全局运动向量)、速率控制参数、运动向量和帧内预测模式中的一个或两个或更多个。
(3)按照(2)所述的图像处理设备,其中在编码参数包括速率控制参数的情况下,速率控制参数是目标比特,或者ΔQ值。
(4)按照(2)或(3)所述的图像处理设备,其中在编码参数是帧内预测模式的情况下,变换单元移动帧内预测模式。
(5)按照(2)-(4)任意之一所述的图像处理设备,其中在编码参数是帧内预测模式的情况下,变换单元按照第一图像的帧内预测模式,限制第二图像的帧内预测模式的候选预测方向。
(6)按照(2)-(5)任意之一所述的图像处理设备,其中在编码参数是帧内预测模式的情况下,变换单元仅仅对于一部分块,处理帧内预测模式。
(7)按照(1)-(6)任意之一所述的图像处理设备,其中编码单元以时分方式,对多个图像编码。
(8)按照(1)-(7)任意之一所述的图像处理设备,还包括:
配置成对第一图像编码的第一图像编码单元。
(9)按照(1)-(8)任意之一所述的图像处理设备,还包括:
配置成导出第一图像的编码参数的导出单元,
其中变换单元把利用导出单元导出的第一图像的编码参数变换成第二图像的编码参数。
(10)按照(9)所述的图像处理设备,其中变换单元把由导出单元导出的第一图像的编码参数变换成和第一图像的定时相同的定时的第二图像的编码参数。
(11)按照(1)-(10)任意之一所述的图像处理设备,
其中对于除第一图像外的多个图像,分别包括变换单元和编码单元,
其中各个变换单元把第一图像的编码参数变换成对应于该变换单元的每个图像的编码参数,
其中各个编码单元利用对应于该编码单元的每个图像的编码参数,对该图像编码。
(12)按照(1)-(11)任意之一所述的图像处理设备,其中变换单元利用第一图像的图像信息和第二图像的图像信息,变换编码参数。
(13)按照(12)所述的图像处理设备,
其中图像信息是视角,
其中变换单元利用第一图像和第二图像的视角之比,变换编码参数。
(14)按照(12)或(13)所述的图像处理设备,
其中图像信息是图像大小,
其中变换单元利用第一图像和第二图像的图像大小之比,变换编码参数。
(15)按照(12)-(14)任意之一所述的图像处理设备,
其中图像信息是帧速率,
其中变换单元可利用第一图像和第二图像的帧速率之比,变换编码参数。
(16)按照(12)-(15)任意之一所述的图像处理设备,
其中图像信息是比特率,
其中变换单元可利用第一图像和第二图像的比特率之比,变换编码参数。
(17)按照(12)-(16)任意之一所述的图像处理设备,还包括:
配置成获得第一图像的图像信息的第一图像信息获取单元;和
配置成获得第二图像的图像信息的第二图像信息获取单元。
(18)按照(12)-(17)任意之一所述的图像处理设备,还包括:
配置成以时分方式,获得第一图像的图像信息和第二图像的图像信息的图像信息获取单元。
(19)一种图像处理设备的图像处理方法,包括:
利用变换单元,把用于第一图像的编码的编码参数变换成第二图像的编码参数,所述第二图像不同于第一图像,并且第二图像的时间和第一图像实质上相同;和
由第二图像编码单元,利用通过所述变换而获得的第二图像的编码参数,对第二图像编码。
(20)一种记录有程序的计算机可读记录介质,所述程序使计算机起以下作用:
变换单元,所述变换单元被配置成把用于第一图像的编码的编码参数变换成第二图像的编码参数,所述第二图像不同于第一图像,并且第二图像的时间实质上和第一图像相同;和
第二图像编码单元,所述第二图像编码单元被配置成利用通过变换单元的变换而获得的第二图像的编码参数,对第二图像编码。
附图标记列表
100 图像编码设备
111 图像信息获取单元
111-1 第一图像信息获取单元
111-2 第二图像信息获取单元
112 编码单元
112-1 第一编码单元
112-2 第二编码单元
121-1 编码参数导出单元
121-2 编码参数变换单元
171 GMV导出单元
172 GMV变换单元
202 速率控制参数导出单元
212 速率控制参数变换单元
302 MV导出单元
312 MV变换单元
351 MV调整单元
402 帧内预测模式导出单元
412 帧内预测模式变换单元
421 移动量计算单元
422 帧内预测模式计算单元
500 图像解码设备
501 解码单元
501-1 第一解码单元
501-2 第二解码单元
502-1 编码参数提取单元
502-2 编码参数变换单元
572 帧内预测模式提取单元
582 帧内预测模式变换单元

Claims (19)

1.一种图像处理设备,包括:
变换单元,所述变换单元被配置成基于多个变换规则中的一个变换规则来把用于第一图像的编码的多个编码参数中的编码参数变换成用于第二图像的编码参数,
其中,所述变换规则基于所述第一图像的第一图像信息和所述第二图像的第二图像信息之间的差异,并且所述多个变换规则中的每个变换规则对应于所述多个编码参数中的相应的编码参数,
其中,所述第二图像不同于所述第一图像,并且其中,所述第二图像的成像时间和所述第一图像的成像时间实质上相同;和
第二图像编码单元,所述第二图像编码单元被配置成基于通过变换单元的变换而获得的所述第二图像的编码参数,对第二图像编码。
2.按照权利要求1所述的图像处理设备,其中编码参数包括全局运动向量(GMV)、速率控制参数、运动向量和帧内预测模式中的一个或两个或更多个。
3.按照权利要求2所述的图像处理设备,其中在编码参数包括速率控制参数的情况下,速率控制参数是目标比特或者ΔQ值。
4.按照权利要求2所述的图像处理设备,其中在编码参数是帧内预测模式的情况下,变换单元移动帧内预测模式。
5.按照权利要求2所述的图像处理设备,其中在编码参数是帧内预测模式的情况下,变换单元按照第一图像的帧内预测模式,限制第二图像的帧内预测模式的候选预测方向。
6.按照权利要求2所述的图像处理设备,其中在编码参数是帧内预测模式的情况下,变换单元仅仅对于一部分块处理帧内预测模式。
7.按照权利要求1所述的图像处理设备,其中编码单元以时分方式对多个图像编码。
8.按照权利要求1所述的图像处理设备,还包括:
被配置成对第一图像编码的第一图像编码单元。
9.按照权利要求1所述的图像处理设备,还包括:
被配置成导出第一图像的编码参数的导出单元,
其中变换单元把利用导出单元导出的第一图像的编码参数变换成第二图像的编码参数。
10.按照权利要求9所述的图像处理设备,其中变换单元把由导出单元导出的第一图像的编码参数变换成和第一图像的定时相同的定时的第二图像的编码参数。
11.按照权利要求1所述的图像处理设备,
其中对于除第一图像外的多个图像,分别包括变换单元和编码单元,
其中第三变换单元把第一图像的至少一个编码参数变换成对应于该第三变换单元的第三图像的编码参数,并且
其中第三编码单元利用对应于所述第三编码单元的所述第三图像的编码参数,对所述第三图像编码。
12.按照权利要求1所述的图像处理设备,
其中图像信息是视角,并且
其中变换单元利用第一图像和第二图像的视角之比,变换编码参数。
13.按照权利要求1所述的图像处理设备,
其中图像信息是图像大小,并且
其中变换单元利用第一图像和第二图像的图像大小之比,变换编码参数。
14.按照权利要求1所述的图像处理设备,
其中图像信息是帧速率,并且
其中变换单元利用第一图像和第二图像的帧速率之比,变换编码参数。
15.按照权利要求1所述的图像处理设备,
其中图像信息是比特率,并且
其中变换单元利用第一图像和第二图像的比特率之比,变换编码参数。
16.按照权利要求1所述的图像处理设备,还包括:
被配置成获得第一图像的图像信息的第一图像信息获取单元;和
被配置成获得第二图像的图像信息的第二图像信息获取单元。
17.按照权利要求1所述的图像处理设备,还包括:
被配置成以时分方式,获得第一图像的图像信息和第二图像的图像信息的图像信息获取单元。
18.一种图像处理设备的图像处理方法,包括:
利用变换单元,基于多个变换规则中的一个变换规则来把用于第一图像的编码的多个编码参数中的编码参数变换成用于第二图像的编码参数,
其中,所述变换规则基于所述第一图像的第一图像信息和所述第二图像的第二图像信息之间的差异,并且所述多个变换规则中的每个变换规则对应于所述多个编码参数中的相应的编码参数,
其中,所述第二图像不同于所述第一图像,并且其中,所述第二图像的成像时间和所述第一图像的成像时间实质上相同;和
由第二图像编码单元,利用通过所述变换而获得的所述第二图像的编码参数,对所述第二图像编码。
19.一种记录有程序的计算机可读记录介质,所述程序使计算机执行根据权利要求18所述的方法。
CN201380015896.4A 2012-03-30 2013-03-21 图像处理设备和方法以及记录介质 Expired - Fee Related CN104185993B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012082533 2012-03-30
JP2012-082533 2012-03-30
PCT/JP2013/057993 WO2013146507A1 (ja) 2012-03-30 2013-03-21 画像処理装置および方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
CN104185993A CN104185993A (zh) 2014-12-03
CN104185993B true CN104185993B (zh) 2019-02-12

Family

ID=49259764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380015896.4A Expired - Fee Related CN104185993B (zh) 2012-03-30 2013-03-21 图像处理设备和方法以及记录介质

Country Status (5)

Country Link
US (1) US20150036753A1 (zh)
EP (1) EP2833634A4 (zh)
JP (2) JP6070692B2 (zh)
CN (1) CN104185993B (zh)
WO (1) WO2013146507A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
EP2902802B1 (de) * 2014-01-31 2016-10-26 S.M.S. Smart Microwave Sensors GmbH Sensorvorrichtung
KR102476204B1 (ko) * 2017-10-19 2022-12-08 삼성전자주식회사 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템
MY202273A (en) * 2018-02-22 2024-04-22 Imc Corp Licensing B V Tug with an all around towing installation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910931A (zh) * 2005-01-07 2007-02-07 日本电信电话株式会社 视频编码方法及装置、视频解码方法及装置、其程序及记录该程序的记录介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
JP4517495B2 (ja) * 2000-11-10 2010-08-04 ソニー株式会社 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法
US7809061B1 (en) * 2004-01-22 2010-10-05 Vidiator Enterprises Inc. Method and system for hierarchical data reuse to improve efficiency in the encoding of unique multiple video streams
JP2005236584A (ja) * 2004-02-18 2005-09-02 Victor Co Of Japan Ltd 動画像情報変換符号化装置
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100885443B1 (ko) * 2005-04-06 2009-02-24 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR100703760B1 (ko) * 2005-03-18 2007-04-06 삼성전자주식회사 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
US7855752B2 (en) * 2006-07-31 2010-12-21 Hewlett-Packard Development Company, L.P. Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system
BRPI0717639A2 (pt) * 2006-10-30 2013-11-12 Nippon Telegraph & Telephone Método de geração de informações de referência preditas, métodos de codificação de decodificação de vídeo, aparelhos destinados aos mesmos, programas destinados aos mesmos, e mídias de armazenamento que armazenam os programas
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
WO2008085885A2 (en) * 2007-01-04 2008-07-17 Thomson Licensing Methods and apparatus for multi-view information conveyed in high level syntax
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
CN101861735B (zh) * 2008-09-18 2013-08-21 松下电器产业株式会社 图像解码装置及方法、图像编码装置及方法
US20110026596A1 (en) * 2009-07-28 2011-02-03 Wei Hong Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion
JP2013505647A (ja) * 2009-09-22 2013-02-14 パナソニック株式会社 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
WO2011084918A1 (en) * 2010-01-06 2011-07-14 Dolby Laboratories Licensing Corporation High performance rate control for multi-layered video coding applications
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP2011216965A (ja) 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
KR101690253B1 (ko) * 2010-05-06 2016-12-27 삼성전자주식회사 영상 처리 장치 및 그 방법
JP2012034352A (ja) * 2010-06-30 2012-02-16 Panasonic Corp ステレオ動画像符号化装置及びステレオ動画像符号化方法
JP2012034356A (ja) * 2010-07-02 2012-02-16 Panasonic Corp 画像符号化装置、画像符号化方法、プログラムおよび集積回路
KR101913993B1 (ko) * 2010-08-11 2018-10-31 지이 비디오 컴프레션, 엘엘씨 멀티-뷰 신호 코덱
JP2012049753A (ja) * 2010-08-26 2012-03-08 Panasonic Corp 映像圧縮装置、映像圧縮方法およびプログラム
BR112013004454A2 (pt) * 2010-09-03 2016-06-07 Sony Corp dispositivos e métodos de codificação e de decodificação
US20130222539A1 (en) * 2010-10-08 2013-08-29 Dolby Laboratories Licensing Corporation Scalable frame compatible multiview encoding and decoding methods
AU2012269583B2 (en) * 2011-06-15 2015-11-26 Hfi Innovation Inc. Method and apparatus of motion and disparity vector prediction and compensation for 3D video coding
BR122015001002B1 (pt) * 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
IL214894A (en) * 2011-08-30 2016-09-29 Rafael Advanced Defense Systems Ltd A combination of narrow field of view images and wide field of view
KR20240027889A (ko) * 2011-11-11 2024-03-04 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910931A (zh) * 2005-01-07 2007-02-07 日本电信电话株式会社 视频编码方法及装置、视频解码方法及装置、其程序及记录该程序的记录介质

Also Published As

Publication number Publication date
EP2833634A4 (en) 2015-11-04
JPWO2013146507A1 (ja) 2015-12-14
EP2833634A1 (en) 2015-02-04
US20150036753A1 (en) 2015-02-05
JP6070692B2 (ja) 2017-02-01
JP2017085630A (ja) 2017-05-18
CN104185993A (zh) 2014-12-03
WO2013146507A1 (ja) 2013-10-03
JP6388172B2 (ja) 2018-09-12

Similar Documents

Publication Publication Date Title
JP6779954B2 (ja) 方法、装置、及びプログラム
KR102662462B1 (ko) 디코더측 모션 벡터 정제에 대한 제약들
CN103650505B (zh) 视频译码中的运动向量预测
BR112021009606A2 (pt) refinamento de vetor de movimento no lado do decodificador
ES2743436T3 (es) Coincidencia de bloques por solapamiento adaptativo para compensación de movimiento precisa
CN104429074B (zh) 3d视频编码中视差矢量导出的方法和装置
CN104769947B (zh) 一种基于p帧的多假设运动补偿编码方法
TW201924343A (zh) 視訊寫碼中之仿射預測
TW202021354A (zh) 運動向量預測器清單產生
EP4254956A2 (en) Video image encoding method and video image decoding method
CN105359531A (zh) 针对屏幕内容编码的编码器侧判定
CN102801995B (zh) 一种基于模板匹配的多视点视频运动和视差矢量预测方法
CN104185993B (zh) 图像处理设备和方法以及记录介质
CN111698500B (zh) 一种编解码方法、装置及其设备
CN105474646A (zh) 子pu级先进残余预测
CN103796026A (zh) 一种基于双参考帧的运动估计方法
US20130170565A1 (en) Motion Estimation Complexity Reduction
TWI846765B (zh) 以歷史為基礎之運動向量預測之簡化
JP2009021786A (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190212

CF01 Termination of patent right due to non-payment of annual fee