具体实施方式
下面,参考附图来说明本发明的实施方式。
为解决现有问题,本发明的记录方法中,对N个(N是2的幂乘数)帧记录编码奇数帧后的比特流,重复Log2N(底数为2的对数)次生成将奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅编码奇数帧后的比特流,从而生成Log2N+1个比特流。
另一方面,在本发明的再现方法中,第1比特流是对N个(N是2的幂乘数)帧编码奇数帧后得到的,第2到第Log2N+1比特流是通过重复Log2N(底数为2的对数)次生成将所述编码对象帧的奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅编码奇数帧后的比特流而得到的,对于所述第1比特流和第2到第Log2N+1比特流,在再现N个帧中的1帧的情况下,再现解码第Log2N+1比特流后重构的帧,在再现N个帧中的2帧的情况下,将解码第Log2N比特流后重构的帧作为奇数帧加以再现,并将由第Log2N+1比特流重构的帧减去所述奇数帧后的帧作为偶数帧重构后加以再现,在再现N个帧中的M个帧(M是3以上N以下的2的幂乘数)的情况下,将解码第Log2M+1比特流后重构的帧作为奇数帧加以再现,并将由第Log2M到第Log2N+1比特流重构的M/2帧减去由对应的第Log2M+1比特流重构的所述奇数帧后的帧,作为偶数帧加以再现。
下面,加以详细说明。
(实施方式1)
图5是表示本发明的实施方式1的记录方法的图。
下面,为简化说明,设高速拍摄时的输入帧如图5(1a)所示,在期间T(单位时间)中为4帧。若设常规拍摄时在期间T记录1帧,则成为进行4倍速的记录。
首先,使用图5来说明记录方法的示意。
如图5(1a)所示,在期间T输入数量为2的2次幂(4=2^k(k=2、“A^B”表示A的B次幂))的帧1,2,3,4,在第1记录步骤中,如图5(1b)所示,记录编码奇数帧1、3后的第1比特流。另外,在第1记录步骤中,如图5(1c)所示,生成分别将奇数帧和偶数帧相加后的帧1+2、3+4。在第2记录步骤中(参考后述的图7的第2记录运算部516),记录对所述相加后的帧编码奇数帧即帧1+2后的第2比特流。在第2记录步骤中,如图5(1d)所示,生成将第1记录步骤中相加后的帧的奇数帧和偶数帧相加后的帧1+2+3+4。并且,在第3记录步骤中,记录编码所述帧1+2+3+4帧后的第3比特流。
图7是表示记录部151的结构图。
接着,使用图7来说明本实施方式中的记录装置(记录部151、图9的视频编码器900)。
将从输入部500得到的帧1,2,3,4(参考图5、记录输入流IS(图5、图15)、第1记录运算输入流)通过第1选择部501分为奇数帧1,3与偶数帧2,4,并存储在各自的存储部502、503中。由第1编码部504编码存储部502中存储的奇数帧,并将生成的第1比特流(第1记录输出流Va1)存储在存储部505中。
接着,通过第1加法部506从存储部502和503中存储的奇数帧和偶数帧生成奇数帧1+2和偶数帧3+4。相加后的帧1+2、3+4(第1记录运算输出流)通过第2选择部507分别存储在存储部508、509中。由第2编码部510编码存储部508中存储的奇数帧,并将所生成的第2比特流(第2记录输出流Va2)存储到存储部511中。
最后,通过第2加法部512从存储部508和509中存储的奇数帧和偶数帧生成帧1+2+3+4(第2记录运算输出流)。将相加后的帧1+2+3+4存储在存储部513中(第3记录运算输入流)。通过第3编码部514编码存储部513中存储的奇数帧,并将所生成的第3比特流(第3记录输出流Va3)存储到存储部515中。
本实施方式中,为简化说明,以输入帧数为4(=2的2次幂=2^k)为例来进行说明,但在N是2的幂乘数的情况下,可通过设置Log2N个(k个)处理块(第2记录运算部516)来对应。另外,与编码部514含有的第3记录运算部相一致,记录运算部随之也有Log2N+1(=k+1)个。这里,Log2N表示以2为底数的N的对数。
编码部504、510、514若满足性能要求,可以共用。即,可以构成实现编码部504、510、514的各功能的一个大功能块。对于加法部506、512也同样,若满足性能要求也可共用。
图11是表示记录处理的现有例(图4的技术)和本发明的运算量比较的图。
根据该结构,例如在设编码部(第1编码部~第3编码部)中的1个帧编码所需的运算量为100、加法部(第1编码部~第2加法部)的一次加法帧的生成所需的运算量为40的情况下,若比较现有技术和本实施方式1的运算量,则如图11所示,本实施方式1的运算量比现有例的运算量仅稍稍多出加法处理的量。但是,在k变大的情况下(图11的n变大的情况下),由于与编码处理的处理量相比,加法处理的处理量少,所以本实施方式1的运算量与现有例的运算量成为相等。另外,实施方式的例子中,由于编码部、加法部等可由多个构成,所以容易并联分散化,对于降低耗电量,也比现有例有效。另外,由于并联分散化容易,所以由于并联分散化引起的高速化,本实施方式1的处理中,即使处理量相同,也可以比现有例更高速地进行处理。
(实施方式2)
图6是表示本发明的实施方式2中的再现方法的图。
下面,为简化说明,设高速拍摄时的输入帧在如图6(2a)(图5(1a)所示的记录输入流IS)所示的期间T中为4帧。若设常规拍摄时在期间T记录1帧,则成为进行4倍速的记录。
首先,使用图6来说明再现方法的示意。
如图6(2a)所示,对于期间T中数量为2的2次幂(4=2^k个)的帧1,2,3,4,以对通过实施方式1中记载的记录方式生成的第1~第3比特流(图7所示的第1记录输出流Va1~第3记录输出流Va3、图8所示的第1再现输入流Vb3~第3再现输入流Vb1)适用本实施方式的再现方法为前提。如后所述,第1再现输入流Vb3~第3再现输入流Vb1还称作第1再现运算输入流Vb3~第3再现运算输入流Vb1。
在如图6(2d)所示,再现4帧中的1帧的情况下,即进行等速再现(1/1倍的慢速再现、即、1/(2^(L-1))倍(L=1)的慢速再现)的情况下,再现将第3比特流(图8所示的第3再现输入流Vb3)解码后重构的帧D0(帧1+2+3+4)(后述的第3再现输出流)。
在如图6(2c)所示,再现4帧中的两帧的情况下、即进行1/2倍的低速再现的情况下(L=2),将解码第2比特流(图8所示的第2再现输入流Vb2)后重构的帧作为奇数帧C0(帧1+2)再现。
在L=2的情况下,将由第3比特流(图8的第3再现输入流Vb3)重构的帧D0(帧1+2+3+4)减去所述奇数帧C0(帧1+2)后的帧C1(帧3+4)作为偶数帧重构后再现。
在L=3的情况下,即,在如图6(2b)所示,再现4帧中的4帧的情况下,即进行1/4慢速再现的情况下,将解码第1比特流(图8的第1再现输入流Vb1)后重构的帧作为奇数帧1、3再现,生成从由第2比特流(图8的第2再现输入流Vb2)重构的帧C0减去奇数帧1后的帧2,并生成从帧C1减去奇数帧3后的帧4,来作为偶数帧再现。
图8是表示再现部171的结构图。
接着,使用图8来说明本实施方式的再现装置(再现部171、图9的视频解码器901)。
在再现4帧中的1帧的情况下(L=1的情况下),即,进行等速再现(1/(2^(L-1)倍的慢速再现、L=1)的情况下,由第3解码部601重构存储部600中存储的第3比特流(参考第3再现输入流Vb3、图6的第3群),并将重构帧存储到记录部602中。由此,作为所存储的重构帧形成的流,构成作为等速再现用的流的第3记录输出流。
在再现4帧中的2帧的情况下(L=2的情况下),即,进行1/2慢速再现的情况下(1/(2^(2-1))=1/(2^(L-1))),由第2解码部604重构存储部603中存储的第2比特流(第2再现输入流Vb2),并将重构帧存储到记录部605中。并且,通过第2减法部606,根据记录部602中存储的帧1+2+3+4和该记录部605中存储的帧1+2,来生成帧3+4,并将所生成的帧3+4存储到记录部607中。第2选择部617将记录部605中存储的帧作为奇数帧,将记录部607中存储的帧作为偶数帧,来进行选择。由此,作为由第2选择部617选出的各帧构成的流,构成了作为1/2慢速再现用的流的第2记录输出流(由图6(2c)的带阴影和没有阴影的各帧构成的流)。
在再现4帧中的4帧的情况下(L=3的情况下),即进行1/4慢速再现的情况下,通过第1解码部609重构图8右上所示的存储部608中存储的第1比特流(第1再现输入流Vb1),重构帧通过选择部610(第1选择部的第1部分)分为奇数帧、偶数帧,并分别存储在记录部611、612中。并且,通过减法部613(第3减法部的第1部分),根据记录部605中存储的帧1+2和记录部611中存储的帧1,来生成帧2,并将所生成的帧存储在记录部614中。通过减法部615(第3减法部的第2部分),根据记录部607中存储的帧3+4和记录部612中存储的帧3,来生成帧4,并将所生成的帧4存储在记录部616中。选择部618(第1选择部的第2部分)将记录部611中存储的帧作为帧1、将记录部614中存储的帧作为帧2、将记录部612中存储的帧作为帧3、将记录部616中存储的帧作为帧4依次进行选择。由此,构成作为1/4慢速再现用的流的第1再现输出流。
选择部619选择基于再现速度的帧,并输出到存储再现帧的存储部620中。例如,更具体的,选择部619从1~3中确定上述L的值。并且,根据确定的值L,来进行上述的选择和输出。
本实施方式中,为简化说明,以输入帧数为4(=2的2次幂)为例进行了说明(取k=2的情形为具体例),但是在N是2的幂乘数的情况下,也可通过设置Log2N个(k个、N=2^k)处理块(第1再现运算部621)来进行对应。另外,与第3解码部601包含的第k+1记录运算部相一致,由k+1个记录运算部构成。
解码部601、604、609若满足性能要求,可以共用。对于减法部606、613、615也同样,若满足性能要求,也可以共用。
图12是表示再现处理中的现有例的运算量和本实施方式的运算量的比较的图。
例如,在设各解码部进行的1个帧的解码(重构)所需的运算量为100、各减法部进行的对1个加法帧的减法所需的运算量为40的情况下,比较现有例的运算量和本实施方式的运算量。如图12所示,可以看出本实施方式的运算量越接近等速再现(图12中的较左侧的数据),与现有例的运算量相比,越大幅减少。这是因为在本实施方式中,帧的解码处理仅进行与所再现的帧的数目相同的次数(单位时间T中2^(L-1)次),但现有例中,不管再现的速度(参考上述L)如何,而仅简单地解码所有与时间T有关的各帧(解码2^k个帧),故本实施方式的解码次数比现有例的解码的次数少。因此,在处理性能不足的再现装置中也可以进行再现。另外,在结构简单的再现装置中也可进行再现等,适用范围广。此外,可以实现成本降低。
对于再现速度,由于提供了基于与其再现速度相配合的适当帧相加后的加法帧而形成的运动图像,所以可再现自然的运动模糊,并可以基于帧相加补偿曝光不充分。
由此,可兼顾高图像质量和少处理量。
由于解码部、减法部等分别可以由多个解码部等构成,从而并联分散化容易,所以也有利于降低耗电量。
图9是摄像机系统1的结构图。
图10是数字电视系统1a的结构图。
图9所示的摄像机系统1是设置有具有本实施方式涉及的上述记录部151的视频编码器(记录装置)900和具有再现部171的视频解码器(再现装置)901的运动图像记录再现设备的一例。如图10所示的数字电视系统1a是设置有具有本实施方式涉及的记录部151的视频解码器(再现装置)1000的运动图像再现设备的一例。视频编码器(记录装置)900可以具有记录部151,视频编码器(记录装置)900也可以解释为是记录部151构成的块。同样,视频解码器(再现装置)901可以具有再现部171,视频解码器(再现装置)901也可以是再现部171构成的块。视频解码器(再现装置)1000可具有再现部171,视频解码器(再现装置)1000中也可解释为是再现部171构成的块。
下面,继续进行说明。其中,下面的说明仅仅是一例。
由图9表示摄像机系统1的结构。
摄像机系统1包括视频编码器900、视频解码器901和存储部902。
摄像机系统1高速拍摄运动图像。这里,所谓高速拍摄是指以比例如作为常规帧率的60fps高的帧率进行的拍摄。这里,60fps仅仅是常规的帧率的单纯一例。常规帧率也可以解释为基于NTSC标准的29.97×2=59.94fps。摄像机系统1高速拍摄的帧率例如是(60×(2^k))fps(k≥1)。帧率是(60×(2^k))fps的高速拍摄是2^k倍的高速拍摄。
高速拍摄的运动图像在通常情况下,越是高速进行摄影时,越更慢再现。例如,若以2^k倍的速度(2^k倍的帧率)进行摄影,则进行1/(2^k)倍的慢速再现。即,以短2^k倍的时间间隔进行拍摄的各帧以比其时间间隔长2^k倍的时间间隔来进行显示。由此,将显示各帧的时间间隔调整为适合于人眼视觉的时间间隔。下面,将这种在长2^k倍的时间间隔下的再现、即1/(2^k)倍的慢速再现称作标准慢速的再现。
视频编码器900(图9)对高速拍摄的运动图像流进行编码。
存储部902存储编码后的编码后流。
视频解码器901通过输入存储部902中存储的编码后流等,输入高速拍摄的运动图像的编码后流,并解码输入的编码后流。
由图15表示视频编码器900(图9)的结构。
视频编码器900包括记录部151(图15、图7)和多路复用部154。
记录部151输入高速拍摄的运动图像的记录输入流IS(图15),生成将输入的记录输入流IS编码后的k+1个记录输出流、即第1记录输出流Va1~第(k+1)的记录输出流Va3(图15),并输出所生成的第1记录输出流Va1~第(k+1)记录输出流Va3。
这里,在该实施方式中,将通过摄像机系统进行2^2=4倍的高速拍摄的k=2的例子作为一例来加以说明。
由图7表示记录部151的结构。
记录部151包括输入部500、第1选择部501、第1编码部504、第1加法部506、第2选择部507、第2编码部510、第2加法部512和第3编码部514。
这里,通过第t选择部(第2选择部507等)、第t编码部(第2编码部510等)和第t加法部(第2加法部512等)的整体,构成第t记录运算部(第2记录运算部516等)(1≤t≤k)。
由第k+1记录运算部构成第k+1编码部(第3编码部514)。
第t记录运算部(1≤t≤k+1)输入第t记录运算输入流。并且,第t记录运算部根据所输入的第t记录运算输入流,生成第t记录运算输出流,并输出所生成的记录运算输出流。这里,所输出的第t记录运算输出流是前述的记录部151输出的第1记录输出流Va1~第k十1记录输出流(第3记录输出流Va3)中的(参考图15)第t记录输出流Vat。
由图5表示第t记录运算输入流(1≤t≤k+1)。
第1记录运算输入流是输入到记录部151的记录输入流IS(图5(1a))(图5(1b))。第1记录运算输入流包含图5的第1群的带阴影的各帧(奇数帧)和不带阴影的各帧(偶数帧)两者。
并且,第t记录运算输入流是图5的第t群的列所示的第t群流。这里,第t记录运算输入流(第t群流)包含第t群的各帧中带阴影的各帧和不带阴影的各帧两者。
第t记录运算输入流中,所含有的第a帧是将第t记录运算输入流的第2×a帧和第2×a+1的帧相加后的加法帧(a是整数)。并且,第t记录运算输入流中所含有第a帧是记录输入流IS的第a帧。
若第1记录运算输入流以标准慢速来进行再现,则进行60fps等标准帧率下的运动图像的再现。并且,若第t记录运算输入流与标准慢速相比以2^(t-1)倍较快再现,则进行标准帧率下的再现(1≤t≤k+1)。将这种与标准慢速(1/(2^k)倍的慢速再现)相比以2^(t-1)倍较快再现称作(1/2^(k-(t-1)))倍的慢速再现(1≤t≤k+1)。并且,将与标准慢速相比以2^((k+1)-1)倍较快再现(以2^k倍较快再现)、即1/1=1倍速度的再现称作等速的再现。
高速拍摄的运动图像的记录输入流IS在单位时间T中包含2^k个帧。将为了看到运动图像的单位时间T的显示内容而显示比2^k个少的个数的帧的再现称作抽取再现。1/(2^(k-1))倍的慢速再现(1/2倍的慢速再现)~1/1倍的慢速再现(等速再现)分别是抽取再现。
第t记录运算输入流是通过进行再现而进行1/2^(k-(t-1))倍的慢速再现的流。这里,再现的各帧是将记录输入流IS中的连续2^t个帧相加的加法帧。因此,与简单地再现2^t个帧中的1个的情形(图3的现有例)相比,防止了运动模糊的不足等,从而实现了高的图像质量。
加法帧更具体的将,也可以是例如对加法帧加上要相加的各帧的单纯加法帧。加法帧也可以是将用所相加的上述各帧中含有的帧的个数除单纯加法帧的值后的值作为其值而具有的平均加法帧。若加法帧是单纯加法帧,则可以避免进行除法,可以避免信息丢失因除法造成的余数部分的信息。
输入部500对第1记录运算部具有的第1选择部501输入向记录部15输入的记录输入流IS来作为第1记录运算输入流。
第k+1编码部(第3编码部514)对第k记录运算部(第2记录运算部516)输入到第k+1记录运算部的第k+1记录运算输入流中含有的各帧进行编码,并生成包含编码后的各帧而构成的第k+1记录运算输出流。第k+1记录运算输出流的第a帧是第k+1记录运算输入流的第a帧被编码后的第a编码后帧。
这里,第i帧(i是整数)是例如具有对包含该第i帧的流中含有的预定基准帧(例如开头帧)的地址加上该值i后的地址的帧。例如,第2×a-1帧是该流的奇数帧,第2×a帧是偶数帧。
第u选择部(1≤u≤k)分别确定输入到第u记录运算部中的第u记录运算输入流中含有的各帧的第2×a-1帧(一个帧,是图5的带阴影的帧)和第2×a帧(另一个帧,是图5的不带阴影的帧)。
第u编码部(1≤u≤k)对由第u选择部确定的第2×a-1帧(图5的带阴影的帧)进行编码。并且,第u编码部生成具有第2×a-1帧被编码后的第a编码后帧作为第a帧的第u记录运算输出流,并输出所生成的第u记录运算输出流。图7中,作为所输出的第u记录运算输出流,图示了第1记录运算输出流Va1、第2记录运算输出流Va2。
第u加法部将由第u选择部确定的第2×a-1帧(图5的不带阴影的剩余帧)和第2×a帧(图5的带阴影帧)相加,生成将这些帧相加后的第a加法帧。图5中,通过从第2×a-1帧(例如帧1)和第2×a帧(帧2)向将这些帧相加后的第a加法帧(帧1+2)伸出的箭头线来表示该加法处理。并且,第u加法部生成将含有这样生成的第a加法帧作为第a帧的第u记录运算输出流。由第u记录运算部将所生成的第u记录运算输出流作为第u+1记录运算输入流输入到第u+1记录运算部。
由此,第1记录运算部~第k+1记录运算部分别输出具有上述结构的第1记录运算输出流~第k+1记录运算输出流。
并且,记录部151将这样输出的第1记录运算输出流~第k+1记录运算输出流作为第1记录输出流Va1~第k+1记录输出流Va(k+1)(图15)输出到多路复用部154。
声音编码部152(图15)对进行输入到记录部151的记录输入流IS的高拍摄时由摄像机系统1录音的声音的声音数据进行编码。声音编码部152生成将声音数据编码后的编码声音数据,并将所生成的编码声音数据输出到多路复用部154。
多路复用部154根据输出到多路复用部154的第1记录输出流Va1~第k+1记录输出流Va(k+1)和编码声音数据,生成第1运动图像流1551~第k+1运动图像流1553(多路复用流S1)。
第1运动图像流1551~第k十1的运动图像流1553分别存储有由记录部151输出的第1记录输出流Va1~第k+1记录输出流Va(k+1)。
第1运动图像流1551~第k十1的运动图像流1553分别存储有声音编码部152生成的编码声音数据(分别在图15的第1运动图像流1551等中表示的记号A)。第1运动图像流1551~第k十1的运动图像流1553中存储的编码声音数据的内容彼此相同。
第1运动图像流1551~第k+1运动图像流1553中的一部分或全部的流可以是具有基于例如MPEG标准等预定标准的结构的流。
基于标准的第t运动图像流通过基于该标准的再现装置来再现。通用的再现装置通过分别再现第u运动图像流中含有的记录输出流和编码声音数据,来再现通过记录输入流IS的高速拍摄而拍摄到的影像和声音。
若通过通用的再现装置进行第t运动图像流的再现(1≤t≤k+1),则进行由2^(t-1)个帧表示单位时间T的显示内容的再现(参考图5)。例如,若通过通用的再现装置进行第1运动图像流的再现,则通过2个帧的再现来显示单位时间T的显示内容。
如后面所详细说明的,若通过摄像机系统1进行多路复用流S1的再现,则可以进行通过4个帧的再现显示单位时间T的显示内容的再现等。可以通过摄像机系统1进行更高图像质量的再现。
这样,根据该实施方式,可以在通用的再现装置中进行图像质量较低的再现,从而由通用的再现装置也能够进行再现。
该实施方式中如前所述,第1运动图像流1551~第k+1运动图像流1553分别存储编码声音数据。因此,即使是通用的再现设备,也可再现声音。
例如,多路复用部154使所生成的多路复用流S1存储到存储部902(图9)具有的存储介质(参考图15)中。
由图17表示视频解码器901(图9)的结构。
视频解码器901包括分离部173、再现部171、以及声音解码部172。
视频解码器901输入多路复用流S2。多路复用流S2例如如上述是视频编码器900生成的多路复用流S1。多路复用流S2是具有与多路复用流S1所具有的数据构造相同的数据构造的数据。视频解码器901例如,从存储部902取得多路复用部154存储在存储部902中的多路复用流S2(多路复用流S1),并将所取得的多路复用流S2输入到该视频解码器901中。
分离部173分别确定多路复用流S2中含有的第1再现运算输入流~第k+1再现运算输入流(参考图17)。这里,第1再现输入流Vb1~第k+1再现输入流Vb(k+1)是前述的图15所示的第1记录输出流Va1~第k+1记录输出流Va(k+1)等。
分离部173确定多路复用流S2中含有的编码声音数据。
更具体的,例如,分离部173通过确定多路复用流S2中含有的第1存储部1741~第k+1存储部1743(图15的第1存储部1551~第k+1存储部1553等),来分别确定所确定的第1存储部1741~第k+1存储部1743中含有的第1再现输入流Vb1~第k十1的再现输入流Vb(k+1)。
具体的,例如,分离部173确定第1存储部1741~第k+1存储部1743中的预定的一个存储部中含有的编码声音数据。
分离部173将确定的第1再现输入流Vb1~第k+1再现输入流Vb(k+1)分别输出到再现部171。
分离部173将确定的编码声音数据输出到声音解码部172(图17)。
由图8表示再现部171的结构。
再现部171包括第3解码部601、第2解码部604、第2减法部606、第2选择部617、第1解码部609、第1减法部(减法部613和减法部615的整体)、第1选择部(选择部610和选择部618的整体)和选择部619。
第u再现运算部(例如第1再现运算部621)(1≤u≤k)由第u解码部(第1解码部609)、第u减法部(第1减法部(减法部613和减法部615的整体))和第u选择部(选择部610、选择部618)的整体构成。
由第k+1解码部(第3解码部601)构成第k+1再现运算部(第3再现运算部)。
第t再现运算部(1≤t≤k+1)通过上述分离部173,将第u再现输入流Vbt(前述)作为第u再现运算输入流Vbt输入,并根据所输入的第t再现运算输入流Vbt生成第t再现运算输出流后,输出所生成的第t再现运算输出流。输入到再现部171的第u再现输入流Vbt与输入到第t再现运算部的第t再现运算输入流Vbt相同。对这些流都添加了Vbt的标记。
第t再现运算输出流(1≤t≤k+1)是1/2^(k-(t-1))倍的慢速再现用的再现流。这里,1/2^(k-(t-1))倍的慢速再现在t=k+1时是等速的再现,在t=1时是标准慢速的再现。
再现部171在摄像机系统1进行1/2^(L-1)倍的慢速再现时,将第t再现运算输出流(1≤t≤k+1)作为再现输出流OS(图17)加以选择(L=k+1-(t-1))。并且,再现部171通过将所选择的第t再现运算输出流作为再现输出流OS输出,而使摄像机系统1再现所输出的再现输出流OS。
声音解码部172在通过解码所输入的编码声音数据并输出解码出的声音数据,从而再现输出流OS被再现时,使解码出的声音数据加以再现。
由图6分别表示第3再现运算部输出的标准慢速再现运算输出流(第1群的流)、第2再现运算部输出的1/2倍慢速再现运算输出流(第2群的流)和第1再现运算部输出的等速再现运算输出流(第3群的流)。
这里,这3个再现运算输出流分别包含与该再现运算输出流对应的群的各帧中带阴影的各帧(奇数帧)和不带阴影的各帧(偶数帧)两者。
第t再现运算输入流Vbt(参考图17、1≤t≤k+1)是包含图6的第t群的各帧中带阴影的各帧(奇数帧)被编码后的编码后帧的流。
第k+1解码部(第3解码部601)输入第k+1再现运算输入流(再现输入流)Vb(k+1),即包含图5的第3群的带阴影各帧的编码后帧的第3再现运算输入流(再现输入流)Vb3。并且,第k+1解码部(第3解码部601)分别对第3再现输入流中包含的各编码后帧(例如帧1+2+3+4的编码后帧)进行解码,并生成包含各解码后帧(帧1+2+3+4)的第k+1再现运算输出流。即,第k+1解码部生成作为第a帧而包含将第3再现输入流的第a帧解码后的第a解码后帧的第k+1再现运算输出流。
第t解码部(第2解码部604、第1解码部609、k+1-(L-1)≤t≤k、L≥2)分别对第t再现运算输入流Vbt的第2×a-1帧(例如帧1+2的编码后帧)进行解码,并生成作为第2×a-1帧而包含解码后的第a解码后帧的第t再现运算输出流。
第t减法部(第2减法部606、第3减法部(减法部613、减法部615))从通过第t+1再现运算部生成的第t+1再现运算输出流中含有的第a帧(例如帧1+2+3+4)减去通过第t解码部解码出的第t再现运算输出流的第2×a-1帧(例如帧1+2)后,生成相减后的帧(帧3+4)作为第t再现运算输出流的第2×a帧。
第t选择部(第1选择部(选择部610、选择部618)、第2选择部617判断第t再现运算部输出的第t再现运算输出流的当前帧是第2×a-1帧还是第2×a帧。并且,第t选择部在判断为是第2×a-1帧的情况下,将通过第t解码部解码第t再现运算输入流的当前帧(第a帧)后的解码后帧作为第t再现运算输出流的当前帧(第2×a-1帧)输出。另外,第t选择部在判断为是第2×a帧的情况下,将第t减法部进行了对第t再现运算输入流的当前帧(第a帧)的减法后的减法后帧作为第t再现运算输出流的当前帧(第2×a帧)输出。
选择部619在例如,摄像机系统1进行1/4倍的慢速再现时,将通过第1记录运算部确定的第1再现运算输出流作为第1再现输出流OS(图17)输出到记录部161等。即,选择部619在摄像机系统1进行1/(2^(L-1))倍的慢速再现时,将通过第k+1-(L-1)的记录运算部生成的第k+1-(L-1)的再现运算输出流作为第1再现输出流OS(图17)输出。选择部619例如取得由用户输入到摄像机系统1的指定上述L值的输入,并根据通过所取得的输入指定的值L,进行再现部171等的动作。
摄像机系统1也可具有计算机。并且,视频编码器900的上述功能(参考图15等)也可通过由该计算机执行预定的程序加以实现。对于视频解码器901的上述功能(参考图17等)也相同。
由图19~图24表示程序P,该程序P示意地表示由计算机实现视频编码器900的功能和视频解码器901的功能用的程序的一例。在下面的说明中,为说明方便,对于程序P的细节,仅保留基于附图的说明,而省略复杂的文章说明。在下面的说明中,将在程序P的特定部分描述特定处理的情形称作通过该特定部分,来进行该特定处理。
图24是表示程序P的主要部分24的结构图。
主要部分24是执行程序P的计算机在开始执行程序P时,最先进行处理的程序P的部分。
主要部分24具有记录处理调用部24r和再现处理调用部24p。记录处理调用部24r使计算机开始记录处理部22(图22)的处理。再现处理调用部24p使再现处理部23(图23)的执行开始。对于主要部分24具有的其他部分仅通过附图来表示。
图22是表示记录处理调用部24r(图24)使其开始执行的记录处理部22的结构图。
记录处理部22包括结束判断部22f、帧取得部22p和编码处理调用部22e。
结束判断部22f判断记录处理部22是否结束所拍摄的运动图像的记录输入流IS(图15等)的各帧中预定多个帧的处理。并且,结束判断部22f在判断为已结束之前的期间使帧取得部22p等的处理持续。更具体的,结束判断部22f判断例如是否结束在预定单位时间所拍摄的多个帧的处理。在程序P的例子中,具体的,判断由程序P的头部(图19:后述)的MAX_FRAME_NUM的#define语句定义的个数的帧的处理是否结束。
帧取得部22P在记录输入流IS的各帧中的、记录部151没有结束处理的帧中,确定开头帧(关注帧)。并且,具体的,在程序P的例子中,帧取得部22p在预定存储区域(frame_buf_enc[]的开头存储区域)中存储所确定的关注帧。
编码处理调用部22e使编码处理部20(图20)的处理开始。
图20是表示编码处理调用部22e(图22)使其开始处理的编码处理部20的结构图。
编码处理部20具有开始其处理时的自变量j。自变量j将在开始的处理中编码处理部20处理的第t记录输出流的t确定为t=j+1。主要部分24(图24)的记录处理调用部24r使用自变量0(t=0+1=1),使编码处理部20开始处理。另外,编码处理部将j≥1的自变量用于该编码处理部20的另一个帧处理部22E(后述),并通过另一个帧处理部22E,开始其处理。
编码处理部20具有帧判断部22a、编码侧帧处理部220和另一个帧处理部22E。
帧判断部22a判断由帧取得部22p(图22)确定的关注帧是否是第t记录运算输入流(t=j+1)的各帧(图5的第t群的带阴影和不带阴影的各帧中,第t记录运算输入流的奇数帧(第2×a-1帧))。更具体的,帧判断部22a判断在存储了第t记录运算输入流的各帧的预定存储区域(程序P中的frame_buf_enc[j])中存储的帧的个数是否是奇数(参考程序P的“frame_buf_enc[j].size%2==1”的条件式)。另外,图22的帧取得部22P在第1记录运算输入流的该存储区域的开头存储帧取得部22p确定的关注帧。并且,帧判断部22a在存储的个数是奇数时,判断为关注帧是奇数帧。如后面所详细说明的,在删除(丢弃)上述预定的存储区域中存储的帧时,与该帧一起,也删除与该帧成对的偶数帧。因此,不会存在由于该删除而产生进行了错误判断的结果。
编码侧帧处理部220进行在上述帧判断部22a将关注帧判断为是第2×a-1帧的情形下的处理。例如,编码侧帧处理部220在关注帧是图5的帧1时,在t=1(j=0)时,关注帧被判断为是第2×a-1帧,从而进行该处理。
编码侧帧处理部220包括编码部2201和输出部2202。
编码部2201对关注帧(第2×a-1帧)进行编码。在图20所示的程序P的编码部2201中,示意地构成该编码的处理。
输出部2202将通过编码部2201编码后的编码后帧(frame_odd)确定为第t记录输出流(t=程序P中的j+1)的当前帧。具体的,程序P中,该输出的处理通过在存储区域bitstream_buf[j]中存储编码后的帧的处理来示意地表示。
另一个帧处理部22E进行在通过上述帧判断部22a判断为所取得的帧为偶数帧(第2×a帧)的情形下的处理。
另一个帧处理部22E包括另一个帧取得部22E1、编码侧帧取得部22E2、加法部22E3和下一流处理调用部22E4。
另一个帧取得部22E1取得判断出的帧(第2×a帧)。
编码侧帧取得部22E2取得与判断出的帧(第2×a帧)成对的奇数帧(第2×a-1帧)。
此时,这些另一个帧取得部22E1和编码侧帧取得部22E2从上述存储区域frame_buf_enc[j]中分别删除(丢弃)所取得的这些第2×a帧和第2×a-1帧。这样,1组的第2×a帧和第2×a-1帧不是仅被删除一个,而是两者同时被删除。因此,即使这样删除帧,帧判断部22a进行的判断也不会错误(如前所述)。
加法部22E3将由另一个帧处理部22E取得的第2×a-1帧和由编码侧帧取得部22E2取得的第2×a帧相加。在程序P的例子中,示意地表示了该加法的处理。
并且,加法部22E3将相加后的加法帧确定为后述的下一流处理调用部22E4使其开始的、对第t+1记录输出流进行的处理的关注帧。具体的,加法部22E3如图20所示这样,通过在预定的存储区域(frame_buf_enc[j+1]的开头)存储加法帧,来进行该确定。
下一流处理调用部22E4使编码处理部20(图20)开始进行第t+1记录输出流的处理。因此,下一流处理调用部22E4在使处理开始时,如图20所示,将j+1用作自变量。在开始的处理中,如上述这样,通过编码处理部20进行基于之前通过加法部22E3确定的关注帧的处理。
例如,图19的MAX_FRAME_NUM的定义可以不是4,而是8。这时,图6的帧5+6+7+8是第k+1记录运算输入流的第二帧(第2×a帧)。
并且,也可以是,另一个帧处理部22E在t=k+1即j+1=k+1的情况下,不管关注帧是第2×a-1帧还是第2×a帧,都将关注帧视为第2×a-1帧,来进行关注帧是第2×a-1帧的判断。这时,通过编码侧帧取得部22E2对帧5+6+7+8进行编码。
记录运算部的个数(k+1)在例如高速拍摄的帧率是常规帧率的N倍时(图5等的例子中N=4),是k+1=Log2N个(Log2N是以2为底数的N的对数)。由此,第k+1记录运算输入流包含1个帧。因此,例如,帧5+6+7+8不是第2×a帧(偶数帧),而是第2×a-1帧(奇数帧)。由此,如上这样,在t=k+1时,另一个帧处理部22E不需要进行额外的处理,可以使处理变得简单。
图7所示的第1选择部501和第2选择部507的整体也可解释为例如对应于帧判断部22a(例如,具有相同功能)。图7的第1加法部506和第2加法部512的整体也可解释为例如对应于图20的加法部22E3。图7的第1编码部504、第2编码部510、和第3编码部514的整体也可解释为例如具有与图20的编码部2201对应的功能。
图13是程序P的处理流程图。
步骤S11(步骤S15)中,判断记录的处理是否中止,若没有判断为中止,则重复执行步骤S12~S15的处理。例如,在将用户进行的中止的预定输入输入到计算机的情形下,判断为进行中止。程序P也可具有例如进行该步骤S11(步骤S15)的处理的中止控制部(图略)。
步骤S12(步骤S16)中,记录处理部22(图22)的重复控制部(图22的for(input_frame…)的部分)使帧取得部22p和编码处理调用部22e(图22)将这些块的处理执行单位时间(T)的帧个数(图19的MAX_FRAME_NUM)的次数。
步骤S13中,帧取得部22p(图22)确定关注帧。
步骤S14中,编码处理调用部22e(图22)使编码处理部20(图20)对步骤S13中确定的关注帧开始进行第1记录运算输出流的处理。
步骤S21等表示编码处理部20进行的处理。
步骤S21中,帧判断部22a判断关注帧是否是第2×a-1帧(奇数帧)。
步骤S22a中,在步骤S21中判断为是第2×a-1帧(奇数帧)的情况下(步骤S21:是),编码侧帧处理部220的编码部2201编码关注帧。
步骤S23a中,输出部2202将步骤S22a中编码后的编码后帧作为第t(=j+1)的记录输出流(图5参考)的当前输出帧输出。
步骤S22b中,在步骤S21判断为关注帧不是第2×a-1帧(奇数帧)的情况下(步骤S21:否),即判断为是第2×a帧(偶数帧)的情况下,另一个帧处理部22E如前所述,通过另一个帧处理部22E的加法部22E3进行两个帧的相加。
步骤S23b中,另一个帧处理部22E通过下一流处理调用部22E4,将步骤S22b中相加的加法帧作为关注帧,而使编码处理部20开始进行第t+1记录运算输出流的输出处理。
图19是表示程序P的头部19的结构图。
头部19具有再现速度确定部191。再现速度确定部191确定通过摄像机系统1进行1/2^(L-1)倍的慢速再现(前述)时的如左所标记的常数L。具体上,程序P的例子中,示意地表示了再现速度确定部191通过#define语句,利用预处理功能来确定L值的例子。另外,再现速度确定部191也可采取例如,取得用户进行的指定L值的输入的结构等。
图23是表示主要部分24的再现处理调用部24p(图24)调用的再现处理部23的结构图。
再现处理部23具有启动该处理时的自变量target_stream_number。该自变量target_stream_number将上述L值确定为L=(k+1)-target_stream_number。即,再现处理部23生成与所确定的L值对应的1/2^(L-1)倍的慢速再现用的记录输出流(第k+1-(L-1))的记录运算输出流,并输出所生成的记录输出流。
再现处理部23具有启动部231和解码处理调用部232。
启动部231依次选择上述第k+1-(L-1)的再现运算输出流的各帧,并使解码处理调用部232开始所选出的帧(关注帧)的处理。
解码处理调用部232使解码处理部21(图21)开始对由启动部231选出的关注帧的、第k+1-(L-1)的再现运算输出流的处理。这里,第k+1-(L-1)的再现运算输出流如上所述,是记录部161输出的流。
图21是表示解码处理调用部232(图23)调用的解码处理部21的结构图。
解码处理调用部232接受自变量j和自变量f。
自变量j将解码处理调用部232处理的第t记录运算输入流确定为第j+1记录运算输入流。例如,上述的解码处理调用部232为了使第k+1-(L-1)再现运算输出流的处理开始,而使用自变量j={k+1-(L-1)}-1=k+1-L(=图23的target_stream_number)。
自变量f确定关注帧。具体上,自变量f是关注帧的第t记录运算输入流中的地(顺序、帧序号)。
解码处理部21包括帧判断部21a、解码侧帧处理部210和另一个帧处理部21E。
帧判断部21a判断关注帧是否是解码处理部21处理的第t记录运算输入流中的第2×a-1帧(奇数帧)。具体上,帧判断部21a如图21所示那样,通过判断关注帧的帧序号的最低位比特(f & 0x1)是否是0来进行判断。
解码侧帧处理部210在通过上述帧判断部21a判断为关注帧是第2×a-1帧(奇数帧)的情况下(f & 0x1==0),进行关注帧的处理。
解码侧帧处理部210包括取得部2101和解码部2102。
取得部2101取得关注帧(图6的带阴影帧的编码后帧)。
解码部2102解码由取得部2101取得的编码后帧。在该例中,示意地表示了该解码的处理。
另一个帧处理部21E在判断为关注帧是第2×a帧(偶数帧)的情况下,进行处理。
另一个帧处理部21E包括下一流处理调用部21E1、加法帧取得部21E2、解码侧帧取得部21E3、减法部21E4和输出部21E5。
下一流处理调用部21E1使解码处理部21开始使用了生成关注帧(例如图6的帧2)的加法帧(帧1+2)的第t+1记录运算输入流的处理。通过开始的处理,而由解码处理部21生成关注帧的加法帧(帧1+2)。这里,下一流处理调用部21E1如上所述,使使用第t+1记录运算输入流的处理开始。因此,下一流处理调用部21E1使用确定t+1的值(j+1)来作为自变量j。对应于关注帧是第t记录运算输入流中的第2×a帧的情况,所生成的加法帧是第t+1记录运算输出流的第a帧。因此,下一流处理调用部21E1在使处理开始时,使用确定“a”的值、即f/2(f>>1)来作为自变量f。这里,“f>>1”是将f右移1比特后的值,表示用2除f后的数。
加法帧取得部21E2取得下一流处理调用部21E1通过使其开始的处理生成的上述加法帧(例如,图6的帧1+2)。
解码侧帧取得部21E3取得第t再现运算输入流的第2×a-1帧被解码后的解码后帧。
减法部21E4从由加法帧取得部21E2取得的加法帧中减去由解码侧帧取得部21E3取得的解码后帧,并将相减后的帧确定为关注帧(第2×a帧)。
输出部21E5输出所确定的关注帧。
图8的第1解码部609、第2解码部604、第3解码部601的整体也可解释为例如对应于解码部2102(图21)。图8的第2减法部606和第1减法部(减法部613和减法部615)的整体也可解释为例如对应于减法部21E4。选择部617、选择部610、选择部618、选择部619的整体也可解释为例如对应于帧判断部21a。
图14是基于程序P的再现部171进行的处理的流程图。
步骤S31(步骤S36)中,由例如上述中止控制部等进行判断是否中止再现处理等的处理(图13的步骤S11等)。
步骤S32中,再现处理部23(图23)取得由再现速度确定部191(图19)确定的L值。具体上,再现处理部23通过取得确定L值的自变量target_stream_number而取得L值。
步骤S33(步骤S35)中,启动部231(图23)依次选择帧,而进行所选出的帧(关注帧)的处理。
步骤S34中,解码处理调用部232使解码处理部21进行对步骤S33中选出的关注帧的、使用了由步骤S32中确定的L表示的第k+1-(L-1)再现运算输入流的处理。
步骤S41等表示解码处理部21进行的处理内容。
步骤S41中,帧判断部21a判断关注帧是否是第2×a-1帧。
步骤S42a中,在步骤S41中判断为是第2×a-1帧(奇数帧)的情况下(步骤S41:是),解码侧帧处理部210进行关注帧的解码。
步骤S43a中,解码帧处理部210存储步骤S42a中解码后的解码后帧。
步骤S42b中,在步骤S41中判断为关注帧是第2×a帧(偶数帧)的情况下(步骤S41:否),下一流处理调用部21E1使解码处理部21进行生成前述的加法帧的处理。
步骤S43b中,根据步骤S42b中生成的加法帧,加法帧取得部21E2、解码侧帧取得部21E3、减法部21E4和输出部21E5进行减法等各种处理。
在该例子中,为了说明方便,表示了执行递归处理的例子,但是也可构成不执行递归处理的程序。
由图10表示数字电视系统1a。
数字电视系统1a具有视频解码器1000。视频解码器1000具有与前述的视频解码器901的功能相同的功能,例如具有图7的结构。也可实施基于图10的数字电视系统1a的变形例。
图16是表示多路复用流S1a的图。
多路复用流S1a具有多个保持部。例如,多路复用流S1a是通过这多个保持部来分别保持从多个视点位置看的运动图像而成的流,并且是多场景(多信道、多视角)流。
第1保持部~第k+1保持部是多路复用流S1具有的多个保持部的一部分或全部,分别保持第1记录输出流Va1~第k+1记录输出流Va(k+1)。第1保持部~第k+1保持部分别具有例如保持的记录输出流的帧的时间戳。时间戳确定与该帧的时刻相同时刻的其他记录输出流的帧。
多路复用流S1a与多个保持部一起具有存储编码声音数据的声音记录部(参考图16的附图标记A)。
多路复用流S1a具体上也可以根据例如MPEG(Moving Picture ExpertsGroup:运动图像专家组)的标准具有多场景的形式,且根据MPEG标准具有上述声音记录部。
由此,通过再现该多场景形式的流的通用再现装置,再现第u保持部的记录输出流和编码声音数据,由此,可以和前述的情形同样,即使相对图像质量较低,也可以用通用再现装置简单再现运动图像。
多路复用部164从记录部161输出的第1记录输出流~第k+1记录输出流中生成多路复用流S1a。
图18是表示输入到视频解码器901(图9)的多路复用流S2a的图。多路复用流S2a作为例如上述多路复用流S1a等,具有与多路复用流S1a的数据构造相同的数据构造。
分离部184从多路复用流S1a生成第1再现输入流Vb1~第k+1再现输入流Vb(k+1),并将所生成的第1再现输入流Vb1~第k+1再现输入流Vb(k+1)输入到再现部181。所生成的第1再现输入流~第k+1再现输入流是例如第1记录输出流Va1~第k+1记录输出流Va(k+1)(参考图16)。
图25是表示摄像机系统1的动作图。图25中,用图25的表的第3列表示摄像机系统1的动作。
图25的表的第1行表示输入到第u记录运算部(例如第2记录运算部516)的第u记录运算输入流In(1≤u≤k)。第u记录运算输入流In包含第2×a-1帧NF(奇数帧)和与第2×a-1连续的第2×a帧SF(偶数帧)。
图25的表的第2行表示第u记录运算部~第k+1记录运算部进行的第2×a-1帧NF和第2×a帧SF的处理。
在该处理中,第u记录运算部等将第2×a-1帧NF(例如图5的帧1)编码为编码后的第2×a-1帧CF1。图25中被编码的帧用带阴影加以表示。第u记录运算部等进行将第2×a帧SF(帧2)和第2×a-1帧NF(帧1)相加的加法处理AP(图25),并生成进行了基于加法处理AP的加法后的加法帧Adf(帧1+2)。将所生成的加法帧Adf(帧1+2)通过第u+1记录运算部等编码为编码后的加法帧CF2a。这里,根据情形,对向加法帧(例如3+4)进一步相加了预定的帧(帧1+2)后的处理后帧(帧1+2+3+4)进行该编码。这里,加法处理的处理量比编码处理的处理量少。
现有例1(参考图25的表的第1列、图1(b))、现有例2(图25的表的第2列、图4)中不进行上述加法处理AP,而仅仅分别对第2×a-1帧NF和第2×a帧SF两个帧进行编码。并且,如前所述,所进行的加法处理的处理量少。由此,摄像机系统1中进行编码时的处理量与现有例(现有例1和现有例2)的处理量的不同不过是该较少的处理量部分,实质上维持为相同(参考图11)。
图25的表的第3行表示例如分别再现输入流In的第2×a-1帧NF和第2×a帧SF两者的情形等利用两者的帧的利用两者帧情况下的摄像机系统1的处理。
摄像机系统1中,对编码后的编码后第2×a-1帧CF1(例如图6的帧1)进行解码。另外,对编码后的加法帧CF2a(或上述的处理后帧被编码后的、图6的帧1+2)进行解码,并进行从解码后的加法帧CF2a(或上述的处理后帧)减去的减法处理。通过这样生成的第2×a-1帧NF1及第2×a帧NF2a,来进行两个帧利用。
这里,现有例(现有例1和现有例2)中,在不进行减法处理方面,与上述处理不同。并且,这里减法处理的处理量相对少。因此,上述摄像机系统1中,利用两个帧时的处理量与现有例的处理量实质上相同。
图25的表的第4行表示仅通过一个帧的再现来显示基于第2×a-1帧NF和第2×a帧SF的显示内容的抽取使用的情况下的处理。
摄像机系统1中,对加法帧(例如帧1+2)被编码后的编码后帧进行解码。由此,解码的帧减少为1个,另一方面,因使用的帧是加法帧,故图像质量高。
另一方面,现有例1(参考图1(b))中,不利用加法帧,从而因运动模糊不充分等,而使图像质量低。
现有例2(参考图4)中,在上述的抽取使用时,在生成加法帧时,解码2个以上的帧。例如,流中含有的所有帧被解码。
因此,根据数字电视系统1a,与现有例1、现有例2不同,减少了处理量,同时实现了高的图像质量,兼顾了少处理量和高图像质量。
如上所述,根据上述实施方式,分别构成下面的各装置等。
(A1)构成记录装置(视频编码器900、记录部151),该记录装置包括:编码部(第2编码部510(和第1编码部504、第3编码部514)),对流(例如,图5的第2群中的第k记录运算输入流:处理流)中含有的连续2个帧(帧1+2、帧3+4:2个处理帧)中的一个帧(帧1+2)进行编码;以及加法部(第2加法部512(和第1加法部506、第3加法部512)),将所述2个帧中的另一个帧与所述一个帧相加。
(A2)构成记录装置,该记录装置中,所述编码部对一个处理流(第k记录运算输入流:图5的第2群)中含有的第2×a-1处理帧(帧1+2)与第2×a处理帧(帧3+4)中的一个处理帧(帧1+2)进行编码(a是整数),并生成编码后的编码后帧作为一个输出流(第k记录运算输出流)中含有的第a输出帧,所述加法部生成所述一个处理流(第k记录运算输入流)中含有的所述第2×a-1处理帧(帧1+2)与所述第2×a处理帧(帧3+4)相加后的第a加法帧(帧1+2+3+4),作为另一个处理流(第k+1记录运算输入流)中含有的第a帧。
(A3)构成记录装置,该记录装置中,所述一个处理流和所述一个输出流是第k处理流(第k记录运算输入流)和第k输出流(第k记录运算输出流),所述另一个处理流是第k+1处理流(第k+1记录运算输入流)(k≥1),所述编码部包含:第k+1编码部(第3编码部514),分别对第k+1处理流中含有的第2×a-1帧(例如帧1+2+3+4)和所述第2×a帧(帧5+6+7+8)进行编码,并生成编码后的各编码后帧作为第k+1输出流(第k+1记录运算输出流)中含有的第2×a-1输出帧和第2×a帧;以及第u编码部(第2编码部510、第1编码部504)(1≤u≤k),对第u处理流(第u记录运算输入流)中含有的第2×a-1帧(帧1+2)和所述第2×a帧(帧3+4)中的一个处理帧(帧1+2)进行编码,并生成编码后的编码后帧作为第u输出流(第u记录运算输出流)中含有的第2×a-1输出帧和第2×a输出帧中的一个输出帧(第2×a-1输出帧),所述加法部包含第u加法部(第2加法部512、第1加法部506),该第u加法部将所述第u处理流(第u记录运算输入流)中含有的第2×a-1帧(帧1+2)和所述第2×a帧(帧3+4)相加,并生成相加后的加法后帧作为所述第u+1处理流(第u+1记录运算输入流)中含有的第a帧。
(A4)构成记录装置,该记录装置包括判断部(第2选择部507、第1选择部501),所述判断部判断第u处理流中含有的处理帧是否是所述一个帧,并通过所述编码部对判断为是所述一个帧的处理帧进行编码,使所述加法部生成判断为不是所述一个帧的处理帧的所述加法帧;所述判断部包括第1判断部~第k判断部(第1选择部501~第2选择部507),所述第u判断部进行对第u处理流的所述判断。
(A5)构成记录装置,该记录装置中,所述编码部分别对第u处理流中含有的第1~第2^(k十1-u)(=2^(3-u))的处理帧(A^B表示A的B次幂)中的作为奇数帧的处理帧进行编码,并生成包含编码后的2^(k-u)(2^(2-u))个处理帧的第u输出流(第u记录运算输出流),所述加法部生成包含由第u处理流的第1~第2^(k+1-u)处理帧生成的2^(k-u)个加法帧的第u+1处理流(第u+1记录运算输出流),所生成的第k+1处理流(u=k)(第k+1(=3)记录运算输出流)中含有的加法帧是1个(=k-u)(仅帧1+2+3+4)。
(A6)构成记录装置,该记录装置的特征在于,包括输入所述第1处理流中含有的N个(N=2^k=2^(k+1-1))处理帧的输入单元(输入部500)和第1记录处理部~第k+1记录处理部(第1记录运算处理部~第k+1记录运算处理部);所述编码部包含设置在所述第t记录处理部的第t编码部(1≤t≤k+1);所述加法部包含设置在第t记录处理部的第t加法部(1≤u≤k);第1记录处理部,包括存储由所述输入单元得到的奇数帧和偶数帧的存储单元;该第1记录处理部具有的所述第1编码部对所存储的所述奇数帧进行编码,包括将由所述第1编码部得到的比特流作为所述第1输出流加以存储的存储单元,该第1记录处理部具有的所述第1加法部将所存储的所述奇数帧和所述偶数帧相加,所述第q记录处理部(2≤q≤k+1)包括将从所述第q-1加法部得到的奇数帧和偶数帧加以存储的存储单元;第q编码部对由所述第q-1加法部得到并被存储的奇数帧进行编码;包括将由所述第q编码部得到的比特流作为第q输出流加以存储的存储单元;该第q记录处理部具有的所述第q加法部将所存储的奇数帧和偶数帧相加;由所述第1记录处理部~所述第k+1记录处理部构成k+1级。
(A7)构成再现装置(再现部171、视频解码器901),该再现装置包括:解码部(第2解码部604(和第3解码部601、第1解码部609)),从一个帧(例如帧1+2)被编码后的编码后帧解码该一个帧;以及减法部(第2减法部606),从该一个帧和与该一个帧连续的另一个帧(帧3+4)相加后的加法帧(帧1+2+3+4)减去该一个帧(帧1+2),并生成相减后的帧作为所述另一个帧(帧3+4)。
(A8)构成再现装置,该再现装置中,所述解码部对一个处理前流(例如,第k再现运算输入流)中含有的第a处理前帧(例如帧1+2)进行解码(a是整数),并生成解码后的帧作为一个处理后流(第k再现运算输出流)中含有的第2×a-1处理后帧和第2×a处理后帧中的一个帧;所述减法部从作为第a处理后帧而含有所述一个处理后流的所述第2×a-1处理后帧(帧1+2)和第2×a处理后帧(帧3+4)相加后的加法帧(帧1+2+3+4)的另一个处理后流(第k+1再现运算输入流)中所含有的该第a处理后帧(帧1+2+3+4),减去所述一个处理前帧的所述第a处理前帧被解码后的所述一个帧(帧1+2),并生成相减后的帧作为所述一个处理后流(第k再现运算输出流)的所述第2×a-1处理后帧和所述第2×a处理后帧中的另一个帧(帧3+4)。
(A9)构成再现装置,该再现装置中,所述一个处理前流和所述一个处理后流是第k处理前流(第k再现运算输入流)和第k处理后流(第k再现运算输出流);所述另一个处理后流是第k+1处理后流(第k+1再现运算输出流)(k≥1);所述解码部包括:第k+1解码部(第3解码部601),对所述第k+1处理前流(第k+1再现运算输入流)中含有的第a处理前帧进行解码,并生成解码后的帧(帧1+2+3+4)作为第k+1处理后流(第k+1再现运算输出流)的第a处理后帧;以及第v解码部(第2解码部604),对所述第v处理前流(m≤v≤k)(第v再现运算输入流)中含有的第2×a-1处理前帧和第2×a处理前帧中的一个进行解码,并生成解码后的帧(例如帧1+2)作为第v处理后流(第v再现运算输出流)中含有的第2×a-1处理后帧(帧1+2)和第2×a处理后帧(帧3+4)中的一个(帧1+2);所述减法部包括第v减法部(第2减法部606),该第v减法部从所述第v+1处理后流(第k+1再现运算输出流)中含有的第a处理后帧中,减去第v处理后流(第k再现运算输出流)中含有的第2×a-1处理后帧和第2×a处理后帧中的一个处理后帧(帧1+2),并生成相减后的帧作为第v处理后流的另一个处理后帧(帧3+4)。
(A10)构成再现装置,该再现装置中,m=1,包括选择部(选择部619),当该再现装置在第k+1处理后流的1个帧期间再现2^(L-1)个帧的情况下(1≤L≤k+1),所述选择部仅通过第k+1解码部~第k+1-(L-1)解码部和第k+1减法部~第k+1-(L-1)减法部而仅生成第k+1处理后流~第k+1-(L-1)处理后流,使该再现装置进行第k+1-(L-1)处理后流中含有的各处理后流的再现。
(A11)构成再现装置,该再现装置包括:判断部(第2选择部617、第1选择部(选择部610、选择部618)),该判断部判断第v处理后流中含有的处理后帧是否是所述一个帧,在判断为是所述一个帧的情况下,选择通过所述解码部从该处理后帧被编码后的编码后处理后帧解码出的帧,作为被判断的所述处理后帧,在判断为不是所述一个帧的情况下,选择通过所述减法部从被判断的所述处理后帧作为所述另一个帧进行相加而成的加法帧生成的帧,作为被判断的该处理后帧;所述判断部包括第m判断部~第k判断部;第v判断部进行对第v处理后流的所述判断和选择。
(A12)构成再现装置,该再现装置的特征在于,第1输出流是将第1处理流中含有的N个(N=2^k)处理帧中的奇数帧编码后得到的,第2到第k+1输出流是通过重复k次生成所述第u处理流(1≤u≤k)的奇数帧和偶数帧相加后的加法帧并记录仅将含有所生成的各加法帧的中间流的奇数帧编码后的第u+1输出流而得到的(1≤u≤k),所述再现装置对作为第1输出流和第2到第k+1输出流的第1处理前流~第k+1处理前流进行处理,包括再现部和第1再现处理部~第k+1再现处理部;所述解码部包含设置在第t再现处理部的第t解码部(1≤t≤k+1);所述减法部包含设置在第u再现处理部的第u减法部(1≤u≤k);第k+1记录处理部中,该第k+1记录处理部具有的所述第k+1解码部将第k+1处理前流解码后重构,所述再现部在L=1的情况下,再现从所述第k+1解码部得到的帧;第u记录处理部(1≤u≤k)中,该第u记录处理部具有的所述第u解码部将第u处理前流解码后重构;该第u记录处理部具有的所述第u减法部分别从由第k+1到第u+1处理前流重构的2^(k+1-u)/2(=2^(k-u))中,减去所述第u解码部从第u+1处理前流重构的、对应的所述奇数帧;所述再现部在L≥2的情况下,再现由所述第k+1-(L-1)解码部得到的帧作为奇数帧,并再现从所述第k+1-(L-1)减法部得到的帧作为偶数帧;由所述第1再现处理部~所述第k+1再现处理部构成k+1级。
(A13)构成摄像机系统(参考图9),具有CCD外围部和麦克风作为视频和声音的输入接口,且包括:控制自动聚焦部的摄像机信号处理单元、分别进行运动图像的编码及解码与声音的编码及解码的信号处理单元、输出影像和声音的接口、以及用于保持记录数据的接口,其特征在于,具有(A3)记载的记录装置和(A9)记载的再现装置。
(A14)构成数字电视系统,包括:对来自调谐器的信号进行数字调制解调的单元、进行解扰和传输流的解码的单元、进行运动图像解码和声音解码的信号处理单元以及输出影像和声音的单元,其特征在于,具有(A9)记载的再现装置。
此外,构成下面的各装置等(参考图10)。
(B1)构成记录方法,该记录方法的特征在于,记录对N个(N是2的幂乘数)帧编码了奇数帧后的比特流,
重复Log2N(底数为2的对数)次生成将奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅编码奇数帧后的比特流,
从而生成Log2N+1个比特流。
(B2)构成再现方法,该再现方法的特征在于,第1比特流是对N个(N是2的幂乘数)帧编码奇数帧后得到的,第2到第Log2N+1比特流是通过重复Log2N(底数为2的对数)次生成将所述编码对象帧的奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅编码奇数帧后的比特流而得到的,对于所述第1比特流和第2到第Log2N+1比特流,
当再现N个帧中的1帧的情况下,再现将第Log2N+1比特流解码后重构的帧,
在再现N个帧中的2帧的情况下,再现将第Log2N比特流解码后重构的帧作为奇数帧,并再现从第Log2N+1比特流重构的帧中减去所述奇数帧后的帧作为偶数帧重构,
在再现N个帧中的M个帧(M是3以上N以下的2的幂乘数)的情况下,再现将第Log2M+1比特流解码后重构的帧作为奇数帧,再现从第Log2M到第Log2N+1比特流重构的M/2帧中减去由对应的第Log2M+1比特流重构的所述奇数帧后的帧作为偶数帧。
(B3)构成记录装置,该记录装置的特征在于,包括第1记录单元和第2记录单元,所述第1记录单元具有:输入N(N是2的幂乘数)帧的输入单元、存储由所述输入单元得到的奇数帧和偶数帧的存储单元、对所述奇数帧进行编码的编码单元、以及存储由所述编码单元得到的比特流的存储单元;所述第2记录单元具有:将奇数帧和偶数帧相加的加法单元、存储由所述加法单元得到的奇数帧和偶数帧的存储单元、对由所述加法单元得到的奇数帧进行编码的编码单元、以及存储由所述编码单元得到的比特流的存储单元;所述第1记录单元和所述第2记录单元由Log2N(底数为2的对数)级构成。
(B4)构成再现装置,该再现装置的特征在于,第1比特流是对N个(N是2的幂乘数)帧编码奇数帧后得到的,第2到第Log2N+1比特流是通过重复Log2N(底数为2的对数)次生成将所述编码对象帧的奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅编码奇数帧后的比特流而得到的,
对于所述第1比特流和第2到第Log2N+1比特流,
所述再现装置包括:第1再现单元,具有在再现N个帧中的1帧的情况下将第Log2N+1比特流解码后重构的解码单元、和再现从所述解码单元得到的帧的再现单元;以及第2再现单元,具有在再现N个帧中的M个帧(M是3以上N以下的2的幂乘数)的情况下将第Log2M+1比特流解码后重构的解码单元、将从所述解码单元得到的帧作为奇数帧加以再现的再现单元;从由第Log2M到第Log2N十1比特流重构的M/2帧中减去由对应的第Log2M+1比特流重构的所述奇数帧的减法单元和将由所述减法单元得到的帧作为偶数帧加以再现的再现单元;
所述第1再现单元和所述第2再现单元由Log2N(底数为2的对数)级构成。
(B5)构成摄像机系统,具有CCD外围部和麦克风作为视频和声音的输入接口,且包括:控制自动聚焦部等的摄像机信号处理单元、分别进行运动图像的编码及解码与声音的编码及解码的信号处理单元、输出影像和声音的接口、以及用于保持记录数据的接口,其特征在于,
包括在所述运动图像编码中,记录对N(N是2的幂乘数)帧编码了奇数帧后的比特流,重复Log2N(底数为2的对数)次生成将奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅编码奇数帧后的比特流,从而生成Log2N+1个比特流的单元;
在所述运动图像解码中,第1比特流是对N个帧编码奇数帧后得到的,第2到第Log2N+1比特流是通过重复Log2N(底数为2的对数)次生成将所述编码对象帧的奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅编码奇数帧后的比特流而得到的,对于所述第1比特流和第2到第Log2N+1比特流,
包括在再现N个帧中的1帧的情况下,再现将第Log2N+1比特流解码后重构的帧,在再现N个帧中的2帧的情况下,再现将第Log2N比特流解码后重构的帧作为奇数帧,重构并再现从由Log2N+1比特流重构的帧中减去所述奇数帧后的帧作为偶数帧,在再现N个帧中的M个帧(M是3以上N以下的2的幂乘数)的情况下,再现将第Log2M+1比特流解码后重构的帧作为奇数帧,并再现从由第Log2M到第Log2N+1比特流重构的M/2帧中减去由对应的第Log2M+1比特流重构的所述奇数帧后的帧作为偶数帧的单元。
(B6)构成数字电视系统,具有:对来自调谐器的信号进行数字调制解调的单元、进行解扰和传输流的解码的单元、进行运动图像解码和声音解码的信号处理单元以及输出影像和声音的单元,其特征在于,
在所述运动图像解码中,第1比特流是对N个帧编码奇数帧后得到的,第2到第Log2N+1比特流是通过重复Log2N(底数为2的对数)次生成将所述编码对象帧的奇数帧和偶数帧相加后的帧并对所述相加后的帧仅编码奇数帧后的比特流而得到的,对于所述第1比特流和第2到第Log2N+1比特流,
包括在再现N个帧中的1帧的情况下,再现将第Log2N+1比特流解码后重构的帧;在再现N个帧中的2帧的情况下,再现将第Log2N比特流解码后重构的帧作为奇数帧,重构并再现从由Log2N+1比特流重构的帧中减去所述奇数帧后的帧作为偶数帧,在再现N个帧中的M个帧(M是3以上N以下的2的幂乘数)的情况下,再现将第Log2M+1比特流解码后重构的帧作为奇数帧,再现从由第Log2M到第Log2N+1比特流重构的M/2帧中减去由对应的第Log2M+1比特流重构的所述奇数帧后的帧作为偶数帧的单元。
如上所述,连续2个帧中的一个帧被编码。这里,被编码的一个帧也可以不是这2个帧中前侧的帧(第2×a-1帧),而是后侧的帧(第2×a帧)。
并且,如前所述,若被编码的一个帧是前侧的帧,则可以在可进行后侧帧的处理的时间之前,预先较早地开始一个帧的编码处理。因此,可以更早地结束编码一个帧的处理和该处理的后续处理,可以减少处理延迟。另外,可以分散处理负担,使得不会有较多的处理在后侧帧的处理成为能够进行的时间之后进行。
另外,也可以在开始将一个帧(例如帧1)和另一个帧(帧2)相加为加法帧(帧1+2)的处理之后,开始一个帧的编码处理。
与此相对,如前所述,若在开始加法的处理之前较早地开始一个帧的编码处理,则可减少处理延迟,或不存在处理延迟。另外,可以分散处理负担。
产业上的实用性
在本发明涉及的记录及再现方法及其装置中,在再现进行高速拍摄的电影和运动图像的数字电视中,在处理性能不充分的再现装置中也可提供良好的图像质量,有利于降低耗电量和降低成本。