CN101227609B - 动画数据解码装置 - Google Patents
动画数据解码装置 Download PDFInfo
- Publication number
- CN101227609B CN101227609B CN200810001529XA CN200810001529A CN101227609B CN 101227609 B CN101227609 B CN 101227609B CN 200810001529X A CN200810001529X A CN 200810001529XA CN 200810001529 A CN200810001529 A CN 200810001529A CN 101227609 B CN101227609 B CN 101227609B
- Authority
- CN
- China
- Prior art keywords
- picture
- decoding
- disappearance
- reference picture
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
Abstract
本发明涉及动画数据解码装置。本发明的目的在于,即使在对单波段广播等的压缩动画数据流进行解码并输出视频信号的装置中发生了图片的部分或整体的缺失,也能输出使得观看者不会感觉不适的视频信号。动画数据解码装置包括:缓冲单元26,其缓冲通过解码处理解码的预定量的已解码图片;和图片生成单元23,其被配置为生成图片,并且如果存在缺失用于帧间预测的图片的情况(S202),则以从缓冲单元26中所缓冲的已解码图片中获取用于代替缺失的图片的替代参考图片的方式(S203)来执行图片生成(S205)。
Description
技术领域
本发明涉及一种基于帧间预测来执行包含图片生成的解码处理的动画数据解码装置。
背景技术
在对压缩动画数据进行解码并且显示图片的时候,用于处理缺失图片的技术例如有利用另一图片对缺失图片进行补充的方法(参考专利文献1)和在帧不是IDR(瞬时解码器刷新)帧时基于一帧前的过去数据来执行解码的方法(参考专利文献2)。
[专利文献1]日本特开第2002-320156号公报
[专利文献2]日本特开第2006-174209号公报
[专利文献3]日本特开第2003-134064号公报
单波段广播(单波段广播(one-segment broadcasting))可利用连接到能够接收单波段广播的调谐器和天线的个人计算机来进行音频/视频接收。在此,个人计算机安装有各种装置,因此自身生成无线电波(干扰噪声),而所述无线电波在有些情况下干扰了单波段广播的接收。例如,当对DVD进行读取和写入的DVD驱动器开始对DVD进行读取时,电功率瞬时达到其峰值,并且在此功率峰值的影响下生成了对最优地接收所述单波段广播造成干扰的无线电波。此外,在利用移动式装置,例如笔记本式个人计算机对单波段广播进行音频/视频接收时,接收条件依赖于移动和环境的状态而在某些情况下不能达到可接受的级别。
在这些情况下,视频数据和声音数据未从单波段广播调谐器输出,从而引起了图片的部分或整体的缺失,这导致了图片和声音被停止或扰乱的现象。另外,由于不限于来自装置的干扰无线电波(干扰噪声)的影响的一些原因,发生了缺失图片的情况,这导致在某些情况下发生图片和声音被停止或扰乱的现象。
在此,作为迄今已被采用的解决方法,提出了用另一图片补充缺失图片的方法。然而,所述解决方法存在的问题是:只是简单地用另一图片补充缺失图片,因而经补充的部分成为同一图片的继续。另一方法是,如果出现了不能接收的状态,在帧不是IDR帧时基于一帧前的过去数据来进行解码。该解决方法存在的问题是:尽管未缺失IDR帧本身,但不能处理缺失与IDR帧有关的图片数据的情况。
发明内容
鉴于上述问题,本发明旨在即使在对单波段广播等的压缩动画数据流进行解码和输出视频信号的装置中发生了图片的部分或整体缺失的情况下,也能输出使得观看者不会感觉不适的视频信号。
根据本发明,为了解决上述问题,对已经解码的图片进行预定时间段的缓冲,由此即使用于帧间预测的参考图片发生了缺失,也能够以从所缓冲的已解码图片中获取替代参考图片的方式来生成图片。
具体来说,本发明是执行解码处理的动画数据解码装置,所述解码处理包括基于压缩动画数据流通过帧间预测的图片生成,所述动画数据解码装置包括:缓冲器,其缓冲通过所述解码处理解码的预定量的已解码图片;和图片生成单元,其被配置成生成图片,并且如果用于帧间预测的参考图片缺失,则以从所述缓冲器中缓冲的已解码图片中获取用于替代缺失图片的替代参考图片的方式来执行所述图片生成。
在此,压缩动画数据流是经由广播和流式传输而接收的动画数据的数据流,例如为从单波段广播调谐器输出的TS(传输流)信号。
如果缺失了参考图片,则到此为止无法生成图片,或生成了缺少信息的图片,然而根据本发明,可行的是即使缺失了参考图片,也可通过使用缓冲的已解码的图片作为替代参考图片,来生成使得观看者不会感觉不适的图片,并且防止了图片被扰乱和停止。
而且,根据本发明的动画数据解码装置还可包括:与显示装置的接口;和输出控制单元,其在缓冲有所述预定量的已分解图片的状态下,以自接收到或者输入了所述压缩动画数据流时起的预定时间段的延迟向所述显示装置输出基于已解码图片的视频信号,其中,如果由于压缩动画数据流缺少信息缺,出现了缺失图片的情况,则图片生成单元可从缓冲器中缓冲的已解码图片中获取参考图片或替代参考图片,接着可执行图片生成并补充缺失的图片。
根据本发明,即使发生了缺失图片的情况,通过使用缓冲的已解码图片作为参考图片的方式也能生成图片,并且可(利用所生成的图片)补充缺失的图片。注意在生成用于补充的图片的情况下,如果发生了缺失参考图片的情况,则可使用替代参考图片。
此外,可将本发明理解为由计算机执行的方法或使计算机执行所述处理的程序。此外,本发明还可以是可通过计算机、其它装置、机器等读取的记录有所述程序的记录介质。在此,可通过计算机等读取的记录介质是指能够以以电方式、以磁方式、以光方式、以机械方式或通过化学作用存储可从计算机等读取的诸如数据和程序的信息的记录介质。
即使在对单波段广播等的压缩动画的数据流进行解码和输出视频信号的装置中发生了图片的部分或整体缺失的情况下,本发明也能够输出使得观看者不会感觉不适的视频信号。
附图说明
图1是示出H.264/AVC的数据结构的图。
图2是示出如何处理常规的已解码图片的图。
图3是例示了在发生缺失图片的情况下的常规显示方法的图。
图4是例示了在发生缺失图片的情况下的常规显示方法的图。
图5是示出根据本发明如何处理已解码图片的图。
图6是例示了在发生缺失图片的情况下根据本发明的显示方法的图。
图7是示出根据实施方式的个人计算机的配置概要的图。
图8是示出根据实施方式的个人计算机的深入配置示例的图。
图9是示出整个图像数据解码处理的流程的流程图。
图10是示出基于帧间预测生成图片和补充缺失图片的处理的流程的流程图。
具体实施方式
随后将参考附图描述其中根据本发明的信息装置作为个人计算机进行操作的实施方式。下面的实施方式中的配置是一个示例,本发明不限于此实施方式中的配置。
<发明的实质>
单波段广播涉及使用H.264/AVC(高级视频编码)(1.2级,320×240像素或者320×180像素,最小帧间隔:1/15秒)作为压缩编码系统。该压缩编码系统采用基于帧间预测的图片生成方法,作为根据压缩动画(动态图像)数据生成图片的方法。
图1是示出H.264/AVC的数据结构的图。H.264/AVC的数据包括:SPS(序列参数集),其被定义为包含关于整个序列的码的信息的头部;PPS(图片参数集),其被定义为表示整个图片的编码模式的头部;必要时添加的SEI(补充增强信息);IDR图片(瞬时解码器刷新图片)等。在单波段广播中,根据三个或更少的参考图片来进行帧间预测,从而生成P图片(预测图片)。
根据本实施方式的个人计算机是包括用于接收单波段广播的调谐器及其解码装置的个人计算机,并且使得能够通过在显示单元(显示器)上显示基于解码视频信号的图片来对单波段广播进行音频/视频接收。由于从设置在个人计算机中的装置本身产生了干扰无线电波(干扰噪声),所以认为此类个人计算机可能发生接收帧时的临时失败,并且可能发生缺失图片的情况。
在常规的单波段广播音频/视频接收器中,顺序地从存储器中删除过去的编码图片(参见图2),因此,如果发生缺失图片的情况,不能防止缺乏信息的图片照原样输出并且不能防止所显示的图片发生中断(blackout)(参见图3和4)。
在这种情况下,根据本实施方式的个人计算机被设计为缓冲3秒的已解码图片,所述3秒是估算的再现时间的周期(即,所述个人计算机被设计为不从计算机上的存储器中删除已解码的图片)(参见图5)。这样,如果生成图片需要的参考图片缺失,则通过从其中缓存的已解码图片获取作为替代的参考图片,来补全必要数量的参考图片,并且基于包括替代参考图片的参考图片执行使用帧间预测的图片生成(参见图6)。
即,根据本实施方式的个人计算机能够自其输出视频信号,使得即使在缺失了参考图片的情况下,也能以防止输出缺少信息的图片和防止图片遭受中断的方式,来显示使得观看所显示的图片的观看者不会觉得有不适感觉的图片。
在本实施方式中,在将要缓冲的已解码图片的量转换成将已解码图片显示为动画所用的时间周期的情况下,所述要缓冲的已解码图片的量等同于3秒。在单波段广播中,每秒显示15帧,因此缓冲大约45帧的已解码图片。
此外,根据本实施方式的个人计算机通过使用该缓冲器进行3秒的延迟显示。即,在利用根据本实施方式的个人计算机对单波段广播进行音频/视频接收的情况下,与利用其它普通类型的单波段广播音频/视频接收器对单波段广播进行音频/视频接收的情况相比,显示的图片具有3秒的延迟。所述延迟显示使得,即使当由于TS信号的信息缺失而发生了缺失图片的情况时,也可通过利用缓冲的已解码图片作为参考图片来生成图片以补充缺失的图片,而不是原样输出缺失了图片的视频信号。
考虑到3秒或更长时间之前的图片可能用作替代参考图片的可能性,优选地将缓冲器大小和延迟时间设置得尽可能大,然而,考虑到当实际观看和收听单波段广播时延迟的容许范围和在个人计算机上可确保的缓冲区的大小,在本实施方式中采用值“3秒”。然而,优选的是,将缓冲器大小和延迟时间设置为适于每个实施方式的最优值。例如,可想到的方案是通过以终止驻留的应用程序和不必要的应用程序的方式而不是将部分主存储器用作图像存储器的方式(通过提供单独的图像存储器)来增加主存储器的可能确保的容量,从而增加缓冲器大小。
<个人计算机配置概要>
图7是根据本实施方式的个人计算机10的配置概要的图。个人计算机10包括:操作单元18,其在接收到用户的操作后操作个人计算机10;检测单元22,其检测操作单元18的操作;广播接收单元14,其接收TV广播;动画数据解码装置10A,其将基于从广播接收单元14输出的TS信号而解码的已解码图片输出到显示单元40;以及显示单元40,其基于输入的视频信号显示通过广播接收单元14接收的广播节目。
此外,动画数据解码装置10A包括:图片生成单元23,其解码从广播接收单元14输出的TS信号;缓冲单元26,其存储固定量的由图片生成单元23生成的已解码图片;以及输出控制单元21,其将已解码的图片输出到显示单元40。
可通过包括CPU、存储器等的计算机和通过在计算机上执行的程序实现这些功能单元。
在此,操作单元18例如为计算机的输入装置、通过组合红外线检测单元和红外线遥控器而构造的遥控操作单元、用于频道操作的旋钮和操作按钮。
检测单元22经由操作单元18与CPU之间的接口、处理接口信号的装置驱动器、以及通过所述装置驱动器向/从操作单元18传送和接收信号的OS(操作系统),来检测操作单元18的操作(例如切换接收频道)。
然而,也可提供专用硬件作为检测单元22。例如,可通过提供用于操作单元的输入信号处理电路来分担CPU的处理。作为这种类型的处理电路,已知有键盘控制器、鼠标控制器等。
此外,例如,可单独提供用于处理从操作单元18发送的信号的专用输入控制处理器。输入控制处理器将操作单元18的信号转换为预定信号并且可简单地将信号发送到输出控制单元21。
广播接收单元14是所谓的单波段调谐器。广播接收单元14利用天线接收广播波并且基于接收到的广播波输出压缩的动画数据流(TS信号)。
图片生成单元23基于从广播接收单元14输出的TS信号生成集合了动画的相应帧的图片。在此,本实施方式涉及执行包括基于帧间预测的P-图片生成的图片生成处理。图片生成单元23可被配置成在CPU上执行的计算机程序。然而,图片生成单元23还可被构造为基于TS信号生成图片并且输出由此生成的图片的专用处理器。
缓冲单元26缓冲所生成的已解码图片。缓冲单元26接受由图片生成单元23生成的已解码图片的输入并且对3秒估计再现时间的已解码图片进行缓冲。缓冲单元26可被构造成记录介质的形式,如通过在CPU上执行的计算机程序控制的电力支持的易失性存储器、类似闪存等的非易失性存储器、以及硬盘或便携式介质。然而,缓冲单元26还可被构造为对所输入的已解码图片进行缓冲的专用存储器。
输入控制单元21具有与显示单元40的接口,并且控制向显示单元40的视频信号输出。输出控制单元21根据由检测单元22检测的信号,读取在缓冲单元26中缓冲的已解码图片,随后将已解码的图片转换为视频信号并且将转换的视频信号输出到显示单元40。在这种情况下,输出控制单元21输出从接收到广播时起延迟3秒的视频信号。输出控制单元21可被设置为在CPU上执行的计算机程序。然而,输出控制单元21还可被构造为在将动画数据等转换为针对显示单元40的输出格式后,输出视频信号的专用处理器。
显示单元40是所谓的监视器,其接收从输出控制单元21输出的视频信号的输入并且显示图片。
<个人计算机的配置>
图8是示出根据本发明的一个实施方式的个人计算机10的深入配置示例的图。如在图8中,个人计算机10包括的装置例如有执行计算机程序且控制个人计算机10的CPU 11、存储通过CPU 11执行的计算机程序或通过CPU 11处理的数据的存储器12,以及将CPU 11连接到各种装置的接口13,并且所述个人计算机10还包括经由接口13连接(到CPU 11)的一组装置,如广播接收单元14、通信单元15、硬盘驱动装置16、便携式介质驱动装置17、操作单元18以及显示单元40。
在此,CPU 11执行计算机程序,由此控制个人计算机10的相应单元,从而使得个人计算机10用作包括如下功能单元的装置,所述功能单元例如为检测单元22、广播接收单元14、输出控制单元21、图片生成单元23、缓冲单元26以及输出控制单元21。存储器12存储有通过CPU 11执行的程序和通过CPU 11处理的数据。存储器12包括易失性RAM(随机存取存储器)和非易失性ROM(只读存储器)。ROM包括可重写半导体存储器,如闪存、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)。
接口13可以是下列接口中的任何一个:诸如USB的串行接口和诸如PCI(外围部件互连)的并行接口、ISA(工业标准结构)、EISA(扩展ISA)、ATA(AT附件)、IDE(集成驱动电路)、IEEE1394以及SCSI(小型计算机系统接口)。注意,在图8中将接口描述为接口13,然而,CPU 11还可经由不同的接口连接到各个装置。此外,多个接口可以是桥接的。
广播接收单元14是用于单波段广播的TV调谐器。除了包括具有调谐电路和放大器的高频单元,广播接收单元14还包括用于数字信号的解码器(用于OFDM(正交频分复用)的解调器)。
在此,高频单元将高频电磁波转换为基带信号。而且,OFDM解调器包括FFT(快速傅立叶变换)处理电路和正交解调器,并且基于基带信号生成数字信号。这些处理可通过执行积和操作的专用数字电路来组织。此外,这些处理也可通过诸如DSP(数字信号处理器)的处理器和通过程序来组织。此外,还可采用基于TV广播标准制造且在市场上可得到的用于解调的LSI。
通信单元15是针对宽带网络的接口。宽带网络是诸如LAN(局域网)、有线电视网络、xDSL(x数字用户线)、ADSL(非对称数字用户线)以及光学网络的有线缆网,或者诸如无线LAN和固定无线接入(FWA)的无线接入网络。通信单元15获取例如安装在硬盘驱动装置16上的计算机程序、来自网络上的服务器的TV广播的电子节目指南(EPG)等。通常,这些宽带网络可连接到互联网。
硬盘驱动装置16存储要载入到存储器12的程序。此外,硬盘驱动装置16存储通过CPU 11处理的数据。
注意,硬盘驱动装置16不限于单个装置,也可提供多个硬盘驱动装置16。此外,硬盘驱动装置16还可以是由另一计算机(例如在网络上的盘服务器)管理的装置。在此情况下,CPU 11经由通信单元15与盘服务器通信即可。CPU 11随后在显示单元40上显示从盘服务器获取的EPG(电子节目指南)等就足够了。
便携式介质驱动装置17是用于例如CD(光盘)、DVD(数字多媒体光盘)、HD-DVD(高度DVD)、蓝光盘(Blu-ray disc)等的驱动装置。此外,便携式介质驱动装置17还可以是具有诸如闪存的非易失性存储器的卡介质的输入/输出装置。通过便携式介质驱动装置17驱动的介质保持安装在硬盘驱动装置16中的计算机程序、动画数据等。
操作单元18是计算机的输入装置,如键盘和定点装置。而且,操作单元18包括:通过组合红外线检测单元和红外线遥控器而构造的遥控操作单元、各种开关、用于频道操作的旋钮等。定点装置不限于特定的类型,并且对应于所述个人计算机10的特性、用户的需要等可采用下列装置中的合适装置:鼠标、跟踪球、拨号型操作单元、在显示单元40上移动指针的杆型装置、用于通过静电电容检测用户的手指操作的装置、触摸板、操纵杆等。
键盘将与根据用户的输入操作而输入的键相对应的电信号发送到未示出的键盘控制器。键盘控制器向CPU 11发送对应于所述电信号的码。
定点装置在检测到用户操作时,将操作信号发送给未示出的定点装置控制器(例如,未示出的鼠标控制器或接口13等)。接收到该操作信号的定点装置控制器将用于生成操作方向和操作量的信息发送给CPU11。CPU 11的装置驱动器基于来自定点装置控制器的操作信号而在显示单元40的屏幕上显示并且移动指针。
此外,CPU 11的OS确定在屏幕上指针与对象(窗口、按钮、菜单、列表等)之间的位置关系。接着,将指针所定位的位置处的对象设置为选定状态或聚焦状态。而且,通过针对指定装置的选择建立操作,例如通过按压鼠标按钮来建立对象的选择。
显示单元40例如为液晶显示装置、等离子显示板、CRT(阴极射线管)以及电致发光板。注意,虽然未示出,但显示单元40包括存储有图像数据的RAM和基于RAM中的数据对显示单元40进行驱动的驱动电路。然而,也可独立地提供存储有图像数据的RAM、驱动显示单元40的驱动电路等作为图像处理板。在此情况下,将组织从CPU 11提供的屏幕信息的数据输入给所述图像处理板。
此外,显示单元40附装有扬声器,从所述扬声器输出通过广播接收单元14生成的声音(语音和语音之外的声音元素)和从便携式介质驱动装置17读取并通过未示出的语音合成板再现的声音。所述语音合成板将例如MP3(MPEG-1音频层-3)等的数字数据转换为声音。
根据本发明的信息装置可被构造为上述的个人计算机10。然而,根据本发明的信息装置不限于该个人计算机,而也可以是不同类型的装置,例如具有相同功能的电视接收装置。而且,所述信息装置可通过下列装置来实现:用于接收TV广播的调谐器、用于接收TV广播的机顶盒、具有TV广播接收功能的移动电话、具有TV广播接收功能的移动信息终端(个人数字助理(PDA))、具有TV广播接收功能的游戏机、具有TV广播接收功能的车载装置等。
<处理流程>
图9和10各示出了个人计算机10的处理流程。图9是示出整个图像数据解码处理的流程的流程图。在流程图中示出的图像数据解码处理的执行是通过下列步骤触发的,即,检测单元22接收到操作单元18中的TV观看开始操作,随后向输出控制单元21发布开始图像数据解码处理的指令。
在步骤S101中,生成基于从广播接收单元14输出的数据流的图片。图片生成单元23基于从广播接收单元14输出的TS信号,生成显示动画所需的各个帧的图片。在该情况下,基于需要参考一到三个已解码的I-图片(内图片)或P-图片(预测图片)的帧间预测来生成P-图片。之后,处理前进到步骤S102。
在步骤S102,缓冲3秒的已解码图片。缓冲单元26缓冲由图片生成单元23生成的估计再现时间为3秒的图片。之后,处理继续到步骤S103。
在步骤S103,延迟输出视频信号。在缓冲了3秒的已解码图片的情况下,输出控制单元21以从接收广播时起3秒的延迟来读取已解码图片,并且将读取的图片输出给显示单元40。即,输出控制单元21通过利用缓冲单元26以3秒的延迟输出图片。之后,处理继续到步骤S104。
在步骤S104,监视是否有缺失图片的情况。图片生成单元23监视在缓冲单元26中缓冲的已解码图片是否包括缺少信息或遭受中断的图片,即,是否存在缺失图片的情况。如果未检测到缺失图片,则重复步骤S101所示的图片生成处理、步骤S102所示的缓冲处理、步骤S103所示的输出处理以及步骤S104所示的监视处理。而如果检测到缺失图片,则处理进行到步骤S105。
在步骤S105,确定是否可从3秒内的缓冲数据中获取参考图片。如果有缺失图片的情况,则图片生成单元23确定是否缓冲了变为用于生成缺失图片的参考图片候选的已解码图片。即,缓冲单元26缓冲了3秒的已解码图片,因此,如果生成缺失图片所需的参考图片是在过去3秒内的图片,则能够从缓冲的已解码图片中获取参考图片,但如果生成缺失图片所需的参考图片是不在3秒内的图片,则不能从缓冲的已解码图片中获取参考图片。当确定可获得参考图片时,处理进行到步骤S108。当确定不可获取参考图片时,处理进行到步骤S106。
在步骤S106,对表明不能正常显示的消息进行显示。输出控制单元21检测到图片生成单元23不能补充缺失的图片,并且向显示单元40输出包含表明不能正常显示的消息的视频信号。响应于该操作,在显示单元40上显示表明不能正常显示的消息,从而观看者可以知道由于一些因素出现了不能观看的状态。之后,处理进行到步骤S107。
步骤S107涉及执行等待处理,直到接收到正常数据。当广播接收单元14接收到正常数据时,处理进行到步骤S101,在步骤S101中重新开始视频输出和视频显示。
在步骤S108,执行缺失图片补充处理。图片生成单元23从由缓冲单元26缓冲的已解码图片中获取参考图片,并且依靠基于该参考图片的帧间预测来补充缺失的图片。参考图10,对补充处理进行深入描述。之后,处理进行到步骤S101。
图10是示出通过帧间预测生成图片并补充缺失图片的处理流程的流程图。该流程图中示出的缺失图片补充处理对应于图9中所示的步骤S108。
在步骤S201中,获取参考图片。图片生成单元23获取缓冲单元26缓冲的一个到三个已解码图片作为用于帧间预测的参考图片。此后,处理进入到步骤S202。
在步骤S202中,确定获取的参考图片是否可用。图片生成单元23确定在步骤S201获取的参考图片(已解码图片)是否是可用于帧间预测的正常图片。如果确定获取的图片因为是遭受中断等的图片而不可用作参考图片,则处理进行到步骤S203。而如果确定获取的图片可用作参考图片,则处理进行到步骤S204。
在步骤S203,获取替代的参考图片。图片生成单元23在缓冲单元26缓冲的已解码图片内获取在缺失的参考图片的帧前面一个帧的已解码图片,作为替代参考图片。为了参考图6对其进行说明,C13、C14以及C15是生成图片所需要的参考图片,并且如果缺失的图片是参考图片C13,则获取参考图片C12作为替代参考图片。此后,处理进行到步骤S202,在步骤S202,确定获取的替代参考图片是否可以使用。即,图片生成单元23追踪缓冲的已解码图片,直到获取了可用的替代参考图片。例如,如图6中所示,必要的参考图片是图片C12、C13以及C14,但是,如果缺失的图片是参考图片C13,则可获取图片C10作为替代参考图片。
在步骤S204,确定是否获取了用于帧间预测的必要数量的参考图片。图片生成单元23确定是否补全包括用于基于帧间预测生成图片的替代参考图片的必要数量的参考图片。当确定获取了必要数量的参考图片时,处理进行到步骤S205。当确定未获取必要数量的参考图片时,处理进行到步骤S201。即,重复在步骤S201到S204的处理,直到获取了必要数量的参考图片(其可包括替代参考图片)。
在步骤S205,基于获取的参考图片生成图片。图片生成单元23通过基于参考图片(其可包括替代参考图片)的帧间预测来生成图片。此后,处理进行到步骤S206。
在步骤S206,补充缺失的图片。图片生成单元23利用在步骤S205中生成的已解码图片来补充缺失的图片(在S104中检测到的缺失图片)。而且,缓冲单元26缓冲有该已解码图片(参考步骤S102)。注意,输出控制单元21以等待3秒延迟处理的方式输出该图片(参考步骤S103)。此后,结束在本流程图中示出的处理。
<修改例>
图9和10例示了其中通过CPU 11执行的程序来实现由例如图7中示出的检测单元22、广播接收单元14、输出控制单元21、图片生成单元23、缓冲单元26以及输出控制单元21构造的个人计算机10的内部配置的示例。如在<个人计算机的配置概要>中描述的那样,取代这种类型的配置,可通过不同于CPU 11的处理器、硬件电路等来实现个人计算机10的内部配置的一个或多个部件。即,取决于CPU 11的处理能力和吞吐量,图7中的各个部件可由不同的处理器或数字电路来构造。即使在包括与CPU 11不同的处理器或数字电路的情况下,处理过程也与图9和10中示出的相同。即,本实施方式中的个人计算机可实现为CPU 11的程序或可通过专用处理器且进一步通过专用数字电路来实现。
<计算机可读记录介质>
用于使计算机、其它机器、装置(此后称为计算机等)实现上面给出的任何一个功能的程序可记录在计算机等可读的记录介质上。然后,使计算机等读取并执行在该记录介质上的程序,由此可提供其功能。
在此,计算机等可读的记录介质指能够以电方式、以磁方式、以光方式、以机械方式或通过化学作用存储可从计算机等读取的信息(如数据和程序)的记录介质。在这些记录介质中,例如,软盘、磁光盘、CD-ROM、CD-R/W、DVD、DAT、8毫米磁带、存储卡等是可从计算机等拆卸的记录介质。
此外,硬盘、ROM等是固定在计算机等内的记录介质。
Claims (3)
1.一种执行解码处理的动画数据解码装置,所述解码处理包括基于压缩动画数据流通过帧间预测进行的图片生成,所述动画数据解码装置包括:
缓冲器,其对经所述解码处理解码的预定量的已解码图片进行缓冲;和
图片生成单元,其被配置为生成图片,并且如果存在缺失用于帧间预测的参考图片的情况,则以从所述缓冲器中缓冲的已解码图片中获取用于替代缺失的图片的替代参考图片的方式来执行图片生成,
其中,所述动画数据解码装置还包括:
与显示装置的接口;以及
输出控制单元,其在缓冲了所述预定量的已解码图片的状态下,以自接收到或者输入所述压缩动画数据流时起的预定时间段的延迟,向所述显示装置输出基于已解码图片的视频信号,
其中,如果由于所述压缩动画数据流缺少信息,出现了缺失图片的情况,则所述图片生成单元从所述缓冲器中缓冲的已解码图片中获取参考图片或替代参考图片,随后执行图片生成并补充缺失的图片。
2.一种执行解码处理的信息装置,所述解码处理包括基于压缩动画数据流通过帧间预测进行的图片生成,所述信息装置包括:
缓冲器,其对经所述解码处理解码的预定量的已解码图片进行缓冲;
图片生成单元,其被配置为生成图片,并且如果存在缺失用于帧间预测的参考图片的情况,则以从所述缓冲器中缓冲的已解码图片中获取用于替代缺失的参考图片的替代参考图片的方式来执行图片生成;
输出控制单元,其在缓冲了所述预定量的已解码图片的状态下,以自接收到或者输入所述压缩动画数据流时起的预定时间段的延迟,向所述显示装置输出基于已解码图片的视频信号;以及
显示单元,其显示基于通过所述输出控制单元输出的视频信号的图片,
其中,如果由于所述压缩动画数据流缺少信息,出现了缺失图片的情况,则所述图片生成单元从所述缓冲器中缓冲的已解码图片中获取参考图片或替代参考图片,随后执行图片生成并补充缺失的图片。
3.一种执行解码处理的动画数据解码方法,所述解码处理包括基于压缩动画数据流通过帧间预测进行的图片生成,所述动画数据解码方法使计算机执行以下步骤:
缓冲步骤,其缓冲由所述解码处理解码的预定量的已解码图片;和
图片生成步骤,其生成图片,并且如果存在缺失用于帧间预测的参考图片的情况,则以从在所述缓冲步骤中缓冲的已解码图片中获取用于替代缺失的参考图片的替代参考图片的方式来执行图片生成,
其中,所述计算机还执行输出控制步骤,所述输出控制步骤在已缓冲了所述预定量的已解码图片的状态下,以自接收到或者输入所述压缩动画数据流时起的预定时间段的延迟,向显示装置输出基于所述已解码图片的视频信号,并且
所述图片生成步骤包括以下步骤:如果由于所述压缩动画数据流缺少信息,出现了缺失图片的情况,则从在所述缓冲步骤中缓冲的已解码图片中获取参考图片或替代参考图片,随后执行图片生成并且补充缺失的图片。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007010264 | 2007-01-19 | ||
JP2007010264A JP2008177907A (ja) | 2007-01-19 | 2007-01-19 | 動画データ復号装置、情報機器、動画データ復号方法および動画データ復号プログラム |
JP2007-010264 | 2007-01-19 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100380632A Division CN102075764A (zh) | 2007-01-19 | 2008-01-04 | 动画数据解码装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101227609A CN101227609A (zh) | 2008-07-23 |
CN101227609B true CN101227609B (zh) | 2011-04-13 |
Family
ID=39641186
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100380632A Pending CN102075764A (zh) | 2007-01-19 | 2008-01-04 | 动画数据解码装置 |
CN200810001529XA Expired - Fee Related CN101227609B (zh) | 2007-01-19 | 2008-01-04 | 动画数据解码装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100380632A Pending CN102075764A (zh) | 2007-01-19 | 2008-01-04 | 动画数据解码装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8385431B2 (zh) |
JP (1) | JP2008177907A (zh) |
KR (1) | KR100975843B1 (zh) |
CN (2) | CN102075764A (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9253496B2 (en) * | 2008-12-12 | 2016-02-02 | Qualcomm Incorporated | Intelligent decoded picture buffering |
KR20120063886A (ko) * | 2010-12-08 | 2012-06-18 | 삼성전자주식회사 | 영상처리장치, 사용자 단말장치 및 그 영상처리방법, 제어방법 |
ES2714756T3 (es) | 2011-06-30 | 2019-05-29 | Ericsson Telefon Ab L M | Señalización de imágenes de referencia |
JP6365924B2 (ja) | 2013-05-09 | 2018-08-01 | サン パテント トラスト | 画像復号方法及び画像復号装置 |
CN106775557A (zh) * | 2016-11-28 | 2017-05-31 | 墨宝股份有限公司 | 一种智能机器人与虚拟3d的交互系统及方法 |
US11290983B2 (en) | 2018-04-05 | 2022-03-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Multi-stage sidelink control information |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1079949A (ja) * | 1996-09-04 | 1998-03-24 | Oki Electric Ind Co Ltd | 画像符号化装置、画像復号化装置及び画像伝送システム |
JP3373130B2 (ja) | 1997-03-24 | 2003-02-04 | 沖電気工業株式会社 | 画像復号化装置 |
JP3604290B2 (ja) * | 1998-09-25 | 2004-12-22 | 沖電気工業株式会社 | 動画像復号方法及び装置 |
JP2000350212A (ja) * | 1999-06-04 | 2000-12-15 | Matsushita Electric Ind Co Ltd | 映像信号復号装置並びに映像信号表示システム |
EP1176833A3 (en) * | 2000-07-25 | 2012-06-27 | Panasonic Corporation | Image decoding method, image decoding apparatus, and data storage medium |
JP2002320156A (ja) | 2001-04-19 | 2002-10-31 | Matsushita Electric Ind Co Ltd | 車載用テレビ受信装置 |
JP2003134064A (ja) | 2001-10-26 | 2003-05-09 | Hitachi Ltd | デジタル放送補完方法およびデジタル放送受信システム |
JP2004088722A (ja) * | 2002-03-04 | 2004-03-18 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号化方法 |
KR100969057B1 (ko) * | 2002-08-08 | 2010-07-09 | 파나소닉 주식회사 | 동화상의 부호화 방법 및 복호화 방법 |
JP2006513634A (ja) * | 2003-01-10 | 2006-04-20 | トムソン ライセンシング | 符号化ストリーム中で伝送されたイントラ予測モードに基づく空間的誤り隠蔽 |
JP4707385B2 (ja) | 2004-12-17 | 2011-06-22 | 京セラ株式会社 | ディジタル放送受信装置 |
CN101133650B (zh) * | 2005-04-01 | 2010-05-19 | 松下电器产业株式会社 | 图像解码装置以及图像解码方法 |
JP4730183B2 (ja) | 2006-04-17 | 2011-07-20 | 株式会社日立製作所 | 映像表示装置 |
KR20070103229A (ko) * | 2006-04-18 | 2007-10-23 | 삼성전자주식회사 | 컬러 보간 방법 및 장치 |
-
2007
- 2007-01-19 JP JP2007010264A patent/JP2008177907A/ja active Pending
- 2007-12-03 US US11/949,327 patent/US8385431B2/en not_active Expired - Fee Related
- 2007-12-18 KR KR20070133253A patent/KR100975843B1/ko active IP Right Grant
-
2008
- 2008-01-04 CN CN2011100380632A patent/CN102075764A/zh active Pending
- 2008-01-04 CN CN200810001529XA patent/CN101227609B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8385431B2 (en) | 2013-02-26 |
KR20080068537A (ko) | 2008-07-23 |
US20080175326A1 (en) | 2008-07-24 |
CN102075764A (zh) | 2011-05-25 |
KR100975843B1 (ko) | 2010-08-16 |
CN101227609A (zh) | 2008-07-23 |
JP2008177907A (ja) | 2008-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101227609B (zh) | 动画数据解码装置 | |
JP5491509B2 (ja) | コンテンツ先読み制御装置及び先読み制御方法 | |
CN112087633B (zh) | 视频解码方法、装置及存储介质 | |
KR100807735B1 (ko) | 디지털 멀티미디어 방송 단말기에서 방송 데이터 처리 장치 및 방법 | |
US20060188221A1 (en) | Video device having priority-based recording function and control method for the same | |
JP4496049B2 (ja) | 画像処理装置、画像データ管理方法、画像データ管理プログラム及び情報記録媒体 | |
CN101146196A (zh) | 控制时移存储空间的方法和设备及使用其的电视接收机 | |
KR20070101505A (ko) | 디지털 멀티미디어 방송 서비스에서 오디오 채널의배경화면 설정 장치 및 방법 | |
US8634697B2 (en) | Sound signal control device and method | |
CN101779449B (zh) | 用于显示电子节目指南的方法和装置 | |
US8422866B2 (en) | Signal output device, signal output method and readable-by-computer recording medium | |
CN1949855A (zh) | 显示设备及其控制方法 | |
JP2012130048A (ja) | テレビ放送視聴装置及びプログラム | |
CN101998097A (zh) | 运动图像记录设备、运动图像记录方法以及程序 | |
JP2008109175A (ja) | テレビ受信機能付き通信機器 | |
CN103220405A (zh) | 用于在无线终端中终止音乐再现的设备和方法 | |
WO2007055445A1 (en) | A pre-viewing method of multiple movies or movie-clips in multimedia apparatus | |
JP5158085B2 (ja) | 信号出力装置、信号出力方法及び信号出力プログラム | |
KR20050017436A (ko) | 부재중 메시지 저장 기능을 갖는 pvr 장치 및 그 방법 | |
JP5590018B2 (ja) | 動画データ復号装置、情報機器、動画データ復号方法、動画データ復号プログラム | |
KR100665615B1 (ko) | 휴대폰 모드와 dmb 방송 수신 모드를 구비한 이동단말기의 모드 변환 방법 및 장치 | |
CN101998376B (zh) | 信息处理装置、信息处理方法、程序和通信终端 | |
JP2011120016A (ja) | 情報取得装置および情報取得方法 | |
US8570439B2 (en) | Broadcasting processing apparatus and control method thereof | |
KR20100107194A (ko) | 디지털 방송 수신 장치 및 그 영상 데이터 재생 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190213 Address after: Kanagawa Patentee after: Fujitsu Personal Computer Co., Ltd. Address before: Kawasaki, Kanagawa, Japan Patentee before: Fujitsu Ltd. |
|
TR01 | Transfer of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110413 Termination date: 20200104 |
|
CF01 | Termination of patent right due to non-payment of annual fee |