CN101785308A - 信号输出装置、信号输出方法以及信号输出程序 - Google Patents
信号输出装置、信号输出方法以及信号输出程序 Download PDFInfo
- Publication number
- CN101785308A CN101785308A CN200780100388A CN200780100388A CN101785308A CN 101785308 A CN101785308 A CN 101785308A CN 200780100388 A CN200780100388 A CN 200780100388A CN 200780100388 A CN200780100388 A CN 200780100388A CN 101785308 A CN101785308 A CN 101785308A
- Authority
- CN
- China
- Prior art keywords
- frame
- frames
- signal output
- view data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000003860 storage Methods 0.000 claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims description 39
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 23
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008034 disappearance Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供信号输出装置、信号输出方法以及信号输出程序。其课题在于，即使在影像数据的帧数少的情况下，也能够向视听者提供确保一定品质的影像。信号输出装置具有：信号输出部(26)，其根据所输入的图像数据，输出影像信号；存储部(24)，其存储图像数据；检测部(23)，其检测存储在存储部(24)中的汇总图像数据所包含的帧数是否满足规定数；以及数据生成部(25)，其在汇总图像数据所包含的帧数不满足规定数的情况下，在汇总图像数据中追加新的帧，使得汇总图像数据所包含的帧数满足规定数，向信号输出部(26)输入追加了新的帧的汇总图像数据。
Description
技术领域
本发明涉及信号输出装置、信号输出方法以及信号输出程序。
背景技术
作为帧速率转换方法，有在相邻的帧之间追加帧的方法(参照专利文献1)。并且，在影像帧的插值中，有将电影胶片的24帧影像转换为每秒60场的交错信号的2-3下拉方式。而且，为了使图像运动更加流畅，有根据像素差分来判别移动量并应用于2-3下拉方式的插值的方法(参照专利文献2)。
专利文献1：日本特开2005-124201号公报
专利文献2：日本特开2006-165602号公报
以往，使用连接了能够接收单段播放(1段播放)的调谐器和天线的个人计算机，能够视听单段播放。该情况下，直接显示从播放站发送的影像帧。
单段播放是将地面数字播放的每一个频道的频带(6MHz)分为13段、利用其中1段来提供的针对便携/移动体的播放。通过该单段播放，除了电视节目以外，还提供文本数据和静态图像数据等内容。
在单段播放中，作为动态图像数据的压缩编码方式，使用H.264/AVC(电平1.2、320×240或320×180、最小帧间隔1/15秒)。因此，以最大15帧/秒来显示影像，但是该值是最大值。从播放站发送的影像数据(图像数据)的影像格式取决于播放站的电视节目。因此，有时以12帧/秒从播放站播放影像数据。
在以15帧/秒播放影像数据的情况下、以及以12帧/秒播放影像数据的情况下，所显示的影像的观看品质不同。因此，在切换频道时，在切换前的影像和切换后的影像中，有时观看品质不同。并且，即使播放站相同，有时所播放的影像的观看品质也不同。
发明内容
鉴于上述问题，本发明的课题在于，即使在影像数据的帧数少的情况下，也能够向视听者提供确保一定品质的影像。
为了解决上述课题，本发明采用了以下手段。即，本发明是一种信号输出装置，该信号输出装置具有：信号输出部，其根据所输入的图像数据，输出影像信号；存储部，其存储图像数据；检测部，其检测存储在所述存储部中的汇总图像数据所包含的帧数是否满足规定数；以及数据生成部，其在所述汇总图像数据所包含的帧数不满足规定数的情况下，向所述汇总图像数据追加新的帧，使得所述汇总图像数据所包含的帧数满足规定数，并向所述信号输出部输入追加了新的帧的汇总图像数据。
根据本发明，插入新的帧，使得汇总图像数据所包含的帧数满足规定数。而且，根据追加了新的帧的汇总图像数据来输出影像信号，由此，能够输出没有给视听者造成不舒适感的影像信号。即，对汇总图像数据插入新的帧，由此，能够输出确保一定品质的影像信号。
并且，在上述信号输出装置中，所述数据生成部也可以将所述帧分割为多个局部区域，计算连续的帧的局部区域的移动量，检测局部区域的移动量最大的两个帧，在这两个帧之间追加所述新的帧。
数据生成部将汇总图像数据所包含的帧分割为多个局部区域，由此，能够计算连续的帧的局部区域的移动量。而且，数据生成部检测局部区域的移动量最大的两个帧，由此，能够在给视听者造成不舒适感的影像部位追加新的帧。
并且，在上述信号输出装置中，也可以根据所述两个帧中的任一个帧和不同于所述两个帧并与所述一个帧相邻的帧，来生成所述新的帧。所述两个帧中的任一个帧和不同于所述两个帧并与所述一个帧相邻的帧是连续的帧。通过参照该连续的帧，能够在帧连续缺失的汇总图像数据中插入新的帧，所以，能够提供确保一定品质的影像。
并且，在上述信号输出装置中，也可以根据所述两个帧中的任一个帧的局部区域以及不同于所述两个帧并与所述一个帧相邻的帧的局部区域的移动量和移动方向，来生成所述新的帧。所述两个帧中的任一个帧和不同于所述两个帧并与所述一个帧相邻的帧是连续的帧。根据该连续的帧的局部区域的移动量和移动方向，能够在帧连续缺失的汇总图像数据中插入新的帧，所以，能够提供确保一定品质的影像。
并且，在上述信号输出装置中，优选所述图像数据是动态图像，所述汇总图像数据所包含的帧是构成所述动态图像的最小单位结构。
并且，本发明也可以是计算机及其他装置、设备等执行上述任意处理的方法。并且，本发明也可以是使计算机及其他装置、设备等实现以上任意功能的程序。并且，本发明也可以是在计算机等可读取的记录介质中记录这种程序的形式。
即使在影像数据的帧数少的情况下，本发明也能够向视听者提供确保一定品质的影像。
附图说明
图1是实施方式的个人计算机的硬件结构图。
图2是实施方式的个人计算机的功能结构图。
图3是H.264/AVC的帧间预测的说明图。
图4是示出实施方式的信号输出处理的图。
图5是示出实施方式的帧插值处理的图。
图6是实施方式的GOP的概念图。
图7是示出实施方式的帧插值处理的例子的图。
图8是实施方式的GOP的概念图。
图9是H.264/AVC的双预测的说明图。
图10是实施方式的GOP的概念图。
图11是实施方式的GOP的概念图。
图12是实施方式的GOP的概念图。
图13是H.264/AVC的双向预测的说明图。
标号说明
1：个人计算机；2：CPU；3：存储器；4：接口；5：播放接收装置；6：通信装置；7：硬盘驱动装置；8：可移动介质驱动装置；9：输入装置；10：显示装置；20：操作部；21：探测部；22：播放接收部；23：检测部；24：存储部；25：数据生成部；26：信号输出部；27：显示部。
具体实施方式
下面，参照附图，设具有用于实施本发明的优选方式(以下称为实施方式)的输出信号装置的信息设备为具有单段播放的视听功能的个人计算机来进行说明。以下的实施方式的结构是例示，本发明不限于实施方式的结构。
本实施方式的个人计算机是如下的个人计算机：具有单段播放的接收调谐器和解码单元，通过在显示装置(显示器)上显示基于解码后的影像信号的影像，再现基于解码后的声音信号的声音，由此，能够视听单段播放。
单段播放根据播放节目和播放站的差异，存在以15帧/秒播放影像数据(图像数据)的情况和以12帧/秒播放影像数据的情况。与以15帧/秒播放影像数据的情况相比，在以12帧/秒播放影像数据的情况下，在缺失了3帧的状态下接收影像数据。
因此，在本实施方式中，虚拟地追加所缺失的3帧，由此，即使在以12帧/秒播放影像数据的情况下，也能够显示确保一定品质的影像。
图1是本实施方式的个人计算机1的硬件结构图。如图1所示，个人计算机1具有：执行计算机程序并控制个人计算机1的CPU 2；存储由CPU 2执行的计算机程序和CPU 2处理的数据的存储器3；使CPU 2与各种装置连接的接口4；通过接口4连接的播放接收装置5；通信装置6；硬盘驱动装置7；可移动介质驱动装置8；输入装置9；以及显示装置10。
存储器3存储由CPU2执行的程序和由CPU2处理的数据。存储器3包含易失性的RAM(Random Access Memory)和非易失性的ROM(ReadOnly Memory)。ROM包含闪存、EPROM(Erasable ProgrammableRead-Only Memory)、EEPROM(Electrically Erasaable ProgrammableRead-Only Memory)这种可改写的半导体存储器。
接口4可以是USB等串行接口、或者PCI(Peripheral ComponentInterconnect)、ISA(Industry Standard Architecture)、EISA(Extended ISA)、ATA(AT Attachment)、IDE(Integrated Drive Electronics)、IEEE 1394、SCSI(Small Computer System Interface)等并行接口的任一方。另外，利用接口4来连接CPU 2和各装置，但是，也可以利用不同的接口来连接CPU 2和各装置之间。并且，也可以桥接多个接口。
播放接收装置5具有天线、调谐器和解调器，通过执行设备驱动的CPU 2来进行控制。播放接收装置5使用天线接收播放波，使用调谐器选择频道。然后，播放接收装置5使用解调器，进行基于频道的播放波的OFDM(Orthogonal Frequency Division Multiplexing)解调处理和压缩动态图像数据流(TS数据)的生成处理(解码处理)。经由总线输出所生成的TS数据。TS数据临时存储在存储器3中。然后，将存储在存储器3中的TS数据转换为影像信号，输出到显示装置10。
通信装置6是与宽带网络之间的接口。宽带网络例如是LAN(LocalArea Network)、有线电视网络、xDSL(x Digital Subscriber Line)、ADSL、光网络等的有线网络、或者无线LAN、固定无线接入(FWA)等的能够无线接入的网络。通信装置6例如从网络上的服务器取得安装到硬盘驱动装置7上的计算机程序、电视播放的电子节目表等。这些宽带网络一般能够与因特网连接。
硬盘驱动装置7存储装载于存储器3中的程序。并且，硬盘驱动装置7存储由CPU 2处理的数据。
可移动介质驱动装置8例如是CD(Compact Disc)、DVD(DigitalVersatile Disk)、HD-DVD、蓝光盘等的驱动装置。并且，可移动介质驱动装置8也可以是具有闪存等非易失性存储器的卡介质的输入输出装置。可移动介质驱动装置8驱动的介质例如保持安装到硬盘驱动装置7上的计算机程序、输入数据等。输入装置9例如是键盘、鼠标、指示设备、无线遥控器等。
显示装置10显示基于影像信号的影像。影像显示在显示装置10上，由此，用户能够视听电视播放。显示装置10例如是液晶显示装置、等离子显示面板、CRT(Cathode Ray Tube)、场致发光面板等。并且，显示装置10附带有扬声器，输出基于声音信号的声音。
具有本发明的信号输出装置的信息设备能够构成为以上这种个人计算机1。但是，具有本发明的信号输出装置的信息设备不限于个人计算机1，也可以是具有同等功能的其他装置、例如电视接收装置。并且，能够通过电视播放接收用的调谐器、机顶盒、带电视播放接收功能的便携电话、便携信息终端(PDA)、游戏机、带电视播放接收功能的车载器等来实现。
图2是本实施方式的个人计算机1的功能结构图。个人计算机1具有：接受用户操作并对个人计算机进行操作的操作部20；对操作部20的操作进行探测的探测部21；接收播放波(电视播放)并将接收到的播放波的数据解码为TS数据的播放接收部22；检测从播放接收部22输出的TS数据是否需要插值的检测部23；临时存储从播放接收部22输出的TS数据的存储部24；根据存储在存储部24中的TS数据来生成新的TS数据的数据生成部25；将从存储部24输出的TS数据和从数据生成部25输出的TS数据转换为影像信号并输入到显示部27的信号输出部26；以及根据所输入的影像信号来显示影像的显示部27。
这些各功能部能够通过包含CPU 2和存储器3等的计算机、各装置、以及在计算机上执行的程序等来实现。
操作部20受理来自用户的输入，在输入规定指令和必要数据时等被操作。
探测部21探测针对操作部20的操作(例如播放节目的视听开始操作和接收频道的切换操作)。探测部21只要构成为在CPU 2上执行的计算机程序即可。并且，作为探测部21，也可以设置专用的硬件。
播放接收部22利用天线接收播放波，输出基于接收到的播放波的数据流(例如TS数据)。播放接收部22只要构成为在播放接收装置5和CPU 2上执行的计算机程序即可。
检测部23监视从播放接收部22输出的TS数据，检测TS数据的GOP是12帧或15帧中的某一个。在H.264/AVC中，如图3所示，根据3张以内的参照图(100、101、102)进行帧间预测，生成P图(PredictivePicture)103。在本实施方式中，将图3所示的P图103称为图或帧。在本实施方式中，影像数据即TS数据可以是动态图像，TS数据的GOP所包含的帧是构成动态图像的最小单位结构。并且，通过IDR图来划分的汇总帧组被称为GOP(Group Of Picture)。在本实施方式中，GOP有12帧的情况和15帧的情况。并且，在本实施方式中，1个GOP的再现时间是1秒。检测部23只要构成为在CPU 2上执行的计算机程序即可。
存储部24临时存储所输入的数据。存储部24受理从播放接收部22输出的TS数据的输入，存储再现时间为3秒的TS数据。存储在存储部24中的TS数据被输入到数据生成部25或信号输出部26。存储部24构成为由在CPU 2上执行的计算机程序来控制的易失性存储器、闪存等非易失性存储器、硬盘或可移动介质等的记录介质。并且，存储部24也可以构成为存储输入数据的专用存储器。
数据生成部25对通过IDR图来划分的GOP所包含的帧数进行计数，判定存储在存储部24中的TS数据的GOP是12帧还是15帧。在存储在存储部24中的TS数据的GOP是12帧的情况下，数据生成部25在TS数据的GOP中追加(帧插值)3帧，向信号输出部26输出GOP所包含的帧数为15帧的TS数据。数据生成部25只要构成为在CPU2上执行的计算机程序即可。
信号输出部26具有与显示部27之间的接口，对输出到显示部27的TS数据进行控制。即，信号输出部26将从存储部24或数据生成部25输入的TS数据转换为显示部27能够显示的影像信号或声音信号，输出到显示部27。并且，信号输出部26被输入从由播放接收部22接收到播放波的时间起延迟3秒的TS数据。信号输出部26只要构成为在CPU 2上执行的计算机程序即可。并且，信号输出部26也可以构成为输出影像信号和声音信号的专用处理器。
显示部27接受从信号输出部26输出的影像信号和声音信号的输入，显示影像并再现声音。并且，显示部27被输入从由播放接收部22接收到播放波的时间起延迟3秒的影像信号和声音信号。
在本实施方式中，将所存储的TS数据的量换算成作为动态图像或声音再现时的时间，为3秒。例如，在动态图像数据中，单段播放为每秒12帧或15帧，所以，存储大约36帧～45帧的动态图像数据。优选该存储量尽可能地多，但是，考虑到在个人计算机1上能够确保的存储区域的尺寸，在本实施方式中设为3秒。但是，优选该存储量针对每个实施方式而适当设定为最佳值。例如，也可以通过结束常驻的应用程序或不需要的应用程序、或不使用主存储器的一部分作为视频存储器(设置单独的视频存储器)，来增加能够确保的主存储器的容量，增加存储量。
并且，本实施方式的个人计算机1进行TS数据的3秒的延迟输出。即，在利用本实施方式的个人计算机1来视听单段播放的情况下，与利用其他通常的单段播放视听装置进行视听的情况相比，输出大约滞后3秒的影像和声音。通过进行延迟输出，即使在接收到帧数少的影像数据的情况下，也不会直接输出帧数少的影像信号，通过延迟再现所存储的未输出的数据，能够对帧数少的部分的影像进行插值。
<处理流程>
图4和图5示出个人计算机1的处理流程。图4是示出本实施方式的信号输出处理的流程图。图5是示出本实施方式的帧插值处理的流程图。
<信号输出处理>
说明图4的信号输出处理。探测部21探测操作部20的电视视听开始操作，从探测部21向信号输出部26输出信号输出处理的开始指示的信号，由此，执行本实施方式的信号输出处理。
首先，从播放接收部22输出TS数据(S101)。接着，接收到从播放接收部22输出的TS数据的检测部23判定TS数据的GOP是否是12帧或15帧中的某一个(S102)。
在TS数据的GOP不是12帧或15帧中的某一个的情况下(S102的处理：否)，检测部23向信号输出部26输出不可显示影像的信号(S103)。被输入不可显示影像的信号的信号输出部26向显示部27输出包含表示无法正常显示的意思的消息的影像信号。被输入了包含表示无法正常显示的意思的消息的影像信号的显示部27显示表示无法正常显示的意思的消息。例如，显示部27进行“没有信号”这样的显示。由此，视听者能够掌握由于什么原因而无法视听的状况。在检测部23向信号输出部26输出了不可显示影像的信号的情况下，进入S101的处理。
另一方面，在TS数据的GOP是12帧或15帧中的某一个的情况下(S102的处理：是)，在存储部24中存储TS数据(S104)。在存储部24中存储了3秒的TS数据的情况下，进入S105的处理。
接着，数据生成部25判定存储在存储部24中的TS数据的GOP是否是15帧(S105)。即，判定存储在存储部24中的GOP所包含的帧数是否是15。
在TS数据的GOP是15帧的情况下(S105的处理：是)，从存储部24向信号输出部26输入TS数据。然后，通过信号输出部26将TS数据转换为影像信号，输入到显示部27。显示部27根据从信号输出部26输入的影像信号，显示影像(S106)。
另一方面，在TS数据的GOP不是15帧的情况下(S105的处理：否)，数据生成部25追加新的帧，由此，生成GOP所包含的帧数为15帧的TS数据(S107)。数据生成部25向信号输出部26输出GOP所包含的帧数为15帧的TS数据。输入到信号输出部26的TS数据被转换为影像信号，输入到显示部27。显示部27根据从信号输出部26输入的影像信号，显示影像(S106)。在对存储在存储部24中的3秒的TS数据进行了处理的情况下，进入S101的处理。
<帧插值处理>
接着，详细说明在图4的S107中数据生成部25进行的新的帧的追加处理(帧插值处理)。图5是示出由数据生成部25进行的帧插值处理的流程图。
数据生成部25对存储在存储部24中的TS数据中、GOP所包含的帧数不是15帧的TS数据进行分割(S201)。即，对存储在存储部24中的TS数据中、GOP所包含的帧数为12帧的TS数据进行分割。该情况下，数据生成部25将12帧分割为3个帧组，由此，生成3个以4帧为一组的帧组。
图6是将12帧分割为3个帧组时的GOP的概念图。帧P01是显示时间早于帧P02的影像的帧。帧P01～帧P12这12帧通过IDR图来划分，形成GOP。
在本实施方式中，示出了生成3个以4帧为一组的帧组的例子，但是不限于此，也可以适当变更帧组所包含的帧数。例如，也可以生成4个以3帧为一组的帧组，还可以生成2个以6帧为一组的帧组。并且，在存储部24中存储有3秒的TS数据，所以，也可以生成以不同GOP所包含的帧为一组的帧组。例如，也可以生成以图6的帧P01、帧P02和帧P03、以及显示时间早于图6所示的GOP的影像的TS数据的GOP所包含的帧为一组的帧组。
返回图5的说明。接着，数据生成部25参照存储在存储部24中的各帧，由此，计算对象块的移动量V(S202)。图7中的帧P05、帧P06、帧P07和帧P08表示存储在存储部24中的帧(TS数据)。这里，存储在存储部24中的帧按照帧P05、帧P06、帧P07和帧P08的顺序从存储部24输出。
在本实施方式中，将帧分割为宏块(相当于局部区域)，计算宏块的移动量。在图7中的帧P05、帧P06、帧P07和帧P08中，将C和D示出为对象块(宏块)。
数据生成部25参照存储在存储部24中的各帧，检测对象块的色差信号的变动量，由此来检测对象块的移动。然后，数据生成部25计算检测到移动的对象块的移动量V。即，在存储部24中连续存储帧，所以，数据生成部25对连续的帧进行比较，计算这两个帧所共有的对象块的移动量V。
在对图7所示的帧P07和帧P08进行比较的情况下，仅对象块D存在色差信号的变动量，所以，检测对象块D的移动。并且，在对图7所示的帧P07和帧P08进行比较的情况下，对象块C没有色差信号的变动量，所以，不检测对象块C的移动。
另外，在S202的处理中，在检测到多个对象块的移动的情况下，数据生成部25也可以针对检测到的对象块中移动量最大的对象块，来计算对象块的移动量V。这是因为，视听者容易关注影像中变化大的部分。并且，在S202的处理中，在检测到多个对象块的移动的情况下，数据生成部25也可以计算检测到的多个对象块的移动量的平均值，作为对象块的移动量V。
返回图5的说明。数据生成部25参照存储在存储部24中的各帧，检测对象块的移动量V最大的2个帧(S203)。这里，详细说明检测对象块的移动量V最大的2个帧的处理。图8是GOP的概念图。在图8中示出一个GOP，12帧被分为帧组200、帧组201以及帧组202。在从帧组201中检测到对象块的移动量V最大的2个帧的情况下，数据生成部25参照帧P04、帧P05、帧P06、帧P07、帧P08和帧P09。因此，数据生成部25参照帧组内的帧和与帧组内的帧连续的帧(在图8中为帧P04和帧P09)，由此，检测对象块的移动量V最大的2个帧。
返回图5的说明。数据生成部25决定要插入新的帧的位置(S204)。具体而言，数据生成部25决定在S203的处理中检测到的2个帧之间插入新的帧。
接着，数据生成部25参照存储在存储部24中的任意的2个帧，计算对象块的移动向量(移动量和移动方向)(S205)。例如，也可以参照在S203的处理中检测到的2个帧中的任一个帧和与该帧连续的帧，来计算对象块的移动向量。在图7中，参照帧P07和帧P08，来计算对象块C和对象块D的移动向量。并且，也可以参照帧P05和帧P06，来计算对象块C和对象块D的移动向量。
返回图5的说明。数据生成部25根据计算出的移动向量来估计对象块的位置，生成新的帧(S206)。在图7中，根据对象块C和对象块D的移动向量，来估计对象块C和对象块D的位置，生成新的帧PB。
这里，参照图9说明基于H.264/AVC的双预测的新的帧的生成。在H.264/AVC的双预测中，参照任意的2个帧来生成新的帧。在图9中，参照帧P201的对象块F和帧P202的对象块F，生成新的帧PC的对象块F。帧P201和帧P202是时间晚于新的帧PC显示的影像。图7所示的新的帧PB通过图9所示的这种处理来生成。
返回图5的说明。数据生成部25在S204的处理中决定的位置插入新生成的帧(S207)。数据生成部25分别针对所分割的3个帧组，重复进行S202～S207的处理，结束帧插值处理。
另外，在S204的处理中，在已经插入新的帧的情况下，除了已经插入新的帧的位置以外，数据生成部25也可以决定要插入新的帧的位置。图10是GOP的概念图。在图10中示出一个GOP，12帧被分为帧组200、帧组201以及帧组202。例如，在图10的帧组200中追加了新的帧的位置为图10的A位置的情况下，作为在图10的帧组201中追加新的帧的位置，也可以是除了图10的A位置以外的位置。另外，图10的B、C、D和E示出能够追加新的帧的位置。
进而，例如，在图10的帧组200中追加了新的帧的位置为图10的A位置的情况下，在图10的帧组201中追加新的帧时，也可以参照在帧组200中追加的新的帧。图11示出在帧组200中追加了新的帧时的GOP的概念图。该情况下，在图11的帧组201中追加新的帧时，也可以参照新的帧PD、帧P05、帧P06、帧P07、帧P08和帧P09。这样，能够在新的帧PD和帧P05之间插入新的帧PE。在存储部24中存储新生成的帧PD、要生成新的帧PE的情况下，数据生成部25只要参照新的帧PD即可。
图12是追加新的帧、将GOP所包含的帧数从12帧转换为15帧时的GOP的概念图。在帧组300中追加新的帧PA，在帧组301中追加新的帧PB，在帧组302中追加新的帧PC。这样，在本实施方式中，输出追加新的帧、且GOP所包含的帧数为15帧的TS数据，显示基于15帧的影像信号的影像。
根据本实施方式，在接收到帧数少的影像数据的情况下，通过追加帧，由此，能够显示没有给视听者造成不舒适感的影像。
这里，说明参照对象块的移动量最大的2个帧双方来生成新的帧的情况。在H.264/AVC的双向预测中，在追加新的帧的情况下，参照隔着要追加的新的帧的2个帧，来生成新的帧。然后，在所参照的2个帧之间插入新的帧。但是，有时所参照的帧缺失，有时无法正确生成新的帧。在接收到12帧的GOP时，3帧缺失，在该缺失的3帧为连续的帧的情况下，引起该情况。
图13是由H.264/AVC的双向预测所参照的帧的说明图。图13示出原始影像的GOP为15帧、而接收到的TS数据的GOP为12帧的情况。帧P01～帧P12示出所接收到的TS数据的GOP所包含的帧，帧PX、帧PY和帧PZ示出从原始影像的GOP缺失的帧。
如图13所示，帧PX和帧PY在原始影像的GOP中是连续的帧。帧PT是通过双向预测而新生成的帧。在通过双向预测来生成新的帧PT的情况下，应该参照的帧为帧P02和帧PY、或者帧PX和帧P03。但是，帧PY缺失，无法参照帧P02和帧PY来生成新的帧PT。并且，帧PX缺失，无法参照帧PX和帧P03来生成新的帧PT。
即，在接收到的TS数据的GOP中存在连续缺失的帧的情况下，连续缺失的帧和相邻的帧(在图13中为帧P02和帧P03)之间的对象块的移动量过大，所以，在双向预测中，无法估计新的帧的对象块的位置。
在本实施方式中，参照对象块的移动量最大的2个帧的任一方和与对象块的移动量最大的2个帧不同的帧，来生成新的帧。该不同的帧是与对象块的移动量最大的2个帧的任一方相邻的帧。
因此，根据本实施方式，即使在对象块的移动量过大的情况下、即对象块的移动量超过能够由双向预测所参照的允许量的情况下，也能够估计新的帧的对象块的位置。因此，即使在对象块的移动量过大的情况下，也能够生成新的帧。
并且，在本实施方式中，不是参照对象块的移动量最大的2个帧的双方，而是参照任一方来生成新的帧。这样，根据本实施方式，即使在帧连续缺失的情况下，也能够生成新的帧。
<计算机可读取的记录介质>
能够在计算机可读取的记录介质中记录使计算机实现上述任意功能的程序。而且，通过使计算机读入并执行该记录介质的程序，能够提供该功能。这里，计算机可读取的记录介质是指通过电气、磁气、光学、机械或化学作用来蓄积数据或程序等信息、并能够由计算机读取的记录介质。作为这种记录介质中能够从计算机卸下的记录介质，例如有软盘、光磁盘、CD-ROM、CD-R/W、DVD、DAT、8mm带、存储卡等。并且，作为固定于计算机的记录介质，有硬盘和ROM等。
Claims (15)
1.一种信号输出装置，该信号输出装置具有：
信号输出部，其根据所输入的图像数据，输出影像信号；
存储部，其存储图像数据；
检测部，其检测存储在所述存储部中的汇总图像数据所包含的帧数是否满足规定数；以及
数据生成部，其在所述汇总图像数据所包含的帧数不满足规定数的情况下，向所述汇总图像数据追加新的帧，使得所述汇总图像数据所包含的帧数满足规定数，并向所述信号输出部输入追加了新的帧的汇总图像数据。
2.根据权利要求1所述的信号输出装置，其中，
所述数据生成部将所述帧分割为多个局部区域，计算连续的帧的局部区域的移动量，检测局部区域的移动量最大的两个帧，在这两个帧之间追加所述新的帧。
3.根据权利要求2所述的信号输出装置，其中，
根据所述两个帧中的任一个帧和不同于所述两个帧并与所述一个帧相邻的帧，来生成所述新的帧。
4.根据权利要求2所述的信号输出装置，其中，
根据所述两个帧中的任一个帧的局部区域以及不同于所述两个帧并与所述一个帧相邻的帧的局部区域的移动量和移动方向，来生成所述新的帧。
5.根据权利要求1～4中的任一项所述的信号输出装置，其中，
所述图像数据是动态图像，所述汇总图像数据所包含的帧是构成所述动态图像的最小单位结构。
6.一种信号输出方法，在该信号输出方法中，由计算机执行以下步骤：
信号输出步骤，在该步骤中，根据所输入的图像数据，输出影像信号；
检测步骤，在该步骤中，检测存储在存储图像数据的存储部中的汇总图像数据所包含的帧数是否满足规定数；以及
数据生成步骤，在该步骤中，在所述汇总图像数据所包含的帧数不满足规定数的情况下，向所述汇总图像数据追加新的帧，使得所述汇总图像数据所包含的帧数满足规定数，由此生成追加了新的帧的汇总图像数据，
在所述信号输出步骤中，根据追加了新的帧的汇总图像数据，输出影像信号。
7.根据权利要求6所述的信号输出方法，其中，
在所述数据生成步骤中，将所述帧分割为多个局部区域，计算连续的帧的局部区域的移动量，检测局部区域的移动量最大的两个帧，在这两个帧之间追加所述新的帧。
8.根据权利要求7所述的信号输出方法，其中，
根据所述两个帧中的任一个帧和不同于所述两个帧并与所述一个帧相邻的帧，来生成所述新的帧。
9.根据权利要求7所述的信号输出方法，其中，
根据所述两个帧中的任一个帧的局部区域以及不同于所述两个帧并与所述一个帧相邻的帧的局部区域的移动量和移动方向，来生成所述新的帧。
10.根据权利要求6～9中的任一项所述的信号输出方法，其中，
所述图像数据是动态图像，所述汇总图像数据所包含的帧是构成所述动态图像的最小单位结构。
11.一种信号输出程序，其中，该信号输出程序使计算机执行以下步骤：
信号输出步骤，在该步骤中，根据所输入的图像数据，输出影像信号；
检测步骤，在该步骤中，检测存储在存储图像数据的存储部中的汇总图像数据所包含的帧数是否满足规定数；以及
数据生成步骤，在该步骤中，在所述汇总图像数据所包含的帧数不满足规定数的情况下，向所述汇总图像数据追加新的帧，使得所述汇总图像数据所包含的帧数满足规定数，由此生成追加了新的帧的汇总图像数据，
在所述信号输出步骤中，根据追加了新的帧的汇总图像数据，输出影像信号。
12.根据权利要求11所述的信号输出程序，其中，
在所述数据生成步骤中，将所述帧分割为多个局部区域，计算连续的帧的局部区域的移动量，检测局部区域的移动量最大的两个帧，在这两个帧之间追加所述新的帧。
13.根据权利要求12所述的信号输出程序，其中，
根据所述两个帧中的任一个帧和不同于所述两个帧并与所述一个帧相邻的帧，来生成所述新的帧。
14.根据权利要求12所述的信号输出程序，其中，
根据所述两个帧中的任一个帧的局部区域以及不同于所述两个帧并与所述一个帧相邻的帧的局部区域的移动量和移动方向，来生成所述新的帧。
15.根据权利要求11～14中的任一项所述的信号输出程序，其中，
所述图像数据是动态图像，所述汇总图像数据所包含的帧是构成所述动态图像的最小单位结构。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2007/067049 WO2009028101A1 (ja) | 2007-08-31 | 2007-08-31 | 信号出力装置、信号出力方法及び信号出力プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101785308A true CN101785308A (zh) | 2010-07-21 |
| CN101785308B CN101785308B (zh) | 2013-02-06 |
Family
ID=40386845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007801003880A Expired - Fee Related CN101785308B (zh) | 2007-08-31 | 2007-08-31 | 信号输出装置和信号输出方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8704954B2 (zh) |
| JP (1) | JP5158085B2 (zh) |
| KR (1) | KR101087178B1 (zh) |
| CN (1) | CN101785308B (zh) |
| BR (1) | BRPI0721967A2 (zh) |
| WO (1) | WO2009028101A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032541B (zh) * | 2017-06-09 | 2021-11-02 | 京东方科技集团股份有限公司 | 刷新率调整方法及组件、显示装置、存储介质 |
| US20220046406A1 (en) * | 2020-08-07 | 2022-02-10 | Nokia Technologies Oy | Problem mitigation in subscriber profile management |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3209210B2 (ja) * | 1999-02-10 | 2001-09-17 | 日本電気株式会社 | 動画像圧縮方法、動画像圧縮装置及び動画像圧縮プログラムを記憶した記憶媒体 |
| CA2374067C (en) * | 2000-03-13 | 2012-09-25 | Sony Corporation | Method and apparatus for generating compact transcoding hints metadata |
| US7738550B2 (en) | 2000-03-13 | 2010-06-15 | Sony Corporation | Method and apparatus for generating compact transcoding hints metadata |
| JP2002044669A (ja) * | 2000-07-27 | 2002-02-08 | Sony Corp | 画像情報変換装置及び方法 |
| KR100850705B1 (ko) * | 2002-03-09 | 2008-08-06 | 삼성전자주식회사 | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 |
| JP2004159191A (ja) * | 2002-11-07 | 2004-06-03 | Seiko Epson Corp | 画像データに応じたフレームレートの変換 |
| KR100553893B1 (ko) | 2003-10-14 | 2006-02-24 | 삼성전자주식회사 | 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법 |
| US8315307B2 (en) * | 2004-04-07 | 2012-11-20 | Qualcomm Incorporated | Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability |
| JP4396496B2 (ja) | 2004-12-02 | 2010-01-13 | 株式会社日立製作所 | フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法 |
| US20070067480A1 (en) * | 2005-09-19 | 2007-03-22 | Sharp Laboratories Of America, Inc. | Adaptive media playout by server media processing for robust streaming |
-
2007
- 2007-08-31 KR KR20107003995A patent/KR101087178B1/ko not_active IP Right Cessation
- 2007-08-31 BR BRPI0721967-9A2A patent/BRPI0721967A2/pt not_active Application Discontinuation
- 2007-08-31 JP JP2009529950A patent/JP5158085B2/ja not_active Expired - Fee Related
- 2007-08-31 CN CN2007801003880A patent/CN101785308B/zh not_active Expired - Fee Related
- 2007-08-31 WO PCT/JP2007/067049 patent/WO2009028101A1/ja active Application Filing
-
2010
- 2010-02-25 US US12/659,119 patent/US8704954B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009028101A1 (ja) | 2009-03-05 |
| CN101785308B (zh) | 2013-02-06 |
| KR20100047277A (ko) | 2010-05-07 |
| JP5158085B2 (ja) | 2013-03-06 |
| US8704954B2 (en) | 2014-04-22 |
| KR101087178B1 (ko) | 2011-11-25 |
| JPWO2009028101A1 (ja) | 2010-11-25 |
| US20100165190A1 (en) | 2010-07-01 |
| BRPI0721967A2 (pt) | 2014-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016531512A (ja) | 動画画面の処理方法及び装置 | |
| CN104602117A (zh) | 一种倍速播放视频的方法及装置 | |
| US7990473B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| KR20000035766A (ko) | 정보 처리 장치, 정보 처리 방법, 및 제공 매체 | |
| CN101548541B (zh) | 图像显示设备和控制图像显示设备的方法 | |
| KR20000031860A (ko) | 디지털 데이터 스트림 기록방법 및 그 장치 | |
| CN101155316B (zh) | 广告检测装置 | |
| KR101327298B1 (ko) | 동화상 처리 장치, 섬네일 화상 생성 프로그램을 저장한 매체 및 섬네일 화상 생성 방법 | |
| CN102208205A (zh) | 动画再现装置 | |
| CN101809999A (zh) | 声音信号控制装置 | |
| US7305171B2 (en) | Apparatus for recording and/or reproducing digital data, such as audio/video (A/V) data, and control method thereof | |
| US20050123273A1 (en) | Trick play method of a digital storage medium and a digital storage medium drive | |
| JP2010016652A (ja) | 記録再生装置、記録再生方法、及びプログラム | |
| CN101785308B (zh) | 信号输出装置和信号输出方法 | |
| CN101146201A (zh) | 以画面组为单位分析视频流的记录视频的方法及设备 | |
| JP4900246B2 (ja) | タイムシフト視聴時に即時に提供すべき放送を優先する放送受信装置 | |
| US20050283793A1 (en) | Advertising detection method and related system for detecting advertising according to specific beginning/ending images of advertising sections | |
| KR101911347B1 (ko) | 동영상 캡처 방법과 그 동영상 재생 장치 | |
| JP5179304B2 (ja) | 携帯型テレビジョン受信機および該受信機のプログラム | |
| KR19980055531A (ko) | 광디스크 재생장치의 가변전송레이트 버퍼 관리장치 및 그 제어방법 | |
| KR20060021446A (ko) | 디인터레이싱 방법 및 이를 적용한 영상기기 | |
| US7756390B2 (en) | Video signal separation information setting method and apparatus using audio modes | |
| JPWO2006006334A1 (ja) | 放送番組蓄積再生装置及び放送番組蓄積再生方法 | |
| KR100782216B1 (ko) | 디지털 방송 수신기의 녹화 제어방법 및 장치 | |
| CN101743744B (zh) | 用于回放内容项的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190215 Address after: Kanagawa Patentee after: Fujitsu Personal Computer Co., Ltd. Address before: Kanagawa Patentee before: Fujitsu Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130206 Termination date: 20190831 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |