CN1387338A - 数据再现装置和数据再现方法 - Google Patents

数据再现装置和数据再现方法 Download PDF

Info

Publication number
CN1387338A
CN1387338A CN02141306A CN02141306A CN1387338A CN 1387338 A CN1387338 A CN 1387338A CN 02141306 A CN02141306 A CN 02141306A CN 02141306 A CN02141306 A CN 02141306A CN 1387338 A CN1387338 A CN 1387338A
Authority
CN
China
Prior art keywords
data
mentioned
view data
picture
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02141306A
Other languages
English (en)
Other versions
CN100428662C (zh
Inventor
松井艺德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1387338A publication Critical patent/CN1387338A/zh
Application granted granted Critical
Publication of CN100428662C publication Critical patent/CN100428662C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25858—Management of client data involving client software characteristics, e.g. OS identifier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种数据再现装置和数据再现方法,可在接收终端根据用户喜好将从发送端提供的视频流选择为对传输错误容错性高或图像质量好。服务器100a具有作为同一图像数据的编码数据存储1帧的周期不同的多个视频流的数据存储部120、根据来自接收终端的指令信号Sc发送该多个视频流中的规定视频流的数据发送部110,接收终端200a根据用户设定内容将指定对服务器100a侧准备的多个视频流的数据指定信号Sc发送到服务器100a。

Description

数据再现装置和数据再现方法
技术领域
本发明涉及数据再现装置和数据再现方法，尤其涉及在图像数据的接收侧，根据用户喜好和传输错误的产生状况，可切换在接收侧取得的图像数据的传输容错性和图像质量的数据再现处理。
背景技术
近年来，随着有关图像声音数据的压缩编码方式的国际标准规格MPEG-4(Moving Picture Experts Group，Phase 4，ISO/IEC14496)的制定，可配送狭窄带域的图像声音数据。例如具有64kbit/s的带宽的传输路径中，可同时传输1个画面的横向像素数为176个、纵向的像素数为144个，并且帧速率为5～6帧/秒的图像数据和电话质量的声音数据。
上述MPEG-4视频规格规定的简单轮廓中，作为构成1个场景的各个物体的图像的VOP(video object plane)，使用各自编码类型不同的I-VOP和P-VOP。这里，I-VOP在该图像数据的压缩处理或解压缩处理时不参照其他的VOP的图像数据。因此，I-VOP的编码处理和解码处理与其他VOP的图像数据无关，可单独进行。另一方面，P-VOP在成为处理对象的P-VOP图像数据的压缩处理或解压缩处理时，求出根据位于对象P-VOP之前的I-VOP或P-VOP的图像数据预测得到的预测数据和对象P-VOP的图像数据的差分成分，编码或解码该差分成分。
I-VOP的反复周期在使用宽带的数字卫星广播中一般是按I-VOP约0.5秒出现1次的周期。即，日本电视广播中，1秒的帧数约为30，因此每15帧出现I-VOP。另一方面，狭窄带域中，编码的图像数据(编码数据)的编码量多的I-VOP的反复周期加长，编码数据的编码量的少的P-VOP和B-VOP(即其编码或解码时参考其他VOP图像数据的VOP)的出现频度尽可能高，与I-VOP的出现频度变高相比，图像质量改善效果大。但是，I-VOP的反复周期加长，即I-VOP的出现频度降低，从容错性方面看不好，在产生丢失分组时，图像紊乱会长时间持续。上述的MPEG-4的VOP与MPEG-1，2的帧相当。
制定无线网的接收终端的规格的国际标准化组织3GPP(Third GenerationPartnership Project、http：//www.3gpp.org)规定使用RTP/UDP/IP(realtime transport protocol/user datagram protocol/internet protocol)作为服务器和接收终端之间传输视频数据的协议，或使用RTSP/TCP/IP(real timestreaming protocol/transmission control protocol/internet prptocol)作为从接收终端向服务器请求数据的协议。另外，在3GPP的规格中，作为场景记述语言，可使用SMIL(Synchronization Multimedia Markup Language，http：//www.w3.org)。
图18表示利用互联网配送图像数据的已有数据传输系统。
该数据传输系统20具有：将作为上述编码数据的视频流分组并发送分组数据的服务器20a、接收上述视频流并再现图像数据的接收终端20b和从上述服务器20a向接收终端20b传输上述分组数据的互连网等的网络11。
该通信系统20中，首先，接收终端20b和服务器20a之间通过RTSP/TCP/IP进行对服务器20a请求数据的消息Mes的通信，由此，从接收终端20b向服务器20a发送数据请求信号Dau。这样，从服务器20a通过作为数据传输协议的RTP/UDP/IP向接收终端20b传输视频流Dstr。在接收终端20b进行接收的视频流Dstr的解码处理，再现图像数据。
图19是说明进行与MPEG规格对应的编码处理的已有图像编码装置的图，图19(a)是表示其结构的框图。
该图像编码装置100构成图18所示的服务器20a，具有I-VOP编码时原样压缩编码原图像数据Dv，在P-VOP编码时压缩编码原图像数据Dv和其预测数据Dp的差分数据Dvd，输出编码数据De的编码器102；在该编码器102解压缩通过压缩原图像数据Dv和差分数据Dvd得到的压缩数据Dc和压缩差分数据Dcd，并输出与I-VOP对应的局部解码数据Dd和与P-VOP对应的局部解码差分数据Ddd的解码器103；通过上述原图像数据Dv和其预测数据Dp的减法处理形成上述差分数据Dvd的减法器101。
上述图像编码装置100具有在上述局部解码差分数据Ddd上加上预测数据Dp形成与P-VOP对应的局部解码数据Ddp的加法器104、将与上述I-VOP对应的局部解码数据Dd和与上述P-VOP对应的局部解码数据Ddp作为参考数据记录的帧存储器105，从该帧存储器105读出的图像数据作为预测数据Dp提供给上述减法器101和加法器104。
接着，简单说明上述已有的图像编码装置100的动作。
图像编码装置100中，如图19(b)所示，从外部输入的原图像数据Dv按VOP编码。
例如，最初的VOP数据V(1)作为I-VOP编码，从第二到第五VOP数据V(2)～V(5)作为P-VOP编码，第六VOP数据V(6)作为I-VOP、第七到第十VOP数据V(7)~V(10)作为P-VOP编码。
开始编码处理时，首先，最初的VOP数据V(1)作为I-VOP编码。即，与I-VOP对应的原图像数据Dv在编码器102压缩编码，作为编码数据De输出。此时，从上述编码器102向解码器103输出通过原图像数据Dv的压缩得到的压缩数据Dc。这样，解码器103中，进行与压缩数据Dc对应的解压缩处理，生成I-VOP的局部解码数据Dd。之后，从该解码器103输出的局部解码数据Dd作为参考数据存储在帧存储器105中。
接着，第二VOP数据V(2)作为P-VOP编码。即，与P-VOP对应的原图像数据Dv输入到上述编码器102的前级的减法器101中，在减法器101中，生成从上述帧存储器105作为预测数据Dp读出的图像数据和与上述P-VOP对应的原图像数据Dv的差分数据Dvd。之后，差分数据Dvd在编码器102压缩编码，作为编码数据De输出。
此时，从上述编码器102向解码器103输出通过压缩差分数据Dvd得到的压缩差分数据Dcd。这样，解码器103中，进行与压缩差分数据Dcd对应的解压缩处理，生成局部解码差分数据Ddd。之后，加法器104中，通过从上述解码器103输出的局部解码差分数据Ddd和作为从上述帧存储器105读出的图像数据的预测数据Dp的加法处理，生成与P-VOP对应的局部解码数据Ddp。之后，从加法器104输出的局部解码数据Ddp作为参考数据存储在帧存储器105中。
之后上述第三～第五的VOP数据V(3)~V(5)与上述第二VOP数据同样，作为P-VOP编码。另外，上述第六VOP数据V(6)与上述第一VOP数据V(1)同样作为I-VOP编码，接着，第七到第十VOP数据V(7)~V(10)与上述第二VOP数据V(2)同样作为P-VOP编码。
这样，上述图像编码装置100中，与原图像数据Dv对应的编码处理按I-VOP的周期为5VOP进行。
图20是说明已有图像解码装置的框图。
该图像解码装置200解码从图19(a)所示的图像编码装置100输出的编码数据De，构成上述数据传输系统20的接收终端20b的解码部。
即，该图像解码装置200具有：按VOP单位对来自上述图像编码装置100的编码数据De进行解压缩处理，I-VOP解码时输出与原图像数据Dv相当的解码数据Dd，P-VOP解码时，输出与原图像数据Dv和其预测数据Dp的差分数据Dvd相当的解码差分数据Ddd的解码器201；将上述解码差分数据Ddd与预测数据Dp相加生成与P-VOP对应的解码数据Ddecp的加法器202；将与上述I-VOP对应的解码数据Dd和与上述P-VOP对应的解码数据Ddecp作为参考数据记录的帧存储器203，从该帧存储器203作为上述预测数据Dp读出的图像数据提供给上述加法器202。
接着，简单说明已有的图像解码装置200的动作。
解码处理开始后，在该图像解码装置200中，按VOP对来自上述图像编码装置100的编码数据De进行解码。
即，与I-VOP对应的编码数据De输入到解码器201中后，在该解码器201中，进行与该编码数据De对应的解压缩解码，生成与原图像数据Dv相当的解码数据Dd。之后，该解码数据Dd从上述图像解码装置200输出，并且作为参考数据存储在帧存储器203中。
与P-VOP对应的编码数据De输入到解码器201中后，在该解码器201中，进行与该编码数据De对应的解压缩解码，生成与原图像数据Dv和其预测数据Dp的差分数据Dvd相当的解码差分数据Ddd。之后，该解码差分数据Ddd输入到加法器202后，在该加法器202中，执行将该解码差分数据Ddd与从上述帧存储器203作为预测数据Dp读出的图像数据相加的加法处理，生成与P-VOP对应的解码数据Ddecp。并且，该解码数据Ddecp从上述图像解码装置200输出，并且作为参考数据存储在帧存储器203中。
但是，如图18所示的已有数据传输系统20中，具有以下的问题。
即，使用RTP/UDP/IP的数据传输中，根据协议特性，有时从配送服务器送出的数据未到达接收终端。其原因之一可举出在接收的分组中产生比特错误时，通过UDP的错误检测机构，放弃到达的分组。特别是，从服务器到接收终端的传输路径中包含无线传输路径的传输系统中，接收终端的电波强度弱时，不能正确解调接收的传输数据，这种情况下，产生上述接收数据的比特错误。
接收终端中，1帧(VOP)部分的数据(视频流)未遗漏时，不仅进行与该图像帧对应的解码处理。因此，作为产生传输错误的情况的对应方法，例如在传输错误产生时，放弃未正常接收数据的帧(VOP)的数据，之后直到正常接收I帧(I-VOP)的数据之前，显示已经正常接收数据的图像帧，之后，正常接收I帧的数据时，使用从该I帧再开始解码处理的方法。该对应方法中，图像没有紊乱，但接收I帧之前，显示图像的动作停止。
另外，作为传输错误产生时的其他方法，有未正常接收数据的帧(VOP)的数据用之前的正常接收的解码帧(VOP)的数据替代，将该帧的数据用于以后的帧的解码中的方法。该方法中，未正常接收数据的帧以外的帧中，由于显示图像的动作不停止，可进行平滑显示。但是成为解码对象的对象帧的数据参考与编码处理时参考的帧不同的帧来解码，因此显示内容会产生大的紊乱。虽然也可根据听众的喜好，但一般地，产生传输错误时，通过使用将对于对象帧放弃的参考帧的数据置换为参考帧以外的其他帧的数据的方法，传输错误产生后，直到正常接收I帧的数据之前，使用显示传输错误产生之前的帧的方法，作为再现图像可得到不和谐感少的图像。
但是，原来的接收终端作为传输错误产生时的对应方法，预先设定执行上述之一的方法，因此，对于传输错误产生时显示的图像，有听众抱怨大的不和谐感的问题。
此外，为抑制随着数据压缩产生的图像质量恶化，应尽可能使I帧(I-VOP)的出现频度小，但另一方面，从使有传输错误产生成为异常状态的解码处理尽早返回正常的解码处理的观点看，也有I帧(I-VOP)的出现频度不能太小的问题。
发明内容
本发明为解决上述问题作出，目的是得到一种数据再现装置、数据再现方法和存储通过软件执行该数据再现方法的程序的数据记录媒体，可产生对于听众而言传输错误产生时显示的图像基本没有不和谐感。
本发明的(技术方案1)的数据再现装置，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收部；根据与应接收图像数据相关的条件和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定部；发送该数据指定信号的数据发送部；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收部。
本发明(技术方案2)在技术方案1的数据再现装置中，其特征在于上述多个容错性不同的各图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述各图像数据的在上述画面内编码数据的出现间隔不同。
本发明(技术方案3)在技术方案1的数据再现装置，其特征在于上述多个容错性不同的多个图像数据是编码数字图像数据而成的第一和第二图像编码数据，上述第一图像编码数据的与1帧对应的编码数据按比帧小的每一数据单位分组，上述第二图像编码数据的与1帧对应的编码数据按每一帧或比帧大的每一数据单位分组。
本发明(技术方案4)在技术方案1的数据再现装置，其特征在于上述多个容错性不同的各图像数据与同一图像系列对应，各自的帧速率不同。
本发明(技术方案5)在技术方案1的数据再现装置，其特征在于上述多个容错性不同的各图像数据与同一图像系列对应，与该各图像数据相对的传输协议不同。
本发明(技术方案6)在技术方案1的数据再现装置，其特征在于包括对上述图像数据接收部接收的图像数据解码的解码部和对应设定的动作条件切换上述解码部的动作模式的控制部。
本发明(技术方案7)在技术方案6的数据再现装置，其特征在于上述多个容错性不同的各图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述各图像数据在上述画面内编码数据的出现间隔不同，上述控制部在上述动作条件是接收画面内编码数据的出现间隔比既定值短的图像数据的动作条件时，将上述解码部的动作模式设为在传输错误发生时，直到后面的画面内编码数据被正常接收之前，都暂时停止解码处理的第一解码模式，在上述动作条件是接收画面内编码数据的出现间隔在既定值以上的图像数据的动作条件时，将上述解码部的动作模式设为在传输错误发生时，直到后面的画面内编码数据被正常接收之前，都去除因该传输错误不能解码的部分来解码画面间编码数据的第二解码模式。
本发明(技术方案8)在技术方案7的数据再现装置，其特征在于上述第二解码模式对因产生传输错误而丢失数据的帧以外的帧的图像数据进行解码。
本发明(技术方案9)在技术方案7的数据再现装置，其特征在于上述图像数据按比帧小的每一数据单位分组，上述第二解码模式对因产生传输错误而丢失数据的分组以外的分组的图像数据进行解码。
本发明(技术方案10)的数据再现装置，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收部；检测接收的图像数据的错误发生率的错误检测部；根据上述检测出的图像数据的错误发生率和上述辅助数据表示的各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定部；发送该数据指定信号的数据发送部；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收部。
本发明(技术方案11)的数据再现方法，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；根据与应接收图像数据相关的条件和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；发送该数据指定信号的数据发送步骤；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤。
本发明(技术方案12)的数据再现方法，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；检测接收的图像数据的错误发生率的错误检测步骤；根据上述检测出的图像数据的错误发生率和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；发送该数据指定信号的数据发送步骤；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤。
本发明(技术方案13)的数据记录媒体，存储数据再现程序，该程序用于通过计算机执行数据再现处理，在该数据再现处理中，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于上述数据再现程序包括：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；根据与应接收图像数据相关的条件和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；发送该数据指定信号的数据发送步骤；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤。
本发明(技术方案14)的数据记录媒体，存储数据再现程序，该程序用于通过计算机执行数据再现处理，在该数据再现处理中，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于上述数据再现程序包括：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；检测接收的图像数据的错误发生率的错误检测步骤；根据上述检测出的图像数据的错误发生率和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；发送该数据指定信号的数据发送步骤；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤。
本发明(技术方案15)的接收图像数据并再现的数据再现装置，其特征在于包括：接收上述图像数据的图像数据接收部；解码上述图像数据接收部接收的图像数据的解码部；根据设定的条件切换上述解码部的动作模式的控制部。
本发明(技术方案16)在技术方案15的数据再现装置中，其特征在于还包括接收表示上述图像数据的容错强度的辅助数据的辅助数据接收部。
本发明(技术方案17)在技术方案16的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述辅助数据表示上述图像数据在画面内编码数据的出现间隔。
本发明(技术方案18)在技术方案15的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述图像数据接收部包括计算上述图像数据在画面内编码数据的出现间隔的运算部。
本发明(技术方案19)在技术方案15的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述控制部在接收上述画面内编码数据的出现间隔比上述设定条件表示的既定值短的图像数据时，将上述解码部的动作模式设为在传输错误发生时，直到后面的画面内编码数据被正常接收之前，都暂时停止解码处理的第一解码模式，在接收上述画面内编码数据的出现间隔在上述设定条件表示的既定值以上的图像数据时，将上述解码部的动作模式设为在传输错误发生时，去除因传输错误不能解码的部分来解码的第二解码模式。
本发明(技术方案20)在技术方案19的数据再现装置，其特征在于上述第二解码模式对因产生传输错误而丢失数据的帧以外的帧的图像数据进行解码。
本发明(技术方案21)在技术方案19的数据再现装置，其特征在于上述图像数据按比帧小的每一数据单位分组，上述第二解码模式对因产生传输错误而丢失数据的分组以外的分组的图像数据进行解码。
本发明(技术方案22)在技术方案15的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述控制部根据传输错误产生的帧的解码时间和之后解码的画面内编码帧的解码时间的时间差来切换传输错误产生时的上述解码部的解码动作。
本发明(技术方案23)在技术方案22的数据再现装置，其特征在于上述控制部在传输错误产生时，从产生上述传输错误的帧的解码时间到之后解码的画面内编码帧的解码时间的时间差比上述设定的条件表示的一定的基准值小的第一种情况下，对上述解码部的解码动作进行控制，使得在从产生上述传输错误的帧的解码时间到之后对画面内编码帧进行解码的期间中，停止对图像数据的解码处理，从产生上述传输错误的帧的解码时间到之后解码的画面内编码帧的解码时间的时间差比上述设定的条件表示的一定的基准值大的第二种情况下，对上述解码部的解码动作进行控制，使得在从产生上述传输错误的帧的解码时间到之后对画面内编码帧进行解码的期间中，进行去除因产生该传输错误而不能解码的部分来解码画面间编码数据的解码处理。
本发明(技术方案24)在技术方案23的数据再现装置，其特征在于在上述第二情况中进行的解码处理对因产生传输错误而丢失数据的帧以外的帧的图像数据进行解码。
本发明(技术方案25)在技术方案23的数据再现装置，其特征在于上述图像数据按比帧小的每一数据单位分组，在上述第二情况中进行的解码处理对因产生传输错误而丢失数据的分组以外的分组的图像数据进行解码。
本发明(技术方案26)的接收图像数据并再现的数据再现方法，其特征在于包括：接收上述图像数据的图像数据接收步骤；解码上述图像数据接收部接收的图像数据的解码步骤；根据设定的条件切换上述解码部的动作模式的控制步骤。
本发明(技术方案27)的数据记录媒体，存储数据再现程序，该程序用于通过计算机执行数据再现处理，在该数据再现处理中，接收图像数据并再现，其特征在于上述数据再现程序包括：接收上述图像数据的图像数据接收步骤；解码上述图像数据接收部接收的图像数据的解码步骤；根据设定的条件切换上述解码部的动作模式的控制步骤。
附图说明
图1是用于说明本发明的实施例1的数据传输系统的图，表示出该系统的结构(图(a))和该系统的数据发送处理(图(b))；
图2是表示上述实施例1的数据传输系统中使用的SMIL文件FSD1的记述内容的一例；
图3是表示构成上述实施例1的数据传送系统的服务器100a和客户终端200a的详细结构的图；
图4是说明上述实施例1的接收终端200a的具体容错强度的设定方法的图，选择2个容错强度之一的方法(图(a))和通过滑杆指定容错强度的方法(图(b))；
图5是表示上述实施例1的数据传输系统中使用的与图2所示的SMIL文件不同的SMIL文件FSD2的记述内容(图(a))和基于用户设定值Xus2的视频要素的具体选择方法的图；
图6是作为上述实施例1的容错性不同的多个图像数据的另一例子表示将1帧作为1个视频分组的视频流(图(a))和将1帧作为3个视频分组的视频流(图(b))的图；
图7是用于说明本发明的实施例2的数据传输系统的图，表示出构成上述系统的服务器和客户终端的详细结构的图；
图8是表示与上述实施例2中使用的SMIL文件FSD2的记述信息对应的工作存储器的存储内容(图(a))和将错误发生率与容错强度相关的表(图(b))的图；
图9是表示上述实施例2中进行视频流的切换时RTSP消息的交换例的图；
图10是表示上述实施例2中进行视频流的切换时与切换前和切换后的视频流对应的接收缓冲器中存储的RTP分组(图(a)、图(b))的图；
图11是表示上述实施例2的接收终端的视频流的切换处理的流程的图；
图12是根据显示时刻具体表示上述实施例2的上述视频流切换时接收终端的RTSP消息收发部214和分组RTP数据接收部216b进行的处理的模式图；
图13是表示与上述实施例2中使用的传输协议不同的视频流相关的信息的SMIL文件的记述(图(a))、与该记述对应的工作存储器的存储内容(图(b))和将错误发生率与容错强度相关的表(图(c))的图；
图14是用于说明本发明的实施例3的数据传输系统的图，表示出构成上述系统的服务器和客户终端的详细结构的图；
图15是用于说明本发明的实施例4的数据传输系统的图，表示出构成上述系统的服务器和客户终端的详细结构的图；
图16是用于说明作为本发明的实施例6的数据再现装置的便携式电话机的图；
图17是用于说明存储通过计算机执行上述各实施例的数据再现处理和数据发送处理的程序的数据存储媒体(图(a)、图(b))和上述计算机系统(图(c))的图；
图18是用于说明利用网络配送图像数据的通信系统的图；
图19是用于说明原有的图像编码装置的图，表示出该图像编码装置的结构(图(a))和该图像编码装置的VOP单位的编码处理(图(b))；
图20是说明原有的图像编码装置的框图；
图21是用于说明本发明的实施例5数据传输系统的图，图21(a)表示该系统结构，图21(b)表示该系统的数据传输处理；
图22是表示构成上述实施例5的系统的服务器100e和客户终端200e的详细结构的图。
具体实施方式
下面说明本发明的实施例。
(实施例1)
图1是说明本发明的实施例1的数据传输系统的图，图1(a)表示该系统的结构，图1(b)表示该系统的数据传输处理。
该实施例1的数据传输系统10a具有：送出规定的视频流(图像编码数据)的服务器100a、接收从该服务器100a送出的视频流并再现图像数据的接收终端(客户终端)200a、从服务器100a项接收终端200a传输该视频流的网络11。
这里，上述服务器100a包括存储用不同编码条件编码同一图像序列的数字视频信号得到的多个视频流并且存储记述上述各视频流的属性的SMIL数据的数据存储部120、将存储在该数据存储部120的数据送出到网络11上的数据发送部110a。上述数据存储部120中使用硬盘等大容量存储装置。
该实施例1中，上述多个视频流是对应上述同一图像系列的容错性不同的多个图像数据。具体说，多个视频流分别包含使用图像内像素值相关编码数字图像信号的编码量大的画面内编码数据、使用图像间像素值相关编码数字图像信号的编码量少的画面间编码数据，上述各图像数据的画面内编码数据的出现间隔，换言之，I帧(I-VOP)的周期不同。
并且，上述硬盘等的数据存储部120中作为视频文件Dv1~Dv4存储I帧的周期不同的，即I帧的周期为10秒、5秒、2秒、1秒的视频流，作为上述SMIL数据Da存储SMIL文件FSD1。
图2(a)表示该SMIL文件FSD1的记述内容。
SMIL文件FSD1的各行的前面记述的<smil>、</smil>、<body>、</body>、<switch>、</switch>、<video>等文字列叫做要素(element)，该要素后面表示记述内容。
例如，smil要素710a和/smil要素710b表示位于包含smil要素的行和包含/smil要素的行之间的行是根据SMIL规格记述的。
body要素720a和/body要素720b是位于包含body要素的行和包含/body要素的行之间的行，表示记述再现的视频数据的属性，例如表示所在场所的信息(URL)、与编码参数(I帧的周期)相关的信息等。
switch要素730a和/switch要素730b表示应选择位于包含switch要素的行和包含/switch要素的行之间的多个video要素中的一个。Video要素表示通过包含该video要素的行701～704的记述执行动态图像数据。
例如，SMIL文件FSD1的各video要素的项目中，I帧的出现间隔(I帧的周期)作为i-frame-interval属性记载，根据该属性，选择用户设定的内容中最合适的video要素。i-frame-interval属性的具体值有“1s”、“2s”、“5s”、“10s”，视频文件是具体的i-frame-interval属性值越小，容错强度越高。这里表示出4个I帧的出现间隔不同的视频数据文件。但不用说也可以是2个、或3个，或5个以上。
另外，各video要素项目中包含的属性值不限于i-frame-interval，也可是直接表示容错强度的system-error-resilient-level属性。
例如图5(a)表示作为SMIL文件的另一例表示容错强度不同的4个视频数据文件的SMIL文件FSD2。
该SMIL文件FSD2包含与记述在包含switch要素731a的行和包含/switch要素731b的行之间的容错强度不同的4个video要素711～714有关的项目。各video要素的项目中记载容错强度。作为system-error-resilient-level属性，根据该属性，选择用户设定的内容中最合适的video要素。这里，上述各video要素711，712，713，714的system-error-resilient-level属性的具体值分别位“1”、“2”、“3”、“4”。
图3是表示构成上述系统的服务器100a和客户终端200a的详细结构的图。
构成上述服务器100a的数据发送部110a包括接收从客户终端200a通过HTTP发送的SMIL数据的请求消息Mdr，根据该请求从数据存储部120读出SMIL文件Da，通过HTTP将读出的SMIL文件Da作为SMIL数据Dsm发送的HTTP收发部101；接收从客户终端200a通过RTSP发送的数据请求消息Mrtsp，将表示请求的视频文件名的数据指定信号Sc输出的RTSP消息收发部102；接收该数据指定信号Sc，从数据存储部120读出与该数据指定信号Sc表示的视频数据文件名相当的视频流De，通过RTP将读出的视频流作为RTP数据Drtp传输的RTP数据发送部103。
上述客户终端200a包括：根据用户操作输出各种用户操作信号Sop1，Sop2，Serr的用户操作部213；根据该用户操作信号Sop1通过HTTP发送上述SMIL数据的请求消息Mdr的同时，接收从上述服务器100a通过HITP发送的SMIL数据Dsm的HTTP收发部211；分析该SMIL数据Dsm的同时，基于该分析结果和表示上述用户操作设定的容错强度的具体级(数值)的级信号Serr输出指定规定的数据的数据指定信号Sc的SMIL数据分析部212。
这里，SMIL数据分析部212根据上述级信号Serr决定对用户侧准备的I帧的周期不同的多个视频数据中想要的数据，输出指定该决定的视频数据的指定信号Sc。
上述客户终端200a包括将上述数据指定信号Sc作为RTSP消息信号Mrtsp发送的同时，接收该信号Mrtsp的响应信号Sack的RTSP消息收发部214；接收从上述服务器100a发送的RTP数据Drtp输出视频流De的RTP数据接收部216；解码该视频流De并输出图像数据Ddec的解码部210；基于该图像数据Ddec进行图像显示的同时，进行对应上述用户操作信号Sop2的显示的显示部218。
下面具体说明上述用户操作部213的进行上述容错性设定的结构。
图4(a)表示设定接收终端200a的应取得图像数据的容错强度的画面(容错性设定画面)。这里，上述接收终端200a是便携式电话机等的便携终端201a。
例如，通过便携终端201a的按钮操作部21的操作，选择终端的初始菜单的多个项目中的进行各种初始设定的项目(设定)，另外，依次选择更具体的项目(流接收设定)、项目(容错强度设定)时，如图4(a)所示的容错性设定画面22b显示在便携式电话机的显示屏22的中央。
图4(a)中，22a是表示电波强度的画面，22c是作为操作引导的画面，画面22c中表示出应通过按钮操作部21的上下光标键21a，21c的操作选择容错性设定画面22b所示的容错强度的级并且通过确定按钮21e的操作确定选择的级。
该容错性设定画面22b是作为应取得图像数据的容错强度的级设定预先设定的容错强度(高级)或预先设定的容错强度(低级)之一的画面。便携终端201a中，容错强度(高级)、(低级)中作为容错强度值分别对应0～100的整数值中的80，20。之后，通过用户操作，即按钮操作部21的上下光标键21a，21c的操作，选择容错强度(高级)、容错强度(低级)中的一个，通过确定按钮21e的操作确定选择的级时，与确定的级对应的容错强度值作为终端的容错强度值保持。
接着说明动作。
该数据传输系统10a中，如图1(b)所示，通过HTTP从接收终端200a向服务器100a发送请求SMIL数据的SMIL请求信号Sd1(图3所示的SMIL请求消息Mrd)，作为其响应，通过HTTP信号Dsd从服务器100a向接收终端200a发送SMIL数据Dsm。
接着，接收终端200a中，进行根据SMIL数据Dsm的分析结果和用户设定的内容，将指定必要的视频流的消息Mrtsp作为RTSP信号Sd2发送到服务器100a的处理。并且，通过RTSP将其响应信号Sack从服务器100a发送到接收终端200a，随后，将规定的视频流Dstr作为RTP数据Drtp从服务器100a发送到接收终端200a。
下面详细说明上述服务器100a和接收终端200a之间的数据传输处理。
首先，接收终端(客户终端)200a中，请求与规定的图像数据对应的SMIL数据之前，通过用户对用户操作部213的操作进行种种设定。
例如，上述接收终端200a是图4(a)所示便携终端201a的情况下，用户通过便携终端201a的按钮操作部21的操作，选择终端的初始菜单的多个项目中的进行各种初始设定的项目“设定”，依次进行更具体的项目“流接收设定”、项目“容错性强度设定”的选择。这样，对应操作信号Sop2，在显示部218，即便携终端的显示屏22上显示图4(a)所示的容错性设定画面22b。
该容错性设定画面22b上作为应取得图像数据的容错强度的级选择的候补显示容错强度(高级)和容错强度(低级)。
例如，通过用户操作按钮操作部21的上下光标21a，21c，选择容错强度(低级)，通过确定按钮21e确定选择的容错强度(低级)后，将与该容错强度(低级)对应的整数值“20”保持为便携终端的容错强度值。
之后，用户在接收终端200a的显示部218中显示图像数据选择画面(图中未图示)，在该图像数据选择画面中进行指定想取得的图像数据的操作后，将对应该操作的操作信号Sop1输入到HTTP收发部211，从HTTP收发部211向服务器100a发送请求与指定的图像数据相关联的SMIL数据的信号Sd1(图3所示的SMIL消息Mdr)(参考图1(b))。这样，服务器100a中，通过该HTTP收发部101接收来自客户终端200a的SMIL数据的请求信号Sd1，在该HTTP收发部101中，对应上述SMIL数据请求信号Sd1，从数据存储部120读出SMIL文件Da，执行将其作为SMIL数据Dsm由HTTP发送的处理。该SMIL数据Dsm经网络11传输到接收终端(客户终端)200a，在该HTTP收发部211接收。
这样，在接收终端200a，上述接收的SMIL数据Dsm在SMIL数据分析部212分析，选择4个视频数据文件中最适合用户设定内容的那个，将表示选择出的视频流文件的指定信号Sc输出到RTSP消息收发部214。在该RTSP消息收发部214，进行将指定信号Sc由RTSP作为RTSP消息信号Mrtsp发送到服务器100a的处理。
下面具体说明上述SMIL数据分析部212从SMIL文件记述的4个视频数据文件选择与用户设定的容错级对应的视频数据文件的处理。
首先，在SMIL数据分析部212，进行将SMIL文件的各video要素701～704数值化的处理。
具体说，在N(N：自然数)个video要素在SMIL文件中记述的情况下，对各video要素基于下面的计算式(1)附加数值化级Y(Y：0以上的整数)。
Y＝100·(n-1)/(N-1)         (1)
这里，数值化级Y是附加给在N个video要素中从对应的视频数据文件的容错强度低的一方开始的第n个video要素的值。
上述计算式(1)计算出的计算值不是整数值的情况下，数值化级Y取在该计算值以上最接近的整数值。
这里，由于N＝4，对4个video要素701～704按对应的容错强度高的一方开始的顺序附加整数值“100”、“67”、“33”、“0”，即对video要素704附加Yv4(＝100)、对video要素703附加Yv3(＝67)、对video要素702附加Yv2(＝33)、对video要素701附加Yv1(＝0)。
N＝2的情况下，对对应的容错强度高的一方的video要素附加整数值“100”、对对应的容错强度低的一方的video要素附加整数值“0”。N＝3的情况下，对3个video要素按对应的容错强度高的一方开始的顺序附加整数值“100”、“50”、“0”，N＝5的情况下，对5个video要素按对应的容错强度高的一方开始的顺序附加整数值“100”、“75”、“50”、“25”、“0”。
并且，在便携终端进行比较用户设定的应取得图像数据的容错强度的值(用户设定值)Xus1(＝20)和对上述各video要素701～704附加的整数值的处理，选择附加了最接近容错强度的用户设定值Xus1(＝20)的整数值Yv2(＝33)的video要素702(参考图2(b))。
如上所述，接收终端200a从SMIL文件表示的容错性不同的视频数据文件指定对应接收终端的用户设定的文件，将表示指定的视频数据文件的指定信号Sc作为RTSP消息信号Mrtsp发送到服务器100a后，在服务器100a，来自接收终端200a的RTSP消息信号Mrtsp在RTSP消息收发部102接收，将上述指定信号Sc输出到RTP数据发送部103。这样，该发送部103中，进行基于该指定信号Sc从存储在数据存储部120中的多个视频文件中选择规定的视频文件并作为RTP数据Drtp发送的处理。
之后，上述RTP数据Drtp经网络11传输到接收终端200a后，在该接收终端200a，RTP数据Drtp在RTP数据接收部216接收，将视频流De输出到解码部210。解码部210通过视频流De的解码处理生成图像数据Ddec并输出到显示部218。显示部218中，根据图像数据Ddec进行图像显示。
这样，本实施例1的数据传输系统10a中，服务器100a具有：将I帧的周期不同的多个视频流存储为与同一图像系列对应的图像数据的编码数据的数据存储部120；根据接收终端的指定信号Sc发送该多个视频流中的规定的视频流的数据发送部110，接收终端200a根据用户设定内容将指定对服务器100a侧准备的多个视频流中具有规定容存性的指定信号Sc发送到服务器100a，根据用户喜好，将从发送侧提供的视频流选择为对传输容错性高的视频流或作为图像质量好的视频流。
上述实施例1中，作为表示关于SMIL数据的各视频文件的记述的记述要素使用<video>，但也可以是<ref>。
上述实施例1中，进行数据请求的协议使用RTSP，传输视频数据的协议使用RTP，但这些也可以是其他协议。
上述实施例1中，表示出将与对服务器准备的编码条件不同的多个视频流有关的信息包含在SMIL数据中传输的情况，但与上述多个视频流有关的信息可包含在SDP(session description protocol：对话描述协议)数据、MPEG-4系统数据(MPEG-4的场景记述数据)等中来传输。
另外，上述实施例1中，说明了由I帧周期表示视频流的容错强度的情况，但视频流的容错强度可通过I帧周期以外的记述用MPEG-4图像编码规格规定的各种容错性模式的信息表示。
例如，用于记述视频流的容错性模式的信息是表示视频流的视频分组的大小的信息或表示有无使用HEC(head extension code：标题扩展码)的信息(即，VOP标题信息是否包含在视频分组的标题中)，另外，还可以是表示有无使用数据的分割(即重要信息分配在分组前面)和RVLC(可逆可变长编码)，即表示有无使用不仅分组的前面而且也从后端读出可变长编码的数据结构信息。
上述实施例1中，包含在各video要素的项目中的属性是i-frame-interval属性、直接表示容错强度的syxtem-error-resilient-level(也叫error-protection-level)属性，但这些属性值可预先变化为与容错强度的级成比例的0～100的整数值，此时，如上述实施例1那样，在接收终端，与容错强度有关的属性值不需要进行与0～100的整数值对应的数值化。
上述实施例1中，作为设定应接收图像数据的容错强度的级的方法，表示出选择容错强度(高级)和容错强度(低级)之一的方法(图4(a))，但接收终端的应接收图像数据的容错强度的级的设定方法可以是使用滑杆指定一定范围内的容错强度的级的方法。
图4(b)是用于说明使用滑杆设定容错强度的级的便携终端201b的图，表示出该便携终端201b的容错性设定画面22d。图4(b)中与图4(a)相同的符号表示与实施例1的便携终端201a相同的部件。
例如，通过便携终端201b的按钮操作部21的操作，和上述实施例1的便携终端201a的操作一样，在终端的初始菜单的多个项目中选择用于进行初始设定的项目“设定”，另外，依次选择更具体的项目“流接收设定”、项目“容错强度设定”时，图4(b)所示的容错性设定画面22d显示在便携终端的显示板22的中央，在容错性设定画面22d的下侧显示作为操作的引导的画面22e。
这里，上述容错性设定画面22d是通过滑杆22d1设定应取得图像数据的容错强度的级的画面。该容错性设定画面22d中，表示出可将上述滑杆22d1左右方向移动的范围，该移动范围22d2的左端位置Lp、右端位置Rp分别是指定容错强度(高级)的位置、指定容错强度(低级)的位置，上述左端位置Lp和右端位置Rp的中间点Mp是指定容错强度(中级)的位置。
之后，在该便携终端201b的用户操作部213，对应滑杆位置，根据下面的计算式(2)计算出作为容错强度级的0～100的整数值。
X＝Ls·(1/Rs)·100           (2)
这里，X是容错强度级，Rs是上述滑动范围22d2的左端位置Lp和右端位置Rp之间的距离(滑动长度)，Ls是上述滑杆22d1离开从上述左端位置Lp的距离(滑动距离)。
例如，上述滑动长度Rs为50mm、滑杆21d1的滑动距离Ls为15mm时，由上述计算式(2)得出上述容此强度级X为Xus1(＝(15/50)·100＝30)。计算式(2)算出的容错强度级的计算值不是整数值时，容错强度级取该计算值以上最接近的整数值。
上述画面22e中，表示出通过按钮操作部21的左右光标键21b，21d的操作，使容错性设定画面22e所示的滑杆22d1移动来指定容错强度的级，并且通过按钮操作部21的确定按钮21e的操作确定指定的容错强度的级。
并且，通过用户操作，即通过按钮操作部21的左右光标键21b，21d，指定滑杆22d1的滑动距离Ls，通过确定按钮21e的操作，确定指定的滑动距离后，根据上述计算式(2)计算容错强度，该计算值保持为便携终端的容错强度值。
此时，在便携终端根据由用户设定的应取得图像数据的容错强度的值(用户设定值)Xus1(＝30)决定上述各video要素711～714中的一个的处理中，如上述实施例1所示，选择附加了与容错强度的用户设定值Xus1最接近的整数值Yv2(＝33)的video要素712(参考图2(b))。
根据用户设定值决定上述各video要素711～714中的一个的处理中，如上述实施例1所示，不限于选择附加了与用户设定值Xus1最接近的整数值的video要素，如图5(b)所示，例如可选择附加了用户设定值Xus2(＝40)以上并且最接近该设定值的整数值Yv3(＝67)的video要素713。
上述实施例1中，说明了用户在接收终端设定对应接收图像数据的容错强度的情况，但接收终端可根据接收点波的状态自动设定对应接收图像数据的容错强度。
上述实施例1中，作为与同一图像系列对应的容错性不同的多个图像数据，表示出与I帧对应的编码数据的出现间隔不同的数据，但这些容错性不同的多个图像数据分别是帧速率不同的数据、对该各图像数据的传输协议不同的数据、或分组时的数据单位大小不同的数据。
例如，帧速率高的图像数据与帧速率低的图像数据相比，容错强度高，由包含再送或重复传输的传输协议传输的图像数据与由包含再送或重复传输的传输协议传输的图像数据相比，容错强度高。分组时的数据单位小的图像数据与分组时的数据单位大的图像数据相比，容错强度高。
下面具体说明分组时的数据单位大小不同的多个图像数据。
图6表是作为与同一图像系列对应的容错性不同的2个图像数据，表示出编码数字图像信号Sdv构成的分组时的数据单位大小不同的第一和第二图像编码数据。
即，图6(a)所示的第一图像编码数据D1是在编码器Enc按1帧编码数据存储在1个视频分组VPa1中编码与各帧F1~F3对应的数字图像信号得到的容错强度低的数据。这样的容错性低的第一图像编码数据D1中，与帧F2对应的编码数据的传输中产生传输错误时，包含错误部Perr的分组VPa1的编码数据，即帧F2的编码数据全部不能解码。
图6(b)所示的第二图像编码数据D2是在编码器Enc按与1帧对应的编码数据分散到3个视频分组VPb1～VPb3中存储来编码与各帧F1~F3对应的数字图像信号得到的容错强度高的数据。这样的容错性高的第二图像编码数据D2中，即便与帧F2对应的编码数据的传输中产生传输错误时，与包含错误部Perr的分组VPb3对应的编码数据不能解码，而与其他分组VPb1和VPb2对应的编码数据可解码。
图像编码数据如上所述不限于按每一帧或按比帧小的数据单位分组，可按比帧大的数据单位分组。
(实施例2)
图7是说明本发明的实施例2的数据传输系统的图，表示该系统的服务器和客户终端的结构。
该实施例2的数据传输系统10b替代实施例1的系统10a的客户终端200a而具有客户终端200b，根据用户设定的应接收图像数据的容错强度和来自服务器100a的RTP数据Drtp的传输错误的发生率决定具有最适当的容错强度的视频流，将指定将决定的视频流的指定信号Sc发送到服务器100a中。
该实施例2的客户终端200b根据用户设定的容错强度从SMIL文件表示的多个视频数据文件中选择最初接收的图像数据，接收开始后，根据接收的图像数据的错误发生率将具有接收中的规定的容错强度的图像数据切换为从SMIL文件中所示的多个视频数据文件选择的那个。
下面详细说明本实施例2的客户终端200b。
该客户终端200b包括分别执行与客户终端200a的RTP数据接收部216和SMIL数据分析部212不同的动作的RTP数据接收部216b和SMIL数据分析部212b。该客户终端200b的HTTP收发部211、RTSP消息收发部214、解码部210、用户操作部213和显示部218与实施例1的客户终端200a的相同。
上述RTP数据接收部216b接收RTP数据Drtp的同时，输出RTP数据Drtp的RTP分组的时标信息Its，另外检测该RTP数据的传输错误发生率，输出表示该错误发生率的错误信号Rerr。上述SMIL数据分析部212b根据错误信号Rerr表示的错误发生率和一定阈值的比较结果将用于将作为RTP数据从服务器提供的视频流切换为编码条件(即容错强度)不同的其他视频流的指定信号Sc输出到RTSP消息收发部214。上述一定阈值是对该接收终端200b预先设定的终端固有的基准值。
这里，上述RTP数据接收部216b中，根据RTP分组(RTP数据)的标题部中包含的序列号信息作为错误发生率计算上述分组损失率。SMIL数据分析部212b中，输出分组损失率大时选择I帧的周期短的视频流，另一方面分组损失率小时选择I帧的周期长的视频流的指定信号Sc。
下面具体说明上述错误发生率的计算。
上述RTP分组中附加其标题部包含的序列号信息信息表示的分组传输顺序连续的序列号。RTP数据接收部216b从该单位时间最初接受的RTP分组的序列号和该单位时间最后接受的RTP分组的序列号计算出每一定单位时间应接受RTP分组的总数Na，同时对实际上该单位时间内接收的RTP分组的总数Nr计数，通过下面的计算式(3)求出此时的错误发生率Erate。
Erate＝Nr/Na                     (3)
接着说明动作。
该实施例2的数据传输系统10b的动作与实施例1的数据传输系统10a的动作的不同之处仅在于接收终端200b的SMIL数据分析部212b和RTP数据接收部216b的动作。
即，接收终端200b中，与实施例的接收终端200a一样，请求与希望的图像数据对应的SMIL数据之前，通过用户对用户操作部213的操作进行种种设定。
即，用户在图4(a)所示的容错性设定画面22b中设定应接受图像数据的容错强度的级。之后，用户在图像数据选择画面(未图示)中进行指定想取得的图像数据的操作后，将装应该操作的操作信号Sop1输入到HTTP收发部211中，从HTTP收发部211向服务器100a发送请求与指定的图像数据相关的SMIL数据的信号Sd1(SMIL请求消息Mdr)(参考图1(b))。
这样，在服务器100a中，执行通过该HTTP收发部101接收来自接收终端200b的SMIL数据的请求信号Sd1，在HTTP收发部101中，从数据存储部120读出与上述SMIL数据请求信号Sd1对应的SMIL文件Da，将其作为SMIL数据Dsm由HTTP发送的处理。该SMIL数据Dsm经网络11传输到接收终端200b，由该HTTP收发部211接收。
接收终端200b中，上述接收的SMIL数据Dsm在SMIL数据分析部212b分析，选择4个视频数据文件中最适合用户设定内容的那个，将表示选择出的视频流文件的指定信号Sc输出到RTSP消息收发部214。在该RTSP消息收发部214，进行将指定信号Sc由RTSP作为RTSP消息信号Mrtsp发送到服务器100a的处理。
这样，在服务器100a中，来自接收终端200b的RTSP消息信号Mrtsp在RTSP消息收发部102接收，将上述指定信号Sc输出到RTP数据发送部103。这样，该发送部103中，执行根据该指定信号Sc从数据存储部120中存储的多个视频文件中选择规定的视频文件并作为RTP数据Drtp发送的处理。
将上述RTP数据Drtp经网络11传输到接收终端200b后，在该接收终端200b中，RTP数据Drtp由RTP数据接收部216b接收，将视频流De输出到解码部210中。解码部210通过视频流De的解码处理生成图像数据Ddec并输出到显示部218。显示部218中，根据图像数据Ddec进行图像显示。
这样，在从服务器100a向接收终端200b传输RTP数据Drtp的状态下，在上述RTP数据接收部216b中检测出RTP数据Drtp的传输错误发生率，将表示该错误发生率的错误信号Rerr输出到上述SMIL数据分析部212b中。
这样，在SMIL数据分析部212b中，基于错误信号Rerr表示的错误发生率和作为该接收终端200b固有的基准值的预定阈值的比较结果，向RTSP消息收发部214输出将作为RTP数据从服务器100a提供的视频流切换为编码条件(即容错强度)不同的其他视频数据的指定信号Sc。这样，在RTSP消息收发部214中，执行通过RTSP将该指定信号Sc作为RTSP消息信号Mrtsp发送到服务器100a的处理。
服务器100a中，来自接收终端200b的RTSP消息信号Mrtsp在RTSP消息收发部102接收，将上述指定信号Sc输出到RTP数据发送部103中。这样，在该发送部103中，进行从数据存储部120中存储的多个视频文件中选择通过该指定信号Sc所示的视频文件并作为RTP数据Drtp发送的处理。
下面具体说明计算上述图像数据的传输中的错误发生率的处理以及根据算出的错误发生率切换流的处理。
上述SMIL数据分析部212b具有记录与SMIL文件中记述的各video要素相关的信息和表示与该各video要素对应的图像数据(视频流)的接收状态的信息的工作存储器(未图示)。
图8(a)表示该工作存储器中记录的信息。
这里，上述工作存储器中记录图5(a)所示的SMIL文件FSD2的与video要素711～714相关的信息，该存储器中记录的项目数(入口数)与SMIL文件FSD2的<switch>要素731a和</switch>要素731b之间记述的入口数(即video要素数)一致。
各项目(入口)如图8(a)所示包含执行标记和时标，执行标记表明是对表示对应的视频流的网络上的所在场所的URL(服务器地址)、对应的视频流具有的容错强度和对应的视频流进行接收再现的接收(再现)状态还是不接收不再现的非接收(非再现)状态，时标是与对应的视频流有关的最新的时标。
入口号(2)的项目E2中，执行标记的值为“1”，这表示与该项目E2对应的视频流目前在进行接收(再现)。序号(1)、(3)、(4)的项目E1、E3、E4中，执行标记值为“0”，这表示与这些项目E1、E3、E4对应的视频流目前不进行接收(再现)。
各项目E1~E4的容错强度的值为“0，“33”，“67”，“100”，这些值如实施例1说明的那样使用计算式(1)根据SMIL文件FSD2的system-error-resilient-level属性的值计算出。
各项目E1~E4的最新的时标是通过接收的最新RTP分组的标题上附加的时标随时更新的，与特定项目对应的视频流切换为与其他项目对应的视频流时，用于确定数据请求定时。
图8(a)中，项目E1，E3，E4的最新时标的值为“0”，该值“0”表示还未接收与这些项目对应的视频流。项目E2的最新时标的值为“3060000”。MPEG-4中，时标使用90kHz的时钟设定，因此该值“3060000”相当于34秒。
图8(b)表示接收终端200b的错误发生率与容错强度的关联。
与该关联相关的信息作为接收终端固有的表信息Rte记录在SMIL数据分析部212b的信息存储部(未图示)中。这里，错误发生率(阈值)Eth(Eth＝0)百分比、Eth(0＜Eth≤3)百分比、Eth(3＜Eth≤6)百分比、Eth(6＜Eth)百分比分别对应容错强度最低级的视频流、容错强度数值化级为“30”的视频流、容错强度的数值化级为“60”的视频流以及容错强度最高的视频流。即，该表信息中，错误发生率0百分比、3百分比、6百分比是对应错误发生率切换视频流时的阈值。
接着，说明对应错误发生率的变动切换视频流时的SMIL数据分析部212b的动作。
接收终端的容错强度的设定值Xus2如图5(b)所示为40，或与SMIL文件FSD2所示的各video要素对应的视频流中其容错强度的数值化级与容错强度的设定值Xus2最接近的视频流选择为应接受视频流。SMIL文件FSD2所示的各video要素上附加的容错强度的数值化级Y由上述计算式(1)计算。即，对video要素714附加整数值Ys4(＝100)、对video要素713附加整数值Ys3(＝67)、对video要素712附加整数值Ys2(＝33)、对video要素711附加整数值Ys1(＝0)。因此接收终端200b作为最初接收的视频流请求并接收与video要素712对应的容错强度的数值化级Y为Ys2(＝33)的视频流。
首先，接收终端200b的SMIL数据分析部216b中，工作存储器中写入与入口“2”对应的执行标记值“1”。
之后，接收终端200b的RTSP消息收发部214中，进行将与入口“2”对应的视频流，即请求video要素712所示的视频流的数据请求消息通过RTSP发送的处理。
此后，在接收终端200b中，输入与video要素712对应的视频流时，在RTP数据分析部216b中，接收与video要素712对应的视频流，与该视频流对应的最初接收的RTP分组的时标信息Its输出到SMIL数据分析部212b。
这样，SMIL数据分析部212b中，记录在工作存储器中的与入口“2”对应的时标的值依次更新为最新的值。
之后，在RTP数据分析部216b中，观测一定时间(例如10秒)、接收状况的结果是错误发生率为0时，SMIL数据分析部212b中，根据图8(b)所示的表信息Rte选择SMIL文件中所示的视频流中容错强度最低的视频流，把将该视频流指定为应接受图像数据的指定信号输出到RTSP消息收发部214中。
此时，SMIL数据分析部212b中，进行将与入口“2”对应的执行标记的值变更为“0”、将与入口“1”对应的执行标记的值设变更“1”的处理。
之后，RTSP消息收发部214中，对与入口“1”对应的URL(服务器地址)，通过RTSP请求数据，此时根据与入口“2”对应的最新时标，指定请求的数据(视频流)的前面位置。
图9是表示RTSP的序列，即消息交换的例子的图。
进行视频流的切换时，首先，从接收终端200b的RTSP消息收发部214对与入口“1”对应的URL(服务器地址)通过RTSP发送对于video要素711所示的视频流的DESCRIBE请求消息(DESCRIBE rtsp：//s.com/s1.mp4 RTSP/1.0)Sm1。这样，从与上述URL对应的服务器100a的RTSP消息收发部102对接收终端200b发送对上述DESCRIBE请求消息Sm1的响应消息(RTSP/1.0 200 OK)Rm1。该响应消息Rm1中包含对video要素711所示的视频流的SDP数据Dsd。
接着，从接收终端200b的RTSP消息收发部214对与入口“1”对应的URL(服务器地址)，通过RTSP发送对于video要素711所示的视频流的第一SETUP请求消息(SETUP rtsp：//s.com/s1.mp4/trackID＝1 RTSP/1.0)Sm2和第二SETUP请求消息(SETUP rtsp：//s.com/s1.mp4/trackID＝2 RTSP/1.0)Sm3。这样，从与上述URL对应的服务器100a的RTSP消息收发部102对接收终端200b发送对上述第一、第二SETUP请求消息Sm2和Sm3的响应消息(RTSP/1.0 200 OK)Rm2，Rm3。
之后，从接收终端200b的RTSP消息收发部214对与入口“1”对应的URL(服务器地址)，通过RTSP发送对于video要素711所示的视频流的PLAY请求消息(PLAY rtsp：//s.com/s1.mp4 RTSP/1.0)Sm4。请求PLAY时，请求数据的前面位置由信息(Range：npt＝37-)指定。对目前接收中的视频流的最新接收RTP分组的时标值表示对视频流的显示时刻为34秒，因此请求数据的前面位置在34秒以后。这里，设定视频流替换的处理延迟时间为3秒左右，则请求数据的前面位置是显示时刻为37秒的位置。
对上述PLAY请求消息Sm4，从与上述URL对应的服务器100a的RTSP消息收发部102对接收终端200b发送响应消息(RTSP/1.0 200 OK)Rm4。此时，同时开始在服务器100a的RTP发送部103中，通过RTP向接收终端发送视频流(video要素711)的RTP分组的处理(时刻Ts2)，在接收终端200a的RTP数据接收部216b中开始接收该RTP分组的处理(时刻Tr2)。
在RTSP消息收发部214中，判断RTP数据收发部216b接收的对入口“1”的RTP分组的时标是否在对入口“2”的RTP分组的时标值以下，若对入口“1”的RTP分组的时标在对入口“2”的RTP分组的时标值以下，则对于对入口“2”的服务器，进行发出TEARDOWN请求消息Sm5的处理。同时停止接收对入口“2”的RTP分组的处理(时刻Tr3)。
换句话说，仅在从与视频流(s1.mp4)对应的最初接收的RTP分组的时标值计算的显示时刻(T1)比从与视频流(s2.mp4)对应的已经接收的最新的RTP分组的时标值计算的显示时刻(T2)小的情况下，RTP数据收发部216b停止与视频流(s1.mp4)对应的RTP分组的接收。由此，视频流切换时，切换后的视频流的再现接着切换前的视频流的再现不中断地进行。
另一方面，对入口“2”的服务器100a中，RTP数据发送部103通过接收上述TEARDOWN请求消息(TEARDOWN trsp：//s.com/s2.mp4 RTSP/1.0)Sm5，停止对入口“2”的RTP分组的发送(时刻Tr3)，进行向接收终端200b发送对TEARDOWN请求消息Sm5的响应消息Rm5的处理。
接收终端200b的RTP数据收发部216b放弃具有与对入口“1”的RTP分组的时标重叠的时标的对入口“2”的RTP分组。
另一方面，接收状况的观测结果是错误发生率为百分之5时，根据图8(b)所示的表信息Rte选择容错强度的数值化级接近“60”的那个，执行将接收中的视频流切换为与入口“3”对应的视频流的处理。
图9中，时刻Ts1是视频流(s2.mp4)的发送开始时刻、时刻Ts4是视频流(s1.mp4)的发送停止时刻、时刻Tr1是视频流的(s2.mp4)的接收开始时刻、时刻Tr4是视频流(s1.mp4)的接收停止时刻。
图10是以具体的RTP分组为例说明上述接收终端的视频流的切换处理的图。
图10(a)表示存储在与视频流(s2.mp4)对应的接收缓冲器中的最初接收的多个RTP分组P2(k-s)~P2(k+3)，图10(b)表示存储在与视频流(s1.mp4)对应的接收缓冲器中的最初接收的多个RTP分组P1(j)~P1(j+m)。这里，从RTP分组P2(k)、P2(k+1)、P2(k+2)、P2(k+3)的时标值计算的显示时刻T2(k)、T2(k+1)、T2(k+2)、T2(k+3)分别为36.00(秒)、36.50(秒)、37.00(秒)、37.50(秒)，从RTP分组P1(j)、P1(j+1)、P1(j+2)、P1(j+3)、P1(j+4)的时标值计算的显示时刻T1(j)、T1(j+1)、T1(j+2)、T1(j+3)、T1(j+4)分别为37.00(秒)、37.25(秒)、37.50(秒)、37.75(秒)、38.00(秒)。
具体说，RTP数据接收部216b从RTP分组P1(j)开始接收视频流(s1.mp4)，在接受RTP分组P2(k+3)的时刻终止视频流(s2.mp4)的接收。之后，时标值(显示时刻)与视频流(s1.mp4)的重叠的与视频流(s2.mp4)对应的RTP分组P2(k+2)、P2(k+3)放弃。
图11是表示上述接收终端的视频流切换处理的流程的图。
SMIL数据分子部212b根据错误发生率决定将应接受视频流从视频流(s2.mp4)切换为视频流(s1.mp4)时，开始图11所示的视频流的切换处理。
首先，在RTP数据接收部216b中执行与切换后的视频流(s1.mp4)对应的接收RTP分组Ps1的处理，同时在SMIL数据分子部212b将从最初接收的RTP分组Ps1的时标值Ts1算出的显示时刻(切换后数据的显示时刻)设定为变量Ta(步骤S1)。
接着，在SMIL数据分析部212b中，从与切换前的视频流(s2.mp4)对应的最后接收的RTP分组Ps1的时标值Ts2算出的显示时刻(切换前数据的显示时刻的最大值)设定为变量Tb(步骤S2)。
接着，在SMIL数据分析部212b中，判断上述变量Ta，即上述显示时刻(切换后数据的显示时刻)是否在上述变量Tb即上述显示时刻(切换前数据的显示时刻)以下(步骤S3)。
上述步骤S3的判定结构是上述变量Ta不在上述变量Tb以下时，还判定是否接收与切换前的视频流对应的RTP分组(步骤S4)。
上述步骤S4的判断结构是未接收与切换前的视频流对应的RTP分组时，再次进行步骤S4的判定。
另一方面，在上述步骤S4的判断结构是接收与切换前的视频流对应的RTP分组时，在步骤S2中进行将从最后接收的RTP分组Ps2的时标值Ts2得到的显示时刻设定为上述变量Tb的处理。
上述步骤S3的判定结果上述Ta在上述变量Tb以下时，在RTP数据接收部216b中，停止接收与切换前的视频流(s2.mp4)对应的RTP分组Ps2的处理，并且进行放弃与切换前的视频流(s2.mp4)对应的时标值与视频流(s1.mp4)重叠的RTP分组Ps2的处理，另外，RTSP消息收发部214还发出停止与切换前的视频流(s2.mp4)对应的RTP分组Ps2的发送的请求消息(步骤S5)。
图12是根据显示时刻具体说明上述视频流切换时的接收终端的RTSP消息收发部214和RTP数据接收部216b的处理的模式图。
RTP数据接收部216b的错误发生率计算部261b1中，在RTP分组的接收中，例如按5秒1次的间隔进行计算错误发生率的处理P1。
之后，例如通过改变错误发生率，进行决定将当前接收中的视频流(例如s2.mp4)切换为其他视频流(例如s1.mp4)的处理P2后(时刻Tp2)，RTSP消息收发部214中，执行发出对视频流(s1.mp4)的DESCRIBE请求消息、SETUP请求消息、PLAY请求消息的处理P3。
此后，在RTP数据接收部216b中，接收对视频流(s1.mp4)的RTP分组P1(j)后，根据图11所示处理流程执行将与该最初接收的RTP分组P1(j)的时标值相当的显示时刻(37.00秒)和与对切换前的视频流(s2.mp4)的在该时刻接收的最新RTP分组P2(k+2)的时标值相当的显示时刻(37.00秒)进行比较的处理P4(时刻Tp4)。
该比较处理P4的结果是接收附加了和与视频流(s1.mp4)对应的最初接收的RTP分组P1(j)的时标值重叠的时标值的与视频流(s2.mp4)对应的RTP分组的情况下，执行停止与视频流(s2.mp4)对应的RTP分组的接收的处理P5(时刻Tp5)。因此，接收停止处理P5后发送来的RTP分组P2(k+4)~P2(k+n)在该接收终端不被接收。相当于和切换前的视频流(s2.mp4)对应的接收的RTP分组P2(k+2)和P2(k+3)的时标值的显示时刻比相当于和切换后的视频流(s1.mp4)对应的最初接收的RTP分组P1(j)的时标值大，因此这些RTP分组P2(k+2)和P2(k+3)在RTP数据接收部216b被放弃。
另外，与上述RTP数据接收部216b的接收停止处理P5并行地在RTSP消息收发部214执行发出对视频流(s2.mp4)的TEARDOWN请求消息的处理P6。
图12中，P2(k-r)是与视频流(s2.mp4)对应的前面的RTP分组，P2(k-7)～P2(k+3)是接收停止处理P5开始数秒前到接收停止处理P5开始之前的期间接收的与视频流(s2.mp4)对应的RTP分组，这些RTP分组P2(k-7)、P2(k-6)、P2(k-5)、P2(k-4)、P2(k-3)、P2(k-2)、P2(k-1)、P2(k)、P2(k+1)分别附加与显示时刻32.50(秒)、33.00(秒)、33.50(秒)、34.00(秒)、34.50(秒)、35.00(秒)、35.50(秒)、36.00(秒)、36.50(秒)相当的时标值。
P1(j+1)~P1(j+3)是与视频流(s1.mp4)对应的接着最初接收的RTP分组P1(j)的RTP分组，这些RTP分组P1(j+1)~P1(j+3)附加与显示时刻37.25(秒)、37.50(秒)、37.75(秒)相当的时标值。P1(j+m)是与视频流(s1.mp4)对应的最初接收的RTP分组。
RTP分组的标题上写入的时标值是通过RTSP产生的发送消息的RTP-Info字段中记述的timestamp提供其初始值的，因此上述比较处理中，在与不同的视频流对应的RTP分组之间不简单地比较时标值，而比较与时标值相当的显示时刻。
上述显示时刻Td由下面的计算式(4)算出。
Td＝Th+(Pts-Ptsi)/Sts                      (4)
这里，Th是表示指定给PLAY响应消息的Range字段的再现数据的前面位置的时刻，Pts是附加给各分组的时标(分组时标)值，Ptsi是上述时标的初始值。Sts是时间比例，该时间比例作为DESCRIBE请求的响应在从服务器返回的SDP信息中指定。
这样本实施例2的数据传输系统10b中，替代实施例1的接收终端200a的RTP数据接收部216，具有接受来自服务器100a的RTP数据Dtrp的同时，通过分析接受的RTP分组，将表示接收终端的RTP分组的损失率(传输错误率)的错误信号Rerr输出到SMIL数据分析部212b的RTP数据接收部216b，在数据分析装置212b中，根据该分组损失率的变动，产生向服务器指令从服务器100a提供的视频流切换为传输容错性高的或图像质量高的视频流的信号(数据指定信号)Sc，因此接收终端200b中，传输错误发生率高时，可接收对服务器侧准备的视频流中I帧周期短的容错性高的视频流，传输错误发生率低高时，可接收对服务器侧准备的视频流中I帧周期长的图像质量高的视频流。
上述实施例2中，说明了SMIL文件是图5(a)所示的表示容错强度不同的4个视频数据文件的文件(SMIL文件FSD2)，但SMIL文件如图13(a)所示，表示容错强度不同的3个video要素，各video要素中容错强度也可作为system-protocol属性记载(SMIL文件FSD3)。
即，图13(a)所示的SMIL文件FSD3包含在含有switch要素732a的行和包含/switch要素732b的行之间记述的与容错强度不同的3个video要素721~723相关的项目。各video要素的项目中容错强度作为system-protocol属性记载，根据该属性选择与用户设定内容最合适的video要素。
这里，上述各video要素721~723的system-protocol属性的具体值分别为“nop”、“ret”、“fec+ret”。该属性值“nop”表示与video要素721对应的视频流(s1.mp4)是通过通常的数据传输协议RTP传输的。上述属性值“ret”表示与video要素722对应的视频流(s2.mp4)是通过对通常的数据传输协议RTP具有容错性的再发送方法(ret：retransmission)传输的。上述属性值“fec+ret”表示与video要素723对应的视频流(s3.mp4)是通过具有上述容错性的具有比进行再发送(ret：retransmission)的传输方法更高的容错性的再发送和重复传输(fec＝forward error correction)方法传输的。
即，与附加了system-protocol属性“nop”的video要素721对应的视频流(s1.mp4)不进行再发送也不进行重复传输，因此容错性在与上述3个video要素对应的视频流中是最弱的。
因此，接收终端容错强度设定为“弱级”时，作为应接收视频流，选择与上述video要素721对应的视频流。未设定接收终端的容错强度时，作为最初接收的视频流，选择与该video要素721对应的视频流(s1.mp4)，接收该视频流(s1.mp4)后，传输错误发生率增大时，接收的视频流切换为附加了system-protocol属性“ret”或“ret+fet”的与video要素722、723对应的视频流(s2.mp4)或(s3.mp4)。
与上述video要素722对应的进行再发送的传输方法传输的视频流(s2.mp4)也可以是通过进行重复传输的传输方法传输的，即其video要素的system-protocol属性值为“fec”的视频流。
SMIL数据分析部212b中，输入上述图13(a)所示的SMIL文件FSD3是，根据该SMIL文件如图13(b)所示进行将SMIL文件的记载信息存储到工作存储器(未图示)的处理。
即，上述工作存储器中记录图13(a)所示的SMIL文件FSD3的与video要素721～723相关的信息。这里该工作存储器中记录的项目的数目(入口数)与SMIL文件FSD3的<switch>要素732a和</switch>要素732b之间记述的入口数(即video要素数)一致。
各项目(入口)中，如图13(b)所示，包含表示对应的视频流在网络上的所在场所的URL(服务器地址)、对应的视频流的传输协议、表示对应的视频流是接受并再现的接收(再现)状态还是也不接收也不再现的非接收(再现)状态的执行标记、与对应的视频流相关的最新时标。
入口(1)的项目E1中，执行标记的值为“1”，这表示与该项目E1对应的视频流目前正进行接收(再现)。入口(2)(3)的项目E2、E3中，执行标记的值为“0”，这表示与该项目E2、E3对应的视频流目前未进行接收(再现)。
表示各项目E1~E3的协议中类的具体值为“nop”、“ret”、“fec+ret”，这些值与上述SMIL文件FSd3中的system-protocol属性的值一致。
各项目E1~E3的最新时标是通过接收的最新RTP分组的标题上附加的时标随时更新的，与特定项目对应的视频流切换为与其他项目对应的视频流时，用于确定数据请求定时。
图13(b)中，项目E2，E3的最新时标的值为“0”，该值“0”表示还未接收与这些项目对应的视频流。项目E1的最新时标的值为“3060000”。MPEG-4中，时标使用90kHz的时钟设定，因此该值“3060000”相当于34秒。
图13(c)表示错误发生率与协议的关联。
与该关联相关的信息作为接收终端固有的表信息Rtp记录在SMIL数据分析部212b的信息存储部(未图示)中。这里，错误发生率Eth(Eth＝0)百分比、Eth(0＜Eth≤3)百分比、Eth(3＜)百分比分别对应nop协议传输的视频流、ret协议传输的视频流、fec+ret协议传输的视频流。即，该表信息中，错误发生率百分之0、百分之3是对应错误发生率切换视频流时的阈值。
并且，在SMIL数据分析部212b中根据图13(c)所示错误发生率和协议的相关进行对应错误发生率的变动的视频流切换。进行平滑再现的视频流的切换与上述实施例2同样，同样执行图9～图12说明的处理。
上述实施例2中，表示出作为接收终端，用户设定与相同的图像系列对应的容错性不同的多个图像数据中的最初应接收图像数据的容错强度，但最初应接收图像数据的容错强度可以是接收终端固有的缺省值。
此时，接收终端请求例如SMIL文件FSD2所示的多个video要素711～714中的适合于容错强度的缺省值的video要素的视频流，接收该视频流，之后，在该接收终端，对应视频流接收中的错误发生率将接收中的视频流切换为具有适当的容错强度的视频流。
上述实施例2中，表示出对应接收中的视频流的错误发生率进行视频流的切换，但可对应接收的电波强度来切换视频流。
(实施例3)
图14是用于说明本发明的实施例3的数据传输系统的图，表示出该系统的服务器和客户终端的结构。
图14中与图3相同的符号表示与实施例1的数据传输系统10a相同的部件。
该实施例3的数据传输系统10c中，替代上述实施例1的数据传输系统10a的客户终端200a，具有将与来自服务器的RTP数据(RTP分组)的传输错误发生率和分组到达时刻等的发送状况相关的信息Drr传输到服务器100c的客户终端200c，替代实施例1的数据传输系统10a的服务器100a，备有根据来自客户终端200c的与发送状况相关的信息Drr将作为RTP数据从服务器提供的视频流切换为编码条件不同的其他视频流的服务器100c。
上述客户终端200c替代客户终端200a的RTP数据接收部216a备有在接收RTP数据Drtp的同时检测出该RTP数据的传输错误发生率和RTP分组的到达时刻等的发送状况的RTP数据接收部216c，并且具有将表示该发送状况的信息Drr作为接收报告发送给服务器100c的RTCP报告收发部219。
上述服务器100c具有将与从服务器发送的RTP分组的个数和顺序号相关的信息Dsr作为发送报告发送向接收终端200c的RTCP报告收发部219的同时，接收来自收发部219的接收报告的RTCP报告收发部104，替代实施例1的服务器的RTP数据接收部103设置接收作为接收报告的信息Drr，根据传输错误发生频度和RTP分组的到达时刻等的发送状况，将作为RTP数据发送的视频流切换为编码条件不同的其他视频流的RTP数据发送部103c。
上述RTCP报告收发部104和219通过RTCP(real time control protocol)发送接收上述发送报告和接收报告。接收报告按例如5秒等的一定周期通知给配送服务器。服务器切换视频流的定时一般按I帧出现的定时进行。
接着说明动作。
该实施例3的数据传输系统10c的动作与实施例1的数据传输系统10a的动作的不同之处在于根据来自接收终端200c的接收报告由服务器100c将作为RTP数据传输到接收终端的视频流切换为编码条件不同的视频流。
即，接收终端200c的RTP数据接收部216c中，检测出接收的RTP数据Drtp的传输错误发生率，将表示该错误发生率的错误信号Rerr输出到上述RTCP报告收发部219中。
从上述RTCP报告收发部219向服务器100c发送作为接收报告Drr的与传输错误的发生频度和RTP分组的到达时刻等相关的信息。
这样，服务器100c的RTCP报告收发部104中，根据作为接收报告Drr接收的信息，检测出RTP数据Drtp的传输错误的发生率和分组的到达延迟时间，将表示该错误发生率和到达延迟时间的信息Drr输出到RTP数据发送部103c中。
该RTP数据发送部103c中，根据错误发生率和分组到达延迟时间的增减，从存储在数据存储部120中的多个视频文件中选择具有规定容错性的视频文件，作为RTP数据Drtp发送到接收终端200c。
这样，本实施例3的数据传输系统10c中，代替实施例1的系统10a的客户终端200a具有将与来自服务器的RTP数据(RTP分组)的传输错误的发生率和分组到达时刻等的发送状况相关的信息Drr传输到服务器100c的客户终端200c，代替实施例1的系统10a的服务器100a，具有根据与来自客户终端200c的发送状况相关的信息Drr将作为RTP数据从服务器提供的视频流切换为编码条件不同的其他视频流的服务器100c，因此在服务器100c中，根据来自接收终端200c的接收报告，在传输错误发生率高时，可发送多个视频流中I帧的周期短的容错性高的视频流，而传输错误发生率低时，可发送多个视频流中I帧的周期长的图像质量高的视频流。
(实施例4)
图15是用于说明本实施例4的数据传输系统的图，表示出该系统的服务器和客户终端的结构。
图15中与图3相同的符号表示与实施例1的数据传输系统10a相同的部件。
该实施例4的数据传输系统10d中，替代上述实施例1的系统10a的客户终端200a，具有根据用户设定的动作内容变更解码处理和显示处理的客户终端200d。
即，上述客户终端200d替代实施例1的客户终端200a的解码部210和显示部218备有根据控制信号C1变更进行视频流的解码处理的动作模式的解码部210d和根据控制信号C2变更进行图像数据Ddec的显示处理的动作模式的显示部218d，具有根据表示用户设定内容的设定信号Serr由上述控制信号C1和C2控制解码部210d和显示部218d的动作模式的控制部220。
接着说明动作。
该实施例4的数据传输系统10d的动作与实施例1的系统10a的动作的不同之处在于接收终端200d根据用户设定内容变更视频流的解码处理模式和图像数据的显示处理模式。
即，通过用户对用户操作部213的操作，作为应由接收终端200d再现的视频流，设定I帧周期比接收终端固有的一定的基准周期小的视频流时，解码部210d根据来自控制部220的控制信号C1将其动作模式设定为在传输错误发生时都暂时停止解码处理，直到I帧的视频流被正常接收为止的第一解码动作模式。此时，显示部218d根据来自控制部220的控制信号C2将其动作模式设定为在传输错误发生时，直到下一I帧的视频流被正常接收为止都显示传输错误发生之前解码的图像数据的第一解码动作模式。
另一方面，通过用户对用户操作部213的操作，作为应由接收终端200d再现的视频流，设定I帧周期比接收终端固有的一定的基准周期大的视频流时，解码部210d根据来自控制部220的控制信号C1将其动作模式设定为在传输错误发生时仅跳过因传输错误丢失数据的帧的解码处理从传输错误发生后正常接收数据的帧开始进行解码处理的第二解码动作模式。该第二解码动作模式中，传输错误发生后，在正常接收数据的帧为P帧时，参考传输错误发生之前解码的帧来进行解码处理。此时，显示部218d根据来自控制部220的控制信号C2将其动作模式设定为与发生传输错误无关地全部显示进行了数据解码处理的帧的第二的显示动作模式。
这样，本实施例4的数据传输系统10d中，根据用户在接收终端设定的与接收终端请求的视频流的容错性相关的条件，变更接收终端的解码部210d和显示部218d的动作模式，即在设定接收终端应接收的视频流是I帧的周期比一定基准值短的视频流的条件时，在传输错误发生时暂时停止解码处理，直到I帧的视频流被正常接收为止，同时，显示传输错误发生之前解码的图像数据，在设定接收终端应接收的视频流为I帧的周期在一定基准值以上的视频流的条件的情况下，仅对因传输错误丢失数据的帧以外的帧进行解码处理，同时全部显示进行了数据的解码处理的帧，因此对应用户设定的应接收视频流的容错性(即I帧的间隔)，可使解码部和显示部的动作模式为错误发生时显示图像的不和谐感小的动作模式。
上述实施例4中，表示出作为数据发送系统，根据与用户在接收终端设定的视频流相关的条件变更接收终端的解码处理模式和显示处理模式，但数据发送系统可根据从服务器通知的与服务器发送的视频流相关的I帧的出现间隔(I帧的周期)，在接收终端变更解码部210d和显示部218d的动作模式。此时，表示I帧的出现间隔的信息可使用SMIL、SDP、RTSP等从服务器发送到接收终端。
上述实施例4中，作为解码部210d的第二解码动作模式，表示出在传输错误发生时，仅跳过因传输错误丢失数据的帧的解码处理，在传输错误产生后，从正常接收数据的帧开始进行解码处理的动作模式，但上述第二解码动作模式不限于此。
例如图6(b)所示，I帧的视频流分散存储在多个视频分组中时，上述第二解码动作模式，即I帧周期设定在接收终端固有的一定基准周期以上时的解码动作模式可以是仅对因传输错误丢失数据的视频分组以外的分组的数据进行解码处理的模式。
此时，图像数据的显示模式与上述实施例4的第二显示动作模式一样，可以是全部显示至少对其一部分数据进行解码处理的帧的模式。
上述实施例4中，表示出控制部对应接收终端的用户设定将解码部的动作模式从上述第一解码动作模式切换为第二解码动作模式，但控制部的解码部的动作控制不限于此，例如可以是对应接收终端的用户设定以外的条件进行。
例如，在产生传输错误的时刻，由于I帧的周期已知，可计算出到下一个I帧的视频流解码的时间。因此，上述控制部进行控制，使得在传输错误产生时，根据传输错误产生的帧的解码时间到之后解码的I帧的解码时间的时间差，判定解码部的解码动作是例如从传输错误产生的帧的解码时间开始到之后的I帧的解码时间为止的期间停止解码处理的解码动作，还是从传输错误产生的帧的解码时间开始到之后的I帧的解码时间为止的期间除去因该传输错误产生而不能解码的部分来对画面间编码数据进行解码的解码动作，控制解码部来使传输错误产生后的解码动作的解码动作为通过该判定决定的解码动作。
具体说，传输错误产生时，控制解码部，使得从上述传输错误产生的帧的解码时间到之后的I帧的解码时间的时间差比上述终端固有的既定值小时，解码部的解码动作在从产生上述传输错误的帧的解码时间开始到之后I帧解码为止的期间中为停止对图像数据的解码处理的动作，另一方面，从上述传输错误产生的帧的解码时间到之后的I帧的解码时间的时间差比上述终端固有的既定值大时，解码部的解码动作在从产生上述传输错误的帧的解码时间开始到之后I帧解码为止的期间中为仅对与产生上述传输错误的帧以外的帧对应的图像数据进行解码的动作。
这里，如图6(b)所示，上述各帧的图像数据在按比帧小的数据单位分组时，仅对上述传输错误产生的帧以外的帧进行解码处理的解码动作可仅对接收的图像数据中的产生传输错误的分组以外的分组进行解码处理。
上述各实施例中，使用RTSP向服务器通知与收听者对于显示图像的喜好(I帧的周期短的好，还是I帧的周期长的好等)。用于通知收听者的喜好的协议可使用其他传输协议CC/PP(composite capability/preference profiles)。此时，服务器可使用SMIL向接收终端通知视频流的候补。
上述各实施例中，说明了从服务器向接收终端传输的数据为图像数据的情况，但上述传输数据也可以是声音数据、文本数据，即用RTP/UDP/IP传输声音数据、文本数据时，也得到与上述各实施例同样的效果。
例如，从对应同一内容的容错性不同的多个声音数据或多个文本数据选择适合于在接收终端上用户设定的或作为接收终端的缺省值设定的对应接收数据的容错强度的数据，在接收终端再现选择的声音数据或文本数据。这里，作为多个声音数据(文本数据)不同的具有容错性的情况下的一例，举出如下：即多个声音数据(文本数据)之一参考以前进行了解码处理的声音帧(文本帧)的数据，利用解码帧，而另一个是不利用这样的帧的情形。
与上述同一内容对应的容错强度不同的多个声音数据或多个文本数据可以是数据传输协议不同的数据。并且与声音数据或文本数据相关的传输协议不同的一例，可举出按IETF(Internet Engineering Task Force)定义的FEC(ForwardError Correction、RFC2733)的冗余度不同的协议。
(实施例5)
图21是用于说明本实施例5的数据传输系统的图，图21(a)表示出该系统的结构，图21(b)表示出该系统的数据传输处理。
该实施例5的数据传输系统10e包括送出规定的视频流(图像编码数据)的服务器100e、接收从该服务器100e送出的视频流并再现图像数据的接收终端(客户终端)200e、从服务器100e向接收终端200e传输该视频流的网络11。
这里，上述服务器100e包括存储用决定的编码条件编码多个图像序列的数字图像信号得到的多个视频流并且存储记述对应的视频流的属性的SMIL数据的数据存储部120e、将存储在该数据存储部120e的数据送出到网络11上的数据发送部110e。上述数据存储部120e中使用硬盘等大容量存储装置。
该实施例5中，上述多个视频流是对应不同图像系列的具有分别决定的容错性的图像数据。具体说，多个视频流分别包含使用图像内像素值相关编码数字图像信号的编码量大的画面内编码数据、使用图像间像素值相关编码数字图像信号的编码量少的画面间编码数据，具有分别决定的画面内编码数据的出现间隔，换言之，I帧(I-VOP)的周期。
并且，上述硬盘等的数据存储部120e中作为视频文件Dva、Dvb存储I帧的周期为5秒、2秒的视频流，作为上述SMIL数据Daa、Dab存储记述对应的视频文件Dva、Dvb的属性等的SMIL文件。这里作为各视频流(视频文件)Dva、Dvb的属性的I帧(I-VOP)的出现间隔分别为5秒、2秒。
图22是表示构成上述系统的服务器100e和客户终端200e的详细结构的图。
构成上述服务器100e的数据发送部110e包括接收从客户终端200e通过HTTP发送的SMIL数据的请求消息Mdr，根据该请求从数据存储部120e读出SMIL文件Da，通过HTTP将读出的SMIL文件Da作为SMIL数据Dsm发送的HTTP收发部101；接收从客户终端200e通过RTSP发送的数据请求消息Mrtsp，输出其响应信号Sack的同时，将表示请求的视频文件名的数据指定信号Sc输出的RTSP消息收发部102；接收该数据指定信号Sc，从数据存储部120e读出与该数据指定信号Sc表示的视频数据文件名相当的视频流De，通过RTP将读出的视频流作为RTP数据Drtp传输的RTP数据发送部103。本实施例5的数据发送部110e中的HTTP收发部101、RTS消息收发部102和RTP数据发送部103与实施例1的数据发送部101a中的相同。
上述客户终端200e包括：根据用户操作输出各种用户操作信号Sop1，Sop2，Sop3的用户操作部213；根据该用户操作信号Sop1通过HTTP发送与用户指定的视频数据对应的SMIL数据的请求消息Mdr的同时，接收从上述服务器100e通过HTTP发送的SMIL数据Dsm的HTTP收发部211；分析该SMIL数据Dsm的同时，基于该分析结果输出指定用户指定的视频数据的数据指定信号Sc的SMIL数据分析部212e。
上述客户终端200e包括将上述数据指定信号Sc作为RTSP消息信号Mrtsp发送的同时，接收该信号Mrtsp的响应信号Sack的RTSP消息收发部214；接收从上述服务器100e发送的RTP数据Drtp输出视频流De的RTP数据接收部216.
上述客户终端200e包括解码该视频流De并输出图像数据Ddec的同时，根据控制信号C1变更视频流的解码处理的动作模式的解码部210e；基于该图像数据Ddec进行图像显示的同时，根据控制信号C2变更进行图像数据Ddec的显示处理的动作模式的显示部218e；通过上述控制信号C1和C2控制解码部210e和显示部218e的动作模式的控制部220e。该显示部218e对应上述用户操作信号Sop2进行显示。
该客户终端200e中，将与接收中的图像数据的画面内编码数据的出现间隔比较的既定值设定为缺省值，错误发生时，根据接收中的图像数据的画面内编码数据的出现间隔和上述缺省值的比较结果，切换上述解码部的动作模式。具体说，接收上述画面内编码数据的出现间隔比上述既定值短的图像数据的情况下，上述解码部的动作模式设为第一解码动作模式，在传输错误产生时，直到之后正常接收画面内编码数据之前都暂时停止解码处理，在接收上述画面内编码数据的出现间隔比上述设定条件所示的既定值大的图像数据的情况下，上述解码部的动作模式设为第二解码动作模式，在传输错误产生时，去除因传输错误不能解码的部分来进行解码。
接收终端不限于将与上述接收中的图像数据的画面内编码数据的出现间隔比较的既定值作为缺省值，上述接收终端可通过用户操作设定该既定值。
接着说明动作。
该数据传输系统10e中，用户在用户操作部213e进行请求规定的视频文件的操作后，根据该操作信号Sop1，如图21(b)所示，通过HTTP从接收终端200e的HTTP收发部211向服务器100e发送请求与用户制定的视频文件对应的SMIL数据的SMIL请求信号Sd1(图22所示的SMIL请求消息Mrd)，作为其响应，通过HTTP信号Dsd从服务器100e的HTTP收发部101向接收终端200e发送SMIL数据Dsm。用户在用户操作部213e指定想要的图像系列的视频文件的操作与使用图4(a)所示便携终端说明的操作相同。
之后，接收终端200e中，RTSP消息收发部214根据对应SMIL数据Dsm的分析结果的数据指定信号Sc进行将指定用户需要的视频流的消息Mrtsp作为RTSP信号Sd2发送给服务器100e的处理。并且，该响应信号Sack通过RTSP从服务器100e的RTSP消息收发部102发送到接收终端200e后，通过RTP数据发送部103从服务器100e向接收终端200e发送规定的视频流Dsrt，作为RTP数据Drtp。
这样，上述RTP数据Drtp经网络11传输到接收终端200a后，在该接收终端200a，RTP数据Drtp在RTP数据接收部216接收，视频流De输出到解码部210e。解码部210e通过视频流De的解码处理生成图像数据Ddec并输出到显示部218e。显示部218e中根据图像数据Ddec进行图像显示。
之后，该实施例4的数据传输系统10e中，上述视频流的传输中产生错误时，在接收终端200e，根据作为缺省值设定的画面内编码数据的出现间隔(即I帧的周期)和作为接收的视频流的属性值的I帧的周期的比较结果，根据来自控制部220e的控制信号C1，C2变更解码部210e的动作模式和显示部218e的动作模式。
即，接收终端200e在接收I帧周期(I-VOP的周期)比接收终端的既定值(一定的基准周期)短的视频流时，解码部210e根据来自控制部220e的控制信号C1，将其动作模式设定为在传输错误发生时都暂时停止解码处理，直到I帧的视频流被正常接收为止的第一解码动作模式。此时，显示部218e根据来自控制部220e的控制信号C2，将其动作模式设定为在传输错误发生时直到下一I帧的视频流被正常接收为止显示传输错误发生之前解码的图像数据的第一显示动作模式。
另一方面，接收终端200e在接收I帧周期比接收终端的既定值(一定的基准周期)大的视频流时，解码部210e根据来自控制部220e的控制信号C1，将其动作模式设定为在传输错误发生时仅跳过因传输错误丢失数据的帧的解码处理，在传输错误产生后从正常接收数据的帧开始进行解码处理的第二解码动作模式。该第二解码动作模式中，传输错误产生后，在正常接收数据的帧为P帧时，参考传输错误产生之前解码的帧来进行解码处理。此时，显示部218e根据来自控制部220e的控制信号C2，将其动作模式设定为与传输错误发生无关地全部显示进行了数据的解码处理的帧的第二解码动作模式。
这样本实施例5的数据传输系统10e中，根据在接收终端作为缺省值设定的I帧周期的既定值和接收的视频流的I帧周期的值，变更接收终端的解码部210e和显示部218e的动作模式，即在接收终端应接收的视频流的I帧周期的值比作为缺省值在接收终端设定的既定值短的情况下，在传输错误发生时都暂时停止解码处理，直到I帧的视频流被正常接收为止，同时，显示传输错误发生之前解码的图像数据，在接收终端接收的视频流的I帧周期的值比作为缺省值在接收终端设定的既定值大的情况下，仅对因传输错误丢失数据的帧以外的帧进行解码处理，同时全部显示进行了数据的解码处理的帧，因此对应接收的视频流的容错性(即I帧的间隔)，可使解码部和显示部的动作模式为错误发生时显示图像的不和谐感小的动作模式。
上述实施例5中，表示出将作为接收的视频流的属性值的I帧的出现间隔(I帧的周期)作为SMIL文件从服务器100e向接收终端提供的情况，但接收的视频流的I帧的出现间隔(I帧的间隔)可使用SDP、RTSP等从服务器向接收终端发送。
接收的视频流的I帧的出现间隔(I帧的间隔)不限于从服务器向接收终端发送，例如可由接收终端200e的RTP数据接收部216从接收的视频流中包含的信息算出。
上述实施例5中，作为解码部210e的第二解码动作模式，表示出在传输错误发生时，仅跳过因传输错误丢失数据的帧的解码处理，在传输错误产生后，从正常接收数据的帧开始进行解码处理的动作模式，但上述第二解码动作模式不限于此。
例如图6(b)所示，I帧的视频流分散存储在多个视频分组中时，上述第二解码动作模式可以是仅对因传输错误丢失数据的视频分组以外的分组的数据进行解码处理的模式。
此时，图像数据的显示模式与上述实施例5的第二显示动作模式一样，可以是全部显示至少对其一部分数据进行解码处理的帧的模式。
另外，上述实施例5中，表示出对应接收中的视频流的I帧的出现间隔和接收终端的缺省值(既定值)的大小关系，在错误产生时切换解码部的动作模式的情况，但解码部的动作模式切换不限于此。
例如，在产生传输错误的时刻，由于I帧的周期已知，可计算出到下一I帧的视频流解码的时间。因此，上述控制部进行控制，使得在传输错误产生时，根据从传输错误产生的帧的解码时间到之后解码的I帧的解码时间的时间差，判定解码部的解码动作是例如从传输错误产生的帧的解码时间开始到之后的I帧的解码时间为止的期间停止解码处理的解码动作，还是从传输错误产生的帧的解码时间开始到之后的I帧的解码时间为止的期间除去因该传输错误产生而不能解码的部分来对画面间编码数据进行解码的解码动作，控制解码部来使传输错误产生后的解码动作的解码动作为通过该判定决定的解码动作。
具体说，上述控制部控制解码部，使得在传输错误产生时，从上述传输错误产生的帧的解码时间到之后的I帧的解码时间的时间差比上述接收终端固有的缺省值(既定值)小时，上述解码部的解码动作在从产生上述传输错误的帧的解码时间开始到之后I帧解码的为止的期间中成为停止对图像数据的解码处理的动作，从上述传输错误产生的帧的解码时间到之后的I帧的解码时间的时间差比上述接收终端固有的缺省值(既定值)大时，上述解码部的解码动作在从产生上述传输错误的帧的解码时间开始到之后I帧解码为止的期间中为去除因该传输错误产生不能解码的部分来对画面间编码数据进行解码的动作。
这里，去除因该传输错误产生不能解码的部分来对画面间编码数据进行解码的解码动作是仅对产生传输错误的帧以外的帧进行解码处理的解码动作。
如图6(b)所示，上述各帧的图像数据在按比帧小的数据单位分组时，对发生传送错误的帧以外的帧进行解码的解码操作，在接收到的图像数据中，对发生了传送错误的分错以外的分组进行解码也可。
上述实施例5中，说明了从服务器向接收终端传输的数据为图像数据的情况，但上述传输数据也可以是声音数据、文本数据，即用RTP/UDP/IP传输声音数据、文本数据时，也得到与上述实施例5同样的效果。
上述实施例2到4中，作为对服务器请求根据终端的用户设定请求图像数据，再现根据该请求发送的图像数据的数据再现装置，表示出经互联网等的网络可连接于服务器的接收终端，实施例5中，表示出对应接收的图像数据的I帧周期的值和在接收终端设定的既定值的大小关系切换错误产生时的解码动作的接收终端，但上述实施例2～5的接收终端可具体举出PC(个人计算机)和上述实施例1中作为接收终端的具体例子所示的便携式电话机等。
(实施例6)
下面说明作为本发明的实施例6，与上述实施例2的数据再现装置同样对服务器请求具有通过用户设定指定的容错强度的图像数据的便携式电话机。
图16是说明本实施例6的便携式电话机的图。
该实施例5的便携式电话机300包括进行各种信号处理的信号处理部302、将天线301接收的无线信号N作为接收信号输出到信号处理部302的同时将信号处理部302生成的发送信号作为无线信号N从天线301发送出去的无线通信部303。
上述便携式电话机300具有：进行图像显示的液晶面板(LCD)306、输入声音的麦克风308、再现声音信号的扬声器307、接收上述信号处理部302处理的图像信号并控制上述液晶显示部(LCD)306来根据图像信号进行图像显示的显示控制部304、将来自麦克风308的输入声音信号输出到信号处理部302的同时将信号处理部302处理的声音信号输出到扬声器307的声音输入部305。这里为说明简便，未图示便携式电话机的按钮操作部。
这里，上述信号处理部302进行与上述实施例2的数据再现装置200b相同的数据再现处理。即，上述信号处理部302具有与实施例2的接收终端侧的HTTP收发部211、RTSP消息收发部214、SMIL数据分析部212b、RTP数据接收部216b、解码部210和与用户操作部213相当的部分。该实施例6的便携式电话机300的显示控制部304和液晶面板(LCD)306相当于上述实施例2的显示部218。
具有这种结构的便携式电话机300中，用户设定对应接受图像数据的容错强度，进行与特定内容对应的图像数据的再现时，通过RTP分组依次从服务器发送适合于容错强度的用户设定值的视频流，在便携式电话机中，再现来自服务器的视频流时的同时，对应该视频流接收中的传输错误产生率进行切换视频流的处理。
上述实施例6中，作为便携式电话机，表示出与上述实施例2的数据再现装置执行相同的数据再现处理，但该便携式电话机可执行与上述实施例3到5的数据传输系统的数据再现装置(接收终端)200c、200d、200e相同的数据再现处理。
上述各实施例中，数据再现装置(接收终端)或数据发送装置(服务器)通过硬件实现，但这些装置也可通过软件实现。此时，进行上述各实施例所示的数据再现处理或数据发送处理的程序存储在软盘等数据存储媒体中，上述数据再现装置(接收终端)和数据发送装置(服务器)可用独立的计算机系统构成。
图17是说明存储通过软件执行上述各实施例的数据再现处理或数据发送处理的程序的记录媒体和包含该记录媒体的计算机系统的图。
图17(a)表示从软盘正面看去的外观、截面结构和软盘本体，图17(b)表示该软盘本体的物理格式的例子。
上述软盘FD为将上述软盘本体D容纳在软盘套FC中的结构，该软盘本体D的表面上从外周向内周按同心圆状形成多个磁道Tr，各磁道Tr在圆周方向上分为16个扇区Se。因此，存储上述程序的软件FD在上述软盘本体D上分割的区域(扇区)Se中记录作为上述程序的数据。
图17(c)表示用于在软盘FD上记录上述程序的结构，以及使用在软盘FD中存储的程序来通过软件进行数据再现处理或数据发送处理的结构。
将上述程序记录在软盘FD中时，从计算机系统Cs经软盘驱动器FDD将作为上述程序的数据写入软盘FD中。通过软盘FD中记录的程序在计算机系统Cs中构筑上述数据再现装置和数据发送装置时，通过软盘驱动器FDD从软盘FD读出程序，装载到计算机系统Cs中。
上述说明中，作为数据记录媒体，表示出软盘，但可将光盘用作数据记录媒体，此时，与上述软盘的情况相同，可通过软件执行数据再现处理或数据发送处理。另外，上述数据记录媒体不限于上述光盘、软盘，可以是IC卡、ROM盒(cassette)等，只要能够记录程序就可以，使用这些数据记录媒体时，与使用上述软盘时同样，可通过软件实施数据再现处理或数据发送处理。
如上所述，根据本发明的(技术方案1)的数据再现装置，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收部；根据与应接收图像数据相关的条件和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定部；发送该数据指定信号的数据发送部；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收部，从而可选择提供给接收终端的视频流，在传输错误产生时用户对显示图像抱怨的不和谐感变小。
根据本发明(技术方案2)在技术方案1的数据再现装置中，其特征在于上述多个容错性不同的各图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述各图像数据的在上述画面内编码数据的出现间隔不同，从而通过选择视频流的I帧出现间隔，可选择具有对应传输错误的产生状况和用户喜好的容错性的图像数据。
根据本发明(技术方案3)在技术方案1的数据再现装置，其特征在于上述多个容错性不同的多个图像数据是编码数字图像数据而成的第一和第二图像编码数据，上述第一图像编码数据的与1帧对应的编码数据按比帧小的每一数据单位分组，上述第二图像编码数据的与1帧对应的编码数据按每一帧或比帧大的每一数据单位分组，从而通过选择图像编码数据的分组大小，可切换传输容错性高的视频流和图像品质好的视频流。
根据本发明(技术方案4)在技术方案1的数据再现装置，其特征在于上述多个容错性不同的各图像数据与同一图像系列对应，各自的帧速率不同，从而通过选择帧速率，可切换传输容错性高的视频流和图像品质好的视频流。
根据本发明(技术方案5)在技术方案1的数据再现装置，其特征在于上述多个容错性不同的各图像数据与同一图像系列对应，与该各图像数据相对的传输协议不同，从而通过选择协议可选择容错性不同的图像数据。
根据本发明(技术方案6)在技术方案1的数据再现装置，其特征在于包括对上述图像数据接收部接收的图像数据解码的解码部和对应设定的动作条件切换上述解码部的动作模式的控制部，从而通过动作条件的设定，可减小错误产生时的显示图像的不和谐感。
根据本发明(技术方案7)在技术方案6的数据再现装置，其特征在于上述多个容错性不同的各图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述各图像数据在上述画面内编码数据的出现间隔不同，上述控制部在上述动作条件是接收画面内编码数据的出现间隔比既定值短的图像数据的动作条件时，将上述解码部的动作模式设为在传输错误发生时，直到后面的画面内编码数据被正常接收之前，都暂时停止解码处理的第一解码模式，在上述动作条件是接收画面内编码数据的出现间隔在既定值以上的图像数据的动作条件时，将上述解码部的动作模式设为在传输错误发生时，直到后面的画面内编码数据被正常接收之前，都去除因该传输错误不能解码的部分来解码画面间编码数据的第二解码模式，从而错误产生时的解码动作是对应动作条件的设定的显示图像不和谐感小的动作。
根据本发明(技术方案8)在技术方案7的数据再现装置，其特征在于上述第二解码模式对因产生传输错误而丢失数据的帧以外的帧的图像数据进行解码，从而传输错误产生时也可显示丢失数据的帧以外的帧，进行平滑图像显示。
根据本发明(技术方案9)在技术方案7的数据再现装置，其特征在于上述图像数据按比帧小的每一数据单位分组，上述第二解码模式对因产生传输错误而丢失数据的分组以外的分组的图像数据进行解码，从而传输错误产生时，即便是因错误产生而丢失数据的帧也可现实其一部分，可平滑显示图像。
根据本发明(技术方案10)的数据再现装置，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收部；检测接收的图像数据的错误发生率的错误检测部；根据上述检测出的图像数据的错误发生率和上述辅助数据表示的各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定部；发送该数据指定信号的数据发送部；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收部，从而可对应传输错误的产生率变更例如视频流的I帧的出现间隔，由此可将传输错误产生时显示图像的不和谐感抑制到很小。
根据本发明(技术方案11)的数据再现方法，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；根据与应接收图像数据相关的条件和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；发送该数据指定信号的数据发送步骤；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤，从而可选择提供给接收终端的视频流，在传输错误产生时用户对显示图像抱怨的不和谐感小，由此，可将传输错误产生时显示图像的不和谐感抑制到很小。
根据本发明(技术方案12)的数据再现方法，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；检测接收的图像数据的错误发生率的错误检测步骤；根据上述检测出的图像数据的错误发生率和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；发送该数据指定信号的数据发送步骤；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤，从而，可对应传输错误的产生率变更例如视频流的I帧的出现间隔，由此，可将传输错误产生时显示图像的不和谐感抑制到很小。
根据本发明(技术方案13)的数据记录媒体，存储数据再现程序，该程序用于通过计算机执行数据再现处理，在该数据再现处理中，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于上述数据再现程序包括：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；根据与应接收图像数据相关的条件和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；发送该数据指定信号的数据发送步骤；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤，由此通过接收终端的用户设定等，通过软件可实现将传输错误产生时显示图像的不和谐感抑制到很小的解码处理。
根据本发明(技术方案14)的数据记录媒体，存储数据再现程序，该程序用于通过计算机执行数据再现处理，在该数据再现处理中，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于上述数据再现程序包括：接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；检测接收的图像数据的错误发生率的错误检测步骤；根据上述检测出的图像数据的错误发生率和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；发送该数据指定信号的数据发送步骤；根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤，因此通过例如变更对应传输错误的发生率的I帧的出现间隔，通过软件可实现将传输错误产生时显示图像的不和谐感抑制到很小的解码处理。
根据本发明(技术方案15)的接收图像数据并再现的数据再现装置，其特征在于包括：接收上述图像数据的图像数据接收部；解码上述图像数据接收部接收的图像数据的解码部；根据设定的条件切换上述解码部的动作模式的控制部，因此错误产生时，可将解码部的动作模式变更为显示图像的不和谐感小的模式。
根据本发明(技术方案16)在技术方案15的数据再现装置中，其特征在于还包括接收表示上述图像数据的容错强度的辅助数据的辅助数据接收部，在错误产生时，可根据接收中的图像数据的容错强度将解码部的动作模式变更为显示图像的不和谐感小的模式。
根据本发明(技术方案17)在技术方案16的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述辅助数据表示上述图像数据在画面内编码数据的出现间隔，因此错误产生时，可根据接收中的图像数据的画面内编码数据的出现间隔将解码部的动作模式变更为显示图像的不和谐感小的模式。
根据本发明(技术方案18)在技术方案15的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述图像数据接收部包括计算上述图像数据在画面内编码数据的出现间隔的运算部，因此错误产生时，可根据接收中的图像数据的画面内编码数据的出现间隔将解码部的动作模式变更为显示图像的不和谐感小的模式。
根据本发明(技术方案19)在技术方案15的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述控制部在接收上述画面内编码数据的出现间隔比上述设定条件表示的既定值短的图像数据时，将上述解码部的动作模式设为在传输错误发生时，直到后面的画面内编码数据被正常接收之前，都暂时停止解码处理的第一解码模式，在接收上述画面内编码数据的出现间隔在上述设定条件表示的既定值以上的图像数据时，将上述解码部的动作模式设为在传输错误发生时，去除因传输错误不能解码的部分来解码的第二解码模式，由此可对应接收终端侧的设定条件将错误产生时的解码动作设为显示图像的不和谐感小的动作。
根据本发明(技术方案20)在技术方案19的数据再现装置，其特征在于上述第二解码模式对因产生传输错误而丢失数据的帧以外的帧的图像数据进行解码，由此传输错误产生时也可显示丢失数据的帧以外的帧，进行平滑图像显示。
根据本发明(技术方案21)在技术方案19的数据再现装置，其特征在于上述图像数据按比帧小的每一数据单位分组，上述第二解码模式对因产生传输错误而丢失数据的分组以外的分组的图像数据进行解码，因此传输错误产生时即便是因错误产生而丢失数据的帧，也可现实其一部分，可进行平滑图像显示。
根据本发明(技术方案22)在技术方案15的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述控制部根据传输错误产生的帧的解码时间和之后解码的画面内编码帧的解码时间的时间差来切换传输错误产生时的上述解码部的解码动作，因此可将传输错误产生的解码动作设为传输错误产生时显示的图像的不和谐感更小的动作。
根据本发明(技术方案23)在技术方案22的数据再现装置，其特征在于上述控制部在传输错误产生时，在从产生上述传输错误的帧的解码时间到之后解码的画面内编码帧的解码时间的时间差比上述设定的条件表示的一定的基准值小的第一种情况下，对上述解码部的解码动作进行控制，使得在从产生上述传输错误的帧的解码时间到之后对画面内编码帧进行解码的期间中，停止对图像数据的解码处理，在从产生上述传输错误的帧的解码时间到之后解码的画面内编码帧的解码时间的时间差比上述设定的条件表示的一定的基准值大的第二种情况下，对上述解码部的解码动作进行控制，使得在从产生上述传输错误的帧的解码时间到之后对画面内编码帧进行解码的期间中，进行去除因产生该传输错误而不能解码的部分来解码画面间编码数据的解码处理，因此传输错误产生时，可进行图像中没有紊乱的显示、动作平滑的显示中的不和谐感更小一方的显示。
根据本发明(技术方案24)在技术方案23的数据再现装置，其特征在于在上述第二情况中进行的解码处理对因产生传输错误而丢失数据的帧以外的帧的图像数据进行解码，因此传输错误产生后开始到之后进行画面内编码帧的解码为止的时间比较长的情况下，可将传输错误产生时的解码动作设定为显示丢失数据的帧以外的帧、进行平滑图像显示。
根据本发明(技术方案25)在技术方案23的数据再现装置，其特征在于上述图像数据按比帧小的每一数据单位分组，在上述第二情况中进行的解码处理对因产生传输错误而丢失数据的分组以外的分组的图像数据进行解码，因此传输错误产生后开始到之后进行画面内编码帧的解码为止的时间比较长的情况下，可将传输错误产生时的解码动作设定为即便是显示丢失数据的帧也可事先一部分、进行更平滑图像显示。
根据本发明(技术方案26)的接收图像数据并再现的数据再现方法，其特征在于包括：接收上述图像数据的图像数据接收步骤；解码上述图像数据接收部接收的图像数据的解码步骤；根据设定的条件切换上述解码部的动作模式的控制步骤，因此错误产生时，将解码部的动作模式变更为显示图像的不和谐感小的模式。
根据本发明(技术方案27)的数据记录媒体，存储数据再现程序，该程序用于通过计算机执行数据再现处理，在该数据再现处理中，接收图像数据并再现，其特征在于上述数据再现程序包括：接收上述图像数据的图像数据接收步骤；解码上述图像数据接收部接收的图像数据的解码步骤；根据设定的条件切换上述解码部的动作模式的控制步骤，因此错误产生时，通过软件实现将解码模式变更为显示图像的不和谐感小的模式的变更处理。

Claims (27)

1.一种数据再现装置，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：
接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收部；
根据与应接收图像数据相关的条件和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定部；
发送该数据指定信号的数据发送部；
根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收部。
2.根据权利要求1的数据再现装置，其特征在于上述多个容错性不同的各图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述各图像数据的上述画面内编码数据的出现间隔不同。
3.根据权利要求1的数据再现装置，其特征在于上述多个容错性不同的多个图像数据是编码数字图像信号而成的第一和第二图像编码数据，
上述第一图像编码数据是与1帧对应的编码数据按比帧小的每一数据单位分组，
上述第二图像编码数据是与1帧对应的编码数据按每一帧或比帧大的每一数据单位分组。
4.根据权利要求1的数据再现装置，其特征在于上述多个容错性不同的各图像数据与同一图像系列对应，各自的帧速率不同。
5.根据权利要求1的数据再现装置，其特征在于上述多个容错性不同的各图像数据与同一图像系列对应，与该各图像数据相对的传输协议不同。
6.根据权利要求1的数据再现装置，其特征在于包括对上述图像数据接收部接收的解码图像数据的解码部和对应设定的动作条件切换上述解码部的动作模式的控制部。
7.根据权利要求6的数据再现装置，其特征在于上述多个容错性不同的各图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述各图像数据的上述画面内编码数据的出现间隔不同，
上述控制部在上述动作条件是接收画面内编码数据的出现间隔比既定值短的图像数据的动作条件时，将上述解码部的动作模式设为在传输错误发生时，直到后面的画面内编码数据被正常接收，都暂时停止解码处理的第一解码模式，
在上述动作条件是接收画面内编码数据的出现间隔在既定值以上的图像数据的动作条件时，将上述解码部的动作模式设为在传输错误发生时，直到后面的画面内编码数据被正常接收，都去除因该传输错误不能解码的部分来解码画面间编码数据的第二解码模式。
8.根据权利要求7的数据再现装置，其特征在于上述第二解码模式对因产生传输错误而丢失数据的帧以外的帧的图像数据进行解码。
9.根据权利要求7的数据再现装置，其特征在于上述图像数据按比帧小的每一数据单位分组，上述第二解码模式对因产生传输错误而丢失数据的分组以外的分组的图像数据进行解码。
10.一种数据再现装置，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：
接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收部；
检测接收的图像数据的错误发生率的错误检测部；
根据上述检测出的图像数据的错误发生率和上述辅助数据表示的各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定部；
发送该数据指定信号的数据发送部；
根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收部。
11.一种数据再现方法，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：
接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；
根据与应接收图像数据相关的条件和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；
发送该数据指定信号的数据发送步骤；
根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤。
12一种数据再现方法，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于具有：
接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；
检测接收的图像数据的错误发生率的错误检测步骤；
根据上述检测出的图像数据的错误发生率和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；
发送该数据指定信号的数据发送步骤；
根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤。
13.一种数据记录媒体，存储数据再现程序，该程序用于通过计算机执行数据再现处理，在该数据再现处理中，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于上述数据再现程序包括：
接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；
根据与应接收图像数据相关的条件和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；
发送该数据指定信号的数据发送步骤；
根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤。
14.一种数据记录媒体，存储数据再现程序，该程序用于通过计算机执行数据再现处理，在该数据再现处理中，接收多个容错性不同的各图像数据中的一个并进行再现，其特征在于上述数据再现程序包括：
接收表示上述多个图像数据的容错强度的辅助数据的辅助数据接收步骤；
检测接收的图像数据的错误发生率的错误检测步骤；
根据上述检测出的图像数据的错误发生率和上述辅助数据表示的上述各图像数据的容错强度生成指定上述多个图像数据中的一个的数据指定信号的数据指定步骤；
发送该数据指定信号的数据发送步骤；
根据该发送的数据指定信号接收从上述多个图像数据中选择发送的图像数据的图像数据接收步骤。
15.一种接收图像数据并再现的数据再现装置，其特征在于包括：
接收上述图像数据的图像数据接收部；
解码上述图像数据接收部接收的图像数据的解码部；
根据设定的条件切换上述解码部的动作模式的控制部。
16.根据权利要求15的数据再现装置，其特征在于还包括接收表示上述图像数据的容错强度的辅助数据的辅助数据接收部。
17.根据权利要求16的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述辅助数据表示上述图像数据在画面内编码数据的出现间隔。
18.根据权利要求15的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，上述图像数据接收部包括计算上述图像数据在画面内编码数据的出现间隔的运算部。
19.根据权利要求15的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，
上述控制部在接收上述画面内编码数据的出现间隔比上述设定条件表示的既定值短的图像数据时，将上述解码部的动作模式设为在传输错误发生时，直到后面的画面内编码数据被正常接收，都暂时停止解码处理的第一解码模式，
在接收上述画面内编码数据的出现间隔在上述设定条件表示的既定值以上的图像数据时，将上述解码部的动作模式设为在传输错误发生时，去除因传输错误不能解码的部分来解码的第二解码模式。
20.根据权利要求19的数据再现装置，其特征在于上述第二解码模式对因产生传输错误而丢失数据的帧以外的帧的图像数据进行解码。
21.根据权利要求19的数据再现装置，其特征在于上述图像数据按比帧小的每一数据单位分组，
上述第二解码模式对因产生传输错误而丢失数据的分组以外的分组的图像数据进行解码。
22.根据权利要求15的数据再现装置，其特征在于上述图像数据包括使用画面内像素值相关编码数字图像信号而成的画面内编码数据、使用画面间像素值相关编码数字图像信号而成的画面间编码数据，
上述控制部根据传输错误产生的帧的解码时间和之后解码的画面内编码帧的解码时间的时间差来切换传输错误产生时的上述解码部的解码动作。
23.根据权利要求22的数据再现装置，其特征在于上述控制部在传输错误产生时，
从产生上述传输错误的帧的解码时间到之后解码的画面内编码帧的解码时间的时间差比上述设定的条件表示的一定的基准值小的第一种情况下，对上述解码部的解码动作进行控制，使得在从产生上述传输错误的帧的解码时间到之后对画面内编码帧进行解码的期间中，停止对图像数据的解码处理，
从产生上述传输错误的帧的解码时间到之后解码的画面内编码帧的解码时间的时间差比上述设定的条件表示的一定的基准值大的第二种情况下，对上述解码部的解码动作进行控制，使得在从产生上述传输错误的帧的解码时间到之后对画面内编码帧进行解码的期间中，进行去除因产生该传输错误而不能解码的部分来解码画面间编码数据的解码处理。
24.根据权利要求23的数据再现装置，其特征在于在上述第二情况中进行的解码处理对因产生传输错误而丢失数据的帧以外的帧的图像数据进行解码。
25.根据权利要求23的数据再现装置，其特征在于上述图像数据按比帧小的每一数据单位分组，
在上述第二情况中进行的解码处理对因产生传输错误而丢失数据的分组以外的分组的图像数据进行解码。
26.一种接收图像数据并再现的数据再现方法，其特征在于包括：
接收上述图像数据的图像数据接收步骤；
解码上述图像数据接收部接收的图像数据的解码步骤；
根据设定的条件切换上述解码部的动作模式的控制步骤。
27.一种数据记录媒体，存储数据再现程序，该程序用于通过计算机执行数据再现处理，在该数据再现处理中，接收图像数据并再现，其特征在于上述数据再现程序包括：
接收上述图像数据的图像数据接收步骤；
解码上述图像数据接收部接收的图像数据的解码步骤；
根据设定的条件切换上述解码部的动作模式的控制步骤。
CNB021413061A 2001-03-29 2002-03-29 数据再现装置和数据再现方法 Expired - Fee Related CN100428662C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP097023/2001 2001-03-29
JP2001097023 2001-03-29

Publications (2)

Publication Number Publication Date
CN1387338A true CN1387338A (zh) 2002-12-25
CN100428662C CN100428662C (zh) 2008-10-22

Family

ID=18950862

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021413061A Expired - Fee Related CN100428662C (zh) 2001-03-29 2002-03-29 数据再现装置和数据再现方法

Country Status (4)

Country Link
US (1) US7366241B2 (zh)
EP (1) EP1261204A2 (zh)
KR (1) KR100832189B1 (zh)
CN (1) CN100428662C (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354829B (zh) * 2008-09-12 2010-06-02 航天东方红卫星有限公司 一种卫星遥测数据传输方法
CN102037718A (zh) * 2008-03-20 2011-04-27 汤姆森特许公司 屏蔽信号丢失的方法和装置
CN104883372A (zh) * 2015-06-19 2015-09-02 中国电子科技集团公司第五十四研究所 一种基于无线自组织网的防欺骗和抗攻击的数据传输方法
CN105594181A (zh) * 2013-10-04 2016-05-18 哉英电子股份有限公司 发送装置、接收装置、收发系统以及图像显示系统
CN108024148A (zh) * 2016-10-31 2018-05-11 腾讯科技（深圳）有限公司 基于行为特征的多媒体文件识别方法、处理方法及装置
CN113645490A (zh) * 2021-06-23 2021-11-12 天津津航计算技术研究所 一种软硬结合的多通道视频同步解码方法

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1261204A2 (en) * 2001-03-29 2002-11-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for data reproduction
US20080030623A1 (en) * 2001-07-19 2008-02-07 Kumar Ramaswamy Robust reception of digital broadcast transmission
US7167476B1 (en) * 2002-04-12 2007-01-23 Juniper Networks, Inc. Systems and methods for routing data in a network device
FI116816B (fi) * 2002-10-14 2006-02-28 Nokia Corp Median suoratoisto
US7926080B2 (en) * 2002-11-07 2011-04-12 Microsoft Corporation Trick mode support for VOD with long intra-frame intervals
US8711923B2 (en) * 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US8027381B2 (en) * 2003-01-28 2011-09-27 Thomson Licensing Robust mode staggercasting user controlled switching modes
US7810124B2 (en) * 2003-01-28 2010-10-05 Thomson Licensing Robust mode staggercasting fast channel change
EP1588548B1 (en) * 2003-01-28 2010-10-13 Thomson Licensing Robust mode staggercasting
KR100977646B1 (ko) * 2003-02-21 2010-08-24 닛본 덴끼 가부시끼가이샤 화상 데이터 분배 시스템, 장치, 및 방법
JP4308555B2 (ja) 2003-03-10 2009-08-05 パナソニック株式会社 受信装置および情報閲覧方法
TWI222324B (en) * 2003-06-10 2004-10-11 Benq Corp System for dynamically switching video mode and the transmission method
US20050002337A1 (en) * 2003-07-01 2005-01-06 Nokia Corporation Reducing effects caused by transmission channel errors during a streaming session
KR100651566B1 (ko) * 2003-08-26 2006-11-28 삼성전자주식회사 이동통신 단말기에서 출력 버퍼링을 이용한 멀티미디어재생 장치 및 그 제어 방법
US8220020B2 (en) * 2003-09-30 2012-07-10 Sharp Laboratories Of America, Inc. Systems and methods for enhanced display and navigation of streaming video
JP4362480B2 (ja) * 2003-11-04 2009-11-11 シャープ株式会社 レジューム再生システム
DE10353564A1 (de) * 2003-11-14 2005-06-16 Deutsche Thomson-Brandt Gmbh Verfahren zur abschnittsweisen, diskontinuierlichen Übertragung von Daten in einem Netzwerk verteilter Stationen sowie Netzwerkteilnehmerstation als Anforderungsgerät bei der Durchführung eines solchen Verfahrens als auch Netzwerkteilnehmerstation als Quellgerät bei der Durchführung eines solchen Verfahrens
WO2005084381A2 (en) * 2004-03-03 2005-09-15 Packetvideo Network Solutions, Inc. System and method for retrieving digital multimedia content from a network node
WO2006003232A1 (en) * 2004-07-01 2006-01-12 Oy Gamecluster Ltd A method and a device for transferring predictive and non-predictive data frames
SE0402876D0 (sv) * 2004-11-25 2004-11-25 Ericsson Telefon Ab L M TV-like standards-compliant unicast streaming over IP
JP2006179161A (ja) * 2004-11-26 2006-07-06 Matsushita Electric Ind Co Ltd ディスク再生方法、その制御プログラム、記録媒体、ディスク再生装置及び光ディスク用信号処理回路
US7675872B2 (en) * 2004-11-30 2010-03-09 Broadcom Corporation System, method, and apparatus for displaying pictures
JP2006186875A (ja) * 2004-12-28 2006-07-13 Matsushita Electric Ind Co Ltd 携帯型デジタル放送受信装置および受信方法
KR100739172B1 (ko) * 2005-03-03 2007-07-13 엘지전자 주식회사 의사 스트리밍 기술을 이용한 이동 단말기의 동영상 전송방법
EP2894831B1 (en) * 2005-06-27 2020-06-03 Core Wireless Licensing S.a.r.l. Transport mechanisms for dynamic rich media scenes
US8731069B2 (en) * 2005-08-25 2014-05-20 Canon Kabushiki Kaisha Remote display system and method
US8340098B2 (en) * 2005-12-07 2012-12-25 General Instrument Corporation Method and apparatus for delivering compressed video to subscriber terminals
WO2007102147A2 (en) * 2006-03-07 2007-09-13 Bitband Technologies Ltd. Personalized insertion of advertisements in streaming media
KR100848128B1 (ko) * 2006-04-24 2008-07-24 한국전자통신연구원 실시간 스트리밍 프로토콜을 이용한 프로그래시브 스트리밍방법
US20070294423A1 (en) * 2006-06-14 2007-12-20 Comverse, Inc. Multi-Client Single-Session Media Streaming
US8346945B2 (en) * 2006-09-14 2013-01-01 Nokia Corporation Dynamic SDP update in IPDC over DVB-H
EP2159976A4 (en) * 2007-05-21 2014-03-12 Fujitsu Ltd RELAY DEVICE AND RELAY METHOD
US20090081639A1 (en) * 2007-05-31 2009-03-26 Phil Hill Assay for sensitivity to chemotherapeutic agents
CN101796840A (zh) * 2007-08-28 2010-08-04 汤姆森特许公司 无频道改变延迟的交错播送
US8700792B2 (en) 2008-01-31 2014-04-15 General Instrument Corporation Method and apparatus for expediting delivery of programming content over a broadband network
FI20080150L (fi) * 2008-02-25 2009-08-26 Floobs Oy Laitteisto, menetelmä, tietokoneohjelmatuote ja järjestelmä videovirran koodaamiseksi
KR20090107854A (ko) * 2008-04-10 2009-10-14 삼성전자주식회사 컨텐트 제공 방법 및 장치와 컨텐트 재생 방법 및 장치
US8752092B2 (en) 2008-06-27 2014-06-10 General Instrument Corporation Method and apparatus for providing low resolution images in a broadcast system
CN101854336A (zh) * 2009-03-31 2010-10-06 华为技术有限公司 一种获取视频传输管理服务器地址的方法、系统和装置
US8340502B2 (en) * 2009-12-01 2012-12-25 Canon Kabushiki Kaisha Movie reproducing apparatus and method
US9357244B2 (en) 2010-03-11 2016-05-31 Arris Enterprises, Inc. Method and system for inhibiting audio-video synchronization delay
US9015126B2 (en) 2010-05-22 2015-04-21 Nokia Corporation Method and apparatus for eventually consistent delete in a distributed data store
US9538207B2 (en) * 2013-12-05 2017-01-03 Qognify Ltd. Method and apparatus for managing video storage
CN104318879A (zh) * 2014-10-20 2015-01-28 京东方科技集团股份有限公司 显示装置、显示装置故障分析系统和方法
US10218981B2 (en) * 2015-02-11 2019-02-26 Wowza Media Systems, LLC Clip generation based on multiple encodings of a media stream
JP6467395B2 (ja) * 2016-11-25 2019-02-13 キヤノン株式会社 画像送信装置、画像受信装置、それらの制御方法および画像通信システム
IT202000022789A1 (it) 2020-09-28 2020-12-28 Vitop Moulding Srl Rubinetto erogatore provvisto di sistema di collocamento, bloccaggio e orientamento su scatole di tipo Bag-In-Box

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4004565A (en) * 1975-04-14 1977-01-25 Minnesota Mining And Manufacturing Company Clip for supplying implant projectiles
US4077406A (en) * 1976-06-24 1978-03-07 American Cyanamid Company Pellet implanter for animal treatment
FR2515450B1 (fr) * 1981-10-27 1986-01-24 Thomson Csf Procede, et systeme, de codage et decodage differentiel de donnees limitant la propagation des erreurs de transmission
JPS60183669A (ja) * 1984-03-02 1985-09-19 Nec Corp メモリ制御装置
NL8402411A (nl) * 1984-08-02 1986-03-03 Philips Nv Inrichting voor het korrigeren en maskeren van fouten in een informatiestroom, en weergeeftoestel voor het weergeven van beeld en/of geluid voorzien van zo een inrichting.
JP2997355B2 (ja) * 1991-12-04 2000-01-11 シャープ株式会社 復号装置
JPH0787444A (ja) * 1993-07-16 1995-03-31 Pioneer Electron Corp 圧縮符号化データ記録方法
KR20070086740A (ko) * 1996-03-18 2007-08-27 가부시끼가이샤 도시바 부호화 장치 및 부호화 방법
US6530896B1 (en) * 1996-05-13 2003-03-11 James B. Elliott Apparatus and method for introducing an implant
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
JP3493985B2 (ja) * 1997-11-26 2004-02-03 安藤電気株式会社 動画通信評価装置
EP0939545A2 (en) 1998-02-27 1999-09-01 Hitachi, Ltd. Video service system
JPH11313301A (ja) 1998-02-27 1999-11-09 Hitachi Ltd 番組配信システム、番組配信装置、番組品質変換装置、及び番組受信装置
JP2000078197A (ja) * 1998-09-03 2000-03-14 Toshiba Corp 通信ノード及びパケット転送方法
PL342605A1 (en) * 1998-12-14 2001-06-18 Koninkl Philips Electronics Nv Data carrier, apparatus for and method of reading data from such carrier and method of making same
KR100571687B1 (ko) * 1999-02-09 2006-04-18 소니 가부시끼 가이샤 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
JP2001045098A (ja) * 1999-05-26 2001-02-16 Canon Inc データ通信システム、データ通信装置、データ通信方法及び記憶媒体
JP2001094963A (ja) 1999-09-20 2001-04-06 Nippon Telegr & Teleph Corp <Ntt> 映像伝送方法と仲介サーバ装置とプログラム記録媒体
JP2001320440A (ja) * 2000-05-02 2001-11-16 Sony Corp 通信装置及び方法
US20020076049A1 (en) * 2000-12-19 2002-06-20 Boykin Patrick Oscar Method for distributing perceptually encrypted videos and decypting them
EP1261204A2 (en) * 2001-03-29 2002-11-27 Matsushita Electric Industrial Co., Ltd. Method and apparatus for data reproduction

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102037718A (zh) * 2008-03-20 2011-04-27 汤姆森特许公司 屏蔽信号丢失的方法和装置
US8433988B2 (en) 2008-03-20 2013-04-30 Thomson Licensing Method and apparatus for masking signal loss
CN102037718B (zh) * 2008-03-20 2014-12-31 汤姆森特许公司 屏蔽信号丢失的方法和装置
CN101354829B (zh) * 2008-09-12 2010-06-02 航天东方红卫星有限公司 一种卫星遥测数据传输方法
CN105594181A (zh) * 2013-10-04 2016-05-18 哉英电子股份有限公司 发送装置、接收装置、收发系统以及图像显示系统
US10074340B2 (en) 2013-10-04 2018-09-11 Thine Electronics, Inc. Transmission device, reception device, transmission/reception system, and image display system and clock training thereof
CN105594181B (zh) * 2013-10-04 2019-03-15 哉英电子股份有限公司 发送装置、接收装置、收发系统以及图像显示系统
CN104883372A (zh) * 2015-06-19 2015-09-02 中国电子科技集团公司第五十四研究所 一种基于无线自组织网的防欺骗和抗攻击的数据传输方法
CN108024148A (zh) * 2016-10-31 2018-05-11 腾讯科技（深圳）有限公司 基于行为特征的多媒体文件识别方法、处理方法及装置
CN108024148B (zh) * 2016-10-31 2020-02-28 腾讯科技（深圳）有限公司 基于行为特征的多媒体文件识别方法、处理方法及装置
CN113645490A (zh) * 2021-06-23 2021-11-12 天津津航计算技术研究所 一种软硬结合的多通道视频同步解码方法
CN113645490B (zh) * 2021-06-23 2023-05-09 天津津航计算技术研究所 一种软硬结合的多通道视频同步解码方法

Also Published As

Publication number Publication date
US7366241B2 (en) 2008-04-29
US20020141740A1 (en) 2002-10-03
KR20020077262A (ko) 2002-10-11
EP1261204A2 (en) 2002-11-27
CN100428662C (zh) 2008-10-22
KR100832189B1 (ko) 2008-05-23

Similar Documents

Publication Publication Date Title
CN1387338A (zh) 数据再现装置和数据再现方法
CN1220359C (zh) 通信终端、服务器、广播通信系统及方法
CN1190081C (zh) 发送和接收动态图像数据的方法及其设备
CN100338949C (zh) 接收系统和lsi电路
CN1187929C (zh) 数据接收装置、数据接收方法及数据传输方法
CN1166143C (zh) 用于媒体数据传输的方法和装置
CN1638321A (zh) 发送设备和方法、接收设备和方法、存储介质以及程序
CN1166142C (zh) 用于媒体数据传输的方法和装置
CN1176548C (zh) 信息接收记录重放装置、信息接收记录重放方法
CN1141842C (zh) 图象数据发送方法和装置及图象数据再生装置
CN1174625C (zh) 记录装置及编码装置
CN1914922A (zh) 内容的编码、分发及接收的方法、装置、系统以及程序
CN1663282A (zh) 运动画面数据的代码转换/发送方法和装置和运动画面数据的代码转换/接收方法和装置
CN1934825A (zh) 通过通信协议传送广播/多播会话的参数
CN1636400A (zh) 运动图像分配系统、运动图像分配设备及方法、记录介质及程序
CN101040522A (zh) 使用1/4速率编码的健壮数据的数字电视传送和接收设备、以及方法
CN1408189A (zh) 用于报头压缩的切换过程
CN1846420A (zh) 嵌入的服务质量相关信息的传送
CN1650561A (zh) 音频数据编码转换发送方法以及编码转换接收方法、设备、系统和程序
CN1759384A (zh) 接收设备和信息浏览方法
CN1926872A (zh) 信息处理设备、信息处理方法、程序和数据结构
CN101080928A (zh) 以变化的比特率在传输信道中传送的方法
CN1319989A (zh) 多频道显示数据产生装置、媒介和信息组件
CN1723702A (zh) 数据处理装置
CN1647536A (zh) 从属数据流传输方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081022

Termination date: 20100329