CN1205154A - 图像声音解码装置和图像声音编码装置以及信息传输系统 - Google Patents

图像声音解码装置和图像声音编码装置以及信息传输系统 Download PDF

Info

Publication number
CN1205154A
CN1205154A CN97191347A CN97191347A CN1205154A CN 1205154 A CN1205154 A CN 1205154A CN 97191347 A CN97191347 A CN 97191347A CN 97191347 A CN97191347 A CN 97191347A CN 1205154 A CN1205154 A CN 1205154A
Authority
CN
China
Prior art keywords
image
information
relative importance
sound
decoding device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN97191347A
Other languages
English (en)
Other versions
CN1151683C (zh
Inventor
山口孝雄
鸭川乡
登一生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1205154A publication Critical patent/CN1205154A/zh
Application granted granted Critical
Publication of CN1151683C publication Critical patent/CN1151683C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream

Abstract

本发明揭示一种图像声音解码装置和图像声音编码装置以及信息传输系统。解码装置包括:接收信息的接收管理单元(11),分析该接收信息并进行分接的分接单元(12),决定分接后的图像的处理优先度的优先度决定单元(14),按照优先度对图像进行扩展的图像扩展单元(18),以扩展后的图像为基础进行图像合成的图像合成单元(19),存储该合成所得的图像的合成结果存储单元(22),对开始重放的时刻进行管理的重放时刻管理单元(23),输出合成结果的输出单元(24)。该解码装置在同时对多个图像和声音进行解码、合成时,根据终端的处理状况控制编码量。

Description

图像声音解码装置和图像声音 编码装置以及信息传输系统
技术领域
本发明涉及同时进行多个图像和声音的解码、编码、合成的图像声音解码装置和图像声音编码装置以及信息传输系统。
背景技术
以往，有人把目标放在实现一种充满实际存在的感觉，因而有现场感的图像通信。该通信从本端空间风景图像中提取例如人物图像，将该图像和对端送来的人物图像以及预先存储的与对端一起显示用的虚拟空间图像重叠，并加以显示，使对方人物呈现在本端人物面前(日本特公平4-24914号公报，“超媒体个人计算机通信系统”(Fukuda，k．，Tahara，T．，Miyoshi，T．：“Hypermedia Personal ComputerCommunication System：Fujitsu Habitat”，FUJITSU Sci．Tech．J．，26，3，pp．197-206(Octorber 1990)．)、中村：“网络对应虚拟现实感的分散协同作业支援”，信息处理学会视听复合信息处理研究会(1993))。特别，在以往的技术中，不断进行着与用于进行图像合成的高速化、减少存储器的方法相关的发明(例如，日本特公5-46592：图像合成装置，日本特开6-105226：图像合成装置)。
但是，在以往的技术中，虽然提议了对2维静止图像和3维CG数据进行合成的图像合成系统，但没有描述有关同时解码(扩展)多个活动图像和声音进行合成并显示的系统的实现方法。特别，没有描述关于在能同时对多个图像、声音进行解码、合成、显示的终端装置中，对终端能力的不足和处理能力的变动不带来漏损的图像和声音的重放方法。而且，没有描述根据计费状况对应于对多个图像进行解码、合成、显示的方法。
具体地说，没有讲述：
(1)对多个图像、声音的信息，记述多个图像和声音的关系的信息及其处理结果的信息进行管理的方法；
(2)终端的处理状态为超负载的多个图像和声音的解码、合成、显示优先度决定方法、涉及重放和计费的方法。
此外，没有考虑关于在能同时对多个图像、声音进行解码、合成、显示的环境下，根据接收终端的状态和在接收终端的解码、合成、显示的优先度，改变图像压缩方法，以控制编码量的方法。
发明概述
考虑到以往的这种课题，本发明的目的是提供在同时进行多个图像和声音的解码、合成的场合，能根据终端的处理情况控制编码量，并能根据计费状况控制多个图像和声音的解码、合成、显示的图像声音解码装置和图像声音编码装置以及信息传输系统
本发明不仅仅限于2维图像合成。也可以是组合2维图像和3维图像的表现形式，也可以是包含广角视野图像(全景图像)那样地使多个图像邻接并加以合成那样的图像合成方法。
在本发明中作为对象的通信形态，不仅仅是有线双向CATV和B-ISDN。例如从中心一侧终端到家庭一侧终端的图像和声音的传送，可以是电波(例如VHF频段、UHF频段)、卫星广播，从家庭一侧终端到中心一侧终端的信息发送也可以是模拟的电话线路和N-ISDN(图像、声音、数据也不必多重化)。此外，也可以利用IrDA、PHS(personal handy phone)和无线LAN那样的无线的通信形态。
此外，作为对象的终端，也可以象携带信息终端那样中携带型终端，也可以象机顶盒、个人计算机那样是桌面型终端。
权利要求1的本发明的图像编码解码装置，包括：
具有进行图像信息编码的图像编码手段和
发送或者记录已进行所述编码的各种信息的发送管理手段的图像编码装置，
具有接收各种编码信息的接收管理手段，
对所述被接收到的各种信息进行解码的图像解码手段，
对1个以上的所述解码图像进行合成的图像合成手段，和
输出所述合成图像的输出手段的图像解码装置。
权利要求2的本发明的声音编码解码装置，包括：
具有进行声音信息编码的声音编码手段和
发送或者记录已进行所述编码的各种信息的发送管理手段的声音编码装置，
具有接收各种编码信息的接收管理手段，
对所述接收到的各种信息进行解码的声音解码手段，
对1个以上的所述解码声音进行合成的声音合成手段，和
输出所述合成声音的输出手段的声音解码装置。
权利要求16的本发明的实时图像编码装置，包括：
输入图像的1个以上的图像输入手段，
管理所述图像输入手段的控制状态的图像输入管理手段，
管理接收终端的接收状况的其它终端控制要求管理手段，
至少根据所述受管理接收终端的接收状态或者所述图像输入手段的控制状态，决定图像的编码方法的编码处理决定手段，1
按照所述编码处理决定手段决定的结果，对所述输入图像进行编码的图像编码手段，
输出所述编码图像的输出手段。
权利要求18的本发明的信息传输系统，以如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置中的至少任何一种作为接收终端，以如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置以及如权利要求16所述的实时图像编码装置中的至少任何一种作为发送终端，并且这些终端之间用通信线路连接，
借助于至少将与所述接收终端的负载、用所述接收终端的所述优先度决定手段决定的应作为处理对象被编码的信息的优先度有关的信息、在所接收终端的跳帧状况的任何一种，发送到所述发送终端，在所述发送终端中决定图像或者声音的编码有无、编码的优先度、编码方式、应该编码的图像规模、量化级的值、帧数、接收终端超负载时的处理优先度等项中的任何一项。
附图简要说明
图1表示本发明一实施形态的图像编码解码装置的概略结构图。
图2表示同一实施形态的其它例子的图像声音编码解码装置的概略结构图。
图3(a)是说明在通信、记录格式中添加与优先度有关的信息时的例子的图。
图3(b)是说明在通信、记录格式中添加与优先度有关的信息时的例子的图。
图4是说明用软件做成本发明结构时的例子的图。
图5是对信息的结构进行说明的图。
图6是对DEMUX线的操作进行说明的图。
图7是对监视线的操作进行说明的图。
图8是对译码进程的操作进行说明的图。
图9是对图像合成线的操作进行说明的图。
图10是对显示监视线的操作进行说明的图。
图11是对图像合成装置的用户接口进行说明的图。
图12(a)是对进行对应于接收侧终端能力的变动的图像传送的方法进行说明的图。
图12(b)是对进行对应于接收侧终端能力的变动的图像传送的方法进行说明的图。
图13是对本发明的一实施形态的图像压缩装置进行说明的图。
图14是对操作管理单元管理的信息进行说明的图。
图15是对作成广角视野图像的场合的图像压缩装置进行说明的图。
图16是说明发送终端和接收终端的应答状况的图。
标号的说明
11接收管理单元
12分接单元
13发送管理单元
14优先度决定单元
17时间信息管理单元
18图像扩展单元
19图像合成单元
20声音扩展单元
21声音合成单元
31DEMUX线索
36译码进程
37监视线索
39图像合成线索
42显示监视线索
1204操作管理单元
1205图像压缩单元
1208图像处理决定控制手段
1401优先度决定控制手段
1402操作履历管理单元
1404图像合成单元
1407输入单元
实施发明的最佳方式
下面，参照附图对本发明的实施例进行说明。在本发明中使用的“图像”的意思包含静止图像和活动图像两方面。作为对象的图像也可以是计算机制图(CG)那样的2维图像和由轮廓型构成的那种3维图像数据混合的图像。这种场合，图像间的关系与轮廓模型相当。作为用于记述的源程序语言可列举的有JAVA和VRML等。
图1和图2表示本发明一实施形态的图像编码解码装置的概略结构图。图1表示不具有声音的重放功能的场合的结构，图2表示具有图像和声音的重放功能的场合的结构。当然，在仅具有声音的场合，同样也能构成。
图1或者图2的本装置由编码装置和解码装置构成，图1的场合的编码装置的组成部分包括用预先决定的基准决定编码图像超负载时的处理优先度，并使该编码图像和优先度对应的优先度添加单元101，对图像进行编码的图像编码单元102，发送或者记录添加了优先度的编码信息的发送管理单元103，和接收编码信息的接收管理单元104。在图2场合的编码装置中，进一步设置对声音进行编码的声音编码单元105。
另一方面，在解码装置中，接收信息的接收管理单元11和发送信息的发送管理单元13是传送同轴电缆、CATV、LAN、调制解调器等的信息的手段。作为终端的连接形态，可列举的有TV电话和TV会议系统那样在终端间双向发送接收图像信息的形态，和卫星广播与CATV、因特网(Internet)上的广播型(单方向)图像广播的形态。在本发明中，对这种终端的连接形态进行了考虑。
分接单元12是解析并分接编码(压缩)的接收信息的手段(在压缩装置的场合，进行与此相反的操作，为复接单元)。例如，对视频／声音／数据进行复接、分接的规约，在MPEG1和MPEG2、H．320终端(利用N-ISDN的TV电话／会议装置的规约)是H．221，在H．324终端(利用模拟电话线路的TV电话／会议装置的规约)是H．223。本发明可以用以规约为基准的结构实现，也可以用不以规约为基准的结构实现。此外，也可以象H．323和因特网进行的那样，分别用不同的流独立地传送图像和声音。
优先度决定单元14，对从分接单元12得到的信息(例如图像、声音、管理信息)，用以下的方法决定终端超负载的场合的解码(下面，用“扩展”)的优先度、进行图像的扩展和声音的扩展(处理优先度的决定方法，可以预先在接收终端装置决定，也可以作为传送、记录格式，预先在发送侧终端(编码装置)在记录媒体和发送数据分组等添加用下述方法决定的优先度的有关信息。作为与优先度有关的表现方法，可以是优先度“大”、“中”、“小”的非数值化表现也可以是1、2、3的数值化表现)。
使用以多个图像或者声音帧构成的数据流单元进行数据处理用的标识符，在发送侧和接收侧进行数据的发送接收处理，可完成接收侧缓存器的管理和发送侧的数据发送调度。也就是说，能根据需要通知从发送侧送交流的标识符，调查接收侧的接收状况，或对接收端通知不需要的数据流标识符从接收侧请求需要的数据流。
在图像编码装置和声音编码装置中包括用前述的基准决定编码信息超负载时的处理优先度，使编码信息和所决定优先度对应的优先度添加手段，按照所接收的各种信息超负载时的优先度，用决定处理方法的优先度决定手段，决定应该处理的优先度的图像帧和声音，进行解码、合成处理。此外，关于图像帧，需要定期插入进行帧内编码(I帧)的帧，以便能进行跳帧。
作为添加优先度的单元，可以是图像和声音的各帧单元(比较帧之间的优先度)、由多个帧构成的数据流单位(比较数据流之间的优先度)。
作为着眼于图像特征决定优先度的方法，有基于图像的压缩形式(例如，如果是H．263和游程长度编码，则使游程长度编码优先)、图像规模(例如，如果是CIF和QCIF，则使QCIF优先)、对比度(例如，使对比度亮的优先)、图像的合成比(例如，使合成比高的优先)、量化级(例如，使量化级值小的优先)、帧间编码和帧内编码的不同(例如，使帧内编码优先)、显示位置(例如，使显示位置在中央的优先。如果是3维图像，则在配置图像成进深的场合设定优先度低，在眼前显示的场合设定优先度高)、帧号(提高第1帧和最后帧优先度高的场面变换帧的优先度等)和帧数(例如，应该重放的帧数少的图像优先度高。帧号在H．263的场合与临时基准(TR)相当，也可以根据TR值的变化判断)、有声区间和无声区间、显示时刻(PTS)，以及解码时刻(DTS)的方法。
而且，帧间编码的P帧和B帧分配相同的优先度。借助于对帧内编码的图像分配多级优先度，能控制进行跳越的频度。
作为着眼于不同媒体决定优先度的例子，有比图像扩展优先进行声音扩展的方法。由此，能做到进行声音重放，不会中途切断声音。
此外，也可以根据接收侧终端管理的重放许可信息，决定应该扩展的信息(图像、声音)，也可以根据由发送侧作为控制信息送来的重放许可信息，选择应该扩展信息。重放许可信息具体地是与计费有关的信息(例如，如果不进行计费，则不进行扩展、合成、显示的处理。可以在接收终端侧管理与计费相关的信息，也可以在发送侧管理计费信息)、表示服务内容的信息(例如，如果在面向成人的广播中在终端侧不发出重放许可信息，则不进行扩展、合成、显示的处理。可以在接收侧终端管理重放许可，也可以在发送侧终端管理)、口令(例如，如果不在特定的节目中输入口令，则不进行扩展、合成、显示。可以在接收侧终端管理口令，也可以在发送侧终端管理)、使用者代码(例如，如果不是给予许可的使用者，则不进行扩展、合成、显示。可以在接收侧终端管理利用者码，也可以在发送侧终端管理)、国家代码(例如，根据国家变更应该扩展、合成、显示的图像和声音、重放方法。国家代码可以在发送侧进行管理，也可以在接收侧进行管理。借助于用国家码变换重放方法，能实现扰频)。
作为与计费有关信息、表示服务内容信息、口令、使用者代码的图像和声音带重放许可限制的重放方法，有在进行图像的合成、显示时特意使位置和象素偏移，或者使图像放大、缩小，改变图像的采样(例如是否加上低通)，进行象素反转，改变对比度，改变彩色调配，进行跳帧等方法。这些图像的重放方法(图像的扩展、合成、显示)，也可以在每1帧中加以限制。或者，也可以用GOB(Group OfBlock)单元，即比作为一种图像压缩规范的H．263所定义那样的1帧小，且能独立处理的单元，在图像的扩展、合成、显示方法中加以限制，由此，能较历来打乱整个画面的方法进行更加灵活的控制。也就是说，借助于用GOB单元进行处理，能仅在画面的一部分施加扰频，所以能象使用图像合成的软件那样，对交互性软件进行考查。
同样，作为声音的重放方法，有改变声音的大小、改变声音的方向、改变声音的频率、改变声音的采样、插入不同的图像和声音等方法(任何一种方法都有事先在发送侧进行处理的方法和在接收侧进行处理的方法)。
作为图像和声音的重放方法，有使图像和声音不同步的方法。利用表示合成、显示的顺序的信息(在接收侧的终端预先决定显示的顺序，例如使CIF和静止图像优先等，有在发送侧预先添加以在发送信息中显示的顺序作为优先度有关信息的方法)、表示扩展的顺序的信息(在接收侧的终端预先决定显示的顺序，例如使QCIF和帧内编码的图像数据优先等，比BGM优先扩展会话声音等。同样，在发送侧有预先添加在发送信息中显示的顺序的方法)、使用者的指示(例如，根据使用者的指示，选择应该扩展、合成、显示的图像和声音信息，或者基于按照需要选择的信息，决定应该扩展、合成、显示的图像和声音信息)、终端的处理能力(例如，借助于对当前或者过去的一定期间的CPU的处理的占有时间进行计测，抑制要花费处理时间的图像和声音的扩展、合成、显示。作为处理时间的推断方法，借助于进行压缩时使本机解码所需的时间和压缩所需时间都与压缩图像信息对应，以进行管理，能判决扩展、合成、显示的有无优先度)、重放时刻(例如，中止超过重放时刻的图像、声音信息的扩展、合成显示)和解码时刻，也可以决定有无应该扩展的图像和声音及其优先度。
而且，作为用于防止仅优先扩展、显示特定的图像和声音的方法，可根据与进行图像和声音的扩展、合成、显示处理的实施率有关的信息，决定应该扩展、合成、显示的图像的顺序和有无。例如，在接收终端侧预先设定10次扩展中的1次进行CIF图像的扩展，或者考虑在发送侧规定图像和声音的扩展、合成、显示的实施率，并据此发送图像信息和声音信息的方法。具体地说，能用I帧(帧内编码帧)的插入间隔定义实施率。由此不会仅扩展、合成、显示特定的图像和声音对象。
添加与控制合成、显示的优先度有关的信息，不仅可以在发送侧的装置，而且也可以在进行中继的装置进行添加和控制。通过发送管理单元13将与在接收终端的解码装置的优先度决定单元14决定的优先度有关的信息发送到发送目的地，能进行对应于优先度决定单元14的决定状况的图像、声音传送(借助于将难于选择的图像对象的ID送到发送侧，不会作无用的发送)。此外，指示接收终端超负载时的处理优先度的信息，可以在接收侧终端装置决定，可以作为传送格式传送，可以作为用于记录在CD-ROM和硬盘那样的记录媒体上的格式，对MPEG2的传输流进行扩展，也可以用不考虑标准化的传送、记录格式。此外，可以每个媒体(图像、声音、记述图像和声音的关系的信息)作为各自的数据流进行传送、记录，不进行复接。
作为图像解码手段的图像扩展单元18，是进行图像的扩展处理的手段(下面，在编码装置的场合是编码手段)，作为在图像扩展单元18中处理的图像格式，有MPEG1和MPEG2、H．261、H．263等。图像的扩展可以用1帧的单元进行，也可以用H．263规定的GOB单元处理。用1帧的单元处理时，在进行帧间编码的场合，需要预先将前一帧的扩展状态存储在图像扩展单元18中。在进行以GOB单元扩展图像时，图像的扩展的顺序关系不会有问题。因此，在以GOB单元进行扩展处理的场合，接收侧装置中不需有多个图像扩展单元18，能用1个图像扩展单元18进行多个图像的扩展。反之，需要预先存储扩展结果。
作为图2的声音解码手段的声音扩展单元20，是进行声音扩展的手段，作为在声音扩展单元20中处理的声音格式，有G．721和G．723等。作为用于处理的方法有基于DSP和通用CPU的软件处理和基于专用硬件的处理。
在用软件实现的场合分别以1个进程或者线索为单位管理图像和声音的扩展处理，在同时有多个应该扩展的图像和声音的场合，用数量在能够处理的范围内的进程或者线索进行时间分割并处理。
图像扩展管理单元15是管理图像扩展状态的手段。声音扩展管理单元16是管理声音扩展状态的手段。在例如用软件实现这些管理单元的场合，用从分接单元12得到的决定压缩信息的顺序(例如，首先由声音扩展单元20执行，接着用图像扩展单元18执行)，交给图像扩展单元18、声音扩展单元20，对扩展的状态进行监视。如果全部的扩展结束，则将扩展信息交给图像合成单元19或者声音合成单元21。在软件中用公用存储器和信号线，一边限制交给的信息，一边告知扩展处理结束(后面述说详况)。
时间信息管理手段17是管理与时间有关的信息的手段。例如，在用个人计算机实现系统的场合也可以利用个人计算机的定时实现时间信息。
图像合成单元19根据扩展的图像数据进行图像合成。在进行多个图像合成的场合，根据各自的图像的合成比(α值)进行图像合成。例如，合成2个图像时，在前景图像的合成比为α的场合用背景图像的RGB值为1-α、前景图像为α的比例进行混合。此外，借助于对应该扩展的图像用1帧的单元进行处理的管理，在用显示时刻对多个图像进行合成的场合，能简化系统结构和安装。在图像合成单元19或者声音合成单元21，保持、管理、并利用扩展结果，直到发送侧的放弃扩展结果的指示到来为止，用这种方法能不必从发送侧重复发送同一模式的信息。
根据记述图像之间和声音之间的关系的信息，提示没有准备合成图像和声音时需要的解码图像和声音，存在不能合成的图像和声音，从而使用者能知道合成的状态。因此，利用者选择需要的画面质量，或进行预先选择希望合成的图像等的指示，能正确地合成需要的信息。此外，作为将解码图像和声音的数据存储在缓存器中加以管理的方法，考虑按到达顺序从先存入的旧数据开始顺次进行揩除，或者查看记述图像之间、声音之间关系的稿本，观察作为整体的解码图像和声音数据的使用状况，进行揩除的方法。
声音扩展管理单元16管理对至少1个以上的声音进行扩展的声音扩展单元20的扩展状态。
声音合成单元21是以扩展后的信息为基础进行声音合成的手段，合成结果存储单元22是存储图像合成单元19合成的图像和声音合成单元21合成的声音的手段。
重放时刻管理单元23是在应该开始重放的时刻重放合成的图像和声音的手段。
输出单元24是输出合成结果的手段(例如，显示器、打印机等)，输入单元25是输入信息的手段(例如，键盘、鼠标器、摄像机、电视机等)。终端控制单元26是管理这些单元的手段。
图3(a)和图(b)是说明在通信、记录格式中添加与优先度有关的信息时的例子的图。
图3(a)的例子是对全部的媒体(图像、声音、控制信息)都进行复接的例子。作为控制信息，表示用于决定超负载时的处理优先度(本发明中指的优先度)和代表显示顺序的优先度。作为控制信息，也可以记述与图像之间、声音之间、图像与声音的关系(时间的、位置的关系)有关的信息。图3(a)的例子，适用于MPEG1／2的复接、H．223那样的控制信息和数据(图像、声音)混合存在的数据分组的复接。此外，以帧为单位或者以数据流为单位添加超负载时的处理优先度。
图3(b)的例子是每一媒体对信息进行复接的例子。在本例中，分别从各自的通信端口发送控制信息、图像信息、声音信息。与通信之间、声音之间、图像和声音之间的关系有关的信息，也可以作为控制信息从与图像、声音不同的通信端口发送。适用于H．323和因特网那样能同时确立多个通信端口的场合，与图3(a)相比，因能简化复接处理，所以能减轻终端的负载。
作为图像和声音的记述方法，能用JAVA、VRML等记述语言，但也考虑到源程序记述语言的规范不是一成不变的状况。因此，通过设置识别记述图像之间、声音之间关系(例如，位置信息、时间信息(显示时间等))的信息的记述方法用的标识符，能适应多种记述方法。作为添加用于识别信息记述方法的标识符的方法，例如在MPEG2中，可采取的措施是在管理MPEG2-TS(传输流)的程序变换表设置标识符，或者在记述源程序的数据流中设置标识符。与记述图像和声音的对应关系的信息(控制信息)一起添加超负载时的处理优先度。此外，在MPEG2中，如果定义并管理使图像和声音带上对应关系的结构信息流，以便能用赋与MPEG2-TS(传输流)中视频流和音频流关系的程序变换表进行管理，则MPEG2中数据也能独立传送。
图4是说明用软件做成本发明结构时的例子的图。在能多任务操作的操作系统上实现本发明的场合，图1和图2中说明的各处理，分成称为进程、线索的软件执行模块单元，利用公用存储器在各进程，各线索间进行信息的交换，并借助信号线(在图4的例中用实线表示的部分对应于信号线)，进行公用信息的互斥控制。下面，对各进程、线索的功能进行说明。
DEMUX(分接)线索31从网络和磁盘读取复接的信息(图像、声音、控制信息)，并分接成记述与声音、图像、声音和图像的对应关系以及重放时间有关的信息的监视表(后面详述)。DEMUX线31对应于前述的分接单元12。用DEMUX线索31分接的信息分别送出到声音用环形缓存器32、图像用环形缓存器33、监视用环形缓存器34中。在声音信息的场合，送出到环形缓存器32中的信息，用声音解码线索35(对应于前述的声音扩展单元20)扩展。在图像信息的场合，送出到环形缓存器33中的信息，用解码进程36扩展。
关于监视表，则送出到环形缓存器34，并在监视线索37(对应于前述的终端控制单元26、图像扩展管理单元15、声音扩展管理单元16)中利用，以便确定对图像进行扩展的顺序。为了合成图像，图像合成线索39中也用相同的监视表。在监视线索37中用的监视表在全部声音、图像扩展结束的时刻，从环形缓存器34读出下一个表。在解码进程36(对应于前述的图像合成单元18)扩展的图像信息，送出到图像用单缓存器38中。在送出的图像信息排齐的时刻，在图像合成线索39(对应于前述的图像合成单元19)用以监视表管理的图像合成比进行图像合成。将合成结果存储在合成用缓存器41中(对应于前述的合成结果存储单元22)，在显示监视线索42以等待显示的状态待机，直到显示时刻为止(对应于前述的重放时刻管理单元23)。
图5是对图4所用信息的结构进行说明的图。在图5的例中，从磁盘或者网络接收到的是188byte的固定长度信息(B)。在DEMUX线索31分接的声音信息的结构由数据分组同步码、重放时刻、表示应该重放的声音的长度的帧长度、声音数据构成(C)。图像信息的结构由数据分组同步码、用于识别图像的帧号、表示图像信息的规模的帧长度、图像数据构成(D)。本发明不需要用1帧的单元进行处理，可以用象宏字块单元那样小的字块单元进行处理。
监视表的结构由图像的显示时间、1帧应该显示(合成)的图像数、各图像的ID、帧号、进行扩展和显示的优先度、表示帧的类型的标识符(I图像、P图像、B图像)、显示的水平位置、显示的垂直位置、表示合成比层次的各信息构成(E)。此外，也可以使图像合成比和声音合成比相互对应变化。例如，2种图像分别对应于2种声音的场合，在图像合成比为α∶1-α时，对应声音的合成比也可以用α∶1-α对应。不仅可以记述图像信息之间的关系也可以记述声音之间的关系(例如，方向、种类(BGM、会话声音))。
图6是对DEMUX线索的操作进行说明的图。从文件或者网络读入188bit的固定长度的数据(5-1)。分析读入的数据并设置成前述的声音、图像、监视表的结构型(5-2)。如果能写入环形缓存器，则将声音、图像、监视表写入各自的环形缓存器中。取图像对象ID和多个图像扩展手段的对应关系。例如，编号小的对象ID对环形缓存器编号小的公用存储器依次进行写入(5-3)。更新写入的缓存器的写指针(5-4)。如果写入1个监视表份额的图像、声音的信息，则监视线索控制用信号线的计数器进1(5-5)。这样，利用DEMUX进行监视线索的控制。
图7是对监视线索的操作进行说明的图。读出监视表，读指针进1(6-1)。对超负载时对象的优先度进行检查，调查优先度高的图像帧(6-2)。将监视表的内容交给合成侧的线索(6-3)。等待作成来自DEMUX的监视表数据(6-4)。以处理的优先度高的顺序，将进行显示的图像的帧号写入到解码进程中(6-5)。对当前时间和应该显示的时间进行比较，如果不一致则不跳过I帧，仅跳过PB的帧(6-6)。允许执行对应的解码进程(6-7)，并等待到处理结束为止(6-8)。
图8是对译码进程的操作进行说明的图。待机直到从监视线索发出允许执行为止(7-1)。对输入图像的状态进行检查，调查图像的系列号、输入的帧是否应该跳越的图像(7-2)。等待到应该解码的图像数据存入环形缓存器中为止(7-3)。如果没有对应于监视线索所指示图像系列号的图像数据，则跳过解码，读指针进1(7-4)。如果不跳过输入图像，则执行解码处理，读指针进1(7-5)。顺次输出解码的结果(7-6)。将处理结束通知监视线索(7-7)。
在利用同一进程(也可以是线索。在硬件的场合是处理器)，扩展不同种类的图像对象的场合，借助于在解码进程内使过去扩展的图像的帧号和扩展前的图像相互对应进行管理，不必同时生成并利用大量的进程(最少可以是仅与当前的帧有关的信息。在I、P、B那样存在不同类型的帧图像的场合，因管理顺序和应该输出的顺序不同，所以需要解码进程那样的管理)。
图9是对图像合成线索的操作进行说明的图。等待来自监视线索的监视表(8-1)。对处理的图像的优先度进行检查(8-2)。以优先度高的顺序等待解码结果的图像(8-3)。进行与显示位置相符的图像合成(8-4)。将合成结果写入到合成用缓存器中(8-5)。应该进行显示的图像信息的选择能用图像扩展手段或者图像合成手段进行。在跳过不应该显示的图像对象ID的场合，需要向图像合成手段通知不输出扩展结果。关于声音，也能用声音扩展手段或者图像合成手段进行应该重放的声音信息的选择。
图10是对显示监视线索的操作进行说明的图。等待合成图像的写入(9-1)。在最初显示的场合，取得开始显示的时刻(9-2)。管理与应该进行显示的时间的对应关系。如果不到达显示时间，则待机没有到达的时间，并使合成图像的显示延迟(9-3)。
图11是对图像合成装置的用户接口进行说明的图。
在图11的例中，在背景图像上合成前景图像，位于远处的建筑物以0．5的合成比半透明地进行图像合成。如图11所示，使用的图像也可以不是2维图像。在前景作为3维图像的直升机和气球与2维图像的背景合成。此外，前景的直升机和气球不必一定是3维图像。在位置远的场合(可以用在画面上2维显示的大小预先定义，例如，如果比20bit×20bit的规模小，则对象物可以定义为在远处)，用2维表现，在位置近的场合也可以用3维表现。此外，变换成3维图的轮廓模型的图像不仅可以是静止图像，而且可以是活动图像。关于图像质量，中心部分的图像质量高，越向外围部分越粗糙，能优先选择并传送用户所要的必要的信息(这样，按照合成图像的位置，改变图像质量，可望改善响应性)。在3维图像的场合，也可以设定在远方显示的图像的优先度低，在近处显示的图像的优先度高。此外，关于图像质量的控制，能借助于改变量化级实现。
图12(a)和图12(b)是对进行对应于接收侧终端能力的变动的图像传送的方法进行说明的图。接着，对为了防止由于传送的图像增多，接收终端的处理超负载，把压缩装置包含在内进行管理、控制的方法进行叙述。例如，在用硬件实现的MPEG2基准按需影视接收(VOD)系统中，发送侧的终端在发送接收图像信息前相互地确认接收侧的终端的性能(例如，能图像压缩的方式和规模、通信协议)。为此，在发送侧终端因大致确定接收侧终端的处理能力，所以不必逐次监视接收侧终端的接收状态和重放的状态。
另一方面，用硬件实现图像的压缩和扩展时，在终端能进行图像的压缩和扩展的个数是固定的。但是，用软件实现图像的压缩和扩展时，在终端能进行图像的压缩和扩展的个数是能变的。在用软件在多任务环境下进行图像的压缩和扩展的场合，由于图像规模和用于进行图像压缩的量化参数以及作为对象的图像(帧内或者帧间编码、被摄影的图像的内容)等影响大，能在终端处理(压缩、扩展)的图像规模、能同时处理的图像数随时间变化。与此同时，在发送侧终端，逐次对应于接收侧终端的接收状况(例如，接收缓冲器的容量和图像的重放的优先度、接收侧确认的应答时间)的图像压缩方法(图像的压缩方式、有无图像压缩、量化级、压缩的优先度、应该压缩的图像规模等)，如果不研究接收终端超负载时的优先度的决定，则超过接收侧的能力，出现漏损。
例如，如图12(b)所示，在接收侧终端的接收缓存器容量超过80％的场合，向发送侧通知接收缓存器就要溢出，同时适当有选择地组合并实施由图像压缩方式(例如，从MPEG1向游程长度编码变化，减少压缩图像的发送量)、有无图像压缩(暂时中断图像压缩发送)、改变压缩优先度(在应该压缩的进程是多个的场合，降低压缩优先度，减少所压缩的压缩图像的发送量)、改变图像规模(从CIF改为QCIF，使应该压缩的规模减小，从而减少压缩图像的发送量)、改变量化级(借助改变图像质量，减少压缩图像的发送量)限制发送量的方法、调整帧数的方法(减少进行处理的帧数)，和决定接收侧终端超负载时优先度的方法。由此，能避免接收侧终端的接收侧缓存器溢出。
同样，在接收侧的接收缓存器的容量低于20％的场合，向发送侧的终端通知接收侧终端的接收缓存器就要下溢，而且用与前述相反的方法在发送侧的终端适当有选择地组合并实施图像压缩方式、有无图像压缩、图像压缩优先度、图像规模、量化级、帧数。这样。借助于实施使发送量增大的方法，能避免接收侧终端的接收缓存器下溢。
除接收缓存器状态的监视外，也限制在接收侧终端的重放能力，在应该重放的图像为多个的场合，需要在接收侧终端使用者明确地决定应该优先重放的图像，或者在终端侧自动决定应该优先重放的图像(需要作为规则在接收终端由利用者预先登记应该优先重放的图像是哪一个。例如，图像规模小的优先，或者作为背景图像显示的可以拉长重放间隔)。例如，借助于将接收侧终端的负载(例如，重放中所需的CPU的占有时间)通知给发送侧的终端，能简单地实现。
如果接收侧终端重放时的负载超过终端处理能力的80％，则将该接收侧终端超负载通知发送侧，在发送侧接收到后，用与前述相同的方法，借助于适当选择或者组合实施图像压缩方式(例如，从MPEG1向游程长度编码变化，减少处理量)、有无图像压缩(暂时中断图像压缩发送)、改变压缩优先度(对于重要度低的图像，降低压缩优先度，重要度高的图像优先压缩发送)、改变图像规模(从CIF改为QCIF，使应该压缩的规模变化，从而减少重放侧的负载)、改变量化级(借助改变图像质量，减少压缩图像发送量)的方法、调整帧数的方法，和根据超负载时的处理优先度进行处理的方法，使接收侧终端应处理的负载下降，从而减轻接收侧终端的处理量。
反之，在负载低于接收侧终端的处理能力的20％的场合，接收侧终端的处理能力有余裕，用与前述相反的方法，借助于在发送侧的终端适当选择或者组合并实施图像压缩方式、有无图像压缩、图像压缩优先度、图像规模、量化级、帧数，将图像质量高且帧间隔小的图像送往接收侧终端。由此，能进行有效利用接收侧终端的能力的图像传送。
最后，作为了解接收侧处理状况的方法，能由来自接收侧的图像合成装置的接收确认应答时间得知。例如，在从发送侧的终端向接收侧终端送出图像数据的情况下，向发送侧终端应答接收侧终端接收到图像数据、解码处理、合成和显示处理结束的场合，其应答时间例如作为常规值在1秒以内时，由于接收侧负载增大，其应答时间延长为5秒(常规值可以在终端连接时再一次测定，可以在通信时定期地测定，也可以使用者指示。应答时间的测定可以周期地进行，也可以联系终端负载和上一次应答时间的结果，改变测定间隔变化)。利用这种应答时间的变化，适当地选择或者组合并实施前述的图像压缩方式、有无图像压缩、图像压缩优先度、图像规模、量化级，能使接收终端的负载减小，所以能缩短应答时间(参照图16的情况1)。也可以接收在接收终端的重放时刻或者解码时刻进行与前述相同的处理。
此外，作为考虑接收侧终端的状态的方法，不必分别单独地使用测定前述的接收侧终端的接收缓存器的容量、接收侧终端的负载、接收侧终端的应答时间的方法，可以适当地有选择地组合使用(关于声音，同样的方法也能适用)。用通过通信线路将与在接收侧的终端根据优先度的信息处理的图像和声音有关的信息(有多个图像流、声音流时，在接收侧终端实际处理的图像、声音流是什么样的流，重放的图像流是每秒几帧的信息)发送到发送目的地，能预防从发送侧向接收侧终端发送的图像数据量超过接收终端的处理量(参照图16的情况2，知道实际处理的通信数据，能调整发送侧的量化参数、图像规模等信息。此外，在本例中，虽然用帧单元进行处理的反馈，但也可以如前文所述那样，例如如果是H．263则用如GOB那样独立处理的图像单元)。以上的方法对于声音同样地也能适用。
图13是对本发明的一实施形态的图像压缩装置进行说明的图。在本实施形态中，虽然对图像的例子进行了说明，但对于声音的压缩也能适用。图13的例子中，在每一图像输入手段1207都变化量化级，或借助对图像输入手段1207的控制使接收侧终端的接收状况变化的场合，希望跟踪量化级进行变化，减小压缩图像的发生量的增大。图13的图像压缩装置由管理与量化级有关的信息的量化级管理单元1201、管理图像输入手段1207的控制状态的图像输入管理单元1202、监视接收侧终端装置的接收缓存器的状况的其它终端控制请求管理单元1203、记录、管理控制时间的推移的操作管理单元1204、作为进行图像压缩手段的图像压缩单元1205、将压缩结果输出到通信线路和存储装置中的输出单元1206、进行图像输入的图像输入手段1207和管理这些单元并进行管理的控制的图像处理决定控制手段1208构成。
作为图像压缩方法，可以是JPEG、MPEG1／2、H．261、H．263那样的标准化的方法，也可以是WEbLET和FRACTAL那样的非标准化的方法。图像输入装置1207可以是摄像机，也可以是录像机、光盘那样的记录装置。
作为这种图像压缩装置的利用方法，在图像输入手段1207是摄像机的场合，在由接收侧终端操作发送侧终端的摄像机时，或在发送侧进行摄像机操作时，图像质量变化大，所以发送的编码量变动。例如，在摄像机的对比度增加的场合，虽然图像变得容易看见，但应该发送的编码量增加。因此，为了在改善对比度的同时如前所述地减少编码量，借助于适当选择、组合并实施图像压缩方式、有无图像压缩、图像压缩优先度、图像规模、量化级、帧数，能抑制编码量。
这里所述的摄像机的操作，有移动摄像机的方向(全景、倾斜、放大)、对比度、聚焦、摄像机的位置(例如，对画面进行摄影的场合，摄像机向下，在对人物进行摄影时，成为水平)。作为变更图像压缩方式的方法，在摄像机向下的场合，判断为对文件图像进行摄影，用游程长度编码传送图像，在摄像机向着水平方向的场合，作为对人物的面孔的样子进行摄影，有用H．261进行摄影并进行图像传送的方法。由此，能减少不需要的信息的传送。
在有多个摄像机，需要传送从多个摄像机得到的图像的情况下，通信容量受到限制时，可考虑使用者注目的摄像机的图像质量提高，帧数增多并容易看见，不注目的摄像机则图像质量降低，帧数减少的方法。因为对从注目的摄像机得到的图像的图像质量和帧数进行操作，信息量增大，所以需要限制与其对应从不注目的摄像机得到的图像，并对发生信息量进行调整。作为调整发生信息量的方法，有调整图像规模、量化级的值、帧数等方法。此外，关于用多个摄像机作成广角视野图像的场合的例，后面参照图15进行说明。
图14是对操作管理单元1204管理的信息的例子。在图14的例中，对图像规模、摄像机控制、其它终端的控制请求、量化级、未图示的帧数进行管理。基于这些管理信息，将量化级和摄像机操作的关系作为覆历信息记录、管理，使接收侧终端的接收缓存器不溢出，能对使用者施加操作摄像机的限制。用自动改变量化级、图像规模、帧数等，能预防摄像机操作带来的接收侧终端的接收缓存器的溢出和下溢。
图15是将前述图像压缩装置应用于作成广角视野图像的用途的例子。在图15中，用输入单元1047取得从多个摄像机输入的图像。在接收终端1408侧无接缝地接合(合成)其得到的多个图像时，若接收终端1408超负载，则招致终端漏损，为了防止出现这种问题，在图像上添加定义接收终端超负载时应进行处理的图像的顺序的优先度。由此，能防止接收终端1408侧成为超负载。
图15所述的图像压缩装置由包括多个摄像机(N台)的输入单元1407、对用该输入单元1407得到的各个图像添加优先度的优先度决定控制单元1401、管理使用者(特别注目想见的)对摄像机进行指示、操作的操作履历的操作履历管理单元1402、控制图像的图像质量图像质量控制单元1403、根据优先度对从摄像机得到的图像进行合成的图像合成单元1404(优先度低的图像也可以不合成)、输出合成结果的输出单元1405、控制各单元的压缩控制单元1406构成。通过通信线路将输出单元1405连接到接收终端1408中。
输出单元1405的输出目的地，可以是记录装置也可以是通信线路。图像的合成未必在发送侧终端进行。可以通过通信线路向接收侧终端发送添加了优先度的图像，并在接收终端侧进行合成。此外，在发送侧终端合成已得到的多个图像后，在接收侧终端进行重放的场合，在发送侧按接收终端所需显示优先度高的顺序对得到的图像进行合成，并使用传送线路将合成图像传送到接收终端装置中。
作为添加优先度的方法，可以做成让使用者指示的摄像机得到的图像从过去指示多的摄像机得到的图像开始，顺序为高优先度、高图像质量(例如，帧数多、清晰度高)(未必将高优先度的图像做成高图像质量)。由此，用高图像质量优先地显示使用者注目程度高的图像。借助于根据添加在图像上的优先度控制来自发送侧终端的图像传送，同时控制在接收侧终端的图像的扩展和显示，能确保使用者的终端的响应性。
从优先度、图像质量高的图像、帧个数多的图像开始，顺次对邻接图像逐级降低优先度和图像质量(优先度的管理可以在发送侧终端管理，也可以在接收侧终端管理)。作为优先度的管理方法，可以不必基于摄像机的操作履历。如前所述，可以根据压缩时的本机解码的时间，进行优先度的决定，也可以从优先度、图像质量高的图像、帧个数多的图像开始，顺次对外围图像定义规定处理的实施次数的实施率。此外，关于声音也能在多个摄像机的每一个上设置传声器，通过控制有无声音压缩，能仅合成与使用者注目的方向的图像对应的声音。
如前所述，也可以参照发送侧终端和接收侧终端之间的应答时间，决定量化级和帧数。通过通信线路将与基于在接收侧终端超负载时的优先度信息进行处理的图像有关的信息发送到发送目的地，能预防从发送侧到接收侧终端的图像数据发送量超过接收终端的处理量。借助于将在接收终端的跳帧状态传送到发送侧，能根据该状态调节数据量。
图像用进行重发的传送方法进行传送，声音用不进行重发的传送方法进行传送，接收侧终端做成将与图像的重送次数、接收到的声音的出错率、废弃率有关的信息的任何一种信息传送到发送侧终端。这样，在发送侧终端决定图像的压缩方式、量化级的值、帧数、应该压缩的图像规模、有无压缩图像的任何一种，能控制得图像不会失真，声音传送的延迟小。例如，在使用TCP／IP协议的通信中，图像的传送能用TCP、声音的传送能用UDP实现(图像和声音可以是实体上相同的传送线路、也可以是不同的)。此外，通信方式也不限于TCP／IP。这种方式也可以在同时传送多个通信和声音的场合，定义每种声音各自的废弃率和出错率，控制多个通信的压缩方法和传送方法。
最后，在通常使用模拟电话线路的低比特率图像传送和图像内容变动大的场合，也有可能在图像上发生大的块状噪声和波纹。在这种场合，仅用压缩处理难于保持图像的品质。由此，如果在图像输出侧的监视器上使用仅使低通的信号透过的滤波器(例如，基于图像处理的低通滤波器或者物理偏振光滤波器)，虽然图像有模糊的感觉，但能得到没有噪声和波纹感觉的图像。
由前述可知，本发明有能在同时进行多个图像和声音的解码、合成的场合，根据终端的负载状态，按照优先度控制处理量的优点。
此外，本发明有能根据计费状况合成多个图像和声音的优点。
权利要求书
按照条约第19条的修改的任何一种，发送到所述发送终端，在所述发送终端中决定图像或者声音的编码有无、编码的优先度、编码方式、应该编码的图像规模、量化级的值、帧数、接收终端超负载时的处理优先度中的任何一项。
19．一种信息传输系统，其特征在于，以如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置中的至少任何一种作为接收终端，以如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置以及如权利要求16所述的实时图像编码装置中的至少任何一种作为发送终端，并且这些终端之间用通信线路连接，
借助于用进行重发的传送方式进行图像的传送，用不进行重发的传送方式进行声音的传送，并至少将与图像的重送次数、接收信息差错率、废弃率有关的任何一种信息传送到所述发送终端中，所述编码处理决定手段决定编码方式、量化级的值、帧数、应该量化的图像规模、编码的有无和接收终端超负载时的处理优先度中的至少任何一项。
20．(增加)一种图像编码装置，其特征在于，包括进行图像信息编码的图像编码手段、发送或者记录已进行所述编码的各种信息的发送管理手段，
将已进行所述编码的各种信息输出到具有接收各种编码信息的接收管理手段、进行所述各种接收信息的解码的图像解码手段、输出所述解码图像的输出手段的图像解码装置中。
21．(增加)一种图像解码装置，其特征在于，包括
接收从具有进行图像信息编码的图像编码手段、发送或者记录已进行所述编码的各种信息的发送管理手段的图像编码装置送来的各种编码信息的接收管理手段，
进行所述各种接收信息的解码的图像解码手段，
输出所述解码图像的输出手段。
22．(增加)一种声音编码装置，其特征在于，包括进行声音信息编码的声音编码手段、发送或者记录已进行所述编码的各种信息的发送管理手段，
将所述各种编码信息输出到具有接收各种编码信息的接收管理手段、进行所述各种接收信息的解码的声音解码手段、输出所述解码声音的输出手段的声音解码装置中。
23．(增加)一种声音解码装置，其特征在于，包括
接收从具有进行声音信息编码的声音编码手段、发送或者记录已进行所述编码的各种信息的发送管理手段的声音编码装置送来的各种编码信息的接收管理手段，
进行所述各种接收信息的解码的声音解码手段，
输出所述解码声音的输出手段。

Claims (19)

1．一种图像编码解码装置，其特征在于，包括：
具有进行图像信息编码的图像编码手段和
发送或者记录已进行所述编码的各种信息的发送管理手段的图像编码装置，
具有接收各种编码信息的接收管理手段，
对所述接收到的各种信息进行解码的图像解码手段，
对1个以上的所述解码图像进行合成的图像合成手段，和
输出所述合成图像的输出手段的图像解码装置。
2．一种声音编码解码装置，其特征在于，包括：
具有进行声音信息编码的声音编码手段和
发送或者记录已进行所述编码的各种信息的发送管理手段的声音编码装置，
具有接收各种编码信息的接收管理手段，
对所述接收到的各种信息进行解码的声音解码手段，
对1个以上的所述解码声音进行合成的声音合成手段，和
输出所述合成声音的输出手段的声音解码装置。
3．一种图像声音编码解码装置，其特征在于，包括如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置，
所述图像编码装置和／或所述声音编码装置，具有用预先决定的基准决定编码信息超负载时的处理优先度，并使所述编码信息和所述被决定优先度相对应的优先度添加手段，
所述图像解码装置和／或所述声音解码装置，具有按照接收到的各种信息在超负载时的优先度，决定处理方法的优先度决定手段。
4．如权利要求3所述的图像声音编码解码装置，其特征在于，
至少根据图像编码方式、图像规模、对比度、图像合成比、量化级、帧号、帧数、帧间编码和帧内编码的不同、显示位置、显示时刻、有音区间和无音区间的不同中的1个以上的信息，所述优先度添加手段和所述优先度决定手段，决定编码图像和声音的解码、合成、显示的顺序、决定有无的处理方法的优先度添加方法，或决定应处理对象的优先度。
5．如权利要求3所述的图像声音编码解码装置，其特征在于，
根据图像编码时解码所需要的时间和编码所需要的时间，所述优先度添加手段和所述优先度决定手段，决定添加在编码信息中的优先度，或在解码时决定应处理对象的优先度。
6．如权利要求3所述的图像声音编码解码装置，其特征在于，
所述优先度添加手段和所述优先度决定手段，对规定进行图像的解码、合成、显示处理的执行次数的实施率进行定义，并根据该定义，决定添加在编码信息中的优先度，或在解码时决定应处理对象的优先度。
7．如权利要求4所述的图像声音编码解码装置，其特征在于，至少将帧内编码的帧、或者第1帧或者最后帧、或者场面变换帧在超负载的处理优先度设定得较高。
8．如权利要求4所述的图像声音编码解码装置，其特征在于，帧间编码图像分配相同的优先度。
9．如权利要求4所述的图像声音编码解码装置，其特征在于，帧内编码图像中分配多个层次的优先度。
10．如权利要求1所述的图像编码解码装置，其特征在于，所述图像解码手段用比1帧小的规定单元进行图像解码处理。
11．一种图像声音编码解码装置，其特征在于，包括如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置，
至少根据与计费有关的信息、指示服务内容的信息、口令、使用者代码、国家代码、表示合成、显示顺序的信息、表示解码顺序的信息、使用者的指示、终端的处理能力、重放时刻中的1个以上的信息，决定应该解码、合成、显示的图像和声音的顺序、有无、重放方法。
12．一种图像声音编码解码装置，其特征在于，包括如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置，
所述接收管理手段将记述所述各种信息中的图像信息之间、声音信息之间的关系的信息作为与所述图像信息和声音信息不同的信息，独立进行处理。
13．如权利要求12所述的图像编码解码装置，其特征在于，根据识别用于记述所述图像信息之间、所述声音信息之间的关系的记述方法用的标识符，识别记述方法。
14．一种图像声音编码解码装置，其特征在于，包括如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置，
所述图像合成手段或者所述声音合成手段，保持解码结果并进行管理、利用，直到从发送侧放弃解码结果的指示到来为止。
15．一种图像声音编码解码装置，其特征在于，包括如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置，
根据记述图像信息之间和声音信息之间关系的信息，在合成图像和声音时向使用者提示没有准备图像和声音合成时需要的解码图像和声音，存在不能合成的图像和声音。
16．一种实时图像编码装置，其特征在于，包括：
输入图像的1个以上的图像输入手段，
管理所述图像输入手段的控制状态的图像输入管理手段，
管理接收终端的接收状况的其它终端控制要求管理手段，
至少对应于所述受管理的接收终端的接收状态或者所述图像输入手段的控制状态，决定图像的编码方法的编码处理决定手段，
按照所述编码处理决定手段决定的结果，对所述输入图像进行编码的图像编码手段，
输出所述编码图像的输出手段。
17．如权利要求16所述的实时图像编码装置，其特征在于，
所述编码处理决定手段，根据所述图像输入手段的控制状态，至少决定进行编码的优先度、超负载时的处理优先度信息、编码方式、量化级的值、帧数、应该编码的图像规模、编码的有无中的任何一项。
18．一种信息传输系统，其特征在于，以如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置中的至少任何一种作为接收终端，以如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置以及如权利要求16所述的实时图像编码装置中的至少任何一种作为发送终端，并且这些终端之间用通信线路连接，
借助于至少将与所述接收终端的负载、用所述接收终端的所述优先度决定手段决定的应处理对象编码的信息的优先度有关的信息、在所接收终端的跳帧状况的任何一种，发送到所述发送终端，在所述发送终端中决定图像或者声音的编码有无、编码的优先度、编码方式、应该编码的图像规模、量化级的值、帧数、接收终端超负载时的处理优先度中的任何一项。
19．一种信息传输系统，其特征在于，以如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置中的至少任何一种作为接收终端，以如权利要求1所述的图像编码解码装置和如权利要求2所述的声音编码解码装置以及如权利要求16所述的实时图像编码装置中的至少任何一种作为发送终端，并且这些终端之间用通信线路连接，
借助于用进行重发的传送方式进行图像的传送，用不进行重发的传送方式进行声音的传送，并至少将与图像的重送次数、接收信息差错率、废弃率有关的任何一种信息传送到所述发送终端中，所述编码处理决定手段决定编码方式、量化级的值、帧数、应该量化的图像规模、编码的有无和接收终端超负载时的处理优先度中的至少任何一项。
CNB971913471A 1996-08-07 1997-08-01 图像声音解码装置和图像声音编码装置以及方法 Expired - Fee Related CN1151683C (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP208147/1996 1996-08-07
JP208147/96 1996-08-07
JP20814796 1996-08-07
JP20994296 1996-08-08
JP209942/1996 1996-08-08
JP209942/96 1996-08-08
JP30155996 1996-11-13
JP301559/1996 1996-11-13
JP301559/96 1996-11-13

Publications (2)

Publication Number Publication Date
CN1205154A true CN1205154A (zh) 1999-01-13
CN1151683C CN1151683C (zh) 2004-05-26

Family

ID=27328846

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB971913471A Expired - Fee Related CN1151683C (zh) 1996-08-07 1997-08-01 图像声音解码装置和图像声音编码装置以及方法

Country Status (8)

Country Link
US (1) US7006575B2 (zh)
EP (1) EP0854652B1 (zh)
JP (1) JP4153995B2 (zh)
KR (2) KR100465553B1 (zh)
CN (1) CN1151683C (zh)
DE (1) DE69740053D1 (zh)
TW (1) TW357299B (zh)
WO (1) WO1998006222A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273536B (zh) * 2005-11-02 2011-02-16 三菱电机株式会社 数字播放接收机
CN102138336A (zh) * 2008-08-28 2011-07-27 住友电气工业株式会社 动态图像数据的分配方法
CN104681033A (zh) * 2013-12-02 2015-06-03 联想(北京)有限公司 一种信息编码、解码方法及电子设备

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002142165A (ja) * 2000-11-01 2002-05-17 Asobous:Kk デジタルｔｖ送受信システムにおける映像のプレイバック方式
EP1213912A3 (en) * 2000-12-07 2005-02-02 Sony United Kingdom Limited Methods and apparatus for embedding data and for detecting and recovering embedded data
DE10291291D2 (de) * 2001-03-27 2004-04-15 Voxar Ag Verfahren und Vorrichtung zur Übertragung von Video- und/oder Audiodaten
JP2003032639A (ja) * 2001-05-09 2003-01-31 Monolith Co Ltd 画像処理方法と装置およびそれらに利用可能なコンテンツ記録方法
JP2002359842A (ja) * 2001-05-31 2002-12-13 Monolith Co Ltd 画像符号化方法と装置および画像復号方法と装置
US20020194606A1 (en) * 2001-06-14 2002-12-19 Michael Tucker System and method of communication between videoconferencing systems and computer systems
ITMI20011309A1 (it) * 2001-06-21 2002-12-21 St Microelectronics Srl Metodo di memorizzazione di un file dati in particolare in formato cosiddetto mpeg
CN1605200A (zh) * 2001-11-05 2005-04-06 松下电器产业株式会社 在视频传输系统中使用的终端
FR2832887B1 (fr) * 2001-11-28 2005-09-16 Medialive Methode pour acceder aux courriers electroniques video et multimedia
US7436885B2 (en) * 2002-10-09 2008-10-14 Hewlett-Packard Development Company, L.P. Method for presenting streaming media
FI116113B (fi) * 2002-11-29 2005-09-15 Jutel Oy Menetelmä ja järjestelmä radio-ohjelman lähettämiseksi
KR100503452B1 (ko) * 2002-12-27 2005-07-25 삼성전자주식회사 멀티미디어 데이터 기록장치
JP2004215021A (ja) * 2003-01-06 2004-07-29 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラム及び記録媒体
NO319069B1 (no) * 2004-03-05 2005-06-13 Tandberg Telecom As Fremgangsmate for avbruddsfri konferansesamtale
WO2005096162A1 (ja) * 2004-03-18 2005-10-13 Matsushita Electric Industrial Co., Ltd. アービトレーション方法及び装置
JP2007133489A (ja) * 2005-11-08 2007-05-31 Sony Corp 仮想空間画像表示方法、装置、仮想空間画像表示プログラム及び記録媒体
JP5030495B2 (ja) * 2006-07-14 2012-09-19 ソニー株式会社 再生装置、再生方法、プログラム、および記録媒体
JP2008040347A (ja) * 2006-08-09 2008-02-21 Toshiba Corp 画像表示装置、画像表示方法および画像表示プログラム
US7456760B2 (en) 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
KR100827802B1 (ko) 2006-10-24 2008-05-07 삼성전자주식회사 휴대 단말기의 화상 통화 장치 및 화상 통화 송수신방법
JP2009044328A (ja) 2007-08-07 2009-02-26 Seiko Epson Corp 会議システム、サーバ、画像表示方法、コンピュータプログラム及び記録媒体
US8117546B2 (en) * 2007-08-26 2012-02-14 Cyberlink Corp. Method and related display device for displaying pictures in digital picture slide show
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
JP5784353B2 (ja) * 2011-04-25 2015-09-24 オリンパス株式会社 画像表示装置
WO2020095728A1 (ja) * 2018-11-06 2020-05-14 ソニー株式会社 情報処理装置及び情報処理方法
JP7381285B2 (ja) 2019-10-15 2023-11-15 ファナック株式会社 補助電源装置及び産業機械
JPWO2023276279A1 (zh) 2021-07-02 2023-01-05

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE22767T1 (de) * 1982-07-23 1986-10-15 British Telecomm Uebertragung von daten.
JPS621384A (ja) 1985-06-27 1987-01-07 Toshiba Corp 画像情報処理方式
JPS62231379A (ja) 1986-03-31 1987-10-09 Namuko:Kk 画像合成装置
JPH02195787A (ja) 1989-01-24 1990-08-02 A T R Tsushin Syst Kenkyusho:Kk 映像通信装置
JPH043684A (ja) 1990-04-20 1992-01-08 Matsushita Electric Ind Co Ltd 可変レート動画像符号化装置
JPH04145786A (ja) 1990-10-08 1992-05-19 Nec Corp 映像音声伝送装置
US5212742A (en) * 1991-05-24 1993-05-18 Apple Computer, Inc. Method and apparatus for encoding/decoding image data
JP2515643B2 (ja) 1991-08-15 1996-07-10 新日本製鐵株式会社 帯状体の蛇行挙動解析方法
JP3133113B2 (ja) 1991-10-28 2001-02-05 株式会社日立製作所 圧縮動画データ伸長再生システム
FR2684829A1 (fr) * 1991-12-04 1993-06-11 Philips Electronique Lab Methodes de synthese de signaux de texture et de transmission et/ou stockage de tels signaux, ainsi que dispositifs et systemes pour leur mise en óoeuvre.
DE69228983T2 (de) * 1991-12-18 1999-10-28 Koninkl Philips Electronics Nv System zum Übertragen und/oder Speichern von Signalen von texturierten Bildern
US5325126A (en) * 1992-04-01 1994-06-28 Intel Corporation Method and apparatus for real time compression and decompression of a digital motion video signal
JPH06105226A (ja) 1992-09-17 1994-04-15 Nec Corp 画像合成装置
JPH06153198A (ja) 1992-11-12 1994-05-31 Matsushita Electric Ind Co Ltd 映像配信方法および映像配信装置
JP3261844B2 (ja) * 1993-01-13 2002-03-04 株式会社日立製作所 デジタルビデオ記録装置及び記録方法
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
JP2606074B2 (ja) 1993-06-15 1997-04-30 日本電気株式会社 画像暗号化伝送方式
DE69422678T2 (de) * 1993-10-12 2001-02-22 Matsushita Electric Ind Co Ltd Verschlüsselungssystem, Verschlüsselungsgerät und Entschlüsselungsgerät
JPH07336666A (ja) 1994-06-08 1995-12-22 Matsushita Electric Ind Co Ltd 信号処理装置
JPH07111647A (ja) 1993-10-14 1995-04-25 Matsushita Electric Ind Co Ltd 信号処理装置
US5416520A (en) * 1993-11-30 1995-05-16 Intel Corporation Multiple encoder output buffer apparatus for differential coding of video information
JPH07261776A (ja) 1994-03-24 1995-10-13 Brother Ind Ltd 映像再生装置
JPH07298258A (ja) * 1994-04-28 1995-11-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化復号化方法
US5510844A (en) * 1994-11-18 1996-04-23 At&T Corp. Video bitstream regeneration using previously agreed to high priority segments
JPH08154219A (ja) 1994-11-29 1996-06-11 Matsushita Electric Ind Co Ltd テレビジョン装置
JPH08172616A (ja) 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd スクランブル伝送方法およびスクランブル装置およびスクランブル信号再生方法およびデスクランブル装置およびスクランブル信号再生装置
JP2865016B2 (ja) 1995-04-14 1999-03-08 日本電気株式会社 画像再生装置
JP3283159B2 (ja) 1995-07-07 2002-05-20 日本電信電話株式会社 ソフトウェアによる画像符号化方法
US6002667A (en) * 1995-07-19 1999-12-14 Fujitsu Network Communications, Inc. Minimum guaranteed cell rate method and apparatus
US6266327B1 (en) * 1998-03-20 2001-07-24 Lucent Technologies Inc. Non-conformance indicator for the guaranteed frame rate service

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273536B (zh) * 2005-11-02 2011-02-16 三菱电机株式会社 数字播放接收机
CN102138336A (zh) * 2008-08-28 2011-07-27 住友电气工业株式会社 动态图像数据的分配方法
CN102138336B (zh) * 2008-08-28 2014-07-16 住友电气工业株式会社 动态图像数据的分配方法
CN104681033A (zh) * 2013-12-02 2015-06-03 联想(北京)有限公司 一种信息编码、解码方法及电子设备

Also Published As

Publication number Publication date
US7006575B2 (en) 2006-02-28
EP0854652B1 (en) 2010-11-17
CN1151683C (zh) 2004-05-26
KR100465553B1 (ko) 2005-06-21
US20020154699A1 (en) 2002-10-24
WO1998006222A1 (en) 1998-02-12
TW357299B (en) 1999-05-01
EP0854652A1 (en) 1998-07-22
KR19990064087A (ko) 1999-07-26
JP4153995B2 (ja) 2008-09-24
KR20040036936A (ko) 2004-05-03
EP0854652A4 (en) 2008-11-26
DE69740053D1 (de) 2010-12-30
KR100471176B1 (ko) 2005-03-14

Similar Documents

Publication Publication Date Title
CN1151683C (zh) 图像声音解码装置和图像声音编码装置以及方法
CN1198454C (zh) 信息处理方法及设备、内容分配服务器及其方法
CN1203676C (zh) 能够进行简易的多窗口显示的活动图象解码装置以及活动图象解码方法
CN100340098C (zh) 家庭网络服务器及系统、数字广播发送方法和无线终端
CN1242620C (zh) 用于数字视频记录的基于代码转换器的自适应量化
CN1189024C (zh) 信息处理设备
CN1315118A (zh) 压缩与未经压缩的数字视频信号的统计式多路转接的动态位分配
CN1076932C (zh) 图像信号编码和解码的方法与装置
CN1476248A (zh) 压缩图像数据从发送端传输到接收端的视频数据收发系统
CN1574972A (zh) 用于数字视频流的快速启动
CN1299502C (zh) 解码设备和解码方法
CN1917622A (zh) 一种广播级宽带视频会议的声像传输系统及方法
CN101076122A (zh) 通信装置和方法、通信发送接收装置和方法
CN1781315A (zh) 用于编码图像序列的方法
CN1736107A (zh) 视频发送系统、视频发送装置、视频接收装置和视频发送方法
CN1830164A (zh) 面向携带终端的传输方法以及装置
CN1758755A (zh) 收发机系统、发送机和接收机以及信息处理方法
CN1714554A (zh) 视听媒体编码系统
CN1435988A (zh) 移动图像数据发送方法、装置和系统
CN1219075A (zh) 信息处理设备、信息处理方法和传输媒体
CN1393104A (zh) 信号发送装置和信号接收装置
CN1555620A (zh) 流解码装置
CN1214640C (zh) 广播设备和广播方法
CN1263290C (zh) 图像处理装置和方法
CN1173563C (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040526

Termination date: 20130801