CN103260027A - 用于展示图像数据的视频系统、方法和计算机程序 - Google Patents

用于展示图像数据的视频系统、方法和计算机程序 Download PDF

Info

Publication number
CN103260027A
CN103260027A CN2013100506894A CN201310050689A CN103260027A CN 103260027 A CN103260027 A CN 103260027A CN 2013100506894 A CN2013100506894 A CN 2013100506894A CN 201310050689 A CN201310050689 A CN 201310050689A CN 103260027 A CN103260027 A CN 103260027A
Authority
CN
China
Prior art keywords
data
image
client
encoder apparatus
operation type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100506894A
Other languages
English (en)
Other versions
CN103260027B (zh
Inventor
J·格莱姆布勒
T·胡贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN103260027A publication Critical patent/CN103260027A/zh
Application granted granted Critical
Publication of CN103260027B publication Critical patent/CN103260027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127Prioritisation of hardware or computational resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Computer And Data Communications (AREA)

Abstract

通常将图像数据——例如视频序列存储在服务器上以及根据需要借助与服务器连接的客户端通过网络加载并且在客户端上显示图像数据。为此公开了一种用于展示图像数据的视频系统,其具有服务器和客户端,其中服务器具有编码器装置,其能够在作为有效运行类型的多个运行类型中运行,其中编码器装置构造用于根据有效运行类型来编码视频数据以及用于输出经编码的传输数据,其中客户端与服务器通过网络可连接,其中客户端构造用于在会话中请求、进一步处理和显示编码器装置的所述经编码的传输数据,其中编码器装置除运行类型——播放以外能够在作为有效运行类型的运行类型——停止、静止图像、快进和/或快退中运行,其中客户端确定编码器装置的有效运行类型。

Description

用于展示图像数据的视频系统、方法和计算机程序
技术领域
本发明涉及一种用于展示(Darstellung)图像数据的视频系统,其具有服务器和客户端,其中服务器具有编码器装置,所述编码器装置可在作为有效运行类型的多个运行类型中运行,其中编码器装置构造用于根据有效运行类型来编码视频数据以及用于输出经编码的传输数据,其中客户端与服务器通过网络可连接,其中客户端构造用于在会话(Sitzung)中请求、进一步处理和显示编码器装置的经编码的传输数据。本发明还涉及一种用于展示图像数据的方法、一种计算机程序以及一种编码器装置。
背景技术
目前普遍将图像数据——例如视频序列存储在服务器上并且按需要借助于与服务器连接的客户端通过网络加载并且在客户端上显示所述图像数据。
因为应灵活地调用图像数据,所以必须保证即使在具有不同数据传输速率的网络连接中也能够始终以与数据传输速率相应的良好质量进行图像数据的调用。数据传输速率例如从ISDN连接时的144kbit/s延伸至1000Mbit以太网网络时的1000Mbit/s。为了尤其在带宽有限的网络连接中无等待时间且无抖动(ruckelfrei)地传输图像数据,通常以不同方式压缩图像数据,其中不同压缩方式的不同在于用于传输经压缩的图像数据的必要比特率。如果现在客户端通过具有较小数据传输速率的网络连接与服务器连接,则向所述客户端提供具有较小比特率的经压缩的图像数据。如果网络连接的数据传输速率相反较高,则客户端以相应更高的比特率并且由此以更高的图像质量获得经压缩的图像数据。
例如在文献US2011/0225315A1中描述了这种用于传输图像数据的方法,其可能构成最接近的现有技术。在所述文献中描述了一种服务器/客户端系统,其中服务器向客户端供给图像数据流。图像数据在服务器中以不同版本存储,其中这些版本的不同在于其比特率和(因此)质量。在图像数据传输时,观察服务器中的传输缓冲器,其中根据传输缓冲器的填充状态来维持图像数据的当前版本或者选择具有更高或更低比特率的图像数据版本。
发明内容
本发明涉及具有权利要求1的特征的视频系统、具有权利要求10的特征的方法、具有权利要求12的特征的计算机程序以及根据权利要求13的编码器装置。本发明的优选实施方式或有利实施方式由从属权利要求、以下说明以及附图得出。
根据本发明的视频系统适于和/或构造用于展示图像数据。图像数据尤其构造为图像数据流,特别地构造为视频序列。视频频率尤其理解为在时间上等距地布置和/或示出图像场景的时间变化过程的单个图像的相互连接。
视频系统包括服务器,其中所述服务器具有编码器装置,所述编码器装置可在作为有效运行类型的多个运行类型中运行。服务器可以例如涉及单个计算机、虚拟服务器或作为服务器的逻辑单元。
编码器装置构造用于根据有效运行类型来编码视频数据以及用于输出经编码的传输数据。视频数据在编码之前尤其优选作为原数据存在,即在时间上如此彼此相继地安排从而得到图像数据流的单个图像。经编码的传输数据涉及经压缩的视频数据。视频数据压缩的示例由MPEG-2、MPEG-4标准给出。尤其根据标准H.264进行编码。
视频系统包括客户端,其中所述客户端可以例如构造为另一个计算机,替代地或补充地也可以构造为手机、智能电话、PDA等。客户端与服务器通过网络、例如以太网或互联网无线地或有线地可连接、尤其是连接。客户端和服务器可以通过网络双向地交换数据。客户端构造用于在一个会话中、尤其在一个会话期间请求、进一步处理以及随后例如在屏幕上显示编码器装置的经编码的传输数据。进一步处理尤其涉及经编码的传输数据转换成可借助于客户端展示的图像数据。会话尤其可以定义为客户端使用服务器的持续时间。
尤其通过视频系统实现连续播送(streaming),其中图像数据作为经编码的传输数据由客户端接收并且同时播放。所传输的图像数据也称作直播流或者流。经编码的传输数据优选相应于MPEG-4_AVC-BP标准,也称为基线规格(Baseline-Profil)。
在本发明的范围中提出:编码器装置除运行类型——播放以外也可在作为有效运行类型的运行类型——停止、静止图像(Standbild)、快进和/或快退中运行,其中客户端确定编码器装置的有效运行类型。所述运行类型例如由客户端的使用者向客户端请求为有效运行类型。客户端将有效运行类型传递给编码器装置,所述编码器装置根据请求转换其运行类型并且根据有效运行类型编码和输出经编码的传输数据。视频系统尤其构造成客户端可以调节或选择编码器装置的有效运行类型。为了进一步处理经编码的传输数据,客户端具有解码器装置,所述解码器装置尤其优选根据MPEG-4_AVC-BP标准(也称作基线规格)工作。经编码的传输数据尤其可以与所选择的运行类型无关地由客户端作为流来处理,其在基线规格的范畴内是可解码的。
本发明的优点在于:编码器装置仅仅必须编码以下视频数据并且网络仅仅必须传递以下经编码的传输数据:其由客户端的使用者当前请求。因此,可以在作为有效运行类型的运行类型——停止时立即调节其他图像数据的编码以及传输,因此减轻服务器和网络的负载。在作为有效运行类型的运行类型——快进和快退时,可以由编码器装置编码图像数据的在时间上抓取的版本,其中图像数据的在时间上抓取的版本具有比相同图像数据的在时间上非抓取的版本更少的图像,从而在所述运行类型中也减轻服务器和网络的负载。本发明的另一优点是向客户端的请求非常小。因此,与所选择的运行类型无关地以及尤其在运行类型——静止图像、快进和/或快退中向客户端供给流。
在本发明的一个优选实施方式中,编码器装置在会话期间唯一地分配给客户端。通过唯一(exklusiv)的分配,在客户端和编码器装置之间形成1:1关联,从而编码器装置可以唯一地接受客户端的请求。所述实施方式的优点尤其在于:通过唯一的分配和编码器装置的运行类型的确定可能性向客户端的使用者提供用于控制经编码的传输数据的生成和传输的最大灵活性和互动性。因此,使用者自由地在任意时刻干预经编码的传输数据的传输以及将编码器装置置于另一运行类型中。使用者尤其可以通过客户端上的命令输入随时选择自由地跳到图像数据的任意位置并且从那里出发启动编码器装置的任意运行类型。
编码器装置可以是服务器的硬件组件,编码器装置优选构造为编码器实体,即构造为软件组件。例如,在多个客户端时,对于每个客户端在服务器上启动自己的编码器实体。编码器实体中的每一个尤其唯一地分配给恰好一个客户端。
在本发明的一个有利实施方式中,编码器装置构造用于实时地编码视频数据。在此,实时通过客户端的请求定义,从而在运行类型——播放中以例如小于两秒、尤其小于一秒的时间延迟编码视频数据。在运行类型——快进或快退中,在通过客户端请求之后以小于2秒、尤其小于1秒的延迟编码经编码的传输数据。实时处理是有利的,因为在转换运行类型时编码器装置可以快速对此作出反应并且使用者可以无延迟地或者少延迟地控制图像数据的播放。经编码的传输数据尤其由编码器装置即时地(on-the-fly)地生成并且可以在此适应于当前的运行类型。
尤其优选设置的是,视频系统具有用于确定或估计网络、尤其是服务器和客户端之间的网络连接的可供使用的或可使用的数据传输速率的装置。所述装置例如可以根据服务器至网络的输出缓冲器的填充状态来估计可供使用的或可使用的数据传输速率。所述装置可以例如如同在开头引用的US2011/0225315A1中那样构造。视频系统和尤其服务器以及特别编码器装置构造用于根据所使用的网络连接的可供使用的或可使用的数据传输速率来选择用于视频数据的压缩,所述压缩导致经编码的传输数据,其数据传输速率(也称作比特率)小于网络连接的可供使用的数据传输速率,以便能够实现图像数据在客户端上无等待时间且无抖动地展示。替代地可以通过客户端确定经编码的传输数据的数据传输速率。
通过编码器装置唯一地分配给客户端特别节省存储器地实现经编码的传输数据的所描述的自动的或手动的、灵活的匹配或者改变,因为编码器装置在经编码的传输数据的所期望的数据传输速率的变换时调整编码。尤其立即、无延迟地和/或实时地进行编码的调整。取代所述操作方式,否则必须如由现有技术已知的那样以更多的质量等级来压缩图像数据,以便根据需要选择和使用经编码的传输数据,其具有所期望的数据传输速率。所述已知的操作方式会具有以下缺点:可能从不被调用的图像数据必须在多个拷贝中被压缩成经编码的传输数据并且以不同的质量等级预先存储。
优选的是,在运行类型——快进和/或快退中,仅仅将图像数据、尤其是输出数据的图像的一个选择作为选择图像由编码器装置作为经编码的传输数据经编码地输出。尤其在图像数据中在选择图像之间存在一些中间图像,这些中间图像在所述运行类型中不被传输。如果一个视频序列例如具有超过每秒50个图像,则在运行类型——快进或者快退中仅仅编码图像数据的每第二个、每第三个、每第四个等的图像以及将其作为经编码的传输数据通过网络传输给客户端。所述构型具有以下优点:在快进或快退中不完全传输图像数据,并且客户端不基于完全的图像数据在客户端侧激活快进或快退,而是已经由编码器装置在服务器侧准备所述的运行类型。
在本发明的一个改进方案中,视频系统如此构造,使得在运行类型——静止图像中以相对于之前传输的、同样的当前图像提高的质量来编码视频数据的当前图像并且将其传输给客户端。一旦使用者在客户端处选择运行类型——静止图像,则考虑:使用者希望更详细地观察当前图像。在运行类型——静止图像中,在服务器处再编码当前图像,并且将当前图像的其他传输数据传输给客户端,从而改善客户端处当前图像的图像质量。可选补充地可以设置:在再编码时改变当前图像的分辨率并且以更高的分辨率编码当前图像并且将其传输给客户端。在运行类型——静止图像时,使用网络连接的可供使用的数据传输率,以便改进客户端上的展示中的当前图像。
在本发明的一个可能的具体构型中,编码器装置构造为转换编码器装置,其中服务器具有存储装置、尤其是数据库,在其中存放了经编码的输出数据。因此设置,为了存储首先将图像数据编码成经编码的输出数据,以便使服务器的存储装置中的存储需要较低。优选以图像数据的最小质量损失或无质量损失地进行所述第一编码。尤其根据标准MPEG-4和/或H.264进行所述编码。
转换编码器装置构造用于根据有效运行类型在解码器模块中将数据库中的经编码的输出数据解码成视频数据以及随后在编码器模块中将其编码并且作为经编码的传输数据输出。编码器模块的编码特别优选地不相应于第一编码。
在本发明的一个可能的具体实施方式中,经编码的输出数据如此组织,使得其具有多个关键帧和多个中间帧,尤其是P帧或B帧。在视频编码中通常将经编码的图像数据编组成图像组——所谓的GoP(Group ofPictures),其由一组作为图像数据的视频序列的图像流中的相互关联地编码的、彼此相继的单个图像(英语Frame)设置。关键帧(也称为关键图像或内图像)是图像组中的参考图像,其相应于静止图像并且与相同图像组中的其他图像类型无关。因此,可以在没有大量计算的情况下从经编码的输出数据读取关键帧。
在解码之后,图像数据作为视频数据存在,其中视频数据优选构造为原帧,即构造为彼此相继的、相互独立的图像。
视频数据由编码器模块编码成经编码的传输数据,其中经编码的传输数据优选又组织成图像组(GoP)。编码尤其根据MPEG-4和/或H.264进行。
优选设置的是,在运行类型——快进和/或快退中,从经编码的输出数据中仅仅选择关键帧作为选择图像。相反地不使用因此相应于中间图像的中间帧。从图像数据流中选择单个图像也称为抓取(Scratching)。所述构造具有以下优点:显著减轻解码器模块的负载,因为关键帧与图像数据流中的其他帧无关并且因此可以以比中间帧更小的开销解码关键帧。
尤其设置的是,选择为选择图像的关键帧由解码器模块转换成原帧,所述原帧随后由编码器模块转换成经编码的传输数据。例如从经编码的输出数据的分别具有五个图像的五个图像组中仅仅读取关键帧以及将其转换成原帧,从而五个原帧可供使用。所述五个原帧随后由编码器模块转换成另一图像组,其仅仅具有一个唯一的关键帧和四个随后的中间帧。借助所述信号处理使转换编码器装置的负载最小化以及同时使网络连接的负载最小化。
尤其优选设置的是,在运行类型——静止图像中,编码新的中间帧并且将其发送给客户端,从而在细节准确度方面改进当前图像。尤其在客户端上再锐化静止图像。替代地,在运行类型——静止图像中以改进的分辨率、尤其以最大可供使用的分辨率或者以原帧的分辨率重新编码当前图像并且将其传输给客户端。所述传输可以尤其通过图像组(GoP)进行,从而首先传输具有改进的分辨率的关键帧并且随后传输用于改进细节准确度的中间帧。
在本发明的一个优选实施方式中,图像数据涉及至少一个监视摄像机的静止的监视场景。在所述构型中可以特别有利地使用视频压缩。尤其是快进和/或快退是特别有效的,因为选择图像一致地显示可能具有不同监视对象的相同监视场景。
本发明的另一主题涉及用于在客户端上展示服务器的图像数据的方法,其中客户端在会话中从服务器关于一个有效运行类型请求、进一步处理和显示图像数据,其中服务器的编码器装置根据有效运行类型来编码视频数据并且将其作为经编码的传输数据发送给客户端,其中编码器装置除运行类型——播放以外可在作为有效运行类型的运行类型——停止、静止图像、快进和/或快退中运行,其中客户端确定编码器装置的有效运行类型。
本发明的另一主题涉及具有权利要求12的特征的计算机程序以及具有权利要求13的特征的编码器装置。
附图说明
本发明的其他特征、优点和作用由本发明的优选实施例的以下描述以及附图得出。
图1示出作为本发明的第一实施例的视频系统的示意性框图;
图2以与图1中相同的示图示出作为本发明的第二实施例的视频系统;
图3示出用于阐明在前附图中的视频系统的运行方式——快进的示意图,
图4在第一实施方式中示出用于阐明在前附图中的视频系统的运行方式——静止图像的示意图,
图5在第二实施方式中示出用于阐明在前附图中的视频系统的运行方式——静止图像的示意图。
具体实施方式
图1以示意图示出作为本发明的一个实施例的用于展示图像数据的视频系统1。
图像数据尤其涉及具有多个彼此相继的图像的视频序列,这些图像以在时间上等距的间隔彼此设置,从而由所述视频序列可展示一个影片。在视频系统的一个可能应用中,图像数据构造为监视摄像机的视频序列,其中图像数据示出静止的监视场景。所述应用可以特别有利地在视频系统1中实现,因为图像数据总是具有基本上相同的场景背景,从而可以实现图像数据的特别有效的压缩。
视频系统1包括服务器2,其构造用于提供输出数据。图像数据的输出数据例如在监视时通过由至少一个监视摄像机传输的图像数据形成并且存储在存储器中,所述存储器与服务器连接或集成在服务器中。
视频系统1还包括客户端3,其通过网络4与服务器2连接。网络4可以涉及无线网络或有线网络,例如以太网或互联网。客户端3构造用于通过网络4请求、进一步处理和显示服务器2的图像数据。
为了请求图像数据,客户端3可以通过网络4向服务器2传输命令B。尤其通过命令B向服务器2传递有效运行类型的选择。运行类型可以涉及播放、停止、静止图像、快进或快退。
在播放中,以正常速度在客户端3上显示图像数据。在运行类型——停止中,在客户端3上不显示任何图像数据。在运行类型——静止图像中,在客户端3上持续地显示图像数据的一个有效图像或当前图像。在运行类型——快进中以快动作向前显示图像数据,而在快退中以快动作向后显示图像数据。
服务器2包括编码器装置5,其根据有效运行类型基于输出数据选择和编码视频数据并且将其作为经编码的传输数据输出。视频数据的编码例如根据MPEG-4标准和/或H.264编解码器实现,如其在相应标准中规定的那样。编码器装置5构造为软件或程序实体并且在会话持续期间唯一地分配给客户端3。这意味着:编码器装置5在会话或使用持续时间期间仅仅对于所分配的客户端3编码视频数据以及根据有效运行类型输出相应的、经编码的传输数据。
所述设置的优点是:编码器装置5仅仅响应客户端3的命令B工作和占用服务器2的资源。为了可以对命令B以及尤其对有效运行类型的转换迅速地做出反应,实时地或“即时地(on-the-fly)”或根据需要进行视频数据的编码。这例如意味着:一旦运行类型——停止通过命令B变成有效,则编码器装置5终止视频数据的编码。
在运行类型——快进或快退作为有效运行类型时可能的是:编码器装置5仅仅编码输出数据的可供使用的图像的一个选择并且将其作为经编码的传输数据通过网络4传递,因为在快进时在所谓的抓取模式中仅须展示以及因此传输图像序列的每第二个、第三个、第四个等图像。同样的情形适于运行类型——快退,在此也可能减少所传输的图像的数量。
实际上,网络4中的数据传输速率往往是受限制的。由此考虑以下情况:在通过网络4传输之前,编码器装置5编码并且由此压缩视频数据。然而,通常的视频压缩标准允许不同的压缩系数,其一方面导致在客户端3上显示的图像数据的不同质量而另一方面导致经编码的传输数据的不同数据传输速率——也称作比特率。因此,例如可能在网络4的可供使用的数据传输速率较低的情况下在压缩时选择较低的比特率。
一方面可以由客户端3预给定用于编码视频数据的比特率,其中客户端3例如具有选择域,在所述选择域中提供不同的比特率用于选择。一旦在客户端3上选择了一个比特率,则这个比特率作为命令B被传输给服务器2并且编码器装置5随后与所选择的比特率相匹配地编码视频数据。替代地或补充地,也可以在编码时由客户端3通过一个或多个命令B确定图像频率或图像大小。替代地,服务器2和/或编码器装置5对于用于编码视频数据的参数具有自适应的或自控制的或自调节的参数调节。例如观察服务器2至网络4的输出缓冲器、尤其是TCP/IP-缓冲器,其中输出缓冲器的填充状态是经编码的传输数据的已进行的传输的度量。如果缓冲器的填充度升高,则由此推断出:所选择的比特率对于网络4的可供使用的数据传输速率而言过大,并且在编码视频数据时降低比特率。如果输出缓冲器的填充状态下降过于强烈,则确定:比特率对于网络4的可供使用的数据传输速率而言过小。在这种情况下,在编码视频数据时提高比特率。
比特率的自动转换或手动转换由编码器装置5立即实现,从而仅仅以一个唯一的比特率作为参数来编码视频数据并且尤其不并行地在多个拷贝中以不同的比特率编码视频数据。
在运行类型——静止图像中,首先在客户端3上展示具有当前编码的有效图像。然而,在通过命令B传递运行类型——静止图像之后,其他视频数据的编码和经编码的传输数据的输出根据运行类型——静止图像暂停,在此之后一方面编码器装置5不工作而另一方面网络4的足够的数据传输速率可供使用。在运行类型——静止图像中,进行有效图像的重新编码或再编码,其中向客户端3传递具有改进的分辨率或更少的编码、无论如何具有更好的质量的有效图像。在此可以涉及有效图像的重新传递或已经位于客户端3上的有效图像的图像信息的补充。
图2示出本发明的第二实施例,其中相同的组件又设有相同的附图标记,从而参照以上描述。在图2中的实施例中,更准确地阐述服务器2中图像数据的信号路径。源于外界的图像数据存放在存储器6中,其中图像数据作为经编码的输出数据A存放。例如基于MPEG-4或H.264编解码器来压缩图像数据。
随后向编码器装置5传输经编码的输出数据A,所述编码器装置5在所述实施例中构造为转换编码器装置。编码器装置5在所述实施例中包括解码器模块7和编码器模块8。在解码器模块7中,存储器6的经编码的输出数据被解码并且接着以彼此相继的单个图像的系列的形式作为数据视频V存在,这些单个图像彼此无关。数据视频V尤其构造为所谓的原帧。
在编码器模块8中,数据视频V被编码成经编码的传输数据U,其中使用MPEG-4方法或H.264标准。编码器模块8中的编码取决于有效运行类型和/或取决于所选择的参数,尤其是用于经编码的传输数据的所选择的数据传输速率/比特率或图像分辨率或图像频率(fps——每秒帧数)。
图3示出用于在有效运行类型——快进时产生经编码的传输数据U的方法。在图3的下部区域中示意性地示出经编码的输出数据A,如其在存储器6中存放的那样。经编码的输出数据A安排成图像组GoP,其中每个GoP包括一个关键帧9(英语也称作Key-Frame或Intra-Frame)和多个中间帧。
帧9、10中的每一个相应于视频序列中的一个图像。关键帧9与其他帧无关并且包含分配给它的图像的所有图像信息。中间帧相反与在前的或在后的帧有关,从而单独一个中间帧10不具有作为基础的图像所需的所有图像信息。
在运行类型——快进(也称作抓取模式)时,由编码器装置5、尤其是解码器模块7仅仅选择输出数据A的关键帧9而舍弃中间帧10。由此在示出的示例中仅仅解码每第四个帧。所述解码需要较小的开销,因为在关键帧9中已经存在所有的图像信息。以形成原始图像数据的选择图像的原帧11的形式存在的视频数据V作为结果,因为在选择图像11之间分别布置三个中间图像,在所述情况下是中间帧10。
也可能的是,对于视频数据V仅仅解码每第二个、第三个或第n个关键帧9而舍弃位于其间的帧9、10。运行类型——快进具有以下优点:可以简单地扫描非常宽的时间范围。
在编码器模块8中,视频数据V的原帧11被编码成经编码的传输数据U,其又构造为具有关键帧9和中间帧10的GoP。编码的参数与将图像数据编码成经编码的输出数据A的参数无关。这些经编码的传输数据U随后通过网络4传输给客户端3。客户端3接收经编码的传输数据、解码所述经编码的传输数据以及在有效运行类型——快进中显示图像数据。
所述快进类型的优点在于,解码仅仅要求很少的计算时间,因为仅仅关键帧9用作选择图像。与此无关地,为了传输给客户端3,仅仅编码实际上也要显示的帧。这导致通过网络4的数据传输和通过编码器装置5的数据处理的有效降低。通过类似的方式可以实现运行类型——快退。
图4在与图3相同的示图中示出第一实施方式中的运行类型——静止图像。在所述运行类型中考虑:客户端3处的使用者在时刻t0在当前图像或有效图像时激活运行类型——静止图像。运行类型作为命令B传输给服务器2并且尤其传输给编码器装置5。服务器2或者编码器装置5不编码新的视频数据V,而是开始再编码相应的原帧11中时刻t0的当前图像——在这个情况下作为中间帧10传输,以便改进图像质量,尤其是改进在客户端3上显示的当前图像的细节准确度。为此目的,由编码器模块8编码当前图像的原帧11中的其他中间帧10,其包含原帧11中的其他细节信息并且作为传输数据U传输给客户端3。客户端3接收当前图像的附加的中间帧10并且可以逐渐地以更好的质量显示所述附加的中间帧。
图5示出变换的实施例,其中在激活运行类型——静止图像之后重新编码与当前图像相应的原帧11并且将其作为具有关键帧9和其他中间帧10的GoP传输给客户端3。所述变换的实施例具有以下优点:也可以改变运行类型——静止图像中的图像分辨率(即每个图像的像素数量)。这样例如能够在带宽有限的网络连接中通过网络4由运行类型——静止图像再次以更好的分辨率请求当前图像。

Claims (13)

1.用于展示图像数据的视频系统(1),
其具有服务器(2),其中,所述服务器(2)具有编码器装置(5),所述编码器装置能够在作为有效运行类型的多个运行类型中运行,
其中,所述编码器装置(5)构造用于根据所述有效运行类型来编码视频数据(V)以及用于输出经编码的传输数据(U),
所述视频系统具有客户端(3),其中,所述客户端(3)与所述服务器(2)通过网络(4)可连接,其中,所述客户端(3)构造用于在会话中请求、进一步处理和显示所述编码器装置(5)的所述经编码的传输数据(U),
其特征在于,所述编码器装置(5)除运行类型——播放以外能够在作为有效运行类型的运行类型——停止和/或静止图像和/或快进和/或快退中运行,其中,所述客户端(3)确定所述编码器装置(5)的有效运行类型。
2.根据权利要求1所述的视频系统(1),其特征在于,所述编码器装置(5)在所述会话期间唯一地分配给所述客户端(3)。
3.根据权利要求1或2所述的视频系统(1),其特征在于,所述编码器装置(5)构造用于实时地编码所述视频数据(V)。
4.根据以上权利要求中任一项所述的视频系统(1),其特征在于,在运行类型——快进和/或快退中,仅仅所述图像数据的图像(9)的一个选择作为选择图像由所述编码器装置(5)作为经编码的传输数据(U)输出,其中,在所述图像数据中在所述选择图像之间布置有至少一个中间图像(10)。
5.根据以上权利要求中任一项所述的视频系统(1),其特征在于,在运行类型——静止图像中,所述视频数据(V)的当前图像以更高的质量被再编码并且被传输给所述客户端(3)。
6.根据以上权利要求中任一项所述的视频系统(1),其特征在于,所述编码器装置构造为转换编码器装置(5),所述服务器(2)具有存储装置(6),在所述存储装置中存放有经编码的输出数据(A),其中,所述转换编码器装置(5)相应于所述有效运行类型构造用于将所述存储装置(6)中的所述经编码的输出数据(A)在解码器模块(7)中解码成所述视频数据(V)以及随后在编码器模块(8)中将其编码以及作为经编码的传输数据(U)输出。
7.根据权利要求6所述的视频系统(1),其特征在于,所述经编码的输出数据(A)具有多个关键帧(9)和多个中间帧(10),其中,在运行类型——快进和/或快退中,从所述经编码的输出数据(A)中仅仅选择关键帧(9)作为选择图像。
8.根据权利要求7所述的视频系统(1),其特征在于,选择为选择图像的关键帧(9)由所述解码器模块(7)转换成原帧(11),所述原帧(11)由所述编码器模块(8)转换成所述经编码的传输数据(U)。
9.根据权利要求6至8中任一项所述的视频系统(1),其特征在于,所述经编码的传输数据(U)具有多个关键帧(9)和多个中间帧(10),其中,在运行类型——静止图像中,基于所述经编码的输出数据(A)或所述视频数据(V)再编码当前图像,其中,产生所述当前图像的附加的中间帧(9),或者基于所述经编码的输出数据(A)或所述视频数据(V)重新编码所述当前图像,其中,产生所述当前图像的具有一个关键帧(9)和多个中间帧(10)的附加的图像组(GoP),并且所述附加的中间帧(10)或所述附加的图像组(GoP)作为经编码的传输数据传输给所述客户端。
10.根据以上权利要求中任一项所述的视频系统(1),其特征在于,所述图像数据显示至少一个监视摄像机的静止的监视场景。
11.用于在客户端(3)上展示服务器(2)的图像数据的方法,其中,所述客户端(3)在会话中对于一个有效运行类型从所述服务器(2)请求、进一步处理和显示图像数据,其中,所述服务器(3)的编码器装置(5)相应于所述有效运行类型来编码视频数据(V)并且将其作为经编码的传输数据(U)发送给所述客户端(3),其中,所述编码器装置(5)除运行类型——播放以外能够在作为有效运行类型的运行类型——停止和/或静止图像和/或快进和/或快退中运行,其中,所述客户端(3)确定所述编码器装置(5)的有效运行类型。
12.计算机程序,具有程序代码单元,以便当在计算机和/或权利要求1至10中任意一项的视频系统(1)上执行程序时实施根据权利要求11的方法的所有步骤。
13.编码器装置(5),尤其用于根据权利要求1至10中任一项所述的视频系统,
其中,所述编码器装置(5)能够在作为有效运行类型的多个运行类型中运行,
其中,所述编码器装置(5)构造用于根据所述有效运行类型来编码视频数据(V)以及输出经编码的传输数据(U),
其特征在于,所述编码器装置(5)除运行类型——播放以外能够在作为有效运行类型的运行类型——停止和/或静止图像和/或快进和/或快退中运行,其中,所述编码器装置如此构造,使得客户端(3)确定所述编码器装置(5)的有效运行类型。
CN201310050689.4A 2012-02-16 2013-02-08 用于展示图像数据的视频系统和方法 Active CN103260027B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012202315.1 2012-02-16
DE102012202315A DE102012202315A1 (de) 2012-02-16 2012-02-16 Videosystem zur Darstellung von Bilddaten, Verfahren und Computerprogramm

Publications (2)

Publication Number Publication Date
CN103260027A true CN103260027A (zh) 2013-08-21
CN103260027B CN103260027B (zh) 2019-03-22

Family

ID=47560774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310050689.4A Active CN103260027B (zh) 2012-02-16 2013-02-08 用于展示图像数据的视频系统和方法

Country Status (6)

Country Link
US (1) US9467691B2 (zh)
JP (1) JP6541932B2 (zh)
CN (1) CN103260027B (zh)
DE (1) DE102012202315A1 (zh)
FR (1) FR2987213B1 (zh)
GB (1) GB2499485B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014226122A1 (de) 2014-12-16 2016-06-16 Robert Bosch Gmbh Transkodereinrichtung sowie Server-Client-Anordnung mit der Transkodereinrichtung
CN104768011B (zh) 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置
DE102020215258A1 (de) 2020-12-03 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Endgerät, Verfahren zur Steuerung des Endgeräts, Computerprogramm und Speichermedium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1395421A (zh) * 1994-07-05 2003-02-05 索尼公司 处理图象的装置和方法
JP2004350043A (ja) * 2003-05-22 2004-12-09 Sony Corp サーバ装置、情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN1801929A (zh) * 2005-12-08 2006-07-12 复旦大学 一种网络互动电视系统实现时移功能的方法
CN101277247A (zh) * 2007-03-30 2008-10-01 传神联合(北京)信息技术有限公司 实时通信系统
US20090161755A1 (en) * 2007-12-21 2009-06-25 Broadcom Corporation Device adaptive video transmission system for use with layered video coding and methods for use therewith
JP2009296081A (ja) * 2008-06-03 2009-12-17 Hitachi Ltd 映像再生装置
CN101739462A (zh) * 2009-12-31 2010-06-16 中兴通讯股份有限公司 可扩展标记语言编码方法、解码方法和客户端
US20100179986A1 (en) * 2009-01-13 2010-07-15 Viasat, Inc. Content set based deltacasting

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2907761B2 (ja) * 1995-09-06 1999-06-21 日本電信電話株式会社 リアルタイム早送り再生用動画像符号化情報作成装置
JPH0965323A (ja) * 1995-08-28 1997-03-07 Toshiba Corp 双方向送受信装置
US7043584B2 (en) * 1997-02-18 2006-05-09 Thomson Licensing Interrupt prioritization in a digital disk apparatus
JP2000138918A (ja) * 1998-11-02 2000-05-16 Telecommunication Advancement Organization Of Japan 映像データベース
JP4491918B2 (ja) * 2000-06-14 2010-06-30 ソニー株式会社 データ配信装置及び方法、データ配信システム
US20020112244A1 (en) * 2000-12-19 2002-08-15 Shih-Ping Liou Collaborative video delivery over heterogeneous networks
JP2003009117A (ja) * 2001-06-20 2003-01-10 Nec Eng Ltd 動画像のリアルタイム配信方法及び配信システム
JP4226956B2 (ja) * 2003-06-16 2009-02-18 株式会社日立製作所 コンテンツデータ送信方法および端末装置
US20050018911A1 (en) 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US8498520B2 (en) * 2005-07-27 2013-07-30 Vbrick Systems, Inc. Video encoding and transmission technique for efficient, multi-speed fast forward and reverse playback
JP2008113301A (ja) * 2006-10-31 2008-05-15 Hitachi Ltd ビデオ送信装置及びビデオ送信方法
WO2009019739A1 (en) * 2007-08-09 2009-02-12 Thomson Licensing A video data reproduction system
JP2009124521A (ja) * 2007-11-16 2009-06-04 Hitachi Kokusai Electric Inc 映像再生装置
US8613673B2 (en) * 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US8265168B1 (en) * 2008-02-01 2012-09-11 Zenverge, Inc. Providing trick mode for video stream transmitted over network
JP5472094B2 (ja) * 2008-03-31 2014-04-16 日本電気株式会社 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム
JP2009272716A (ja) * 2008-04-30 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> VoIP通信システム
US8527649B2 (en) 2010-03-09 2013-09-03 Mobixell Networks Ltd. Multi-stream bit rate adaptation
US9513368B2 (en) * 2010-06-30 2016-12-06 General Electric Company Method and system for ultrasound data processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1395421A (zh) * 1994-07-05 2003-02-05 索尼公司 处理图象的装置和方法
JP2004350043A (ja) * 2003-05-22 2004-12-09 Sony Corp サーバ装置、情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN1801929A (zh) * 2005-12-08 2006-07-12 复旦大学 一种网络互动电视系统实现时移功能的方法
CN101277247A (zh) * 2007-03-30 2008-10-01 传神联合(北京)信息技术有限公司 实时通信系统
US20090161755A1 (en) * 2007-12-21 2009-06-25 Broadcom Corporation Device adaptive video transmission system for use with layered video coding and methods for use therewith
JP2009296081A (ja) * 2008-06-03 2009-12-17 Hitachi Ltd 映像再生装置
US20100179986A1 (en) * 2009-01-13 2010-07-15 Viasat, Inc. Content set based deltacasting
CN101739462A (zh) * 2009-12-31 2010-06-16 中兴通讯股份有限公司 可扩展标记语言编码方法、解码方法和客户端

Also Published As

Publication number Publication date
CN103260027B (zh) 2019-03-22
US9467691B2 (en) 2016-10-11
FR2987213A1 (fr) 2013-08-23
US20130215956A1 (en) 2013-08-22
JP2013168941A (ja) 2013-08-29
GB2499485B (en) 2019-06-26
JP6541932B2 (ja) 2019-07-10
FR2987213B1 (fr) 2019-01-25
GB201221357D0 (en) 2013-01-09
DE102012202315A1 (de) 2013-08-22
GB2499485A (en) 2013-08-21

Similar Documents

Publication Publication Date Title
KR102360052B1 (ko) 온라인 인터랙티브 게임 세션들에 대한 콘텐츠를 렌더링 및 인코딩하기 위한 방법들 및 시스템들
EP1871109A2 (en) Sub-frame metadata distribution server
US8831108B2 (en) Low latency rate control system and method
CN109391825A (zh) 一种视频转码方法及其装置、服务器、可读存储介质
US20070103558A1 (en) Multi-view video delivery
US20070044128A1 (en) Video compression system
CN103597844A (zh) 在视频服务器与客户端之间平衡负载的方法和系统
CN109792545A (zh) 观众重要性自适应比特率传送
CN101378490B (zh) 实现流媒体视频点播的装置、客户端及方法
US11120615B2 (en) Dynamic rendering of low frequency objects in a virtual reality system
US9226003B2 (en) Method for transmitting video signals from an application on a server over an IP network to a client device
CN103260027A (zh) 用于展示图像数据的视频系统、方法和计算机程序
Laghari et al. The state of art and review on video streaming
Dong et al. Ultra-low latency, stable, and scalable video transmission for free-viewpoint video services
CN101098479A (zh) 处理视频数据的方法及设备
US20100049832A1 (en) Computer program product, a system and a method for providing video content to a target system
CN101622873B (zh) 由服务器播送音频和视频数据序列的方法
US20110321104A1 (en) System and method for mass distribution of high quality video
EP2978225B1 (en) Method for obtaining in real time a user selected multimedia content part
CN116636224A (zh) 可替代联网应用程序服务的系统和方法
KR102497838B1 (ko) 미디어 스트리밍 서버, 라이브 영상과 라이브 채팅을 스트리밍 동영상으로 제공하는 방법, 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램
US20060279634A1 (en) Method and device for displaying images of a video sequence
KR20230094695A (ko) 멀티뷰 스트림을 위한 적응적 스트리밍 처리 방법 및 장치
CN114339426A (zh) 一种视频直播编解码转发系统
WO2013165624A1 (en) Mechanism for facilitating cost-efficient and low-latency encoding of video streams

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant