CN102187675A - 用于在多路接收的情况下获得图像的方法 - Google Patents

用于在多路接收的情况下获得图像的方法 Download PDF

Info

Publication number
CN102187675A
CN102187675A CN200980141629.5A CN200980141629A CN102187675A CN 102187675 A CN102187675 A CN 102187675A CN 200980141629 A CN200980141629 A CN 200980141629A CN 102187675 A CN102187675 A CN 102187675A
Authority
CN
China
Prior art keywords
image
zone
sequence
encoded
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980141629.5A
Other languages
English (en)
Other versions
CN102187675B (zh
Inventor
A·施密特
H·海尔
T·特罗格尔
A·考普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Original Assignee
Audi AG
Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG, Friedrich Alexander Univeritaet Erlangen Nuernberg FAU filed Critical Audi AG
Publication of CN102187675A publication Critical patent/CN102187675A/zh
Application granted granted Critical
Publication of CN102187675B publication Critical patent/CN102187675B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4358—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen for generating different versions, e.g. for different peripheral devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及一种用于由编码图像序列获得图像的方法，其中接收至少两个具有彼此相应的图像的编码图像序列，并且通过合并来自第一图像序列和至少一个另外的图像序列的图像来获得改进的图像。这一点特别是在下述情况下实现：图像序列以不同方式编码，相应图像的内容不完全相同，或者一个序列的图像仅是另一图像序列的相应图像的内容的一部分。根据本发明，不同图像序列的图像彼此独立地被解码，并且在解码时能特别容易识别出的、关于接收错误的信息被用于，通过另一图像序列的相应图像的无错误接收的区域来校正图像的错误区域。所述方法还包括用于使不同的图像序列同步的步骤以及用于补偿不同的图像分辨率的步骤。

Description

用于在多路接收的情况下获得图像的方法
技术领域
本发明涉及一种用于获得电视信号的图像的方法，其中经由不同的信号路径以编码的形式多次接收该图像。通过不同的接收单元对电视信号进行多次接收也称为多路接收。本发明还涉及电视接收单元，特别是用于机动车的电视接收单元，该电视接收单元被设计用于执行所述方法，即用于执行多路接收以及处理所接收的图像。
背景技术
用于多路接收的方法已经从文献DE 10027610A1中已知。在此，通过两根天线接收根据“地面数字视频广播”(DVB-T)标准的数字电视信号，并且由在两个与天线串联的接收支路内从电视信号获得的各数据包形成一数据包流。另外，在对从两个接收支路接收的信号进行信道解码期间，选出无错误接收的数据包或者利用来自一个接收支路的数据包来计算来自另一接收支路的相应数据包。通过合成来自两个接收支路的数据包实现了，在通过一个接收支路接收的数据包中的干扰通过增加另一接收支路的数据包而得到补偿。关于数据包是否被干扰的信息可以在DVB-T信号中在信道解码级别上，作为连续的、反映所接收的信号的质量的值、即所谓的软判决信息(Soft-Decision-Information)或者作为表示数据包的无错误或有错误的接收的双值信号来获取。因为两个以不同方式安装的天线接收同一个信号，所以确保了两个接收支路的数据包根据相同的标准进行编码、进而能彼此合成。此外，合成的数据包流仍为有效的DVB-T信号。通过根据DE 19027610A1的方法所能实现的在电视信号中抗干扰健壮性/鲁棒性(Robustheit)的提高取决于，两个接收支路的信号包中的干扰多么不同。因此，为了获得充分不同的接收条件必须将天线安装在尽可能不同的位置上。
在根据文献DE 60221297T2的方法中，在发射器一侧已经在可能情况下辨识出在接收器的两个接收支路的数据包中的干扰。此外，通过发射器利用两种不同的方法将信道编码的信号调制到载波信号上。如果在接收器侧通过两个接收支路解调两个以不同方式调制的信号，则很可能在信道解码时充分地辨识出在两个接收支路中出现的错误模式(错误图形)，以便能由这两个数据包流产生一个具有更少干扰的数据包流。
在文献WO 03/103280A1中描述了一种用于多路接收的方法，其中通过多个天线以模拟(信号)的形式并且以根据DVB-T标准编码的数字视频信号的形式接收电视信号。在此，在接收器中接在信道解码之后的信源解码期间，通过从不同的数字接收支路中选出相应受干扰影响最小的编码的传输流包来重构多次接收的数字信号。编码的传输流包又能被合成，这是因为在各个接收支路中传输流的格式相同。编码的传输流包是否存在错误，可以比较容易地借助控制信号来识别。如果重构的数字图像信号还包含干扰，根据WO 03/103280A1的方法还规定，解码的数字信号的图像通过加权加法与就内容而言除干扰外相同的、通过模拟支路接收的图像合成，从而利用合成图像(Summenbild)提供改进的图像。在此，可以直接合成图像内容，因为通过数字接收支路和模拟接收支路接收的图像就内容而言是相同的。数字信号和模拟信号的同步一方面通过在数字接收支路和模拟接收支路中的音频信号相关性来实现，另一方面通过随后比较视频同步信号来实现。
在根据DE 102004020503A1的用于多路接收的方法中，通过图像处理算法，对模拟电视信号的两个通过不同的信号接收路径和处理路径除干扰外完全重构的单图像在质量方面进行比较。因为所接收的信号是以模拟方式传输的电视信号，所以为辨识出图像中观察者认为是噪声的随机部分，将干扰模式
Figure BDA0000056325070000021
或通过反射产生的“假像(Geisterbilder)”用作评估标准。在此，通过多路接收同一电视信号获得单图像，从而这些单图像在内容方面尽可能相同、进而能直接进行比较。改进的单图像由多个图像区域组成，这些图像区域分别从相应的单图像得到，所述单图像对于这些区域根据通过图像处理算法求得的量而具有较高的图像质量。通过使用图像处理算法，根据DE 102004020503A1的方法与所用的电视信号传输方法无关。然而，图像内容本身借助用于比较单图像的图像质量的评估标准来评估，从而可能会与传输的图像内容相关地出现图像质量的错误评估。
因此，由现有技术已知的多路接收的方法的前提条件是：通过多个接收支路接收的图像序列在信道编码的级别、信源编码的级别上或者最后关于图像分辨率和图像几何是相同的。否则，或者编码数据包不能相互计算，或者通过图像处理算法对图像内容的比较会导致错误的结果。此外，在评估图像内容的基础上，重构图像的质量确定的可靠性与图像内容相关。
发明内容
因此本发明的目的是：提供一种用于获得图像的方法，所述图像通过多路接收来接收，在此无需依赖于不同接收支路中彼此相应的图像的相同信道编码或信源编码、相同压缩或相同局部分辨率。此外希望确保可靠地定位受干扰的图像区域。
所述目的通过根据权利要求1的方法来实现。根据权利要求12所述的电视接收单元同样属于本发明。本发明的有利的设计方案在从属权利要求中给出。
根据本发明，接收包括多个图像的、被编码的第一图像序列，(优选同时)接收包括多个图像的、被编码的第二图像序列。所述第一图像序列和第二图像序列的图像彼此相对应，也就是说，它们具有类似的内容，在此不必使它们具有相同的图像分辨率或完全一致的图像。特别是在下述情况下图像是不完全一致的：来自第二图像序列的图像仅是第一图像序列图像的局部。在对来自被编码的第一图像序列的图像进行解码时，针对所述第一图像的各区域确定出一值，该值量化表示所接收的、代表相应区域的图像内容的码字的质量。这种值可以如上所述地在数据包信道解码时可靠地确定，而且可以在图像块信源解码时可靠地确定。如果图像例如以MPEG标准编码，则在信源编码的级别上通过检查熵编码(Entropie)(例如以可变码字长度进行的编码)的码字或者通过检查MPEG传输流的句法来获得关于所接收的码字质量的信息。优选针对尺寸8×8像素或16×16像素的图像块来确定所接收的编码质量的值。
在根据本发明的方法的另一步骤中，首先为来自第一图像序列的被解码的图像分派一来自被编码的第二图像序列的相应的支持图像。如果例如以轻微的时间错位来发射两个图像序列，则需要优选通过使用延迟元件来使两个图像序列在时间上同步。当来自第二图像序列的支持图像被分派、亦即被提供时，该支持图像被解码。此外，如来自第一图像序列的图像的情况，针对支持图像的各区域确定出量化表示出所接收的编码质量的值。
为了能够使用分辨率不同的图像序列和仅局部存在的图像，通过将支持图像的区域分派给第一图像序列图像的区域确保了：在另一方法步骤中能够合并彼此相应的图像内容。如果第一图像序列与支持图像的图像内容和图像分辨率相同，则在系统的常规工作中自动地进行正确的分派。
在第一图像序列的图像中的错误的或错误传输的区域以下述方式得到校正：在使用支持图像的被分派的区域的情况下改变第一图像的错误区域。这种改变例如可以是错误区域被替代，或者也可以是彼此相关的区域的像素值被加权相加(加权平均)。在此，因为应用表示所接收的编码质量的值的组合，所以两个区域的图像质量的比较与图像内容无关。应用这种组合特别是包括：比较所述值；或者当涉及关于是否存在数据包损失的直接信息时，评估该信息。
如果接收多于两个的图像序列，则相应地对于另外的图像序列应用根据权利要求1所述的方法，其中，如对包括多个图像的、被编码的第二图像序列那样对每一个另外的图像序列进行处理。在此，在改变第一图像的区域的步骤中，在通过预先确定的标准来评估所述值的组合时考虑所接收的图像序列的总数。
在根据权利要求1所述的方法中，可以改变各步骤的实施顺序：例如可以考虑首先对支持图像进行解码并将支持图像进行中间存储，然后将该支持图像分派成与第一图像相对应的支持图像。
利用根据本发明的方法还实现了对于如下的电视节目的多路接收：该电视节目通过不同的传输标准、即在使用不同的信道编码和信源编码以及不同的图像格式的情况下被发送出。这种所谓的多样传输(差异传输)情况例如存在于两种传输标准，即“地面数字视频广播”(DVB-T)和“手持设备数字视频广播”(DVB-H)标准中。适合于家用电视设备的DVB-T标准可以用于以“标准清晰度电视”(SDTV)的分辨率或者以“高清晰度电视”(HDTV)的分辨率传输图像。标准MPEG-2(Moving Picture Expert Group)主要用于信源编码。在信道编码和信号调制的级别上使用不同的方法。而DVB-H标准用于将电视图像信号传输至移动电话和其它小型移动设备。图像分辨率可能仅为320×240像素。对于这种传输使用MPEG-4标准。在传输方法、即信道编码和调制方法方面，DVB-H标准与DVB-T标准不同。
如果发射器借助两种传输标准传输同一图像序列，这两种传输标准具有(以像素量度的)不同的高宽比，则必须对图像序列的图像进行匹配。为此切去待传输的图像的边缘，以便获得相应传输标准要求的宽高比(英语：Cropping)。最后，在例如借助DVB-H标准传输时还可以考虑，以较强的压缩对图像进行编码，以便在将图像传输到移动电话上时适应较小的带宽。因为压缩存在损耗，所以较强压缩的图像在解码后的细节更少，从而在此产生相对于借助DVB-T标准传输的图像内容的不同之处。
因此，通过不同的传输标准传输同一图像序列可能会引起，在接收器侧提供的图像虽然在内容上彼此相应，但是不能利用现有技术的措施彼此转换。
尽管在多样传输的范围内提供的、例如目前以DVB-T信号和DVB-H信号的形式提供的电视信号的质量不同，但是利用根据本发明的方法能在多路接收的范围内合成这些信号。从而能通过下述方式在强干扰、例如形式为数据包损失的强干扰的情况下在质量方面明显改善例如高分辨率的DVB-T电视信号：对(该信号的)存在损失的图像区域、即受干扰的图像区域，通过来自并行接收的DVB-H信号的低分辨率的图像区域来补充。
在本方法的另一种实施方式中，此外对与第一图像相应的支持图像的选择优选考虑一图像错位，该图像错位可能由于在传输时在发射器侧对图像序列的不同处理持续时间造成。如果涉及的是恒定的图像错位，则该图像错位能在初始化阶段或者在较大的时间段内确定。
为了自动地确定图像错位，分派与第一图像相应的支持图像的步骤有利地包括以下步骤：
d1)对来自被编码的第二图像序列的多个图像进行解码，并且分别确定每个图像的各区域的值，其中所述值量化表示所接收的编码的质量，
d2)根据相应图像的各区域的值，对于所述第一图像与所述多个图像中的每一个图像之间的相似性分别计算出一个相似性值，
d3)基于所计算出的相似性值，确定在第一图像序列和第二图像序列之间的图像错位，
d4)借助确定的所述图像错位，由被编码的第二图像序列中选出与所述第一图像相对应的支持图像。
通过将第一图像序列中的一个图像与第二图像序列中的多个图像进行比较，能通过从第二图像序列中找出与第一图像序列的图像相似性最高的那一个图像来确定：以相互错位多少个图像的方式接收两个图像序列。在此，表示相似性的相似性值优选通过下述方式来计算：第二图像的相应的像素的强度值减去第一图像的像素的强度值，并且对于整个图像或者其各个局部来计算该差的平方和。其它的在数学意义上表达距离的度量同样是适合的。优选将像素的亮度、即辉度(流明)考虑为强度值。优选在计算相似性值时不考虑如下的区域：对于该区域来说表示所接收的编码质量的值表明该图像区域被干扰。
也可以连续地、即对于第一图像序列的相继的图像来实施上述对图像错位的确定。
为了能计算出具有不同分辨率的图像的相似性值，有利地以如下方式进行图像错位确定：
d2.2)借助通过图形参数定义的图形函数，由所述多个图像中的每一个图像分别计算出一个被修改的图像，
d2.3)根据相应图像的各区域的值，对于在所述第一图像与每一个被修改的图像之间的相似性分别计算出一个相似性值。
在与来自第一图像序列的图像进行比较前首先通过图形函数使来自第二图像序列的图像伸展或收缩，即(按比例)缩放，必要时还使之相对于来自第一图像序列的图像移动，由此不仅能补偿图像的分辨率，而且当第二图像序列的图像仅为第一图像序列的图像的局部时，例如在剪载时的情况，也能实现对实际上对应的图像区域的相互比较。在此，如果用于图形函数的图形参数不是已知的，所述图形参数能以下面进一步描述的方式利用迭代方法来确定。
如果所述图像之一仅为另一图像的局部，则得到这样的边缘区域，对于这些边缘区域来说从图像局部不能得出用于确定相似性的信息。这一点可以在计算相似性值时容易地被考虑到。图像的缩放和移动是仿射变换。因此，还可以在相关的被修改的图像中确定如下的图像区域：在该区域中借助表示所接收的编码质量的值可以识别出该区域具有受干扰的图像内容，该图像区域在如上所述地计算相似性值时被取出。
同样有利地，所述方法在分派区域的所述步骤中如下地进行：
f1)借助由图形参数定义的图形函数，计算出所述支持图像的被修改的区域，
f2)基于图形参数，将所述支持图像的至少一个被修改的区域分派给第一图像的至少一个区域。
因此，所述方法还能用于具有不同图像分辨率的图像序列，并且能用于一个图像序列仅包含另一图像序列的部分图像的情况。在此，图形函数仅须用在支持图像的如下区域上：所述区域实际上在改变第一图像的区域时使用。还可以考虑，首先由支持图像计算出具有第一图像的分辨率的被完全修改的图像，并且存储该被完全修改的图像，以便随后取用所需的区域。
对图形函数的图形参数的计算可以用迭代的方式在确定图像错位时或者在分派区域的步骤f中进行。如果希望在分派区域的步骤中计算最优的图形参数，则所述方法在分派区域的步骤中以下述方式进行：
f1)借助由图形参数定义的图形函数，由所述支持图像计算出被修改的图像，
f2)根据相应图像的各区域的值，对于在所述第一图像与所述被修改的图像之间的相似性计算出相似性值，
f3)根据所述相似性值来改变所述图形参数，
f4)一直重复步骤f1，f2和f3，直至相似性值或通过步骤f3引起的图形参数变化满足规定的标准，
f5)基于所述图形参数，将所述支持图像的一区域分派给第一图像的一区域。
如上所述，根据权利要求5，在确定图像错位时还可以使用用于计算最优图形参数的迭代方法。在此确定的最优图形参数还能在分派支持图像区域的步骤中使用。然而，在根据本发明的方法的另一种实施方式中，图形参数还可以分开地一方面在确定图像错位期间确定，另一方面在分派支持图像区域的步骤中确定。
通过步骤f1至f4，描述了一种用于优化相似性值的方法，通过所述方法能找到用于图形函数的图形参数，利用所述图形参数能实现来自第一图像序列的图像和被修改的图像之间尽可能好的重合。在此，根据相似性值对图形参数进行的改变优选以下述方式实现：首先，对于任意的图形参数确定一被修改的支持图像及(通过与来自第一图像序列的图像进行比较来确定)与之相关的相似性值。然后，改变和更新图形参数，确定被修改的支持图像及与之相关的新的相似性值。如果由新的相似性值表明：与之前计算的被修改的支持图像相比，相关的被修改的支持图像相对于来自第一图像序列的图像的相似性更高，则找到了更好的图形参数。这种图形参数的改进可以重复、即迭代地实施，直至所能达到的改进很小为止。优选地，按照梯度下降法的原理实现图形参数的改变。特别是(优选与相似性值相关，该相似性值被计算为像素值的差的平方的和)使用高斯牛顿法或列文伯格-马夸尔特法(Levenberg-Marquardt-Verfahren)。
如果被编码的第一图像序列的图像与被编码的第二图像序列的图像相比具有不同的按像素量度的图像边长比例和/或不同的图像分辨率，则两个图像序列的处理所需要的计算能力的量不同。如果第二图像序列是具有分辨率较低或较差的图像的图像序列，从该第二图像序列仅取出用于校正在第一图像序列的图像中的错误的支持图像，则与第一图像序列的处理相比，对于支持图像的计算使用计算能力较低的处理单元便足够了。
根据本发明的方法能针对多个图像序列有利地校正错误接收的图像区域，其中一个图像序列的图像仅表示另一图像序列的相应图像的局部，例如上述的剪载便属于这种情况。
如果被编码的第一图像序列的图像与被编码的第二图像序列的图像相比被以不同的方式编码，则产生有利的效果，即对于涉及两个图像序列的信号的干扰，在各图像中产生的错误模式非常可能是不同的。因此可能的是，通过合成来自不同图像序列的区域能计算出更好的图像。
此外有利的是，所述方法设计成：对图像序列进行处理，该图像序列由符合“地面数字视频广播”标准或“手持设备数字视频广播”或“地面数字多媒体广播”的数据流中取出。
如果在车辆的电视接收单元中执行所述方法，则因此能以有利的方式在这种车辆中最优地实施电视接收。
所述的根据本发明的方法可以毫无困难地与已知的用于错误校正的方法结合，所述已知的方法例如对于来自一个根据MPEG标准的数据流的图像序列是已知的。
附图说明
下面描述本发明的实施例。为此：
图1示出图像内容的略图，该图像内容通过根据本发明的方法的各个步骤改变，
图2示出根据本发明的电视接收单元的框图，
图3示出根据本发明的方法的实施例的信号流的图表。
具体实施方式
在图1中示出，如何通过应用根据本发明的方法中的步骤来改变源于第一图像序列的图像10的内容和源于第二图像序列的图像20的内容。在图像10中可见到作为图像内容的十字。由于在传输时的错误，图像10具有三个其中图像内容受到干扰的区域12，14，16。图像10来源于根据MPEG标准的数据流，从而每个被干扰的区域12，14，16都是块状的。通过MPEG信号的解码能可靠地识别出块12，14，16存在错误。
因为图像10所源自的第一图像序列传送具有高分辨率的图像，所以图像10设计成用于输出的图像18。
源于第二图像序列的图像20是源于第二图像序列的与图像10相应的图像。该图像仅为图像10的一部分并且较小，即分辨率较低。此外，该图像同图像10一样具有存在传输错误的区域22。图像20在一定范围内、即在视频序列中的图像的持续时间内比图像10更早地在接收单元中出现。由此，图像错位(时间)B恰好为一个图像。由延迟单元VZ使第二图像序列的图像20延伸一图像持续时间，使得该图像能与输出图像18同时得到处理。换句话说，通过使图像20与输出图像18同步将图像20分派成为用于输出图像18的支持图像。在转换单元T中，通过图形函数附加地使经延迟的图像20以下述方式移动和缩放：使图像20的像素在输出图像18的坐标系中位于与输出图像18的像素相应的像素上。这一点在图1中是这样示出的：在输出图像18的坐标系18′中示出被转换且延迟的图像20。通过转换单元T的图形函数修改的图像24在图像18的坐标系18′的中央示出。以虚线方框示出输出图像18的错误块12、14、16的位置。从经修改的图像24能得出关于输出图像18的两个错误区域的无错误图像信息14′，16′，如给出表明所接收的编码的质量的值(未示出)。因此，输出图像18中的存在错误的区域14、16被来自经修改的图像24的相应区域14′、16′所代替。这一点通过两个箭头来表示。对于第三错误区域12则不能从经修改的图像24获得任何信息。这一点在图1中通过虚线示出的区域12′来表示。
对于输出图像18中不能通过经修改的图像24校正的错误区域12，可以错误地显示该区域或者也可以根据本发明方法从一第三图像序列获得另外的图像信息。
在图2中示出用于根据本发明的电视接收单元的可能线路布置/布线，该电视接收单元基于高分辨率的、质量高的电视图像信号FBS1和低分辨率的、质量较低的、用作支持信号的电视图像信号FBS2。电视图像信号FBS1和FBS2具有彼此相应的图像内容。
在图2中用于根据本发明的电视接收单元的线路包括至少两个接收天线210和至少两个用于数字电视图像信号的接收单元212。这两个接收单元的输出端与一单元214连接，该单元通过合成两个电视图像信号FBS1和FBS2在解码后产生高质量的电视图像信号FBS1+。在充分利用低分辨率的电视图像信号FBS2的情况下改进高分辨率的电视图像信号FBS1的质量。此外，在相应的接收单元中在解码时检测出在两个电视图像信号中出现的块损失、行列损失和图像损失。对于(如由MPEG解码已知的)基于运动补偿的预示性解码，同样考虑后续图像中的错误传播。所形成的错误信号FS1和FS2作为分支信息由接收单元传输给单元214。
在图3中示出图2中单元214的可能的信号流的图表。电视图像信号FBS1和FBS2和相关的错误信号FS1和FS2形成用于估算延迟和转换参数的单元216的输入信号。在该单元中求得延迟和转换参数，所述延迟和转换参数分别是使低分辨率的电视图像信号FBS2的局部分辨率与高分辨率的电视图像信号FBS1的局部分辨率同步和匹配所必需的。在此还涉及用于估算图形函数的图形参数和图像错位的单元。
因为两个电视图像信号FBS1和FBS2的图像内容通过在发射器侧剪载图像边缘而不完全相同(剪裁)，所以转换不仅包括缩放而且还包括移动。因为不传输发射器侧的图像变换的参数、进而在接收器上不知道，所以估算优化的转换参数或图形参数。所述估算基于作为两个图像的相似性的量度的差别函数/成本函数(Kostenfunktion)，该差别函数必须被最小化。在此，该差别函数被定义为在电视图像信号FBS1和经转换的电视图像信号TFBS2之间的均方差。在此，各个像素的强度值之差被用作差别的度量(Fehlermaβ)。出于效率原因，并不实施所有可设想到的可能的转换参数的值来确定转换参数。代替其可以考虑优化方法(例如梯度下降法)。
在接收单元中，由于在发射器侧和接收器侧的不同的处理持续时间并且由于在经由无线电接口(Luftschnittstelle)进行传输时的渡越时间差，在两个电视图像信号FBS1和FBS2之间存在时间错位。图像错位同样在用于估算延迟和转换参数的单元216中求得。时间错位的确定与上述图像转换相关联地进行，并且作为上述优化的扩展关于一附加的参数、即时间进行转化。
用于估算延迟和转换参数的单元216的输出信号是四个原始输入信号FBS1，FS1，FBS2，FS2、时间延迟ZV和转换参数TP。所确定的时间延迟ZV用作延迟单元218的输入信号，在该延迟单元中电视图像信号FBS1和相关的错误信号FS1根据ZV被延迟。从而确保了在延迟的电视图像信号VFBS1、相关的延迟错误信号VFS1、电视图像信号FBS2和相关的错误信号FS2之间的同步。
在与延迟单元218并行设置的转换单元220中，借助估算的转换参数TP利用图形函数对电视图像信号FBS2和相关的错误信号FS2进行转换。转换单元220的输出信号是经转换的电视图像信号TFBS2和相关的、经转换的错误信号TFS2。这两个信号具有与相关的、经延迟的信号VFBS1和VFS1相同的图像分辨率。
最后，在用于合成信号的单元222中，在使用相关的经延迟的错误信号VFS1和经转换的错误信号TFS2的情况下将经延迟的电视图像信号VFBS1和经转换的电视图像信号TFBS2合成。因为在VFBS1中受干扰的图像区域在块、行列或图像的基础上通过复制经转换的电视图像信号TFBS2的未受干扰的相应图像区域来代替，所以电视图像信号TFBS2也被视为支持信号。单元222的输出信号为受干扰的原始电视图像信号FBS1的在图像质量方面优化的且可能被延迟的版本FBS1+。改进的电视图像信号FBS1+被传输给连接在下游的单元，该单元用于基于在时间上、在位置上或在时间和位置上对一个图像序列的多个图像的合成来遮盖错误。这种用于遮盖错误的单元例如由MPEG解码器中已知。
在图3中描述的系统一方面可以用在电视接收单元(如图2所示)中。另一方面还可以考虑独立的处理单元，该处理单元连接在多个DVB-T电视接收器下游。另外，也可以使不同的电视接收器(DVB-T，DVB-H，T-DMB)的信号合成。
通过根据本发明的方法，还能在不利的接收条件下通过处理两个内容相似、以数字方式传输的电视图像信号并且通过合成图像序列的图像来改进TV节目的图像质量。在此，本发明方法的另外的主要组成部分在于在真正的图像合成前用于补偿局部图像分辨率的转换和对各个电视图像信号之间的延迟的补偿。在本发明的范围内，为了进行转换和同步，可能首先估算必要的参数。

Claims (12)

1.一种用于获得图像的方法，所述方法包括下述步骤：
a)接收包括多个图像的、被编码的第一图像序列，
b)接收包括多个图像的、被编码的第二图像序列，所述第二图像序列的图像与所述第一图像序列的图像相对应，
c)对来自被编码的第一图像序列的第一图像(10，18)进行解码，确定用于所述第一图像(10，18)的各区域(12，14，16)的值，其中所述值量化地表示所接收的编码的质量，
d)由被编码的第二图像序列中分派与所述第一图像(10，18)相对应的支持图像(20，24)，
e)对所述支持图像(20，24)进行解码，确定用于所述支持图像(20，24)的各区域(14′，16′，22)的值，其中所述值量化地表示所接收的编码的质量，
f)将所述支持图像(20，24)的至少一个区域(14′，16′)分派给所述第一图像(10，18)的至少一个区域(14，16)，
g)在使用所述支持图像(20，24)的被分派的区域(14′，16′)的情况下，在以满足规定标准的方式组合用于所述第一图像(10，18)的区域(14，16)的值和用于所述支持图像(20，24)的被分派的区域(14′，16′)的值时，改变所述第一图像(10，18)的至少一个区域(14，16)。
2.根据权利要求1所述的方法，
其中，分派与所述第一图像相应的支持图像的所述步骤包括：
d1)根据在所述第一图像序列与第二图像序列之间存在的图像错位(B)，从被编码的第二图像序列中选出(VZ)与所述第一图像(10，18)相应的支持图像(20，24)。
3.根据权利要求1所述的方法，
其中，分派与所述第一图像相应的支持图像的所述步骤包括：
d1)对来自被编码的第二图像序列的多个图像进行解码，并且确定用于每个图像的各区域的值，其中所述值量化表示所接收的编码的质量，
d2)根据相应图像的各区域的值，对于所述第一图像与所述多个图像中的每一个图像之间的相似性分别计算出一个相似性值，
d3)基于所计算出的相似性值，确定在第一图像序列和第二图像序列之间的图像错位，
d4)借助确定的所述图像错位(B)，由被编码的第二图像序列中选出(VZ)与所述第一图像(10，18)相对应的支持图像(20，24)。
4.根据权利要求3所述的方法，
其中，计算出相似性值的所述步骤包括：
d2.2)借助通过图形参数定义的图形函数(T)，由所述多个图像中的每一个图像(20)分别计算出一个被修改的图像(24)，
d2.3)根据相应图像的各区域(14，16，14′，16′，22)的值，对于在所述第一图像(18)与每一个被修改的图像(24)之间的相似性分别计算出一个相似性值。
5.根据权利要求3所述的方法，
其中，计算出相似性值的所述步骤包括：
d2.1)借助由图形参数定义的图形函数，由所述多个图像中的一个图像计算出被修改的图像，
d2.2)根据相应图像的各区域的值，对于在所述第一图像与该被修改的图像之间的相似性计算出相似性值，
d2.3)根据所述相似性值来改变图形参数，
d2.4)一直重复步骤d2.1，d2.2和d2.3，直至相似性值或通过步骤d2.3引起的图形参数变化的程度满足一规定的标准。
6.根据前述权利要求中任一项所述的方法，
其中，分派区域的所述步骤包括：
f1)借助由图形参数定义的图形函数(T)，计算出所述支持图像(24)的被修改的区域(14′，16′)，
f2)将所述支持图像(24)的至少一个被修改的区域(14′，16′)分派给所述第一图像(18)的至少一个区域(14，16)。
7.根据前述权利要求中任一项所述的方法，
其中，分派区域的所述步骤包括：
f1)借助由图形参数定义的图形函数(T)，由所述支持图像(20)计算出被修改的图像(24)，
f2)根据相应图像的各区域(12，14，16，14′，16′，22)的值，对于在所述第一图像(18)与所述被修改的图像(24)之间的相似性计算出相似性值，
f3)根据所述相似性值来改变所述图形参数，
f4)一直重复步骤f1，f2和f3，直至相似性值或通过步骤f3引起的图形参数变化的程度满足规定的标准，
f5)基于所述图形参数，将所述支持图像(20，24)的一区域(14′，16′)分派给所述第一图像(10，18)的一区域(14，16)。
8.根据前述权利要求中任一项所述的方法，其特征在于，与所述被编码的第二图像序列的图像(20)相比，所述被编码的第一图像序列的图像(10)具有不同的图像分辨率和/或具有不同的按像素量度的图像边长比例。
9.根据前述权利要求中任一项所述的方法，其特征在于，来自所述被编码的第二图像序列的支持图像(20，24)是来自所述被编码的第一图像序列的相应图像(10，18)的局部。
10.根据前述权利要求中任一项所述的方法，其特征在于，与所述被编码的第二图像序列的图像相比，所述被编码的第一图像序列的图像以不同的方式被编码。
11.根据前述权利要求中任一项所述的方法，其特征在于，所述被编码的第一图像序列和/或所述被编码的第二图像序列由数据流中取出，所述数据流符合“地面数字视频广播”标准或“手持设备数字视频广播”标准或“地面数字多媒体广播”标准。
12.一种用于机动车的电视接收单元，所述电视接收单元具有至少两个接收器和一显示装置，所述接收器用于接收被编码的图像序列，
其特征在于，
所述电视接收单元设置成：利用根据权利要求1至11之一所述的方法处理来自所述至少两个接收器的图像序列，并且在所述显示装置上显示一图像，该图像具有根据所述方法的步骤g)改变的区域。
CN200980141629.5A 2008-08-21 2009-07-29 用于在多路接收的情况下获得图像的方法 Expired - Fee Related CN102187675B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102008039051A DE102008039051A1 (de) 2008-08-21 2008-08-21 Verfahren zum Gewinnen von Bildern bei Mehrfachempfang
DE102008039051.8 2008-08-21
PCT/EP2009/005479 WO2010020336A1 (de) 2008-08-21 2009-07-29 Verfahren zum gewinnen von bildern bei mehrfachempfang

Publications (2)

Publication Number Publication Date
CN102187675A true CN102187675A (zh) 2011-09-14
CN102187675B CN102187675B (zh) 2014-06-25

Family

ID=41170992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980141629.5A Expired - Fee Related CN102187675B (zh) 2008-08-21 2009-07-29 用于在多路接收的情况下获得图像的方法

Country Status (4)

Country Link
EP (1) EP2316223B1 (zh)
CN (1) CN102187675B (zh)
DE (1) DE102008039051A1 (zh)
WO (1) WO2010020336A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100823B (zh) 2015-09-01 2019-03-12 京东方科技集团股份有限公司 一种自适应媒体业务的处理方法、装置、编码器及解码器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10027610A1 (de) 2000-06-06 2001-12-13 Fuba Automotive Gmbh Verfahren zum Diversityempfang von digitalen Fernsehsignalen
DE10224536B4 (de) 2002-05-31 2009-04-23 Harman Becker Automotive Systems (Xsys Division) Gmbh Verfahren und Schaltungsanordnung zum Mehrwegeempfang
WO2004036817A1 (en) 2002-10-18 2004-04-29 Matsushita Electric Industrial Co., Ltd. Constellation rearrangement for transmit diversity schemes
WO2005076623A2 (en) * 2004-02-09 2005-08-18 Matsushita Electric Industrial Co., Ltd. Broadcast receiving apparatus, broadcast receiving method, broadcast receiving program, and broadcast receiving circuit
US7706633B2 (en) * 2004-04-21 2010-04-27 Siemens Corporation GPU-based image manipulation method for registration applications
DE102004020503A1 (de) 2004-04-26 2005-11-17 Fuba Automotive Gmbh & Co. Kg Verfahren zum mobilen Empfang von Bildinformationen
JP4670303B2 (ja) * 2004-10-06 2011-04-13 ソニー株式会社 画像処理方法及び画像処理装置
US7944967B2 (en) * 2005-07-28 2011-05-17 Delphi Technologies, Inc. Technique for addressing frame loss in a video stream
EP2100461A2 (en) * 2006-12-20 2009-09-16 Thomson Research Funding Corporation Video data loss recovery using low bit rate stream in an iptv system

Also Published As

Publication number Publication date
WO2010020336A1 (de) 2010-02-25
CN102187675B (zh) 2014-06-25
DE102008039051A1 (de) 2010-02-25
EP2316223A1 (de) 2011-05-04
EP2316223B1 (de) 2013-09-11

Similar Documents

Publication Publication Date Title
CN101646034B (zh) 图像处理器和图像处理方法
US6771704B1 (en) Obscuring video signals for conditional access
KR101675555B1 (ko) 깊이 맵의 코딩
US8363925B2 (en) Method and apparatus for creating stereo image according to frequency characteristics of input image and method and apparatus for reproducing the created stereo image
CN100473167C (zh) 图像编码方法和图像编码器
US20090147851A1 (en) Motion vector field projection dealing with covering and uncovering
CN101313580A (zh) 使用内容信息安排多媒体转码的内容驱动转码器
US20230245268A1 (en) Method and device for encoding/decoding the geometry of a point cloud
JP2012514818A (ja) 統合デプス推定
CN104221379A (zh) 自适应分区编码
CN102282838A (zh) 针对多次曝光的增强动态范围图像和视频的方法和系统
US8891628B2 (en) Methods for encoding and decoding a signal of images, corresponding encoding and decoding devices, signal and computer programs
US20240114143A1 (en) Encoding and decoding a point cloud using patches for in-between samples
CN102823241A (zh) 立体三维图像的低带宽内容保留压缩方法和设备
CN102187675B (zh) 用于在多路接收的情况下获得图像的方法
CN116724212A (zh) 熵编码/解码自旋传感器头捕获的点云几何数据的方法和装置
CN101375609B (zh) 适应性的编码和解码
WO2020014408A1 (en) Method for encoding/decoding texture of points of a point cloud
US8731045B2 (en) Motion encoding and decoding
US20220164992A1 (en) Processing a point cloud
KR101720320B1 (ko) 다중 스트림 기반 3차원 영상의 에러 보정 방법 및 장치
US9456215B2 (en) Image transmission apparatus in digital TV broadcasting
CN113475093B (zh) 用于处理点云的方法和装置
EP4160534A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor
EP4160925A1 (en) Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140625

Termination date: 20200729

CF01 Termination of patent right due to non-payment of annual fee