CN102714028A - 数字视频信号、用于编码数字视频信号的方法和数字视频信号编码器 - Google Patents

数字视频信号、用于编码数字视频信号的方法和数字视频信号编码器 Download PDF

Info

Publication number
CN102714028A
CN102714028A CN2011800056711A CN201180005671A CN102714028A CN 102714028 A CN102714028 A CN 102714028A CN 2011800056711 A CN2011800056711 A CN 2011800056711A CN 201180005671 A CN201180005671 A CN 201180005671A CN 102714028 A CN102714028 A CN 102714028A
Authority
CN
China
Prior art keywords
frame
pixel
source
reference frame
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800056711A
Other languages
English (en)
Other versions
CN102714028B (zh
Inventor
亚采克·派科左斯基
巴威尔·布隆斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Digital Broadcast SA
Original Assignee
Advanced Digital Broadcast SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Digital Broadcast SA filed Critical Advanced Digital Broadcast SA
Publication of CN102714028A publication Critical patent/CN102714028A/zh
Application granted granted Critical
Publication of CN102714028B publication Critical patent/CN102714028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/04Partial updating of the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/16Determination of a pixel data signal depending on the signal applied in the previous frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明的一个目的是一种包括帧序列的数字视频信号,其中,所述序列中的每个视频帧相对于所述序列中的上一帧相差不大于预定的像素最大阈值量的像素数量。本发明的另一目的是一种用于编码数字源视频信号的方法,包括以下步骤:接收参考帧;接收所述源视频信号的源帧;基于所述源帧与所述参考帧之间的差生成编码帧;其中,所述编码帧的生成包括以下步骤:确定像素最大阈值量;比较所述参考帧与所述源帧并从所述参考帧与所述源帧之间不同的像素中选择多个像素,所选择的像素的数量不大于所述像素最大阈值量;将所述参考帧中的所选择的像素的值变化为所述源帧中的对应像素的值以提供用于下一源帧的参考帧;和提供定义所述参考帧中变化像素的编码帧。

Description

数字视频信号、用于编码数字视频信号的方法和数字视频信号编码器
技术领域
本发明涉及视频信号编码,包括转码。 
背景技术
典型的视频信号包括很多帧,其在以适当的速度例如25帧每秒显示时,提供给观众观看连续场景的印象。在原始形式中,数字信号包括待显示的帧序列。已知很多技术用于编码原始数字信号,其中,大多数技术致力于减小传送该信号需要的带宽同时对于给定观众保持可接受的质量级别。当要显示编码的数字视频信号时,它被解码为原始形式,并且,连续帧被传送至显示器以便以给定的速度将它们显示给观众。 
立体视频信号包括交替的左和右帧,即,由观众的左眼和右眼观看的帧,其被以高于单通道视频信号的速度显示,例如,60帧每秒。该信号可以通过所谓的快门眼镜例如LCD快门眼镜来观看,其操作与该显示器同步。当显示左帧时,左快门镜片打开并且右快门镜片关闭,而当显示右帧时,左快门镜片关闭并且右快门镜片打开。在美国专利号4,424,529“远程触发的便携式立体观看系统”中公开了这种类型的基本立体系统。 
典型的视频显示器,例如,LCD显示器,需要一定量的时间,典型地,5ms至8ms的量级,来重绘当前显示帧以显示下一帧,被称为帧重绘时间。重要的是同步快门眼镜的操作以致仅仅当帧被全部重绘完时打开快门镜片,以便提供给观众完整的画面。因此,在帧重绘期间,左快门镜片和右快门镜片都关闭。当以60帧每秒的速度显示帧时,分配给一只眼睛单一帧的时间是16,7ms,其中,帧显示例如11,7ms并且重绘5ms。在理想的情况下,当快门眼镜与显示器完美同步时,数字视频信号、用于编码数字视频信号的方法和数字视频信号编码器 定义观众的一只眼睛可以观看视频信号的时间的百分比的有效观看系数为11,7ms/2*16,7ms=35%。对于具有更长重绘时间的较老类型的显示器,该系数可能更差,例如,对于10ms重绘时间为20%。实际上,可能有另外的需要引入以补偿各种信号延迟的快门关闭时间。已经进行了各种尝试来改进同步,以便达到高有效观看系数同时保持适当的同步,例如,在美国专利号6,678,091“一个或者多个快门与图像序列同步的系统和方法”中公开的方法。 
在通过快门眼睛观看立体视频信号的情况下,有效观看系数越低,观众眼睛接收的信息越少,并且,对所观看信号的印象越差,这归因于越差的亮度和颜色感知。本发明的目的是改进观众在观看视频信号,尤其是立体视频信号时的印象。该目的通过提供一种可被以更短的帧重绘时间显示的视频信号来实现。在单通道视频信号的情况下,这导致更加稳定的显示。在立体视频信号的情况下,这允许在通过快门眼镜观看该信号时达到更高的有效观看系数。 
发明内容
本发明的一个目的是一种包括帧序列的数字视频信号,其特征在于,所述序列中的每个视频帧相对于所述序列中它的上一帧相差不大于预定的像素最大阈值量的多个像素。 
所述信号可以包括至少一个差帧,所述差帧仅定义变化像素。所述信号还可以包括至少一个全帧,所述全帧相对于所述序列中的所述上一帧定义变化像素和未变化像素。 
所述变化像素的数量可以等于所述预定的像素最大阈值量或者不小于预定的像素最小阈值量。 
所述变化像素可以是其值在预编码信号的源帧与参考帧之间变化最大的像素。所述变化像素还可以是属于预定的一个或者更多帧区域的像素。 
本发明的另一目的是一种用于编码数字源视频信号的方法,包括以下步骤:接收参考帧;接收所述源视频信号的源帧;基于所述源帧与所述参考帧之间的差生成编码帧;其中,所述编码帧的生成包括以 下步骤:确定像素最大阈值量;比较所述参考帧与所述源帧并从所述参考帧与所述源帧之间不同的像素中选择多个像素,所选择的像素的数量不大于所述像素最大阈值量;将所述参考帧的所选择的像素的值变化为所述源帧的对应像素的值以提供用于下一源帧的参考帧;和提供定义所述参考帧中变化像素的编码帧。 
所述编码帧可以进一步定义所述参考帧中未变化的像素。 
所述方法可以进一步包括以下步骤:在所选择的像素的数量小于所述像素最大阈值量的情况下,选择另外的像素并改变所述参考帧中的所选择的另外的像素的值以便所选择的像素和所选择的另外的像素的数量总和等于所述像素最大阈值量或者不小于预定的像素最小阈值量。 
所选择的像素可以是其值在所述源帧与所述参考帧之间相差最大的像素。所选择的像素还可以是属于预定的一个或者更多帧区域的像素。 
所述方法可以进一步包括以下步骤:接收至少一个另外的源帧,比较所述参考帧与所述源帧以及所述至少一个另外的源帧,并从所述参考帧与所述源帧和/或所述至少一个另外的源帧之间不同的像素中选择多个像素。 
所述方法可以进一步包括以下步骤:根据源信号内容确定所述像素最大阈值量的值。 
所述方法可以进一步包括以下步骤:根据所述编码帧与所述源帧之间的差的量确定所述像素最大阈值量的值。 
本发明的再一目的是一种计算机程序,其包括用于当所述程序在计算机上运行时执行上述方法的全部步骤的程序代码。 
本发明的又一目的是一种计算机可读介质,其存储当在计算机上运行时执行上述计算机执行方法的全部步骤的计算机可执行指令。 
本发明的另一目的是一种数字视频信号编码器,包括:参考帧缓冲器,其配置为接收参考帧;源帧缓冲器,其配置为接收源视频信号的源帧;帧编码器,其配置为基于所述源帧与所述参考帧之间的差生成编码帧;其中,所述帧编码器包括:像素最大阈值量容器;帧处理 器,其耦合至所述像素最大阈值量容器并配置为:从所述参考帧缓冲器接收参考帧;从所述源帧缓冲器接收源帧;比较所述参考帧与所述源帧并从所述参考帧与所述源帧之间不同的像素中选择多个像素,所选择的像素的数量不大于所述像素最大阈值量;将所述参考帧的所选择的像素的值变化为所述源帧的对应像素的值以提供用于下一源帧的参考帧并将所述参考帧存储在所述参考帧缓冲器中;和提供定义所述参考帧中变化像素的编码帧。 
所述帧处理器可以进一步配置为提供定义所述参考帧中的变化像素和所述参考帧中的未变化像素的编码帧。 
所述帧处理器可以进一步配置为,在所选择的像素的数量小于所述像素最大阈值量的情况下,选择另外的像素并改变所述参考帧的所选择的另外的像素的值以便所选择的像素和所选择的另外的像素的数量总和等于所述像素最大阈值量或者不小于预定的像素最小阈值量。 
所述帧处理器可以进一步配置为选择其值在所述源帧与所述参考帧之间变化最大的像素。所述帧处理器还可以进一步配置为选择属于预定的一个或者更多帧区域的像素。 
所述帧处理器可以进一步配置为:从配置为存储多个连续源帧的源帧缓冲器接收至少一个另外的源帧,比较所述参考帧与所述源帧以及所述至少一个另外的源帧,并从所述参考帧与所述源帧和/或所述至少一个另外的源帧之间不同的像素中选择多个像素。 
所述数字视频信号编码器可以进一步包括信号质量分析器,其配置为从所述源帧缓冲器接收源帧,以及根据源信号内容确定所述像素最大阈值量的值并在所述像素最大阈值量容器设置所述确定的值。 
所述数字视频信号编码器可以进一步包括信号质量分析器,其配置为从所述源帧缓冲器接收源帧并从所述参考帧缓冲器接收参考帧,和根据所述编码帧与所述源帧之间的差的量确定所述像素最大阈值量的值并在所述像素最大阈值量容器设置所述确定的值。 
本发明的又一目的还是一种视频显示单元,其包括上述数字视频信号编码器。 
附图的简要说明 
本发明将参照附图进行描述,其中: 
图1A-1D示出数字视频源信号的示例性帧和根据本发明的编码信号,大体上分别显现了像素最大阈值量、选择其值经历最大变化量的像素、通过宏块选择像素和通过其他类型的屏幕区域选择像素的概念; 
图2示出信号编码方法的实施例; 
图3示出包含通过区域来分析帧的像素选择方法的实施例; 
图4示出数字视频信号编码器的实施例。 
具体实施方式
图1A示出数字视频源信号的示例性帧111-114和根据本发明的可包括编码全帧121F-124F和/或编码差帧121D-124D的编码信号的各帧,旨在显现像素最大阈值量的概念的原理。为清楚起见,图1A中所示信号包括相对小的帧,10×10像素。然而,该概念可扩展至具有更大帧的信号,例如,720×576像素(ITU-R 601 PAL格式)或者1920×1080像素(由ITU-R BT.709定义的全高清分辨率)。根据本发明的编码信号包括可以是编码全帧121F-124F或者编码差帧121D-124D的帧序列,其中,该序列中的每帧定义相对于该序列中的上一帧变化的像素,其中,变化像素的数量不大于预定的像素最大阈值量。差帧121D-124D仅仅定义变化的像素,即,它们不定义未变化的像素,并且可以包括附加数据,例如,帧头等。换句话说,差帧涉及或者取决于上一帧中的数据,类似于根据MPEG视频标准的P帧。全帧121F-124F定义变化的像素和未变化的像素,类似于根据MPEG视频标准的I帧。例如,全帧是单个未压缩(原始)帧的压缩版本。全帧可包括,例如,帧头中识别变化像素的列表。此外,全帧和差帧可包括,例如,帧头中关于变化像素量的信息。 
标准显示控制器,例如,LCD显示控制器,通过重新编码屏幕的连续像素的值来重绘屏幕。因此,重绘屏幕需要的时间与像素数量成比例并且随着屏幕例如LCD矩阵的分辨率增加。通过重新设计显示控制器重新编码并非屏幕的全部而是仅仅特定像素的值,帧重绘时间可 大幅减少,与要重绘像素数量的减少成比例。在图1A的例子中,像素最大阈值量被设为15%或者15像素。对于这种结构,屏幕可以以大约15%的重绘整个屏幕所需时间来重绘。因此,典型的5ms帧重绘时间可以减少为大约0,75ms,导致帧显示时间增加4,25ms,对于60帧每秒的速度其将有效观看系数从11,7ms/2*16,7ms=35%增加至15,95ms/2*16,7ms=48%。如此高的系数增加对于可应用于包含相对小变化的信号的情况的低像素最大阈值量是可能的。在快速变化信号的情况下,为了避免编码帧与源帧之间不可接受的差,像素最大阈值量应当更高,例如,50%,其产生的有效观看系数为14,2ms/2*16,7ms=43%,这仍然显著高于原始值35%。 
每个编码帧121D-124D或者121F-124F类似于对应的源帧111-114。在编码处理中,每个源帧相对于参考帧编码,在本例中参考帧是上一编码全帧。对于接收包括交替的左和右帧的单个流的立体显示器,各帧可以以交替的顺序处理,即,一个序列可包括交替的左眼和右眼帧。可选地,对于接收独立的左和右眼流的立体显示器,各帧可以以特定眼序列处理,即,左眼帧可以独立于右眼帧编码。每个源帧被处理为与参考帧相差不大于像素最大阈值量的多个像素。 
为清楚起见,第一编码全帧121F和第一编码差帧121D对应于第一源帧111。在图1A的例子中,像素最大阈值量被设为15%或者15像素。由于第二源帧112与它的参考帧即第一编码全帧121F之间的差是20像素,大于像素最大阈值量,第二编码全帧122F仅仅部分对应于第二源帧112。接着,第二编码差帧122D将第二编码全帧122F与第一编码全帧121F之间的差,即要变化的15像素定义为白色。类似地,由于第三源帧113与它的参考帧即第二编码全帧122F之间的差是17像素,大于像素最大阈值量,第三编码全帧123F仅仅部分对应于第三源帧113。第三编码差帧123D将第三编码全帧123F与第二编码全帧122F之间的差,即要变化的15像素定义为白色。然而,由于第四源帧114与它的参考帧即第三编码全帧123F之间的差是6像素,小于像素最大阈值量,第四编码全帧124完全对应于第四源帧114。第四编码差帧124D将第四编码全帧124D与第三编码全帧123F之间的 差,即要变化的6像素定义为白色。因此,在要编码帧与它的上一帧相差大于像素最大阈值量的像素量的情况下,并不是该帧的全部像素必须变化。要编码的像素可以根据如下所述的各种算法选择。 
图1B示出数字视频源信号的示例性帧131-134和根据本发明的可包括编码全帧141F-144F和/或编码差帧141D-144D的编码信号的各帧,旨在大体上显现选择其值经历最大变化量的像素的概念和最小像素阈值量的概念。该方法包括:比较源帧与参考帧以获得关于像素值变化的信息,和对于其值经历最大变化量的像素,将源帧的像素值变化为参考帧的像素值。在图1B的例子中,像素最大阈值量被设为15%或者15个像素。为清楚起见,第一编码全帧141F和第一编码差帧141D被设为对应于第一源帧131。第二源帧132包括16个黑像素和8个灰像素。灰像素以字母“x”指示。在这种情况下,要变化的像素仅仅从16个黑像素中选择并且在第二编码全帧142F和第二编码差帧142D中8灰像素被丢弃。由于第三源帧133与它的参考帧即第二编码全帧142F相差1个黑像素和8个灰像素,是低于像素最大阈值量的量,第三编码全帧143F和第三编码差帧143D可以编码为完全类似于第三源帧133。编码数字视频信号将在该点达到源信号的内容。第四源帧134与它的参考帧即第三编码全帧143F相差8个像素,是低于像素最大阈值量的量,因此,第四编码全帧144F和第四编码差帧144D可以编码为完全类似于第四源帧144,并且因此编码数字视频信号将在该点跟随源信号的内容。此外,第四编码帧144F、144D可以被处理为与参考帧相差不小于最小像素阈值量的像素数量。例如,在最小像素阈值量被设为10%的情况下,第四编码帧144F、144D可进一步包含两个变化的像素,优选屏幕边界处的最小值,以“/”指示。 
图1C示出数字视频源信号的示例性帧151-153和根据本发明的可包括编码全帧161F-163F和/或编码差帧161D-163D的编码信号的各帧,旨在大体上显现通过宏块选择像素的概念。该方法包括:比较源帧与参考帧以获得关于像素值变化的信息,和对于属于预定的一个或者多个帧区域,例如宏块的像素,将源帧的像素值变化为参考帧的像素值。在图1C的例子中,宏块被定义为2×2像素区域。在第一分析 宏块中变化像素的数量并未超过像素最大阈值量的情况下,第一宏块的所有对应像素可以变化,并且更多的宏块可以被分析,直至整个帧中变化像素的总数达到像素最大阈值量。在图1C的例子中,另外的宏块被选作具有等于+2数量的宏块。在图1C的例子中,像素最大阈值量被设为50%或者50像素。因此,第二源帧152的第一宏块相对于第一编码帧161包括要变化的4个像素,第三宏块包括要变化的4个像素,等等,直至包括要变化的4个像素的第25个宏块,但是由于已变化像素的总量等于48,那么第25个宏块中只有2个像素被选择为要变化。第三源帧153包括不包含要变化像素的宏块1,3,…,23、相对于第二编码帧162包含要变化的2个像素的第25个宏块和每个包含要变化的4个像素的宏块2,4,…,24。由于要变化像素的总数量等于像素最大阈值,在第三编码帧163全部像素变化。 
图1D示出数字视频源信号的示例性帧171-173和根据本发明的编码信号181-183,旨在大体上显现通过其他类型的屏幕区域例如行来选择像素的概念。该方法类似于图1C所示,其中取代分析每个第二宏块中的像素,在每个第二行中分析像素。在图1C的例子中,像素最大阈值量被设为40%或者40个像素。因此,第二源帧172的第一行相对于第一编码帧181包括要变化的10个像素,第三行包括要变化的10个像素,等等,直至包括要变化的最后10个像素直至达到像素最大阈值量的界限的第7行。第三源帧173包括不包含要变化像素的行1,3,5,7和每个包含要变化的10个像素的行2,4,6,8。因此,第三源帧173的第9行相对于第二编码帧182包括要变化的10个像素,第2行包括要变化的10个像素,等等,直至包括要变化的最后10个像素直至达到像素最大阈值量的界限的第6行。第四源帧174包括不包含要变化的像素的行1-7,9和每个包含要变化的10个像素的行8,10。由于要变化像素的总数量低于像素最大阈值,在第四编码帧184中全部像素发生变化。 
编码信号可仅仅包括编码全帧序列,其使得适于通过任意标准视频显示单元显示。这一帧序列可进一步经历压缩算法,优选无损压缩算法以便不对各帧内容引入另外的变化。 
此外,编码信号可仅仅包括差帧序列,其使得仅仅适于能够解码这种信号的视频显示单元,但是减少了传送该信号需要的带宽。这种编码信号形式还可用于信号编码器嵌入视频显示单元中并且它的输出直接连接于处理这种格式的帧的视频显示控制器的情况。 
另外,编码信号可包括包含跟随有多个差帧的一系列全帧的序列,例如: 
{F,D,D,D,D,D,F,D,D,D,D,F,D,D,F,D,D,D,D} 
这种信号格式仅仅适用于能够解码这种信号的视频显示单元,但是减少了传送该信号需要的带宽,并且,可用于容易信号失真的通道上的信号传送。即使信号传送在任一点被中断,该信号的内容在接收第一全帧之后将被恢复。 
图2示出信号编码方法的实施例。在步骤201中,接收参考帧。第一源帧的参考帧可以是预定帧,例如,包括全部黑像素的帧,或者,等于第一源帧的帧。更多源帧的参考帧在该方法内生成。在步骤202中,接收源帧,其是跟随之前处理的源帧的帧。在步骤203中,至少确定像素最大阈值量,其指定可在当前编码帧中相对于参考帧变化的像素的最大量。此外,在步骤203中,可确定像素最小阈值量,其指定在当前编码帧中相对于参考帧应当变化的像素的最小量。在下面的步骤中,相对于参考帧编码源帧以获得与参考帧相差不大于像素最大阈值量并且优选不小于像素最小阈值量的多个像素的编码帧。在步骤204中,参考帧与源帧相比较以确定源帧与参考帧之间各像素值的差。在步骤205中,根据其一个实施例如图3所示的像素选择方法,在参考帧中选择要变化的像素。要变化的像素包括参考帧与源帧之间不同并且其数量不大于像素最大阈值量的像素。在步骤206中,参考帧的选择像素的值变化为源帧中对应像素的值。在步骤207中,将变化的参考帧作为参考帧提供至下一源帧。接着,在步骤208中,提供编码帧,其定义参考帧中变化的像素。该编码帧可以是全帧,对应于变化的参考帧,定义变化像素和未变化像素。可选地,该编码帧可以是差帧,仅定义变化像素。在步骤209中,该方法进行至下一源帧。 
在提供全帧作为编码帧的情况下,变化像素可在编码帧内另外指 示。该指示可以通过生成包括关于与上一编码全帧不同的像素的信息的编码全帧头来实现。在另一实施例中,该指示可以通过进一步处理编码全帧以将变化像素的信息嵌入像素值中来实现,例如,通过改变源帧像素的最低位以便要重绘的变化像素具有偶数值而未变化像素具有奇数值,或者反之。例如,可以改变像素G(绿)分量值,作为具有最低可见性的分量。 
在信号编码的开始,当没有上一帧可用时,可以在编码帧序列的开始输入多个帧以在黑屏即通常在改变信号源时显示的全黑帧与该源信号的第一帧之间提供平滑的过渡。 
在一特定实施例中,在步骤205中选择的要变化像素的数量等于像素最大阈值量,以便每个连续编码帧相差准确数量的像素。在选择的参考帧与源帧之间不同的像素的数量小于像素最大阈值量的情况下,为变化最小值可以进一步选择像素,以便选择的像素和进一步选择的像素的数量总和等于像素最大阈值量。要变化的进一步像素可以选择自屏幕边界处所示的像素,其对于观众较不可见。这保证显示编码信号时全部帧具有均衡的帧重绘时间,其方便了快门眼镜的同步。这种方案有利于其中信号应当以标准形式发送至显示单元的标准系统。 
在另一特定的实施例中,在步骤205中选择的要变化像素的数量不大于像素最大阈值量并且不小于像素最小阈值量。在选择的参考帧与源帧之间不同的像素的数量小于像素最大阈值量的情况下,为变化最小值可以进一步选择像素,以便选择的像素和进一步选择的像素的数量总和不小于像素最小阈值量。要变化的进一步像素可以选择自屏幕边界处所示的像素,其对于观众较不可见。在像素最小阈值量被设为接近像素最大阈值量的值的情况下,全部帧的帧重绘时间将类似,因此,对于每个帧快门眼镜将打开类似量的时间,并且因此观众的眼睛将接收每个帧类似的持续时间,从而对于每个帧具有类似级别的亮度感知。 
在其值在源帧与参考帧之间不同的像素的数量大于像素最大阈值量的情况下,可以采用各种选择算法。像素选择的一个方法可以包含 选择其值在源帧与参考帧之间相差最大的像素。例如,如图1B所示,可以在颜色从白色变至灰色的像素之前选择颜色从白色变至黑色的像素。在处理多个参考帧的情况下,其值在连续源帧中恒定的像素,即代表有意变化的像素,可以优先于其值在每个源帧之间不同的像素,即代表噪声的像素。另一像素选择方法可包括分析相邻像素,并且,其相邻像素也经历变化的变化像素可以优先于其相邻像素不经历任何变化的像素,其因而对于观众较不可见。再一像素选择方法可包含屏幕中间的像素优先于屏幕边界处的像素。 
可选地,编码信号包括定义识别帧可包括的变化像素的最大数量的最大阈值的信息。该参数可以是有用的,当接收器要处理接收的编码信号并且该最大值用作参数时。在另一实施例中,可以适应性地测试最大阈值,其可能需要时间并且在显式最大阈值识别的情况下分析哪个是不需要的。 
图3示出要在步骤205中执行的包含通过区域分析帧的像素选择方法的实施例,其在如图1C和1D所示的超过像素最大阈值量的大帧区域变化的情况下特别有用。在步骤301中,确定要分析的第一区域。区域可以覆盖如图1C所示的宏块,如图1D所示的行或者帧的不同形状的部分。在步骤302中,记住最大允许的像素最大阈值量,在当前有效区域内选择要变化的像素。在步骤303中确定该帧内目前变化像素的量并未超过像素最大阈值量的情况下,在步骤304中确定下一区域。下一区域可以是最接近当前处理区域的区域,相隔一个或者更多区域(例如,如图1C和1D所示相隔1区域)的区域或者随机选择的区域。此外,可以根据每个区域内变化像素的量将选择的区域分类,以便像素值首先在发生最大变化的区域变化,这在生成用于具有其中整个区域一次重绘而不是单个像素的显示单元的信号的情况下特别优选。在步骤305中,在达到最大允许的要变化像素数量即像素最大阈值量的情况下,表明该帧准备好变化。 
图4示出数字视频信号编码器的实施例。该编码器可以嵌入视频显示单元中,例如,LCD显示器,以接收源视频信号并将编码信号提供至该显示控制器。该编码器还可以在视频显示单元的外部,例如, 它可以嵌入PC计算机、视频光盘播放器或者数字电视机顶盒中并将信号提供至视频显示单元。该编码器包括:配置为接收源视频信号的源帧的源帧缓冲器401、配置为接收参考帧的参考帧缓冲器402和耦合至参考帧缓冲器和源帧缓冲器并配置为根据图2中示出的编码方法相对于参考帧编码源帧以提供编码帧的帧编码器403。具体地,该帧编码器可以配置为:比较参考帧与源帧并从参考帧与源帧之间不同的像素中选择多个像素,选择的像素的数量不大于像素最大阈值量,将参考帧的选择像素的值变化为源帧的对应像素的值以提供用于下一源帧的参考帧且将该参考帧存储在参考帧缓冲器402中并提供定义参考帧中变化像素的编码帧。如上所指示,该编码帧可以是相当于参考帧的全帧或者差帧。帧编码器403包括像素阈值量容器404,其配置为存储像素最大阈值量并优选存储像素最小阈值量。最大和最小阈值的值可以对于给定类型的视频显示器预设,或者通过外部实体设置。例如,最大阈值可以通过快门眼镜控制器设置以将该系统调整为特定类型的快门眼镜。可选地,最大阈值可以通过信号质量分析器406设置,其配置为分析源视频信号并根据源信号内容调整最大阈值的值,例如,对于帧间变化量大的信号将该系数设置为较大的值,对于帧间变化量小的信号将该系数设置为较小的值。信号质量分析器406可进一步配置为通过比较编码帧与源帧之间差的量自校准并在差的量增大的情况下增大最大阈值。帧编码器403进一步包括帧处理器405,其配置为处理源帧以生成与参考帧相差不大于像素最大阈值量的多个像素的编码帧。该帧处理器可以通过执行图2和图3中示出方法的软件来控制。每个编码帧可以输出至该显示器并输入参考帧缓冲器402以用作要编码的下一源帧的参考帧。 
本领域技术人员可以容易地认识到,前述用于编码数字视频信号的方法可以通过一个或者更多计算机程序执行和/或控制。这种计算机程序通常通过利用计算设备,例如,个人计算机、个人数字助理、手机、数字电视的接收器和解码器或者类似物中的计算资源来执行。应用程序存储在例如闪存存储器的非易失性存储器或者例如RAM的易失性存储器中,并由处理器执行。根据本发明的编码器可选地包括这 种存储器。这些存储器是用于存储包括执行根据这里所示技术概念的计算机执行方法的全部步骤的计算机可执行指令的计算机程序的示例性记录介质。 
本发明可以使用任何显示器来执行,例如,计算机监视器、电视显示器、手机、PDA或者膝上型计算机。 
虽然这里示出的发明已经参照具体的优选实施例进行描述、说明和定义,前面说明书中实施方式的这些参考和例子并不意味着对本发明的任何限制。然而显而易见的是,可以对之进行各种修改和改变而不脱离本技术概念的广阔范围。示出的优选实施例仅仅是示例性的,并不是这里所示技术概念范围的穷举。因此,保护范围不限于说明书中描述的优选实施例,而是仅仅由随后的权利要求限制。 

Claims (15)

1.一种包括视频帧序列的数字视频信号,其特征在于,所述序列中的每个视频帧相对于所述序列中它的上一帧相差不大于预定的像素最大阈值量的像素数量。
2.根据权利要求1所述的数字视频信号,包括至少一个差帧,所述差帧仅定义变化像素。
3.根据权利要求1或者2所述的数字视频信号,包括至少一个全帧,所述全帧相对于所述序列中的所述上一帧定义变化像素和未变化像素。
4.一种用于编码数字源视频信号的方法,包括以下步骤:
——接收参考帧;
——接收所述源视频信号的源帧;
——基于所述源帧与所述参考帧之间的差生成编码帧;
其特征在于,所述编码帧的生成包括以下步骤:
——确定像素最大阈值量;
——比较所述参考帧与所述源帧并从所述参考帧与所述源帧之间不同的像素中选择多个像素,所选择的像素的数量不大于所述像素最大阈值量;
——将所述参考帧中的所选择的像素的值变化为所述源帧中的对应像素的值,以提供用于下一源帧的参考帧;和
——提供定义所述参考帧中变化像素的编码帧。
5.根据权利要求4所述的方法,其中,所述编码帧进一步定义所述参考帧中未变化的像素。
6.根据权利要求4-5中任一项所述的方法,进一步包括以下步骤:在所选择的像素的数量小于所述像素最大阈值量的情况下,选择另外的像素并改变所述参考帧中所选择的另外的像素的值,以便所选择的像素和所选择的另外的像素的数量之和等于所述像素最大阈值量或者不小于预定的像素最小阈值量。
7.根据权利要求4-6中任一项所述的方法,其中,所选择的像素是其值在所述源帧与所述参考帧之间相差最大的像素。
8.根据权利要求4-7中任一项所述的方法,其中,所选择的像素是属于预定的一个或者多个帧区域的像素。
9.根据权利要求4-8中任一项所述的方法,进一步包括以下步骤:接收至少一个另外的源帧,比较所述参考帧与所述源帧以及所述至少一个另外的源帧,并从所述参考帧与所述源帧和/或所述至少一个另外的源帧之间不同的像素中选择多个像素。
10.一种计算机程序,其包括用于当所述程序在计算机上运行时执行根据权利要求4至9中任一项所述的方法的全部步骤的程序代码装置。
11.一种计算机可读介质,其存储当在计算机上运行时执行根据权利要求4至9中任一项所述的计算机执行方法的全部步骤的计算机可执行指令。
12.一种数字视频信号编码器,包括:
——参考帧缓冲器(402),其配置为接收参考帧;
——源帧缓冲器(401),其配置为接收源视频信号的源帧;
——帧编码器(403),其配置为基于所述源帧与所述参考帧之间的差生成编码帧;
其特征在于,所述帧编码器(403)包括:
——像素最大阈值量容器(404);
——帧处理器(405),其耦合至所述像素最大阈值量容器(404)并配置为:
——从所述参考帧缓冲器(402)接收参考帧;
——从所述源帧缓冲器(401)接收源帧;
——比较所述参考帧与所述源帧并从所述参考帧与所述源帧之间不同的像素中选择多个像素,所选择的像素的数量不大于所述像素最大阈值量;
——将所述参考帧中所选择的像素的值变化为所述源帧中的对应像素的值以提供用于下一源帧的参考帧并将所述参考帧存储在所述参考帧缓冲器(402)中;和
——提供定义所述参考帧中变化像素的编码帧。
13.根据权利要求12所述的数字视频信号编码器,进一步包括信号质量分析器(406),其配置为从所述源帧缓冲器(401)接收源帧,并根据源信号内容确定所述像素最大阈值量的值以及在所述像素最大阈值量容器(404)处设置所述确定的值。
14.根据权利要求12所述的数字视频信号编码器,进一步包括信号质量分析器,其配置为从所述源帧缓冲器(401)接收源帧并从所述参考帧缓冲器(402)接收参考帧,以及根据所述编码帧与所述源帧之间的差的量确定所述像素最大阈值量的值并在所述像素最大阈值量容器(404)处设置所述确定的值。
15.一种视频显示单元,其包括根据权利要求12-14中任一项所述的数字视频信号编码器。
CN201180005671.1A 2010-01-22 2011-01-21 视频显示单元、用于编码数字视频信号的方法和编码器 Active CN102714028B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20100151391 EP2360669A1 (en) 2010-01-22 2010-01-22 A digital video signal, a method for encoding of a digital video signal and a digital video signal encoder
EP10151391.9 2010-01-22
PCT/EP2011/050845 WO2011089229A1 (en) 2010-01-22 2011-01-21 A digital video signal, a method for encoding of a digital video signal and a digital video signal encoder

Publications (2)

Publication Number Publication Date
CN102714028A true CN102714028A (zh) 2012-10-03
CN102714028B CN102714028B (zh) 2015-05-20

Family

ID=42198990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180005671.1A Active CN102714028B (zh) 2010-01-22 2011-01-21 视频显示单元、用于编码数字视频信号的方法和编码器

Country Status (6)

Country Link
US (1) US8994789B2 (zh)
EP (1) EP2360669A1 (zh)
CN (1) CN102714028B (zh)
CA (1) CA2784962A1 (zh)
EA (1) EA201270693A1 (zh)
WO (1) WO2011089229A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747320A (zh) * 2013-12-27 2014-04-23 京东方科技集团股份有限公司 一种双视显示装置以及双视显示方法
CN106713816A (zh) * 2017-01-09 2017-05-24 宇龙计算机通信科技(深圳)有限公司 图像传输的方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567765B2 (en) 2014-01-15 2020-02-18 Avigilon Corporation Streaming multiple encodings with virtual stream identifiers
JP6558071B2 (ja) * 2015-05-20 2019-08-14 富士通コネクテッドテクノロジーズ株式会社 無線通信装置、無線通信プログラム、及び無線通信方法
CN110557522A (zh) * 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 一种去除视频抖动的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218670A1 (en) * 2003-05-02 2004-11-04 Lai Jimmy Kwok Lap Method and apparatus for reducing the bandwidth required for transmitting video data for display
US20070280355A1 (en) * 2005-08-09 2007-12-06 Tuomas Karkkainen Processing of Video Image
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4214267A (en) 1977-11-23 1980-07-22 Roese John A Stereofluoroscopy system
US6678091B2 (en) 2000-02-16 2004-01-13 Matthew Bruce Tropper System and method to synchronize one or more shutters with a sequence of images
US7953285B2 (en) * 2006-11-03 2011-05-31 Taiwan Imagingtek Corporation Method and circuit of high performance variable length coding and decoding for image compression
JP2009100373A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
WO2009133879A1 (ja) * 2008-04-30 2009-11-05 日本電気株式会社 画像評価方法、画像評価システム及びプログラム
US8559512B2 (en) * 2010-05-05 2013-10-15 Ceva D.S.P. Ltd. Device, system, and method for predicting residual data for intra and inter frame encoding of image or video data
US20120033138A1 (en) * 2010-08-05 2012-02-09 Vixs Systems, Inc. Motion detector for cadence and scene change detection and methods for use therewith
US8761245B2 (en) * 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040218670A1 (en) * 2003-05-02 2004-11-04 Lai Jimmy Kwok Lap Method and apparatus for reducing the bandwidth required for transmitting video data for display
US20070280355A1 (en) * 2005-08-09 2007-12-06 Tuomas Karkkainen Processing of Video Image
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747320A (zh) * 2013-12-27 2014-04-23 京东方科技集团股份有限公司 一种双视显示装置以及双视显示方法
WO2015096457A1 (zh) * 2013-12-27 2015-07-02 京东方科技集团股份有限公司 显示装置以及显示方法
US9369634B2 (en) 2013-12-27 2016-06-14 Boe Technology Group Co., Ltd. Display device and display method
CN103747320B (zh) * 2013-12-27 2017-02-22 京东方科技集团股份有限公司 一种双视显示装置以及双视显示方法
CN106713816A (zh) * 2017-01-09 2017-05-24 宇龙计算机通信科技(深圳)有限公司 图像传输的方法及装置

Also Published As

Publication number Publication date
WO2011089229A1 (en) 2011-07-28
CN102714028B (zh) 2015-05-20
EP2360669A1 (en) 2011-08-24
CA2784962A1 (en) 2011-07-28
US8994789B2 (en) 2015-03-31
EA201270693A1 (ru) 2012-12-28
US20120300030A1 (en) 2012-11-29

Similar Documents

Publication Publication Date Title
CN109510990B (zh) 图像处理方法及装置、计算机可读存储介质、电子设备
EP3465673B1 (en) Transitioning between video priority and graphics priority
KR101405032B1 (ko) 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
US10368105B2 (en) Metadata describing nominal lighting conditions of a reference viewing environment for video playback
AU2020210276B2 (en) Method, apparatus and system for encoding and decoding video data
CN102714028B (zh) 视频显示单元、用于编码数字视频信号的方法和编码器
EP3586509B1 (en) Method and device for decoding a high-dynamic range image
CN102625106A (zh) 场景自适应的屏幕编码码率控制方法及其系统
CN102959962A (zh) 图像压缩装置、图像压缩方法、集成电路、程序以及影像显示装置
KR20130105374A (ko) 영상처리장치 및 그 제어방법
CN105025347B (zh) 一种gop图像组的发送和接收方法
CN108881915B (zh) 基于dsc编码技术视频播放的装置和方法
CN102668575B (zh) 显示矩阵控制器和用于控制显示矩阵的方法
EP3367684A1 (en) Method and device for decoding a high-dynamic range image
US11871003B2 (en) Systems and methods of rate control for multiple pass video encoding
US20220138919A1 (en) Image processing device and image processing method
JP4672561B2 (ja) 画像処理装置、受信装置、放送システム、画像処理方法、画像処理プログラム、および記録媒体
KR20210023158A (ko) 초고선명 텔레비전 영상 제공 방법 및 장치
CN107786823A (zh) 应用于电视的电路及相关的影像显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant