CN101002232B - 视频图像的处理 - Google Patents

视频图像的处理 Download PDF

Info

Publication number
CN101002232B
CN101002232B CN2005800272931A CN200580027293A CN101002232B CN 101002232 B CN101002232 B CN 101002232B CN 2005800272931 A CN2005800272931 A CN 2005800272931A CN 200580027293 A CN200580027293 A CN 200580027293A CN 101002232 B CN101002232 B CN 101002232B
Authority
CN
China
Prior art keywords
movable block
pixel
frame
value
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005800272931A
Other languages
English (en)
Other versions
CN101002232A (zh
Inventor
图奥马斯·凯尔凯宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gurulogic Microsystems Oy
Original Assignee
Gurulogic Microsystems Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gurulogic Microsystems Oy filed Critical Gurulogic Microsystems Oy
Publication of CN101002232A publication Critical patent/CN101002232A/zh
Application granted granted Critical
Publication of CN101002232B publication Critical patent/CN101002232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Processing Of Color Television Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种视频图像处理器(1)，构造该处理器(1)用于把所接收的视频信号(3)中包含的单个帧与前一个经处理的帧做比较以检测改变。为了尽可能按紧凑的格式来压缩视频，构造该处理器(1)用于通过把单个帧的像素划分成移动块来检测(7)改变，并且如果所述移动块具有给定数目的这样的像素，这些像素的颜色值较之前一个经处理的帧的相应像素的改变超过了预定的阈值，则把所述移动块检测为已改变的，在当前处理的帧中，把未改变的移动块的像素颜色值变成预定的值，以及产生指出该改变的所述信号(4)。

Description

视频图像的处理
技术领域
本发明涉及视频图像的处理，使得在压缩所述视频图像之后，待存储在存储介质中的数据长度，或者说待进一步在通信网络上传输的数据长度，可以被最小化。
背景技术
以前已经存在广为人知的视频图像编码器，如DivX、MPEG4等，这些编码器能够压缩视频图像，较之按照视频摄像机的格式直接存储视频图像情况下的文件长度，可以显著降低文件长度。例如，MPEG压缩使用这样一种方案，其中所有的视频帧并不直接从编码器按图像帧来转发，而是只在给定的情况下从编码器转发单一的图像帧。该图像帧随后的各帧不被转发。按这种方式，例如，在未改变的背景上，就不需要连续发送信息。同图像再现相联系，播放单一的帧，使用此后从后续各帧收集的变化信息来按照与原始视频图像相同的速率改变所述单一图像帧。因此，观察者可以看到与摄像机原始拍摄图像几乎相同的图像。
但是，使用上述公知压缩算法的编码器具有缺点，这些编码器常常不必要地把视频图像解释成改变到需要传输整个新图像帧的程度。从编码器频繁转发整个帧会导致大的文件长度。
例如，根据国际公开号86/03922，也是一种公知的方案，其中视频图像发送器和接收器的存储器维持相同的较早拍摄的参考图像，并且其中当该图像改变时，首先检查变化的区域是否已改变到对应于所存储的参考图像的相应块。如果是，根据该接收器对改变的各移动块可以从其存储器中的参考图像中检索到哪个码字，从该发送器向该接收器传送码字。而如果改变的移动块不对应于参考图像中的相应块，从发送器把该改变的移动块传送给接收器。
但是，国际公开86/03922的技术方案有缺点，只有在帧的背景保持不变的情况下它才是有效运行的，也就是说，在实践中摄像机应该保持静止。另外，基于码字传输的技术方案与已知的编码器不兼容，因此不能使用已经证明有效的公知编码器的压缩算法。
发明内容
本发明的目的是通过提供一种新颖的处理视频图像的技术方案来解决与已知技术方案相关联的上述问题，通过本发明的技术方案，在可以使用利用现有技术压缩算法来压缩视频图像的编码器的情况下，可以使待转发和存储的数据量最小化。本发明的另一个目的是提供一种技术方案，通过这种技术方案，可以再现依照本发明处理的视频图像。
根据本发明的一个方面，提供一种视频图像处理器，用于接收由视频摄像机产生的视频信号。所述处理器包括比较块和修改块。所述比较块用于把所接收的视频信号中包含的当前处理帧与前一个已处理帧做比较，以检测变化。并且所述处理器产生指出变化的信号。所述处理器的特征在于：所述比较块通过把所述当前处理帧的像素划分成预定尺寸的移动块并且把所述前一个已处理帧的像素划分成相同的所述预定尺寸的移动块来检测变化，并且，当所述当前处理帧的给定的移动块中至少具有给定数目的、其颜色值与所述前一个已处理帧的对应像素的颜色值相比较的变化超过了预定阈值的像素，则把所述给定的移动块检测为已改变的；所述修改块在所述当前处理帧中，把被检测为未改变的移动块中的像素的颜色值设置成预定的值，从而改变不同于被检测为已改变的移动块的像素的所有其他像素的颜色值；以及所述处理器通过在所述指出变化的信号中包含有关被检测为已改变的移动块的信息以及有关未改变的移动块的信息来产生所述指出变化的信号。
根据本发明的第二方面，提供一种视频图像再现设备，用于接收含有图像信息的信号，并且根据该图像信息产生视频信号。该再现设备的特征在于：所述再现设备在所述图像信息中把被检查帧的像素划分成预定尺寸的移动块；所述再现设备包括修改块，该修改块把所述被检查帧中至少存在给定数量的、其颜色值按给定精度对应于给定颜色的颜色值的像素的移动块检测为未改变的，并且，把所有其他移动块检测为已改变的；所述修改块通过把所述被检查帧中被检测为已改变的移动块的像素复制到存储器中前一个完成的帧来修改该存储器中该前一个完成的帧；所述再现设备把存储器中所修改后的帧包含在待产生的视频信号中。
根据本发明的第三方面，提供一种用于处理视频摄像机所产生视频信号的方法，该方法包括：接收视频摄像机的视频信号；把包含在该视频信号中的当前处理帧与前一个已处理帧相比较，以检测改变；以及产生指出改变的信号。该方法的特征在于包括：把所述当前处理帧中的像素划分成预定尺寸的移动块，并且，当给定的移动块中至少存在给定数量的、其颜色值与所述前一个已处理帧的对应像素的颜色值相比较的变化超过了预定阈值的像素，则把该给定的移动块检测为已改变的，由此来检测改变；把那些与所述前一个已处理帧相比未改变的移动块中的像素的颜色值设置成预定值，从而改变在该当前处理帧中与已改变的移动块的像素不同的所有其他像素的颜色值；以及通过在所述指出改变信号中包含有关被检测为已改变的移动块的信息以及有关未改变的移动块的信息来产生所述指出改变的信号。
根据本发明的第四方面，提供一种产生用于再现的视频信号的方法，该方法包括：接收含有图像信息的信号，以及根据该图像信息产生视频信号。该方法的特征在于包括步骤：在所述图像信息中把当前处理帧的像素划分成预定尺寸的移动块；把当前处理帧中至少存在给定数量的、其颜色值按给定精度对应于给定颜色的颜色值的像素的移动块检测为未改变的，并且，把所有其他移动块检测为已改变的；通过把所述当前处理帧中被检测为已改变的移动块的像素复制到存储器中前一个完成帧来修改该存储器中该前一个完成帧；把该存储器中所修改后的帧包含在待产生的视频信号中。
在本发明中，可以发现，当按原始格式只转发或存储改变的移动块时，可以完全避免整个帧的进一步转发或存储。为了使该技术方案有效地与公知的视频编码器压缩算法结合起来使用，本发明总是转发或存储整个帧的所有移动块。但是，未改变移动块中像素的颜色值被改变，以对应于预定颜色的值。通过这种过程，现有技术的编码器可以把视频图像压缩成非常紧凑的格式。实践证明所得到的文件长度减小至未经本发明处理时长度的十分之一。根据本发明的技术方案的最突出的优点是显著降低了待存储的文件长度或待转发的视频数据量。
附图说明
在下面，按例子的方式结合附图详细说明本发明，其中
图1是根据本发明的处理器的第一优选实施例的方框图；
图2是根据本发明的处理方法的第一优选实施例的流程图；
图3是根据本发明的再现设备的第一优选实施例的方框图；
图4示出了利用再现设备的视频图像生成；以及
图5是根据本发明的再现方法的第一优选实施例的流程图。
具体实施方式
图1中方框图的处理器1的各块中所述的操作可以通过软件、电路技术方案或其组合来实现。各块可以按介绍的方式来实现，或者一个或多个块的操作可以集成在一起。
在实践中，处理器1可以与拍摄视频图像的摄像机集成在一起。例如，该摄像机可以是传统的视频摄像机、控制摄像机或带有集成摄像机的移动站。在视频图像被存储或通过网络被发送之前，处理器直接处理来自摄像机的视频图像是有益的，因在这种情况下可以在处理中使出现在图像中的噪声最小化。这种噪声会增加待存储或转发的文件的长度。
在图1的示例性的情况下，处理器1接收由视频摄像机产生的视频信号3。根据所处理的视频信号，处理器1产生并进而提供信号4。从摄像机2接收的最近的帧，即当前处理的帧，被存储在存储器5中。第二存储器6存储前面处理的帧。比较块7对存储器5和6的内容进行比较，每次比较一个移动块，并根据各移动块的像素中的颜色改变来检测改变的移动块。
修改块8根据比较块7所执行的比较来修改当前处理的帧。对于存储器5中所存储的那些在与存储器6所存储的帧做比较时未改变的移动块执行修改。在该修改中，未改变移动块像素的颜色值被设置成对应于特定颜色的值。优选设置这些像素的颜色值，使得像素颜色被定义成黑色。
修改块8还修改在存储器6中存储的帧。这通过从存储器5复制所有改变的移动块的像素并且把所述像素存储在存储器6中的帧的相应各移动块上来完成。然后，存储器6中的所述改变的帧被用作待从摄像机2接收的后续帧的参考帧，以检测改变的移动块。
处理器1使用在存储器5中存储的帧的改变的和未改变的移动块来产生待进一步传送的信号4。所述信号提供给编码器9，它可以是现有技术的编码器，把所接收的视频图像压缩成紧凑格式(例如，MPEG4或DivX)。在经过编码器9的压缩之后，所得到的视频文件例如存储在计算机硬盘10或另外的可通过图像再现设备读取的存储介质中。作为替换，另外的选择是，不进行存储而是把所得到的图像文件从编码器9通过通信网络转发至图像再现设备。
在图1中，以例子的方式，编码器9被示为是与处理器相分开的部分。作为替换，另外的选择是，编码器9与处理器集成在一起，例如，处理器和编码器通过一个微电路来实现。
图2是根据本发明的方法的第一优选实施例的流程图。图2详细示出了图1中处理器的操作。
为了开始处理，首先执行预备步骤。待由摄像机拍摄的原始视频材料被不加改变地按RGB格式设置。移动块被定义成等宽(MBW)且等高(MBH)的同样大小的方块，如4个像素。移动块的大小(MBSIZE)通过移动块的宽度(MBW)乘以其高度(MBH)来计算，(MBW*MBH)＝MBSIZE。
视频帧(FRANE)的宽度(FW)和高度(FH)被设置成可被移动块(MB)的宽度(MBW)和高度(MBH)整除。固定移动块(MB)的数量通过帧宽度(FW)乘以帧高度(FH)、并且该乘积再除以移动块的大小(MBSIZE)来计算，即(((FH*FW)＝FRAMESIZE/MBSIZE)＝MBCOUNT。
根据移动块(MB)的数量(MBCOUNT)建立矩阵(MBMATRIX)，例如使得把帧从左上角至右下角划分成各部分(4x4)。对该帧中的每个(MBCOUNT)移动块(MB)，计算方块P1，P2，P3，P4的角座标(cornercoordinate)X和Y，根据该移动块的序号(MBINDEX)把它们置于该矩阵中。该移动块的角座标按下述顺序来放置：P1是左上角，P2是右上角，P3是右下角，P4是左下角。
建立大小相等的视频帧缓冲区(FRAMEBUFFER)和前一帧缓冲区(LASTFRAMEBUFFER)。为这些缓冲区所保留的大小(FRAMEBUFFERSIZE，LASTFRAMEBUFFERSIZE)通过帧宽度(FW)、帧高度(FH)、色深(COLORDEPTH)按字节相乘来计算，即，(FH*FW*COLORDEPTH)＝FRAMEBUFFERSIZE＝LASTFRAME-BUFERSIZE。
对于像素改变，建立公共的定义像素改变的色敏感值(COLORSENSITIVITY)。为了发现当前像素改变，该值越大，在被比较像素中的颜色变化也必须越大。
对于移动块中的改变，建立公共触发器值(MBTRIGGERVALUE)，该值定义移动块中的改变。该值越大，为了改变当前移动块而必须改变的像素数也越大。
建立改变的像素的计数器值(CHANGECOUNTER)，该值指出当前移动块中改变的像素数。
建立有关改变的移动块的列表(CHANGEDLIST)，该列表指出改变的移动块的序号。
在这些预备操作之后，在方框A开始从摄像机接收视频信号。从摄像机或摄像机模块到达的视频图像被复制到FRAMEBUFFER存储器。如果还完全没有使用前一帧缓冲区(LASTFRAMEBUFFER)存储器，则它被清零。对存储器清零，是指把每个字节的值都设置成零。有关改变的移动块的列表(CHANGEDLIST)被重新设置。设置移动块的色敏感值(COLORSENSITIVITY)，例如，具有4096至8192范围内的值。如果图像的目标是在黑暗中，该值可以被设置得更敏感(如2048至4096)，或者，如果该目标较之正常有更好的光照，该值可设置得更高(如8192至16384)。移动块中改变的触发器值(MBTRIGGERVALUE)例如被设置在4至8。如果所述目标更远，该值可以被设置得更低(如2至4)，如果目标存在许多噪声或干扰，则该值可以被设置得更高(如8至16)。
在方框C开始特定移动块与前一帧中的相应移动块的比较。对每个移动块执行方框D至G的操作。
在方框D检查当前移动块是否包含至少给定数量的、其颜色值超过了预定阈值的像素。这可以按下述方式来执行。
首先，把移动块像素改变的计数器(CHANGECOUNTER)设置成零。建立子循环，其中根据从座标P1至座标P4以方块形式不超出座标P2也不超出座标P3的矩阵(MBMATRIX)检查待处理的(MBINDEX)移动块(MB)的每个(MBSIZE)像素。对每个像素执行下述操作：
从当前处理的帧(FRAMEBUFFER)以及前一帧(LASTFRAMEBUFFER)采集由这些座标指出的像素的RGB值。
当前处理的帧(FRAMEBUFFER)中的像素的RG值(PIXELRG)与前一帧(LASTFRAMEBUFFER)中的像素的RG值(LASTPIXELRG)相比较，以得到颜色成分红(RED)和绿(GREEN)的绝对值的改变，即绝对(ABS)改变(ABSRGDIFFERENCE)。执行计数，以使得当前处理的帧(FRAMEBUFFER)与前一帧(LASTFRAMEBUFFER)的像素的RG值之间的差被置于ABS函数，即ABS(PIXELRG-LASTPIXELRG)＝ABSRGDIFFERENCE。如果颜色成分红(RED)和绿(GREEN)中的绝对改变(ABSRGDIFFERENCE)大于移动块的色敏感值(COLORSENSITIVITY)，像素改变计数器(CHANGECOUNTER)的值增加1。
如果在颜色成分红(RED)和绿(GREEN)中没有检测到像素中的改变，则按照与上述的对RG值的相同方式来比较颜色成分绿(GREEN)和蓝(BLUE)。在这种情况下，当前处理的帧(FRAMEBUFFER)中的像素的GB值(PIXELGB)与前一帧(LASTFRAMEBUFFER)中的像素的GB值(LASTPIXELGB)相比较，以得到颜色成分绿(GREEN)和蓝(BLUE)的绝对(ABS)改变(ABSRGDIFFERENCE)。执行计数，以使得当前处理的帧(FRAMEBUFFER)与前一帧(LASTFRAMEBUFFER)的像素的GB值之间的差被置于ABS函数，即ABS(PIXELGB-LASTPIXELGB)＝ABSGBDIFFERENCE。如果颜色成分绿(GREEN)和蓝(BLUE)中的绝对改变(ABSGBDIFFERENCE)大于移动块的色敏感值(COLORSENSITIVITY)，像素改变计数器(CHANGECOUNTER)的值增加1。
当按照上述方式检查了移动块中所有的像素，则检测像素改变计数器。如果像素改变计数器(CHANGECOUNTER)的值大于移动块改变触发器的值(MBTRIGGERVALUE)，则检测出该移动块改变，因此该过程进至方框F，其中在改变项的列表(CHANGEDLIST)中设置移动块序号(MBINDEX)。而如果像素改变计数器的值小于移动块改变触发器的值，则没有超过预定阈值，因此检测出该移动块没有改变，并且该过程进至方框E。
在方框G，核查待处理的帧的所有移动块是否已经被检查过。如果否，该过程返回至方框C，从该方框开始后续移动块的处理。
在方框H，把移动块中被检测是未改变的像素的颜色值设置成预定值。根据本发明，优选设置这些颜色值以指示该移动块像素是黑色的，因试验表明，这样的话，现有技术的视频图像压缩算法就可以快速处理这些移动块，并且所产生的压缩视频图像文件长度较短。但是，也可以设置颜色值对应于另外的颜色，以使得可获得所使用压缩算法的相应优点。
可通过建立一个循环来实现颜色值的设置，其中，检查所有改变的移动块(CHANGEDLIST)。在该循环中，检查没有出现在改变的项的列表(CHANGEDLIST)中的移动块。在帧缓冲区(FEAMEBUFFER)中，把这些未改变的移动块中的每个像素都设置成黑。
在方框I中，改变的移动块的像素被复制到相应移动块的前一帧中。这可通过在该循环中检查出现在改变的项的列表(CHANGEDLIST)中的移动块来实现。这些移动块的每个像素被不加改变地复制到前一帧缓冲区(LASTFRAMEBUFFER)中的相同位置。
在方框J中，根据有关改变的和未改变的移动块的信息(FRAMEBUFFER)产生信号。该信号表示可随后由压缩算法来压缩的经预处理的图像。
在方框K中，监视是否从摄像机到达更多的视频数据。在肯定的情况下，该过程返回方框A，由此开始新接收帧的处理。
与图2中的流程图不同，在检测出特定移动块改变之后，与方框F相关联，例如通过把围绕所述改变的移动块的各移动块(8个块)添加至改变项的列表(CHANGELIST)，由此把这些移动块也记录成已改变的。实验表明，在某些情况下，在再现视频图像的时候，在这些围绕的移动块中会发生干扰。
图3是根据本发明的再现设备的第一优选实施例的方框图。在图3的方框图中表示的再现设备11的各方框中所描述的操作可以通过计算机软件、电路技术方案或其组合来实现。可选地，这些块可以按所示的方式来实现，或可替换地，一个或多个块的操作可以集成在一起。在实践中，再现设备11可由计算机、电视外围设备、移动站组成，或可以是任何其他可再现视频图像的再现设备。
在图3的情况下，按例子的方式，假定压缩视频数据是从硬盘中获取的，然后，解码器12解码压缩数据(如MPEG4或DivX)并向再现设备提供含有图像信息的信号13。包含在信号13中的图像被存储在存储器14，再现设备11由存储器14获取图像并逐个进行处理。
修改方框15从存储器14所存储的该帧中识别这样的移动块，所述移动块至少包括给定数量的像素，这些像素的颜色值按给定的精度对应于给定颜色的值。修改方框15把这些移动块标识为未改变的移动块。修改方框15把所有其他块标识为已改变的移动块。修改方框15把改变的移动块的像素从存储器14的帧中复制到前一帧的对应移动块中并保存在存储器16。再现设备11使用在存储器16中产生的图像，把它包含在待施加到显示器18的视频信号17中。
图3按例子的方式示出硬盘10(或另外的视频文件的存储介质)、解码器12和显示器18是与再现设备11相互分开的。实际上，这些部分的一个或多个可与再现设备集成在一起。而且，还可选择待再现的视频数据完全不存储在存储介质中，而是从通信网络上获取并由此提供给解码器12。
图4示出了通过再现设备的视频图像生成。在图4的左边是前一个经处理和再现的帧。图4中间是当前处理的帧，其中未改变的移动块是黑的，因此只有改变的移动块保持其原始形式。当该中间帧的改变的移动块被复制到左边的该前一帧的相应位置，就得到右边的新的、改变的帧。
图5是根据本发明的再现方法的第一优选实施例的流程图。首先，执行某些预备的操作以再现视频图像。
按RGB格式接收解码的视频图像。各移动块是尺寸相等的方块，其宽度(MBW)和高度(MBH)相等，例如4像素。移动块的大小(MBSIZE)通过移动块的宽度(MBW)乘以其高度(MBH)来计算，即(MBW*MBH)＝MBSIZE。视频帧(FRANE)的宽度(FW)和高度(FH)被设置成可被移动块(MB)的宽度(MBW)和高度(MBH)整除。不变的移动块(MB)的数量通过帧宽度(FW)乘以帧高度(FH)、并且该乘积再除以移动块的大小(MBSIZE)来计算，即(((FH*FW)＝FRAMESIZE/MBSIZE)＝MBCOUNT。
根据移动块(MB)的数量(MBCOUNT)建立矩阵(MBMATRIX)，例如使得把帧从左上角至右下角划分成各部分(4x4)。对该帧中的每个(MBCOUNT)移动块(MB)，计算方块P1，P2，P3，P4的各角座标X和Y，根据该移动块的序号(MBINDEX)把它们置于所述矩阵中。该移动块的角座标按下述顺序来安排：P1是左上角，P2是右上角，P3是右下角，P4是左下角。
建立大小相等的视频帧缓冲区(FRAMEBUFFER)和待解释帧缓冲区(PREFRAMEBUFFER)。为这些缓冲区保留的大小(FRAMEBUFFERSIZE，PREFRAMEBUFFERSIZE)通过帧宽度(FW)、帧高度(FH)、色深(COLORDEPTH)按字节相乘来计算，即，(FH*FW*COLORDEPTH)＝FRAMEBUFFERSIZE＝PREFRAME-BUFERSIZE。
建立公共触发器值(MBTRIGGERVALUE)(例如4)，该值定义移动块中的改变。该值越大，为了认定移动块是改变的所必须改变的像素数就越大。建立改变的像素的计数器值(CHANGECOUNTER)，该值指出待处理的移动块中改变的像素数。
在方框L开始含有图像信息的信号的接收。包含在所接收信号中的图像信息被存储在存储区(PREFRAMEBUFFER)。待再现的完整帧的存储区(FRAMEBUFFER)如果还完全没有被使用，则对其清零。对存储区清零是指把每个字节的值都设置为零。
在方框M，待检查帧的像素被划分成移动块。这样，每次一个移动块，搜索属于后续的待检查移动块的像素。
在方框N至O，逐个检查待检查帧的所有移动块，以确定在该移动块中是否有给定数量的像素，其颜色值按给定的精度对应于给定颜色的颜色值。在肯定的情况下，考虑的是未改变的移动块。否则，考虑的是改变的移动块。例如，这可以通过对每个移动块执行下述操作：
把移动块的像素改变计数器(CHANGECOUNTER)设置为零；
建立子循环，其中根据从座标P1至座标P4按不超出座标P2也不超出座标P3的方块形式的矩阵(MBMATRIX)检查待处理的(MBINDEX)移动块(MB)的每个(MBSIZE)像素；
根据所解释的帧(PREFRAMEBUFFER)建立这些座标所指出的像素颜色；
如果通过将其颜色值设置成对应于黑色的颜色值来指出这些未改变的移动块，则如果待解释帧(PREFRAMEBUFFER)的像素颜色的值(PIXELCOLOR)超过了该改变像素的黑敏感度(BLACK-SENSITIVITY)值(例如4096)，像素改变计数器(CHANGECOUNTER)的值增加1(也就是说，如果该像素颜色不是黑，则像素改变计数器的值增加1)；
而如果通过将其颜色设置成对应于另外颜色的颜色值来指出未改变的移动块，则：
如果像素颜色成分红(RED)和绿(GREEN)的求和与给定颜色的颜色成分红(RED)和绿(GREEN)的求和至多相差预定的误差裕量，像素改变计数器(CHANGECOUNTER)的值增加1。
如果在红(RED)和绿(GREEN)颜色成分的比较中，所述误差裕量没有被超出，则还可以比较绿(GREEN)和蓝(BLUE)颜色成分。如果待解释帧的像素颜色成分绿(GREEN)和蓝(BLUE)的求和与给定颜色的颜色成分绿(GREEN)和蓝(BLUE)的求和至多相差预定的误差裕量，像素改变计数器(CHANGECOUNTER)的值增加1。
当检查了移动块中所有的像素，则核查像素改变计数器(CHANGECOUNTER)。如果该值超过了移动块改变触发器的值(MBTRIGGERVALUE)，则处理的是改变的移动块，因此该过程经由方框P进至方框Q。不然，如果该值不大于改变触发器的值，该过程经由方框O进至方框Q。
在方框Q，把改变的移动块的像素复制到前一帧。这可以通过把当前处理的移动块的每个像素不加改变地复制到帧缓冲区(FRAMEBUFFER)的相同位置来完成。
如果在当前处理的帧中还有未检查的移动块，则该过程从方框R返回至方框M，以处理后续的移动块。
在方框S，根据修改的帧(FRAMEBUFFER)生成视频信号。
如果继续信号接收，信号中含有更多的待解释帧，该过程返回至方框T至方框L，以处理所接收的后续帧的图像信息。
应该理解，上述的说明和有关的附图只用于说明本发明。对本领域的技术人员来说，很显然，在不脱离权利要求书的范围的前提下，本发明可以按各种方式修改和变化。

Claims (13)

1.一种视频图像处理器，用于接收由视频摄像机产生的视频信号，所述处理器包括比较块和修改块，其中所述比较块用于把所接收的视频信号中包含的当前处理帧与前一个已处理帧做比较，以检测变化，并且所述处理器产生指出变化的信号，
所述处理器的特征在于：
所述比较块通过把所述当前处理帧的像素划分成预定尺寸的移动块并且把所述前一个已处理帧的像素划分成相同的所述预定尺寸的移动块来检测变化，并且，当所述当前处理帧的给定的移动块中至少具有给定数目的、其颜色值与所述前一个已处理帧的对应像素的颜色值相比较的变化超过了预定阈值的像素，则把所述给定的移动块检测为已改变的；
所述修改块在所述当前处理帧中，把被检测为未改变的移动块中的像素的颜色值设置成预定的值，从而改变不同于被检测为已改变的移动块的像素的所有其他像素的颜色值；以及
所述处理器通过在所述指出变化的信号中包含有关被检测为已改变的移动块的信息以及有关未改变的移动块的信息来产生所述指出变化的信号。
2.如权利要求1所述的处理器，其特征在于，如果该处理器根据给定移动块中像素的颜色值核查，把所述给定移动块检测为已改变的，则该处理器还把围绕所述给定移动块的所有的移动块记录成已改变的。
3.如权利要求1或2所述的处理器，其特征在于，所述处理器的比较块用于通过分析RGB值中的变化来分析颜色值中的变化，从而如果单个像素的RG值中或GB值中的变化的绝对值超过所述预定阈值，则该处理器的比较块确定所述像素的颜色值已改变。
4.如权利要求1所述的处理器，其特征在于，所述处理器的修改块用于通过把检测为已改变的移动块的像素从所述当前处理帧复制到所述前一个已处理帧来修改所述前一个已处理帧，并且还在该处理器的比较块在对所述当前处理帧的后续帧上将要执行的比较中使用按这种方式修改的所述前一个已处理帧。
5.如权利要求1所述的处理器，其特征在于，所述处理器的修改块用于把未改变的移动块中的像素的颜色值设置成指示该像素为黑的预定值。
6.如权利要求1所述的处理器，其特征在于，所述处理器用于向视频图像编码器馈送所产生的指出变化的信号，该编码器与该处理器集成在一起或与其相互分开。
7.一种视频图像再现设备，用于接收含有图像信息的信号，以及根据该图像信息产生视频信号，该再现设备的特征在于：
所述再现设备在所述图像信息中把被检查帧的像素划分成预定尺寸的移动块，
所述再现设备包括修改块，该修改块把所述被检查帧中至少存在给定数量的、其颜色值按给定精度对应于给定颜色的颜色值的像素的移动块检测为未改变的，并且，把所有其他移动块检测为已改变的，
所述修改块通过把所述被检查帧中被检测为已改变的移动块的像素复制到存储器中前一个完成的帧来修改该存储器中该前一个完成的帧，
所述再现设备把存储器中所修改后的帧包含在待产生的视频信号中。
8.如权利要求7所述的视频图像再现设备，其特征在于，所述再现设备的修改块用于把所检查帧中至少存在给定数量的、其颜色值按给定精度指出该像素是黑色的像素的移动块检测为未改变的。
9.一种用于处理视频摄像机所产生视频信号的方法，该方法包括：
接收视频摄像机的视频信号，
把包含在该视频信号中的当前处理帧与前一个已处理帧相比较，以检测改变，以及
产生指出改变的信号，
该方法的特征在于包括步骤：
把所述当前处理帧中的像素划分成预定尺寸的移动块，并且，当给定的移动块中至少存在给定数量的、其颜色值与所述前一个已处理帧的对应像素的颜色值相比较的变化超过了预定阈值的像素，则把该给定的移动块检测为已改变的，由此来检测改变，
把那些与所述前一个已处理帧相比未改变的移动块中的像素的颜色值设置成预定值，从而改变在该当前处理帧中与已改变的移动块的像素不同的所有其他像素的颜色值，以及
通过在所述指出改变信号中包含有关被检测为已改变的移动块的信息以及有关未改变的移动块的信息来产生所述指出改变的信号。
10.如权利要求9所述的方法，其特征在于，该方法通过分析RGB值中的改变来分析颜色值中的改变，并且如果单个像素的RG值改变的绝对值或GB值改变的绝对值超过所述预定阈值，则该像素的颜色值被检测为已改变的。
11.如权利要求9或10所述的方法，其特征在于，该方法用于通过把已改变的移动块的像素从所述当前处理帧复制到所述前一个已处理帧来修改所述前一个已处理帧，并且在所述当前处理帧的后续帧上将要执行的比较中使用按这种方式修改的所述前一个已处理帧。
12.一种产生用于再现的视频信号的方法，该方法包括：
接收含有图像信息的信号，以及
根据该图像信息产生视频信号，
该方法的特征在于包括步骤：
在所述图像信息中把当前处理帧的像素划分成预定尺寸的移动块，
把当前处理帧中至少存在给定数量的、其颜色值按给定精度对应于给定颜色的颜色值的像素的移动块检测为未改变的，并且，把所有其他移动块检测为已改变的，
通过把所述当前处理帧中被检测为已改变的移动块的像素复制到存储器中前一个完成帧来修改该存储器中该前一个完成帧，
把该存储器中所修改后的帧包含在待产生的视频信号中。
13.如权利要求12所述方法，其特征在于，把该当前处理帧中至少存在给定数量的、其颜色值按给定精度指出该像素是黑色的像素的移动块检测为未改变的。
CN2005800272931A 2004-08-12 2005-08-09 视频图像的处理 Active CN101002232B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20045290 2004-08-12
FI20045290A FI117845B (fi) 2004-08-12 2004-08-12 Videokuvan prosessointi
PCT/FI2005/050289 WO2006016007A1 (en) 2004-08-12 2005-08-09 Processing of video image

Publications (2)

Publication Number Publication Date
CN101002232A CN101002232A (zh) 2007-07-18
CN101002232B true CN101002232B (zh) 2010-08-25

Family

ID=32922154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800272931A Active CN101002232B (zh) 2004-08-12 2005-08-09 视频图像的处理

Country Status (6)

Country Link
US (1) US9225989B2 (zh)
EP (2) EP2498223A1 (zh)
CN (1) CN101002232B (zh)
FI (1) FI117845B (zh)
RU (1) RU2370908C2 (zh)
WO (1) WO2006016007A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9232228B2 (en) 2004-08-12 2016-01-05 Gurulogic Microsystems Oy Processing of image
US9509991B2 (en) 2004-08-12 2016-11-29 Gurulogic Microsystems Oy Processing and reproduction of frames
US9454411B2 (en) * 2007-08-30 2016-09-27 International Business Machines Corporation User-selectable progress bar threshold triggers and notification by detecting color change
US20110234912A1 (en) * 2008-12-08 2011-09-29 Xu Wang Image activity detection method and apparatus
GB0823481D0 (en) * 2008-12-23 2009-01-28 British Telecomm Graphic data processing
RU2526049C2 (ru) * 2012-03-12 2014-08-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и устройство для обнаружения игровых эпизодов в полевых видах спорта в видеопоследовательностях
EP2661081B1 (en) * 2012-05-01 2015-03-04 Gurulogic Microsystems OY Processing of image
US10255315B2 (en) 2012-12-11 2019-04-09 Gurulogic Microsystems Oy Encoder, decoder and method
AU2014202288B2 (en) * 2013-04-29 2017-10-05 Everi Technology Pty Ltd Gaming machine and method employing video compression
EP3133815A1 (en) 2013-06-17 2017-02-22 Gurulogic Microsystems OY A system and method for processing frames
EP3155809A4 (en) * 2014-06-10 2018-01-03 Bitanimate, Inc. Stereoscopic video zooming and foreground and background detection in a video
DE112015006638T5 (de) * 2015-07-17 2018-03-08 Mitsubishi Electric Corporation Animationsanzeigevorrichtung und animationsanzeigeverfahren
RU2699676C1 (ru) * 2016-04-19 2019-09-09 Мицубиси Электрик Корпорейшн Устройство обработки изображения, способ обработки изображения и программа обработки изображения
JP6261020B2 (ja) 2016-06-28 2018-01-17 株式会社Ｎｅｘｐｏｉｎｔ 画面画像転送方法及び画面画像復元方法
US10212428B2 (en) * 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
CN116095314A (zh) * 2017-06-29 2023-05-09 杜比实验室特许公司 整合的图像整形和视频编码
CN109889697A (zh) * 2017-12-06 2019-06-14 杭州海康威视数字技术股份有限公司 一种图像检测的方法及装置、录播设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0551990A1 (en) * 1992-01-14 1993-07-21 International Business Machines Corporation Digital video compression method and apparatus
CN1180276A (zh) * 1996-09-27 1998-04-29 次级系统有限公司 数字视频信号的场景变化检测器
US6049629A (en) * 1992-03-23 2000-04-11 Canon Kabushiki Kaisha Coding apparatus for coding image data using one of an interpicture coding method and an interpicture motion-compensated coding method
US6160848A (en) * 1998-01-22 2000-12-12 International Business Machines Corp. Conditional replenishment device for a video encoder
US6275527B1 (en) * 1998-01-14 2001-08-14 Conexant Systems, Inc. Pre-quantization in motion compensated video coding
US6373890B1 (en) * 1998-05-05 2002-04-16 Novalogic, Inc. Video compression and playback process

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4553171A (en) 1984-01-27 1985-11-12 Xerox Corporation Tile encoding in image printing
FI70662C (fi) 1984-12-14 1986-09-24 Valtion Teknillinen Videokomprimeringsfoerfarande
US5228098A (en) 1991-06-14 1993-07-13 Tektronix, Inc. Adaptive spatio-temporal compression/decompression of video image signals
US5377018A (en) 1992-06-22 1994-12-27 Media Vision Video compression and decompression using block selection and subdivision
JPH06153180A (ja) 1992-09-16 1994-05-31 Fujitsu Ltd 画像データ符号化方法及び装置
US5983251A (en) 1993-09-08 1999-11-09 Idt, Inc. Method and apparatus for data analysis
FR2804777B1 (fr) 2000-02-03 2002-06-21 Univ Paris Curie Procede et dispositif de traitement de sequences d'images avec masquage
US6847333B2 (en) 2000-10-13 2005-01-25 Edward Bokhour Method of and system for low-bandwidth transmission of color video
WO2003010727A1 (en) * 2001-07-25 2003-02-06 Vislog Technology Pte Ltd. Method and apparatus for processing image data
FR2831304A1 (fr) 2001-10-23 2003-04-25 St Microelectronics Sa Detection d'un motif dans une image numerique
NL1019365C2 (nl) 2001-11-14 2003-05-15 Tno Bepaling van een beweging van een achtergrond in een reeks beelden.
US7428338B2 (en) 2002-01-10 2008-09-23 Ricoh Co., Ltd. Header-based processing of images compressed using multi-scale transforms
US9232228B2 (en) 2004-08-12 2016-01-05 Gurulogic Microsystems Oy Processing of image
JP4521305B2 (ja) 2005-03-23 2010-08-11 日本トムソン株式会社 直動案内ユニット
US7865015B2 (en) * 2006-02-22 2011-01-04 Huper Laboratories Co. Ltd. Method for video object segmentation
US8638337B2 (en) 2009-03-16 2014-01-28 Microsoft Corporation Image frame buffer management

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0551990A1 (en) * 1992-01-14 1993-07-21 International Business Machines Corporation Digital video compression method and apparatus
US6049629A (en) * 1992-03-23 2000-04-11 Canon Kabushiki Kaisha Coding apparatus for coding image data using one of an interpicture coding method and an interpicture motion-compensated coding method
CN1180276A (zh) * 1996-09-27 1998-04-29 次级系统有限公司 数字视频信号的场景变化检测器
US6275527B1 (en) * 1998-01-14 2001-08-14 Conexant Systems, Inc. Pre-quantization in motion compensated video coding
US6160848A (en) * 1998-01-22 2000-12-12 International Business Machines Corp. Conditional replenishment device for a video encoder
US6373890B1 (en) * 1998-05-05 2002-04-16 Novalogic, Inc. Video compression and playback process

Also Published As

Publication number Publication date
EP1787262A1 (en) 2007-05-23
EP1787262A4 (en) 2009-11-11
FI20045290A (fi) 2006-02-13
CN101002232A (zh) 2007-07-18
FI117845B (fi) 2007-03-15
EP2498223A1 (en) 2012-09-12
RU2370908C2 (ru) 2009-10-20
US20120183075A1 (en) 2012-07-19
EP1787262B1 (en) 2012-10-03
RU2007108767A (ru) 2008-09-20
US9225989B2 (en) 2015-12-29
WO2006016007A1 (en) 2006-02-16
FI20045290A0 (fi) 2004-08-12

Similar Documents

Publication Publication Date Title
CN101002232B (zh) 视频图像的处理
CN101690228B (zh) 视频编索引方法和视频编索引设备
US7054367B2 (en) Edge detection based on variable-length codes of block coded video
US11093752B2 (en) Object tracking in multi-view video
CN1941911B (zh) 退色补偿的参数化
US9232228B2 (en) Processing of image
CN102656886A (zh) 知晓对象的视频编码策略
EP1622154A1 (en) A multi-view video format
KR20080040710A (ko) 텍스처화된 영역들용 이미지 코더
MY146138A (en) Adaptive weighting of reference pictures in video encoding
CN110087083B (zh) 帧内色度预测模式的选择方法、图像处理设备及存储设备
WO2012094290A1 (en) Video coding system using implied reference frames
US20060023782A1 (en) System and method for off-line multi-view video compression
Chao et al. Keypoint encoding for improved feature extraction from compressed video at low bitrates
CN1672432B (zh) 用于编码数字视频信号的方法和设备
CN103108160A (zh) 监控视频数据获取方法、服务器和终端
JPH08154251A (ja) 画像信号補間装置
CN101185339A (zh) 使用用于运动补偿预测的代替参考帧的视频编码
CN100384219C (zh) 图像保护设备、成像设备、及其方法
JP4243034B2 (ja) 符号化装置
EP3996367B1 (en) Method and image-processing device for video processing
EP2661081B1 (en) Processing of image
Rajani et al. Video Error Concealment Using Particle Swarm Optimization
WO2019008233A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
JP3799842B2 (ja) 静的映像検出方法、及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant