CN102822868B - 一种用于重新生成视频流的数字图像的背景的方法 - Google Patents

一种用于重新生成视频流的数字图像的背景的方法 Download PDF

Info

Publication number
CN102822868B
CN102822868B CN201080064321.8A CN201080064321A CN102822868B CN 102822868 B CN102822868 B CN 102822868B CN 201080064321 A CN201080064321 A CN 201080064321A CN 102822868 B CN102822868 B CN 102822868B
Authority
CN
China
Prior art keywords
block
time
background image
mes
corr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080064321.8A
Other languages
English (en)
Other versions
CN102822868A (zh
Inventor
埃斯特尔·莱瑟里尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ST Ericsson SA
STMicroelectronics Grand Ouest SAS
Original Assignee
ST Ericsson SA
ST NXP Wireless France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ST Ericsson SA, ST NXP Wireless France SAS filed Critical ST Ericsson SA
Publication of CN102822868A publication Critical patent/CN102822868A/zh
Application granted granted Critical
Publication of CN102822868B publication Critical patent/CN102822868B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于重新生成视频流的数字图像的背景的方法，所述方法包括以下的步骤：-设定初始背景图像；-将所述视频流的单元图像分割成块b（i，j，t）、并且将所述背景图像的单元图像分割成对应的块Bo（i，j，t）。所述方法的基本特征在于，所述方法还包括以下的步骤：-选择所述背景图像的一个块Bo和/或所述帧图像的一个块b，以及·计算关于以下块的空间相关性：·在时间（t）时和/或另一时间（t-a）时的所述背景图像的至少一个块Bo、和/或·在时间（t）时和/或另一时间（t-a）时的所述帧图像的至少一个块b；和/或-根据所述空间相关性的计算更新所述背景图像。

Description

一种用于重新生成视频流的数字图像的背景的方法
技术领域
本发明涉及自动处理数字图像的领域，更具体地，涉及从多个帧中恢复静止背景或静态图像。
背景技术
通过摄像机或电影摄影机捕获帧，所述摄像机或电影摄影机可以被集成到通信对象（电话、个人数字助理等）中，在下文中被用通用词“相机”称呼。
假设相机是静止的，场景拍摄具有至少一个静止的背景，例如与静止的主题（物体、建筑物、人物等）相对应，并且优选地，当进行拍照时，光基本上是一致的。相对于这样静止的背景正在移动的物体被称为前景。
已知用于重新生成视频流的数字图像的背景的方法，该视频流由固定相机产生并且包括多个时序单元图像，并且例如，该方法能够追踪移动的物体以用于安全应用或数字编辑，以分解（down-break）该移动或消除前景中不期望的移动主题。
然而，这种方法通常需要在前景中捕获无干扰的背景图像，例如参照文献US 2003/0194131，但这并非总是可以的。
此外，这些方法大多数仅仅基于时间相关性，这意味着它们具有处理缺陷，尤其是场景在前景中包括部分静止的物体时。事实上，该物体的静止部分被认为与背景为一体，这破坏了重新生成的背景图像。
发明内容
本发明旨在改进现有的技术。
为了这个目的，按照第一目标，本发明涉及一种用于重新生成视频流的数字图像的背景的方法，该视频流由固定相机产生并且包括多个时序帧，每一时序帧包括相应的单元图像，
所述方法包括以下的步骤：
-将初始背景图像设定在存储器中，
-将所述视频流的单元图像分割成具有至少一个像素的块b（i，j，t），和
-将所述背景图像分割成对应的块Bo（i，j，t），所述块Bo（i，j，t）具有与所述单元图像的块相同的尺寸和相同的坐标（i，j）。
根据本发明，所述方法的基本特征在于，其还包括以下的步骤：
-选择至少一个块b（i，j，t）、块b（i，j，t-a）、块Bo（i，j，t-a）和块Bo（i，j，t），和
-计算块b（i，j，t）、块b（i，j，t-a）、块Bo（i，j，t-a）和块Bo（i，j，t）之间的空间相关性，所述空间相关性在于计算：
●在时间（t）时的所述帧图像的特定块b（i，j，t），和
●在时间（t）时的所述背景图像的接近于所述块Bo（i，j，t）的至少一个块Bo（i±x*δi，j±y*δj，t），和/或
●在另一时间（t-a）时的所述背景图像的接近于所述块Bo（i，j，t-a）的至少一个块Bo（i±x*δi，j±y*δj，t-a），和/或
●在时间（t）时的所述帧图像的接近于所述块b（i，j，t）的至少一个块b（i±x*δi，j±y*δj，t）之间的空间相关性（Corr_spat_mes_b，Corr_spat_mes_b_Bo），和/或在时间（t）时的所述背景图像的特定块Bo（i，j，t），和
●在时间（t）时的所述背景图像的接近于所述块Bo（i，j，t）的至少一个块Bo（i±x*δi，j±y*δj，t），和/或
●在另一时间（t-a）时的所述背景图像的接近于所述块Bo（i，j，t-a）的至少一个块Bo（i±x*δi，j±y*δj，t-a），和/或
●在时间（t）时的所述帧图像的接近于所述块b（i，j，t）的至少一个块b（i±x*δi，j±y*δj，t）之间的空间相关性（Corr_spat_mes_Bo，Corr_spat_mes_Bo_b），以及
-根据所述空间相关性的计算更新所述背景图像。
因此，考虑混合的时空像素值相关性标准，所提议的解决方案搜索背景块：如果背景像素块的像素值非常相似（时间上相关）于以前扫描的序列帧中的并置的先前像素块，并且，如果他们高度相似（空间上相关）于背景地图中的邻近像素块，则更新该背景像素块。
优选地，背景图像的更新包括以下的步骤：通过在块b（i，j，t）、块b（i，j，t-a）、块Bo（i，j，t-a）或块Bo（i，j，t）当中选择具有最小的空间相关性的块，来用块b（i，j，t）、块b（i，j，t-a）、块Bo（i，j，t-a）或块Bo（i，j，t）代替块Bo（i，j，t）。
优选地，通过测量所考虑的块之间的绝对差的和（SAD）来计算所述空间相关性，因此本发明考虑基于SAD而作用于像素域的空间相关性。
在一个实施例中，特定块（b（i，j，t），Bo（i，j，t）)和一组块（b（i±x*δi，j±y*δj，t),Bo（i±x*δi，j±y*δj，t））（其中{x，y}∈{1；2；…；Δ}2）之间的空间相关性沿特定方向设定，
沿所述特定方向的每一个方向的绝对差的和（SAD）的最小值被作为所述空间相关性的测量。
在一个实施例中，所述方法还包括以下的步骤：
-计算在时间（t）时的图像的特定块b（i，j，t）和在先前时间（t-a）时的一个图像或几个图像的相同块b（i，j，t-a）之间的时间相关性（Corr_temp_mes_b），和/或，
-计算在时间（t）时的图像的特定块Bo（i，j，t）和在先前时间（t-a）时的一个图像或几个图像的相同块Bo（i，j，t-a）之间的时间相关性（Corr_temp_mes_Bo），和，
-还根据所述的时间相关性更新背景图像。
在一个实施例中，对至少两个帧测量与时间相关性的测量结合的空间相关性（sum1），其中，空间相关性的权重通过取决于时间λ（t）的参数λ来加权，使得Sum1=Corr_temp_mes_b（i，j，t）+λ（t）.Corr_spat_mes_b_Bo（i:i±x*δi，j:j±y*δj，t:t），
对至少两个帧测量与时间相关性的测量结合的空间相关性（sum2），其中，空间相关性的权重通过取决于时间λ（t）的参数λ来加权，使得Sum2=Corr_temp_mes_Bo(i，j，t)+λ（t）.Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t-a:t），和
通过选择两个值（Sum1，Sum2）的最小值来更新块Bo（i，j，t）的值。
在一个实施例中，至少在第一方向和第二方向上扫描块b（i，j）的每个帧或块Bo（i，j）的背景图像，使得在所述第一方向上执行第一系列的相关性计算和在第二方向上执行第二系列的相关性计算。
例如，在第一方向上块b（i，j）的尺寸或块Bo（i，j）的尺寸与在第二方向上块b（i，j）的尺寸或块Bo（i，j）的尺寸不同。
在一个实施例中，根据本发明的方法先前还包括以下的步骤：计算对于在时间（t）时的帧的块b（i，j，t）的组的稳定性的测量的和，和
-将该稳定性的测量的和与第一阈值（T1）进行比较，且
-如果所述和低于所述第一阈值（T1），则所述帧不被考虑用于空间相关性计算；和/或
-将稳定性的测量的和与第二阈值（T2）进行比较，且
-如果所述和高于所述第二阈值（T2），则所述帧不被考虑用于空间相关性计算。
在一个实施例中，根据本发明的方法还包括以下的步骤：
-计算背景图像的收敛速度，
-将计算出的速度与阈值进行比较，和
-如果该速度低于所述阈值，则停止扫描背景图像的块Bo（i，j）。
根据另一目标，本发明还涉及一种计算机程序，所述计算机程序包括程序代码指令，当计算机执行所述程序时，所述程序代码指令用于执行上述限定的方法的步骤。
由于本发明，背景图像被实时更新，这使得在任何时间可以得到背景图像并且可以显示背景图像，这与需要所有帧的现有技术相比，改进了延迟。同样地，由于本发明的背景图像的渐进建设，本发明可以优化存储器资源，而现有技术却需要存储整个视频。
另一优点在于所提议的解决方案为单个地图的背景重建：该方案只将一个背景图像保存在存储器中，该背景图像的像素块随着序列帧扫描而被更新。
该解决方案还以背景地图来开始背景重建过程，该背景地图可能包含错误背景元素（该错误背景元素在背景块检索期间将被更新）并且因此被完全填充。
附图说明
阅读作为说明性示例而非限制性示例给出的下列描述并参照附图后，本发明的其他特征和其他优点将更清晰地呈现，其中，
-图1示出将每个视频帧分割成块和将背景图像分割成相应的块；
-图2示出相同块在不同时间之间的时间相关性；
-图3示出根据本发明的方法的一个实施例；
-图4示出根据本发明的方法的一个实施例；
-图4’示出根据本发明的方法的一个实施例；
-图4”示出根据本发明的方法的一个实施例；
-图4”’示出根据本发明的方法的一个实施例；
-图5示出根据本发明的方法的一个实施例；
-图5’示出根据本发明的方法的一个实施例。
具体实施方式
根据本发明，假设相机在曝光时间段中是固定的。
第一步骤在于捕获场景的多个时序单元图像。
另一步骤在于设定初始背景图像。
视频流的每一单元图像对应于在时间t时播送的帧，将所述每一单元图像分割成具有至少一个像素的规则的块b（i，j，t）（图1）。同样地，将背景图像分割成对应的规则的块Bo（i，j，t），即，背景图像的一个块Bo（i，j）与帧图像的块b（i，j）具有相同的坐标。
在一个实施例中，将每一图像分成N个块。例如N=40。
优选地，块的尺寸取决于图像分辨率和/或前景中移动物体的尺寸。
参照图2，从所述块看出在时间（t）时的图像的特定块b（i，j，t）和在另一时间（t-a）时的一个或几个图像的相同块b（i，j，t-a）之间的时间相关性Corr_temp_mes_b（i，j，t:t-a），和/或在时间（t）时的背景图像的特定块Bo（i，j，t）和在另一时间（t-a）时的一个或几个背景图像的相同块Bo（i，j，t-a）之间的时间相关性Corr_temp_mes_Bo（i，j，t:t-a）。
根据本发明，时间（t-a）可以在时间t之前（a>0）或之后（a<0）。可以选择两个连续的帧或两个不连续的帧，使得如果两个连续的帧由帧间间隔δt隔开，则|a|是δt的倍数。
优选地，块b（i，j，t）和相同块b（i，j，t-a）之间的时间相关性是在两个连续的帧之间确定的，这缩短了计算时间。则a=δt。
块b（i，j，t）或块Bo（i，j，t）的时间相关性的该测量也被称作稳定性的测量。该测量的结果保存在存储器中。按下文所述，测量并利用Corr_temp_mes_b（i，j，t:t-a)、Corr_temp_mes_Bo(i，j，t:t-a)。
优选地，根据本发明的方法还包括步骤：计算在时间t时的一个帧的所有块b（i，j，t）的稳定性的测量的和。接着，将针对特定帧的和Corr_temp_mes_b（∑I，∑j，t:t-a）与第一阈值T1进行比较。如果该和低于该阈值T1，则不考虑该帧。事实上，稳定性的水平过高（对应于稳定性的测量过低）可能干扰根据本发明的计算。
同样地，根据本发明的方法还可以包括步骤：将针对特定的帧的和Corr_temp_mes_b（∑I，∑j，t:t-a）与第二阈值T2进行比较。如果该和高于第二阈值T2，则也不考虑该帧。事实上，稳定性水平过低（对应于稳定性的测量过高）可意味着在前景中的物体的数目和/或移动性过高并且干扰计算。
优选地，阈值T1和阈值T2的相应值取决于图像的尺寸（即，图像中的像素的数目）或甚至取决于块的尺寸。
场景的初始背景图像也称作静态图像，被保存在存储器中。初始背景图像可以为单元图像中的一个，例如第一个单元图像或显示最少运动的单元图像，或者专门从如上文所述的的时间相关性测量中构建的背景图像。
在任一时间t，同时将帧分割成块b（i，j，t）并且将对应的背景图像分割成块Bo（i，j，t），块Bo（i，j，t）的值是最小值，等于在先前时间t-δt时的背景图像的块Bo（i，j，t-δt）的值。因此，该背景图像被实时（on the fly）更新，并且在任何时间可以得到。
接着，根据在时间t或另一时间t-a时的块Bo（i，j）和块b（i，j）的相应值，可以在时间t更新背景图像，如下文所描述。
根据本发明，该方法还包括步骤：确定相互接近的块、优选地相邻的块之间的空间相关性。例如，当块的形状为方形或矩形时，两个相邻的块具有共有的边和/或角（即共有对角线）。更一般地，如果包括K×K个像素的两个块的压力（baric）中心至多间隔K个像素，尤其是如果该两个块具有相邻的边，或者如果该两个块具有共有的角则间隔2的平方根的K倍，则所述两个块是接近的。
接着，如下所述，可以在下列之间确定空间相关性：
-在时间（t）时的帧的特定块b（i，j，t）与相同帧的至少另一块b（i+δi，j+δj，t）之间；和/或
-在时间（t）时的帧的特定块b（i，j，t）与对应的背景图像的至少一个块Bo（i+δi，j+δj，t）（优选地不同于块Bo（i，j，t））之间；和/或
-在时间（t）时的背景图像的特定块Bo（i，j，t）与背景图像的至少另一块Bo（i+δi，j+δj，t）之间。
为了这个目的，参照图3，在一个实施例中，计算在时间（t）时的一个图像的特定块b（i，j，t）与相同帧的、至少一个优选地相邻的块b（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_b（i:i±x*δi，j:j±y*δj，t:t）的和。
为了简要阐明图3，仅示出块b（i，j，t）与块b（i，j+2δj，t）之间的空间相关性Corr_spat_mes_b（i:i，j:j+2δj，t:t）以及块b（i，j，t）与块b（i-δi，j，t）之间的空间相关性Corr_spat_mes_b（i:i，j:j-δj，t:t）。
同样地，根据本发明，图3中还示出了，对应于在时间t时的图像的所述特定块b（i，j，t）的、在时间（t）时的背景图像的块Bo（i，j，t-a）与在相同时间（t）时的背景图像的至少一个接近的且优选地相邻的块Bo（i±x*δi，j±y*δj，t-a)之间的空间相关性Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t-a:t-a）的和，a可以等于0。
优选地，x和y的相应值低，以保持接近的概念，例如x=y=2。
为了简要阐明图3，仅示出块Bo（i，j，t-a）和块Bo（i，j+2δj，t-a）之间的空间相关性Corr_spat_mes_Bo（i:i，j:j+2δj，t-a:t-a）以及块Bo（i，j，t）和块Bo（i-δi，j，t-a)之间的空间相关性Corr_spat_mes_b（i:i，j:j-δj，t-a:t-a），a可以等于0。
接着，通过在块b（i，j，t）和块Bo（i，j，t）之中选择一个块来更新块Bo（i，j，t）的值，所选的块的坐标具有下述两个和的最小值：Bo（i，j，t)min[Corr_spat_mes_b（i:i±x*δi，j:j±y*δj，t:t);Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t-a:t-a)]
在另一实施例中，可以计算帧的块和背景图像的至少一个相应相邻的块之间的空间相关性。
为了这个目的，参照图4，计算在时间（t）时的图像的特定块b（i，j，t）与在相同时间（t）时的背景图像的至少一个块Bo（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_b_Bo（i:i±x*δi，j:j±y*δj，t:t）的和，所述至少一个块Bo（i±x*δi，j±y*δj，t）优选地不同于所述块Bo（i，j，t）、接近于且优选地相邻于块Bo（i，j，t）。
还如图4所示，还测量了在时间（t）时的背景图像的块Bo（i，j，t）与在相同时间（t）时的背景图像的至少一个接近的且优选地相邻的块Bo（i±x*δi，j±y*δj，t)之间的空间相关性Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t:t)的和，该块Bo（i，j，t）对应于在时间t时的图像的所述特定块b（i，j，t）。
为了简要阐明图4，仅示出了块Bo（i，j，t)和块Bo（i，j+2δj，t)之间的空间相关性Corr_spat_mes_Bo（i:i，j:j+2δj，t:t)，以及块Bo（i，j，t）和块Bo（i-δi，j，t）之间的空间相关性Corr_spat_mes_Bo（i:i，j:j-δj，t:t）。
接着，通过在块b（i，j，t）和块Bo（i，j，t）之中选择一个块来更新块Bo（i，j，t）的值，所选的块的坐标具有下述两个和的最小值：
Bo（i，j，t)<=>min[Corr_spat_mes_b_Bo（i:i±x*δi，j:j±y*δj，t:t）；Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t:t）]。
同样地，在图4’中示出的另一实施例中，计算了在时间（t）时的图像的特定块b（i，j，t）和在相同时间t时的背景图像的至少一个块Bo（i±x*δi，j±y*δj，t)之间的空间相关性Corr_spat_mes_b_Bo（i:i±x*δi，j:j±y*δj，t:t）的和，所述至少一个块Bo（i±x*δi，j±y*δj，t)优选地不同于块Bo（i，j，t)，接近于且优选地相邻于所述块Bo（i，j，t)。
还如图4’所示，还测量了在时间（t）时的帧图像的块b（i，j，t）和在相同时间（t）时的帧图像的、接近于且优选地相邻于所述块b（i，j，t）的至少一个块b（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_b（i:i±x*δi，j:j±y*δj，t:t）的和。
为了简要阐明图4’，仅示出块b（i，j，t）与块b（i，j+2δj，t）之间的空间相关性Corr_spat_mes_b（i:i，j:j+2δj，t:t)以及块b（i，j，t）与块b（i-δi，j，t）之间的空间相关性Corr_spat_mes_b（i:i，j:j-δj，t:t）。
接着，通过在块b（i，j，t）和块Bo（i，j，t）之中选择一个块来更新块Bo（i，j，t）的值，所选的块的坐标具有下述两个和的最小值：
Bo（i，j，t）<=>min[Corr_spat_mes_b_Bo（i:i±x*δi，j:j±y*δj，t:t）;Corr_spat_mes_b（i:i±x*δi，j:j±y*δj，t:t）]
同样地，在图4”所示的另一实施例中，计算了在时间（t）时的背景图像的特定块Bo（i，j，t）和在相同时间t时的视频帧的图像的至少一个块b（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_Bo_b（i:i±x*δi，j:j±y*δj，t:t）的和，所述至少一个块b（i±x*δi，j±y*δj，t）优选地不同于块b（i，j，t）、接近于且优选地相邻于所述块b（i，j，t）。
还如图4”所示，还测量了在时间（t）时的帧图像的块b（i，j，t）和在相同时间t时的帧图像的至少一个块b（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_b（i:i±x*δi，j:j±y*δj，t:t）的和，所述至少一个块b（i±x*δi，j±y*δj，t）接近于并且优选地相邻于所述块b（i，j，t）。
为了简要阐明图4”，仅示出了块b（i，j，t）和块b（i，j+2δj，t)之间的空间相关性Corr_spat_mes_b（i:i，j:j+2δj，t:t)以及块b（i，j，t）和块b（i-δi，j，t)之间的空间相关性Corr_spat_mes_b（i:i，j:j-δj，t:t）。
接着，通过在块b（i，j，t）和块Bo（i，j，t）之中选择一个块来更新块Bo（i，j，t）的值，所选的块的坐标具有下述两个和的最小值：
Bo（i，j，t)<=>min[Corr_spat_mes_Bo_b（i:i±x*δi，j:j±y*δj，t:t）；Corr_spat_mes_b（i:i±x*δi，j:j±y*δj，t:t）]
同样地，在图4”’示出的另一实施例中，计算了在时间（t）时的背景图像的特定块Bo（i，j，t）与在相同时间t时的视频帧图像的至少一个块b（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_Bo_b（i:i±x*δi，j:j±y*δj，t:t）的和，所述至少一个块b（i±x*δi，j±y*δj，t）优选地不同于块b（i，j，t）、接近于且优选地相邻于所述块b（i，j，t）。
还如图4”’所示，还测量了在时间（t）时的帧图像的块Bo（i，j，t）和在相同时间（t）时的背景图像的至少一个接近的且优选地相邻的块Bo（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t:t）的和。
为了简要阐明图4”’，仅示出了块Bo（i，j，t）和块Bo（i，j+2δj，t)之间的空间相关性Corr_spat_mes_Bo（i:i，j:j+2δj，t:t）以及块Bo（i，j，t）和块Bo（i-δi，j，t）之间的空间相关性Corr_spat_mes_Bo（i:i，j:j-δj，t:t）。
接着，通过在块b（i，j，t）和块Bo（i，j，t）之中选择一个块来更新块Bo（i，j，t）的值，所选的块的坐标具有下述两个和的最小值：
Bo（i，j，t)<=>min[Corr_spat_mes_Bo_b（i:i±x*δi，j:j±y*δj，t:t）；Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t:t）]
根据本发明，参照图5，图4至图4”’中任一个示出的空间相关性的测量还可以与关于帧和/或背景图像的时间相关性的测量结合。
在一个实施例中，以和图4中示出的方式相同的方式，计算在时间（t）时的一个图像的特定块b（i，j，t)和在时间t时的背景图像的至少一个块Bo（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_b_Bo（i:i±x*δi，j:j±y*δj，t:t）的和，优选地，所述至少一个块Bo（i±x*δi，j±y*δj，t）不同于所述块Bo（i，j，t）、接近于且优选地相邻于所述块Bo（i，j，t）。
还如图5所示，还计算了与在时间（t-a）时的图像的所述特定块b（i，j，t-a）相对应的、在时间（t-a）时的背景图像的块Bo（i，j，t-a）和在时间t时的背景图像的至少一个块Bo（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t-a:t）的和，所述至少一个块Bo（i±x*δi，j±y*δj，t）接近于且优选地相邻于块Bo（i，j，t）。
为了简要阐明图5的右侧部分，仅示出了块Bo（i，j，t-a）和块Bo（i，j+δj，t）之间的空间相关性Corr_spat_mes_Bo（i:i，j:j+δj，t-a:t）、块Bo（i，j，t-a)和块Bo（i-δi，j+δj，t）之间的空间相关性Corr_spat_mes_Bo（i:i-δi，j:j+δj，t-a:t）、以及块Bo（i，j，t-a）和块Bo（i-δi，j，t）之间的空间相关性Corr_spat_mes_Bo（i:i-δi，j:j，t-a:t）。
然后，通过选择对应于下述和的最小值的块来更新块Bo（i，j，t）的值：Bo（i，j，t)<=>min[Corr_spat_mes_b_Bo（i:i±x*δi，j:j±y*δj，t:t)；Corr_spat_mes_Bo（i:i，j:j+δj，t-a:t)；Corr_spat_mes_Bo（i:i-δi，j:j+δj，t-a:t)；Corr_spat_mes_Bo（i:i-δi，j:j，t-a:t）]
如图5’所示，可以计算与在时间（t）时的图像的所述特定块b（i，j，t）相对应的、在时间（t）时的背景图像的块Bo（i，j，t）和在时间（t-a）时的背景图像的至少一个块Bo（i±x*δi，j±y*δj，t-a）之间的空间相关性Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t:t-a)的和，所述至少一个块Bo（i±x*δi，j±y*δj，t-a）接近于且优选地相邻于块Bo（i，j，t）。
为了简要阐明图5’的右侧部分，仅示出了一些空间相关性，即块Bo（i，j，t-a）和块Bo（i，j+δj，t）之间的空间相关性Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t:t-a）。
然后，通过选择对应于这些和的最小值的块来更新块Bo（i，j，t）的值。
-在其他未示出的实施例中，可计算在时间（t）时的视频帧的图像的块b（i，j，t）和在时间（t-a）时的背景图像的至少一个块b（i±x*δi，j±y*δj，t-a）之间的空间相关性Corr_spat_mes_b（i:i±x*δi，j:j±y*δj，t:t-a）的和，所述至少一个块b（i±x*δi，j±y*δj，t-a）接近于且优选地相邻于块b（i，j，t）。还可计算在时间（t-a）时的视频帧的图像的块b（i，j，t-a）和在时间（t）时视频帧的图像的至少一个块b（i:i±x*δi，j:j±y*δj，t）之间的空间相关性Corr_spat_mes_b（i:i±x*δi，j:j±y*δj，t-a:t）的和，所述至少一个块b（i:i±x*δi，j:j±y*δj，t）接近于且优选地相邻于块b（i，j，t）。
不论任何实施例，优选地，选择两个连续的帧，使得a=δt。
可以通过测量所考虑的块b（i，j）或块Bo（i，j）与在相同帧中、在另一时间的相同帧中、在同一背景图像上、或在另一时间的背景图像上选择的接近的块之间的绝对差的和（SAD），来计算空间相关性。
例如，在块b（i，j，t）和一组块b（i±x*δi，j±y*δj，t）（{x，y}∈{1;2;…;Δ}2）之间，根据特定的方向（即分别为右、左、下、上），可以设定以下：
-droite_SADΔ[b（i，j，t）]=SAD[b（i，j，t），b（i-1，j，t）]+…+SAD[b（i，j，t），b（i-Δ，j，t）]
-gauche_SADΔ[b（i，j，t）]=SAD[b（i，j，t），b（i+1，j，t）]+…+SAD[b（i，j，t），b（i+Δ，j，t）]
-bas_SADΔ[b（i，j，t）]=SAD[b（i，j，t），b（i，j-1，t）]+…+SAD[b（i，j，t），b（i，j-Δ，t）]
-haut_SADΔ[b（i，j，t）]=SAD[b（i，j，t），b（i，j+1，t）]+…+SAD[b（i，j，t），b（i，j+Δ，t）]
这些和SAD的最小值作为在时间（t）时的图像的特定块b（i，j，t）和相同帧的至少一个优选地相邻块b（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_b（i:i±x*δi，j:j±y*δj，t:t）的测量。
执行同样的原则以：计算在时间（t）时的背景图像的块Bo（i，j，t）和在相同时间（t）时的背景图像的至少一个块Bo（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t:t），
和计算在时间（t-a）时的背景图像的块Bo（i，j，t-a）和在时间（t）时的背景图像的至少一个块Bo（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t-a:t），该至少一个块Bo（i±x*δi，j±y*δj，t）接近于且优选地相邻于块Bo（i，j，t）。
或者，计算在时间（t）时一个图像的特定块b（i，j，t）与时间t时的背景图像的至少一个块Bo（i±x*δi，j±y*δj，t）之间的空间相关性Corr_spat_mes_b_Bo（i:i±x*δi，j:j±y*δj，t:t），优选地，所述至少一个块Bo（i±x*δi，j±y*δj，t）不同于块Bo（i，j，t）、接近于且优选地相邻于块Bo（i，j，t）。
因此，空间相关性计算的通用函数被命名为Corr_spat_mes。
在一个实施例中，首先对至少两个帧测量与时间相关性测量结合的空间相关性sum1。
为了这个目的，参照图5，按如上所述，测量在时间（t）时的图像的特定块b（i，j，t）与在另一时间（t-a）时的图像的相同块b（i，j，t-a）之间的时间相关性Corr_temp_mes_b（i，j，t）。
为了计算sum1，还可以通过参数λ加权空间相关性的权重，参数λ可取决于时间λ（t），使得，
Sum1=Corr_temp_mes_b（i，j，t）+λ（t）.Corr_spat_mes_b_Bo（i:i±x*δi，j:j±y*δj，t:t）
例如λ=δi，而δi=δj，即λ=2。
同样地，对至少两个背景图像测量与时间相关性测量结合的空间相关性sum2。
为了这个目的，按如上所述，测量在时间（t）时的背景图像的特定块Bo（i，j，t）与在另一时间（t-a）时的背景图像的相同块Bo（i，j，t-a）之间的时间相关性Corr_temp_mes_Bo（i，j，t）。
还测量了在时间（t-a）时的背景图像的块Bo（i，j，t-a）与在时间（t）时的背景图像的至少一个相邻的块Bo（i±δi，j±δj，t）之间的空间相关性Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t-a:t），所述块Bo（i，j，t-a）对应于在时间（t）时的图像的所述特定块b（i，j，t）。
为了计算sum2，还可以通过参数λ加权空间相关性的权重，参数λ可取决于时间λ（t），使得，
Sum2=Corr_temp_mes_Bo（i，j，t）+λ（t）.Corr_spat_mes_Bo（i:i±x*δi，j:j±y*δj，t-a:t）
接着，通过选择这两个值的最小值来更新块Bo（i，j，t）的值：
Bo（i，j，t）=min[sum1；sum2]
因此，背景图像的块Bo（i，j，t）可以是块Bo（i，j，t-a）或块b（i，j，t）。
例如，通过测量所考虑的块的像素的亮度值的差异对时间相关性或空间相关性进行测量。优选地，通过测量所考虑的块的像素的色度值的差异对时间相关性或空间相关性进行进一步测量。
在一个实施例中，通过测量块b（i，j，t）和多个帧上的同一块b（i，j，t±z*δt）之间的绝对差的和（SAD）并且通过选择绝对和最小的块来确定时间相关性或空间相关性。
为了简化计算，优选地，选择两个连续的帧t和帧t-1，从而使a=δt（z=1）。
根据本发明，对背景图像进行实时更新。因此，用于空间相关性计算的背景图像的块Bo（i，j）可以在先前的循环（iteration）期间已更新。有利地，在第一方向和在第二方向上对块b（i，j）的每个帧进行扫描，即从帧的左上部的第一块b（1，1）开始到该帧的右下部的最后块b（N，M）进行第一系列的相关性计算；然后从该帧的右下部的最后块b（N，M）开始到该帧的左上部的第一块b（1，1）进行第二系列的相关性计算。
同样地，可以进行对分（dichotomized）的操作，使得以块尺寸的梯度对块b（i，j）的每个帧进行反复扫描，每次可以为先在第一方向上、接着在第二方向上。
例如，循环I=2，以块b（i，j）的等于N1*M1的尺寸执行第一次扫描；然后以块b（i，j）的等于N2*M2的尺寸执行第二次扫描，使得N2<N1且M2<M1。
优选地，仅仅对第一次扫描期间确定的其空间和/或时间相关性高于阈值的块b（i，j）执行以块的第二尺寸的第二次扫描。
此外，随着背景图像被实时更新，其可以显示给用户，例如以预览的模式。在一个实施例中，用户可以在其想要的任何时间根据显示的背景图像停止执行该方法。
根据本发明，还可以提供计算背景图像的收敛速度的步骤。将计算出的速度与阈值进行比较，如果该速度低于所述阈值，则停止扫描该背景图像的块Bo（i，j）。例如，可以通过相对于帧图像的块b（i，j）的总数计算更新的块Bo（i，j）的数目，来计算收敛速度，其中该帧图像的块b（i，j）的总数等于背景图像的块Bo（i，j）的总数。
根据本发明，还可以提供检查稳定性的步骤。为了该目的，如果背景图像的块Bo（i，j）的稳定性、或帧的块Bo（i，j）的稳定性高于阈值，则相邻的块Bo（i+δi，j+δj）代替块Bo（i，j）。

Claims (9)

1.一种用于重新生成视频流的数字图像的背景的方法，该视频流由固定相机产生并且包括多个时序帧，每一时序帧包括相应的单元图像，所述方法包括以下的步骤：
-将初始背景图像设定在存储器中；
-将所述视频流的单元图像分割成具有至少一个像素的块b(i，j，t)，和
-将所述背景图像分割成对应的块Bo(i，j，t)，所述块Bo(i，j，t)具有与所述单元图像的块相同的尺寸和相同的坐标(i，j)，
其特征在于，所述方法还包括以下的步骤：
-选择至少一个块b(i，j，t)、块b(i，j，t-a)、块Bo(i，j，t-a)和块Bo(i，j，t)，和
-计算块b(i，j，t)、块b(i，j，t-a)、块Bo(i，j，t-a)和块Bo(i，j，t)之间的空间相关性，所述空间相关性在于计算：
·在时间(t)时的所述帧图像的特定块b(i，j，t)，和
·在时间(t)时的所述背景图像的接近于所述块Bo(i，j，t)的至少一个块Bo(i±x*δi，j±y*δj，t)，和/或
·在另一时间(t-a)时的所述背景图像的接近于所述块Bo(i，j，t-a)的至少一个块Bo(i±x*δi，j±y*δj，t-a)之间的空间相关性(Corr_spat_mes_b，Corr_spat_mes_b_Bo)，和/或
·在时间(t)时的所述背景图像的特定块Bo(i，j，t)，和
·在时间(t)时的所述背景图像的接近于所述块Bo(i，j，t)的至少一个块Bo(i±x*δi，j±y*δj，t)，和/或
·在另一时间(t-a)时的所述背景图像的接近于所述块Bo(i，j，t-a)的至少一个块Bo(i±x*δi，j±y*δj，t-a)，和/或
·在时间(t)时的所述帧图像的接近于所述块b(i，j，t)的至少一个块b(i±x*δi，j±y*δj，t)之间的空间相关性(Corr_spat_mes_Bo，Corr_spat_mes_Bo_b)，
·其中，(i±δi，j±δj)为与具有坐标(i，j)的块相邻的块的坐标，并且x和y为整数，和
-根据所述空间相关性的计算更新所述背景图像，
所述方法还包括以下的步骤：
-计算在时间(t)时的图像的特定块b(i，j，t)与在先前时间(t-a)时的一个图像或几个图像的相同块b(i，j，t-a)之间的时间相关性Corr_temp_mes_b，和/或
-计算在时间(t)时的图像的特定块Bo(i，j，t)与在先前时间(t-a)时的一个图像或几个图像的相同块Bo(i，j，t-a)之间的时间相关性Corr_temp_mes_Bo，和
-根据所述时间相关性更新所述背景图像，
其中
对至少两个帧测量与所述时间相关性的测量结合的所述空间相关性(sum1)，其中，所述空间相关性的权重通过取决于时间λ(t)的参数λ来加权，使得
Sum1＝Corr_temp_mes_b(i，j，t)+λ(t).Corr_spat_mes_b_Bo(i:i±x*δi，j:j±y*δj，t:t)，
其中，
对至少两个帧测量与所述时间相关性的测量结合的所述空间相关性(sum2)，其中，所述空间相关性的权重通过取决于时间λ(t)的参数λ来加权，使得
Sum2＝Corr_temp_mes_Bo(i，j，t)+λ(t).Corr_spat_mes_Bo(i:i±x*δi，j:j±y*δj，t-a:t)，和
其中，
通过选择两个值Sum1和Sum2的最小值来更新所述块Bo(i，j，t)的值，
其中
δ表示变化，
Corr_spat_mes_b_Bo(i:i±x*δi,j:j±y*δj,t:t)是时间(t)时的块b(i，j，t)与相同时间(t)时的背景图像的至少一个块Bo(i±x*δi,j±y*δj,t)之间的空间相关性的和，
Corr_spat_mes_Bo(i:i±x*δi,j:j±y*δj,t-a:t)是时间(t-a)时的背景图像的块Bo(i,j,t-a)与时间(t)时的背景图像的至少一个块Bo(i±x*δi,j±y*δj,t)之间的空间相关性的和，
其中{x,y}∈{1；2；...；Δ}2。
2.根据权利要求1所述的方法，其中，所述更新所述背景图像包括以下的步骤：
通过在块b(i，j，t)、块b(i，j，t-a)、块Bo(i，j，t-a)或块Bo(i，j，t)之中选择具有最小空间相关性的块，来用块b(i，j，t)、块b(i，j，t-a)、块Bo(i，j，t-a)或块Bo(i，j，t)代替所述块Bo(i，j，t)。
3.根据权利要求1-2中任一项所述的方法，其中，通过测量所考虑的块之间的绝对差的和(SAD)来计算所述空间相关性。
4.根据权利要求3所述的方法，其中，
沿特定的方向设定特定块(b(i，j，t),Bo(i，j，t))与一组块(b(i±x*δi，j±y*δj，t)，Bo(i±x*δi，j±y*δj，t))之间的所述空间相关性，其中{x，y}∈{1；2；…；Δ}2，
其中，沿着所述特定方向的每一方向的所述绝对差的和(SAD)的最小值被作为所述空间相关性的测量。
5.根据权利要求1所述的方法，其中，
至少在第一方向和在第二方向上扫描块b(i，j)的每个帧或块Bo(i，j)的背景图像，使得在所述第一方向上执行第一系列的相关性计算，并且在所述第二方向上执行第二系列的相关性计算。
6.根据权利要求1所述的方法，其中，在第一方向上所述块b(i，j)的尺寸或所述块Bo(i，j)的尺寸与在第二方向上所述块b(i，j)的尺寸或所述块Bo(i，j)的尺寸不同。
7.根据权利要求1所述的方法，先前还包括以下的步骤：
计算对于在时间(t)时的帧的块b(i，j，t)的组的稳定性的测量的和，所述稳定性的测量为时间相关性的测量，和
-将所述稳定性的测量的和与第一阈值(T1)进行比较，且
-如果所述和低于所述第一阈值(T1)，则所述帧不被考虑用于所述空间相关性计算；和/或
-将所述稳定性的测量的和与第二阈值(T2)进行比较，且
-如果所述和高于所述第二阈值(T2)，则所述帧不被考虑用于所述空间相关性计算。
8.根据权利要求1所述的方法，还包括以下的步骤：
-计算所述背景图像的收敛速度，
-将计算出的速度与阈值进行比较，和
-如果该速度低于所述阈值，则停止扫描所述背景图像的块Bo(i，j)。
9.根据权利要求1所述的方法，其中，所述空间相关性还在于计算在时间(t)时的所述帧图像的特定块b(i，j，t)与在时间(t)时的所述帧图像的接近于所述块b(i，j，t)的至少一个块b(i±x*δi，j±y*δj，t)之间的空间相关性(Corr_spat_mes_b，Corr_spat_mes_b_Bo)。
CN201080064321.8A 2009-12-21 2010-12-17 一种用于重新生成视频流的数字图像的背景的方法 Expired - Fee Related CN102822868B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0959324 2009-12-21
FR0959324 2009-12-21
PCT/EP2010/070060 WO2011076682A1 (en) 2009-12-21 2010-12-17 Method for regenerating the background of digital images of a video stream

Publications (2)

Publication Number Publication Date
CN102822868A CN102822868A (zh) 2012-12-12
CN102822868B true CN102822868B (zh) 2015-02-18

Family

ID=42312830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080064321.8A Expired - Fee Related CN102822868B (zh) 2009-12-21 2010-12-17 一种用于重新生成视频流的数字图像的背景的方法

Country Status (4)

Country Link
US (1) US8948516B2 (zh)
EP (1) EP2517176B1 (zh)
CN (1) CN102822868B (zh)
WO (1) WO2011076682A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578198B (zh) * 2015-12-14 2019-01-11 上海交通大学 基于时偏特征的视频同源Copy-Move检测方法
EP3255585B1 (en) 2016-06-08 2018-05-09 Axis AB Method and apparatus for updating a background model
JP6889843B2 (ja) * 2018-06-13 2021-06-18 株式会社Ｊｖｃケンウッド 映像信号検出装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533515A (zh) * 2009-04-13 2009-09-16 浙江大学 一种面向视频监控的基于块的背景建模方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4596203B2 (ja) * 2001-02-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
US7254268B2 (en) 2002-04-11 2007-08-07 Arcsoft, Inc. Object extraction
WO2005122094A1 (en) * 2004-06-14 2005-12-22 Agency For Science, Technology And Research Method for detecting desired objects in a highly dynamic environment by a monitoring system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533515A (zh) * 2009-04-13 2009-09-16 浙江大学 一种面向视频监控的基于块的背景建模方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
An efficient background estimation algorithm for embedded smart cameras;Reddy V. et al.;《Distributed Smart Cameras, 2009. ICDSC 2009. Third ACM/IEEE International Conference on》;20090830;第1-7页 *
Background subtraction based on cooccurrence of image variations;Seki M. et al.;《Computer Vision and Pattern Recognition, 2003. Proceedings. 2003 IEEE Computer Society Conference on》;20030618;第2卷;第1-8页 *
基于背景建模的动态目标检测算法的研究与仿真;方帅等;《系统仿真学报》;20050131;第17卷(第1期);第159-161、165页 *

Also Published As

Publication number Publication date
US8948516B2 (en) 2015-02-03
CN102822868A (zh) 2012-12-12
EP2517176A1 (en) 2012-10-31
US20120275706A1 (en) 2012-11-01
EP2517176B1 (en) 2019-02-20
WO2011076682A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
US8351511B2 (en) Image processing apparatus and image processing method
EP3216216B1 (en) Methods and systems for multi-view high-speed motion capture
CN104363451B (zh) 图像预测方法及相关装置
KR101130060B1 (ko) 일시적 움직임 벡터 필터링
KR100879324B1 (ko) 영상정보 압축 방법 및 이를 기록한 컴퓨터로 읽을 수 있는 기록매체
US8611424B2 (en) Image processing apparatus and image processing method
CN103314572B (zh) 用于图像处理的方法和设备
CN110322542B (zh) 重建真实世界3d场景的视图
CN101562704B (zh) 图像处理装置和图像处理方法
US8634471B2 (en) Moving image encoding apparatus, control method thereof and computer-readable storage medium
US20060215930A1 (en) Panorama image generation program, panorama image generation apparatus, and panorama image generation method
JP2006512029A (ja) セグメントベース動き推定
CN118055253A (zh) 用于视频代码化中的运动补偿预测的光流估计
CN102480595B (zh) 图像处理设备和图像处理方法
CN101002479A (zh) 用于全景图像的运动估计和补偿的方法和设备
CN103873865B (zh) 运动图像编码设备及其控制方法
WO2006054257A1 (en) Motion vector field projection dealing with covering and uncovering
US9113170B2 (en) Motion vector decision apparatus, motion vector decision method and computer readable storage medium
CN110418065A (zh) 高动态范围图像运动补偿方法、装置及电子设备
US10269099B2 (en) Method and apparatus for image processing
CN106534858A (zh) 真实运动估计方法及装置
CN102822868B (zh) 一种用于重新生成视频流的数字图像的背景的方法
CN106791869B (zh) 基于光场子孔径图像相对位置关系的快速运动搜索方法
US20110280308A1 (en) Moving image encoding apparatus and method of controlling the same
WO2011074121A1 (ja) 動きベクトル検出装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150218

Termination date: 20201217