CN1147130C - 数字图像分段方法及装置 - Google Patents

数字图像分段方法及装置 Download PDF

Info

Publication number
CN1147130C
CN1147130C CNB00104771XA CN00104771A CN1147130C CN 1147130 C CN1147130 C CN 1147130C CN B00104771X A CNB00104771X A CN B00104771XA CN 00104771 A CN00104771 A CN 00104771A CN 1147130 C CN1147130 C CN 1147130C
Authority
CN
China
Prior art keywords
frame
segmentation
zone
image
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB00104771XA
Other languages
English (en)
Other versions
CN1278688A (zh
Inventor
申铉�
申铉枓
曼朱纳思
崔良林
B·S·曼朱纳思
邓忆宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
University of California
Original Assignee
Samsung Electronics Co Ltd
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, University of California filed Critical Samsung Electronics Co Ltd
Publication of CN1278688A publication Critical patent/CN1278688A/zh
Application granted granted Critical
Publication of CN1147130C publication Critical patent/CN1147130C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种数字图像分段方法和装置。该方法包括下列步骤：在多个数字图像帧中设定一个任意帧作为I帧，而将其他帧作为P帧；将I帧分段成多个区域；和通过采用分段的I帧区域相对于各P帧的运动预测获得运动向量，将分段的I帧区域移动该运动向量，并将移动过的I帧区域设定为分段的P帧区域，从而对各P帧进行分段。因此，将对I帧的分段应用于对P帧的分段，不必执行耗费大量时间的对所有帧的传统分段处理。因此，可执行快速的分段。

Description

数字图像分段方法及装置
技术领域
本发明涉及一种图像分段方法，尤其涉及一种用于将数字图像分段成多个目标以进行基于目标的图像处理数字图像分段方法。另外，本发明还涉及一种跟踪通过上述方法分段的图像中的一个区的方法，并涉及一种实现图像分段方法的数字图像分段装置。
背景技术
基于目标数字图像处理的基础是图像分段。但是，尚未见到有提供满意的实时结果的图像分段方法的报道。
发明内容
为了解决上述问题，本发明的一个目的是提供一种数字图像分段方法，用于将数字图像高速地分段成多个目标，以进行基于目标的图像处理。
本发明的另一目的是提供一种高速地跟踪图像区域的方法，其中该图像由上述方法进行分段。
本发明的又一目的是提供一种用于实现图像分段方法的数字图像分段装置。
因此，为了实现第一个目的，本发明提供一种数字图像分段方法，该方法包括下列步骤：(a)在多个数字图像帧中设定一个任意帧作为I帧，而将其他帧作为P帧；(b)将I帧分段成多个区域；和(c)通过采用分段的I帧区域相对于各P帧的运动预测获得运动向量，将分段的I帧区域移动该运动向量，并将移动过的I帧区域设定为分段的P帧区域，从而对各P帧进行分段，其中，步骤(c)包括下列子步骤：执行仿射匹配方法，用于将分段的I帧区域相对于P帧区域移动一预定偏移量，并将其每个与各I帧区域的差异最小的各P帧区域设定为仿射匹配区域；获得表示P帧仿射匹配区域相对于I帧区域的偏移量的运动向量；及将分段的I帧区域相对于P帧移动该运动向量，并将移动过的I帧区域设定为各P帧区域。
最好，在步骤(a)之前，该数字图像分段方法包括如下步骤：(p-a-1)将所接收到的图像流组合成多个连续的帧组，并且在步骤(a)在每个组中将一个任意帧设定为I帧，而将其他帧作为P帧；在步骤(c)之后还包括下列子步骤：(d)确定经处理过的分段的I帧区域是否为最后一个；及(e)如果在步骤(d)确定该分段的I帧区域不是最后一个，则返回到步骤(c)，其中根据I帧的分段来对各P帧进行顺序分段。
为了实现第二个目的，本发明提供一种跟踪由数字图像分段方法分段的图像的区域的方法，其中，该数字图像分段方法包括下列步骤：将一个图像流分组成多个连续的帧组，将每个组中的一个任意帧设定为I帧，而将其他帧设定为P帧，将I帧分段成多个区域，并且，通过采用分段的I帧区域相对于P帧的运动预测获得运动向量，将分段的I帧区域移动该运动向量，并将移动过的I帧区域设定为分段的P帧区域，从而对各P帧进行分段，该跟踪方法包括下列步骤：采用仿射运动补偿方法来跟踪各I帧区域，该仿射补偿方法用于将一个组中的一个I帧区域相对于另一组中的一个I帧移动一预定偏移量，并将该另一组中与第一组中所选原始I帧区域的差异最小的I帧区域设定为仿射匹配区域；和采用对各组中各I帧的运动预测，跟踪通过对各P帧分段而形成的各P帧区域。
为了实现第三个目的，本发明提供一种数字图像分段装置，包括：分组单元，用于将一个图像流分组成多个连续的帧组，并将每个组中的一个任意帧设定为I帧，而将其他帧设定为P帧；I帧分段单元，用于将所接收到的I帧分段，并输出分段的I帧，和顺序输出分段的I帧区域；仿射匹配单元，用于按照将分段的I帧区域相对于P帧区域移动一预定偏移量，并将其每个与各I帧区域的差异最小的各P帧区域设定为仿射匹配区域的方式，通过采用所接收到的采用分段的I帧区域相对于各P帧的运动预测来获得运动向量；和P帧分段单元，用于接受各P帧和该运动向量，并通过将分段的I帧区域移动该运动向量，来对各P帧分段。
附图说明
通过参照附图对本发明优选实施例的详细描述，本发明的上述目的和优点将变得更加清楚，附图中：
图1是表示本发明数字图像分段方法的基本步骤的流程图；
图2是表示本发明数字图像分段方法中的帧分组步骤的示意图；
图3是表示本发明数字图像分段方法中的I帧设定步骤的示意图；
图4是表示根据本发明用于采用由数字图像分段方法分段的I帧的一个区域对P帧进行分段的处理的示意图；
图5是表示根据本发明用于由数字图像分段方法分段的各图像组中的区域的处理的示意图；和
图6是表示本发明数字图像分段装置的结构的框图。
具体实施方式
参照图1，在本发明的数字图像分段方法中，首先，在步骤102，将一图像流分组成多个连续的帧组。图2是用于解释本发明数字图像分段方法中帧分组步骤的示意图。亦即，在分组步骤102中，将多个帧分组成多个连续的帧组，从而形成第一、第二、第三和第四组G0、G1、G2和G3。在MPEG编码情况下，可将13个帧形成为一个例如为“IBBPBBPBBPBBI”的组。
在步骤104，将每个组中的一个任意帧设定为I帧，而将其他的帧设定为P帧。图3表示其中在步骤104设定了I帧和各P帧的一个组的示例。该I帧可被任意设定，或被设定为参照MPEG-2标准的数字图像帧管理信息确定的内帧(intra frame)。在每个组中，未被设定为I帧的其他帧被设定为P帧。
在步骤122，该I帧被分段为多个区域。在分段步骤122中，可采用为本领域内的普通技术人员所熟知的各种分段方法。
在步骤124，从分段的I帧的各区域中选择一个区域。在步骤14，通过所选区域相对于一P帧的运动预测，提取一运动向量，并将所选区域移动该运动向量，并将其设定为一分段的P帧区域，从而将该P帧分段。P帧分段步骤14包括3个子步骤。在第一步骤142，执行仿射匹配，其中将所选I帧区域相对于P帧移动预定偏移量，并将与所选I帧区域的差异最小的P帧区域设定为仿射匹配区域。在第二步骤144，获得运动向量，该运动向量表示仿射匹配P帧区域相对于所选I帧区域的偏移量。在第三步骤146，在该P帧中，通过将分段的I帧区域移动该运动向量，来确定P帧区域。图4的示意图表示根据本发明采用由数字图像分段方法分段的I帧的一个区域对P帧进行分段的处理。下面将参照图4来详细描述用于将P帧分段的处理。首先，在分段的I帧区域中设定一区域(Si)。定义另一区域(Si′)，该区域(Si′)与区域(Si)偏移某一偏移量，并对应于区域Si，然后，计算区域Si′和Si之间的差值。这里，可根据是否为黑白图像或彩色图像，而采用不同的方法来执行差值计算。例如在黑白图像的情况下，可计算亮度的差值。例如在彩色图像的情况下，可计算亮度和色度的差值。例如，对所有坐标执行这种计算，并对计算结果进行求和。将给出的I帧区域移动预定偏移量，并将与所设定的I帧区域差异最小的一P帧区域设定为仿射匹配区域。将区域(Si)和其与区域(Si)的差异最小区域(Si′)之间的方向和距离设定为运动向量MV。将该I帧分段的区域移动该运动向量(MV)，并将其设定为分段的P帧区域(Si′)。这种处理是在P帧上对I帧区域的运动预测，并可被理解为类似于MPEG-2运动预测。
根据本发明，在P帧分段步骤14之后，在步骤182，确定分段的I帧区域是否为最后的区域。如果在步骤182确定该分段的I帧区域不是最后一个，则在步骤184选择下一个区域，并且处理过程返回到P帧分段步骤14。从而，相对于所有分段的I帧区域，将各P帧顺序地分段。以这种方式，对I帧的分段应用于P帧分段上，而不必对每个帧执行传统的耗时的分段处理。
可通过根据本发明的对分段的数字图像的区域跟踪方法，来对由上述方法分段的图像组进行快速区域跟踪。图5表示采用本发明的区域跟踪方法进行的区域跟踪处理。根据本发明区域跟踪方法的一实施例，通过仿射运动补偿来执行相对于I帧的区域跟踪，在该仿射运动补偿中，在由上述方法分段的各图像组之间，将一个分段的I帧区域相对于另一个I帧移动一预定的偏移量，从而将与原始区域的差异最小的区域设定为仿射匹配区域。这里，最好采用纹理和尺寸特性两者来防止区域的误选择。已通过空间分段处理来完成每个组中的区域跟踪。因此，在每个组中，可对I帧执行运动预测，从而可实现对分段的P帧区域的跟踪。在上述本发明的区域跟踪方法中，不是对所有区域执行跟踪，而是对每个目标执行跟踪，从而可实现快捷的区域跟踪。
本发明的数字图像分段方法和分段的数字图像区域跟踪方法可被编写成可由计算机执行的程序。另外，这些方法可在运行从各计算机中使用的介质读出的程序的一般的通用数字计算机中实现。该介质可以是诸如软盘或硬盘的磁记录介质、诸如CD-ROM或DVD的光记录介质、或者是用于经因特网(Internet)发送的载波的介质。另外，本发明技术领域内的普通编程人员能够很容易得出这些函数程序、代码和代码段。
本发明的图像分段方法也可实现为一装置。该装置可被用作在诸如数字照相机或数字摄录机的数字图像处理装置中用于对图像进行编辑的图像搜索装置。
图6是表示本发明数字图像分段装置结构的框图。参照图6，本发明的图像分段装置包括分组单元60、I帧分段单元62、仿射匹配单元64、和P帧分段单元66。
分组单元60接收一图像流，将该图像流分组成多个连续的帧组，并在每个组中将一任意帧设定为I帧，而将其他帧设定为P帧。I帧分段单元62接收I帧，将该I帧分段成多个区域，并顺序地输出分段的I帧区域(Ri)。仿射匹配单元64接收I帧区域(Ri)和P帧，并通过执行基于仿射匹配方法的运动预测来输出一运动向量MV。在该仿射匹配方法中，将所选I帧区域相对于P帧移动预定偏移量，并将与所选I帧区域的差异最小的P帧区域设定为仿射匹配区域，如参照图4所述。P帧分段单元66接收P帧和运动向量，将分段的I帧区域移动对应于运动向量MC的距离，并将该P帧分段。
在上述本发明的数字图像分段方法和装置中，将对I帧的分段应用于P帧分段上，而不必执行耗费大量时间的对所有帧的传统分段处理。因此，可执行快速的分段。
另外，在本发明的分段的数字图像区域跟踪方法中，不是对每个区域执行跟踪，而是对每个目标执行跟踪。因此，能够执行对各区域的快捷的跟踪。

Claims (4)

1.一种数字图像分段方法，包括下列步骤：
(a)在多个数字图像帧中设定一个任意帧作为I帧，而将其他帧作为P帧；
(b)将I帧分段成多个区域；和
(c)通过采用分段的I帧区域相对于各P帧的运动预测获得运动向量，将分段的I帧区域移动该运动向量，并将移动过的I帧区域设定为分段的P帧区域，从而对各P帧进行分段，
其中，步骤(c)包括下列子步骤：
执行仿射匹配方法，用于将分段的I帧区域相对于P帧区域移动一预定偏移量，并将其每个与各I帧区域的差异最小的各P帧区域设定为仿射匹配区域；
获得表示P帧仿射匹配区域相对于I帧区域的偏移量的运动向量；及
将分段的I帧区域相对于P帧移动该运动向量，并将移动过的I帧区域设定为各P帧区域。
2.如权利要求1所述的数字图像分段方法，在步骤(a)之前，该数字图像分段方法包括如下步骤：(p-a-1)将所接收到的图像流组合成多个连续的帧组，并且在步骤(a)在每个组中将一个任意帧设定为I帧，而将其他帧作为P帧；在步骤(c)之后还包括下列子步骤：
(d)确定经处理过的分段的I帧区域是否为最后一个；及
(e)如果在步骤(d)确定该分段的I帧区域不是最后一个，则返回到步骤(c)，
其中根据该I帧的分段来对各P帧进行顺序分段。
3.一种跟踪由数字图像分段方法分段的图像的区域的方法，其中，该数字图像分段方法包括下列步骤：将一个图像流分组成多个连续的帧组，将每个组中的一个任意帧设定为I帧，而将其他帧设定为P帧，将I帧分段成多个区域，并且，通过采用分段的I帧区域相对于P帧的运动预测获得运动向量，将分段的I帧区域移动该运动向量，并将移动过的I帧区域设定为分段的P帧区域，从而对各P帧进行分段，该跟踪方法包括下列步骤：
采用仿射运动补偿方法来跟踪各I帧区域，该仿射运动补偿方法用于将一个组中的一个I帧区域相对于另一组中的一个I帧移动一预定偏移量，并将该另一组中与第一组中所选原始I帧区域的差异最小的I帧区域设定为仿射匹配区域；和
采用对各组中各I帧的运动预测，跟踪通过对各P帧分段而形成的各P帧区域。
4.一种数字图像分段装置，包括：
分组单元，用于将一个图像流分组成多个连续的帧组，并将每个组中的一个任意帧设定为I帧，而将其他帧设定为P帧；
I帧分段单元，用于将所接收到的I帧分段，并输出分段的I帧，和顺序输出分段的I帧区域；
仿射匹配单元，用于按照将分段的I帧区域相对于P帧区域移动一预定偏移量，并将其每个与各I帧区域的差异最小的各P帧区域设定为仿射匹配区域的方式，通过采用所接收到的采用分段的I帧区域相对于各P帧的运动预测来获得运动向量；和
P帧分段单元，用于接受各P帧和该运动向量，并通过将分段的I帧区域移动该运动向量，来对各P帧分段。
CNB00104771XA 1999-06-17 2000-03-28 数字图像分段方法及装置 Expired - Fee Related CN1147130C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/334,632 1999-06-17
US09/334,632 US6553069B1 (en) 1999-06-17 1999-06-17 Digital image segmenting method and device

Publications (2)

Publication Number Publication Date
CN1278688A CN1278688A (zh) 2001-01-03
CN1147130C true CN1147130C (zh) 2004-04-21

Family

ID=23308084

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB00104771XA Expired - Fee Related CN1147130C (zh) 1999-06-17 2000-03-28 数字图像分段方法及装置

Country Status (4)

Country Link
US (1) US6553069B1 (zh)
JP (1) JP3979768B2 (zh)
KR (1) KR100644574B1 (zh)
CN (1) CN1147130C (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665342B1 (en) * 1999-07-02 2003-12-16 International Business Machines Corporation System and method for producing a still image representation of a motion video
US20070165958A1 (en) * 2004-01-16 2007-07-19 Koninklijke Philips Electronic, N.V. Method for compressing/decompressing video information
KR100652703B1 (ko) * 2004-12-08 2006-12-01 엘지전자 주식회사 휴대단말기의 동영상 검색장치 및 방법
CN100414999C (zh) * 2005-03-07 2008-08-27 明基电通股份有限公司 处理视讯信号的方法及装置
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
KR101328199B1 (ko) * 2012-11-05 2013-11-13 넥스트리밍(주) 동영상 편집 방법 및 그 단말기 그리고 기록매체
US11212521B2 (en) * 2018-11-07 2021-12-28 Avago Technologies International Sales Pte. Limited Control of memory bandwidth consumption of affine mode in versatile video coding
CN113873328B (zh) * 2021-09-27 2023-06-27 四川效率源信息安全技术股份有限公司 多摄像头融合视频文件拆分为多个单摄像头视频文件的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226327B1 (en) * 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
JP2576771B2 (ja) * 1993-09-28 1997-01-29 日本電気株式会社 動き補償予測装置
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
GB9623573D0 (en) * 1996-11-13 1997-01-08 Philips Electronics Nv Image segmentation
US6285361B1 (en) * 1996-11-15 2001-09-04 Futuretel, Inc. Method and apparatus for clipping video segments from an audiovisual file
US6272180B1 (en) * 1997-11-21 2001-08-07 Sharp Laboratories Of America, Inc. Compression and decompression of reference frames in a video decoder
KR100327103B1 (ko) * 1998-06-03 2002-09-17 한국전자통신연구원 사용자의조력및물체추적에의한영상객체분할방법
US6295089B1 (en) * 1999-03-30 2001-09-25 Sony Corporation Unsampled hd MPEG video and half-pel motion compensation

Also Published As

Publication number Publication date
KR20010005451A (ko) 2001-01-15
JP2001036907A (ja) 2001-02-09
US6553069B1 (en) 2003-04-22
CN1278688A (zh) 2001-01-03
KR100644574B1 (ko) 2006-11-13
JP3979768B2 (ja) 2007-09-19

Similar Documents

Publication Publication Date Title
Hampapur et al. Production model based digital video segmentation
US7046731B2 (en) Extracting key frames from a video sequence
Wang et al. Survey of compressed-domain features used in audio-visual indexing and analysis
US7469010B2 (en) Extracting key frames from a video sequence
Dong et al. Video stabilization for strict real-time applications
Zhang et al. Video parsing using compressed data
EP1147669B1 (en) Video signal processing method and apparatus by feature points extraction in the compressed domain.
KR100901904B1 (ko) 카메라 움직임 추정 방법 및 비디오 움직임 식별 장치
US7027509B2 (en) Hierarchical hybrid shot change detection method for MPEG-compressed video
KR100459893B1 (ko) 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치
JP4320141B2 (ja) 要約映像生成のための方法とシステム
US8509592B2 (en) Image difference detection method and apparatus, scene change detection method and apparatus, and image difference value detection method and apparatus
JP2001527304A (ja) ディジタル動画の階層的要約及び閲覧方法
JP2000182065A (ja) 動画像リアルタイム変換方法、キ―フレ―ム選択方法、及び動画像変換システム
CN1147130C (zh) 数字图像分段方法及装置
Ewerth et al. Estimation of arbitrary camera motion in MPEG videos
Kobla et al. Compressed domain video segmentation
Fei et al. Mean shift clustering-based moving object segmentation in the H. 264 compressed domain
JP2009212605A (ja) 情報処理方法、情報処理装置及びプログラム
CN110728700A (zh) 一种运动目标追踪方法、装置、计算机设备及存储介质
CN110378928B (zh) 一种动静匹配的目标检测与跟踪方法
CN110310303B (zh) 图像分析多目标跟踪方法
Song et al. Automatic shot change detection algorithm using multi-stage clustering for MPEG-compressed videos
Shukla et al. A robust video stabilization technique using integral frame projection warping
Zhang et al. An edge and color oriented optical flow estimation using block matching

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1076741

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040421

Termination date: 20180328