CN102129682A - 一种前景背景区域划分方法、系统 - Google Patents

一种前景背景区域划分方法、系统 Download PDF

Info

Publication number
CN102129682A
CN102129682A CN2011100561464A CN201110056146A CN102129682A CN 102129682 A CN102129682 A CN 102129682A CN 2011100561464 A CN2011100561464 A CN 2011100561464A CN 201110056146 A CN201110056146 A CN 201110056146A CN 102129682 A CN102129682 A CN 102129682A
Authority
CN
China
Prior art keywords
macro block
image
complexity
model
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100561464A
Other languages
English (en)
Other versions
CN102129682B (zh
Inventor
舒倩
张智雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN RONGCHUANG TIANXIA TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN RONGCHUANG TIANXIA TECHNOLOGY DEVELOPMENT Co Ltd filed Critical SHENZHEN RONGCHUANG TIANXIA TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201110056146.4A priority Critical patent/CN102129682B/zh
Priority to PCT/CN2011/073585 priority patent/WO2012119343A1/zh
Publication of CN102129682A publication Critical patent/CN102129682A/zh
Priority to HK11113405.9A priority patent/HK1159290A1/zh
Application granted granted Critical
Publication of CN102129682B publication Critical patent/CN102129682B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种前景背景区域划分的方法，其特征在于，所述的方法包括：将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别；基于所述的第二图像，确定第二图像的每一个宏块的图像类别；根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图像区域划分；结合最终的图像区域划分，调节编码策略，获取新的编解码图像。本发明还提供了一种前景背景区域划分的系统。该方法与系统是基于图像不同的区域在编码中的特点而进行的，所以该方法更适合于编码器；并且本发明提供人脸及背景区域划分方法，在低码率下保护人的视觉重点区域，利用图像的区域划分信息调整编码策略，从而达到整体效果的提升。

Description

一种前景背景区域划分方法、系统
技术领域
本发明涉及图像检测领域，尤其涉及一种前景背景区域划分方法、系统。
背景技术
目前的流媒体技术在低比特率的情况下，由于总码率不够，压缩后的图像质量不好；尤其是在纹理复杂运动剧烈的场景中，这个矛盾更为突出。并且目前的人脸检测技术一般分为肤色确定与五官定位两个步骤，在肤色区确定上则多采用单色彩模型，这使得判定不具有对光线变化的鲁棒性；而五官定位技术一般计算量比较大，当把这项技术应用到编码上作为一种编码辅助信息，其计算量与效果的性价比较差；且目前的前景背景检测技术没有结合各类区域在编码压缩中的特点进行划分，所以对编码策略的调整其指导性较差，尤其是在低比特率的情况下，这种技术会导致压缩后的图像质量不高。
因此，目前迫切需要一种能够在低码率的情况下，提供一种合理的利用图像区域信息，结合各区域在编码压缩中的特点进行划分，并能够调整编码策略，从而提高压缩图像质量的方法。
发明内容
本发明实施例的目的在于提出一种合理的利用图像区域信息，结合各区域在编码压缩中的特点进行划分，并能够调整编码策略，从而提高压缩图像质量的方法。
为解决上述问题 ，本发明提出一种前景背景区域划分方法，该方法具体为：
步骤101：将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别；
步骤102：基于所述的第二图像，确定第二图像的每一个宏块的图像类别；
步骤103：根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图像区域划分；
步骤104：结合最终的图像区域划分，调节编码策略，获取新的编解码图像。
本发明还提供了一种前景背景区域划分系统，所述的前景背景区域划分系统包括处理装置、类别确定装置、区域联通装置、编码调整装置；
处理装置，用于将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别；
类别确定装置，用于基于所述的第二图像，确定第二图像的每一个宏块的图像类别；
区域联通装置，用于根据确定后的每一个宏块的图像类别，做区域联通处理，获取最终的图像区域划分；
编码调整装置，用于结合最终的图像区域划分，调节编码策略，获取新的编解码图像。
本发明提供了一种前景背景区域划分方法、系统。该方法与系统是基于图像不同的区域在编码中的特点而进行的，所以该方法更适合于编码器；并且本发明提供人脸及背景区域划分方法，一方面在低码率下保护人的视觉重点区域，另一方面可以利用图像的区域划分信息调整编码策略，从而达到整体效果的提升。
附图说明
图1是实施例1前景背景区域划分的方法流程图；
图2是实施例1中确定第二图像的每一个宏块的图像类别为人脸的方法流程图；
图3是实施例1中确定第二图像的每一个宏块的图像类别为运动宏块的方法流程图；
图4是实施例1中确定第二图像的每一个宏块的图像类别为字幕的方法流程图；
图5是实施例1中确定第二图像的每一个宏块的图像类别为平坦或极度可压缩宏块的方法流程图；
图6是实施例2是前景背景区域划分系统结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明提供了一种前景背景区域划分的方法。
实施例1，参见图1，本发明提供的前景背景区域划分的方法具体为：
步骤101：将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别；
步骤102：基于所述的第二图像，确定第二图像的每一个宏块的图像类别；
步骤103：根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图像区域划分；
步骤104：结合最终的图像区域划分，调节编码策略，获取新的编解码图像。
上述步骤101中所述的预先设定需要划分的图像类别可以包括：人脸、运动宏块、字幕和平坦或极度可压缩宏块，这几个类别都是根据人的视觉重点所设定的，其他类别并不对本发明构成限制；相应的步骤102中所述的确定第二图像的每一个宏块的图像类别包括：人脸、运动宏块、字幕和平坦或极度可压缩宏块。
上述第一图像可以是视频图像中任意一帧图像，第二图像为将任意一帧图像下采样后的图像。
一、由于需要划分的图像类别可以是人脸、运动宏块、字幕和平坦宏块、嫉妒可压缩宏块，那么划分不同的类别就有不同的方法，本发明实施例1提供的划分类别可以是其中一种或任意种组合，下面将分别介绍确定每个宏块不同类别的具体方法。
1、参见图2，步骤102所述的确定第二图像的每一个宏块的图像类别为人脸的方法具体为：
步骤1021：将所述的第二图像划分为三个区域：第一人脸判定区域、第二人脸判定区域、第三人脸判定区域；即划分第二图像为3个区域，其中第三人脸判定区域在步骤1030中直接判定为非人脸区域，而第一和第二人脸判定区域为实际判定区域：即                                                
Figure 2011100561464100002DEST_PATH_IMAGE001
，
Figure 586200DEST_PATH_IMAGE002
，
Figure 2011100561464100002DEST_PATH_IMAGE003
为空集；分别进入1022步骤对第一人脸判定区域进行判定，进入步骤1026对第二人脸判定区域进行判定；进入步骤1030设置第三人脸判定区域；
步骤1022：对第一人脸判定区域中每个宏块求取复杂度 ；其中为第二图像的第m行n列宏块的复杂度；std为求均方差；
Figure 2011100561464100002DEST_PATH_IMAGE005
为第二图像第i行第j列像素的亮度值；
Figure 962496DEST_PATH_IMAGE006
为第t帧图像的第m行n列宏块；
步骤1023：判断所述复杂度是否满足判定条件：
Figure 2011100561464100002DEST_PATH_IMAGE007
，若是则进入步骤1024，若否则所述宏块类别为非人脸；
其中
Figure 245579DEST_PATH_IMAGE008
为预置的第十四阈值、为预置的第十五阈值；
步骤1024：将宏块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足则该宏块肤色像素点个数加1；
步骤1025：如果宏块内肤色像素点个数大于第十六阈值，则判定为所述宏块为人脸；
步骤1026：对第二人脸判定区域中每个宏块求取复杂度；
Figure 209380DEST_PATH_IMAGE004
 ；其中
Figure 402464DEST_PATH_IMAGE004
为第二图像的第m行n列宏块的复杂度；std为求均方差；为第二图像第i行第j列像素的亮度值；
Figure 46121DEST_PATH_IMAGE006
为第t帧图像的第m行n列宏块；
步骤1027：判断所述复杂度是否满足判定条件：，若是则进入步骤1028，若否则所述宏块类别为非人脸；
其中为预置的第十四阈值、
Figure 170962DEST_PATH_IMAGE009
为预置的第十五阈值；
步骤1028：以宏块为单位，用宏块内所有像素点相应分量的均值作为各色彩模型分量的值，即将一个宏块作为一个肤色判定点；
步骤1029：对所述肤色判定点做肤色判定，如果该肤色判定点位肤色则判定该宏块为人脸，否则该宏块判定为非人脸；
步骤1030：设置第三人脸判定区域为非人脸区域。
在确定宏块类别为人脸方法的步骤1024、1029中所述的对肤色判定点做肤色判定方法具体为：
步骤111：使用色彩模型1：归一RGB模型
Figure 38424DEST_PATH_IMAGE010
，获得分量值：色彩均衡参数Wr、绿色分量上界模型Gup、绿色分量下界模型Gdown；
该步骤中，获取色彩均衡参数具体为：基于归一RGB模型，求取色彩均衡性参数 
Figure 2011100561464100002DEST_PATH_IMAGE011
，r、g、b为归一化RGB色彩分量；
获取绿色分量上界模型具体为：构建绿色分量上界模型 
Figure 278782DEST_PATH_IMAGE012
，其中为模型参数；
获取绿色分量下界模型具体为：构建绿色分量下界模型
Figure 308442DEST_PATH_IMAGE014
；其中为模型参数。
步骤112：使用色彩模型YUV模型
Figure 976053DEST_PATH_IMAGE016
  ，
获得分量值：色彩能量；Y为亮度分量，U、V分别代表YUV模型两个色度分量；
步骤113：使用色彩模型3：YCoCg模型
Figure 735672DEST_PATH_IMAGE018
，获取分量值：Co为YCgCo模型色彩分量；
步骤114：基于步骤111至113中获取的分量值进行判定，若同时满足下列6个条件，则确定肤色判定点为肤色；
要求1;
Figure 2011100561464100002DEST_PATH_IMAGE019
要求2：
要求3：
要求4：
Figure 660958DEST_PATH_IMAGE022
要求5：
Figure 2011100561464100002DEST_PATH_IMAGE023
要求6：
Figure 440082DEST_PATH_IMAGE024
或者 
Figure 2011100561464100002DEST_PATH_IMAGE025
Figure 469087DEST_PATH_IMAGE026
，
Figure 2011100561464100002DEST_PATH_IMAGE027
分别为第一至第十三阈值；r、g、b为归一化RGB色彩分量；为绿色分量上界模型、
Figure 2011100561464100002DEST_PATH_IMAGE029
为绿色分量下界模型、
Figure 930866DEST_PATH_IMAGE030
为色彩均衡性参数、
Figure 2011100561464100002DEST_PATH_IMAGE031
为色彩能量、
Figure 940279DEST_PATH_IMAGE032
为YCgCo模型色彩分量、u,v为YUV模型两个色度分量。
2、参见图3，步骤102所述的确定第二图像的每一个宏块的图像类别为运动宏块的方法具体为：
步骤201：提取宏块运动复杂度；
提取宏块运动复杂度具体为：
Figure 2011100561464100002DEST_PATH_IMAGE033
，其中
Figure 331946DEST_PATH_IMAGE034
为宏块运动复杂度；
Figure 655480DEST_PATH_IMAGE005
为第t帧图像第i行第j列像素的亮度值，
Figure 389605DEST_PATH_IMAGE005
为第t-1帧图像第i行第j列像素的亮度值；std为求均方差；
Figure 445286DEST_PATH_IMAGE006
为第t帧图像的第m行n列宏块。
步骤202：基于视觉特性、宏块运动复杂度获取视觉宏块运动复杂度信息；
Figure 2011100561464100002DEST_PATH_IMAGE035
，
Figure 386566DEST_PATH_IMAGE036
为视觉宏块运动复杂度信息、
Figure 2011100561464100002DEST_PATH_IMAGE037
为宏块
Figure 513791DEST_PATH_IMAGE038
的视觉权重；为宏块运动复杂度；
步骤203：若视觉宏块运动复杂度信息大于预置的第十七阈值，则确定宏块为运动宏块。
3、参见图4，步骤102所述的确定第二图像的每一个宏块的图像类别为字幕的方法具体为：
步骤301：确定字幕检测区域；
步骤302：提取字幕检测区域中的宏块的纹理复杂度；
Figure 215338DEST_PATH_IMAGE040
，为第t帧图像第i行第j列像素的亮度值、
Figure 745862DEST_PATH_IMAGE006
为第t帧图像的第m行n列宏块、std为求均方差；
步骤303：若所述的宏块的纹理复杂度在预置的第十八阈值和第十九阈值之间，则所述宏块为字幕。
4、参见图5，步骤102所述的确定第二图像的每一个宏块的图像类别为平坦或极度可压缩宏块的方法具体为：
步骤401：确定平坦区域及极度可压缩检测区域
Figure 2011100561464100002DEST_PATH_IMAGE041
；
步骤402：对于
Figure 535832DEST_PATH_IMAGE041
中的宏块，提取宏块亮度纹理复杂度和色度复杂度；
，
Figure 2011100561464100002DEST_PATH_IMAGE043
；
Figure 704350DEST_PATH_IMAGE044
，
Figure 2011100561464100002DEST_PATH_IMAGE045
；
Figure 354643DEST_PATH_IMAGE046
，
Figure 2011100561464100002DEST_PATH_IMAGE047
；
其中，
Figure 823671DEST_PATH_IMAGE048
为第t帧图像第i行第j列像素的亮度值，
Figure 2011100561464100002DEST_PATH_IMAGE049
为第t帧图像第i行第j列像素的色度U分量值，为第t帧图像第i行第j列像素的色度V分量值，
Figure 2011100561464100002DEST_PATH_IMAGE051
：求均值，
Figure 142230DEST_PATH_IMAGE052
：求均方差；
步骤403：通过所述的宏块亮度纹理复杂度和色度复杂度，获取平坦宏块及极度可压缩宏块的划分：若宏块亮度纹理复杂度和色度复杂度满足下列条件
Figure 2011100561464100002DEST_PATH_IMAGE053
则宏块属于极度可压缩区域，
若宏块亮度纹理复杂度满足条件
Figure 345066DEST_PATH_IMAGE054
，则宏块属于平坦区域；
其中，
Figure 2011100561464100002DEST_PATH_IMAGE055
第二十一阈值、
Figure 352205DEST_PATH_IMAGE056
第二十二阈值、
Figure 2011100561464100002DEST_PATH_IMAGE057
第二十三阈值为相应亮度分量的判定阈值；
Figure 891639DEST_PATH_IMAGE058
第二十四阈值、
Figure 2011100561464100002DEST_PATH_IMAGE059
第二十五阈值、
Figure 958821DEST_PATH_IMAGE060
第二十六阈值为相应色度分量的判定阈值。
二、下面再详细说明步骤103所述的做区域联通处理，获取最终的图像区域划分的方法具体为：
若当前宏块的邻接宏块为同一类别的数量大于第二十七阈值，则当前宏块也判定为其邻接宏块的具有最大相同类别量的宏块类别；
若当前宏块的类别与其周围邻接宏块的类别均不相同，则将当前宏块的类别重新设置为周围邻接宏块的类别；
若当前宏块不属于上述两种情况，则不对宏块做处理。
实施例2，参见图,6，对应于实施例1提供的前景背景区域划分方法，本发明还提供了一种前景背景区域划分系统；该系统包括处理装置、类别确定装置、区域联通装置、编码调整装置；
处理装置，用于将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别；
类别确定装置，用于基于所述的第二图像，确定第二图像的每一个宏块的图像类别；
区域联通装置，用于根据确定后的每一个宏块的图像类别，做区域联通处理，获取最终的图像区域划分；
编码调整装置，用于结合最终的图像区域划分，调节编码策略，获取新的编解码图像。
上述处理装置中所述的预先设定需要划分的图像类别可以包括：人脸、运动宏块、字幕和平坦或极度可压缩宏块，这几个类别都是根据人的视觉重点所设定的，其他类别并不对本发明构成限制；相应的类别确定装置中所述的确定第二图像的每一个宏块的图像类别包括：人脸、运动宏块、字幕和平坦宏块或极度可压缩宏块，相应的类别确定装置可以包括人脸确定单元、运动宏块确定单元、字幕确定单元、平坦或极度可压缩宏块确定单元；
上述第一图像可以是视频图像中任意一帧图像，第二图像为将任意一帧图像下采样后的图像。
一、由于需要划分的图像类别可以是人脸、运动宏块、字幕和平坦宏块、嫉妒可压缩宏块，那么划分不同的类别就有不同的方法，本发明实施例2提供的划分类别可以是其中一种或任意种组合，下面将分别介绍类别确定装置确定每个宏块不同类别的具体方法：
1、类别确定装置确定第二图像的每一个宏块的图像类别为人脸时，该装置包括：人脸确定单元，人脸确定单元包括：划分单元、第一类别单元、第二类别单元；
划分单元，用于将所述的第二图像划分为三个区域：第一人脸判定区域、第二人脸判定区域、第三人脸判定区域，其中第三人脸判定区域直接判定为非人脸区域，不进入人脸判定处理流程；
第一类别单元，用于对第一人脸判定区域中每个宏块求取复杂度
Figure 473721DEST_PATH_IMAGE004
 ；其中
Figure 284551DEST_PATH_IMAGE004
为第二图像的第m行n列宏块的复杂度；std为求均方差；
Figure 553859DEST_PATH_IMAGE005
为第二图像第i行第j列像素的亮度值；
Figure 729625DEST_PATH_IMAGE006
为第t帧图像的第m行n列宏块；判断所述复杂度是否满足判定条件：
Figure 717173DEST_PATH_IMAGE007
，若否则所述宏块类别为非人脸，；若是则将宏块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足则该宏块肤色像素点个数加1，如果宏块内肤色像素点个数大于第十六阈值，则判定为所述宏块为人脸；其中
Figure 66114DEST_PATH_IMAGE008
为预置的第十四阈值、为预置的第十五阈值；
第二类别单元，用于对第二人脸判定区域中每个宏块求取复杂度；
Figure 539526DEST_PATH_IMAGE004
 ；其中
Figure 14369DEST_PATH_IMAGE004
为第二图像的第m行n列宏块的复杂度；std为求均方差；
Figure 167002DEST_PATH_IMAGE005
为第二图像第i行第j列像素的亮度值；
Figure 410901DEST_PATH_IMAGE006
为第t帧图像的第m行n列宏块；判断所述复杂度是否满足判定条件：，若否则所述宏块类别为非人脸；若是则以宏块为单位，用宏块内所有像素点相应分量的均值作为各色彩模型分量的值，即将一个宏块作为一个肤色判定点，对所述肤色判定点做肤色判定，如果该肤色判定点位肤色则判定该宏块为人脸，否则该宏块判定为非人脸。
其中，上述第一类别单元和第二类别单元中所述的对肤色判定点做肤色判定具体为：
步骤111：使用色彩模型1：归一RGB模型
，获得分量值：色彩均衡参数Wr、绿色分量上界模型Gup、绿色分量下界模型Gdown；
步骤112：使用色彩模型YUV模型
Figure 318705DEST_PATH_IMAGE016
  ，
获得分量值：色彩能量
Figure 745007DEST_PATH_IMAGE017
；Y代表YUV模型亮度分量，U、V分别代表YUV模型二个色度分量；
步骤113：使用色彩模型3：YCoCg模型
Figure 433478DEST_PATH_IMAGE018
，获取分量值：Co为YCgCo模型色彩分量色彩分量；
步骤114：基于步骤111至113中获取的分量值进行判定，若同时满足下列6个条件，则确定肤色判定点为肤色；
要求1;
Figure 617334DEST_PATH_IMAGE019
要求2：
Figure 111769DEST_PATH_IMAGE020
要求3：
Figure 333191DEST_PATH_IMAGE021
要求4：
Figure 254879DEST_PATH_IMAGE022
要求5：
Figure 926032DEST_PATH_IMAGE023
要求6：
Figure 958579DEST_PATH_IMAGE024
或者 
Figure 31577DEST_PATH_IMAGE025
Figure 61850DEST_PATH_IMAGE026
，
Figure 211510DEST_PATH_IMAGE027
分别为第一至第十三阈值；r、g、b为归一化RGB色彩分量；
Figure 985431DEST_PATH_IMAGE028
为绿色分量上界模型、
Figure 912936DEST_PATH_IMAGE029
为绿色分量下界模型、
Figure 114110DEST_PATH_IMAGE030
为色彩均衡性参数、
Figure 759855DEST_PATH_IMAGE031
为色彩能量、
Figure 337467DEST_PATH_IMAGE032
为YCgCo模型色彩分量、u,v为YUV模型两个色度分量；
其中，上述第一类别单元和第二类别单元中所述的获得分量值：色彩均衡参数、绿色分量上界模型、绿色分量下界模型具体为：
获取色彩均衡参数：基于归一RGB模型，求取色彩均衡性参数 
Figure 119478DEST_PATH_IMAGE011
，r、g、b为归一化RGB色彩分量；
获取绿色分量上界模型：构建绿色分量上界模型 
Figure 491553DEST_PATH_IMAGE012
，其中
Figure 627524DEST_PATH_IMAGE013
为模型参数；
获取绿色分量下界模型：构建绿色分量下界模型
Figure 805565DEST_PATH_IMAGE014
；其中
Figure 707662DEST_PATH_IMAGE015
为模型参数。
2、类别确定装置确定第二图像的每一个宏块的图像类别为运动宏块时，该装置包括运动宏块确定单元，该单元包括：提取单元、复杂度信息获取单元、确定单元；
提取单元，用于提取宏块运动复杂度；
Figure 250638DEST_PATH_IMAGE033
，其中为宏块运动复杂度；
Figure 587128DEST_PATH_IMAGE005
为第t帧图像第i行第j列像素的亮度值，
Figure 346661DEST_PATH_IMAGE005
为第t-1帧图像第i行第j列像素的亮度值；std为求均方差；
Figure 326118DEST_PATH_IMAGE006
为第t帧图像的第m行n列宏块；
复杂度信息获取单元、用于基于视觉特性、宏块运动复杂度获取视觉宏块运动复杂度信息；
Figure 168172DEST_PATH_IMAGE035
，
Figure 2011100561464100002DEST_PATH_IMAGE061
为视觉宏块运动复杂度信息、
Figure 750332DEST_PATH_IMAGE037
为宏块
Figure 627021DEST_PATH_IMAGE038
的视觉权重；
Figure 511801DEST_PATH_IMAGE039
为宏块运动复杂度；
确定单元，用于若视觉宏块运动复杂度信息大于预置的第十七阈值，则确定宏块为运动宏块。
3、所述的类别确定装置确定第二图像的每一个宏块的图像类别为字幕时，该装置包括字幕确定单元，该单元包括字幕检测单元、字幕纹理复杂度单元、字幕确定单元；
字幕检测单元，用于确定字幕检测区域；
字幕纹理复杂度单元，用于提取字幕检测区域中的宏块的纹理复杂度；
Figure 906397DEST_PATH_IMAGE040
，
Figure 167614DEST_PATH_IMAGE005
为第t帧图像第i行第j列像素的亮度值、
Figure 898810DEST_PATH_IMAGE006
为第t帧图像的第m行n列宏块、std为求均方差；
字幕确定单元，用于若所述的宏块的纹理复杂度在预置的第十八阈值和第十九阈值之间，则所述宏块为字幕。
4、所述的类别确定装置确定第二图像的每一个宏块的图像类别为平坦或极度可压缩宏块时，该装置包括平坦或极度可压缩宏块确定单元，该单元包括：平坦或可压缩区域检测单元、纹理及色度复杂度提取单元、平坦或可压缩区域确认单元；
平坦或可压缩区域检测单元，用于确定平坦区域及极度可压缩检测区域
Figure 954491DEST_PATH_IMAGE041
；
纹理及色度复杂度提取单元、用于对于中的宏块，提取宏块亮度纹理复杂度和色度复杂度；
Figure 709748DEST_PATH_IMAGE042
，；
Figure 912245DEST_PATH_IMAGE044
，；
，
Figure 324662DEST_PATH_IMAGE047
；
其中，
Figure 784463DEST_PATH_IMAGE048
为第t帧图像第i行第j列像素的亮度值，为第t帧图像第i行第j列像素的色度U分量值，
Figure 716832DEST_PATH_IMAGE050
为第t帧图像第i行第j列像素的色度V分量值，
Figure 277127DEST_PATH_IMAGE051
：求均值，
Figure 173407DEST_PATH_IMAGE052
：求均方差；
平坦或可压缩区域确认单元；用于通过所述的宏块亮度纹理复杂度和色度复杂度，获取平坦宏块及极度可压缩宏块的划分：若宏块亮度纹理复杂度和色度复杂度满足下列条件
Figure 189292DEST_PATH_IMAGE053
则宏块属于极度可压缩区域，
若宏块亮度纹理复杂度满足条件，则宏块属于平坦区域；
其中，
Figure 548916DEST_PATH_IMAGE055
第二十一阈值、
Figure 616098DEST_PATH_IMAGE056
第二十二阈值、
Figure 116349DEST_PATH_IMAGE057
第二十三阈值为相应亮度分量的判定阈值；
Figure 599283DEST_PATH_IMAGE058
第二十四阈值、
Figure 134170DEST_PATH_IMAGE059
第二十五阈值、
Figure 375183DEST_PATH_IMAGE060
第二十六阈值为相应色度分量的判定阈值。
二、实施例2提供的前景背景区域划分系统所述的区域联通装置做区域联通处理，获取最终的图像区域划分具体为：
若当前宏块的邻接宏块为同一类别的数量大于第二十七阈值，则当前宏块也判定为其邻接宏块的具有最大相同类别量的宏块类别；
若当前宏块的类别与其周围邻接宏块的类别均不相同，则将当前宏块的类别重新设置为周围邻接宏块的类别；
若当前宏块不属于上述两种情况，则不对宏块做处理。
本发明提供了一种前景背景区域划分方法、系统。该方法与系统是基于图像不同的区域在编码中的特点而进行的，所以该方法更适合于编码器；并且本发明提供人脸及背景区域划分方法，一方面在低码率下保护人的视觉重点区域，另一方面可以利用图像的区域划分信息调整编码策略，从而达到整体效果的提升。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种前景背景区域划分的方法，其特征在于，所述的方法包括：
步骤101：将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别；
步骤102：基于所述的第二图像，确定第二图像的每一个宏块的图像类别；
步骤103：根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图像区域划分；
步骤104：结合最终的图像区域划分，调节编码策略，获取新的编解码图像。
2.根据权利要求1所述的前景背景区域划分的方法，其特征在于，步骤101中所述的预先设定需要划分的图像类别包括：人脸、运动宏块、字幕和平坦宏块、嫉妒可压缩宏块；
步骤102中所述的确定第二图像的每一个宏块的图像类别包括：人脸、运动宏块、字幕和平坦或极度可压缩宏块。
3.根据权利要求2所述的前景背景区域划分方法，其特征在于，步骤102所述的确定第二图像的每一个宏块的图像类别为人脸的方法为：
步骤1021：将所述的第二图像划分为三个区域：第一人脸判定区域、第二人脸判定区域、第三人脸判定区域，分别进入1022步骤对第一人脸判定区域进行判定，进入步骤1026对第二人脸判定区域进行判定；进入步骤1030设置第三人脸判定区域； 
步骤1022：对第一人脸判定区域中每个宏块求取复杂度                                                
Figure 251058DEST_PATH_IMAGE001
；其中
Figure 478908DEST_PATH_IMAGE001
为第二图像的第m行n列宏块的复杂度；std为求均方差；
Figure 296823DEST_PATH_IMAGE002
为第二图像第i行第j列像素的亮度值；
Figure 672440DEST_PATH_IMAGE003
为第t帧图像的第m行n列宏块；
步骤1023：判断所述复杂度是否满足判定条件：，若是则进入步骤1024，若否则所述宏块类别为非人脸；
其中
Figure 375747DEST_PATH_IMAGE005
为预置的第十四阈值、
Figure 364562DEST_PATH_IMAGE006
为预置的第十五阈值；
步骤1024：将宏块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足则该宏块肤色像素点个数加1； 
步骤1025：如果宏块内肤色像素点个数大于第十六阈值，则判定为所述宏块为人脸；
步骤1026：对第二人脸判定区域中每个宏块求取复杂度；
Figure 165159DEST_PATH_IMAGE001
 ；其中为第二图像的第m行n列宏块的复杂度；std为求均方差；
Figure 266943DEST_PATH_IMAGE002
为第二图像第i行第j列像素的亮度值；
Figure 426660DEST_PATH_IMAGE003
为第t帧图像的第m行n列宏块；
步骤1027：判断所述复杂度是否满足判定条件：，若是则进入步骤1028，若否则所述宏块类别为非人脸；
其中
Figure 680235DEST_PATH_IMAGE005
为预置的第十四阈值、
Figure 799501DEST_PATH_IMAGE006
为预置的第十五阈值；
步骤1028：以宏块为单位，用宏块内所有像素点相应分量的均值作为各色彩模型分量的值，即将一个宏块作为一个肤色判定点；
步骤1029：对所述肤色判定点做肤色判定，如果该肤色判定点位肤色则判定该宏块为人脸，否则该宏块判定为非人脸；
步骤1030：设置第三人脸判定区域为非人脸区域。
4.根据权利要求3所述的前景背景区域划分方法，其特征在于，所述的步骤1024、1029中所述的对肤色判定点做肤色判定具体为：
步骤111：使用色彩模型1：归一RGB模型 
Figure 2011100561464100001DEST_PATH_IMAGE007
，获得分量值：色彩均衡参数Wr、绿色分量上界模型Gup、绿色分量下界模型Gdown；                 
步骤112：使用色彩模型YUV模型
           
Figure 736977DEST_PATH_IMAGE008
  ，
获得分量值：色彩能量
Figure 2011100561464100001DEST_PATH_IMAGE009
；Y代表YUV模型亮度分量，U、V分别代表YUV模型两个色度分量；
步骤113：使用色彩模型3：YCoCg模型
  
Figure 449849DEST_PATH_IMAGE010
，获取分量值：Co色彩分量；
步骤114：基于步骤111至113中获取的分量值进行判定，若同时满足下列6个条件，则确定肤色判定点为肤色；
要求1;
Figure 2011100561464100001DEST_PATH_IMAGE011
要求2：
Figure 843657DEST_PATH_IMAGE012
要求3：
Figure 2011100561464100001DEST_PATH_IMAGE013
要求4：
Figure 896058DEST_PATH_IMAGE014
要求5：
Figure 2011100561464100001DEST_PATH_IMAGE015
要求6：
Figure 66752DEST_PATH_IMAGE016
或者 
Figure 2011100561464100001DEST_PATH_IMAGE017
Figure 329237DEST_PATH_IMAGE018
，
Figure 2011100561464100001DEST_PATH_IMAGE019
分别为第一至第十三阈值；r、g、b为归一化RGB色彩分量；
Figure 574404DEST_PATH_IMAGE020
为绿色分量上界模型、
Figure 2011100561464100001DEST_PATH_IMAGE021
为绿色分量下界模型、
Figure 340366DEST_PATH_IMAGE022
为色彩均衡性参数、为色彩能量、
Figure 15717DEST_PATH_IMAGE024
为YCgCo模型色彩分量、u,v为YUV模型两个色度分量。
5.根据权利要求4所述的前景背景区域划分方法，其特征在于，所述的步骤111中，获得分量值：色彩均衡参数、绿色分量上界模型、绿色分量下界模型具体为：
获取色彩均衡参数：基于归一RGB模型，求取色彩均衡性参数 
Figure 2011100561464100001DEST_PATH_IMAGE025
，r、g为为归一化RGB色彩分量；
获取绿色分量上界模型：构建绿色分量上界模型 
Figure 437602DEST_PATH_IMAGE026
，其中
Figure 2011100561464100001DEST_PATH_IMAGE027
为模型参数；
获取绿色分量下界模型：构建绿色分量下界模型
Figure 486461DEST_PATH_IMAGE028
；其中
Figure 2011100561464100001DEST_PATH_IMAGE029
为模型参数。
6.根据权利要求2所述的前景背景区域划分方法，其特征在于，步骤102所述的确定第二图像的每一个宏块的图像类别为运动宏块的方法为：
步骤201：提取宏块运动复杂度；
步骤202：基于视觉特性、宏块运动复杂度获取视觉宏块运动复杂度信息；
步骤203：若视觉宏块运动复杂度信息大于预置的第十七阈值，则确定宏块为运动宏块。
7.根据权利要求6所述的前景背景区域划分方法，其特征在于，步骤201中所述的提取宏块运动复杂度具体为：
Figure 372508DEST_PATH_IMAGE030
，其中为宏块运动复杂度；
Figure 212901DEST_PATH_IMAGE002
为第t帧图像第i行第j列像素的亮度值，
Figure 246716DEST_PATH_IMAGE002
为第t-1帧图像第i行第j列像素的亮度值；std为求均方差；为第t帧图像的第m行n列宏块。
8.根据权利要求6所述的前景背景区域划分方法，其特征在于，步骤202中所述的基于视觉特性、宏块运动复杂度获取视觉宏块运动复杂度信息具体为：
Figure 2011100561464100001DEST_PATH_IMAGE033
，为视觉宏块运动复杂度信息、
Figure 2011100561464100001DEST_PATH_IMAGE037
为宏块
Figure 2011100561464100001DEST_PATH_IMAGE039
的视觉权重；
Figure 2011100561464100001DEST_PATH_IMAGE041
为宏块运动复杂度。
9.根据权利要求2所述的前景背景区域划分方法，其特征在于，步骤102所述的确定第二图像的每一个宏块的图像类别为字幕的方法为：
步骤301：确定字幕检测区域；
步骤302：提取字幕检测区域中的宏块的纹理复杂度；
Figure 2011100561464100001DEST_PATH_IMAGE043
，
Figure 2011100561464100001DEST_PATH_IMAGE045
为第t帧图像第i行第j列像素的亮度值、
Figure 2011100561464100001DEST_PATH_IMAGE047
为第t帧图像的第m行n列宏块、std为求均方差；
步骤303：若所述的宏块的纹理复杂度在预置的第十八阈值和第十九阈值之间，则所述宏块为字幕。
10.根据权利要求2所述的前景背景区域划分方法，其特征在于，步骤102所述的确定第二图像的每一个宏块的图像类别为平坦或极度可压缩宏块的方法为：
步骤401：确定平坦区域及极度可压缩检测区域
Figure 2011100561464100001DEST_PATH_IMAGE049
；
步骤402：对于
Figure 66916DEST_PATH_IMAGE049
中的宏块，提取宏块亮度纹理复杂度和色度复杂度；
Figure 2011100561464100001DEST_PATH_IMAGE051
，
Figure 2011100561464100001DEST_PATH_IMAGE053
；
Figure DEST_PATH_IMAGE055
，
Figure DEST_PATH_IMAGE057
；
Figure DEST_PATH_IMAGE059
，
Figure DEST_PATH_IMAGE061
；
其中，
Figure DEST_PATH_IMAGE063
为第t帧图像第i行第j列像素的亮度值，
Figure DEST_PATH_IMAGE065
为第t帧图像第i行第j列像素的色度U分量值，
Figure DEST_PATH_IMAGE067
为第t帧图像第i行第j列像素的色度V分量值，
Figure DEST_PATH_IMAGE069
：求均值，：求均方差；
步骤403：通过所述的宏块亮度纹理复杂度和色度复杂度，获取平坦宏块及极度可压缩宏块的划分：若宏块亮度纹理复杂度和色度复杂度满足下列条件
    
则宏块属于极度可压缩区域，
若宏块亮度纹理复杂度满足条件
Figure DEST_PATH_IMAGE075
，则宏块属于平坦区域；
其中，
Figure DEST_PATH_IMAGE077
第二十一阈值、
Figure DEST_PATH_IMAGE079
第二十二阈值、
Figure DEST_PATH_IMAGE081
第二十三阈值为相应亮度分量的判定阈值；
Figure DEST_PATH_IMAGE083
第二十四阈值、
Figure DEST_PATH_IMAGE085
第二十五阈值、
Figure DEST_PATH_IMAGE087
第二十六阈值为相应色度分量的判定阈值。
11.根据权利要求1所述的前景背景区域划分方法，其特征在于，步骤103所述的做区域联通处理，获取最终的图像区域划分具体为：
若当前宏块的邻接宏块为同一类别的数量大于第二十七阈值，则当前宏块也判定为其邻接宏块的具有最大相同类别量的宏块类别；
若当前宏块的类别与其周围邻接宏块的类别均不相同，则将当前宏块的类别重新设置为周围邻接宏块的类别；
若当前宏块不属于上述两种情况，则不对宏块做处理。
12.一种前景背景区域划分系统，其特征在于，所述的前景背景区域划分系统包括处理装置、类别确定装置、区域联通装置、编码调整装置；
处理装置，用于将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别；
类别确定装置，用于基于所述的第二图像，确定第二图像的每一个宏块的图像类别；
区域联通装置，用于根据确定后的每一个宏块的图像类别，做区域联通处理，获取最终的图像区域划分；
编码调整装置，用于结合最终的图像区域划分，调节编码策略，获取新的编解码图像。
13.根据权利要求12所述的前景背景区域划分系统，其特征在于，所述的处理装置预先设定需要划分的图像类别包括：人脸、运动宏块、字幕和平坦宏块、嫉妒可压缩宏块；
所述的类别确定装置确定第二图像的每一个宏块的图像类别包括：人脸、运动宏块、字幕和平坦宏块、极度可压缩宏块；该装置包括人脸确定单元、运动宏块确定单元、字幕确定单元、平坦或极度可压缩宏块确定单元。
14.根据权利要求13所述的前景背景区域划分系统，其特征在于，所述的类别确定装置确定第二图像的每一个宏块的图像类别为人脸时，该装置包括人脸确定单元，所述人脸确定单元包括：划分单元、第一类别单元、第二类别单元；
划分单元，用于将所述的第二图像划分为三个区域：第一人脸判定区域、第二人脸判定区域、第三人脸判定区域；其中所述的第三人脸判定区域预置为非人脸区域；
第一类别单元，用于对第一人脸判定区域中每个宏块求取复杂度
Figure DEST_PATH_IMAGE089
 ；其中
Figure 707238DEST_PATH_IMAGE089
为第二图像的第m行n列宏块的复杂度；std为求均方差；
Figure 228349DEST_PATH_IMAGE045
为第二图像第i行第j列像素的亮度值；
Figure 430397DEST_PATH_IMAGE047
为第t帧图像的第m行n列宏块；判断所述复杂度是否满足判定条件：
Figure DEST_PATH_IMAGE091
，若否则所述宏块类别为非人脸；若是则将宏块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足则该宏块肤色像素点个数加1，如果宏块内肤色像素点个数大于第十六阈值，则判定为所述宏块为人脸；其中
Figure DEST_PATH_IMAGE093
为预置的第十四阈值、
Figure DEST_PATH_IMAGE095
为预置的第十五阈值；
第二类别单元，用于对第二人脸判定区域中每个宏块求取复杂度；
Figure 166403DEST_PATH_IMAGE089
 ；其中为第二图像的第m行n列宏块的复杂度；std为求均方差；为第二图像第i行第j列像素的亮度值；为第t帧图像的第m行n列宏块；判断所述复杂度是否满足判定条件：
Figure 125558DEST_PATH_IMAGE091
，若否则所述宏块类别为非人脸；若是则以宏块为单位，用宏块内所有像素点相应分量的均值作为各色彩模型分量的值，即将一个宏块作为一个肤色判定点，对所述肤色判定点做肤色判定，如果该肤色判定点位肤色则判定该宏块为人脸，否则该宏块判定为非人脸。
15.根据权利要求14所述的前景背景区域划分系统，其特征在于，第一类别单元和第二类别单元中所述的对肤色判定点做肤色判定具体为：
步骤111：使用色彩模型1：归一RGB模型 
Figure DEST_PATH_IMAGE097
，获得分量值：色彩均衡参数Wr、绿色分量上界模型Gup、绿色分量下界模型Gdown，r、g、b为归一化RGB色彩分量；                 
步骤112：使用色彩模型YUV模型
            
Figure DEST_PATH_IMAGE099
  ，
获得分量值：色彩能量
Figure DEST_PATH_IMAGE101
；Y、U、V分别代表YUV模型三个色度分量；
步骤113：使用色彩模型3：YCoCg模型
   
Figure DEST_PATH_IMAGE103
，获取分量值：Co 为YCgCo模型色彩分量色彩分量；
步骤114：基于步骤111至113中获取的分量值进行判定，若同时满足下列6个条件，则确定肤色判定点为肤色；
要求1;
要求2：
Figure DEST_PATH_IMAGE107
要求3：
要求4：
Figure DEST_PATH_IMAGE111
要求5：
Figure DEST_PATH_IMAGE113
要求6：
或者 
Figure DEST_PATH_IMAGE117
Figure DEST_PATH_IMAGE119
，
Figure DEST_PATH_IMAGE121
分别为第一至第十三阈值；r、g、b为归一化RGB色彩分量；
Figure DEST_PATH_IMAGE123
为绿色分量上界模型、
Figure DEST_PATH_IMAGE125
为绿色分量下界模型、
Figure DEST_PATH_IMAGE127
为色彩均衡性参数、
Figure DEST_PATH_IMAGE129
为色彩能量、为YCgCo模型色彩分量、u,v为YUV模型两个色度分量。
16.根据权利要求15所述的前景背景区域划分系统，其特征在于，第一类别单元和第二类别单元中所述的获得分量值：色彩均衡参数、绿色分量上界模型、绿色分量下界模型具体为：
获取色彩均衡参数：基于归一RGB模型，求取色彩均衡性参数 
Figure DEST_PATH_IMAGE133
，r、g、b为归一化RGB色彩分量；
获取绿色分量上界模型：构建绿色分量上界模型 ，其中
Figure DEST_PATH_IMAGE137
为模型参数；
获取绿色分量下界模型：构建绿色分量下界模型；其中
Figure DEST_PATH_IMAGE141
为模型参数。
17.根据权利要求13所述的前景背景区域划分系统，其特征在于，所述的类别确定装置确定第二图像的每一个宏块的图像类别为运动宏块时，该装置包括运动宏块确定单元，所述运动宏块确定单元包括：提取单元、复杂度信息获取单元、确定单元；
提取单元，用于提取宏块运动复杂度；
复杂度信息获取单元、用于基于视觉特性、宏块运动复杂度获取视觉宏块运动复杂度信息；
确定单元，用于若视觉宏块运动复杂度信息大于预置的第十七阈值，则确定宏块为运动宏块。
18.根据权利要求17所述的前景背景区域划分系统，其特征在于，提取单元所述的用于提取宏块运动复杂度具体为：
Figure DEST_PATH_IMAGE143
，其中
Figure DEST_PATH_IMAGE144
为宏块运动复杂度；为第t帧图像第i行第j列像素的亮度值，
Figure 955116DEST_PATH_IMAGE045
为第t-1帧图像第i行第j列像素的亮度值；std为求均方差；
Figure 749897DEST_PATH_IMAGE047
为第t帧图像的第m行n列宏块。
19.根据权利要求17所述的前景背景区域划分系统，其特征在于，复杂度信息获取单元所述的获取视觉宏块运动复杂度信息具体为：
Figure 381867DEST_PATH_IMAGE033
，
Figure DEST_PATH_IMAGE145
为视觉宏块运动复杂度信息、
Figure 908794DEST_PATH_IMAGE037
为宏块的视觉权重；
Figure 224686DEST_PATH_IMAGE041
为宏块运动复杂度。
20.根据权利要求13所述的前景背景区域划分系统，其特征在于所述的类别确定装置确定第二图像的每一个宏块的图像类别为字幕时，该装置包括字幕确定单元，所述字幕确定单元包括：字幕检测单元、字幕纹理复杂度单元、字幕确定单元；
字幕检测单元，用于确定字幕检测区域；
字幕纹理复杂度单元，用于提取字幕检测区域中的宏块的纹理复杂度；，为第t帧图像第i行第j列像素的亮度值、
Figure 882216DEST_PATH_IMAGE047
为第t帧图像的第m行n列宏块、std为求均方差；
字幕确定单元，用于若所述的宏块的纹理复杂度在预置的第十八阈值和第十九阈值之间，则所述宏块为字幕。
21.根据权利要求13所述的前景背景区域划分系统，其特征在于，所述的类别确定装置确定第二图像的每一个宏块的图像类别为平坦或极度可压缩宏块时，该装置包括平坦或极度可压缩宏块确定单元，该单元包括：平坦或可压缩区域检测单元、纹理及色度复杂度提取单元、平坦或可压缩区域确认单元；
平坦或可压缩区域检测单元，用于确定平坦区域及极度可压缩检测区域；
纹理及色度复杂度提取单元、用于对于
Figure 359782DEST_PATH_IMAGE049
中的宏块，提取宏块亮度纹理复杂度和色度复杂度；
Figure 556408DEST_PATH_IMAGE051
，
Figure 248421DEST_PATH_IMAGE053
；
，
Figure 381254DEST_PATH_IMAGE057
；
Figure 748782DEST_PATH_IMAGE059
，
Figure 600194DEST_PATH_IMAGE061
；
其中，
Figure 78580DEST_PATH_IMAGE063
为第t帧图像第i行第j列像素的亮度值，
Figure 659734DEST_PATH_IMAGE065
为第t帧图像第i行第j列像素的色度U分量值，为第t帧图像第i行第j列像素的色度V分量值，
Figure 599188DEST_PATH_IMAGE069
：求均值，
Figure 442834DEST_PATH_IMAGE071
：求均方差；
平坦或可压缩区域确认单元；用于通过所述的宏块亮度纹理复杂度和色度复杂度，获取平坦宏块及极度可压缩宏块的划分：若宏块亮度纹理复杂度和色度复杂度满足下列条件
   
Figure 878495DEST_PATH_IMAGE073
 
则宏块属于极度可压缩区域，
若宏块亮度纹理复杂度满足条件
Figure 322245DEST_PATH_IMAGE075
，则宏块属于平坦区域；
其中，
Figure 413829DEST_PATH_IMAGE077
第二十一阈值、
Figure 234018DEST_PATH_IMAGE079
第二十二阈值、
Figure 524185DEST_PATH_IMAGE081
第二十三阈值为相应亮度分量的判定阈值；第二十四阈值、
Figure 777104DEST_PATH_IMAGE085
第二十五阈值、
Figure 135404DEST_PATH_IMAGE087
第二十六阈值为相应色度分量的判定阈值。
22.根据权利要求12所述的前景背景区域划分系统，其特征在于，所述的区域联通装置做区域联通处理，获取最终的图像区域划分具体为：
若当前宏块的邻接宏块为同一类别的数量大于第二十七阈值，则当前宏块也判定为其邻接宏块的具有最大相同类别量的宏块类别；
若当前宏块的类别与其周围邻接宏块的类别均不相同，则将当前宏块的类别重新设置为周围邻接宏块的类别；
若当前宏块不属于上述两种情况，则不对宏块做处理。
CN201110056146.4A 2011-03-09 2011-03-09 一种前景背景区域划分方法、系统 Expired - Fee Related CN102129682B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201110056146.4A CN102129682B (zh) 2011-03-09 2011-03-09 一种前景背景区域划分方法、系统
PCT/CN2011/073585 WO2012119343A1 (zh) 2011-03-09 2011-04-29 一种前景背景区域划分方法、系统
HK11113405.9A HK1159290A1 (zh) 2011-03-09 2011-12-12 種前景背景區域劃分方法、系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110056146.4A CN102129682B (zh) 2011-03-09 2011-03-09 一种前景背景区域划分方法、系统

Publications (2)

Publication Number Publication Date
CN102129682A true CN102129682A (zh) 2011-07-20
CN102129682B CN102129682B (zh) 2015-10-07

Family

ID=44267757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110056146.4A Expired - Fee Related CN102129682B (zh) 2011-03-09 2011-03-09 一种前景背景区域划分方法、系统

Country Status (3)

Country Link
CN (1) CN102129682B (zh)
HK (1) HK1159290A1 (zh)
WO (1) WO2012119343A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392209A (zh) * 2014-11-07 2015-03-04 长春理工大学 一种目标与背景的图像复杂度评价模型
CN105187832A (zh) * 2015-09-09 2015-12-23 成都金本华电子有限公司 基于2.5g无线网络移动视频码率控制方法
CN106682094A (zh) * 2016-12-01 2017-05-17 深圳百科信息技术有限公司 一种人脸视频检索方法和系统
CN107909553A (zh) * 2017-11-02 2018-04-13 青岛海信电器股份有限公司 一种图像处理方法及设备
CN110245628A (zh) * 2019-06-19 2019-09-17 成都世纪光合作用科技有限公司 一种检测人员讨论场景的方法和装置
CN110933304A (zh) * 2019-11-27 2020-03-27 RealMe重庆移动通信有限公司 待虚化区域的确定方法、装置、存储介质与终端设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539272B (zh) * 2020-04-10 2023-02-03 上海交通大学 基于联合特征被动检测ai换脸视频的方法及系统
CN115456723B (zh) * 2022-09-19 2023-04-25 深圳前海港影商业智能有限公司 一种基于云计算的服饰交易商城系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060193385A1 (en) * 2003-06-25 2006-08-31 Peng Yin Fast mode-decision encoding for interframes
CN101882314A (zh) * 2010-07-20 2010-11-10 上海交通大学 基于超完备稀疏表示的红外小目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100594732C (zh) * 2007-11-16 2010-03-17 中国科学院计算技术研究所 一种帧间模式选择方法
CN101882316A (zh) * 2010-06-07 2010-11-10 深圳市融创天下科技发展有限公司 一种图像区域划分/编码方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060193385A1 (en) * 2003-06-25 2006-08-31 Peng Yin Fast mode-decision encoding for interframes
CN101882314A (zh) * 2010-07-20 2010-11-10 上海交通大学 基于超完备稀疏表示的红外小目标检测方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392209A (zh) * 2014-11-07 2015-03-04 长春理工大学 一种目标与背景的图像复杂度评价模型
CN104392209B (zh) * 2014-11-07 2017-09-29 长春理工大学 一种目标与背景的图像复杂度评价方法
CN105187832A (zh) * 2015-09-09 2015-12-23 成都金本华电子有限公司 基于2.5g无线网络移动视频码率控制方法
CN105187832B (zh) * 2015-09-09 2018-06-22 成都金本华电子有限公司 基于2.5g无线网络移动视频码率控制方法
CN106682094A (zh) * 2016-12-01 2017-05-17 深圳百科信息技术有限公司 一种人脸视频检索方法和系统
CN106682094B (zh) * 2016-12-01 2020-05-22 深圳市梦网视讯有限公司 一种人脸视频检索方法和系统
CN107909553A (zh) * 2017-11-02 2018-04-13 青岛海信电器股份有限公司 一种图像处理方法及设备
CN107909553B (zh) * 2017-11-02 2021-10-26 海信视像科技股份有限公司 一种图像处理方法及设备
CN110245628A (zh) * 2019-06-19 2019-09-17 成都世纪光合作用科技有限公司 一种检测人员讨论场景的方法和装置
CN110933304A (zh) * 2019-11-27 2020-03-27 RealMe重庆移动通信有限公司 待虚化区域的确定方法、装置、存储介质与终端设备

Also Published As

Publication number Publication date
WO2012119343A1 (zh) 2012-09-13
CN102129682B (zh) 2015-10-07
HK1159290A1 (zh) 2012-07-27

Similar Documents

Publication Publication Date Title
CN102129682A (zh) 一种前景背景区域划分方法、系统
Chai et al. Face segmentation using skin-color map in videophone applications
KR101369915B1 (ko) 영상 식별자 추출 장치
EP3340623B1 (en) Method of encoding an image including a privacy mask
WO2017107188A1 (zh) 视频分类快速识别的方法及装置
JP6198484B2 (ja) ビデオシーケンスのイメージをリフレーミングする方法及び装置
CN108513131B (zh) 一种自由视点视频深度图感兴趣区域编码方法
CN106682094B (zh) 一种人脸视频检索方法和系统
Chao et al. A novel rate control framework for SIFT/SURF feature preservation in H. 264/AVC video compression
CN101184221A (zh) 基于视觉关注度的视频编码方法
CN101527786B (zh) 一种增强网络视频中视觉重要区域清晰度的方法
CN102169585A (zh) 图像偏色的检测方法及装置
CN101534432A (zh) 基于人眼感知模型的码率控制方法
US10142664B2 (en) Method and device for determining properties of a graphical overlay for a video stream
CN107087104B (zh) 面部区域的影像处理方法以及使用此方法的电子装置
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
US20090147845A1 (en) Image coding method and apparatus
CN104299234B (zh) 视频数据中雨场去除的方法和系统
CN102663682A (zh) 基于感兴趣区域的自适应图像增强方法
CN113542864B (zh) 视频的花屏区域检测方法、装置、设备及可读存储介质
CN107454408A (zh) 一种图像编码码率动态调整的方法
CN102098505B (zh) 监控视频压缩方法及设备
CN111901606A (zh) 一种提升字幕编码质量的视频编码方法
CN104112258A (zh) 实现rgb彩色图像处理的方法和系统
CN104112254A (zh) 处理rgb彩色图像的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1159290

Country of ref document: HK

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SHENZHEN YUNZHOU MULTIMEDIA TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SHENZHEN TEMOBI SCIENCE + TECHNOLOGY CO., LTD.

Effective date: 20140807

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140807

Address after: Unit B4 9 building 518057 Guangdong city of Shenzhen province Nanshan District high in the four EVOC Technology Building No. 31

Applicant after: Shenzhen Yunzhou Multimedia Technology Co., Ltd.

Address before: 19, building 18, Changhong technology building, 518057 South twelve Road, South tech Zone, Nanshan District hi tech Zone, Guangdong, Shenzhen

Applicant before: Shenzhen Temobi Science & Tech Development Co.,Ltd.

CB02 Change of applicant information

Address after: The central Shenzhen city of Guangdong Province, 518057 Keyuan Road, Nanshan District science and Technology Park No. 15 Science Park Sinovac A Building 1 unit 403, No. 405 unit

Applicant after: Shenzhen Yunzhou Multimedia Technology Co., Ltd.

Address before: Unit B4 9 building 518057 Guangdong city of Shenzhen province Nanshan District high in the four EVOC Technology Building No. 31

Applicant before: Shenzhen Yunzhou Multimedia Technology Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1159290

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151007

Termination date: 20200309