CN103208125A - 视频帧图像中颜色和运动全局对比度的视觉显著性算法 - Google Patents

视频帧图像中颜色和运动全局对比度的视觉显著性算法 Download PDF

Info

Publication number
CN103208125A
CN103208125A CN201310080831XA CN201310080831A CN103208125A CN 103208125 A CN103208125 A CN 103208125A CN 201310080831X A CN201310080831X A CN 201310080831XA CN 201310080831 A CN201310080831 A CN 201310080831A CN 103208125 A CN103208125 A CN 103208125A
Authority
CN
China
Prior art keywords
color
motion
mean
individual zone
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310080831XA
Other languages
English (en)
Other versions
CN103208125B (zh
Inventor
刘志
杜欢
罗书花
李利娜
许人杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201310080831.XA priority Critical patent/CN103208125B/zh
Publication of CN103208125A publication Critical patent/CN103208125A/zh
Application granted granted Critical
Publication of CN103208125B publication Critical patent/CN103208125B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种视频帧图像中颜色和运动全局对比度的视觉显著性算法，其步骤为：(1)输入原始视频帧图像，把原始的视频帧图像预分割为个区域，；(2)计算第个区域的颜色显著性值；(3)计算第个区域的像素点归一化的颜色显著性值；(4)计算第个区域的运动显著性值；(5)计算第个区域的像素点归一化的运动显著性值；(6)计算整幅视频帧图像的颜色和运动的显著性值。该方法将视频帧图像中颜色显著性图和视频帧图像中运动显著性图两个方面融合，计算出视频帧图像中的颜色和运动显著性图，能将视频帧图像中的显著对象凸显出来，将非显著性的背景区域抑制下去，该算法对于不同类型的视频帧图像均能取得较好效果，适合用于视频缩放等应用。

Description

视频帧图像中颜色和运动全局对比度的视觉显著性算法
技术领域
本发明涉及计算机视觉领域，具体涉及一种视频帧图像中颜色和运动全局对比度的视觉显著性计算方法。
背景技术
人眼在面对复杂场景时，能够迅速将注意力集中到少数几个比较突出的区域，这些突出的区域被称为视觉显著性区域。视觉显著性算法是通过模拟人眼观察图像的过程，进而提取人眼感兴趣区域，最后得到一幅与视觉关注度相对应的视觉显著性图。通过将图像划分为若干个区域，将这些区域与整幅图像进行对比，度量出各个区域的显著性大小的方法称为全局对比度法。目前国内外研究学者提出了一些基于全局对比度的视觉显著性算法，如Cheng（参考：M. M. Cheng, G. X. Zhang, N. J. Mitra, X. Huang and S. M. Hu.Global contrast based salient region detection, IEEE CVPR, pp. 409-416, Feb. 2011.）提出一种用稀疏直方图比较来计算区域对比度的显著性计算方法，采用区域的颜色信息建立直方图，通过直方图对比来度量区域间的颜色距离，找出整幅图像中与其它区域差异最大的区域为图像的视觉显著性区域。Cheng的方法简单有效，但是由于其只利用了图像的颜色信息，缺少对运动信息的考量，因而不适用于视频中帧图像的显著性计算。
Andres（参考： B. Andres, W. Joachim, F. Christian, K. Timo, S. Christoph. Real-Time optic flow computation with variational methods, Computer Science, vol. 2756, pp. 222-229, 2003.）提出一种采用变分法来加速光流法的计算效率的方法，光流法是通过检测视频帧图像中像素点的强度随时间的变化，估算出各像素点的移动速度和方向，进而得到各个像素点的运动矢量。本发明用光流法来计算像素点的运动矢量。
发明内容                                                                                   
本发明的目的在于针对现有技术中存在的缺陷，提出一种视频帧图像中颜色和运动全局对比度的视觉显著性算法，该方法能够将不同类型的视频帧图像中的显著对象凸显出来，将非显著性的背景区域抑制下去。为了达到上述目的，本发明的视频帧图像中颜色和运动全局对比度的视觉显著性算法，其具体步骤如下： 
(1)、输入原始视频帧图像，运用均值漂移算法把原始的视频帧图像预分割为                                                
Figure 201310080831X100002DEST_PATH_IMAGE001
个区域，
Figure 618947DEST_PATH_IMAGE002
；
(2)、计算第 
Figure 201310080831X100002DEST_PATH_IMAGE003
个区域的颜色显著性值；
(3)、计算第个区域的像素点
Figure 201310080831X100002DEST_PATH_IMAGE005
归一化的颜色显著性值；
(4)、计算第
Figure 569902DEST_PATH_IMAGE003
个区域的运动显著性值；
(5)、计算第
Figure 611808DEST_PATH_IMAGE004
个区域的像素点归一化的运动显著性值；
(6)、计算整幅视频帧图像的颜色和运动的显著性值。
上述步骤(2)所述的计算第 
Figure 565037DEST_PATH_IMAGE003
个区域的颜色显著性值，其具体步骤如下：
(2-1)、将原始视频帧图像中的颜色空间的三个颜色分量分别量化成16等分，再将
Figure 285048DEST_PATH_IMAGE006
颜色空间的三个颜色分量组合，组合成163种颜色；
(2-2)、统计组合后的163种颜色在视频帧图像上出现的频率，组成全局颜色直方图，记为
Figure 201310080831X100002DEST_PATH_IMAGE007
；
(2-3)、将全局颜色直方图按照频率的高低进行降序排列，然后从前到后选择原始视频帧图像95%以上的颜色出现的频率，将没有被选择的颜色的频率叠加到已选择的最相近的颜色的频率中，选择后的颜色种数为；
(2-4)、分别计算
Figure 201369DEST_PATH_IMAGE001
个区域的颜色直方图，计算出第
Figure 201310080831X100002DEST_PATH_IMAGE009
个区域中种颜色出现的频率，分别得到第
Figure 681209DEST_PATH_IMAGE009
个区域颜色直方图，记为
Figure 811976DEST_PATH_IMAGE010
 ，即，得到个区域的颜色直方图； 
(2-5)、分别利用第
Figure 471944DEST_PATH_IMAGE009
个区域的颜色直方图与全局颜色直方图比较得出频率的差异，计算第
Figure 201310080831X100002DEST_PATH_IMAGE011
个区域的颜色显著性值，其计算式为：
                      (1)
其中，
Figure 201310080831X100002DEST_PATH_IMAGE013
表示第
Figure 641687DEST_PATH_IMAGE004
个区域的颜色直方图
Figure 951446DEST_PATH_IMAGE010
中的第
Figure 959853DEST_PATH_IMAGE014
种颜色
Figure 201310080831X100002DEST_PATH_IMAGE015
所占的概率，
Figure 13260DEST_PATH_IMAGE010
表示第
Figure 853040DEST_PATH_IMAGE004
个区域的颜色直方图，
Figure 271383DEST_PATH_IMAGE016
 表示是颜色直方图，
Figure 563824DEST_PATH_IMAGE004
表示是第
Figure 420921DEST_PATH_IMAGE004
个区域的个数序号，
Figure 201310080831X100002DEST_PATH_IMAGE017
，
Figure 52891DEST_PATH_IMAGE014
表示颜色直方图中的第
Figure 704452DEST_PATH_IMAGE014
种颜色的种数序号，
Figure 687452DEST_PATH_IMAGE018
，
Figure 82661DEST_PATH_IMAGE015
表示颜色直方图中的第
Figure 631454DEST_PATH_IMAGE014
种颜色的颜色值，
Figure 201310080831X100002DEST_PATH_IMAGE019
表示全局颜色直方图
Figure 657179DEST_PATH_IMAGE007
中的第种颜色
Figure 924212DEST_PATH_IMAGE022
所占的概率，
Figure 795216DEST_PATH_IMAGE007
表示全局颜色直方图，0表示是整幅图像的全局直方图，
Figure 464095DEST_PATH_IMAGE021
 表示全局颜色直方图中的第
Figure 723038DEST_PATH_IMAGE021
种颜色的种数序号，
Figure 201310080831X100002DEST_PATH_IMAGE023
，
Figure 149471DEST_PATH_IMAGE022
表示全局颜色直方图中的第
Figure 152062DEST_PATH_IMAGE021
种颜色的颜色值，
Figure 675447DEST_PATH_IMAGE024
表示
Figure 201310080831X100002DEST_PATH_IMAGE025
颜色空间中颜色和之间的欧式距离， 表示颜色种数，表示第
Figure 473115DEST_PATH_IMAGE004
个区域的颜色显著性值。
上述步骤(3)所述的计算第
Figure 936457DEST_PATH_IMAGE004
个区域中像素点
Figure 218534DEST_PATH_IMAGE005
归一化的颜色显著性值，其具体步骤如下：
(3-1)、计算第个区域中像素点归一化前的颜色显著性值，其计算式为：
Figure 201310080831X100002DEST_PATH_IMAGE027
                       (2)
其中，表示第
Figure 258985DEST_PATH_IMAGE004
个区域的颜色直方图，
Figure 611469DEST_PATH_IMAGE028
表示第个区域，表示像素点
Figure 664056DEST_PATH_IMAGE005
属于第
Figure 350252DEST_PATH_IMAGE004
个区域
Figure 229346DEST_PATH_IMAGE028
，
Figure 342796DEST_PATH_IMAGE030
表示第
Figure 268026DEST_PATH_IMAGE004
个区域中像素点
Figure 695597DEST_PATH_IMAGE005
的归一化前的颜色显著性值；
(3-2)、计算第个区域中像素点
Figure 307024DEST_PATH_IMAGE005
归一化的颜色显著性值，得到视频帧图像的颜色显著性值，其计算式为：
                (3)
其中， 
Figure 391654DEST_PATH_IMAGE030
表示像素点
Figure 419653DEST_PATH_IMAGE005
的归一化前的颜色显著性值，
Figure 601236DEST_PATH_IMAGE032
表示求最小值的函数，表示求最大值的函数，
Figure 991241DEST_PATH_IMAGE034
表示第
Figure 891064DEST_PATH_IMAGE004
个区域中像素点
Figure 394858DEST_PATH_IMAGE005
归一化的颜色显著性值，其范围为0～1。
上述步骤(4)所述的计算第 个区域的运动显著性值，其具体步骤如下：
(4-1)、采用光流法计算出视频帧图像中
Figure 57100DEST_PATH_IMAGE003
个区域的像素点的运动矢量；
(4-2)、将
Figure 178640DEST_PATH_IMAGE001
个区域的各个像素点的运动矢量的幅值归一化，归一化后，再量化成11等分，将
Figure 220546DEST_PATH_IMAGE001
个区域的各个像素点的运动矢量的方向角量化成8等分，再将各个像素点的运动矢量的幅值和对应的方向角组合，组合成
Figure 201310080831X100002DEST_PATH_IMAGE035
种像素点的运动矢量； 
(4-3)、统计组合后的
Figure 376720DEST_PATH_IMAGE036
种运动矢量在视频帧图像上出现的概率，组成全局运动直方图，记为
Figure 201310080831X100002DEST_PATH_IMAGE037
；
(4-4)、分别计算个区域的运动直方图，计算出第个区域中
Figure 893786DEST_PATH_IMAGE036
种像素点的运动矢量出现的频率，分别得到第
Figure 842151DEST_PATH_IMAGE004
个区域的运动直方图，记为
Figure 810107DEST_PATH_IMAGE038
，即，得到
Figure 906239DEST_PATH_IMAGE001
个区域的运动直方图；
(4-5)、分别利用第
Figure 289947DEST_PATH_IMAGE009
个区域的运动直方图与全局运动直方图比较得出频率的差异，计算第
Figure 201310080831X100002DEST_PATH_IMAGE039
个区域的运动显著性值，其计算式为：
                    (4)
其中，表示第
Figure 762833DEST_PATH_IMAGE004
个区域的运动直方图中第
Figure 595977DEST_PATH_IMAGE014
种运动矢量
Figure 253355DEST_PATH_IMAGE042
所占的概率，
Figure 563113DEST_PATH_IMAGE038
表示第个区域的运动直方图，
Figure 201310080831X100002DEST_PATH_IMAGE043
 表示是运动直方图，
Figure 645435DEST_PATH_IMAGE004
表示是第
Figure 485215DEST_PATH_IMAGE004
个区域的个数序号，
Figure 965875DEST_PATH_IMAGE017
，
Figure 461578DEST_PATH_IMAGE014
表示运动直方图中的第
Figure 53097DEST_PATH_IMAGE014
种运动矢量的种数序号，
Figure 685066DEST_PATH_IMAGE044
，
Figure 336628DEST_PATH_IMAGE042
表示运动直方图中第
Figure 116365DEST_PATH_IMAGE014
种运动矢量的值，
Figure 201310080831X100002DEST_PATH_IMAGE045
表示全局运动直方图
Figure 714836DEST_PATH_IMAGE037
中第
Figure 529209DEST_PATH_IMAGE021
个运动矢量
Figure 23775DEST_PATH_IMAGE046
所占的概率，
Figure 290808DEST_PATH_IMAGE037
表示全局运动直方图，0表示是整幅图像的全局直方图，
Figure 489708DEST_PATH_IMAGE021
 表示全局运动直方图中的第
Figure 158587DEST_PATH_IMAGE021
种运动矢量的种数序号，
Figure 201310080831X100002DEST_PATH_IMAGE047
，
Figure 89634DEST_PATH_IMAGE046
表示全局运动直方图中的第
Figure 843963DEST_PATH_IMAGE021
种运动矢量的值，    
Figure 49817DEST_PATH_IMAGE048
表示运动矢量
Figure 201310080831X100002DEST_PATH_IMAGE049
和
Figure 573202DEST_PATH_IMAGE050
之间的距离，
Figure 201310080831X100002DEST_PATH_IMAGE051
表示运动矢量
Figure 409571DEST_PATH_IMAGE052
和
Figure 201310080831X100002DEST_PATH_IMAGE053
之间的夹角，
Figure 851529DEST_PATH_IMAGE054
表示运动矢量的幅值，
Figure 201310080831X100002DEST_PATH_IMAGE055
表示运动矢量
Figure 770124DEST_PATH_IMAGE049
的幅值，
Figure 42973DEST_PATH_IMAGE056
表示运动矢量的种数，
Figure 201310080831X100002DEST_PATH_IMAGE057
表示第
Figure 506316DEST_PATH_IMAGE058
个区域的运动显著性值。
上述步骤(5)所述的计算第
Figure 788392DEST_PATH_IMAGE004
个区域中像素点
Figure 20791DEST_PATH_IMAGE005
归一化的运动显著性值，其具体步骤如下：
(5-1)、计算第个区域中像素点
Figure 946338DEST_PATH_IMAGE005
归一化前的运动显著性值，其计算式为：
Figure 828844DEST_PATH_IMAGE060
                     (5)
其中，表示第
Figure 181328DEST_PATH_IMAGE004
个区域的运动直方图，
Figure 795980DEST_PATH_IMAGE028
表示第
Figure 233914DEST_PATH_IMAGE004
个区域，
Figure 920110DEST_PATH_IMAGE029
表示像素点
Figure 127101DEST_PATH_IMAGE005
属于第
Figure 178234DEST_PATH_IMAGE004
个区域
Figure 103464DEST_PATH_IMAGE028
，
Figure 327772DEST_PATH_IMAGE062
表示第
Figure 592531DEST_PATH_IMAGE004
个区域中像素点
Figure 611303DEST_PATH_IMAGE005
的归一化前的运动显著性值；
(5-2)、计算第
Figure 23830DEST_PATH_IMAGE004
个区域中像素点
Figure 51829DEST_PATH_IMAGE005
归一化的运动显著性值，得到整幅视频帧图像的运动显著性值，其计算式为：
                          (6)
其中， 
Figure 201310080831X100002DEST_PATH_IMAGE065
表示像素点
Figure 626346DEST_PATH_IMAGE005
的未归一化的运动显著性值，
Figure 460923DEST_PATH_IMAGE032
表示求最小值的函数，
Figure 27033DEST_PATH_IMAGE033
表示求最大值的函数，
Figure DEST_PATH_IMAGE067
表示第
Figure 328702DEST_PATH_IMAGE004
个区域中像素点
Figure 626959DEST_PATH_IMAGE005
归一化的运动显著性值，其范围为0～1。
上述步骤(6)所述的计算整幅图像的颜色和运动的显著性值，其具体步骤如下：
(6-1)、计算第
Figure 748499DEST_PATH_IMAGE004
个区域中像素点归一化前的颜色和运动的显著性值，其计算式为：
Figure DEST_PATH_IMAGE069
                  (7)
其中，表示像素点
Figure 212158DEST_PATH_IMAGE005
的颜色显著性值，
Figure DEST_PATH_IMAGE073
表示像素点
Figure 9213DEST_PATH_IMAGE005
的运动显著性值，表示像素点归一化前的颜色和运动的显著性值。
(6-2)、计算第
Figure 463645DEST_PATH_IMAGE004
个区域中像素点归一化的颜色和运动的显著性值，得到整幅视频帧图像的颜色和运动显著性值，其计算式为：
          
Figure DEST_PATH_IMAGE077
               (8)
其中， 
Figure 379965DEST_PATH_IMAGE075
表示第个区域中像素点
Figure 125385DEST_PATH_IMAGE005
的归一化前的颜色和运动的显著性值，
Figure 990572DEST_PATH_IMAGE032
表示求最小值的函数，
Figure 129430DEST_PATH_IMAGE033
表示求最大值的函数，
Figure DEST_PATH_IMAGE079
表示第
Figure 650541DEST_PATH_IMAGE004
个区域中像素点
Figure 165836DEST_PATH_IMAGE005
归一化的颜色和运动的显著性值，其范围为0～1，该第
Figure 885530DEST_PATH_IMAGE004
个区域中像素点
Figure 132972DEST_PATH_IMAGE005
归一化的颜色和运动的显著性值作为整幅视频帧图像的颜色和运动显著性值，该显著性值越大表示该像素点越显著，该显著性值越小表示该像素点越不显著。
本发明的视频帧图像中颜色和运动全局对比度的视觉显著性算法具有如下优点：该方法通过视频帧图像中颜色直方图和视频帧图像中运动直方图两个方面融合，计算出视频帧图像中的颜色和运动显著性值，能够将视频帧图像中的显著对象凸显出来，将非显著性的背景区域抑制下去，该算法对于不同类型的视频帧图像均能取得较好的效果，适合用于视频缩放以及视频分割等应用。
附图说明
图1是本发明的视频帧图像中颜色和运动全局对比度的视觉显著性算法的流程图；
图2是图1中步骤(1)中所述的输入的原始视频帧图像；
图3是图1中步骤(3)中所述的整幅视频帧图像的颜色显著性图；
图4是图1中步骤(4)中所述的量化后的运动矢量的幅值的示意图； 
图5是图1中步骤(4)中所述的量化后的运动矢量示意图； 
图6是图1中步骤(5)中所述的整幅视频帧图像的运动显著性图； 
图7是图1中步骤(6)中所述的整幅视频帧图像的颜色和运动显著性图；
图8是摄像镜头上下平移的电影视频的颜色和运动显著性图，图中，第1列(a)是原始视频帧图像，第2列(b)是颜色显著性图，第3列(c)是运动显著性图，第4列(d)是整幅视频帧图像的颜色和运动显著性图；
图9是摄像镜头静止的室外监控视频的颜色和运动显著性图，图中，第1列(a)是原始视频帧图像，第2列(b)是颜色显著性图，第3列(c)是运动显著性图，第4列(d)是整幅视频帧图像的颜色和运动显著性图；
图10是摄像镜头剧烈抖动的室外监控视频的颜色和运动显著性图，图中，第1列(a)是原始视频帧图像，第2列(b)是颜色显著性图，第3列(c)是运动显著性图，第4列(d)是整幅视频帧图像的颜色和运动显著性图。
具体实施方式
下面结合说明书附图对本发明的实施作进一步说明。
本发明进行的仿真实验是在CPU为2.53GHz、内存为1.96GB的PC测试平台上编程实现。              
如图1所示，本发明的视频帧图像中颜色和运动全局对比度的视觉显著性算法，采用以下步骤加以详述：
(1)、输入原始视频帧图像，如图2所示，运用均值漂移算法把原始的视频帧图像预分割为
Figure 203696DEST_PATH_IMAGE001
个区域，
Figure 257103DEST_PATH_IMAGE002
，即，生成
Figure 96883DEST_PATH_IMAGE001
个视频帧图像区域；
(2)、计算第 
Figure 512296DEST_PATH_IMAGE003
个区域的颜色显著性值，其具体步骤如下：
(2-1)、将原始视频帧图像中的
Figure 70316DEST_PATH_IMAGE006
颜色空间的三个颜色分量分别量化成16等分，再将
Figure 661835DEST_PATH_IMAGE006
颜色空间的三个颜色分量组合，组合成163种颜色；
(2-2)、统计组合后的163种颜色在视频帧图像上出现的频率，组成全局颜色直方图，记为
Figure 293804DEST_PATH_IMAGE007
，该全局颜色直方图中，横坐标表示颜色，纵坐标表示对应颜色在原始图像上出现的频率；
(2-3)、将全局颜色直方图按照频率的高低进行降序排列，然后从前到后选择原始视频帧图像95%以上的颜色出现的频率，将没有被选择的颜色的频率叠加到已选择的最相近的颜色的频率中，选择后的颜色种数为
Figure 210945DEST_PATH_IMAGE008
；
(2-4)、分别计算
Figure 990682DEST_PATH_IMAGE001
个区域的颜色直方图，计算出第
Figure 385891DEST_PATH_IMAGE009
个区域中
Figure 137947DEST_PATH_IMAGE008
种颜色出现的频率，分别得到第
Figure 960409DEST_PATH_IMAGE009
个区域颜色直方图，记为
Figure 227442DEST_PATH_IMAGE010
 ，即，得到
Figure 364026DEST_PATH_IMAGE001
个区域的颜色直方图； 
(2-5)、分别利用第
Figure 32904DEST_PATH_IMAGE009
个区域的颜色直方图与全局颜色直方图比较得出频率的差异，计算第
Figure 26268DEST_PATH_IMAGE011
个区域的颜色显著性值，其计算式为：
    
Figure 780598DEST_PATH_IMAGE012
                  (1)
其中，
Figure 455292DEST_PATH_IMAGE013
表示第
Figure 978678DEST_PATH_IMAGE004
个区域的颜色直方图中的第
Figure 650147DEST_PATH_IMAGE014
种颜色
Figure 862954DEST_PATH_IMAGE015
所占的概率，
Figure 506425DEST_PATH_IMAGE010
表示第
Figure 841591DEST_PATH_IMAGE004
个区域的颜色直方图， 表示是颜色直方图，
Figure 587011DEST_PATH_IMAGE004
表示是第
Figure 84988DEST_PATH_IMAGE004
个区域的个数序号，
Figure 856635DEST_PATH_IMAGE017
，
Figure 744957DEST_PATH_IMAGE014
表示颜色直方图中的第
Figure 627462DEST_PATH_IMAGE014
种颜色的种数序号，，
Figure 922494DEST_PATH_IMAGE015
表示颜色直方图中的第
Figure 295182DEST_PATH_IMAGE014
种颜色的颜色值，
Figure 715799DEST_PATH_IMAGE019
表示全局颜色直方图中的第
Figure 239501DEST_PATH_IMAGE021
种颜色
Figure 164732DEST_PATH_IMAGE022
所占的概率，
Figure 389040DEST_PATH_IMAGE007
表示全局颜色直方图，0表示是整幅图像的全局直方图，
Figure 450537DEST_PATH_IMAGE021
 表示全局颜色直方图中的第
Figure 672571DEST_PATH_IMAGE021
种颜色的种数序号，
Figure 85098DEST_PATH_IMAGE023
，
Figure 113096DEST_PATH_IMAGE022
表示全局颜色直方图中的第
Figure 294679DEST_PATH_IMAGE021
种颜色的颜色值，表示颜色空间中颜色
Figure 887969DEST_PATH_IMAGE022
和
Figure 127320DEST_PATH_IMAGE015
之间的欧式距离， 表示颜色种数，
Figure 875013DEST_PATH_IMAGE026
表示第
Figure 244815DEST_PATH_IMAGE004
个区域的颜色显著性值。
(3)、计算第
Figure 73093DEST_PATH_IMAGE004
个区域的像素点
Figure 870148DEST_PATH_IMAGE005
归一化的颜色显著性值，其具体步骤如下：
(3-1)、计算第
Figure 478984DEST_PATH_IMAGE004
个区域中像素点
Figure 652476DEST_PATH_IMAGE005
归一化前的颜色显著性值，其计算式为：
Figure DEST_PATH_IMAGE081
                       (2)
其中，
Figure 600841DEST_PATH_IMAGE010
表示第
Figure 568797DEST_PATH_IMAGE004
个区域的颜色直方图，表示第
Figure 314216DEST_PATH_IMAGE004
个区域，
Figure 179404DEST_PATH_IMAGE029
表示像素点
Figure 318261DEST_PATH_IMAGE005
属于第
Figure 836443DEST_PATH_IMAGE004
个区域，
Figure 71432DEST_PATH_IMAGE030
表示第个区域中像素点
Figure 389598DEST_PATH_IMAGE005
的归一化前的颜色显著性值；
(3-2)、计算第
Figure 443004DEST_PATH_IMAGE004
个区域中像素点
Figure 282784DEST_PATH_IMAGE005
归一化的颜色显著性值，得到视频帧图像的颜色显著性值，其计算式为：
 
Figure DEST_PATH_IMAGE083
               (3)
其中， 
Figure DEST_PATH_IMAGE085
表示像素点
Figure 701127DEST_PATH_IMAGE005
的归一化前的颜色显著性值，
Figure 993568DEST_PATH_IMAGE032
表示求最小值的函数，
Figure 788349DEST_PATH_IMAGE033
表示求最大值的函数，
Figure 482636DEST_PATH_IMAGE034
表示第
Figure 134197DEST_PATH_IMAGE004
个区域中像素点
Figure 179513DEST_PATH_IMAGE005
归一化的颜色显著性值，其范围为0～1，该第
Figure 512406DEST_PATH_IMAGE004
个区域中像素点
Figure 61199DEST_PATH_IMAGE005
的颜色显著性值作为整幅视频帧图像的颜色显著性值，如图3所示，该显著性值越大表示该像素点越显著，显著性值越小表示该像素点越不显著；
(4)、计算第个区域的运动显著性值，其具体步骤如下：
(4-1)、采用光流法计算出视频帧图像中第 
Figure 416274DEST_PATH_IMAGE003
个区域的像素点的运动矢量；
(4-2)、将
Figure 552857DEST_PATH_IMAGE086
个区域的各个像素点的运动矢量的幅值归一化后，再将归一化后的所有运动矢量的幅值分成11个等分，即11个等分为（0.00～0.05）, （0.05～0.15），（0.15～0.25），（0.25～0.35）， （0.35～0.45）， （0.45～0.55）， （0.55～0.65）， （0.65～0.75）， （0.75～0.85），（0.85～0.95）， （0.95～1.00），如图4所示；将
Figure 956156DEST_PATH_IMAGE086
个区域的各个像素点的运动矢量的方向角量化成8个运动矢量方向角，即所有运动矢量的方向角量化为0～360度量化成8等分的运动矢量方向角，其8个扇形区为：东扇形区，东南扇形区，南扇形区，西南扇形区，西扇形区，西北扇形区，北扇形区，东北扇形区，再将运动矢量的幅值和方向角组合，组合成
Figure 215099DEST_PATH_IMAGE035
种像素点的运动矢量，例如，运动矢量为： （0.1，东）， （0.1，东南）， （0.1，南），……，（0.1，北）， （0.1，东北）， （0.2，东）， （0.2，东南），（0.2，南），……，（0.2，北）， （0.2，东北），……，（1，东）， （1，东南）， （1，南），……，（1，北）， （1，东北），如图5所示；
(4-3)、统计组合后的
Figure 969429DEST_PATH_IMAGE036
种运动矢量在视频帧图像上出现的概率，组成全局运动直方图，记为；
(4-4)、分别计算
Figure 167509DEST_PATH_IMAGE001
个区域的运动直方图，计算出第个区域中
Figure 511083DEST_PATH_IMAGE036
种像素点的运动矢量出现的频率，分别得到第
Figure 51785DEST_PATH_IMAGE004
个区域的运动直方图，记为，即，得到
Figure 30423DEST_PATH_IMAGE001
个区域的运动直方图；
(4-5)、分别利用第
Figure 694098DEST_PATH_IMAGE009
个区域的运动直方图与全局运动直方图比较得出频率的差异，计算第
Figure 772912DEST_PATH_IMAGE039
个区域的运动显著性值，其计算式为：
  
Figure 270890DEST_PATH_IMAGE040
                   (4)
其中，
Figure 776957DEST_PATH_IMAGE041
表示第
Figure 930858DEST_PATH_IMAGE004
个区域的运动直方图
Figure 813364DEST_PATH_IMAGE038
中第种运动矢量
Figure 46079DEST_PATH_IMAGE042
所占的概率，
Figure 484013DEST_PATH_IMAGE038
表示第
Figure 904630DEST_PATH_IMAGE004
个区域的运动直方图，
Figure 377200DEST_PATH_IMAGE043
 表示是运动直方图，
Figure 162753DEST_PATH_IMAGE004
表示是第
Figure 87984DEST_PATH_IMAGE004
个区域的个数序号，
Figure 312292DEST_PATH_IMAGE017
，表示运动直方图中的第
Figure 861402DEST_PATH_IMAGE014
种运动矢量的种数序号，
Figure 273929DEST_PATH_IMAGE044
，
Figure 36349DEST_PATH_IMAGE042
表示运动直方图中第
Figure 155614DEST_PATH_IMAGE014
种运动矢量的值，表示全局运动直方图
Figure 510689DEST_PATH_IMAGE037
中第
Figure 76800DEST_PATH_IMAGE021
个运动矢量
Figure 50572DEST_PATH_IMAGE046
所占的概率，
Figure 676726DEST_PATH_IMAGE037
表示全局运动直方图，0表示是整幅图像的全局直方图，
Figure 63845DEST_PATH_IMAGE021
 表示全局运动直方图中的第
Figure 168067DEST_PATH_IMAGE021
种运动矢量的种数序号，
Figure 261925DEST_PATH_IMAGE047
，
Figure 58979DEST_PATH_IMAGE046
表示全局运动直方图中的第
Figure 667815DEST_PATH_IMAGE021
种运动矢量的值，    
Figure 841308DEST_PATH_IMAGE048
表示运动矢量
Figure 786742DEST_PATH_IMAGE049
和之间的距离，
Figure 850830DEST_PATH_IMAGE051
表示运动矢量
Figure 234538DEST_PATH_IMAGE052
和
Figure 365305DEST_PATH_IMAGE053
之间的夹角，
Figure 504163DEST_PATH_IMAGE054
表示运动矢量
Figure 87591DEST_PATH_IMAGE050
的幅值，表示运动矢量的幅值，表示运动矢量的种数，
Figure 640746DEST_PATH_IMAGE057
表示第个区域的运动显著性值。
 (5)、计算第
Figure 471616DEST_PATH_IMAGE004
个区域中像素点归一化的运动显著性值，其具体步骤如下：
(5-1)、计算第个区域中像素点
Figure 39497DEST_PATH_IMAGE005
归一化前的运动显著性值，其计算式为：
Figure 733784DEST_PATH_IMAGE088
                   (5)
其中，
Figure 385345DEST_PATH_IMAGE061
表示第个区域的运动直方图，
Figure 763554DEST_PATH_IMAGE028
表示第
Figure 312347DEST_PATH_IMAGE004
个区域，
Figure 400389DEST_PATH_IMAGE029
表示像素点
Figure 605105DEST_PATH_IMAGE005
属于第
Figure 538426DEST_PATH_IMAGE004
个区域
Figure 207305DEST_PATH_IMAGE028
，
Figure 403931DEST_PATH_IMAGE062
表示第
Figure 892681DEST_PATH_IMAGE004
个区域中像素点
Figure 895272DEST_PATH_IMAGE005
的归一化前的运动显著性值；
(5-2)、计算第
Figure 418657DEST_PATH_IMAGE004
个区域中像素点
Figure 541113DEST_PATH_IMAGE005
归一化的运动显著性值，得到整幅视频帧图像的运动显著性值，其计算式为：
                          (6)
其中， 
Figure 323442DEST_PATH_IMAGE065
表示像素点
Figure 701333DEST_PATH_IMAGE005
的未归一化的运动显著性值，
Figure 239762DEST_PATH_IMAGE032
表示求最小值的函数，
Figure 703104DEST_PATH_IMAGE033
表示求最大值的函数，
Figure DEST_PATH_IMAGE089
表示第个区域中像素点归一化的运动显著性值，其范围为0～1，该第
Figure 989226DEST_PATH_IMAGE004
个区域中像素点
Figure 205444DEST_PATH_IMAGE005
归一化的运动显著性值作为整幅视频帧图像的运动显著性值，该显著性值越大表示该像素点越显著，该显著性值越小表示该像素点越不显著，如图6所示。
(6)、计算整幅视频帧图像的颜色和运动的显著性值，其具体步骤如下：
(6-1)、计算第
Figure 25632DEST_PATH_IMAGE004
个区域中像素点
Figure 378116DEST_PATH_IMAGE005
归一化前的颜色和运动的显著性值，其计算式为：
Figure 55085DEST_PATH_IMAGE090
                   (7)
其中，表示像素点的颜色显著性值，
Figure 323890DEST_PATH_IMAGE089
表示像素点
Figure 437339DEST_PATH_IMAGE005
的运动显著性值，
Figure DEST_PATH_IMAGE091
表示像素点
Figure 300253DEST_PATH_IMAGE005
归一化前的颜色和运动的显著性值。
(6-2)、计算第
Figure 524561DEST_PATH_IMAGE004
个区域中像素点
Figure 851637DEST_PATH_IMAGE005
归一化的颜色和运动的显著性值，得到整幅视频帧图像的颜色和运动显著性值，其计算式为：
          
Figure 73671DEST_PATH_IMAGE092
               (8)
其中， 表示第
Figure 220619DEST_PATH_IMAGE004
个区域中像素点
Figure 248617DEST_PATH_IMAGE005
的归一化前的颜色和运动的显著性值，
Figure 367883DEST_PATH_IMAGE032
表示求最小值的函数，
Figure 823135DEST_PATH_IMAGE033
表示求最大值的函数，
Figure 722958DEST_PATH_IMAGE094
表示第个区域中像素点
Figure 259911DEST_PATH_IMAGE005
归一化的颜色和运动的显著性值，其范围为0～1，该第
Figure 886065DEST_PATH_IMAGE004
个区域中像素点
Figure 7604DEST_PATH_IMAGE005
归一化的颜色和运动的显著性值作为整幅视频帧图像的颜色和运动显著性值，该显著性值越大表示该像素点越显著，该显著性值越小表示该像素点越不显著，如图7所示。
为了验证使用本发明的视频帧图像中颜色和运动全局对比度的视觉显著性算法的效果，采用本发明的算法分别对电影、新闻、动画视频帧图像作实验，如图8、图9、图10所示，图8、图9、图10中，第1列均为原始视频帧图像，第2列均为颜色显著性图，第3列均为运动显著性图，第4列均为整幅视频帧图像的颜色和运动显著性图。从三幅图可以看出，通过视频帧图像中颜色显著性图与视频帧图像中运动显著性图的融合，对于不同类型的视频帧图像，生成的整幅视频帧图像的颜色和运动显著性图均能够有效地抑制非显著性的背景区域，并更好地凸显出显著对象。

Claims (6)

1.一种视频帧图像中颜色和运动全局对比度的视觉显著性算法，其具体步骤如下： 
(1)、输入原始视频帧图像，运用均值漂移算法把原始的视频帧图像预分割为                                                
Figure 201310080831X100001DEST_PATH_IMAGE001
个区域，
Figure 283475DEST_PATH_IMAGE002
；
(2)、计算第 
Figure 201310080831X100001DEST_PATH_IMAGE003
个区域的颜色显著性值；
(3)、计算第
Figure 849585DEST_PATH_IMAGE004
个区域的像素点
Figure DEST_PATH_IMAGE005
归一化的颜色显著性值；
(4)、计算第
Figure 698723DEST_PATH_IMAGE003
个区域的运动显著性值；
(5)、计算第
Figure 324877DEST_PATH_IMAGE004
个区域的像素点
Figure 508734DEST_PATH_IMAGE005
归一化的运动显著性值；
(6)、计算整幅视频帧图像的颜色和运动的显著性值。
2.根据权利要求1所述的视频帧图像中颜色和运动全局对比度的视觉显著性算法，其特征在于，上述步骤(2)所述的计算第 
Figure 878535DEST_PATH_IMAGE003
个区域的颜色显著性值，其具体步骤如下：
(2-1)、将原始视频帧图像中的
Figure 34710DEST_PATH_IMAGE006
颜色空间的三个颜色分量分别量化成16等分，再将
Figure 644814DEST_PATH_IMAGE006
颜色空间的三个颜色分量组合，组合成163种颜色；
(2-2)、统计组合后的163种颜色在视频帧图像上出现的频率，组成全局颜色直方图，记为；
(2-3)、将全局颜色直方图按照频率的高低进行降序排列，然后从前到后选择原始视频帧图像95%以上的颜色出现的频率，将没有被选择的颜色的频率叠加到已选择的最相近的颜色的频率中，选择后的颜色种数为
Figure 253650DEST_PATH_IMAGE008
；
(2-4)、分别计算
Figure 223880DEST_PATH_IMAGE001
个区域的颜色直方图，计算出第
Figure DEST_PATH_IMAGE009
个区域中
Figure 234561DEST_PATH_IMAGE008
种颜色出现的频率，分别得到第
Figure 12637DEST_PATH_IMAGE009
个区域颜色直方图，记为
Figure 108769DEST_PATH_IMAGE010
 ，即，得到
Figure 820373DEST_PATH_IMAGE001
个区域的颜色直方图； 
(2-5)、分别利用第
Figure 951140DEST_PATH_IMAGE009
个区域的颜色直方图与全局颜色直方图比较得出频率的差异，计算第个区域的颜色显著性值，其计算式为：
    
Figure DEST_PATH_IMAGE013
                  (1)
其中，
Figure 152314DEST_PATH_IMAGE014
表示第
Figure 283212DEST_PATH_IMAGE004
个区域的颜色直方图
Figure 798507DEST_PATH_IMAGE010
中的第
Figure DEST_PATH_IMAGE015
种颜色所占的概率，
Figure 155856DEST_PATH_IMAGE010
表示第
Figure 961001DEST_PATH_IMAGE004
个区域的颜色直方图，
Figure DEST_PATH_IMAGE017
 表示是颜色直方图，
Figure 827457DEST_PATH_IMAGE004
表示是第
Figure 667237DEST_PATH_IMAGE004
个区域的个数序号，
Figure 147897DEST_PATH_IMAGE018
，
Figure 768234DEST_PATH_IMAGE015
表示颜色直方图中的第
Figure 359753DEST_PATH_IMAGE015
种颜色的种数序号，
Figure DEST_PATH_IMAGE019
，
Figure 132668DEST_PATH_IMAGE016
表示颜色直方图中的第种颜色的颜色值，
Figure 563966DEST_PATH_IMAGE020
表示全局颜色直方图
Figure 21492DEST_PATH_IMAGE007
中的第
Figure 835864DEST_PATH_IMAGE022
种颜色所占的概率，
Figure 658327DEST_PATH_IMAGE007
表示全局颜色直方图，0表示是整幅图像的全局直方图，
Figure 758917DEST_PATH_IMAGE022
 表示全局颜色直方图中的第
Figure 957818DEST_PATH_IMAGE022
种颜色的种数序号，
Figure 626696DEST_PATH_IMAGE024
，
Figure 682377DEST_PATH_IMAGE023
表示全局颜色直方图中的第
Figure 436706DEST_PATH_IMAGE022
种颜色的颜色值，
Figure DEST_PATH_IMAGE025
表示
Figure 252347DEST_PATH_IMAGE026
颜色空间中颜色
Figure 775732DEST_PATH_IMAGE023
和
Figure 939997DEST_PATH_IMAGE016
之间的欧式距离， 表示颜色种数，表示第
Figure 784642DEST_PATH_IMAGE004
个区域的颜色显著性值。
3.根据权利要求2所述的视频帧图像中颜色和运动全局对比度的视觉显著性算法，其特征在于，上述步骤(3)所述的计算第
Figure 162534DEST_PATH_IMAGE004
个区域中像素点归一化的颜色显著性值，其具体步骤如下：
(3-1)、计算第
Figure 39671DEST_PATH_IMAGE004
个区域中像素点
Figure 384065DEST_PATH_IMAGE005
归一化前的颜色显著性值，其计算式为：
                       (2)
其中，表示第
Figure 401065DEST_PATH_IMAGE004
个区域的颜色直方图，
Figure DEST_PATH_IMAGE029
表示第
Figure 96620DEST_PATH_IMAGE004
个区域，
Figure 449104DEST_PATH_IMAGE030
表示像素点
Figure 391652DEST_PATH_IMAGE005
属于第
Figure 829587DEST_PATH_IMAGE004
个区域
Figure 578100DEST_PATH_IMAGE029
，
Figure 785090DEST_PATH_IMAGE032
表示第
Figure 898540DEST_PATH_IMAGE004
个区域中像素点的归一化前的颜色显著性值；
(3-2)、计算第个区域中像素点归一化的颜色显著性值，得到整幅视频帧图像的颜色显著性值，其计算式为：
 
Figure DEST_PATH_IMAGE033
               (3)
其中， 
Figure DEST_PATH_IMAGE031
表示像素点
Figure 266363DEST_PATH_IMAGE005
的归一化前的颜色显著性值，
Figure 678890DEST_PATH_IMAGE034
表示求最小值的函数，
Figure DEST_PATH_IMAGE035
表示求最大值的函数，
Figure 519938DEST_PATH_IMAGE036
表示第
Figure 701520DEST_PATH_IMAGE004
个区域中像素点
Figure 156772DEST_PATH_IMAGE005
归一化的颜色显著性值，其范围为0～1。
4.根据权利要求3所述的视频帧图像中颜色和运动全局对比度的视觉显著性算法，其特征在于，上述步骤(4)所述的计算第 
Figure 853333DEST_PATH_IMAGE003
个区域的运动显著性值，其具体步骤如下：
(4-1)、采用光流法计算出视频帧图像中第 
Figure 419444DEST_PATH_IMAGE003
个区域的像素点的运动矢量；
(4-2)、将
Figure 721112DEST_PATH_IMAGE001
个区域的各个像素点的运动矢量的幅值归一化，归一化后，再量化成11等分，将
Figure 347265DEST_PATH_IMAGE001
个区域的各个像素点的运动矢量的方向角量化成8等分，再将各个像素点的运动矢量的幅值和对应的方向角组合，组合成
Figure DEST_PATH_IMAGE037
种像素点的运动矢量； 
(4-3)、统计组合后的
Figure 281854DEST_PATH_IMAGE038
种运动矢量在视频帧图像上出现的概率，组成全局运动直方图，记为；
(4-4)、分别计算
Figure 651656DEST_PATH_IMAGE001
个区域的运动直方图，计算出第
Figure 870148DEST_PATH_IMAGE009
个区域中
Figure 667202DEST_PATH_IMAGE038
种像素点的运动矢量出现的频率，分别得到第
Figure 276038DEST_PATH_IMAGE004
个区域的运动直方图，记为
Figure 997001DEST_PATH_IMAGE040
，即，得到
Figure 7682DEST_PATH_IMAGE001
个区域的运动直方图；
(4-5)、分别利用第
Figure 975638DEST_PATH_IMAGE009
个区域的运动直方图与全局运动直方图比较得出频率的差异，计算第
Figure DEST_PATH_IMAGE041
个区域的运动显著性值，其计算式为：
  
Figure 134087DEST_PATH_IMAGE042
                   (4)
其中，
Figure DEST_PATH_IMAGE043
表示第
Figure 845691DEST_PATH_IMAGE004
个区域的运动直方图
Figure 520998DEST_PATH_IMAGE040
中第
Figure 659856DEST_PATH_IMAGE015
种运动矢量
Figure 243284DEST_PATH_IMAGE044
所占的概率，
Figure 758579DEST_PATH_IMAGE040
表示第
Figure 540590DEST_PATH_IMAGE004
个区域的运动直方图，
Figure DEST_PATH_IMAGE045
 表示是运动直方图，
Figure 850349DEST_PATH_IMAGE004
表示是第
Figure 921073DEST_PATH_IMAGE004
个区域域的个数序号，
Figure 787529DEST_PATH_IMAGE018
，
Figure 627309DEST_PATH_IMAGE015
表示运动直方图中的第
Figure 107969DEST_PATH_IMAGE015
种运动矢量的种数序号，
Figure 728306DEST_PATH_IMAGE046
，
Figure 319824DEST_PATH_IMAGE044
表示运动直方图中第
Figure 14111DEST_PATH_IMAGE015
种运动矢量的值，
Figure DEST_PATH_IMAGE047
表示全局运动直方图
Figure 744300DEST_PATH_IMAGE039
中第
Figure 524038DEST_PATH_IMAGE022
个运动矢量
Figure 919247DEST_PATH_IMAGE048
所占的概率，
Figure 733619DEST_PATH_IMAGE039
表示全局运动直方图，0表示是整幅图像的全局直方图，
Figure 618399DEST_PATH_IMAGE022
 表示全局运动直方图中的第
Figure 885432DEST_PATH_IMAGE022
种运动矢量的种数序号，
Figure DEST_PATH_IMAGE049
，表示全局运动直方图中的第
Figure 566260DEST_PATH_IMAGE022
种运动矢量的值，    
Figure 559624DEST_PATH_IMAGE050
表示运动矢量
Figure DEST_PATH_IMAGE051
和
Figure 376270DEST_PATH_IMAGE052
之间的距离，
Figure DEST_PATH_IMAGE053
表示运动矢量和
Figure DEST_PATH_IMAGE055
之间的夹角，表示运动矢量
Figure 876631DEST_PATH_IMAGE052
的幅值，
Figure DEST_PATH_IMAGE057
表示运动矢量
Figure 180574DEST_PATH_IMAGE051
的幅值，
Figure 455697DEST_PATH_IMAGE058
表示运动矢量的种数，
Figure DEST_PATH_IMAGE059
表示第
Figure 99168DEST_PATH_IMAGE060
个区域的运动显著性值。
5.根据权利要求4所述的视频帧图像中颜色和运动全局对比度的视觉显著性算法，其特征在于，上述步骤(5)所述的计算第
Figure 247384DEST_PATH_IMAGE004
个区域中像素点
Figure 976305DEST_PATH_IMAGE005
归一化的运动显著性值，其具体步骤如下：
(5-1)、计算第
Figure 55120DEST_PATH_IMAGE004
个区域中像素点
Figure 615414DEST_PATH_IMAGE005
归一化前的运动显著性值，其计算式为：
Figure DEST_PATH_IMAGE061
                   (5)
其中，
Figure 387061DEST_PATH_IMAGE062
表示第
Figure 150749DEST_PATH_IMAGE004
个区域的运动直方图，
Figure 33254DEST_PATH_IMAGE029
表示第
Figure 385738DEST_PATH_IMAGE004
个区域，
Figure 328286DEST_PATH_IMAGE030
表示像素点
Figure 828538DEST_PATH_IMAGE005
属于第
Figure 249155DEST_PATH_IMAGE004
个区域
Figure 721724DEST_PATH_IMAGE029
，
Figure DEST_PATH_IMAGE063
表示第
Figure 648223DEST_PATH_IMAGE004
个区域中像素点
Figure 573454DEST_PATH_IMAGE005
的归一化前的运动显著性值；
(5-2)、计算第
Figure 797762DEST_PATH_IMAGE004
个区域中像素点归一化的运动显著性值，得到整幅视频帧图像的运动显著性值，其计算式为：
          
Figure 205927DEST_PATH_IMAGE064
                (6)
其中， 
Figure DEST_PATH_IMAGE065
表示像素点的未归一化的运动显著性值，
Figure 456572DEST_PATH_IMAGE034
表示求最小值的函数，
Figure 638154DEST_PATH_IMAGE035
表示求最大值的函数，
Figure 827827DEST_PATH_IMAGE066
表示第
Figure 789967DEST_PATH_IMAGE004
个区域中像素点归一化的运动显著性值，其范围为0～1。
6.根据权利要求5所述的视频帧图像中颜色和运动全局对比度的视觉显著性算法，其特征在于，上述步骤(6)所述的计算整幅图像的颜色和运动的显著性值，其具体步骤如下：
(6-1)、计算第
Figure 657746DEST_PATH_IMAGE004
个区域中像素点
Figure 831370DEST_PATH_IMAGE005
归一化前的颜色和运动的显著性值，其计算式为：
Figure 218489DEST_PATH_IMAGE068
                   (7)
其中，
Figure 588290DEST_PATH_IMAGE070
表示像素点
Figure 478886DEST_PATH_IMAGE005
的颜色显著性值，
Figure 338257DEST_PATH_IMAGE072
表示像素点
Figure 947093DEST_PATH_IMAGE005
的运动显著性值，
Figure 120585DEST_PATH_IMAGE074
表示像素点归一化前的颜色和运动的显著性值。
(6-2)、计算第个区域中像素点
Figure 8404DEST_PATH_IMAGE005
归一化的颜色和运动的显著性值，得到整幅视频帧图像的颜色和运动显著性值，其计算式为：
                         (8)
其中， 
Figure 647513DEST_PATH_IMAGE074
表示第
Figure 786370DEST_PATH_IMAGE004
个区域中像素点
Figure 369798DEST_PATH_IMAGE005
的归一化前的颜色和运动的显著性值，
Figure 619514DEST_PATH_IMAGE034
表示求最小值的函数，
Figure 417837DEST_PATH_IMAGE035
表示求最大值的函数，
Figure 727595DEST_PATH_IMAGE078
表示第
Figure 798320DEST_PATH_IMAGE004
个区域中像素点归一化的颜色和运动的显著性值，其范围为0～1，该第
Figure 753823DEST_PATH_IMAGE004
个区域中像素点
Figure 234483DEST_PATH_IMAGE005
归一化的颜色和运动的显著性值作为整幅视频帧图像的颜色和运动显著性值。
CN201310080831.XA 2013-03-14 2013-03-14 视频帧图像中颜色和运动全局对比度的视觉显著性算法 Expired - Fee Related CN103208125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310080831.XA CN103208125B (zh) 2013-03-14 2013-03-14 视频帧图像中颜色和运动全局对比度的视觉显著性算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310080831.XA CN103208125B (zh) 2013-03-14 2013-03-14 视频帧图像中颜色和运动全局对比度的视觉显著性算法

Publications (2)

Publication Number Publication Date
CN103208125A true CN103208125A (zh) 2013-07-17
CN103208125B CN103208125B (zh) 2015-12-09

Family

ID=48755340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310080831.XA Expired - Fee Related CN103208125B (zh) 2013-03-14 2013-03-14 视频帧图像中颜色和运动全局对比度的视觉显著性算法

Country Status (1)

Country Link
CN (1) CN103208125B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021220A (zh) * 2014-06-24 2014-09-03 中国科学院深圳先进技术研究院 基于显著性模型的图像检索方法
CN104504692A (zh) * 2014-12-17 2015-04-08 上海大学 基于区域对比度的图像中显著对象的提取方法
CN104778713A (zh) * 2015-04-27 2015-07-15 清华大学深圳研究生院 一种图像处理方法
CN105224914A (zh) * 2015-09-02 2016-01-06 上海大学 一种基于图的无约束视频中显著物体检测方法
CN105488812A (zh) * 2015-11-24 2016-04-13 江南大学 一种融合运动特征的时空显著性检测方法
CN113225586A (zh) * 2020-02-05 2021-08-06 字节跳动有限公司 视频处理方法、装置、电子设备及存储介质
CN114640850A (zh) * 2022-02-28 2022-06-17 上海顺久电子科技有限公司 视频图像的运动估计方法、显示设备和芯片

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621636A (zh) * 2008-06-30 2010-01-06 北京大学 基于视觉注意力模型的广告标志插入和变换方法及系统
CN101765018A (zh) * 2008-12-25 2010-06-30 中国移动通信集团公司 色深变换、传输色深变换后图像的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621636A (zh) * 2008-06-30 2010-01-06 北京大学 基于视觉注意力模型的广告标志插入和变换方法及系统
CN101765018A (zh) * 2008-12-25 2010-06-30 中国移动通信集团公司 色深变换、传输色深变换后图像的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDRES BRUHN ET AL: "real time optic flow comutation with variational methods", 《CAIP 2003 LNCS》, vol. 2756, 31 December 2003 (2003-12-31) *
MING-MING CHENG ET AL: "Global Contrast based Salient Region Detection", 《2011 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 25 June 2011 (2011-06-25), pages 409 - 416 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021220A (zh) * 2014-06-24 2014-09-03 中国科学院深圳先进技术研究院 基于显著性模型的图像检索方法
CN104021220B (zh) * 2014-06-24 2017-09-05 中国科学院深圳先进技术研究院 基于显著性模型的图像检索方法
CN104504692A (zh) * 2014-12-17 2015-04-08 上海大学 基于区域对比度的图像中显著对象的提取方法
CN104504692B (zh) * 2014-12-17 2017-06-23 上海大学 基于区域对比度的图像中显著对象的提取方法
CN104778713A (zh) * 2015-04-27 2015-07-15 清华大学深圳研究生院 一种图像处理方法
CN104778713B (zh) * 2015-04-27 2017-07-07 清华大学深圳研究生院 一种图像处理方法
CN105224914A (zh) * 2015-09-02 2016-01-06 上海大学 一种基于图的无约束视频中显著物体检测方法
CN105224914B (zh) * 2015-09-02 2018-10-23 上海大学 一种基于图的无约束视频中显著物体检测方法
CN105488812A (zh) * 2015-11-24 2016-04-13 江南大学 一种融合运动特征的时空显著性检测方法
CN113225586A (zh) * 2020-02-05 2021-08-06 字节跳动有限公司 视频处理方法、装置、电子设备及存储介质
CN113225586B (zh) * 2020-02-05 2023-03-10 字节跳动有限公司 视频处理方法、装置、电子设备及存储介质
CN114640850A (zh) * 2022-02-28 2022-06-17 上海顺久电子科技有限公司 视频图像的运动估计方法、显示设备和芯片

Also Published As

Publication number Publication date
CN103208125B (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
CN103208125A (zh) 视频帧图像中颜色和运动全局对比度的视觉显著性算法
CN110717527B (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
Changzhen et al. A traffic sign detection algorithm based on deep convolutional neural network
CN111242127B (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
Peng et al. A hybrid approach to estimate the complex motions of clouds in sky images
TWI667621B (zh) 人臉辨識方法
CN107844785A (zh) 一种基于尺度估计的人脸检测方法
US11367195B2 (en) Image segmentation method, image segmentation apparatus, image segmentation device
CN103530619A (zh) 基于rgb-d数据构成的少量训练样本的手势识别方法
CN103530638A (zh) 多摄像头下的行人匹配方法
Lin et al. Foreground detection in surveillance video with fully convolutional semantic network
CN112528913A (zh) 一种基于图像的砂石颗粒物粒径检测分析系统
CN102034267A (zh) 基于关注度的目标物三维重建方法
Xu et al. Dynamic obstacle detection based on panoramic vision in the moving state of agricultural machineries
CN103955888A (zh) 一种基于sift的高清视频图像拼接方法及装置
CN103778436A (zh) 一种基于图像处理的行人姿态检测方法
CN109753985A (zh) 视频分类方法及装置
Singh et al. Learning to Predict Video Saliency using Temporal Superpixels.
Zhu et al. Anomaly detection via 3D-HOF and fast double sparse representation
CN101815225A (zh) 生成深度图的方法及其设备
Dong et al. Adaptive Object Detection and Visibility Improvement in Foggy Image.
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN103530879B (zh) 特定场景下的行人颜色提取方法
CN114119670A (zh) 一种基于智能手机获取河流视频的流速测量方法
Morar et al. Time-consistent segmentation of indoor depth video frames

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151209

CF01 Termination of patent right due to non-payment of annual fee