CN110933446B - 一种感兴趣区域的识别方法、系统及设备 - Google Patents
一种感兴趣区域的识别方法、系统及设备 Download PDFInfo
- Publication number
- CN110933446B CN110933446B CN201911120654.7A CN201911120654A CN110933446B CN 110933446 B CN110933446 B CN 110933446B CN 201911120654 A CN201911120654 A CN 201911120654A CN 110933446 B CN110933446 B CN 110933446B
- Authority
- CN
- China
- Prior art keywords
- significance
- value
- image
- saliency
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000002441 reversible effect Effects 0.000 claims abstract description 15
- 108091026890 Coding region Proteins 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 27
- 238000012546 transfer Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 23
- 230000010354 integration Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005315 distribution function Methods 0.000 claims description 12
- 238000005192 partition Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000012804 iterative process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005530 etching Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种感兴趣区域的识别方法、系统及设备，其中，所述方法包括：根据待分析视频中的当前帧和所述待分析视频的编码顺序，在所述待分析视频中获取当前图像集；按照与编码顺序相反的逆顺序，依次将所述当前图像集中的各个视频帧的显著性值反向传递至对应的参考帧中，以更新所述当前图像集中各个视频帧的显著性图像；根据所述当前帧更新后的显著性图像生成标记显著图像和模板显著图像，并基于所述标记显著图像和所述模板显著图像对所述当前帧更新后的显著性图像进行重建，以根据重建后的显著性图像识别所述当前帧中的感兴趣区域。本申请提供的技术方案，能够提高感兴趣区域的识别精度。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种感兴趣区域的识别方法、系统及设备。
背景技术
随着视频往高清化方向的不断发展，传输高清视频所需的带宽也越来越大。考虑到带宽的成本，当前在对高清视频进行编码时，通常会为视频帧中不同的区域分配不同的码率，这样可以在保证总码率不变的情况下，尽可能将重点区域的清晰度提高。
为了实现上述的方案，在对视频进行编码时，需要识别出各个视频帧中人眼感兴趣的区域，然后针对人眼感兴趣的区域可以分配较多的码率，而对于其它部分的区域则可以分配较少的码率。目前，在识别感兴趣区域时，通常是将视频帧转换为对应的二值图，然后根据二值图中像素点的赋值来识别感兴趣区域。然而，这种方式识别出的感兴趣区域通常不够准确，而且感兴趣区域在相邻帧之间还可能存在突变。因此，目前亟需一种更加准确的感兴趣区域的识别方法。
发明内容
本申请的目的在于提供一种感兴趣区域的识别方法、系统及设备，能够提高感兴趣区域的识别精度。
为实现上述目的，本申请一方面提供一种感兴趣区域的识别方法，待分析视频中的各个视频帧具备各自对应的显著性图像；所述方法包括：根据所述待分析视频中的当前帧和所述待分析视频的编码顺序，在所述待分析视频中获取当前图像集，所述当前图像集中包括所述当前帧以及在编码顺序上位于所述当前帧之后的指定数量的视频帧；按照与所述编码顺序相反的逆顺序，依次将所述当前图像集中的各个视频帧的显著性值反向传递至对应的参考帧中，以更新所述当前图像集中各个视频帧的显著性图像；根据所述当前帧更新后的显著性图像生成标记显著图像和模板显著图像，并基于所述标记显著图像和所述模板显著图像对所述当前帧更新后的显著性图像进行重建，以根据重建后的显著性图像识别所述当前帧中的感兴趣区域。
为实现上述目的，本申请另一方面还提供一种感兴趣区域的识别系统，待分析视频中的各个视频帧具备各自对应的显著性图像；所述系统包括：当前图像集获取单元，用于根据所述待分析视频中的当前帧和所述待分析视频的编码顺序，在所述待分析视频中获取当前图像集，所述当前图像集中包括所述当前帧以及在编码顺序上位于所述当前帧之后的指定数量的视频帧；显著性值传递单元，用于按照与所述编码顺序相反的逆顺序，依次将所述当前图像集中的各个视频帧的显著性值反向传递至对应的参考帧中，以更新所述当前图像集中各个视频帧的显著性图像；区域识别单元，用于根据所述当前帧更新后的显著性图像生成标记显著图像和模板显著图像，并基于所述标记显著图像和所述模板显著图像对所述当前帧更新后的显著性图像进行重建，以根据重建后的显著性图像识别所述当前帧中的感兴趣区域。
为实现上述目的，本申请另一方面还提供一种感兴趣区域的识别设备，所述设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的感兴趣区域的识别方法。
由上可见，本申请一个或者多个实施方式提供的技术方案，在从当前帧中识别感兴趣区域时，可以结合在编码顺序上位于当前帧之后的多个视频帧一起分析。具体地，可以按照与编码顺序相反的顺序，从最后一个视频帧开始，依次向前反向传递显著性值。这样，对于时间上相邻的视频帧，如果相同位置处出现显著性值突变的情况，能够通过反向传递显著性值的方式减缓或者消除这种显著性值突变的情况，最终使得从相邻帧中识别出的感兴趣区域不会存在明显的突变。在反向传递显著性值之后，可以根据当前帧更新后的显著性图像，生成标记显著图像和模板显著图像。其中，标记显著图像和模板显著图像可以用于测地膨胀算法中，从而生成当前帧重建后的显著性图像。在该重建后的显著性图像中，可以避免由于局部区域的显著性值较高，而误将该局部区域识别为感兴趣区域的情况，使得根据重建后的显著性图像识别出的感兴趣区域更加精确。
附图说明
为了更清楚地说明本发明实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施方式中感兴趣区域的识别方法步骤图；
图2是本发明实施方式中显著性图像的重建示意图；
图3是本发明实施方式中感兴趣区域的识别系统的功能模块示意图；
图4是本发明实施方式中感兴趣区域的识别设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
本申请一个实施方式提供一种感兴趣区域的识别方法，该方法可以用于从待分析视频中的各个视频帧中识别感兴趣区域。在实际应用中，可以将待分析视频中的各个视频帧转换为对应的显著性图像。该显著性图像可以是宽(Width，W)和高(Height，H)与视频帧保持一致的图像，该显著性图像可以是一个灰度图像，并且在该显著性图像中，每个像素点的像素值可以位于[0，1]的区间内，该像素值便可以作为视频帧中对应像素点的显著性值。该像素值越大，则表示视频帧中对应像素点的显著性越大。具体地，可以按照视觉显著性检测算法，对待分析视频中的各个视频帧进行处理，从而得到各个视频帧的显著性图像。在本实施方式中，显著性图像中各个像素点的显著性值可以通过S(i,j)来表示，由上可见，S(i,j)可以满足以下条件：
0≤S(i,j)≤1,0≤i＜W,0≤j＜H
其中，W表示显著性图像的宽，H表示显著性图像的高。
后续，可以对各个视频帧以及视频帧对应的显著性图像进行分析，从而在各个视频帧中识别出感兴趣区域。
在一个实施方式中，如图1所示，上述的感兴趣区域的识别方法可以包括以下步骤。
S1：根据所述待分析视频中的当前帧和所述待分析视频的编码顺序，在所述待分析视频中获取当前图像集，所述当前图像集中包括所述当前帧以及在编码顺序上位于所述当前帧之后的指定数量的视频帧。
在本实施方式中，可以将待分析视频中的各个视频帧以及各个视频帧对应的显著性图像作为输入数据进行处理。具体地，当前正在识别感兴趣区域的视频帧可以作为当前帧，为了准确地从当前帧中识别出感兴趣区域，可以结合在编码顺序上位于当前帧之后的多个视频帧一起进行分析。例如，可以按照预先配置的指定数量N，将当前帧以及在编码顺序上位于当前帧之后的N个视频帧，作为从待分析视频中获取的当前图像集。该当前图像集中的各个视频帧可以按照编码顺序进行编号，具体地，可以记为：
P0,P1…PN
其中，P0可以是当前帧，PN可以是当前图像集中在编码顺序上的最后一帧。
在本实施方式中，当前图像集中的第t个视频帧的显著性图像可以记为St(i,j)，这样，St(i,j)与Pt便可以具备对应关系。
S3：按照与所述编码顺序相反的逆顺序，依次将所述当前图像集中的各个视频帧的显著性值反向传递至对应的参考帧中，以更新所述当前图像集中各个视频帧的显著性图像。
在本实施方式中，考虑到编码时间上相邻的视频帧在相同位置处的画面可能存在显著性值突变的情况，这种情况会导致识别出的感兴趣区域也会发生突变，为了消除这种情况的影响，可以采用反向传递显著性值的方式，以使得相邻视频帧之间相同位置处的画面的显著性值比较连贯。
具体地，针对当前帧中的各个视频帧，可以按照编码基本单元进行划分，从而将每个视频帧划分为若干个编码基本单元。在实际应用中，编码基本单元可以是大小相同的矩形，并且根据不同的编码方式，编码基本单元的尺寸也可以不同。例如，对于H.264编码器而言，编码基本单元可以是16*16的宏块。而对于HEVC编码器而言，编码基本单元可以是该编码器所允许的最小HEVC编码单元，该最小HEVC编码单元的典型大小可以是8*8。其中，编码基本单元的宽和高可以分别记为Wbu和Hbu。
在本实施方式中，在将各个视频帧按照编码基本单元进行划分后，每个编码基本单元在编码过程中还可以进一步划分为多个分块。具体地，按照编码顺序，可以为当前图像集中的各个视频帧，以编码基本单元为单位，进行编码模式的选择。其中，编码模式可以包括帧间预测模式和帧内预测模式。帧内预测模式可以包括帧内分块的划分、帧内预测方向等信息，帧间预测模式可以包括帧间分块的划分，分块的参考帧的选择以及分块的运动矢量等信息。
当然，在实际应用中，为了减低编码的计算量，可以适当简化编码模式的选择过程。例如，在进行帧间运动搜索时，可以只使用整像素精度。又例如，在进行帧内预测时，可以只使用水平、竖直、45度等方向，而不进行熵编码，也不进行量化等操作。
在本实施方式中，可以记录视频帧中各个编码基本单元的最优预测模式。最优预测模式是帧间预测还是帧内预测，可以根据不同预测模式中，原始值和预测值之间的差距，以及需要记录的额外信息的多少来决定。如果某个预测模式下，编码基本单元中分块的原始值与预测值越接近，以及需要记录的信息量越少，那么该预测模式便可以作为最优的预测模式。最终，通过分别对帧间预测模式和帧内预测模式进行检测，从而可以确定出视频帧中各个编码基本单元的最优预测模式。
在本实施方式中，在确定了编码基本单元的最优预测模式后，还可以计算编码基本单元中各个分块的复杂度。该复杂度可以在后续的反向传递显著性值的过程中发挥作用。具体地，分块的复杂度可以是该分块的绝对变换误差和(Sumof Absolute TransformedDifference，SATD)，在计算SATD值时，可以先获取分块的原始像素值和经过最优预测模式预测得到的预测像素值。需要说明的是，原始像素值和预测像素值均可以是像素矩阵，并不局限于一个具体的像素值。然后，可以将原始像素值和预测像素值相减，并对相减后的结果进行hadamard变换，得到变换像素矩阵。最终，将该变换像素矩阵中的各个元素的绝对值求和，便可以得到分块的SATD值，该SATD值便可以作为分块的复杂度。
在本实施方式中，在计算出各个分块的复杂度后，便可以进行反向传递显著性值的过程。具体地，首先可以确定反向传递显著性值的顺序，该顺序可以是与编码顺序相反的逆顺序。例如，编码顺序是从P0到PN，那么反向传递显著性值的顺序便可以是从PN到P0。下面以第一个进行反向传递的视频帧PN为例，来阐述反向传递的具体过程。
首先，可以针对该视频帧中编码基本单元内的各个分块都进行相同的操作。遍历视频帧中的各个编码基本单元，并针对当前的编码基本单元中的任一分块，可以先识别该分块采用的最优预测模式。该分块采用的最优预测模式，可以与该分块所属的编码基本单元的最优预测模式保持一致。如果该最优预测模式为帧内预测模式，可以不对该分块进行处理，直接跳转至下一个分块。而如果该最优预测模式为帧间预测模式，那么可以根据帧间预测模式记录的各项信息，在该视频帧的参考帧中，查找到与该分块对应的参考块。该参考帧可以是当前图像集中位于视频帧PN之前的视频帧。这样，根据视频帧PN中该分块的复杂度，可以将该分块中各个像素点的显著性值传递至参考块中，从而更新参考块中各个像素点的显著性值。通过对视频帧PN中的各个分块经过上述的处理，最终便可以对视频帧PN的参考帧中各个像素点的显著性值进行更新，从而得到该参考帧更新后的显著性图像。
在一个实施方式中，在反向传递分块中各个像素点的显著性值时，可以先根据该分块的复杂度确定传递系数，并将传递系数与分块中像素点的显著性值的乘积作为待传递的显著性值。该传递系数可以通过将分块的复杂度代入预先设置的传递函数中得到。考虑到在反向传递显著性值时，传递给参考块的显著性值不应该超过分块本身的显著性值，因此该传递函数可以是一个计算结果在[0，1]区间内的函数。此外，考虑到如果分块的复杂度比较大，则意味着分块与参考块之间的相似程度比较低，这时候为了不过分影响参考块的真实性，向参考块传递的显著性值也应当比较小。鉴于此，该传递函数应当是关于复杂度的递减函数。综上，预先设置的传递函数φ(x)应当满足以下条件：
(1)0≤φ(x)≤1
(2)对于任意的0≤a＜b，满足φ(a)≥φ(b)
在本实施方式中，将分块的复杂度代入上述的传递函数，便可以得到传递系数，将该传递系数与分块中像素点的显著性值相乘后，便可以得到待传递的显著性值。然后，可以将待传递的显著性值与参考块中对应像素点的目标显著性值进行对比，若待传递的显著性值大于目标显著性值，则可以利用待传递的显著性值替换该目标显著性值，从而更新参考块中对应像素点的显著性值。而如果待传递的显著性值小于或者等于目标显著性值，则可以保持目标显著性值不变。按照这种方式，可以将参考块中较小的显著性值替换为分块中对应像素点的待传递的显著性值，而对于参考块中较大的显著性值可以保持不变，从而可以减少分块与参考块的显著性突变。
以上只是以视频帧PN为例阐述了反向传递显著性值的过程，本领域人员应当知晓，针对当前图像集中的任一目标视频帧，均可以采用上述的方式进行反向传递显著性值，最终可以将当前帧的显著性图像进行更新。
S5：根据所述当前帧更新后的显著性图像生成标记显著图像和模板显著图像，并基于所述标记显著图像和所述模板显著图像对所述当前帧更新后的显著性图像进行重建，以根据重建后的显著性图像识别所述当前帧中的感兴趣区域。
在本实施方式中，在得到当前帧更新后的显著性图像后，为了消除由于局部区域的显著性值较高，而误将该局部区域识别为感兴趣区域的情况，可以对更新后的显著性图像进行形态学腐蚀和重建，从而得到重建后的显著性图像。
请参阅图2，首先可以对更新后的显著性图像进行下采样，从而简化计算的复杂度。具体地，下采样的过程可以是将更新后的显著性图像中的一个编码基本单元用一个像素点来表示，从而将各个编码基本单元缩略为一个个的像素点，下采样后的图像可以作为当前帧的缩略显著图像。
在本实施方式中，在将编码基本单元缩略为一个像素点时，需要为该像素点赋予显著性值。具体地，可以确定当前帧更新后的显著性图像中各个编码基本单元的代表显著性值，并将该代表显著性值作为缩略后的像素点的显著性值。根据应用场景和精度的不同，可以灵活地确定上述的代表显著性值。例如，在一个实施方式中，针对当前的编码基本单元，可以将所述当前的编码基本单元中最大的显著性值作为代表显著性值。又例如，在另一个实施方式中，针对当前的编码基本单元，可以读取所述当前的编码基本单元中各个像素点的显著性值，并对各个所述像素点的显著性值进行均值滤波或者中值滤波处理，并将处理后的结果作为代表显著性值。按照第一个例子的方式来确定代表显著性值，可以使得最终结果中，能够包含更多可能的感兴趣区域，但是这种方式会导致以偏概全的情况，如果某个编码基本单元中，只有极少数的几个像素点的显著性值较大，而大部分的像素点的显著性值较小，按照第一个例子的方式会导致确定的代表显著性值并不准确。而按照第二个例子的方式，确定的代表显著性值则可以准确许多，当然，这种方式付出的计算量也会相对较多。在实际应用中，可以按照以下公式来对各个像素点的显著性值进行均值滤波：
其中，S'(x,y)可以表示缩略显著图像，Wbu和Hbu可以分别表示编码基本单元的宽和高。
在本实施方式中，在得到缩略显著图像后，可以根据该缩略显著图像和预设的多个分位数阈值，生成标记显著图像和模板显著图像。在实际应用中，可以按照图像直方图的计算方法，计算缩略显著图像的直方图分布函数h(x)，然后可以按照预先设定的第一分位数阈值F1和第二分位数阈值F2分别对该直方图分布函数进行处理，从而得到第一分位数阈值对应的第一显著性阈值TF1，以及得到第二分位数阈值对应的第二显著性阈值TF2。具体地，可以按照以下公式来分别确定第一显著性阈值和第二显著性阈值：
上述公式中的t可以是大于或者等于0并且小于1的变量，选用的t，便相当于选用不同的积分区间，这样，通过选用不同的积分区间对所述直方图分布函数进行积分运算，并可以筛选出运算结果大于或者等于所述第一分位数阈值的积分区间。在这些不同的积分区间中，可以具备相同的区间上限值，该区间上限值可以是1，同时，这些积分区间的区间下限值由t决定，因此筛选出的这些不同的积分区间可以具备不同的区间下限值。最终，可以将筛选出的积分区间中最大的区间下限值作为第一显著性阈值。同理，可以选用不同的积分区间对所述直方图分布函数进行积分运算，并筛选出运算结果大于或者等于所述第二分位数阈值的积分区间，然后，可以将筛选出的积分区间中最大的区间下限值作为第二显著性阈值。
在本实施方式中，在按照以上方式确定出第一显著性阈值和第二显著性阈值后，可以利用所述第一显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理，从而生成标记显著图像SS，以及可以利用所述第二显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理，从而生成模板显著图像SM。
具体地，在利用第一显著性阈值进行归零处理时，可以遍历所述缩略显著图像中各个像素点的显著性值，并将显著性值小于所述第一显著性阈值的像素点的显著性值置为零，以及将显著性值大于或者等于所述第一显著性阈值的像素点的显著性值保持不变。这样，生成的图像便可以是标记显著图像。同样地，在利用第二显著性阈值进行归零处理时，可以遍历所述缩略显著图像中各个像素点的显著性值，并将显著性值小于所述第二显著性阈值的像素点的显著性值置为零，以及将显著性值大于或者等于所述第二显著性阈值的像素点的显著性值保持不变。这样，生成的图像便可以是模板显著图像。
上述的归零处理，可以通过以下公式来表示：
需要说明的是，在一个实施方式中，在确定第一显著性阈值时，可以设置一个下限值，如果按照上述方式确定出的第一显著性阈值小于该下限值，可以直接将第一显著性阈值设置为该下限值。同样地，在确定第二显著性阈值时，也可以设置对应的一个下限值。这样处理的原因在于，如果确定出的第一显著性阈值和第二显著性阈值过小，那么在进行归零处理后，标记显著图像和模板显著图像中部分区域的显著性值过小。而这部分较小的显著性值由于不是零，因此后续可能会被识别为感兴趣区域，这样就会导致感兴趣区域的识别不够精确。当然，在设置下限值时，可能会导致标记显著图像和模板显著图像中出现显著性值全部归零的情况。在这种情况下，后续可以不进行感兴趣区域的识别过程，而是直接对当前帧进行普通的编码，不用区分感兴趣区域和非感兴趣区域。
在本实施方式中，生成了标记显著图像和模板显著图像后，为了防止某些显著性值比较高的小区域被误判为感兴趣区域，可以先对标记显著图像进行形态学腐蚀。具体地，在进行形态学腐蚀时，可以选用腐蚀操作的结构元。该结构元的大小，可以略大于最小的感兴趣区域的尺寸。在实际应用中，可以选用各向同性的平坦结构元SE。在通过该平坦结构元SE对标记显著图像进行腐蚀操作时，针对所述标记显著图像中任一像素点，可以在所述标记显著图像中确定包含所述像素点的结构元，并将所述结构元中的最小显著性值作为所述像素点的显著性值。通过对标记显著图像中的各个像素点进行相同的处理，便可以生成腐蚀后的标记显著图像。在一个应用场景中，该过程可以通过以下公式进行表示：
SDS(x,y)＝min{SS(x+p,y+q)|(p,q)∈SE}
其中，SDS(x,y)表示腐蚀后的标记显著图像，(x,y)表示标记显著图像中像素点的坐标值，(p,q)表示结构元中以结构元的原点为坐标原点时像素点的坐标值。
由上可见，经过归零处理后，标记显著图像中可以包含大量的全零区域，然后在经过腐蚀操作后，针对小于结构元尺寸的局部区域，如果该局部区域内显著性值较高，那么该局部区域内的显著性值都可以被降为零，从而避免了显著性值较高的局部区域对后续感兴趣区域识别的影响。
在本实施方式中，在得到腐蚀后的标记显著图像后，便可以根据所述腐蚀后的标记显著图像和所述模板显著图像进行测地膨胀处理，从而得到所述当前帧重建后的显著性图像。具体地，可以将腐蚀后的标记显著图像作为标记图，并将模板显著图像作为模板图，采用测地膨胀算法进行形态学重建。重建的目的有两个，一个目的是需要对标记显著图像中部分显著性较高的区域经过膨胀处理进行还原，另一个目的是将区域较小的标记显著图像向区域较大的模板显著图像的方向进行区域生成，从而获取最终的感兴趣区域。
在实际应用中，重建过程是一个迭代过程，在迭代过程中，同样可以选用各向同性的平坦结构元SE，对于迭代过程中的初始值，可以按照以下公式进行计算：
其中，
表示重建后的显著性图像中像素点的第一次迭代显著性值。可见，在确定该第一迭代显著性值时，针对所述腐蚀后的标记显著图像中位于目标位置处的第一像素点，在所述腐蚀后的标记显著图像中确定包含所述第一像素点的结构元中的最大显著性值，然后在所述模板显著图像中确定位于所述目标位置处的第二像素点的显著性值。其中，包含所述第一像素点的结构元中的最大显著性值可以通过max{SDS(x+p,y+q)|(p,q)∈SE}来表示，第二像素点的显著性值可以通过SM(x,y)来表示。然后，可以比较所述最大显著性值和所述第二像素点的显著性值，并将较小者作为所述目标像素点的第一次迭代显著性值。
在计算得到第一次迭代显著性值后，便可以基于该第一次迭代显著性值进行后续的迭代过程。具体地，第k次迭代显著性值可以按照以下公式确定：
其中，
为重建后的显著性图像中像素点的第k次迭代显著性值，k为大于1的整数。可见，在确定第k次迭代显著性值时，可以在重建后的显著性图像中确定包含所述目标像素点的目标结构元，在所述目标结构元中，所述目标像素点当前的显著性值为第k-1次迭代显著性值。然后，可以在所述目标结构元中确定最大显著性值，并将所述目标结构元中的最大显著性值与所述第二像素点的显著性值进行比较，并将较小者作为所述目标像素点的第k次迭代显著性值。
在本实施方式中，在按照以上方式进行迭代运算时，可以设置迭代运算的停止条件。当满足迭代运算的停止条件时，便可以停止迭代过程，将得到的结果作为最终的重建后的显著性图像。具体地，迭代运算的停止条件也可以多种多样，例如，对于某个大于或者等于2的自然数N，若第N次迭代得到的重建后的显著性图像与第N-1次迭代得到的重建后的显著性图像保持一致，则表示迭代过程已经收敛，此时可以停止迭代过程，并将第N次迭代得到的重建后的显著性图像作为最终的重建后的显著性图像。
又例如，可以根据当前候选的感兴趣区域的复杂度在整个视频帧的复杂度中的占比情况，来提前终止迭代过程。具体地，对于大于或者等于1的自然数M，在第M次迭代后，可以计算所述当前帧中候选感兴趣区域的复杂度与所述当前帧的复杂度的比值，若该比值大于或者等于指定阈值，则可以将第M次迭代得到的重建后的显著性图像作为最终的重建后的显著性图像。该迭代过程的停止条件可以通过以下公式来表示：
其中，i表示第i个编码基本单元，Fi表示第i个编码基本单元的复杂度，NBU表示当前帧中编码基本单元的总数量，δ表示所述指定阈值，SR表示在按照当前步骤停止迭代后，识别出的候选感兴趣区域，W'表示缩略显著图像的宽，i％W'表示取余运算，
表示向下取整运算，“！＝”表示不等于运算。
在本实施方式中，在得到重建后的显著性图像后，可以将所述重建后的显著性图像中具备非零显著性值的像素点作为感兴趣的像素点。需要注意的是，由于重建后的显著性图像是基于缩略显著图像处理得到的，因此一个感兴趣的像素点，其实等同于当前帧中一个编码基本单元。为了得到当前帧中的感兴趣区域，可以将各个所述感兴趣的像素点还原为所述当前帧中的编码基本单元，并将还原得到的编码基本单元的组合作为从所述当前帧中识别出的感兴趣区域。可见，本实施方式中在识别感兴趣区域时，是以编码基本单元为单位来识别的，最终编码基本单元的组合可能是一个不规则的形状。而现有技术中在识别感兴趣区域时，通常是限定一个矩形区域，并将该矩形区域作为感兴趣区域。但显然，在该矩形区域中，有一小部分的区域其实并非是人眼关注的区域，因此按照矩形区域识别出的感兴趣区域依然比较粗糙。而以编码基本单元为单位来识别感兴趣区域，可以更加精细地确定感兴趣区域的覆盖范围，使得识别精度更高。
在实际应用场景中，对于上述过程的一些步骤，还可以进行优化处理。例如，前述步骤得到的感兴趣区域，区域内的各个编码基本单元的显著性值可能是各不相同的。在实际实施过程中，可以对获得的感兴趣区域内编码基本单元的显著性值进行调整，从而生成每个编码基本单元的最终显著性值。
在一个实施方式中，还可以使用低通滤波器模板，对于感兴趣区域的显著性值进行低通滤波，使得感兴趣区域内空间位置相近的编码基本单元的显著性值过渡更为平滑，从而使得后续的编码参数调整更为有效。在这种实施方式中，同一个感兴趣区域内的不同编码基本单元，其最终显著性不一定相同，因此在编码过程中可以使得它们之间的码率分布偏向也不同。
在另一种实施方式中，可以将感兴趣区域内的所有编码基本单元的显著性值设置为相同的值，比如设置为预设的值，或者设置为感兴趣区域内所有编码基本单元显著性值的平均值。对于这种实施方式，感兴趣区域内所有编码基本单元最终显著性值都相同，可以在编码的码率分配过程中，对感兴趣区域内部无差别地对待。
当然，具体采用何种优化方式，可以根据实际应用场景和运算需求灵活选择，本申请对此并不做限定。
请参阅图3，本申请还提供一种感兴趣区域的识别系统，待分析视频中的各个视频帧具备各自对应的显著性图像；所述系统包括：
当前图像集获取单元，用于根据所述待分析视频中的当前帧和所述待分析视频的编码顺序，在所述待分析视频中获取当前图像集，所述当前图像集中包括所述当前帧以及在编码顺序上位于所述当前帧之后的指定数量的视频帧；
显著性值传递单元，用于按照与所述编码顺序相反的逆顺序，依次将所述当前图像集中的各个视频帧的显著性值反向传递至对应的参考帧中，以更新所述当前图像集中各个视频帧的显著性图像；
区域识别单元，用于根据所述当前帧更新后的显著性图像生成标记显著图像和模板显著图像，并基于所述标记显著图像和所述模板显著图像对所述当前帧更新后的显著性图像进行重建，以根据重建后的显著性图像识别所述当前帧中的感兴趣区域。
在一个实施方式中，所述显著性值传递单元包括：
编码基本单元配置模块，用于将所述当前图像集中的各个视频帧按照编码基本单元进行划分，并为划分得到的各个编码基本单元确定最优预测模式以及分别计算所述编码基本单元中各个分块的复杂度；
显著性值更新模块，用于针对所述当前图像集中的任一目标视频帧，遍历所述目标视频帧中的各个编码基本单元，并针对当前的编码基本单元中的任一分块，若所述分块采用的最优预测模式为帧间预测模式，在所述目标视频帧的参考帧中查找所述分块对应的参考块，并基于所述分块的复杂度，将所述分块中像素点的显著性值传递给所述参考块，以更新所述参考块中像素点的显著性值。
在一个实施方式中，所述显著性值更新模块包括：
显著性值计算模块，用于根据所述分块的复杂度确定传递系数，并将所述传递系数与所述分块中像素点的显著性值的乘积，作为待传递的显著性值；
参考对比模块，用于将所述待传递的显著性值与所述参考块中对应像素点的目标显著性值进行对比，若所述待传递的显著性值大于所述目标显著性值，利用所述待传递的显著性值替换所述目标显著性值；若所述待传递的显著性值小于或者等于所述目标显著性值，保持所述目标显著性值不变。
在一个实施方式中，所述区域识别单元包括：
缩略模块，用于确定所述当前帧更新后的显著性图像中各个编码基本单元的代表显著性值，并将各个所述编码基本单元缩略为一个像素点，以生成所述当前帧的缩略显著图像，其中，所述编码基本单元的代表显著性值作为缩略后的像素点的显著性值；
阈值计算模块，用于计算所述缩略显著图像的直方图分布函数，并根据所述直方图分布函数和第一分位数阈值、第二分位数阈值，计算所述第一分位数阈值和所述第二分位数阈值分别对应的第一显著性阈值和第二显著性阈值；
归零处理模块，用于利用所述第一显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理，生成标记显著图像，以及利用所述第二显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理，生成模板显著图像。
在一个实施方式中，所述归零处理模块包括：
第一对比模块，用于遍历所述缩略显著图像中各个像素点的显著性值，并将显著性值小于所述第一显著性阈值的像素点的显著性值置为零，以及将显著性值大于或者等于所述第一显著性阈值的像素点的显著性值保持不变；
第二对比模块，用于遍历所述缩略显著图像中各个像素点的显著性值，并将显著性值小于所述第二显著性阈值的像素点的显著性值置为零，以及将显著性值大于或者等于所述第二显著性阈值的像素点的显著性值保持不变。
在一个实施方式中，所述区域识别单元包括：
结构元腐蚀模块，用于针对所述标记显著图像中任一像素点，在所述标记显著图像中确定包含所述像素点的结构元，并将所述结构元中的最小显著性值作为所述像素点的显著性值，以生成腐蚀后的标记显著图像；
测地膨胀处理模块，用于根据所述腐蚀后的标记显著图像和所述模板显著图像进行测地膨胀处理，以得到所述当前帧重建后的显著性图像。
请参阅图4，本申请一个实施方式还提供一种感兴趣区域的识别设备，所述设备包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，可以实现上述的感兴趣区域的识别方法。
在本实施方式中，所述存储器可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。本实施方式所述的存储器又可以包括：利用电能方式存储信息的装置，如RAM或ROM等；利用磁能方式存储信息的装置，如硬盘、软盘、磁带、磁芯存储器、磁泡存储器或U盘；利用光学方式存储信息的装置，如CD或DVD。当然，还有其他方式的存储器，例如量子存储器或石墨烯存储器等等。
在本实施方式中，所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
由上可见，本申请一个或者多个实施方式提供的技术方案，在从当前帧中识别感兴趣区域时，可以结合在编码顺序上位于当前帧之后的多个视频帧一起分析。具体地，可以按照与编码顺序相反的顺序，从最后一个视频帧开始，依次向前反向传递显著性值。这样，对于时间上相邻的视频帧，如果相同位置处出现显著性值突变的情况，能够通过反向传递显著性值的方式减缓或者消除这种显著性值突变的情况，最终使得从相邻帧中识别出的感兴趣区域不会存在明显的突变。在反向传递显著性值之后，可以根据当前帧更新后的显著性图像，生成标记显著图像和模板显著图像。其中，标记显著图像和模板显著图像可以用于测地膨胀算法中，从而生成当前帧重建后的显著性图像。在该重建后的显著性图像中，可以避免由于局部区域的显著性值较高，而误将该局部区域识别为感兴趣区域的情况，使得根据重建后的显著性图像识别出的感兴趣区域更加精确。
本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，针对系统和设备的实施方式来说，均可以参照前述方法的实施方式的介绍对照解释。
本领域内的技术人员应明白，本发明的实施方式可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施方式而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (20)
1.一种感兴趣区域的识别方法，其特征在于，待分析视频中的各个视频帧具备各自对应的显著性图像；所述方法包括：
根据所述待分析视频中的当前帧和所述待分析视频的编码顺序，在所述待分析视频中获取当前图像集，所述当前图像集中包括所述当前帧以及在编码顺序上位于所述当前帧之后的指定数量的视频帧；
按照与所述编码顺序相反的逆顺序，依次将所述当前图像集中的各个视频帧的显著性值反向传递至对应的参考帧中，以更新所述当前图像集中各个参考帧的显著性图像；其中，参考帧为所述当前图像集中位于对应的视频帧之前的视频帧；
根据所述当前帧更新后的显著性图像生成标记显著图像和模板显著图像，并基于所述标记显著图像和所述模板显著图像对所述当前帧更新后的显著性图像进行重建，以根据重建后的显著性图像识别所述当前帧中的感兴趣区域。
2.根据权利要求1所述的方法，其特征在于，更新所述当前图像集中各个参考帧的显著性图像包括：
将所述当前图像集中的各个视频帧按照编码基本单元进行划分，并为划分得到的各个编码基本单元确定最优预测模式以及分别计算所述编码基本单元中各个分块的复杂度；
针对所述当前图像集中的任一视频帧，遍历所述视频帧中的各个编码基本单元，并针对当前的编码基本单元中的任一分块，若所述分块采用的最优预测模式为帧间预测模式，在所述视频帧的参考帧中查找所述分块对应的参考块，并基于所述分块的复杂度，将所述分块中像素点的显著性值传递给所述参考块，以更新所述参考块中像素点的显著性值。
3.根据权利要求2所述的方法，其特征在于，分别计算所述编码基本单元中各个分块的复杂度包括：
针对所述编码基本单元中的任一分块，按照所述最优预测模式确定所述分块的预测像素值，并根据所述分块的原始像素值和所述预测像素值计算绝对变换误差和，并将所述绝对变换误差和作为所述分块的复杂度。
4.根据权利要求2所述的方法，其特征在于，基于所述分块的复杂度，将所述分块中像素点的显著性值传递给所述参考块包括：
根据所述分块的复杂度确定传递系数，并将所述传递系数与所述分块中像素点的显著性值的乘积，作为待传递的显著性值；
将所述待传递的显著性值与所述参考块中对应像素点的目标显著性值进行对比，若所述待传递的显著性值大于所述目标显著性值，利用所述待传递的显著性值替换所述目标显著性值；若所述待传递的显著性值小于或者等于所述目标显著性值，保持所述目标显著性值不变。
5.根据权利要求1所述的方法，其特征在于，根据所述当前帧更新后的显著性图像生成标记显著图像和模板显著图像包括：
确定所述当前帧更新后的显著性图像中各个编码基本单元的代表显著性值，并将各个所述编码基本单元缩略为一个像素点，以生成所述当前帧的缩略显著图像，其中，所述编码基本单元的代表显著性值作为缩略后的像素点的显著性值；
计算所述缩略显著图像的直方图分布函数，并根据所述直方图分布函数和第一分位数阈值、第二分位数阈值，计算所述第一分位数阈值和所述第二分位数阈值分别对应的第一显著性阈值和第二显著性阈值；
利用所述第一显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理，生成标记显著图像，以及利用所述第二显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理，生成模板显著图像。
6.根据权利要求5所述的方法，其特征在于，确定所述当前帧更新后的显著性图像中各个编码基本单元的代表显著性值包括：
针对当前的编码基本单元，将所述当前的编码基本单元中最大的显著性值作为代表显著性值；
或者
针对当前的编码基本单元，读取所述当前的编码基本单元中各个像素点的显著性值，并对各个所述像素点的显著性值进行均值滤波或者中值滤波处理，并将处理后的结果作为代表显著性值。
7.根据权利要求5所述的方法，其特征在于，计算所述第一分位数阈值对应的第一显著性阈值包括：
选用不同的积分区间对所述直方图分布函数进行积分运算，并筛选出运算结果大于或者等于所述第一分位数阈值的积分区间；其中，各个不同的积分区间具备相同的区间上限值，以及具备不同的区间下限值；
将筛选出的积分区间中最大的区间下限值作为第一显著性阈值。
8.根据权利要求5所述的方法，其特征在于，计算所述第二分位数阈值对应的第二显著性阈值包括：
选用不同的积分区间对所述直方图分布函数进行积分运算，并筛选出运算结果大于或者等于所述第二分位数阈值的积分区间；其中，各个不同的积分区间具备相同的区间上限值，以及具备不同的区间下限值；
将筛选出的积分区间中最大的区间下限值作为第二显著性阈值。
9.根据权利要求5所述的方法，其特征在于，利用所述第一显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理包括：
遍历所述缩略显著图像中各个像素点的显著性值，并将显著性值小于所述第一显著性阈值的像素点的显著性值置为零，以及将显著性值大于或者等于所述第一显著性阈值的像素点的显著性值保持不变；
利用所述第二显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理包括：
遍历所述缩略显著图像中各个像素点的显著性值，并将显著性值小于所述第二显著性阈值的像素点的显著性值置为零，以及将显著性值大于或者等于所述第二显著性阈值的像素点的显著性值保持不变。
10.根据权利要求1所述的方法，其特征在于，基于所述标记显著图像和所述模板显著图像对所述当前帧更新后的显著性图像进行重建包括：
针对所述标记显著图像中任一像素点，在所述标记显著图像中确定包含所述像素点的结构元，并将所述结构元中的最小显著性值作为所述像素点的显著性值，以生成腐蚀后的标记显著图像；
根据所述腐蚀后的标记显著图像和所述模板显著图像进行测地膨胀处理，以得到所述当前帧重建后的显著性图像。
11.根据权利要求10所述的方法，其特征在于，在测地膨胀处理过程中，重建后的显著性图像中任一目标位置处的目标像素点的第一次迭代显著性值按照以下方式确定：
针对所述腐蚀后的标记显著图像中位于所述目标位置处的第一像素点，在所述腐蚀后的标记显著图像中确定包含所述第一像素点的结构元中的最大显著性值，并在所述模板显著图像中确定位于所述目标位置处的第二像素点的显著性值；
比较所述最大显著性值和所述第二像素点的显著性值，并将较小者作为所述目标像素点的第一次迭代显著性值；
所述目标像素点的第k次迭代显著性值按照以下方式确定：
在重建后的显著性图像中确定包含所述目标像素点的目标结构元，在所述目标结构元中，所述目标像素点当前的显著性值为第k-1次迭代显著性值；
在所述目标结构元中确定最大显著性值，并将所述目标结构元中的最大显著性值与所述第二像素点的显著性值进行比较，并将较小者作为所述目标像素点的第k次迭代显著性值；
其中，k为大于或者等于2的整数。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
若第N次迭代得到的重建后的显著性图像与第N-1次迭代得到的重建后的显著性图像保持一致，停止迭代过程，并将第N次迭代得到的重建后的显著性图像作为最终的重建后的显著性图像；
或者
在第M次迭代后，计算所述当前帧中候选感兴趣区域的复杂度与所述当前帧的复杂度的比值，若所述比值大于或者等于指定阈值，将第M次迭代得到的重建后的显著性图像作为最终的重建后的显著性图像；
其中，N为大于或者等于2的整数，M为大于或者等于1的整数。
13.根据权利要求1所述的方法，其特征在于，根据重建后的显著性图像识别所述当前帧中的感兴趣区域包括：
将所述重建后的显著性图像中具备非零显著性值的像素点作为感兴趣的像素点；
将各个所述感兴趣的像素点还原为所述当前帧中的编码基本单元，并将还原得到的编码基本单元的组合作为从所述当前帧中识别出的感兴趣区域。
14.一种感兴趣区域的识别系统，其特征在于，待分析视频中的各个视频帧具备各自对应的显著性图像；所述系统包括：
当前图像集获取单元，用于根据所述待分析视频中的当前帧和所述待分析视频的编码顺序，在所述待分析视频中获取当前图像集，所述当前图像集中包括所述当前帧以及在编码顺序上位于所述当前帧之后的指定数量的视频帧；
显著性值传递单元，用于按照与所述编码顺序相反的逆顺序，依次将所述当前图像集中的各个视频帧的显著性值反向传递至对应的参考帧中，以更新所述当前图像集中各个参考帧的显著性图像；其中，参考帧为所述当前图像集中位于对应的视频帧之前的视频帧；
区域识别单元，用于根据所述当前帧更新后的显著性图像生成标记显著图像和模板显著图像，并基于所述标记显著图像和所述模板显著图像对所述当前帧更新后的显著性图像进行重建，以根据重建后的显著性图像识别所述当前帧中的感兴趣区域。
15.根据权利要求14所述的系统，其特征在于，所述显著性值传递单元包括：
编码基本单元配置模块，用于将所述当前图像集中的各个视频帧按照编码基本单元进行划分，并为划分得到的各个编码基本单元确定最优预测模式以及分别计算所述编码基本单元中各个分块的复杂度；
显著性值更新模块，用于针对所述当前图像集中的任一视频帧，遍历所述视频帧中的各个编码基本单元，并针对当前的编码基本单元中的任一分块，若所述分块采用的最优预测模式为帧间预测模式，在所述视频帧的参考帧中查找所述分块对应的参考块，并基于所述分块的复杂度，将所述分块中像素点的显著性值传递给所述参考块，以更新所述参考块中像素点的显著性值。
16.根据权利要求15所述的系统，其特征在于，所述显著性值更新模块包括：
显著性值计算模块，用于根据所述分块的复杂度确定传递系数，并将所述传递系数与所述分块中像素点的显著性值的乘积，作为待传递的显著性值；
参考对比模块，用于将所述待传递的显著性值与所述参考块中对应像素点的目标显著性值进行对比，若所述待传递的显著性值大于所述目标显著性值，利用所述待传递的显著性值替换所述目标显著性值；若所述待传递的显著性值小于或者等于所述目标显著性值，保持所述目标显著性值不变。
17.根据权利要求14所述的系统，其特征在于，所述区域识别单元包括：
缩略模块，用于确定所述当前帧更新后的显著性图像中各个编码基本单元的代表显著性值，并将各个所述编码基本单元缩略为一个像素点，以生成所述当前帧的缩略显著图像，其中，所述编码基本单元的代表显著性值作为缩略后的像素点的显著性值；
阈值计算模块，用于计算所述缩略显著图像的直方图分布函数，并根据所述直方图分布函数和第一分位数阈值、第二分位数阈值，计算所述第一分位数阈值和所述第二分位数阈值分别对应的第一显著性阈值和第二显著性阈值；
归零处理模块，用于利用所述第一显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理，生成标记显著图像，以及利用所述第二显著性阈值对所述缩略显著图像中各个像素点的显著性值进行归零处理，生成模板显著图像。
18.根据权利要求17所述的系统，其特征在于，所述归零处理模块包括：
第一对比模块，用于遍历所述缩略显著图像中各个像素点的显著性值，并将显著性值小于所述第一显著性阈值的像素点的显著性值置为零，以及将显著性值大于或者等于所述第一显著性阈值的像素点的显著性值保持不变；
第二对比模块，用于遍历所述缩略显著图像中各个像素点的显著性值，并将显著性值小于所述第二显著性阈值的像素点的显著性值置为零，以及将显著性值大于或者等于所述第二显著性阈值的像素点的显著性值保持不变。
19.根据权利要求14所述的系统，其特征在于，所述区域识别单元包括：
结构元腐蚀模块，用于针对所述标记显著图像中任一像素点，在所述标记显著图像中确定包含所述像素点的结构元，并将所述结构元中的最小显著性值作为所述像素点的显著性值，以生成腐蚀后的标记显著图像；
测地膨胀处理模块，用于根据所述腐蚀后的标记显著图像和所述模板显著图像进行测地膨胀处理，以得到所述当前帧重建后的显著性图像。
20.一种感兴趣区域的识别设备，其特征在于，所述设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至13中任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911120654.7A CN110933446B (zh) | 2019-11-15 | 2019-11-15 | 一种感兴趣区域的识别方法、系统及设备 |
| PCT/CN2019/123709 WO2021093059A1 (zh) | 2019-11-15 | 2019-12-06 | 一种感兴趣区域的识别方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911120654.7A CN110933446B (zh) | 2019-11-15 | 2019-11-15 | 一种感兴趣区域的识别方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110933446A CN110933446A (zh) | 2020-03-27 |
| CN110933446B true CN110933446B (zh) | 2021-05-25 |
Family
ID=69853198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911120654.7A Active CN110933446B (zh) | 2019-11-15 | 2019-11-15 | 一种感兴趣区域的识别方法、系统及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110933446B (zh) |
| WO (1) | WO2021093059A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112700438B (zh) * | 2021-01-14 | 2024-06-21 | 成都铁安科技有限责任公司 | 一种列车车轴镶入部位超声判伤方法及其系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101375312A (zh) * | 2006-02-07 | 2009-02-25 | 高通股份有限公司 | 多模式关注区视频对象分割 |
| CN102682454A (zh) * | 2012-04-28 | 2012-09-19 | 中国科学技术大学 | 一种视频中的感兴趣区域跟踪方法及装置 |
| CN104539962A (zh) * | 2015-01-20 | 2015-04-22 | 北京工业大学 | 一种融合视觉感知特征的可分层视频编码方法 |
| CN105379268A (zh) * | 2013-01-28 | 2016-03-02 | 微软技术许可有限责任公司 | 在视频编码中适应鲁棒性 |
| CN106934794A (zh) * | 2015-12-01 | 2017-07-07 | 株式会社理光 | 信息处理装置，信息处理方法和检查系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103618900B (zh) * | 2013-11-21 | 2016-08-17 | 北京工业大学 | 基于编码信息的视频感兴趣区域提取方法 |
| US10033918B2 (en) * | 2016-03-29 | 2018-07-24 | Sony Corporation | Method and system for image processing to detect salient objects in image |
| US20180068451A1 (en) * | 2016-09-08 | 2018-03-08 | Qualcomm Incorporated | Systems and methods for creating a cinemagraph |
| CN106604031A (zh) * | 2016-11-22 | 2017-04-26 | 金华就约我吧网络科技有限公司 | 一种基于兴趣区域的h.265视频质量提升方法 |
| KR102498597B1 (ko) * | 2017-08-22 | 2023-02-14 | 삼성전자 주식회사 | 전자 장치 및 이를 이용하여 관심 영역을 설정하여 오브젝트를 식별하는 방법 |
| CN108063944B (zh) * | 2017-12-14 | 2021-07-13 | 西北工业大学 | 一种基于视觉显著性的感知码率控制方法 |
| CN109451316B (zh) * | 2018-11-21 | 2020-11-24 | 北京航空航天大学 | 一种基于cu显著性的qp选择算法 |
-
2019
- 2019-11-15 CN CN201911120654.7A patent/CN110933446B/zh active Active
- 2019-12-06 WO PCT/CN2019/123709 patent/WO2021093059A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101375312A (zh) * | 2006-02-07 | 2009-02-25 | 高通股份有限公司 | 多模式关注区视频对象分割 |
| CN102682454A (zh) * | 2012-04-28 | 2012-09-19 | 中国科学技术大学 | 一种视频中的感兴趣区域跟踪方法及装置 |
| CN105379268A (zh) * | 2013-01-28 | 2016-03-02 | 微软技术许可有限责任公司 | 在视频编码中适应鲁棒性 |
| CN104539962A (zh) * | 2015-01-20 | 2015-04-22 | 北京工业大学 | 一种融合视觉感知特征的可分层视频编码方法 |
| CN106934794A (zh) * | 2015-12-01 | 2017-07-07 | 株式会社理光 | 信息处理装置，信息处理方法和检查系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021093059A1 (zh) | 2021-05-20 |
| CN110933446A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110996099B (zh) | 一种视频编码方法、系统及设备 | |
| CN109660800B (zh) | 运动估计方法、装置、电子设备及计算机可读存储介质 | |
| CN110738611B (zh) | 一种视频画质增强方法、系统及设备 | |
| EP1755342A1 (en) | Method and apparatus for iteratively calculating a set of global motion parameters for a picture sequence from block motion vectors | |
| CN110769254B (zh) | 一种视频帧的码率配置方法、系统及设备 | |
| CN110781740B (zh) | 一种视频画质识别方法、系统及设备 | |
| JP6016332B2 (ja) | 画像処理装置、画像処理方法 | |
| US20090154565A1 (en) | Video data compression method, medium, and system | |
| JP2009147807A (ja) | 画像処理装置 | |
| WO2007057986A1 (ja) | 動きベクトル算出装置および動きベクトル算出方法 | |
| WO2021073066A1 (zh) | 图像处理方法及装置 | |
| TW200803521A (en) | Randomly sub-sampled partition voting (RSPV) algorithm for scene change detection | |
| CN110060278B (zh) | 基于背景减法的运动目标的检测方法及装置 | |
| US8509303B2 (en) | Video descriptor generation device | |
| CN110933446B (zh) | 一种感兴趣区域的识别方法、系统及设备 | |
| JP2012058845A (ja) | 画像処理装置および方法、並びにプログラム | |
| US20070104382A1 (en) | Detection of local visual space-time details in a video signal | |
| US20180332299A1 (en) | Moving image coding apparatus, moving image coding method and recording medium | |
| US11290740B2 (en) | Image coding apparatus, image coding method, and storage medium | |
| JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US10666970B2 (en) | Encoding apparatus, encoding method, and storage medium | |
| CN110944211B (zh) | 用于帧内预测的插值滤波方法、装置、介质及电子设备 | |
| US20150288973A1 (en) | Method and device for searching for image | |
| JP5906993B2 (ja) | 符号化装置、符号化方法、及びプログラム | |
| CN112418147A (zh) | 基于航拍图像的轨条砦识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |