CN110689014A - 感兴趣区域的检测方法、装置、电子设备及可读存储介质 - Google Patents

感兴趣区域的检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110689014A
CN110689014A CN201910974179.3A CN201910974179A CN110689014A CN 110689014 A CN110689014 A CN 110689014A CN 201910974179 A CN201910974179 A CN 201910974179A CN 110689014 A CN110689014 A CN 110689014A
Authority
CN
China
Prior art keywords
region
image block
image
type
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910974179.3A
Other languages
English (en)
Other versions
CN110689014B (zh
Inventor
张清
郑羽珊
王诗涛
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910974179.3A priority Critical patent/CN110689014B/zh
Publication of CN110689014A publication Critical patent/CN110689014A/zh
Priority to PCT/CN2020/119895 priority patent/WO2021073443A1/zh
Priority to US17/496,365 priority patent/US12026928B2/en
Application granted granted Critical
Publication of CN110689014B publication Critical patent/CN110689014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及信息处理技术领域，公开了一种感兴趣区域的检测方法、装置、电子设备和可读存储介质，感兴趣区域的检测方法包括：获取目标视频帧图像，将目标视频帧图像划分为多个预设尺寸的图像块；针对每一图像块，获取该图像块的各个像素点的色度分量，根据各个像素点的色度分量确定该图像块的合格点比率；合格点比率为该图像块的各个像素点中符合预设色度条件的像素点的比率；基于各个图像块的合格点比率，确定各个图像块的区域类型；根据各个图像块的区域类型生成感兴趣区域图谱，基于感兴趣区域图谱检测目标视频帧图像的感兴趣区域。本申请提供的感兴趣区域的检测方法检测效率高，耗时短，可以满足实时检测的要求。

Description

感兴趣区域的检测方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种感兴趣区域的检测方法、装置、电子设备及可读存储介质。
背景技术
感兴趣区域(region of interest，ROI)是机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。在对图像进行处理时，先检测出图像中的感兴趣区域，可以减少对图像的处理时间并增加精度。
目前的感兴趣区域的检测方式，通常是利用大量的感兴趣区域图像的训练样本，对神经网络进行训练，利用训练后的神经网络检测出图像中的感兴趣区域，这种方式检测效率低，耗时较长，不易满足实时检测的要求。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：
第一方面，提供了一种感兴趣区域的检测方法，包括：
获取目标视频帧图像，将目标视频帧图像划分为多个预设尺寸的图像块；
针对每一图像块，获取该图像块的各个像素点的色度分量，根据各个像素点的色度分量确定该图像块的合格点比率；合格点比率为该图像块的各个像素点中符合预设色度条件的像素点的比率；
基于各个图像块的合格点比率，确定各个图像块的区域类型；
根据各个图像块的区域类型生成感兴趣区域图谱，基于感兴趣区域图谱检测目标视频帧图像的感兴趣区域。
在第一方面的可选实施例中，在将目标视频帧图像划分为多个预设尺寸的图像块之前，还包括：
获取目标视频帧图像的采样格式，并确定与采样格式对应的预设尺寸。
在第一方面的可选实施例中，基于各个图像块的合格点比率，确定各个图像块的区域类型，包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率不小于第一预设比率，将该图像块的区域类型设为感兴趣区域类型。
在第一方面的可选实施例中，基于各个图像块的合格点比率，确定各个图像块的区域类型，包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率不大于第二预设比率，将该图像块的区域类型设为非感兴趣区域类型。
在第一方面的可选实施例中，基于各个图像块的合格点比率，确定各个图像块的区域类型，包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，获取位于该图像块的预设空域相邻位置的至少一个空域相邻块；
其中，各个空域相邻块的区域类型已预先确定；
根据空域相邻块的区域类型确定属于感兴趣区域类型的空域相邻块的数量，若属于感兴趣区域类型的空域相邻块的数量不小于预设的第一阈值，将该图像块的区域类型设为感兴趣区域类型。
在第一方面的可选实施例中，色度分量包括U分量和V分量；预设色度条件为U分量不小于100且不大于127，V分量不小于135且不大于155。
在第一方面的可选实施例中，基于各个图像块的合格点比率，确定各个图像块的区域类型，包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，查询目标视频帧图像的前一帧或前多帧图像；
从前一帧或前多帧图像中获取与该图像块对应的时域对应块，并获取与时域对应块相邻的多个时域相邻块；
若属于感兴趣区域类型的时域对应块和时域相邻块的数量之和不小于预设的第二阈值，将该图像块的区域类型设为感兴趣区域类型。
在第一方面的可选实施例中，从前一帧或前多帧图像中获取与该图像块对应的时域对应块，包括：
针对各个图像块中的每一图像块，确定该图像块在目标视频帧图像的坐标位置；
将前一帧或前多帧图像中具有坐标位置的图像块设为时域对应块。
在第一方面的可选实施例中，从前一帧或前多帧图像中获取与该图像块对应的时域对应块，包括：
针对各个图像块中的每一图像块，确定该图像块在目标视频帧图像的坐标位置；
获取前一帧或前多帧图像到目标视频帧图像之间的运动信息，根据运动信息对坐标位置进行调整，并根据调整后的坐标位置从前一帧或前多帧图像中获取时域对应块。
在第一方面的可选实施例中，根据各个图像块的区域类型生成感兴趣区域图谱，包括：
将目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到感兴趣区域图谱。
在第一方面的可选实施例中，根据各个图像块的区域类型生成感兴趣区域图谱，包括：
将目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到初始区域图谱；
基于预设的腐蚀模板对初始区域图谱进行腐蚀处理，得到腐蚀图谱；
基于预设的膨胀模板对腐蚀图谱进行膨胀处理，得到感兴趣区域图谱。
在第一方面的可选实施例中，膨胀模板为非对称模板，且非对称模板中的中心点位置基于确定各个图像块的区域类型时所依据的预设顺序设置。
第二方面，提供了一种感兴趣区域的检测装置，包括：
划分模块，用于获取目标视频帧图像，将目标视频帧图像划分为多个预设尺寸的图像块；
分量获取模块，用于针对每一图像块，获取该图像块的各个像素点的色度分量，根据各个像素点的色度分量确定该图像块的合格点比率；合格点比率为该图像块的各个像素点中符合预设色度条件的像素点的比率；
类型确定模块，用于基于各个图像块的合格点比率，确定各个图像块的区域类型；
检测模块，用于根据各个图像块的区域类型生成感兴趣区域图谱，基于感兴趣区域图谱检测目标视频帧图像的感兴趣区域。
在第二方面的可选实施例中，感兴趣区域的检测装置还包括：
尺寸确定模块，用于获取目标视频帧图像的采样格式，并确定与采样格式对应的预设尺寸。
在第二方面的可选实施例中，类型确定模块在基于各个图像块的合格点比率，确定各个图像块的区域类型时，具体用于：
针对各个图像块中的每一图像块，若该图像块的合格点比率不小于第一预设比率，将该图像块的区域类型设为感兴趣区域类型。
在第二方面的可选实施例中，类型确定模块在基于各个图像块的合格点比率，确定各个图像块的区域类型时，具体用于：
针对各个图像块中的每一图像块，若该图像块的合格点比率不大于第二预设比率，将该图像块的区域类型设为非感兴趣区域类型。
在第二方面的可选实施例中，
类型确定模块在在基于各个图像块的合格点比率，确定各个图像块的区域类型时，具体用于：
针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，获取位于该图像块的预设空域相邻位置的至少一个空域相邻块；
其中，各个空域相邻块的区域类型已预先确定；
根据空域相邻块的区域类型确定属于感兴趣区域类型的空域相邻块的数量，若属于感兴趣区域类型的空域相邻块的数量不小于预设的第一阈值，将该图像块的区域类型设为感兴趣区域类型。
在第二方面的可选实施例中，色度分量包括U分量和V分量；预设色度条件为U分量不小于100且不大于127，V分量不小于135且不大于155。
在第二方面的可选实施例中，类型确定模块在基于各个图像块的合格点比率，确定各个图像块的区域类型时，具体用于：
针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，查询目标视频帧图像的前一帧或前多帧图像；
从前一帧或前多帧图像中获取与该图像块对应的时域对应块，并获取与时域对应块相邻的多个时域相邻块；
若属于感兴趣区域类型的时域对应块和时域相邻块的数量之和不小于预设的第二阈值，将该图像块的区域类型设为感兴趣区域类型。
在第二方面的可选实施例中，类型确定模块在从前一帧或前多帧图像中获取与该图像块对应的时域对应块时，具体用于：
针对各个图像块中的每一图像块，确定该图像块在目标视频帧图像的坐标位置；
将前一帧或前多帧图像中具有坐标位置的图像块设为时域对应块。
在第二方面的可选实施例中，类型确定模块在从前一帧或前多帧图像中获取与该图像块对应的时域对应块时，具体用于：
针对各个图像块中的每一图像块，确定该图像块在目标视频帧图像的坐标位置；
获取前一帧或前多帧图像到目标视频帧图像之间的运动信息，根据运动信息对坐标位置进行调整，并根据调整后的坐标位置从前一帧或前多帧图像中获取时域对应块。
在第二方面的可选实施例中，检测模块在根据各个图像块的区域类型生成感兴趣区域图谱时，具体用于：
将目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到感兴趣区域图谱。
在第二方面的可选实施例中，检测模块在根据各个图像块的区域类型生成感兴趣区域图谱时，具体用于：
将目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到初始区域图谱；
基于预设的腐蚀模板对初始区域图谱进行腐蚀处理，得到腐蚀图谱；
基于预设的膨胀模板对腐蚀图谱进行膨胀处理，得到感兴趣区域图谱。
在第二方面的可选实施例中，膨胀模板为非对称模板，且非对称模板中的中心点位置基于确定各个图像块的区域类型时所依据的预设顺序设置。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请第一方面所示的感兴趣区域的检测方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的感兴趣区域的检测方法。
本申请提供的技术方案带来的有益效果是：通过将目标视频帧图像划分为多个图像块，然后获取每个图像块的各个像素点的色度分量，根据每个图像块的各个像素点的色度分量确定该图像块的合格点比率，然后基于合格点比率确定各个图像块的区域类型，再根据各个图像块的区域类型生成感兴趣区域图谱，检测效率高，耗时短，可以满足实时检测的要求。
此外，若图像块的合格点比率大于第二预设比率且小于第一预设比率，可以根据空域相邻块的区域类型或者时域相邻块的区域类型确定该图像块的区域类型，进一步提高图像块的区域类型判断的准确率。
进一步的，通过预设的腐蚀模板对初始区域图谱进行腐蚀处理，然后通过预设的膨胀模板对腐蚀图谱进行膨胀处理，可以消除初始区域图谱中的孤立的感兴趣区域类型的图像块，并将腐蚀处理所去除的误差区域进行补充，以进一步提高感兴趣区域的检测的精确度。
进一步的，采用非对称模板，且非对称模板中的中心点位置基于确定各个图像块的区域类型时所依据的预设顺序设置，可以恢复不易确定区域类型的图像块，进一步提高感兴趣区域的检测的精确度。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种感兴趣区域的检测方法的应用环境图；
图2为本申请实施例提供的一种感兴趣区域的检测方法的流程示意图；
图3为本申请实施例提供的一种感兴趣区域的检测方法的流程示意图；
图4为本申请实施例提供的示例中的空域相邻块位置示意图；
图5为本申请实施例提供的示例中的时域对应块位置示意图；
图6为本申请实施例提供的示例中的感兴趣图谱示意图；
图7a为本申请实施例提供的示例中的初始区域图谱示意图；
图7b为本申请实施例提供的示例中的腐蚀图谱示意图；
图7c为本申请实施例提供的示例中的感兴趣图谱示意图；
图8为本申请实施例提供的示例中的非对称模板示意图；
图9为本申请实施例提供的示例中的感兴趣区域的检测方法的流程示意图；
图10为本申请实施例提供的一种感兴趣区域的检测装置的结构示意图；
图11为本申请实施例提供的一种感兴趣区域的检测的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的感兴趣区域的检测方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请提供的感兴趣区域的检测方法，可以应用于如图1所示的应用环境中。具体的，摄像设备10拍摄目标视频，摄像设备10将目标视频发送给终端20，终端20从目标视频中获取目标视频帧图像，将目标视频帧图像划分为多个预设尺寸的图像块；终端20针对每一图像块，获取该图像块的各个像素点的色度分量，根据各个像素点的色度分量确定该图像块的合格点比率；终端20基于各个图像块的合格点比率，确定各个图像块的区域类型；终端20根据各个图像块的区域类型生成感兴趣区域图谱，基于感兴趣区域图谱检测目标视频帧图像的感兴趣区域。
上述应用场景中的感兴趣区域的检测方法在终端中进行，在其他应用场景中，上述的感兴趣区域的检测方法也可以应用于服务器；在其他应用场景中，终端20也可以拍摄目标视频，然后从目标视频中提取目标视频图像帧，并对目标视频图像帧进行感兴趣区域的检测。
本技术领域技术人员可以理解，这里所使用的“终端”可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、MID(Mobile Internet Device，移动互联网设备)等；“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例中提供了一种可能的实现方式，如图2所示，提供了一种感兴趣区域的检测方法，以该方法应用于图1中的终端为例进行说明，可以包括以下步骤：
步骤S201，获取目标视频帧图像，将目标视频帧图像划分为多个预设尺寸的图像块。
具体的，一个图像块由一个亮度像素块和附加的两个色度像素块组成。
在具体实施过程中，获取目标视频，从目标视频中提取目标视频帧图像，可以获取预设的采样格式的目标视频帧图像，按照与预设的采样格式对应的预设尺寸，将目标视频帧图像划分为多个图像块。
在另一种实施过程中，还可以获取目标视频帧图像，确定目标视频帧图像的采样格式，获取与采样格式对应的预设尺寸，根据预设尺寸将目标视频帧图像划分为多个图像块。
例如，图像块中亮度块为16×16大小的像素块，对于采样格式为YUV420的目标视频帧图像，色度块为8×8大小的像素块。
步骤S202，针对每一图像块，获取该图像块的各个像素点的色度分量，根据各个像素点的色度分量确定该图像块的合格点比率；合格点比率为该图像块的各个像素点中符合预设色度条件的像素点的比率。
具体的，色度分量可以包括U分量和V分量，预设色度条件可以是针对于U分量和V分量的色度条件。
在具体实施过程中，可以确定每一个图像块的像素点的总个数，并获取每一个像素点的U分量和V分量，根据每一个像素点的U分量和V分量判断该像素点是否符合预设色度条件，从而确定每个图像块的各个像素点中符合预设色度条件的像素点的比率。
具体的，可以将预设色度条件设置为U分量不小于100且不大于127，V分量不小于135且不大于155，统计每一个图像块的所有像素点中，符合上述预设色度条件的像素点的比率，得到图像块的合格点比率。需要说明的是，上述U、V分量的选择范围，是通过选取多个图像序列进行测试获得的效果，当预设色度条件位于这个范围内的时候，即使针对不同肤色的人群，图像的感兴趣区域也能够很好的被检测出来，更具有通用性。而当范围过大的时候，图像周围的一些无关点会被检测到，范围过小的时候感兴趣区域检测不全。
步骤S203，基于各个图像块的合格点比率，确定各个图像块的区域类型。
具体的，区域类型包括感兴趣区域类型和非感兴趣区域类型。
在具体实施过程中，可以设置第一预设比率和第二预设比率，第一预设比率大于第二预设比率，将合格点比率分别与第二预设比率和第一预设比率比较，若图像块的合格点比率不大于第二预设比率，可以将该图像块的区域类型设为非感兴趣区域类型；若图像块的合格点比率不小于第一预设比率，可以将该图像块的区域类型设为感兴趣区域类型。对于图像块的区域类型的确定的详细过程将在下文进行进一步阐述。
步骤S204，根据各个图像块的区域类型生成感兴趣区域图谱，基于感兴趣区域图谱检测目标视频帧图像的感兴趣区域。
具体的，感兴趣图谱是对目标视频帧图像的各个图像块的区域类型进行标记得到的图谱。
在具体实施过程中，检测感兴趣区域图谱中属于感兴趣区域类型的图像块，根据所检测到的所有属于感兴趣区域类型的图像块即可得到目标视频帧图像的感兴趣区域。
本实施例提供的感兴趣区域的检测方法，通过将目标视频帧图像划分为多个图像块，然后获取每个图像块的各个像素点的色度分量，根据每个图像块的各个像素点的色度分量确定该图像块的合格点比率，然后基于合格点比率确定各个图像块的区域类型，再根据各个图像块的区域类型生成感兴趣区域图谱，检测效率高，耗时短，可以满足实时检测的要求。
本申请实施例中提供了一种可能的实现方式，如图3所示，步骤S201的将目标视频帧图像划分为多个预设尺寸的图像块之前，还可以包括：
步骤S200，获取目标视频帧图像的采样格式，并确定与采样格式对应的预设尺寸。
具体的，服务器中可以预先存储有多种采样格式和每一采样格式对应的预设尺寸，先确定目标视频帧图像的采样格式，查询与采样格式对应的预设尺寸，再根据预设尺寸将目标视频帧图像划分为多个图像块。
例如，图像块中亮度块为16×16大小的像素块，对于采样格式为YUV420的目标视频帧图像，色度块为8×8大小的像素块。
以下将结合附图和实施例对图像块的区域类型的确定的过程进行进一步详细阐述。
本申请实施例中提供了一种可能的实现方式，步骤S203的基于各个图像块的合格点比率，确定各个图像块的区域类型，可以包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率不小于第一预设比率，将该图像块的区域类型设为感兴趣区域类型。
具体的，服务器可以设置第一预设比率，若图像块的所有像素点中符合预设色度条件的像素点的比率不小于第一预设比率，则将该图像块的区域类型设为感兴趣区域类型。
例如，可以设置第一预设比率为75％，若图像块的所有像素点中符合预设色度条件的像素点的比率不小于75％，将该图像块的区域类型确定为感兴趣区域类型。
本申请实施例中提供了一种可能的实现方式，步骤S203的基于各个图像块的合格点比率，确定各个图像块的区域类型，可以包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率不大于第二预设比率，将该图像块的区域类型设为非感兴趣区域类型。
具体的，服务器可以设置第二预设比率，第二预设比率小于第一预设比率，若图像块的所有像素点中符合预设色度条件的像素点的比率不大于第二预设比率，则将该图像块的区域类型设为非感兴趣区域类型。
例如，可以设置第二预设比率为12.5％，若图像块的所有像素点中符合预设色度条件的像素点的比率不大于12.5％，将该图像块的区域类型确定为非感兴趣区域类型。
上述实施例中，若图像块的合格点比率不大于第二预设比率或者不小于第一预设比率，可以直接确定图像块的区域类型，若图像块的合格点比率大于第二预设比率且小于第一预设比率，需要结合图像块周围的其他图像块的区域类型确定该图像块的区域类型。
以下将结合实施例进一步阐述根据周围的空域相邻块的区域类型确定图像块的区域类型的过程。
本申请实施例中提供了一种可能的实现方式，步骤S203的基于各个图像块的合格点比率，确定各个图像块的区域类型，可以包括：
(1)针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，获取位于该图像块的预设空域相邻位置的至少一个空域相邻块。
其中，各个空域相邻块的区域类型已预先确定，各个各个空域相邻块分别与该图像块相邻。
具体的，确定各个图像块的区域类型，可以包括：按照预设顺序依次确定各个图像块的区域类型。
在具体实施过程中，预设空域相邻位置基于预设顺序设置；预设顺序可以是从上到下从左到右的顺序，如先确定第一排最左边的图像块的区域类型，依次往右确定第一排的所有图像块的区域类型，然后确定第二排最左边的图像块的区域类型，依次往右确定第二排的所有图像块的区域类型，按照上述顺序依次确定所有图像块的区域类型；预设顺序也可以是从下到上，从右到左，或是从上到下，从右到左的顺序，具体的预设顺序在此不作限制，但每一列或每一排中确认各图像块的区域类型时要依次确认，且每确认完一列或一排时要依次确认下一列或一排的图像块的区域类型。
如图4所示，若预设顺序为从上到下从左到右，先确定第一排最左边的图像块的区域类型，依次往右确定第一排的所有图像块的区域类型，然后确定第二排最左边的图像块的区域类型，依次往右确定第二排的所有图像块的区域类型，依照上述顺序依次确定所有图像块的区域类型，图4中图像块402为当前待确定区域类型的图像块，图像块401a、图像块401b、图像块401c和图像块401d均为图像块402的空域相邻块。
在其他实施方式中，若预设顺序为其他顺序，则空域相邻块的位置将对应发生变化，但空域相邻块是与待确认区域类型的图像块相邻，且各个空域相邻块的区域类型已确定。
(2)根据空域相邻块的区域类型确定属于感兴趣区域类型的空域相邻块的数量，若属于感兴趣区域类型的空域相邻块的数量不小于预设的第一阈值，将该图像块的区域类型设为感兴趣区域类型。
具体的，将属于感兴趣区域类型的空域相邻块的数量于预设的第一阈值对比，若属于感兴趣区域类型的空域相邻块的数量不小于预设的第一阈值，将该图像块的区域类型设为感兴趣区域类型。
以图4所示为例，若第一阈值设为1，即图像块401a、图像块401b、图像块401c和图像块401d中若存在至少一个属于感兴趣区域类型，则将图像块402确认为感兴趣区域类型。
上述实施例中，若图像块的合格点比率大于第二预设比率且小于第一预设比率，可以根据空域相邻块的区域类型确定该图像块的区域类型，进一步提高图像块的区域类型判断的准确率。
在其他实施方式中，若图像块的合格点比率大于第二预设比率且小于第一预设比率，还可以根据时域相邻块的区域类型确定该图像块的区域类型，以下将结合实施例进行具体说明。
本申请实施例中提供了一种可能的实现方式，步骤S203的基于各个图像块的合格点比率，确定各个图像块的区域类型，可以包括：
(1)针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，查询目标视频帧图像的前一帧或前多帧图像。
具体的，若目标视频帧图像不存在前一帧或前多帧图像，且属于感兴趣区域类型的空域相邻块的数量小于预设的第一阈值，将该图像块的区域类型设为非感兴趣区域类型。
(2)从前一帧或前多帧图像中获取与该图像块对应的时域对应块，并获取与时域对应块相邻的多个时域相邻块。
具体的，时域对应块可以是该图像块的参考块，参考块可以是前一帧或前多帧图像中与该图像块坐标相同的图像块，也可以是前一帧或前多帧图像中与该图像块坐标相同的图像块经过运动变化后的图像块，具体时域对应块的获取方式将在下文进行详细说明。
在具体实施过程中，时域相邻块是围绕在时域对应块周围，且与时域对应块的边相邻或顶点相邻的图像块。
在一种实施过程中，从前一帧或前多帧图像中获取与该图像块对应的时域对应块的步骤，可以包括：
a、针对各个图像块中的每一图像块，确定该图像块在目标视频帧图像的坐标位置；
b、将前一帧或前多帧图像中具有坐标位置的图像块设为时域对应块。
在另一种实施过程中，从前一帧或前多帧图像中获取与该图像块对应的时域对应块的步骤，可以包括：
c、针对各个图像块中的每一图像块，确定该图像块在目标视频帧图像的坐标位置；
d、获取前一帧或前多帧图像到目标视频帧图像之间的运动信息，根据运动信息对坐标位置进行调整，并根据调整后的坐标位置从前一帧或前多帧图像中获取时域对应块。
如图5所示，以从前一帧图像501中获取时域对应块为例，图5中包括前一帧图像501和目标视频帧图像502，目标视频帧图像502中的502a为当前待确认区域类型的图像块，可以获取图像块502a的坐标，然后获取前一帧图像501到目标视频帧图像502之间的运动信息，对图像块502a的坐标进行调整，根据调整后的坐标从前一帧图像501中获取时域对应块501b。
具体的，运动信息包括前一帧或前多帧图像到目标视频帧图像的速度、位移变化、方向信息，例如可以包括光流，即像素运动的瞬时速度；还可以包括运动矢量等，根据运动信息对图像块502a的坐标进行调整，即将图像块502a的坐标位置依据运动信息中的方向进行反向计算，并减去运动信息中的位移信息，得到时域对应块501b的坐标位置。
还可以获取图像块502a的坐标，从前一帧或前多帧图像501中确认与图像块502a具有相同坐标的前一帧或前多帧图像块501a，然后根据前一帧或前多帧图像501到目标视频帧图像502之间的运动信息，对前一帧或前多帧图像块501a的坐标进行调整，得到时域对应块501b。
(3)根据时域对应块和时域相邻块的的区域类型确定属于感兴趣区域类型的时域对应块和时域相邻块的数量，若属于感兴趣区域类型的时域对应块和时域相邻块的数量之和不小于预设的第二阈值，将该图像块的区域类型设为感兴趣区域类型。
具体的，获取时域对应块的区域类型，并分别获取多个时域相邻块的区域类型，若时域对应块和时域相邻块中，属于感兴趣区域类型的数量不小于预设的第二阈值，将该图像块的区域类型设为感兴趣区域类型。
例如，第二阈值设为2，时域对应块和多个时域相邻块中，若存在至少两个属于感兴趣区域类型，则将该图像块的区域类型设为感兴趣区域类型。
上述实施例中，若图像块的合格点比率大于第二预设比率且小于第一预设比率，可以根据时域对应块和时域相邻块的区域类型确定该图像块的区域类型，进一步提高图像块的区域类型判断的准确率。
本申请实施例中提供了一种可能的实现方式，步骤S204的根据各个图像块的区域类型生成感兴趣区域图谱，可以包括：
将目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到感兴趣区域图谱。
具体的，可以以不同颜色、符号等形式，根据不同的区域类型对目标视频帧图像的各个图像块进行标记，得到感兴趣区域图谱。
以图6所示为例，可以在目标视频帧图像上用不同形状对感兴趣区域类型和非感兴趣区域类型的图像块进行标记，如图6中条纹填充的图像块代表属于感兴趣区域类型的图像块，无条纹填充的图像块代表属于非感兴趣区域类型的图像块，得到目标视频帧图像的感兴趣图谱。
本申请实施例中提供了一种可能的实现方式，步骤S204的根据各个图像块的区域类型生成感兴趣区域图谱，可以包括：
(1)将目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到初始区域图谱。
如图7a所示，图7a中检测到的初始区域图谱中存在一些孤立的感兴趣区域类型的图像块。
(2)基于预设的腐蚀模板对初始区域图谱进行腐蚀处理，得到腐蚀图谱。
在具体实施过程中，腐蚀模板可以为对称方形模板，例如可以采用3×3的对称方形模板；也可以为非对称模板或非方形模板等其他模板，采用腐蚀模板可以消除初始区域图谱中的孤立的感兴趣区域类型的图像块，提高感兴趣区域的检测的精确度。
如图7b所示，图7b是对图7a进行腐蚀处理后得到的腐蚀图谱，图7b中对图7a中的孤立的感兴趣区域类型的图像块进行消除。
(3)基于预设的膨胀模板对腐蚀图谱进行膨胀处理，得到感兴趣区域图谱。
如图7c所示，图7c是对图7b的腐蚀图谱进行膨胀处理后得到的感兴趣区域图谱，可以将腐蚀处理所去除的误差区域进行补充。
在具体实施过程中，膨胀模板可以为非对称模板，且非对称模板中的中心点位置基于确定各个图像块的区域类型时所依据的预设顺序设置，膨胀模板可以将腐蚀处理所去除的误差区域进行补充，以提高感兴趣区域的检测的精确度。
若依据预设顺序依次确定各个图像块的区域类型，排在顺序后面的图像块的区域类型可以通过已经确定区域类型空域相邻块而确定，相对更容易确定，采用非对称模板可以恢复不易确定区域类型的图像块，进一步提高感兴趣区域的检测的精确度。
如图8所示，若预设顺序为从上到下从左到右，先确定第一排最左边的图像块的区域类型，依次往右确定第一排的所有图像块的区域类型，然后确定第二排最左边的图像块的区域类型，依次往右确定第二排的所有图像块的区域类型，依照上述顺序依次确定所有图像块的区域类型，则左上区域的图像块的区域类型更容易确定，而右下区域的图像块的区域类型相对更难确定，则可以采用图8所示的非对称模板进行膨胀处理，将中心点801设置于右下方，可以恢复不易确定区域类型的图像块，进一步提高感兴趣区域的检测的精确度。
上述的感兴趣区域的检测方法，通过将目标视频帧图像划分为多个图像块，然后获取每个图像块的各个像素点的色度分量，根据每个图像块的各个像素点的色度分量确定该图像块的合格点比率，然后基于合格点比率确定各个图像块的区域类型，再根据各个图像块的区域类型生成感兴趣区域图谱，检测效率高，耗时短，可以满足实时检测的要求。
此外，若图像块的合格点比率大于第二预设比率且小于第一预设比率，可以根据空域相邻块的区域类型或者时域相邻块的区域类型确定该图像块的区域类型，进一步提高图像块的区域类型判断的准确率。
进一步的，通过预设的腐蚀模板对初始区域图谱进行腐蚀处理，然后通过预设的膨胀模板对腐蚀图谱进行膨胀处理，可以消除初始区域图谱中的孤立的感兴趣区域类型的图像块，并将腐蚀处理所去除的误差区域进行补充，以提高感兴趣区域的检测的精确度。
进一步的，采用非对称模板，且非对称模板中的中心点位置基于确定各个图像块的区域类型时所依据的预设顺序设置，可以恢复不易确定区域类型的图像块，进一步提高感兴趣区域的检测的精确度。
为了更好地理解上述感兴趣区域的检测方法，如图9所示，以下详细阐述一个本发明的感兴趣区域的检测方法的示例：
在一个示例中，本申请提供的感兴趣区域的检测方法，包括如下步骤：
步骤S900，获取目标视频帧图像的采样格式，并确定与采样格式对应的预设尺寸；
步骤S901，将目标视频帧图像划分为多个预设尺寸的图像块；
步骤S902，针对每一图像块，获取该图像块的各个像素点的色度分量；
步骤S903，根据各个像素点的色度分量确定该图像块的合格点比率；
步骤S904，判断该图像块的合格点比率是否不大于第二预设比率或不小于第一预设比率；若合格点比率不大于第二预设比率，执行步骤S905；若合格点比率不小于第一预设比率，执行步骤S906；若合格点比率大于第二预设比率且小于第一预设比率，执行步骤S907；
步骤S905，将该图像块的区域类型设为非感兴趣区域类型；
步骤S906，将该图像块的区域类型设为感兴趣区域类型；
步骤S907，获取该图像块的空域相邻块；
步骤S908，判断属于感兴趣区域类型的空域相邻块的数量是否不小于预设的第一阈值；若是，执行步骤S906；若否，执行步骤S908；
步骤S909，查询目标视频帧图像的前一帧图像；
步骤S9010，从前一帧图像中获取与该图像块对应的时域对应块和多个时域相邻块；
步骤S911，判断属于感兴趣区域类型的时域对应块和时域相邻块的数量之和是否不小于预设的第二阈值；若是，执行步骤S906；若否，执行步骤S905。
上述示例中，通过将目标视频帧图像划分为多个预设尺寸的图像块；针对每一图像块，获取该图像块的各个像素点的色度分量；根据各个像素点的色度分量确定该图像块的合格点比率；根据合格点比率的大小确定各图像块的区域类型，若合格点比率大于第二预设比率且小于第一预设比率，再通过空域相邻块和时域相邻块的区域类型确定图像块的区域类型，根据各个图像块的区域类型生成感兴趣区域图谱，检测效率高，耗时短，可以满足实时检测的要求。
本申请实施例中提供了一种可能的实现方式，如图10所示，提供了一种感兴趣区域的检测装置100，该感兴趣区域的检测装置100可以包括：划分模块1001、分量获取模块1002、类型确定模块1003和检测模块1004，其中，
划分模块，用于获取目标视频帧图像，将目标视频帧图像划分为多个预设尺寸的图像块；
分量获取模块，用于针对每一图像块，获取该图像块的各个像素点的色度分量，根据各个像素点的色度分量确定该图像块的合格点比率；合格点比率为该图像块的各个像素点中符合预设色度条件的像素点的比率；
类型确定模块1003，用于基于各个图像块的合格点比率，确定各个图像块的区域类型；
检测模块1004，用于根据各个图像块的区域类型生成感兴趣区域图谱，基于感兴趣区域图谱检测目标视频帧图像的感兴趣区域。
上述的感兴趣区域的检测装置，通过将目标视频帧图像划分为多个图像块，然后获取每个图像块的各个像素点的色度分量，根据每个图像块的各个像素点的色度分量确定该图像块的合格点比率，然后基于合格点比率确定各个图像块的区域类型，再根据各个图像块的区域类型生成感兴趣区域图谱，检测效率高，耗时短，可以满足实时检测的要求。
本申请实施例中提供了一种可能的实现方式，感兴趣区域的检测装置100还包括：
尺寸确定模块，用于获取目标视频帧图像的采样格式，并确定与采样格式对应的预设尺寸。
本申请实施例中提供了一种可能的实现方式，类型确定模块1003在基于各个图像块的合格点比率，确定各个图像块的区域类型时，具体用于：
针对各个图像块中的每一图像块，若该图像块的合格点比率不小于第一预设比率，将该图像块的区域类型设为感兴趣区域类型。
本申请实施例中提供了一种可能的实现方式，类型确定模块1003在基于各个图像块的合格点比率，确定各个图像块的区域类型时，具体用于：
针对各个图像块中的每一图像块，若该图像块的合格点比率不大于第二预设比率，将该图像块的区域类型设为非感兴趣区域类型。
本申请实施例中提供了一种可能的实现方式，类型确定模块1003在在基于各个图像块的合格点比率，确定各个图像块的区域类型时，具体用于：
针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，获取位于该图像块的预设空域相邻位置的至少一个空域相邻块；
其中，各个空域相邻块的区域类型已预先确定；
根据空域相邻块的区域类型确定属于感兴趣区域类型的空域相邻块的数量，若属于感兴趣区域类型的空域相邻块的数量不小于预设的第一阈值，将该图像块的区域类型设为感兴趣区域类型。
本申请实施例中提供了一种可能的实现方式，色度分量包括U分量和V分量；预设色度条件为U分量不小于100且不大于127，V分量不小于135且不大于155。
本申请实施例中提供了一种可能的实现方式，类型确定模块1003在基于各个图像块的合格点比率，确定各个图像块的区域类型时，具体用于：
针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，查询目标视频帧图像的前一帧或前多帧图像；
从前一帧或前多帧图像中获取与该图像块对应的时域对应块，并获取与时域对应块相邻的多个时域相邻块；
若属于感兴趣区域类型的时域对应块和时域相邻块的数量之和不小于预设的第二阈值，将该图像块的区域类型设为感兴趣区域类型。
本申请实施例中提供了一种可能的实现方式，类型确定模块1003在从前一帧或前多帧图像中获取与该图像块对应的时域对应块时，具体用于：
针对各个图像块中的每一图像块，确定该图像块在目标视频帧图像的坐标位置；
将前一帧或前多帧图像中具有坐标位置的图像块设为时域对应块。
本申请实施例中提供了一种可能的实现方式，类型确定模块1003在从前一帧或前多帧图像中获取与该图像块对应的时域对应块时，具体用于：
针对各个图像块中的每一图像块，确定该图像块在目标视频帧图像的坐标位置；
获取前一帧或前多帧图像到目标视频帧图像之间的运动信息，根据运动信息对坐标位置进行调整，并根据调整后的坐标位置从前一帧或前多帧图像中获取时域对应块。
本申请实施例中提供了一种可能的实现方式，检测模块1004在根据各个图像块的区域类型生成感兴趣区域图谱时，具体用于：
将目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到感兴趣区域图谱。
本申请实施例中提供了一种可能的实现方式，检测模块1004在根据各个图像块的区域类型生成感兴趣区域图谱时，具体用于：
将目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到初始区域图谱；
基于预设的腐蚀模板对初始区域图谱进行腐蚀处理，得到腐蚀图谱；
基于预设的膨胀模板对腐蚀图谱进行膨胀处理，得到感兴趣区域图谱。
本申请实施例中提供了一种可能的实现方式，膨胀模板为非对称模板，且非对称模板中的中心点位置基于确定各个图像块的区域类型时所依据的预设顺序设置。
本公开实施例的图片的感兴趣区域的检测装置可执行本公开的实施例所提供的一种图片的感兴趣区域的检测方法，其实现原理相类似，本公开各实施例中的图片的感兴趣区域的检测装置中的各模块所执行的动作是与本公开各实施例中的图片的感兴趣区域的检测方法中的步骤相对应的，对于图片的感兴趣区域的检测装置的各模块的详细功能描述具体可以参见前文中所示的对应的图片的感兴趣区域的检测方法中的描述，此处不再赘述。
基于与本公开的实施例中所示的方法相同的原理，本公开的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调用计算机操作指令执行实施例所示的感兴趣区域的检测方法。与现有技术相比，本申请中的感兴趣区域的检测方法检测效率高，耗时短，可以满足实时检测的要求。
在一个可选实施例中提供了一种电子设备，如图11所示，图11所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图11示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请中的感兴趣区域的检测方法检测效率高，耗时短，可以满足实时检测的要求。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，检测模块还可以被描述为“检测目标视频帧图像的感兴趣区域的模块”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种感兴趣区域的检测方法，其特征在于，包括：
获取目标视频帧图像，将所述目标视频帧图像划分为多个预设尺寸的图像块；
针对每一图像块，获取该图像块的各个像素点的色度分量，根据各个像素点的色度分量确定该图像块的合格点比率；所述合格点比率为该图像块的各个像素点中符合预设色度条件的像素点的比率；
基于各个图像块的所述合格点比率，确定各个图像块的区域类型；
根据各个图像块的区域类型生成感兴趣区域图谱，基于所述感兴趣区域图谱检测所述目标视频帧图像的感兴趣区域。
2.根据权利要求1所述的感兴趣区域的检测方法，其特征在于，在所述将所述目标视频帧图像划分为多个预设尺寸的图像块之前，还包括：
获取所述目标视频帧图像的采样格式，并确定与所述采样格式对应的所述预设尺寸。
3.根据权利要求1所述的感兴趣区域的检测方法，其特征在于，所述基于各个图像块的所述合格点比率，确定各个图像块的区域类型，包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率不小于第一预设比率，将该图像块的区域类型设为感兴趣区域类型。
4.根据权利要求1所述的感兴趣区域的检测方法，其特征在于，所述基于各个图像块的所述合格点比率，确定各个图像块的区域类型，包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率不大于第二预设比率，将该图像块的区域类型设为非感兴趣区域类型。
5.根据权利要求1所述的感兴趣区域的检测方法，其特征在于，所述基于各个图像块的所述合格点比率，确定各个图像块的区域类型，包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，获取位于该图像块的预设空域相邻位置的至少一个空域相邻块；其中，各个空域相邻块的区域类型已预先确定；
根据空域相邻块的区域类型确定属于感兴趣区域类型的空域相邻块的数量，若属于感兴趣区域类型的空域相邻块的数量不小于预设的第一阈值，将该图像块的区域类型设为感兴趣区域类型。
6.根据权利要求1所述的感兴趣区域的检测方法，其特征在于，所述色度分量包括U分量和V分量；所述预设色度条件为U分量不小于100且不大于127，V分量不小于135且不大于155。
7.根据权利要求1-6任一项所述的感兴趣区域的检测方法，其特征在于，所述基于各个图像块的所述合格点比率，确定各个图像块的区域类型，包括：
针对各个图像块中的每一图像块，若该图像块的合格点比率大于第二预设比率且小于第一预设比率，查询所述目标视频帧图像的前前一帧或前多帧或前多帧图像；
从所述前一帧或前多帧前一帧或前多帧图像中获取与该图像块对应的时域对应块，并获取与所述时域对应块相邻的多个时域相邻块；
若属于感兴趣区域类型的时域对应块和时域相邻块的数量之和不小于预设的第二阈值，将该图像块的区域类型设为感兴趣区域类型。
8.根据权利要求7所述的感兴趣区域的检测方法，其特征在于，所述从所述上一帧图像中获取与该图像块对应的时域对应块的步骤，包括：
针对各个图像块中的每一图像块，确定该图像块在所述目标视频帧图像的坐标位置；
将所述前一帧或前多帧图像中具有所述坐标位置的图像块设为所述时域对应块。
9.根据权利要求7所述的感兴趣区域的检测方法，其特征在于，所述从所述前一帧或前多帧图像中获取与该图像块对应的时域对应块，包括：
针对各个图像块中的每一图像块，确定该图像块在所述目标视频帧图像的坐标位置；
获取所述前一帧或前多帧图像到所述目标视频帧图像之间的运动信息，根据所述运动信息对所述坐标位置进行调整，并根据调整后的坐标位置从所述前一帧或前多帧图像中获取所述时域对应块。
10.根据权利要求1所述的感兴趣区域的检测方法，其特征在于，所述根据各个图像块的区域类型生成感兴趣区域图谱，包括：
将所述目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到所述感兴趣区域图谱。
11.根据权利要求1所述的感兴趣区域的检测方法，其特征在于，所述根据各个图像块的区域类型生成感兴趣区域图谱，包括：
将所述目标视频帧图像的各个图像块中属于感兴趣区域类型的图像块进行标记，得到初始区域图谱；
基于预设的腐蚀模板对所述初始区域图谱进行腐蚀处理，得到腐蚀图谱；
基于预设的膨胀模板对所述腐蚀图谱进行膨胀处理，得到所述感兴趣区域图谱。
12.根据权利要求11所述的感兴趣区域的检测方法，其特征在于，所述膨胀模板为非对称模板，且所述非对称模板中的中心点位置基于确定各个图像块的区域类型时所依据的预设顺序设置。
13.一种感兴趣区域的检测装置，其特征在于，包括：
划分模块，用于获取目标视频帧图像，将所述目标视频帧图像划分为多个预设尺寸的图像块；
分量获取模块，用于针对每一图像块，获取该图像块的各个像素点的色度分量，根据各个像素点的色度分量确定该图像块的合格点比率；所述合格点比率为该图像块的各个像素点中符合预设色度条件的像素点的比率；
类型确定模块，用于基于各个图像块的所述合格点比率，确定各个图像块的区域类型；
检测模块，用于根据各个图像块的区域类型生成感兴趣区域图谱，基于所述感兴趣区域图谱检测所述目标视频帧图像的感兴趣区域。
14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-12任一项所述的感兴趣区域的检测方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-12任一项所述的感兴趣区域的检测方法。
CN201910974179.3A 2019-10-14 2019-10-14 感兴趣区域的检测方法、装置、电子设备及可读存储介质 Active CN110689014B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910974179.3A CN110689014B (zh) 2019-10-14 2019-10-14 感兴趣区域的检测方法、装置、电子设备及可读存储介质
PCT/CN2020/119895 WO2021073443A1 (zh) 2019-10-14 2020-10-09 感兴趣区域的检测方法、装置、电子设备及可读存储介质
US17/496,365 US12026928B2 (en) 2019-10-14 2021-10-07 Method and apparatus for detecting region of interest, electronic device, and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910974179.3A CN110689014B (zh) 2019-10-14 2019-10-14 感兴趣区域的检测方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110689014A true CN110689014A (zh) 2020-01-14
CN110689014B CN110689014B (zh) 2022-02-11

Family

ID=69112613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910974179.3A Active CN110689014B (zh) 2019-10-14 2019-10-14 感兴趣区域的检测方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN110689014B (zh)
WO (1) WO2021073443A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073443A1 (zh) * 2019-10-14 2021-04-22 腾讯科技（深圳）有限公司 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN113223043A (zh) * 2021-03-26 2021-08-06 西安闻泰信息技术有限公司 一种移动目标的检测方法、装置、设备及介质
US12026928B2 (en) 2019-10-14 2024-07-02 Tencent Technology (Shenzhen) Company Limited Method and apparatus for detecting region of interest, electronic device, and readable storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743401B (zh) * 2021-08-19 2024-03-05 许继集团有限公司 一种开关柜地刀状态识别方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999023600A1 (en) * 1997-11-04 1999-05-14 The Trustees Of Columbia University In The City Of New York Video signal face region detection
CN101184430A (zh) * 2005-06-01 2008-05-21 奥林巴斯医疗株式会社 内窥镜诊断支持方法、内窥镜诊断支持装置和内窥镜诊断支持程序
CN101882316A (zh) * 2010-06-07 2010-11-10 深圳市融创天下科技发展有限公司 一种图像区域划分/编码方法、装置及系统
JP2012142980A (ja) * 2012-03-05 2012-07-26 Canon Inc 画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
CN103686178A (zh) * 2013-12-04 2014-03-26 北京邮电大学 一种基于hvs的视频感兴趣区域提取方法
CN104205815A (zh) * 2012-02-10 2014-12-10 谷歌公司 适应性感兴趣区域
CN106295587A (zh) * 2016-08-16 2017-01-04 块互动（北京）科技有限公司 一种视频感兴趣区域快速标定方法与装置
CN108337515A (zh) * 2018-01-19 2018-07-27 浙江大华技术股份有限公司 一种视频编码方法及装置
CN108765503A (zh) * 2018-05-21 2018-11-06 深圳市梦网科技发展有限公司 一种肤色检测方法、装置及终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102251242B1 (ko) * 2014-11-26 2021-05-12 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
CN106791856A (zh) * 2016-12-28 2017-05-31 天津天地伟业生产力促进有限公司 一种基于自适应感兴趣区域的视频编码方法
CN110689014B (zh) * 2019-10-14 2022-02-11 腾讯科技（深圳）有限公司 感兴趣区域的检测方法、装置、电子设备及可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999023600A1 (en) * 1997-11-04 1999-05-14 The Trustees Of Columbia University In The City Of New York Video signal face region detection
CN101184430A (zh) * 2005-06-01 2008-05-21 奥林巴斯医疗株式会社 内窥镜诊断支持方法、内窥镜诊断支持装置和内窥镜诊断支持程序
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
CN101882316A (zh) * 2010-06-07 2010-11-10 深圳市融创天下科技发展有限公司 一种图像区域划分/编码方法、装置及系统
CN104205815A (zh) * 2012-02-10 2014-12-10 谷歌公司 适应性感兴趣区域
JP2012142980A (ja) * 2012-03-05 2012-07-26 Canon Inc 画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体
CN103686178A (zh) * 2013-12-04 2014-03-26 北京邮电大学 一种基于hvs的视频感兴趣区域提取方法
CN106295587A (zh) * 2016-08-16 2017-01-04 块互动（北京）科技有限公司 一种视频感兴趣区域快速标定方法与装置
CN108337515A (zh) * 2018-01-19 2018-07-27 浙江大华技术股份有限公司 一种视频编码方法及装置
CN108765503A (zh) * 2018-05-21 2018-11-06 深圳市梦网科技发展有限公司 一种肤色检测方法、装置及终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073443A1 (zh) * 2019-10-14 2021-04-22 腾讯科技（深圳）有限公司 感兴趣区域的检测方法、装置、电子设备及可读存储介质
US12026928B2 (en) 2019-10-14 2024-07-02 Tencent Technology (Shenzhen) Company Limited Method and apparatus for detecting region of interest, electronic device, and readable storage medium
CN113223043A (zh) * 2021-03-26 2021-08-06 西安闻泰信息技术有限公司 一种移动目标的检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110689014B (zh) 2022-02-11
US20220027655A1 (en) 2022-01-27
WO2021073443A1 (zh) 2021-04-22

Similar Documents

Publication Publication Date Title
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN107633526B (zh) 一种图像跟踪点获取方法及设备、存储介质
CN110689014B (zh) 感兴趣区域的检测方法、装置、电子设备及可读存储介质
CN109074657B (zh) 一种目标跟踪方法、装置、电子设备和可读存储介质
CN110062176B (zh) 生成视频的方法、装置、电子设备和计算机可读存储介质
CN110070551B (zh) 视频图像的渲染方法、装置和电子设备
KR20130025944A (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
CN110796664A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN106251348B (zh) 一种面向深度相机的自适应多线索融合背景减除方法
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN111126108A (zh) 图像检测模型的训练和图像检测方法及装置
US20220351413A1 (en) Target detection method, computer device and non-transitory readable storage medium
CN110991310A (zh) 人像检测方法、装置、电子设备及计算机可读介质
EP4322109A1 (en) Green screen matting method and apparatus, and electronic device
CN110781823A (zh) 录屏检测方法、装置、可读介质及电子设备
CN112380929A (zh) 一种高光片段的获取方法、装置、电子设备和存储介质
CN114926514B (zh) 一种事件图像与rgb图像的配准方法及装置
CN113538502A (zh) 图片裁剪方法、装置、电子设备及存储介质
CN114554285A (zh) 视频插帧处理方法、视频插帧处理装置和可读存储介质
CN114119964A (zh) 一种网络训练的方法及装置、目标检测的方法及装置
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
CN111914739A (zh) 智能跟随方法、装置、终端设备和可读存储介质
CN111160340A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40013082

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant