CN113657255A - 一种自动框选人的方法和存储设备 - Google Patents
一种自动框选人的方法和存储设备 Download PDFInfo
- Publication number
- CN113657255A CN113657255A CN202110936086.9A CN202110936086A CN113657255A CN 113657255 A CN113657255 A CN 113657255A CN 202110936086 A CN202110936086 A CN 202110936086A CN 113657255 A CN113657255 A CN 113657255A
- Authority
- CN
- China
- Prior art keywords
- face detection
- frame selection
- selection area
- state
- camera image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000009432 framing Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000009191 jumping Effects 0.000 claims description 6
- 239000012141 concentrate Substances 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 210000000887 face Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及图像处理技术领域，特别涉及一种自动框选人的方法和存储设备。所述一种自动框选人的方法，包括步骤：对摄像头图像进行人脸检测，输出人脸检测结果；根据所述人脸检测结果计算框选区域；根据所述框选区域对所述摄像头图像进行处理。处理后的摄像头图像会将参会人员集中在画面中，大大减少留白区域，提高用户体验。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种自动框选人的方法和存储设备。
背景技术
随着互联网的快速发展，出于便捷的考虑，视频会议越来越多得被应用于企事业单位或个人的办公中，特别是远程办公的兴起，正在推动着用户使用视频会议的习惯养成。
在视频会议中，摄像机通常会被设置在会议场所中较远距离的地方，以确保可以把整个会议室的画面均拍摄进去。但在大多数的会议场所中，参会人员通常都会集中在画面的中心，这样就会导致一个问题整个画面除中心区域以外，其它地方留白过多。此外，在有些会议场景下，参会人员可能只有几个人，这样导致画面的留白区域就要更大了。导致用户的体验感不佳。
发明内容
为此，需要提供一种自动框选人的方法，用以解决视频会议中，摄像头获取的画面留白区域过多，用户体验不佳的技术问题。具体技术方案如下：
一种自动框选人的方法，包括步骤：
对摄像头图像进行人脸检测，输出人脸检测结果；
根据所述人脸检测结果计算框选区域；
根据所述框选区域对所述摄像头图像进行处理。
进一步的，所述人脸检测结果包括：人脸检测矩阵数组；
所述“根据所述人脸检测结果计算框选区域”，具体还包括步骤：
根据所述人脸检测矩阵数组计算框选区域；
所述框选区域符合预设要求，所述预设要求包括以下中的一种或多种：框选区域的长宽比例与原始摄像头分辨率一致、人脸四周留白。
进一步的，所述“对摄像头图像进行人脸检测”，具体还包括步骤：
若未检测到人脸，则摄像头预览恢复未对摄像头图像进行处理的初始状态。
进一步的，所述“根据所述框选区域对所述摄像头图像进行处理”，具体还包括步骤：
根据所述框选区域对所述摄像头图像进行裁剪缩放。
进一步的，所述“对摄像头图像进行人脸检测”前，具体还包括步骤：
建立新的状态机子线程，所述状态机子线程的状态包括：空闲状态、人脸检测状态、框选区域计算状态和摄像头图像处理状态；
当接收到框选功能打开指令时，所述空闲状态跳转至所述人脸检测状态；
当检测到人脸目标时，所述人脸检测状态跳转至所述框选区域计算状态；
当本次框选区域与上次框选区域差异值大于等于预设阈值时，所述框选区域计算状态跳转至所述摄像头图像处理状态。
进一步的，所述“根据所述人脸检测结果计算框选区域”，具体还包括步骤：
若计算出的框选区域与上次的框选区域间的差异值小于预设阈值，则跳转至所述空闲状态。
进一步的，还包括步骤：
当对所述摄像头图像处理完后，跳转至所述空闲状态。
进一步的，所述“对摄像头图像进行人脸检测”，具体还包括步骤：
获取vpss模块传递的视频数据，以一帧摄像头数据为单位进行处理；
所述vpss模块包含两路以上通道输出。
进一步的，进行人脸检测的算法包括以下中的一种或多种：recg_nnic算法、mtcnn算法。
为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：
一种存储设备，其中存储有指令集，所述指令集用于执行上述所述的一种自动框选人的方法中的任意步骤。
本发明的有益效果是：一种自动框选人的方法，包括步骤：对摄像头图像进行人脸检测，输出人脸检测结果；根据所述人脸检测结果计算框选区域；根据所述框选区域对所述摄像头图像进行处理。处理后的摄像头图像会将参会人员集中在画面中，大大减少留白区域，提高用户体验。
附图说明
图1为具体实施方式所述一种自动框选人的方法的流程图；
图2为具体实施方式所述一种自动框选人的方法的总体数据流程示意图；
图3为具体实施方式所述一种自动框选人的方法的整体流程示意图；
图4a为具体实施方式所述计算框选区域的整体流程示意图；
图4b为具体实施方式所述检测到人脸，计算最大人脸尺寸示意图；
图4c为具体实施方式所述计算包含所有人脸的最小框示意图；
图4d为具体实施方式所述左右延拓2倍最大人脸尺寸，上下延拓一倍最大人脸尺寸示意图；
图4e为具体实施方式所述防止延拓后的框超出画面示意图；
图4f为具体实施方式所述调整长宽比和原始分辨率保持一致示意图；
图5为具体实施方式所述预防抖动的流程示意图；
图6为具体实施方式所述一种存储设备的模块示意图。
附图标记说明：
600、存储设备。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1至图5，在本实施方式中，一种自动框选人的方法可应用在一种存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端。在本实施方式中，优选以摄像装置为例进行说明。
本申请的核心技术思想在于：在摄像装置的控制功能中另外新加一个子线程用于实现框选功能，使得摄像装置在预览时实时进行人脸检测，并根据检测结果进行数码变焦操作，让人脸目标显示在画面中间。框选功能支持一个到多个人脸目标，在检测到目标后，开始进行数码变焦，数码变焦是一个渐变过程，人脸比例和旋转角度保持不变，预览时不会感到卡顿和抖动现象。在场景变化时，框选区域实时改变。当场景中没有人脸目标时显示完整摄像头图片。
具体实施方式如下：
步骤S101：对摄像头图像进行人脸检测，输出人脸检测结果。在本实施方式中，步骤S101至步骤S103所实现的框选功能作为新增的摄像头控制功能之一，具体为建立一个新的状态机子线程，其中所述状态机子线程的状态包括：空闲状态(idle状态)、人脸检测状态(detecting状态)、框选区域计算状态(calculating状态)和摄像头图像处理状态(zooming状态)，通过状态机进行管理。四个状态间的跳转可如下：当接收到框选功能打开指令时，所述空闲状态跳转至所述人脸检测状态；当检测到人脸目标时，所述人脸检测状态跳转至所述框选区域计算状态；当本次框选区域与上次框选区域差异值大于等于预设阈值时，所述框选区域计算状态跳转至所述摄像头图像处理状态。
即当开启新的状态机子线程运行后，先跳转至idle状态，当接收到框选功能打开指令时，才会跳转至detecting状态，其中步骤S101对应的是detecting状态的主要操作过程，步骤S102对应的是calculating状态的主要操作过程，步骤S103对应的是zooming状态的主要操作过程。以下均会展开说明。
本实施方式中调用人脸检测算法进行人脸检测，并且输出人脸检测结果，所述人脸检测结果包括：人脸检测矩阵数组。所述人脸检测矩阵数组作为下一步calculating状态用于计算框选区域的输入参数，其中进行人脸检测的算法包括以下中的一种或多种：recg_nnic算法、mtcnn算法。
而若未检测到人脸，如某个场景中一个人都没有，则摄像头预览恢复未对摄像头图像进行处理的初始状态，即摄像头预览恢复摄像头图像未裁剪缩放的初始状态。
当检测到人脸以后，执行步骤S102：根据所述人脸检测结果计算框选区域，即根据所述人脸检测矩阵数组计算框选区域。所述框选区域要符合预设要求，所述预设要求包括以下中的一种或多种：框选区域的长宽比例与原始摄像头分辨率一致、人脸四周要合理留白。这样处理后图像更贴近原画面，给用户更好的体验。
若计算出的本次的框选区域与上次的框选区域间的差异值小于预设阈值(如可以对两次框选区域的相似度进行计算，当两次框选区域的相似度为98％，即二者的差异值为2％，设定预设阈值为5％，2％小于5％，或者通过两次框选区域的交并比进行计算，若交并比大于预设阈值，则以本次的框选区域作为最终的框选区域)，则跳转至所述空闲状态。如此操作是为了当两次框选区域很像，即实际应用场景中可能呈现的是五个人坐在固定位置开会，则这个过程中就没有必要再去对摄像头图像做处理操作，避免了不必要的计算过程，节省了计算资源。
其中，框选区域的计算方式如图4a至图4f所示：
输入人脸检测结果框坐标集，判断相比于上一次检测，人脸数量是否减少，若是，则计数器++，若否，判断人脸数量是否为0，若为0，则结果框设置为整个画面，得到的结果框与上一次处理的结果框交并比是否大于预设阈值，若是则将结果框返回，若否，则跳过本次处理。
当计数器++后，判断计数器是否等于4，若是的话，则赋值0于计数器，判断人脸数量是否为0，若为0，则重复上述的步骤。若不为0，则统计最大人脸的长度max_size，计算包含所有人脸的框，包含所有人脸的框的左右延拓2*max_size，上下延拓1*max_size，防止延拓后的框超出分辨率，将结果框比例调整为16:9，判断得到的结果框与上一次处理的结果框交并比是否大于预设阈值，若是则将结果框返回。
即当本次人脸检测数量小于上次人脸检测数量时不进行缩放；当累计4次数量均少于上次检测数量，才进行更新处理。
当本次结果框和上次结果框的交并比小于设定的阈值，认为和上次结果框十分相似，为避免显示抖动；不进行缩放处理。
如图4a所示为计算框选区域的整体流程示意图，图4b为检测到人脸，计算最大人脸尺寸，图4c为计算包含所有人脸的最小框，图4d为左右延拓2倍最大人脸尺寸，上下延拓一倍最大人脸尺寸，图4e为防止延拓后的框超出画面，图4f为调整长宽比和原始分辨率保持一致。
步骤S103：根据所述框选区域对所述摄像头图像进行处理。其中处理过程重要为根据所述框选区域对所述摄像头图像进行裁剪缩放。为了保持预览效果，裁剪缩放需要一个渐变的过程，而不是一次一步到位，避免不好的视觉体验。裁剪缩放完毕后，重新跳转到idle状态，进行下一轮框选。
对于裁剪缩放如何做到渐变以下展开具体说明：
从旧缩放框渐变到新缩放框的过程中，可以拆分为尺寸不断变化和中心点不断偏移两个分量。经过实际测试可知：摄像头画面如果是中心点不变的缩放或者尺寸不变的平移，人眼不会感觉抖动，但是中心点和偏移和尺寸变化同时进行，人眼就会感觉抖动。
媒体模块要求缩放框的坐标对齐(坐标点4对齐，宽32对齐，高16对齐)，在缩放框渐变过程中，如果坐标没有处理好，画面的中心点来回偏移尺寸变化不够均匀会加剧抖动的效果。
故此在本实施方式中，
在缩放框渐变之前，先进行对齐操作。将缩放框的渐变分为平移和缩放两个步骤，确保了缩放框的中心点不会来回抖动。
具体流程如图5所示，
如果缩放框是一个变小的过程，那么先保持中心点不变，将缩放框缩小到目标尺寸。然后保持尺寸不变，中心点坐标匀速移动到目标位置
如果缩放框是一个放大的过程，那么先保持缩放框的大小布标，将中心点平移到目标位置。然后保持中心点不变，匀速放大到目标尺寸。
中心点不变的匀速缩小或者放大过程，人眼不会感到任何抖动。
上述整个框选功能的示意图如图3所示。
如图2所示，以上框选功能的流程是基于hisi的mpp(媒体处理)模块，框选功能的输入为vpss模块传递过来的视频数据，处理单位为一帧摄像头数据。输出为框选矩阵坐标。
所述vpss模块包含两路以上通道输出，一路经过图片缩小作为人脸检测算法的输入源，另外一路根据人脸检测算法得到的矩形坐标信息进行剪切。
一种自动框选人的方法，包括步骤：对摄像头图像进行人脸检测，输出人脸检测结果；根据所述人脸检测结果计算框选区域；根据所述框选区域对所述摄像头图像进行处理。处理后的摄像头图像会将参会人员集中在画面中，大大减少留白区域，提高用户体验。
请参阅图6，在本实施方式中，一种存储设备600的具体实施方式如下：
一种存储设备600，其中存储有指令集，所述指令集用于执行上述所述的一种自动框选人的方法中的任意步骤。处理后的摄像头图像会将参会人员集中在画面中，大大减少留白区域，提高用户体验。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。
Claims (10)
1.一种自动框选人的方法，其特征在于，包括步骤：
对摄像头图像进行人脸检测，输出人脸检测结果；
根据所述人脸检测结果计算框选区域；
根据所述框选区域对所述摄像头图像进行处理。
2.根据权利要求1所述的一种自动框选人的方法，其特征在于，所述人脸检测结果包括：人脸检测矩阵数组；
所述“根据所述人脸检测结果计算框选区域”，具体还包括步骤：
根据所述人脸检测矩阵数组计算框选区域；
所述框选区域符合预设要求，所述预设要求包括以下中的一种或多种：框选区域的长宽比例与原始摄像头分辨率一致、人脸四周留白。
3.根据权利要求1所述的一种自动框选人的方法，其特征在于，所述“对摄像头图像进行人脸检测”，具体还包括步骤：
若未检测到人脸，则摄像头预览恢复未对摄像头图像进行处理的初始状态。
4.根据权利要求1所述的一种自动框选人的方法，其特征在于，所述“根据所述框选区域对所述摄像头图像进行处理”，具体还包括步骤：
根据所述框选区域对所述摄像头图像进行裁剪缩放。
5.根据权利要求1所述的一种自动框选人的方法，其特征在于，所述“对摄像头图像进行人脸检测”前，具体还包括步骤：
建立新的状态机子线程，所述状态机子线程的状态包括：空闲状态、人脸检测状态、框选区域计算状态和摄像头图像处理状态；
当接收到框选功能打开指令时，所述空闲状态跳转至所述人脸检测状态；
当检测到人脸目标时，所述人脸检测状态跳转至所述框选区域计算状态；
当本次框选区域与上次框选区域差异值大于等于预设阈值时，所述框选区域计算状态跳转至所述摄像头图像处理状态。
6.根据权利要求5所述的一种自动框选人的方法，其特征在于，所述“根据所述人脸检测结果计算框选区域”，具体还包括步骤：
若计算出的框选区域与上次的框选区域间的差异值小于预设阈值，则跳转至所述空闲状态。
7.根据权利要求5所述的一种自动框选人的方法，其特征在于，还包括步骤：
当对所述摄像头图像处理完后，跳转至所述空闲状态。
8.根据权利要求1所述的一种自动框选人的方法，其特征在于，所述“对摄像头图像进行人脸检测”，具体还包括步骤：
获取vpss模块传递的视频数据，以一帧摄像头数据为单位进行处理；
所述vpss模块包含两路以上通道输出。
9.根据权利要求1至8任一项所述的一种自动框选人的方法，其特征在于，进行人脸检测的算法包括以下中的一种或多种：recg_nnic算法、mtcnn算法。
10.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：权利要求1至9任一项所述的一种自动框选人的方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936086.9A CN113657255A (zh) | 2021-08-16 | 2021-08-16 | 一种自动框选人的方法和存储设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936086.9A CN113657255A (zh) | 2021-08-16 | 2021-08-16 | 一种自动框选人的方法和存储设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113657255A true CN113657255A (zh) | 2021-11-16 |
Family
ID=78480383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110936086.9A Pending CN113657255A (zh) | 2021-08-16 | 2021-08-16 | 一种自动框选人的方法和存储设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657255A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117714833A (zh) * | 2023-05-19 | 2024-03-15 | 荣耀终端有限公司 | 图像处理方法、装置、芯片、电子设备及介质 |
-
2021
- 2021-08-16 CN CN202110936086.9A patent/CN113657255A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117714833A (zh) * | 2023-05-19 | 2024-03-15 | 荣耀终端有限公司 | 图像处理方法、装置、芯片、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2283642B1 (en) | Method, apparatus, and computer program product for presenting burst images | |
| US10762653B2 (en) | Generation apparatus of virtual viewpoint image, generation method, and storage medium | |
| US7372536B2 (en) | Photostory 3—automated motion generation | |
| JP5068440B2 (ja) | ステップ画像を用いた画像ベースビデオの生成 | |
| US20110181591A1 (en) | System and method for compositing 3d images | |
| EP3105921A1 (en) | Photo composition and position guidance in an imaging device | |
| CN113064684B (zh) | 一种虚拟现实设备及vr场景截屏方法 | |
| WO2021164162A1 (zh) | 拍摄图像的方法、装置及设备 | |
| WO2023231869A1 (zh) | 拍摄方法和装置 | |
| WO2022111330A1 (zh) | 多摄像头设备的图像拼接方法及装置、存储介质、终端 | |
| US20140240580A1 (en) | Method and apparatus of displaying portrait on display | |
| CN113657255A (zh) | 一种自动框选人的方法和存储设备 | |
| CN113194256B (zh) | 拍摄方法、装置、电子设备和存储介质 | |
| US20230217067A1 (en) | Producing and adapting video images for presentation displays with different aspect ratios | |
| US20180018398A1 (en) | Positioning content in computer-generated displays based on available display space | |
| CN110248147A (zh) | 一种图像显示方法及装置 | |
| CN113438550B (zh) | 一种视频播放方法、视频会议方法、直播方法及相关装置 | |
| CN115421639A (zh) | 一种全景图的展示方法、装置、电子设备及介质 | |
| CN112887620A (zh) | 视频拍摄方法、装置及电子设备 | |
| CN115423728A (zh) | 一种图像处理方法、装置及系统 | |
| JP2021077131A (ja) | 構図アドバイスシステム、構図アドバイス方法、ユーザ端末、プログラム | |
| CN112804451B (zh) | 利用多个摄像头进行拍照的方法和系统以及移动装置 | |
| EP4161066A1 (en) | Region of interest based image data enhancement in a teleconference | |
| CN114630056A (zh) | 图像生成方法、装置、电子设备和可读存储介质 | |
| KR950007026B1 (ko) | 카메라의 디지탈 줌 기능장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |