CN113762219A - 一种移动会议室内人物识别方法、系统和存储介质 - Google Patents

一种移动会议室内人物识别方法、系统和存储介质 Download PDF

Info

Publication number
CN113762219A
CN113762219A CN202111291171.0A CN202111291171A CN113762219A CN 113762219 A CN113762219 A CN 113762219A CN 202111291171 A CN202111291171 A CN 202111291171A CN 113762219 A CN113762219 A CN 113762219A
Authority
CN
China
Prior art keywords
image information
sound source
conference room
information
mobile conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111291171.0A
Other languages
English (en)
Inventor
王江林
王郑兴
姚林强
王星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henglin Home Furnishings Co Ltd
Original Assignee
Henglin Home Furnishings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henglin Home Furnishings Co Ltd filed Critical Henglin Home Furnishings Co Ltd
Priority to CN202111291171.0A priority Critical patent/CN113762219A/zh
Publication of CN113762219A publication Critical patent/CN113762219A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种移动会议室内人物识别方法，包括：S1采集移动会议室内信息，所述信息包括视频信息及音频信息；S2解析视频信息，获得每一时刻的第一图像信息；S3根据每一时刻的音频信息确定对应时刻的第一图像信息加强区域；S4对第一图像信息的非加强区域进行处理，获得第二图像信息；S5基于第二图像信息判断移动会议室内是否存在人物。本发明解决了现有技术中移动会议室内人物识别效率低、准确率差的技术问题，在较低计算量的情况下保证移动会议室内人物的识别的有效性。

Description

一种移动会议室内人物识别方法、系统和存储介质
技术领域
本发明涉及于图像识别，尤其涉及一种移动会议室内人物识别方法、系统和存储介质。
背景技术
移动会议室内的人物准确识别，是移动会议室安全的关键之一，能够有效避免在会议室内有人的情况下的锁在会议室内带来的安全问题。仅根据会议室内声音的信息判断，无法有效区分会议室内未及时关断的投影设备或印象设备带来的音源，或人物带来的音源。根据图像识别的方式识别会议室的人物，存在计算量大，实时性差的技术问题。
发明内容
为了现有技术存在的上述技术缺陷，在较低计算量的情况下保证移动会议室内人物的识别的有效性，本发明提供了：
一种移动会议室内人物识别方法，包括：
S1采集移动会议室内信息，所述信息包括视频信息及音频信息；
S2解析视频信息，获得每一时刻的第一图像信息；
S3根据每一时刻的音频信息确定对应时刻的第一图像信息加强区域；
S4对第一图像信息的非加强区域进行处理，获得第二图像信息；
S5基于第二图像信息判断移动会议室内是否存在人物；
所述第一图像信息加强区域通过在移动会议室内的至少三个可收音装置的收音曲线的散度计算的与轴线的夹角获得。
优选的，所述S3包括：
S3.1在K空间内建立剖分系数为r的空间网格；
S3.2声源距离中心点的距离d的计算方法为：
Figure 61554DEST_PATH_IMAGE002
，
其中，d为声源距离中心点的距离，
Figure 100002_DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 103328DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure 100002_DEST_PATH_IMAGE005
为差值模型；
S3.3基于声源位置及剖分系数r确定第一图像信息加强区域。
优选的，所述基于声源位置及剖分系数r确定第一图像信息加强区域的方法为：
Figure 351907DEST_PATH_IMAGE006
其中，x、y、z为声源位置的坐标范围，
Figure 202576DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 892314DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure 100002_DEST_PATH_IMAGE007
、
Figure 370569DEST_PATH_IMAGE008
、
Figure 100002_DEST_PATH_IMAGE009
、
Figure 90132DEST_PATH_IMAGE010
为系数，
Figure 100002_DEST_PATH_IMAGE011
，
Figure 882508DEST_PATH_IMAGE012
，
Figure 100002_DEST_PATH_IMAGE013
，
Figure 754649DEST_PATH_IMAGE014
。
优选的，所述差值模型
Figure 203472DEST_PATH_IMAGE005
为：
Figure 100002_DEST_PATH_IMAGE015
其中，
Figure 551277DEST_PATH_IMAGE005
为差值模型，i为声源位置，c为声音在空气中的传播速度，i1，i2，i3为三个可收音装置的位置。
优选的，所述对第一图像信息的非加强区域进行处理包括：对第一图像信息的非加强区域添加椒盐噪声。
优选的，所述S5采用Yolov3网络架构判断移动会议室内是否存在人物。
一种移动会议室内人物识别系统，包括：
信息采集模块，所述信息采集模块被配置为采集移动会议室内信息，所述信息包括视频信息及音频信息；
视频解析模块，所述视频解析模块被配置为解析视频信息，获得每一时刻的第一图像信息；
图像预处理模块，所述图像预处理模块被配置为根据每一时刻的音频信息确定对应时刻的第一图像信息加强区域；对第一图像信息的非加强区域进行处理，获得第二图像信息；所述第一图像信息加强区域通过在移动会议室内的至少三个可收音装置的收音曲线的散度计算的与轴线的夹角获得；
人物判断模块，所述人物判断模块被配置为基于第二图像信息判断移动会议室内是否存在人物。
优选的，所述图像预处理模块被配置为执行：
在K空间内建立剖分系数为r的空间网格；
声源距离中心点的距离d的计算方法为：
Figure 491551DEST_PATH_IMAGE016
，
其中，d为声源距离中心点的距离，
Figure 280516DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 162890DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure 279882DEST_PATH_IMAGE005
为差值模型；
基于声源位置及剖分系数r确定第一图像信息加强区域；
所述基于声源位置及剖分系数r确定第一图像信息加强区域的方法为：
Figure 273114DEST_PATH_IMAGE006
其中，x、y、z为声源位置的坐标范围，
Figure 182164DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 720593DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure 639395DEST_PATH_IMAGE007
、
Figure 859155DEST_PATH_IMAGE008
、
Figure 809662DEST_PATH_IMAGE009
、
Figure 253413DEST_PATH_IMAGE010
为系数，
Figure 391002DEST_PATH_IMAGE011
，
Figure 476770DEST_PATH_IMAGE012
，
Figure 16205DEST_PATH_IMAGE013
，
Figure 896436DEST_PATH_IMAGE014
。
优选的，所述人物判断模块采用Yolov3网络架构判断移动会议室内是否存在人物。
一种计算机存储介质，其上存储有计算机程序，当所述计算机程序被计算设备中的处理器执行时，计算设备执行上述任一项所述的方法。
与现有技术相比，本发明的有益效果：
1、本发明通过声源定位确定的范围对图像识别的区域进行重点框取，有效降低了图像识别的计算量，提高会议室内的人物识别的效率；
2、本发明将声源定位的问题简化为遍历三个可收音装置获得的收音曲线以寻找最大增长率所在点，较现有声源定位的方法相比，在保证一定准确率的情况下，计算量低、计算效率高；
3、本发明对声源定位点的范围进行优化，根据剖分系数划分声源点的周边的范围，提高了定位范围的合理性，进而提高了识别的准确率。
附图说明
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1是本发明实施例所提供的一种移动会议室内人物识别方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
实施例一
本实施例公开了一种移动会议室内人物识别方法，如图1所示，包括：
S1采集移动会议室内信息，所述信息包括视频信息及音频信息。
S2解析视频信息，获得每一时刻的第一图像信息。
S3根据每一时刻的音频信息确定对应时刻的第一图像信息加强区域；所述第一图像信息加强区域通过在移动会议室内的至少三个可收音装置的收音曲线的散度计算的与轴线的夹角获得。
移动会议室中设置至少三个可收音装置，根据多个可收音装置的时间延迟确定声源位置。如图n所述为边界为K的空间内，剖分系数为r的空间网格，声源坐标在空间网格中的坐标为
Figure 100002_DEST_PATH_IMAGE017
。声源距离中心点的距离d的确定基于声源位置及剖分系数r确定第一图像信息加强区域，具体函数关系为：
Figure DEST_PATH_IMAGE019
其中，d为声源距离中心点的距离，
Figure 208073DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 81220DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure 819369DEST_PATH_IMAGE005
为差值模型。
上述模型将声源定位的问题，简化为在会议室的空间网格中遍历三个可收音装置获得的收音曲线以获得最大增长率所在点的问题。通过声源位置，对采集的图像区域进行有针对性识别，对与声源位置较远的区域不进行识别。该声源的定位方法根据声源定位时获得的声波曲线特点，有效平衡了计算效率及定位准确性。
重点识别的声源位置的区域，根据定位及空间网格的剖分系数确定，所述基于声源位置及剖分系数r确定第一图像信息加强区域的方法为：
Figure 870502DEST_PATH_IMAGE020
其中，x、y、z为声源位置的坐标范围，
Figure 982683DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 613516DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure DEST_PATH_IMAGE021
、
Figure 393122DEST_PATH_IMAGE022
、
Figure 880735DEST_PATH_IMAGE009
、
Figure DEST_PATH_IMAGE023
为系数，
Figure 624088DEST_PATH_IMAGE011
，
Figure 573458DEST_PATH_IMAGE012
，
Figure 958303DEST_PATH_IMAGE013
，
Figure 679134DEST_PATH_IMAGE024
。
上述坐标范围的确定，综合考虑了被识别对象的尺寸范围及剖分系数r。当剖分系数r较大时，即剖分的网格较大时，声源定位准确性较低，故而第一图像信息加强区域的范围变化幅度更大；当剖分系数r较小时，即剖分的网格较小时，声源定位准确性较高，故而第一图像信息加强区域的范围变化幅度更小。此外，位置的坐标范围的上下限通过被识别对象的尺寸范围进行约束，以确保后续图像识别的过程中，识别对象具备完整性的同时较大程度的在第一图像信息加强区域呈现。
所述差值模型
Figure 765908DEST_PATH_IMAGE005
为：
Figure DEST_PATH_IMAGE025
其中，
Figure 925494DEST_PATH_IMAGE005
为差值模型，i为声源位置，c为声音在空气中的传播速度，i1，i2，i3为三个可收音装置的位置。
S4对第一图像信息的非加强区域进行处理，获得第二图像信息；所述对第一图像信息的非加强区域进行处理包括：对第一图像信息的非加强区域添加椒盐噪声。更进一步的，所述椒盐噪声处理包括将图像的像素点的值改为黑色（即，0）或白色（即，255）。椒盐噪声的增加比例可根据移动会议室内的实际情况及图像处理的要求设定，不影响本实施例技术效果的实现。
S5基于第二图像信息判断移动会议室内是否存在人物。
所述S5采用Yolov3网络架构判断移动会议室内是否存在人物。
对移动会议室无人状态内的图像进行采集，尤其是常见声源发生的位置的图像、人物在会议室内常见的发声位置的图像进行重点采集，形成训练样本。优选的，将存在会议室内的人物图像设置为正例，将无人状态下的移动会议室内图片设置为负例，尤其是存在会议室内的投影、音响等声源图片设置为负例。图片的训练采用本领域公知技术，不影响本实施例技术效果的实现。
采用Darknet-53的网络结构提取图像的基础特征，优选采用256*256*3的输入，并根据重复的残差组件确定卷积层和快捷链路个数。
以较高的采样倍数提取第二图像信息。由于第二图像信息根据声源范围进行了优化，声源在优化后的图像中的尺寸更小，显著程度较未处理的随机范围的声源在图像中的比重更明显，采用较大采样倍数的设定更适应于高效准确的识别图像中较大尺寸的对象。对Yolov3网络的部分层，尤其是常规Yolov3网络架构的模型中针对细粒度、小感受野、小尺寸对象的检测网络层进行剪枝，以提高计算效率。此外，本实施例通过前置的声源范围确定识别范围的方式，避免了Yolov3常规过程中涉及的背景框是和预测框的计算问题，无需精细化优化设定背景框及预测框也可对人物进行准确识别。
优选采用softmax进行对象预测，以提高预测效率。诚然使用logistic的输出进行预测可以支持多标签对象，输出内容的维度更丰富，但经过声源范围优化后的图像，仅需快速对比是否属于人物或非人物即可，故而采用softmax的分类效率更高，计算量更低，干扰更小。
更进一步的，若移动会议室管理系统显示为未预定的异常使用时间，且会议室内判断为有人时，进行声音提醒；若移动会议室管理系统显示为未预定的异常使用时间，且会议室内判断为无人时，进行相应的切断投影或音响等声源设备以避免人员离开移动会议室而未进行及时的投影或音响的关断而带来的能源浪费。
实施例二
本实施例公开了一种移动会议室内人物识别系统，包括：
信息采集模块，所述信息采集模块被配置为采集移动会议室内信息，所述信息包括视频信息及音频信息；
视频解析模块，所述视频解析模块被配置为解析视频信息，获得每一时刻的第一图像信息；
图像预处理模块，所述图像预处理模块被配置为根据每一时刻的音频信息确定对应时刻的第一图像信息加强区域；对第一图像信息的非加强区域进行处理，获得第二图像信息；所述第一图像信息加强区域通过在移动会议室内的至少三个可收音装置的收音曲线的散度计算的与轴线的夹角获得；
移动会议室中设置至少三个可收音装置，根据多个可收音装置的时间延迟确定声源位置。如图n所述为边界为K的空间内，剖分系数为r的空间网格，声源坐标在空间网格中的坐标为
Figure RE-991885DEST_PATH_IMAGE016
。声源距离中心点的距离d的确定基于声源位置及剖分系数r确定第一图像信息加强区域，具体函数关系为：
Figure RE-285464DEST_PATH_IMAGE024
其中，d为声源距离中心点的距离，
Figure RE-529363DEST_PATH_IMAGE002
为声源与z方向的夹角，
Figure RE-781353DEST_PATH_IMAGE003
为映射到水平平面后，与x轴正方向的夹角，
Figure RE-743493DEST_PATH_IMAGE004
为差值模型。
上述模型将声源定位的问题，简化为在会议室的空间网格中遍历三个可收音装置获得的收音曲线以获得最大增长率所在点的问题。通过声源位置，对采集的图像区域进行有针对性识别，对与声源位置较远的区域不进行识别。该声源的定位方法根据声源定位时获得的声波曲线特点，有效平衡了计算效率及定位准确性。
重点识别的声源位置的区域，根据定位及空间网格的剖分系数确定，所述基于声源位置及剖分系数r确定第一图像信息加强区域的方法为：
Figure 425133DEST_PATH_IMAGE020
其中，x、y、z为声源位置的坐标范围，
Figure 674717DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 549132DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure 925887DEST_PATH_IMAGE021
、
Figure 326781DEST_PATH_IMAGE028
、
Figure 498000DEST_PATH_IMAGE009
、
Figure 859711DEST_PATH_IMAGE023
为系数，
Figure 495616DEST_PATH_IMAGE011
，
Figure 829646DEST_PATH_IMAGE012
，
Figure 358716DEST_PATH_IMAGE013
，
Figure 145406DEST_PATH_IMAGE024
。
上述坐标范围的确定，综合考虑了被识别对象的尺寸范围及剖分系数r。当剖分系数r较大时，即剖分的网格较大时，声源定位准确性较低，故而第一图像信息加强区域的范围更大；当剖分系数r较小时，即剖分的网格较小时，声源定位准确性较高，故而第一图像信息加强区域的范围更小。此外，位置的坐标范围的上下限通过被识别对象的尺寸范围进行约束，以确保后续图像识别的过程中，识别对象具备完整性的同时较大程度的在第一图像信息加强区域呈现。
所述差值模型
Figure 660701DEST_PATH_IMAGE005
为：
Figure 832925DEST_PATH_IMAGE025
其中，
Figure 345946DEST_PATH_IMAGE005
为差值模型，i为声源位置，c为声音在空气中的传播速度，i1，i2，i3为三个可收音装置的位置。
S4对第一图像信息的非加强区域进行处理，获得第二图像信息；所述对第一图像信息的非加强区域进行处理包括：对第一图像信息的非加强区域添加椒盐噪声。更进一步的，所述椒盐噪声处理包括将图像的像素点的值改为黑色（即，0）或白色（即，255）。椒盐噪声的增加比例可根据移动会议室内的实际情况及图像处理的要求设定，不影响本实施例技术效果的实现。
人物判断模块，所述人物判断模块被配置为基于第二图像信息判断移动会议室内是否存在人物。
所述人物判断模块采用Yolov3网络架构判断移动会议室内是否存在人物。
对移动会议室无人状态内的图像进行采集，尤其是常见声源发生的位置的图像、人物在会议室内常见的发声位置的图像进行重点采集，形成训练样本。优选的，将存在会议室内的人物图像设置为正例，将无人状态下的移动会议室内图片设置为负例，尤其是存在会议室内的投影、音响等声源图片设置为负例。图片的训练采用本领域公知技术，不影响本实施例技术效果的实现。
采用Darknet-53的网络结构提取图像的基础特征，优选采用256*256*3的输入，并根据重复的残差组件确定卷积层和快捷链路个数。
以较高的采样倍数提取第二图像信息。由于第二图像信息根据声源范围进行了优化，声源在优化后的图像中的尺寸更小，显著程度较未处理的随机范围的声源在图像中的比重更明显，采用较大采样倍数的设定更适应于高效准确的识别图像中较大尺寸的对象。对Yolov3网络的部分层，尤其是常规Yolov3网络架构的模型中针对细粒度、小感受野、小尺寸对象的检测网络层进行剪枝，以提高计算效率。此外，本实施例通过前置的声源范围确定识别范围的方式，避免了Yolov3常规过程中涉及的背景框是和预测框的计算问题，无需精细化优化设定背景框及预测框也可对人物进行准确识别。
优选采用softmax进行对象预测，以提高预测效率。诚然使用logistic的输出进行预测可以支持多标签对象，输出内容的维度更丰富，但经过声源范围优化后的图像，仅需快速对比是否属于人物或非人物即可，故而采用softmax的分类效率更高，计算量更低，干扰更小。
更进一步的，若移动会议室管理系统显示为未预定的异常使用时间，且会议室内判断为有人时，进行声音提醒；若移动会议室管理系统显示为未预定的异常使用时间，且会议室内判断为无人时，进行相应的切断投影或音响等声源设备以避免人员离开移动会议室而未进行及时的投影或音响的关断而带来的能源浪费。
实施例三
本实施例提高一种计算机存储介质，其上存储有计算机程序，当所述计算机程序被计算设备中的处理器执行时，计算设备执行上实施例一所述的方法。
与现有技术相比，本发明提供的有益效果是：
1、本发明通过声源定位确定的范围对图像识别的区域进行重点框取，有效降低了图像识别的计算量，提高会议室内的人物识别的效率；
2、本发明将声源定位的问题简化为遍历三个可收音装置获得的收音曲线以寻找最大增长率所在点，较现有声源定位的方法相比，在保证一定准确率的情况下，计算量低、计算效率高；
3、本发明对声源定位点的范围进行优化，根据剖分系数划分声源点的周边的范围，提高了定位范围的合理性，进而提高了识别的准确率。
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种移动会议室内人物识别方法，其特征在于，包括：
S1采集移动会议室内信息，所述信息包括视频信息及音频信息；
S2解析视频信息，获得每一时刻的第一图像信息；
S3根据每一时刻的音频信息确定对应时刻的第一图像信息加强区域；
S4对第一图像信息的非加强区域进行处理，获得第二图像信息；
S5基于第二图像信息判断移动会议室内是否存在人物；
所述第一图像信息加强区域通过在移动会议室内的至少三个可收音装置的收音曲线的散度计算的与轴线的夹角获得。
2.根据权利要求1所述的移动会议室内人物识别方法，其特征在于，所述S3包括：
S3.1在K空间内建立剖分系数为r的空间网格；
S3.2声源距离中心点的距离d的计算方法为：
Figure 805938DEST_PATH_IMAGE002
，
其中，d为声源距离中心点的距离，r为剖分系数，
Figure DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 390503DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure DEST_PATH_IMAGE005
为差值模型；
S3.3基于声源位置及剖分系数r确定第一图像信息加强区域。
3.根据权利要求2所述的移动会议室内人物识别方法，其特征在于，所述基于声源位置及剖分系数r确定第一图像信息加强区域的方法为：
Figure 151654DEST_PATH_IMAGE006
其中，x、y、z为声源位置的坐标范围，
Figure 819265DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 252651DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure DEST_PATH_IMAGE007
、
Figure 435982DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE009
、
Figure 520481DEST_PATH_IMAGE010
为系数，
Figure DEST_PATH_IMAGE011
，
Figure 375305DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE013
，
Figure 938398DEST_PATH_IMAGE014
。
4.根据权利要求2所述的移动会议室内人物识别方法，其特征在于，所述差值模型
Figure 582875DEST_PATH_IMAGE005
为：
Figure DEST_PATH_IMAGE015
其中，
Figure 570816DEST_PATH_IMAGE005
为差值模型，i为声源位置，c为声音在空气中的传播速度，i1，i2，i3为三个可收音装置的位置。
5.根据权利要求1所述的移动会议室内人物识别方法，其特征在于，所述对第一图像信息的非加强区域进行处理包括：对第一图像信息的非加强区域添加椒盐噪声。
6.根据权利要求1所述的移动会议室内人物识别方法，其特征在于，所述S5采用Yolov3网络架构判断移动会议室内是否存在人物。
7.一种移动会议室内人物识别系统，其特征在于，包括：
信息采集模块，所述信息采集模块被配置为采集移动会议室内信息，所述信息包括视频信息及音频信息；
视频解析模块，所述视频解析模块被配置为解析视频信息，获得每一时刻的第一图像信息；
图像预处理模块，所述图像预处理模块被配置为根据每一时刻的音频信息确定对应时刻的第一图像信息加强区域；对第一图像信息的非加强区域进行处理，获得第二图像信息；所述第一图像信息加强区域通过在移动会议室内的至少三个可收音装置的收音曲线的散度计算的与轴线的夹角获得；
人物判断模块，所述人物判断模块被配置为基于第二图像信息判断移动会议室内是否存在人物。
8.根据权利要求7所述的移动会议室内人物识别系统，其特征在于，所述图像预处理模块被配置为执行：
在K空间内建立剖分系数为r的空间网格；
声源距离中心点的距离d的计算方法为：
Figure DEST_PATH_IMAGE017
，
其中，d为声源距离中心点的距离，
Figure 517912DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 988207DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure 108479DEST_PATH_IMAGE005
为差值模型；
基于声源位置及剖分系数r确定第一图像信息加强区域；
所述基于声源位置及剖分系数r确定第一图像信息加强区域的方法为：
Figure 918303DEST_PATH_IMAGE018
其中，x、y、z为声源位置的坐标范围，
Figure 632706DEST_PATH_IMAGE003
为声源与z方向的夹角，
Figure 59139DEST_PATH_IMAGE004
为映射到水平平面后，与x轴正方向的夹角，
Figure 327309DEST_PATH_IMAGE007
、
Figure 37645DEST_PATH_IMAGE008
、
Figure 139593DEST_PATH_IMAGE009
、
Figure 833749DEST_PATH_IMAGE010
为系数，
Figure 515397DEST_PATH_IMAGE011
，
Figure 80239DEST_PATH_IMAGE012
，
Figure 884247DEST_PATH_IMAGE013
，
Figure 525751DEST_PATH_IMAGE014
。
9.根据权利要求7所述的移动会议室内人物识别系统，其特征在于，所述人物判断模块采用Yolov3网络架构判断移动会议室内是否存在人物。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，
当所述计算机程序被计算设备中的处理器执行时，计算设备执行如权利要求1-6任一项所述的方法。
CN202111291171.0A 2021-11-03 2021-11-03 一种移动会议室内人物识别方法、系统和存储介质 Pending CN113762219A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111291171.0A CN113762219A (zh) 2021-11-03 2021-11-03 一种移动会议室内人物识别方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111291171.0A CN113762219A (zh) 2021-11-03 2021-11-03 一种移动会议室内人物识别方法、系统和存储介质

Publications (1)

Publication Number Publication Date
CN113762219A true CN113762219A (zh) 2021-12-07

Family

ID=78784585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111291171.0A Pending CN113762219A (zh) 2021-11-03 2021-11-03 一种移动会议室内人物识别方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN113762219A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495195A (zh) * 2021-12-17 2022-05-13 珠海视熙科技有限公司 一种应用于视频会议系统的人脸检测方法及视频会议系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128304A1 (zh) * 2017-12-29 2019-07-04 南京阿凡达机器人科技有限公司 人体跌倒检测方法和装置
CN110321869A (zh) * 2019-07-10 2019-10-11 应急管理部天津消防研究所 基于多尺度融合网络的人员检测和提取方法
CN209496378U (zh) * 2018-12-13 2019-10-15 北京小米移动软件有限公司 终端
CN111860203A (zh) * 2020-06-28 2020-10-30 北京小龙潜行科技有限公司 基于图像和音频混合的异常猪只识别装置、系统和方法
CN112446316A (zh) * 2020-11-20 2021-03-05 浙江大华技术股份有限公司 事故检测方法、电子设备及存储介质
CN112818743A (zh) * 2020-12-29 2021-05-18 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN112906594A (zh) * 2021-03-03 2021-06-04 杭州海康威视数字技术股份有限公司 一种布防区域生成方法、装置、设备及存储介质
CN112995566A (zh) * 2019-12-17 2021-06-18 佛山市云米电器科技有限公司 基于显示设备的声源定位方法、显示设备及存储介质
CN113281706A (zh) * 2021-04-02 2021-08-20 南方科技大学 一种目标定位方法、装置及计算机可读存储介质
WO2021212608A1 (zh) * 2020-04-24 2021-10-28 平安科技（深圳）有限公司 定位声源用户的方法、装置和计算机设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128304A1 (zh) * 2017-12-29 2019-07-04 南京阿凡达机器人科技有限公司 人体跌倒检测方法和装置
CN209496378U (zh) * 2018-12-13 2019-10-15 北京小米移动软件有限公司 终端
CN110321869A (zh) * 2019-07-10 2019-10-11 应急管理部天津消防研究所 基于多尺度融合网络的人员检测和提取方法
CN112995566A (zh) * 2019-12-17 2021-06-18 佛山市云米电器科技有限公司 基于显示设备的声源定位方法、显示设备及存储介质
WO2021212608A1 (zh) * 2020-04-24 2021-10-28 平安科技（深圳）有限公司 定位声源用户的方法、装置和计算机设备
CN111860203A (zh) * 2020-06-28 2020-10-30 北京小龙潜行科技有限公司 基于图像和音频混合的异常猪只识别装置、系统和方法
CN112446316A (zh) * 2020-11-20 2021-03-05 浙江大华技术股份有限公司 事故检测方法、电子设备及存储介质
CN112818743A (zh) * 2020-12-29 2021-05-18 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN112906594A (zh) * 2021-03-03 2021-06-04 杭州海康威视数字技术股份有限公司 一种布防区域生成方法、装置、设备及存储介质
CN113281706A (zh) * 2021-04-02 2021-08-20 南方科技大学 一种目标定位方法、装置及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495195A (zh) * 2021-12-17 2022-05-13 珠海视熙科技有限公司 一种应用于视频会议系统的人脸检测方法及视频会议系统

Similar Documents

Publication Publication Date Title
CN108537215B (zh) 一种基于图像目标检测的火焰检测方法
CN112200045B (zh) 基于上下文增强的遥感图像目标检测模型建立方法及应用
WO2021217924A1 (zh) 交通卡口车辆类型的识别方法、装置、设备及存储介质
CN110929635B (zh) 基于信任机制下面部交并比的假脸视频检测方法及系统
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN111275010A (zh) 一种基于计算机视觉的行人重识别方法
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN111738319B (zh) 一种基于大规模样本的聚类结果评价方法及装置
CN111640138A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN112580542A (zh) 一种基于目标检测的钢筋计数方法
CN113762219A (zh) 一种移动会议室内人物识别方法、系统和存储介质
CN117576632B (zh) 基于多模态ai大模型的电网监控火灾预警系统及方法
CN111985432B (zh) 一种基于贝叶斯定理和自适应权值调整的多模态数据融合方法
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111881775B (zh) 一种人脸实时识别方法和装置
CN117218545A (zh) 基于LBP特征与改进Yolov5的雷达图像检测方法
CN116665390A (zh) 基于边缘计算及优化YOLOv5的火灾检测系统
CN111274986A (zh) 一种基于图像分析的菜品识别分类方法
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN113705672B (zh) 图像目标检测的阈值选取方法、系统、装置及存储介质
CN115273234A (zh) 一种基于改进ssd的人群异常行为检测方法
CN111898473B (zh) 一种基于深度学习的司机状态实时监测方法
CN114283280A (zh) 一种基于改进卷积神经网络的水面漂浮垃圾识别方法
CN115273131A (zh) 基于双通路特征融合的动物识别方法
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination