CN116489502A - 基于ai摄像头拓展坞的远程会议方法与ai摄像头拓展坞 - Google Patents
基于ai摄像头拓展坞的远程会议方法与ai摄像头拓展坞 Download PDFInfo
- Publication number
- CN116489502A CN116489502A CN202310535302.8A CN202310535302A CN116489502A CN 116489502 A CN116489502 A CN 116489502A CN 202310535302 A CN202310535302 A CN 202310535302A CN 116489502 A CN116489502 A CN 116489502A
- Authority
- CN
- China
- Prior art keywords
- power consumption
- conference
- camera
- docking station
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003032 molecular docking Methods 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims description 21
- 230000000284 resting effect Effects 0.000 claims description 4
- 230000005059 dormancy Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 17
- 238000010438 heat treatment Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013021 overheating Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例涉及拓展坞及会议信息的电数字数据处理技术领域,提供一种基于AI摄像头拓展坞的远程会议方法与AI摄像头拓展坞,通过控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理,配置监测的间隔时长,经过间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较,以继续进行全员人脸追踪控制或只对会议发言人进行人脸追踪控制,从而实现降低AI摄像头拓展坞的功耗,减少AI摄像头拓展坞的发热,减少视频会议画面的干扰。
Description
技术领域
本申请各实施例属拓展坞及会议信息的电数字数据处理技术领域,尤其涉及一种基于AI摄像头拓展坞的远程会议方法与AI摄像头拓展坞。
背景技术
AI摄像头拓展坞通常包括USB转接模块、AI摄像头模块、电源管理模块以及HDMI转接模块等功能模块。多人会议时,USB转接模块可以满足多个用户的个人终端的连接需求,HDMI转接模块可以连接显示器,AI摄像头可以对所有参会人员进行人脸追踪。其中,人脸追踪可以在显示器画面中同时显示多个人的脸部信息,并进行实时监控和分析,从而帮助会议主持人全面掌握参会人员的情况,利于进行远程视频会议的主持控制。通常情况下,多人会议一般都会耗时较长,从而使得拓展坞功耗较大,容易产生过热问题。另外,拓展坞较小的产品体积内集成了多个模块,也会使得拓展坞容易热量汇集,产生过热现象。尤其是对所有参会人员进行人脸追踪,需要进行高分辨率的图像处理以及高帧率的视频处理,高分辨率的图像处理通常需要消耗大量计算资源和能量,使得拓展坞的电源发热较大,而高帧率的视频处理需要更快的数据传输和处理速度,增大拓展坞的处理器的负载,造成电源发热较大。拓展坞一旦发生过热问题,其内部的各个模块之间容易产生电流噪声干扰和地线干扰,这些干扰信号在视频信号传输时,会通过HDMI接口干扰到显示器,导致画面闪烁,影响会议质量。
综上所述,现有技术中,AI摄像头拓展坞存在功耗较大、发热严重以及视频会议画面容易受到干扰等技术问题。
发明内容
针对上述现有技术存在的不足,本申请提供一种基于AI摄像头拓展坞的远程会议方法,以降低AI摄像头拓展坞的功耗,减少AI摄像头拓展坞的发热,减少视频会议画面的干扰。
第一方面,本申请提供一种基于AI摄像头拓展坞的远程会议方法,包括:
步骤S101、控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理;
步骤S102、配置监测的间隔时长,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较;
步骤S103、在所述功能模块的功耗信息没有超过所述预设功耗阈值时,执行步骤S101;在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理。
第二方面,本申请提供一种基于AI摄像头拓展坞的远程会议装置,包括:
全员人脸追踪控制模块,用于控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理;
功耗监测比较模块,用于配置监测的间隔时长,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较;
追踪选择模块,用于在所述功能模块的功耗信息没有超过所述预设功耗阈值时,运行所述全员人脸追踪控制模块;在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理。
第三方面,本申请提供一种AI摄像头拓展坞,包括MCU和存储器,所述存储器储存程序模块,其特征在于,所述程序模块在所述MCU中运行实现上述任一项所述的基于AI摄像头拓展坞的远程会议方法。
第四方面,本申请提高一种基于AI摄像头拓展坞的远程会议系统,包括拓展坞,所述拓展坞搭载AI摄像头和麦克风阵列;所述基于AI摄像头拓展坞的远程会议系统运行上述任一项所述的基于AI摄像头拓展坞的远程会议方法。
本申请与现有技术相比,其有益效果如下:
本申请提供一种基于AI摄像头拓展坞的远程会议方法与AI摄像头拓展坞,通过控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理,再通过配置监测的间隔时长,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较,在所述功能模块的功耗信息没有超过所述预设功耗阈值时,继续进行全员人脸追踪控制,在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理,从而既不影响会议开始一段时间内的全员显示,也可以避免长时间开会和进行全员人脸追踪带来的功耗升高问题,信号干扰问题,实现降低AI摄像头拓展坞的功耗,减少AI摄像头拓展坞的发热,减少视频会议画面的干扰。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分,本领域技术人员应该理解的是,这些附图未必是按比例绘制的,在附图中:
图1是本申请基于AI摄像头拓展坞的远程会议方法的一种流程示意图;
图2是本申请基于AI摄像头拓展坞的远程会议系统的一种架构示意图;
图3是本申请基于AI摄像头拓展坞的远程会议装置的一种架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
实施例一
参见图1-图2,本实施例提供一种基于AI摄像头拓展坞的远程会议方法,包括步骤S101、步骤S102以及步骤S103。其中,步骤S101、步骤S102以及步骤S103在基于AI摄像头拓展坞的远程会议系统中运行,通过控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理,再通过配置监测的间隔时长,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较,在所述功能模块的功耗信息没有超过所述预设功耗阈值时,继续进行全员人脸追踪控制,在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理,从而既不影响会议开始一段时间内的全员显示,也可以避免长时间开会和进行全员人脸追踪带来的功耗升高问题,信号干扰问题,实现降低AI摄像头拓展坞的功耗,减少AI摄像头拓展坞的发热,减少视频会议画面的干扰。基于AI摄像头拓展坞的远程会议系统包括拓展坞,所述拓展坞搭载AI摄像头和麦克风阵列,基于AI摄像头拓展坞的远程会议系统与远程会议服务器连接通信,配合远程会议服务器共同实现远程视频会议的控制。
步骤S101、基于AI摄像头拓展坞的远程会议系统控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理。其中,步骤S101可以优选包括以下步骤:
基于AI摄像头拓展坞的远程会议系统控制拓展坞的AI摄像头对第个会议成员进行人脸追踪,追踪算法为:
其中,表示第/>个会议成员在时间/>的位置,/>表示第/>个会议成员在时间/>的速度,/>表示时间间隔;
基于AI摄像头拓展坞的远程会议系统通过第个会议成员在时间/>的位置/>、第/>个会议成员在时间/>的速度/>以及时间间隔/>,捕捉第/>个会议成员的人脸进行计算以得到第/>个会议成员的图像信息;
基于AI摄像头拓展坞的远程会议系统通过第个会议成员的图像信息计算出M个会议成员的图像信息;
基于AI摄像头拓展坞的远程会议系统将所述M个会议成员的图像信息传输至远程会议服务器进行会议全员显示控制处理。
需要说明的是,M个会议成员可以指全部参与远程视频会议的成员。在会议开始之初,通过步骤S101进行会议全员显示控制处理,由于拓展坞还没开始长时间运行,此时对M个会议成员进行人脸追踪,不会在内部集聚大量热量,同时可以帮助会议主持人全面掌握参会人员的情况,利于进行远程视频会议的主持控制。
还需要说明的是,第个会议成员在时间/>的速度,可以通过AI摄像头的人体识别和跟踪功能,识别出会议室中的每一个参会人员,并记录其位置和移动轨迹,并记录其时间戳,将这些数据传输至拓展坞,以计算出第/>个会议成员在时间/>的速度。
步骤S102、基于AI摄像头拓展坞的远程会议系统配置监测的间隔时长,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较。其中,步骤S102可以优选包括以下步骤:
基于AI摄像头拓展坞的远程会议系统配置所述监测的间隔时长,所述监测的间隔时长满足时间设定公式的约束,所述时间设定公式为:
其中,是第/>段时间的长度,T是设定的总会议时间,N是设定的总会议时间分段的总段数,/>和N均为正整数;
经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较。
需要说明的是,在多人的远程会议中,随着会议时间的推移,拓展坞内功能模块的功耗随之增大,容易使得拓展坞热量汇集,产生过热现象,在内部的各个功能模块之间产生电流噪声干扰和地线干扰,这些干扰信号在视频信号传输时,会通过HDMI接口干扰到显示器,导致画面闪烁,影响会议质量。本实施例中,通过设定的总会议时间T,将总时间T分为N个时间分段,每一个时间分段的长度按照二次函数逐渐减小,从而控制监测的间隔时长不断缩短,提升对拓展坞内功能模块的功耗信息的获取频率,以配合后续步骤S103对人脸追踪的范围进行合理选择,从而减小拓展坞内部的热量汇集,减少内部的各个功能模块之间产生的电流噪声干扰和地线干扰,提升显示器画面质量。
举例说明,假设设定的总会议时间T为60分钟,将总时间60分钟分为5个时间分段,则按照时间设定公式可以得到=48分钟,/> =28.8分钟,/> =14.4分钟,/>=4.8分钟,/> =0分钟。可见,监测的间隔时长/>随着时间推移不断缩短。
在一些优选实施例中,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较,可以包括以下步骤:获取拓展坞内USB转接模块的功耗信息与针对所述USB转接模块的预设功耗阈值进行比较;获取拓展坞内AI摄像头模块的功耗信息与针对所述AI摄像头模块的预设功耗阈值进行比较;获取拓展坞内电源管理模块的功耗信息与针对所述电源管理模块的预设功耗阈值进行比较;获取拓展坞内HDMI转接模块的功耗信息与针对所述HDMI转接模块的预设功耗阈值进行比较。
需要说明的是,拓展坞内容易产生功耗的功能模块主要包括USB转接模块、AI摄像头模块、电源管理模块以及HDMI转接模块,通过分别采集这些功能模块的功耗信息与相应的预设功耗阈值进行比较,从而可以对每个功能模块的功耗情况进行监控,以便配合后续步骤S103对人脸追踪的范围进行合理选择,从而减小拓展坞内部的热量汇集,减少内部的各个功能模块之间产生的电流噪声干扰和地线干扰,提升显示器画面质量。
在一些改进实施例中,由于都对USB转接模块、AI摄像头模块、电源管理模块以及HDMI转接模块进行功耗监测,会占用处理资源,因此,本实施例对此进行进一步的改进,改进方案如下:
获取拓展坞内电源管理模块的功耗信息与针对所述电源管理模块的预设功耗阈值进行比较,在所述电源管理模块的功耗信息大于所述电源管理模块的预设功耗阈值时,获取拓展坞内HDMI转接模块的功耗信息与针对所述HDMI转接模块的预设功耗阈值进行比较,在所述HDMI转接模块的功耗信息大于所述HDMI转接模块的预设功耗阈值时,获取拓展坞内USB转接模块的功耗信息与针对所述USB转接模块的预设功耗阈值进行比较,在所述拓展坞内USB转接模块的功耗信息大于所述USB转接模块的预设功耗阈值时,获取拓展坞内AI摄像头模块的功耗信息与针对所述AI摄像头模块的预设功耗阈值进行比较。
需要说明的是,实践中,电源管理模块由于需要转换电压和控制电流,电源管理模块的功耗比较大,因此发热量相对其他模块较大。HDMI转接模块需要进行高清视频信号的转换和传输,相对于USB转接模块来说,它的功耗和发热量更大。USB转接模块需要进行信号转换和数据传输,功耗也比较大,但是相对于HDMI转接模块来说发热量略小一些。AI摄像头模块需要进行图像传感、处理和识别,也会发热,但是相对于其他模块来说功耗和发热量相对较小。另外,电源管理模块发热严重会间接影响其他模块的正常工作,因此,电源管理模块的功耗监测优先级最高。本实施例中,通过配置不同模块的发热优先级,从而可以有重点有区别的发热监控,节约处理资源。
在一些改进实施例中,可以对拓展坞内的功能模块进行温度调节控制,使其工作在期望的温度范围,具体包括以下步骤:
设温度采样时间为,对功能模块进行温度采样以得到功能模块工作中的实际温度;
根据所述实际温度与期望温度计算出实际温度与期望温度之间的误差;
将误差作为输入值输入温度控制模型以得到温度控制信号值,温度控制信号值用于调控功能模块的温度以使得功能模块的温度接近期望温度;其中,温度控制模型为:
;
其中,表示对功能模块进行温度采样的时间,/>为温度控制模型输出的温度控制信号值;/>是比例系数,/>是积分系数,/>是微分系数,/>、/>、/>通过试验或经验确定。
进一步,获取拓展坞内AI摄像头模块的功耗信息与针对所述AI摄像头模块的预设功耗阈值进行比较,可以包括以下步骤:配置采集拓展坞内AI摄像头模块的功耗信息的采集时长;在所述采集时长内持续采集所述AI摄像头模块的功耗信息,对所述采集时长内采集到的所述AI摄像头模块的功耗信息进行均值求解,以得到所述AI摄像头模块的平均功耗信息;将所述AI摄像头模块的平均功耗信息与针对所述AI摄像头模块的预设功耗阈值进行比较。
需要说明的是,拓展坞内AI摄像头模块进行高分辨率的图像处理和高帧率的视频处理,容易产生大量功耗。例如,人脸追踪通常需要进行高分辨率的图像处理,如特征提取、匹配等操作,而高分辨率的图像处理需要更多的计算资源和能量消耗。又如,人脸追踪需要对连续的视频帧进行高帧率处理,而高帧率的视频处理需要更快的数据传输速度和更快的处理速度,从而会增加处理器的负载。加之人脸追踪需要长时间持续运行,而长时间运行会使得处理器和摄像头模块等组件不断消耗能量,从而会导致拓展坞内部发热较大。另外,AI摄像头模块处理大量的图像和视频数据,其功耗波动较大。例如,当使用高分辨率或高帧率的视频传输时,其功耗会明显增加。本实施例中,通过在所述采集时长内持续采集所述AI摄像头模块的功耗信息,对所述采集时长内采集到的所述AI摄像头模块的功耗信息进行均值求解,以得到所述AI摄像头模块的平均功耗信息,将所述AI摄像头模块的平均功耗信息与针对所述AI摄像头模块的预设功耗阈值进行比较,从而可以得到更为精确的比较结果,以便配合后续步骤S103对人脸追踪的范围进行合理选择,从而减小拓展坞内部的热量汇集,减少内部的各个功能模块之间产生的电流噪声干扰和地线干扰,提升显示器画面质量。
进一步,获取拓展坞内HDMI转接模块的功耗信息与针对所述HDMI转接模块的预设功耗阈值进行比较,可以包括以下步骤:配置采集拓展坞内HDMI转接模块的功耗信息的采集时长;在所述采集时长内持续采集所述HDMI转接模块的功耗信息,对所述采集时长内采集到的所述HDMI转接模块的功耗信息进行均值求解,以得到所述HDMI转接模块的平均功耗信息;将所述HDMI转接模块的平均功耗信息与针对所述HDMI转接模块的预设功耗阈值进行比较。
需要说明的是,HDMI转接模块中的HDMI接口是较为容易受到热量影响的接口,一旦出现故障,将会直接影响到拓展坞的使用效果。例如,HDMI接口可能因为热量的干扰而出现画面闪烁或信号不稳定等问题。另外,HDMI转接模块主要用于信号转换和传输,其功耗波动大小取决于转换的分辨率和刷新率等参数,因此,HDMI转接模块存在功耗波动较大的情况。本实施例中,通过在所述采集时长内持续采集所述HDMI转接模块的功耗信息,对所述采集时长内采集到的所述HDMI转接模块的功耗信息进行均值求解,以得到所述HDMI转接模块的平均功耗信息,将所述HDMI转接模块的平均功耗信息与针对所述HDMI转接模块的预设功耗阈值进行比较,从而可以得到更为精确的比较结果,以便配合后续步骤S103对人脸追踪的范围进行合理选择,从而减小拓展坞内部的热量汇集,减少内部的各个功能模块之间产生的电流噪声干扰和地线干扰,提升显示器画面质量。
在一些改进方案中,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较,可以包括以下步骤:
配置所述监测的间隔时长,所述监测的间隔时长满足时间设定公式的约束,所述时间设定公式为:
其中,是第/>段时间的长度,T是设定的总会议时间,N是设定的总会议时间分段的总段数,/>和N均为正整数;
获取内拓展坞内USB转接模块、AI摄像头模块、电源管理模块以及HDMI转接模块的功耗,以计算/>内的拓展坞整体的平均功耗信息;
将内的拓展坞整体的平均功耗信息与/>内的预设功耗阈值进行比较。
需要说明的是,由于拓展坞内整体的平均功耗可以反映拓展坞的整体发热状态,并且随着会议时间推移,拓展坞内整体的平均功耗处于增加状态,拓展坞的整体发热状态也处于增加状态,这相比单一功能模块的功耗变化更能体现拓展坞的发热情况,因此,本实施例中,通过获取内拓展坞内USB转接模块、AI摄像头模块、电源管理模块以及HDMI转接模块的功耗,以计算/>内的拓展坞整体的平均功耗信息,将/>内的拓展坞整体的平均功耗信息与/>内的预设功耗阈值进行比较,从而可以更为精准便配合后续步骤S103对人脸追踪的范围进行合理选择,从而减小拓展坞内部的热量汇集,减少内部的各个功能模块之间产生的电流噪声干扰和地线干扰,提升显示器画面质量。
步骤S103、基于AI摄像头拓展坞的远程会议系统在所述功能模块的功耗信息没有超过所述预设功耗阈值时,执行步骤S101;在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理。
需要说明的是,基于AI摄像头拓展坞的远程会议系统在所述功能模块的功耗信息没有超过所述预设功耗阈值时,说明拓展坞不会因为功能模块的功耗过大产生过热现象,此时执行步骤S101,即继续控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理,从而实现不影响会议开始一段时间内的全员显示,满足会议主持人全面掌握参会人员的情况,利于进行远程视频会议的主持控制。另外,基于AI摄像头拓展坞的远程会议系统在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理,从而可以避免长时间开会和进行全员人脸追踪带来的功耗升高问题,信号干扰问题,实现降低AI摄像头拓展坞的功耗,减少AI摄像头拓展坞的发热,减少视频会议画面的干扰。同时,对会议发言人进行人脸追踪显示也能起到聚焦作用,而一直对全员进行人脸追踪显示也会给与会人员造成不适,不利于提升用户体验。
需要说明的是,获取麦克风阵列采集的会议发言人的声音信息,可以起到定位的作用,从而确定发言人所在的位置,使得AI摄像头对所述会议发言人进行人脸追踪。需要注意的是,如何通过麦克风阵列采集会议发言人的声音信息进行定位属于现有技术,本实施例不再赘述。
在一些改进实施例中,基于AI摄像头拓展坞的远程会议系统获取麦克风阵列采集的会议发言人的声音信息,如果没有获取到所述声音信息,则持续设定声音获取时间获取麦克风阵列采集的会议发言人的声音信息,如果经过设定声音获取时间仍然没有获取到所述声音信息,则判定当下为休会状态,控制AI摄像头拓展坞进入休眠。
需要说明的是,基于AI摄像头拓展坞的远程会议系统自动判定休会状态,并在休会状态下控制AI摄像头拓展坞进入休眠,停止对与会人员进行人脸追踪,不仅保护用户隐私,减少用户的不舒适感,而且可以让AI摄像头拓展坞减少功耗,减少AI摄像头拓展坞内的热量,以便在会议再度开始时更好执行本申请步骤S101、步骤S102以及步骤S103。
实施例二
参见图2和图3,本实施例提供一种基于AI摄像头拓展坞的远程会议装置,包括:
全员人脸追踪控制模块,用于控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理;
功耗监测比较模块,用于配置监测的间隔时长,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较;
追踪选择模块,用于在所述功能模块的功耗信息没有超过所述预设功耗阈值时,运行所述全员人脸追踪控制模块;在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理。
本实施例中,基于AI摄像头拓展坞的远程会议装置在基于AI摄像头拓展坞的远程会议系统中运行,通过控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理,再通过配置监测的间隔时长,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较,在所述功能模块的功耗信息没有超过所述预设功耗阈值时,继续进行全员人脸追踪控制,在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理,从而既不影响会议开始一段时间内的全员显示,也可以避免长时间开会和进行全员人脸追踪带来的功耗升高问题,信号干扰问题,实现降低AI摄像头拓展坞的功耗,减少AI摄像头拓展坞的发热,减少视频会议画面的干扰。基于AI摄像头拓展坞的远程会议系统包括拓展坞,所述拓展坞搭载AI摄像头和麦克风阵列,基于AI摄像头拓展坞的远程会议系统与远程会议服务器连接通信,配合远程会议服务器共同实现远程视频会议的控制。
另外,AI摄像头拓展坞包括MCU和存储器,所述存储器储存程序模块所述程序模块在所述MCU中运行,可以实现上述实施例中基于AI摄像头拓展坞的远程会议方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种基于AI摄像头拓展坞的远程会议方法,其特征在于,包括:
步骤S101、控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理;
步骤S102、配置监测的间隔时长,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较;
步骤S103、在所述功能模块的功耗信息没有超过所述预设功耗阈值时,执行步骤S101;在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理。
2.如权利要求1所述的基于AI摄像头拓展坞的远程会议方法,其特征在于,步骤S101包括:
控制拓展坞的AI摄像头对第个会议成员进行人脸追踪,追踪算法为:
其中,表示第/>个会议成员在时间/>的位置,/>表示第/>个会议成员在时间/>的速度,/>表示时间间隔;
通过第个会议成员在时间/>的位置/>、第/>个会议成员在时间/>的速度以及时间间隔/>,捕捉第/>个会议成员的人脸进行计算以得到第/>个会议成员的图像信息;
通过第个会议成员的图像信息计算出M个会议成员的图像信息;
将所述M个会议成员的图像信息传输至远程会议服务器进行会议全员显示控制处理。
3.如权利要求1所述的基于AI摄像头拓展坞的远程会议方法,其特征在于,步骤S102包括:
配置所述监测的间隔时长,所述监测的间隔时长满足时间设定公式的约束,所述时间设定公式为:
其中,是第/>段时间的长度,T是设定的总会议时间,N是设定的总会议时间分段的总段数,/>和N均为正整数;
经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较。
4.如权利要求1所述的基于AI摄像头拓展坞的远程会议方法,其特征在于,所述经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较,包括:
获取拓展坞内USB转接模块的功耗信息与针对所述USB转接模块的预设功耗阈值进行比较;
获取拓展坞内AI摄像头模块的功耗信息与针对所述AI摄像头模块的预设功耗阈值进行比较;
获取拓展坞内电源管理模块的功耗信息与针对所述电源管理模块的预设功耗阈值进行比较;
获取拓展坞内HDMI转接模块的功耗信息与针对所述HDMI转接模块的预设功耗阈值进行比较。
5.如权利要求4所述的基于AI摄像头拓展坞的远程会议方法,其特征在于,所述获取麦克风阵列采集的会议发言人的声音信息后包括:
如果没有获取到所述声音信息,则持续设定声音获取时间获取麦克风阵列采集的会议发言人的声音信息,如果经过所述设定声音获取时间仍然没有获取到所述声音信息,则判定当下为休会状态,控制AI摄像头拓展坞进入休眠。
6.如权利要求4所述的基于AI摄像头拓展坞的远程会议方法,其特征在于,所述获取拓展坞内AI摄像头模块的功耗信息与针对所述AI摄像头模块的预设功耗阈值进行比较,包括:
配置采集拓展坞内AI摄像头模块的功耗信息的采集时长;
在所述采集时长内持续采集所述AI摄像头模块的功耗信息,对所述采集时长内采集到的所述AI摄像头模块的功耗信息进行均值求解,以得到所述AI摄像头模块的平均功耗信息;
将所述AI摄像头模块的平均功耗信息与针对所述AI摄像头模块的预设功耗阈值进行比较。
7.如权利要求4所述的基于AI摄像头拓展坞的远程会议方法,其特征在于,所述获取拓展坞内HDMI转接模块的功耗信息与针对所述HDMI转接模块的预设功耗阈值进行比较,包括:
配置采集拓展坞内HDMI转接模块的功耗信息的采集时长;
在所述采集时长内持续采集所述HDMI转接模块的功耗信息,对所述采集时长内采集到的所述HDMI转接模块的功耗信息进行均值求解,以得到所述HDMI转接模块的平均功耗信息;
将所述HDMI转接模块的平均功耗信息与针对所述HDMI转接模块的预设功耗阈值进行比较。
8.一种基于AI摄像头拓展坞的远程会议装置,其特征在于,包括:
全员人脸追踪控制模块,用于控制拓展坞的AI摄像头对M个会议成员进行人脸追踪,以获取会议全员的图像信息传输至远程会议服务器进行会议全员显示控制处理;
功耗监测比较模块,用于配置监测的间隔时长,经过所述间隔时长时,监测拓展坞内功能模块的功耗信息以与预设功耗阈值进行比较;
追踪选择模块,用于在所述功能模块的功耗信息没有超过所述预设功耗阈值时,运行所述全员人脸追踪控制模块;在所述功能模块的功耗信息超过所述预设功耗阈值时,获取麦克风阵列采集的会议发言人的声音信息,如果获取到所述声音信息,则控制AI摄像头对所述会议发言人进行人脸追踪,以获取所述会议发言人的图像信息传输至远程会议服务器进行会议发言人显示控制处理。
9.一种AI摄像头拓展坞,包括MCU和存储器,所述存储器储存程序模块,其特征在于,所述程序模块在所述MCU中运行实现如权利要求1-7任一项所述的基于AI摄像头拓展坞的远程会议方法。
10.一种基于AI摄像头拓展坞的远程会议系统,其特征在于,包括拓展坞,所述拓展坞搭载AI摄像头和麦克风阵列;所述基于AI摄像头拓展坞的远程会议系统运行如权利要求1-7任一项所述的基于AI摄像头拓展坞的远程会议方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310535302.8A CN116489502B (zh) | 2023-05-12 | 2023-05-12 | 基于ai摄像头拓展坞的远程会议方法与ai摄像头拓展坞 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310535302.8A CN116489502B (zh) | 2023-05-12 | 2023-05-12 | 基于ai摄像头拓展坞的远程会议方法与ai摄像头拓展坞 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116489502A true CN116489502A (zh) | 2023-07-25 |
CN116489502B CN116489502B (zh) | 2023-10-31 |
Family
ID=87226895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310535302.8A Active CN116489502B (zh) | 2023-05-12 | 2023-05-12 | 基于ai摄像头拓展坞的远程会议方法与ai摄像头拓展坞 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116489502B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110032324A1 (en) * | 2009-08-07 | 2011-02-10 | Research In Motion Limited | Methods and systems for mobile telepresence |
CN102244762A (zh) * | 2011-06-03 | 2011-11-16 | 深圳市东微智能科技有限公司 | 一种会议系统的摄像跟踪方法及系统 |
JP2014171157A (ja) * | 2013-03-05 | 2014-09-18 | Ricoh Co Ltd | 通信装置及び通信方法 |
US9986360B1 (en) * | 2017-06-23 | 2018-05-29 | Cisco Technology, Inc. | Auto-calibration of relative positions of multiple speaker tracking systems |
CN109309804A (zh) * | 2018-09-29 | 2019-02-05 | 芜湖星途机器人科技有限公司 | 一种智能会议系统 |
CN109474797A (zh) * | 2019-01-04 | 2019-03-15 | 北京快鱼电子股份公司 | 基于全景摄像头和麦克风阵列的会议转录系统 |
CN110648678A (zh) * | 2019-09-20 | 2020-01-03 | 厦门亿联网络技术股份有限公司 | 一种用于具有多麦克风会议的场景识别方法和系统 |
WO2020035080A1 (zh) * | 2018-08-13 | 2020-02-20 | 深圳市冠旭电子股份有限公司 | 一种追踪摄像方法、装置及终端设备 |
CN111263106A (zh) * | 2020-02-25 | 2020-06-09 | 厦门亿联网络技术股份有限公司 | 一种视频会议的画面追踪方法及装置 |
WO2021213158A1 (zh) * | 2020-04-20 | 2021-10-28 | 厦门亿联网络技术股份有限公司 | 一种智能视频会议终端的实时人脸摘要服务的方法及系统 |
CN216017004U (zh) * | 2021-09-08 | 2022-03-11 | 深圳市拔超科技有限公司 | 一种集成ai摄像头的会议设备 |
US20220240042A1 (en) * | 2021-01-22 | 2022-07-28 | Aver Information Inc. | Video conferencing system and method thereof |
CN115298657A (zh) * | 2022-07-05 | 2022-11-04 | 深圳市显盈科技股份有限公司 | 拓展坞电路及usb拓展坞 |
WO2022262134A1 (zh) * | 2021-09-07 | 2022-12-22 | 深圳壹秘科技有限公司 | 图像显示方法、装置、设备及存储介质 |
CN115546877A (zh) * | 2022-11-16 | 2022-12-30 | 深圳市湘凡科技有限公司 | 一种视角调整方法及装置 |
-
2023
- 2023-05-12 CN CN202310535302.8A patent/CN116489502B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110032324A1 (en) * | 2009-08-07 | 2011-02-10 | Research In Motion Limited | Methods and systems for mobile telepresence |
CN102244762A (zh) * | 2011-06-03 | 2011-11-16 | 深圳市东微智能科技有限公司 | 一种会议系统的摄像跟踪方法及系统 |
JP2014171157A (ja) * | 2013-03-05 | 2014-09-18 | Ricoh Co Ltd | 通信装置及び通信方法 |
US9986360B1 (en) * | 2017-06-23 | 2018-05-29 | Cisco Technology, Inc. | Auto-calibration of relative positions of multiple speaker tracking systems |
WO2020035080A1 (zh) * | 2018-08-13 | 2020-02-20 | 深圳市冠旭电子股份有限公司 | 一种追踪摄像方法、装置及终端设备 |
CN109309804A (zh) * | 2018-09-29 | 2019-02-05 | 芜湖星途机器人科技有限公司 | 一种智能会议系统 |
CN109474797A (zh) * | 2019-01-04 | 2019-03-15 | 北京快鱼电子股份公司 | 基于全景摄像头和麦克风阵列的会议转录系统 |
CN110648678A (zh) * | 2019-09-20 | 2020-01-03 | 厦门亿联网络技术股份有限公司 | 一种用于具有多麦克风会议的场景识别方法和系统 |
CN111263106A (zh) * | 2020-02-25 | 2020-06-09 | 厦门亿联网络技术股份有限公司 | 一种视频会议的画面追踪方法及装置 |
WO2021213158A1 (zh) * | 2020-04-20 | 2021-10-28 | 厦门亿联网络技术股份有限公司 | 一种智能视频会议终端的实时人脸摘要服务的方法及系统 |
US20220240042A1 (en) * | 2021-01-22 | 2022-07-28 | Aver Information Inc. | Video conferencing system and method thereof |
WO2022262134A1 (zh) * | 2021-09-07 | 2022-12-22 | 深圳壹秘科技有限公司 | 图像显示方法、装置、设备及存储介质 |
CN216017004U (zh) * | 2021-09-08 | 2022-03-11 | 深圳市拔超科技有限公司 | 一种集成ai摄像头的会议设备 |
CN115298657A (zh) * | 2022-07-05 | 2022-11-04 | 深圳市显盈科技股份有限公司 | 拓展坞电路及usb拓展坞 |
CN115546877A (zh) * | 2022-11-16 | 2022-12-30 | 深圳市湘凡科技有限公司 | 一种视角调整方法及装置 |
Non-Patent Citations (1)
Title |
---|
陈国营;: "远程视频监控系统与视频会议系统统一平台的架构探析", 科技创新导报, no. 06 * |
Also Published As
Publication number | Publication date |
---|---|
CN116489502B (zh) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220279115A1 (en) | Advanced video conferencing systems and methods | |
US9373022B2 (en) | Image processing apparatus, method of processing image, and computer-readable storage medium | |
CN101751209B (zh) | 一种调整屏幕呈现元素的方法及计算机 | |
US10904446B1 (en) | Advanced video conferencing systems and methods | |
CN102999298B (zh) | 一种摄像模组传输图像数据的方法以及计算机 | |
EP3570138A1 (en) | Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system | |
US20110292162A1 (en) | Non-linguistic signal detection and feedback | |
CN104580969A (zh) | 录像帧率调整方法和装置 | |
WO2013013615A1 (zh) | 基于眨眼特征提取的控制方法及基于该方法的拍摄眼镜 | |
CN112380972B (zh) | 一种应用于电视场景的音量调节方法 | |
CN109981964B (zh) | 基于机器人的拍摄方法、拍摄装置及机器人 | |
WO2021253259A1 (en) | Presenter-tracker management in a videoconferencing environment | |
WO2022042671A1 (zh) | 可穿戴设备及其图像信号处理装置 | |
CN116489502B (zh) | 基于ai摄像头拓展坞的远程会议方法与ai摄像头拓展坞 | |
US10965908B1 (en) | Advanced video conferencing systems and methods | |
WO2023231686A9 (zh) | 一种视频处理方法和终端 | |
CN111970484A (zh) | 适于视频监控设备的运维系统和运维方法 | |
CN110177301A (zh) | 一种主动限定观看距离保护视力的电视及其方法 | |
CN211149655U (zh) | 一种人脸检测控制系统 | |
JP5353854B2 (ja) | 遠隔会議装置 | |
CN112545462A (zh) | 一种基于深度学习的睡前活动识别方法及睡眠检测装置 | |
CN107280641B (zh) | 咀嚼侧监测方法、装置、系统和智能可穿戴设备 | |
RU2807472C2 (ru) | Способ определения допустимости признака лица и электронное устройство | |
CN115734088B (zh) | 一种图像果冻效应消除方法及相关装置 | |
CN115499692A (zh) | 一种基于图像处理的数字电视智能控制方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |