CN107277427A - 自动选择摄像头画面的方法、装置及音视频系统 - Google Patents

自动选择摄像头画面的方法、装置及音视频系统 Download PDF

Info

Publication number
CN107277427A
CN107277427A CN201710344454.4A CN201710344454A CN107277427A CN 107277427 A CN107277427 A CN 107277427A CN 201710344454 A CN201710344454 A CN 201710344454A CN 107277427 A CN107277427 A CN 107277427A
Authority
CN
China
Prior art keywords
camera
priority
face
picture
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710344454.4A
Other languages
English (en)
Inventor
陈双龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shizhen Information Technology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Guangzhou Shizhen Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd, Guangzhou Shizhen Information Technology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201710344454.4A priority Critical patent/CN107277427A/zh
Priority to PCT/CN2017/104657 priority patent/WO2018209879A1/zh
Publication of CN107277427A publication Critical patent/CN107277427A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种自动选择摄像头画面的方法,包括:获取每一摄像头的图像数据;对所述每一摄像头的图像数据进行人脸检测,以获取所述每一摄像头的图像数据中的人脸信息;根据人脸信息获取每一所述摄像头的第一优先级;通过每一麦克风获取声源的位置,从而获取每一所述摄像头与声源的距离;根据所述每一摄像头与声源的距离,获取每一所述摄像头的第二优先级;根据所述每一所述摄像头的第一优先级和第二优先级获取最终优先级;将所述最终优先级最高的所述摄像头的图像数据输出以用于显示。相应的,本发明还提供自动选择摄像头画面的装置、音视频系统和智能平板。本发明在音视频会议时,实现自动选择摄像头的拍摄的画面进行显示,提升用户体验。

Description

自动选择摄像头画面的方法、装置及音视频系统
技术领域
本发明涉及通信技术领域,尤其涉及一种自动选择摄像头画面的方法和装置、音视频系统及智能平板。
背景技术
随着科技的发展,大尺寸智能平板(例如50寸以上)已经越来越多的应用于教育、会议等领域。在会议领域,智能平板一些品牌存在多个摄像头的配置,如图1所示,在智能平板的左侧和右侧各安装有1个摄像头201。在进行远程会议时,通常都是固定(左边或者右边)的摄像头或者手动选择其中一个摄像头来获取图像数据,从而进行远程的音视频会议。
尤其,在多人多方远程音视频会议中,会议中的与会人员可能在会议室的不同的位置,如果单纯选择单个摄像头并不能获取所有与会人员的图像数据。通常的作法,人们根据不同的会议情形来手动切换摄像头以选择对应的会议场景,来满足人们对不同会议显示画面的需求。现有的这种切换摄像头的方式,需要人工干预,用户体验较差。
发明内容
本发明实施例的目的是提供一种自动选择摄像头画面的方法和装置、以及音视频系统,在音视频会议中,能够自动选择摄像头画面,使用户更好地了解会议情况,提升用户体验。
为实现上述目的,本发明实施例提供一种自动选择摄像头画面的方法,包括:
获取每一摄像头的图像数据;其中,获取的所述图像数据为所述每一摄像头的实时拍摄的画面图像;
对所述每一摄像头的图像数据进行人脸检测,以获取所述每一摄像头的图像数据中的人脸信息;
根据所述每一摄像头的图像数据对应获取的所述人脸信息,获取每一所述摄像头的第一优先级;
通过每一麦克风确定所述麦克风所对应接收的声源的位置,从而获取每一所述摄像头与所述声源的距离;
根据所述每一摄像头与所述声源位置的距离,获取每一所述摄像头的第二优先级;
根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级;
将所述最终优先级最高的所述摄像头的图像数据输出以用于显示。
与现有技术相比,本发明实施例提供的一种自动选择摄像头画面的方法通过首先获取每一摄像头的图像数据;然后对图像数据进行人脸检测以获取人脸信息,根据所述人脸信息来获取每一所述摄像头的第一优先级;接着,通过每一麦克风来确定声源的位置,根据所述每一摄像头与所述声源位置的距离,获取每一所述摄像头的第二优先级;最后根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级,将所述最终优先级最高的所述摄像头的图像数据输出以用于显示的技术方案,实现了在远程音视频会议中,针对视频会议的需求,基于检测人脸和获取语音位置来自动选择摄像头拍摄的图像进行显示,实现智能实时自动切换摄像头画面,使用户更好地了解会议情况,提升用户体验。
优选的,所述根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级具体包括:
对于每一所述摄像头,将所述第一优先级乘以预置第一权重得到第一乘积值,将所述第二优先级乘以预置第二权重得到第二乘积值;
根据所述第一乘积值和所述第二乘积值的和值得到最终优先级。
作为本发明实施例的优选方案,采用了对第一优先权和的第二优先权分别乘以预置权重值再进行求和的方式来获取最终优先级,能够实现同时考虑人脸检测的识别结果和声源定位结果,同时,该优选方案能够通过调整第一权重和第二权重,来适应用户对会议显示画面的需求,可适应性强,用户体验高。
进一步的,所述根据所述每一摄像头与所述声源位置距离,获取每一所述摄像头的第二优先级包括:
根据所述每一摄像头与所述声源位置距离的大小,对所述每一摄像头进行排序,与所述声源的距离越小的所述摄像头对应获取的第二优先级越高。
作为本发明实施例的进一步方案,设置离声源越近的摄像头的第二优先级越高,使得远程音频时,较多对发言人发言的画面进行显示。
进一步的,所述人脸信息包括人脸个数、人脸面积以及人脸在图像中的位置。
进一步的,所述根据所述每一摄像头的图像数据对应获取的所述人脸信息,获取每一所述摄像头图像数据的第一优先级具体包括:
根据所述每一摄像头的图像数据对应获取的所述人脸个数、所述人脸面积以及所述人脸在图像中的位置分别获取对应的人脸个数分值、人脸面积分值以及人脸在图像中的位置分值;
根据所述每一摄像头的图像数据的所述人脸个数分值、所述人脸面积分值和所述人脸在图像中的位置分值的和值的大小,获取所述每一摄像头的所述第一优先级。
本发明实施例还提供一种自动选择摄像头画面的装置,包括:
图像数据获取单元,用于获取每一摄像头的图像数据;其中,获取的所述图像数据为所述每一摄像头的实时拍摄的画面图像;
人脸信息获取单元,用于对所述每一摄像头的图像数据进行人脸检测,以获取所述每一摄像头的图像数据中的人脸信息;
第一优先级获取单元,用于根据所述每一摄像头的图像数据对应获取的所述人脸信息,获取每一所述摄像头的第一优先级;
声源距离获取单元,用于通过每一麦克风确定所述麦克风所对应接收的声源的位置,从而获取每一所述摄像头与所述声源的距离;
第二优先级获取单元,用于根据所述每一摄像头与所述声源位置的距离,获取每一所述摄像头的第二优先级;
最终优先级获取单元,用于根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级;
输出单元,用于将所述最终优先级最高的所述摄像头的图像数据输出以用于显示。
与现有技术相比,本发明实施例提供的一种自动选择摄像头画面的装置,首先通过图像数据获取单元获取每一摄像头的图像数据;然后通过人脸信息获取单元对图像数据进行人脸检测以获取人脸信息,并通过第一优先级获取单元根据所述人脸信息来获取每一所述摄像头的第一优先级;接着通过声源距离获取单元每一麦克风来确定声源的位置,并通过第二优先级获取单元根据所述每一摄像头与所述声源位置的距离,获取每一所述摄像头的第二优先级;最后通过最终优先级获取单元根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级,并由输出单元将所述最终优先级最高的所述摄像头的图像数据输出以用于显示的技术方案,实现了在远程音视频会议中,针对视频会议的需求,基于检测人脸和获取语音位置来自动选择摄像头拍摄的图像进行显示,实现智能实时自动切换摄像头画面,使用户更好地了解会议情况,提升用户体验。
进一步的,所述最终优先级获取单元具体用于:
对于每一所述摄像头,将所述第一优先级乘以预置第一权重得到第一乘积值,将所述第二优先级乘以预置第二权重得到第二乘积值;
根据所述第一乘积值和所述第二乘积值的和值得到最终优先级。
进一步的,所述第二优先级获取单元用于根据所述每一摄像头与所述声源位置距离,获取每一所述摄像头的第二优先级时,根据所述每一摄像头与所述声源位置距离的大小,对所述每一摄像头进行排序,与所述声源的距离越小的所述摄像头对应获取的第二优先级越高。
相应的,本发明实施例还提供一种音视频系统,包括本发明实施例提供的一种自动选择摄像头画面的装置,还包括:
至少2个摄像头,所述摄像头分别安装于智能平板的左右两侧或上下两侧,用于实时拍摄画面图像;
麦克风,用于接收声源,并确定接收的所述声源的位置。
与现有技术相比,本发明实施例提供的一种音视频系统,一方面通过所述摄像头实时拍摄画面图像,通过所述麦克风接收声源,并确定声源的位置;另一方面通过本发明实施例公开的自动选择摄像头画面的装置,获取所述摄像头实时拍摄的图像数据,对图像数据进行人脸检测获取人脸信息以获取第一优先级,基于所述麦克风所确定的声源位置与摄像头的距离来获取第二优先级,根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级,将所述最终优先级最高的所述摄像头的图像数据输出以用于显示。上述技术方案,实现了在远程音视频会议中,针对视频会议的需求,基于检测人脸和获取语音位置来自动选择摄像头拍摄的图像进行显示,实现智能实时自动切换摄像头画面,使用户更好地了解会议情况,提升用户体验。
相应的,本发明实施例还提供一种智能平板,包括本发明实施例提供的一种音视频系统。
与现有技术相比,本发明实施例提供的一种智能平板,一方面通过所述摄像头实时拍摄画面图像,通过所述麦克风接收声源,并确定声源的位置;另一方面通过本发明实施例公开的自动选择摄像头画面的装置,获取所述摄像头实时拍摄的图像数据,对图像数据进行人脸检测获取人脸信息以获取第一优先级,基于所述麦克风所确定的声源位置与摄像头的距离来获取第二优先级,根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级,将所述最终优先级最高的所述摄像头的图像数据输出以用于显示。上述技术方案,实现了在远程音视频会议中,针对视频会议的需求,基于检测人脸和获取语音位置来自动选择摄像头拍摄的图像进行显示,实现智能实时自动切换摄像头画面,使用户更好地了解会议情况,提升用户体验。
附图说明
图1是一种配置有两个摄像头的大尺寸智能平板的结构示意图;
图2是本发明实施例一提供的一种自动选择摄像头画面的方法的流程示意图;
图3是本发明实施例一提供的一种自动选择摄像头画面的方法的步骤S3的流程示意图;
图4是本发明实施例二提供的一种自动选择摄像头画面的装置的结构示意图;
图5是本发明实施例三提供的一种音视频系统的结构示意图;
图6是本发明实施例四提供的一种智能平板的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图2,图2是本发明实施例一提供的一种自动选择摄像头画面的方法的流程示意图,包括:
S1、获取每一摄像头的图像数据;其中,获取的图像数据为每一摄像头的实时拍摄的画面图像;
S2、对每一摄像头的图像数据进行人脸检测,以获取每一摄像头的图像数据中的人脸信息;
S3、根据每一摄像头的图像数据对应获取的人脸信息,获取每一摄像头的第一优先级;
S4、通过每一麦克风确定麦克风所对应接收的声源的位置,从而获取每一摄像头与声源的距离;
S5、根据每一摄像头与声源位置的距离,获取每一摄像头的第二优先级;
S6、根据每一摄像头的第一优先级和第二优先级获取每一摄像头的最终优先级;
S7、将最终优先级最高的摄像头的图像数据输出以用于显示。
其中,步骤S1中获取的摄像头实时拍摄的图像数据,会与每一摄像头一一对应。
进一步的,步骤S6获取每一摄像头的最终优先级的具体计算过程为:
对于每一摄像头,将第一优先级乘以预置第一权重得到第一乘积值,将第二优先级乘以预置第二权重得到第二乘积值;
根据第一乘积值和第二乘积值的和值得到最终优先级。
本实施例的步骤S6对基于人脸检测获取的第一优先级以及基于声源位置识别获取的第二优先级采取分别乘以对应的权重后相加的方式,能够通过调整预置第一权重和第二权重的来调整第一优先级和第二优先级各占的比重,满足远程会议中的实际需求。另外,对于确定最终优先级的实施方式除上述采用比例值融合相加的优选实施方式,在实际生活中,还可以根据需求,只侧重考虑声源位置所确定的第二优先级作为最终优先级的首要考虑因素,而基于人脸检测所获取的第一优先级作为次要考虑因素,即实现显示画面能够实时显示发言人的画面,当无人发言时,基于人脸检测的结果选择显示的画面。上述实施方式也在本发明的保护范围之内。
步骤S5具体包括:
根据每一摄像头与声源位置距离的大小,对每一摄像头进行排序,与声源的距离越小的摄像头对应获取的第二优先级越高。
通过步骤S5使离声源越近的摄像头对应获取的第二优先级越高,从而使得离声源越近的摄像头的画面被选择作为显示画面显示的可能性越高。
其中,在步骤S2中摄像头的图像进行人脸检测时,通过确定人脸外围矩形框来表示人脸,从而基于人脸外围矩形框来确定人脸个数、人脸面积以及人脸在图像中的位置。这里涉及的具体的人脸检测方法,为本领域技术人员能从现有技术中获取,所以此处不再做赘述。
步骤S3中获取每一摄像头的图像数据中的人脸信息包括获取每一摄像头的图像数据中的人脸个数、人脸面积以及人脸在图像中的位置。对应的,参见图3,图3是本发明实施例一提供的一种自动选择摄像头画面的方法的步骤S3的流程示意图,步骤S3具体包括以下步骤:
S31、根据每一摄像头的图像数据对应获取的人脸个数、人脸面积以及人脸在图像中的位置分别获取对应的人脸个数分值、人脸面积分值以及人脸在图像中的位置分值;
优选的,人脸在图像中的位置设定为人脸的中心位置与当前图像的中心的位置的距离,距离越近,则说明人脸越靠近摄像头的图像中心。通常,为了使显示画面能更好展现会议场面,则对应设定:人脸个数越多,对应的人脸个数分值越高;人脸面积越大,则人脸面积分值越高;人脸在图像中的位置越靠近摄像头图像中心,则人脸在图像中的位置分值越高。
进一步优选,为满足实际显示会议画面中对人脸个数、人脸面积以及人脸在图像中的位置的不同考虑,还可以具体通过在根据人脸个数、所述人脸面积以及人脸在图像中的位置确定对应的人脸个数分值、人脸面积分值以及人脸在图像中的位置分值时,设置对应的权重值来分别调整人脸个数分值、人脸面积分值以及人脸在图像中的位置分值的分值大小,进而影响最终选择显示的摄像头的画面。
S32、根据每一摄像头的图像数据的人脸个数分值、人脸面积分值和人脸在图像中的位置分值的和值的大小,获取每一摄像头的第一优先级。
具体实施时,本实施例首先获取摄像头实时拍摄的图像数据,然后对每一摄像头拍摄的图像数据进行人脸检测,包括检测每一图像中的人脸个数、人脸面积和人脸在图像中的位置,进而获取人脸个数分值、人脸面积分值和人脸在图像中的位置分值;将每一摄像头的图像获得的上述三个分值的和值作为该摄像头对应的第一优先级;接着,获取麦克风所接收声源的位置,进而获取声源位置与每一摄像头的距离,根据每一摄像头与声源位置的距离来获取对应的第二优先级,其中,与声源位置的距离越小,摄像头的第二优先级越高;最后,对于每一摄像头,将第一优先级和第二优先级分别乘以对应的权重值然后求和得到最终优先级,将最终优先级最高的摄像头的图像数据传输到显示画面。
本实施例先通过人脸信息来获取第一优先级,然后通过声源位置与摄像头距离来获取第二优先级的顺序只是一种实施示例,调换先后进行的顺序,或并行进行上述两个步骤的实施例都在本实施例的保护范围之内。
与现有技术相比,本实施例基于人脸检测和声源位置的结果来选取所显示的摄像头的拍摄的画面,实现智能自主切换摄像头画面,满足远程音视频会议的显示需求,减少人工操作,更加智能化、自动化;提高用户体验。
参见图4,图4是本发明实施例二提供的一种自动选择摄像头画面的装置的结构示意图,本实施例具体包括以下结构:
图像数据获取单元11,用于获取每一摄像头的图像数据;其中,获取的图像数据为每一摄像头的实时拍摄的画面图像;
人脸信息获取单元12,用于对每一摄像头的图像数据进行人脸检测,以获取每一摄像头的图像数据中的人脸信息;
第一优先级获取单元13,用于根据每一摄像头的图像数据对应获取的人脸信息,获取每一摄像头的第一优先级;
声源距离获取单元14,用于通过每一麦克风确定麦克风所对应接收的声源的位置,从而获取每一摄像头与声源的距离;
第二优先级获取单元15,用于根据每一摄像头与声源位置的距离,获取每一摄像头的第二优先级;
最终优先级获取单元16,用于根据每一摄像头的第一优先级和第二优先级获取每一摄像头的最终优先级;
输出单元17,用于将最终优先级最高的摄像头的图像数据输出以用于显示。
具体的,最终优先级获取单元16用于:
对于每一摄像头,将第一优先级乘以预置第一权重得到第一乘积值,将第二优先级乘以预置第二权重得到第二乘积值;
根据第一乘积值和第二乘积值的和值得到最终优先级。
本实施例的最终优先级获取单元16对基于人脸检测获取的第一优先级以及基于声源位置识别获取的第二优先级采取分别乘以对应的权重后相加的方式,能够通过调整预置第一权重和第二权重的来调整第一优先级和第二优先级各占的比重,满足远程会议中的实际需求。另外,对于确定最终优先级的实施方式除上述采用比例值融合相加的优选实施方式,在实际生活中,还可以根据需求,只侧重考虑声源位置所确定的第二优先级作为最终优先级的首要考虑因素,而基于人脸检测所获取的第一优先级作为次要考虑因素,即实现显示画面能够实时显示发言人的画面,当无人发言时,基于人脸检测的结果选择显示的画面。上述实施方式也在本发明的保护范围之内。
第二优先级获取单元15用于根据每一摄像头与声源位置距离,获取每一摄像头的第二优先级时,根据每一摄像头与声源位置距离的大小,对每一摄像头进行排序,与声源的距离越小的摄像头对应获取的第二优先级越高。
通过第二优先级获取单元15使离声源越近的摄像头对应获取的第二优先级越高,从而使得离声源越近的摄像头的画面被选择作为显示画面显示的可能性越高。
其中,在人脸信息获取单元12用于对摄像头的图像进行人脸检测时,通过确定人脸外围矩形框来表示人脸,从而基于人脸外围矩形框来确定人脸个数、人脸面积以及人脸在图像中的位置。这里涉及的具体的人脸检测方法,为本领域技术人员能从现有技术中获取,所以此处不再做赘述。
人脸信息获取单元12获取的每一摄像头的图像数据中的人脸信息包括人脸个数、人脸面积以及人脸在图像中的位置。
第一优先级获取单元13具体用于:
根据每一摄像头的图像数据对应获取的人脸个数、人脸面积以及人脸在图像中的位置分别获取对应的人脸个数分值、人脸面积分值以及人脸在图像中的位置分值;
优选的,人脸在图像中的位置设定为人脸的中心位置与当前图像的中心的位置的距离,距离越近,则说明人脸越靠近摄像头的图像中心。通常,为了使显示画面能更好展现会议场面,则对应设定:人脸个数越多,对应的人脸个数分值越高;人脸面积越大,则人脸面积分值越高;人脸在图像中的位置越靠近摄像头图像中心,则人脸在图像中的位置分值越高。
进一步优选,为满足实际显示会议画面中对人脸个数、人脸面积以及人脸在图像中的位置的不同考虑,还可以具体通过在根据人脸个数、人脸面积以及人脸在图像中的位置确定对应的人脸个数分值、人脸面积分值以及人脸在图像中的位置分值时,设置对应的权重值来分别调整人脸个数分值、人脸面积分值以及人脸在图像中的位置分值的分值大小,进而影响最终选择显示的摄像头的画面。
根据每一摄像头的图像数据的人脸个数分值、人脸面积分值和人脸在图像中的位置分值的和值的大小,获取每一摄像头的第一优先级。
具体实施时,本实施例首先通过图像数据获取单元11获取摄像头实时拍摄的图像数据,然后通过人脸信息获取单元12对每一摄像头拍摄的图像数据进行人脸检测,包括检测每一图像中的人脸个数、人脸面积和人脸在图像中的位置,进而通过第一优先级获取单元13获取人脸个数分值、人脸面积分值和人脸在图像中的位置分值,将每一摄像头的图像获得的上述三个分值的和值作为该摄像头对应的第一优先级;接着,通过声源距离获取单元14获取麦克风所接收声源的位置,进而获取声源位置与每一摄像头的距离,通过第二优先级获取单元15根据每一摄像头与声源位置的距离来获取对应的第二优先级,其中,与声源位置的距离越小,摄像头的第二优先级越高;最后,通过最终优先级获取单元16对于每一摄像头,将第一优先级和第二优先级分别乘以对应的权重值然后求和得到最终优先级,有输出单元17将最终优先级最高的摄像头的图像数据输出以用于显示。
本实施例二先通过人脸信息来获取第一优先级,然后通过声源位置与摄像头距离来获取第二优先级的顺序只是一种实施示例,调换先后进行的顺序,或并行进行上述两个步骤的实施例都在本实施例的保护范围之内。
与现有技术相比,本实施例基于人脸检测和声源位置的结果来选取所显示的摄像头的拍摄的画面,实现智能自主切换摄像头画面,满足远程音视频会议的显示需求,减少人工操作,更加智能化、自动化;提高用户体验。
本发明实施例三还提供一种音视频系统,参见图5,图5为本发明实施例三的结构示意图,其中,本实施例三包括本发明实施例二提供的一种自动选择摄像头画面的装置1,具体可以见上述本发明实施例二所述的装置内容,此处不做赘述。另外,本实施例三还包括以下结构:
2个摄像头201,摄像头201分别安装于智能平板的左右两侧或上下两侧,用于实时拍摄画面图像;优选的,采用图1中2个摄像头201安装在智能平板的左右两侧的实施方式;此处,图1所示的2个摄像头201在智能平板的安装位置仅仅为一种实施方式,基于本发明实施例的原理,仅仅只是调整摄像头201在智能平板上的安装位置或增加摄像头201的数量的实施方式,也在本发明的保护范围之内。
麦克风202,用于接收声源,并能确定接收的声源的位置。
具体实施时,本实施例首先通过图像数据获取单元11获取摄像头201的图像数据,其中,摄像头的图像为摄像头201实时拍摄的画面图像然后通过人脸信息获取单元12对每一摄像头201拍摄的图像数据进行人脸检测,包括检测每一图像中的人脸个数、人脸面积和人脸在图像中的位置,进而通过第一优先级获取单元13获取人脸个数分值、人脸面积分值和人脸在图像中的位置分值,将每一摄像头201的图像获得的上述三个分值的和值作为摄像头201对应的第一优先级;接着,通过声源距离获取单元14获取声源的位置,进而获取声源位置与每一摄像头201的距离,其中,声源的位置为麦克风202接收声源,并确定所接收的声源位置所获得;然后,通过第二优先级获取单元15根据每一摄像头201与声源位置的距离来获取对应的第二优先级,其中,与声源位置的距离越小,摄像头201的第二优先级越高;最后,通过最终优先级获取单元16对于每一摄像头201,将第一优先级和第二优先级分别乘以对应的权重值然后求和得到最终优先级,由输出单元17将最终优先级最高的摄像头201的图像数据传输到显示画面。
与现有技术相比,本实施例一种音视频系统能够基于人脸检测和声源位置的结果来选取所显示的摄像头的拍摄的画面,实现智能自主切换摄像头画面,满足远程音视频会议的显示需求,减少人工操作,更加智能化、自动化;提高用户体验。
本发明实施例四提供一种智能平板,参见图6,图6为本发明实施例四的结构示意图,其中,本实施例四包括本发明实施例三提供的一种音视频系统,具体可以见上述本发明实施例三所述的音视频系统装置的内容,此处不做赘述。
具体实施时,本实施例首先通过图像数据获取单元11获取摄像头201的图像数据,其中,摄像头的图像为摄像头201实时拍摄的画面图像然后通过人脸信息获取单元12对每一摄像头201拍摄的图像数据进行人脸检测,包括检测每一图像中的人脸个数、人脸面积和人脸在图像中的位置,进而通过第一优先级获取单元13获取人脸个数分值、人脸面积分值和人脸在图像中的位置分值,将每一摄像头201的图像获得的上述三个分值的和值作为摄像头201对应的第一优先级;接着,通过声源距离获取单元14获取声源的位置,进而获取声源位置与每一摄像头201的距离,其中,声源的位置为麦克风202接收声源,并确定所接收的声源位置所获得;然后,通过第二优先级获取单元15根据每一摄像头201与声源位置的距离来获取对应的第二优先级,其中,与声源位置的距离越小,摄像头201的第二优先级越高;最后,通过最终优先级获取单元16对于每一摄像头201,将第一优先级和第二优先级分别乘以对应的权重值然后求和得到最终优先级,由输出单元17将最终优先级最高的摄像头201的图像数据传输到显示画面。
与现有技术相比,本实施例一种智能平板能够基于人脸检测和声源位置的结果来选取所显示的摄像头的拍摄的画面,实现智能自主切换摄像头画面,满足远程音视频会议的显示需求,减少人工操作,更加智能化、自动化;提高用户体验。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种自动选择摄像头画面的方法,其特征在于,包括:
获取每一摄像头的图像数据;其中,获取的所述图像数据为所述每一摄像头实时拍摄的画面图像;
对所述每一摄像头的图像数据进行人脸检测,以获取所述每一摄像头的图像数据中的人脸信息;
根据所述每一摄像头的图像数据对应获取的所述人脸信息,获取每一所述摄像头的第一优先级;
通过每一麦克风确定所述麦克风所对应接收的声源的位置,从而获取每一所述摄像头与所述声源的距离;
根据所述每一摄像头与所述声源位置的距离,获取每一所述摄像头的第二优先级;
根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级;
将所述最终优先级最高的所述摄像头的图像数据输出以用于显示。
2.如权利要求1所述的一种自动选择摄像头画面的方法,其特征在于,所述根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级具体包括:
对于每一所述摄像头,将所述第一优先级乘以预置第一权重得到第一乘积值,将所述第二优先级乘以预置第二权重得到第二乘积值;
根据所述第一乘积值和所述第二乘积值的和值得到最终优先级。
3.如权利要求1所述的一种自动选择摄像头画面的方法,其特征在于,所述根据所述每一摄像头与所述声源位置距离,获取每一所述摄像头的第二优先级包括:
根据所述每一摄像头与所述声源位置距离的大小,对所述每一摄像头进行排序,与所述声源的距离越小的所述摄像头对应获取的第二优先级越高。
4.如权利要求1所述的一种自动选择摄像头画面的方法,其特征在于,所述人脸信息包括获取人脸个数、人脸面积以及人脸在图像中的位置。
5.如权利要求4所述的一种自动选择摄像头画面的方法,其特征在于,所述根据所述每一摄像头的图像数据对应获取的所述人脸信息,获取每一所述摄像头图像数据的第一优先级具体包括:
根据所述每一摄像头的图像数据对应获取的所述人脸个数、所述人脸面积以及所述人脸在图像中的位置分别获取对应的人脸个数分值、人脸面积分值以及人脸在图像中的位置分值;
根据所述每一摄像头的图像数据的所述人脸个数分值、所述人脸面积分值和所述人脸在图像中的位置分值的和值的大小,获取所述每一摄像头的所述第一优先级。
6.一种自动选择摄像头画面的装置,其特征在于,包括:
图像数据获取单元,用于获取每一摄像头的图像数据;其中,获取的所述图像数据为所述每一摄像头的实时拍摄的画面图像;
人脸信息获取单元,用于对所述每一摄像头的图像数据进行人脸检测,以获取所述每一摄像头的图像数据中的人脸信息;
第一优先级获取单元,用于根据所述每一摄像头的图像数据对应获取的所述人脸信息,获取每一所述摄像头的第一优先级;
声源距离获取单元,用于通过每一麦克风确定所述麦克风所对应接收的声源的位置,从而获取每一所述摄像头与所述声源的距离;
第二优先级获取单元,用于根据所述每一摄像头与所述声源位置的距离,获取每一所述摄像头的第二优先级;
最终优先级获取单元,用于根据所述每一摄像头的所述第一优先级和所述第二优先级获取所述每一摄像头的最终优先级;
输出单元,用于将所述最终优先级最高的所述摄像头的图像数据输出以用于显示。
7.如权利要求6所述的一种自动选择摄像头画面的装置,其特征在于,所述最终优先级获取单元具体用于:
对于每一所述摄像头,将所述第一优先级乘以预置第一权重得到第一乘积值,将所述第二优先级乘以预置第二权重得到第二乘积值;
根据所述第一乘积值和所述第二乘积值的和值得到最终优先级。
8.如权利要求6所述的一种自动选择摄像头画面的装置,其特征在于,所述第二优先级获取单元用于根据所述每一摄像头与所述声源位置距离,获取每一所述摄像头的第二优先级时,根据所述每一摄像头与所述声源位置距离的大小,对所述每一摄像头进行排序,与所述声源的距离越小的所述摄像头对应获取的第二优先级越高。
9.一种音视频系统,其特征在于,包括如权利要求6~8任一项所述的一种自动选择摄像头画面的装置,还包括:
至少2个摄像头,所述摄像头分别安装于智能平板的左右两侧或上下两侧,用于实时拍摄画面图像;
麦克风,用于接收声源,并确定接收的所述声源的位置。
10.一种智能平板,其特征在于,包括权利要求9所述的音视频系统。
CN201710344454.4A 2017-05-16 2017-05-16 自动选择摄像头画面的方法、装置及音视频系统 Pending CN107277427A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710344454.4A CN107277427A (zh) 2017-05-16 2017-05-16 自动选择摄像头画面的方法、装置及音视频系统
PCT/CN2017/104657 WO2018209879A1 (zh) 2017-05-16 2017-09-29 自动选择摄像头画面的方法、装置及音视频系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710344454.4A CN107277427A (zh) 2017-05-16 2017-05-16 自动选择摄像头画面的方法、装置及音视频系统

Publications (1)

Publication Number Publication Date
CN107277427A true CN107277427A (zh) 2017-10-20

Family

ID=60064007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710344454.4A Pending CN107277427A (zh) 2017-05-16 2017-05-16 自动选择摄像头画面的方法、装置及音视频系统

Country Status (2)

Country Link
CN (1) CN107277427A (zh)
WO (1) WO2018209879A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844774A (zh) * 2017-11-10 2018-03-27 广州视源电子科技股份有限公司 图像显示的选择方法、装置、智能终端及存储介质
CN108197554A (zh) * 2017-12-28 2018-06-22 努比亚技术有限公司 一种摄像头启动方法、移动终端和计算机可读存储介质
CN108900787A (zh) * 2018-06-20 2018-11-27 广州视源电子科技股份有限公司 图像显示方法、装置、系统及设备、可读存储介质
CN110536097A (zh) * 2018-05-25 2019-12-03 中兴通讯股份有限公司 一种视频控制方法、视频会议终端和多点控制单元mcu
CN110600036A (zh) * 2019-09-24 2019-12-20 随锐科技集团股份有限公司 基于语音识别的会议画面切换装置及其方法
CN110602385A (zh) * 2019-08-28 2019-12-20 深圳怡化电脑股份有限公司 照相机及其使用方法
CN110658967A (zh) * 2019-09-23 2020-01-07 联想(北京)有限公司 一种控制方法、装置及电子设备
CN110858887A (zh) * 2018-08-22 2020-03-03 视联动力信息技术股份有限公司 一种监控数据的播放方法和装置
CN112860198A (zh) * 2021-01-05 2021-05-28 中科创达软件股份有限公司 视频会议的画面切换方法、装置、计算机设备及存储介质
CN113473011A (zh) * 2021-06-29 2021-10-01 广东湾区智能终端工业设计研究院有限公司 一种拍摄方法、系统及存储介质
CN113678179A (zh) * 2020-08-21 2021-11-19 深圳市华思旭科技有限公司 共享充电机柜及其弹出控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395479B (zh) * 2021-06-16 2022-06-24 随锐科技集团股份有限公司 视频会议画面处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040903A1 (en) * 2005-08-17 2007-02-22 Takayoshi Kawaguchi Camera controller and teleconferencing system
CN101685153A (zh) * 2008-09-28 2010-03-31 深圳华为通信技术有限公司 麦克风间距测量方法和装置
CN103237178A (zh) * 2013-03-26 2013-08-07 北京小米科技有限责任公司 切换视频画面的方法、装置和设备
CN104038725A (zh) * 2010-09-09 2014-09-10 华为终端有限公司 多屏视频会议中对与会者图像显示进行调整的方法及装置
CN104219374A (zh) * 2013-06-04 2014-12-17 李旭阳 基于下一代智能手机的人机交互系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180117A (ja) * 2004-12-21 2006-07-06 Funai Electric Co Ltd 放送信号受信システム
KR20120019703A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 디지털 촬영 장치의 제어 방법 및 디지털 촬영 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040903A1 (en) * 2005-08-17 2007-02-22 Takayoshi Kawaguchi Camera controller and teleconferencing system
CN101685153A (zh) * 2008-09-28 2010-03-31 深圳华为通信技术有限公司 麦克风间距测量方法和装置
CN104038725A (zh) * 2010-09-09 2014-09-10 华为终端有限公司 多屏视频会议中对与会者图像显示进行调整的方法及装置
CN103237178A (zh) * 2013-03-26 2013-08-07 北京小米科技有限责任公司 切换视频画面的方法、装置和设备
CN104219374A (zh) * 2013-06-04 2014-12-17 李旭阳 基于下一代智能手机的人机交互系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844774A (zh) * 2017-11-10 2018-03-27 广州视源电子科技股份有限公司 图像显示的选择方法、装置、智能终端及存储介质
CN108197554B (zh) * 2017-12-28 2023-06-02 努比亚技术有限公司 一种摄像头启动方法、移动终端和计算机可读存储介质
CN108197554A (zh) * 2017-12-28 2018-06-22 努比亚技术有限公司 一种摄像头启动方法、移动终端和计算机可读存储介质
CN110536097A (zh) * 2018-05-25 2019-12-03 中兴通讯股份有限公司 一种视频控制方法、视频会议终端和多点控制单元mcu
US11973812B2 (en) 2018-05-25 2024-04-30 Xi'an Zhongxing New Software Co., Ltd. Video control method, video conference terminal and multi-point control unit (MCU)
CN108900787A (zh) * 2018-06-20 2018-11-27 广州视源电子科技股份有限公司 图像显示方法、装置、系统及设备、可读存储介质
WO2019242207A1 (zh) * 2018-06-20 2019-12-26 广州视源电子科技股份有限公司 图像显示方法、装置、系统及设备、可读存储介质
CN108900787B (zh) * 2018-06-20 2021-06-04 广州视源电子科技股份有限公司 图像显示方法、装置、系统及设备、可读存储介质
CN110858887A (zh) * 2018-08-22 2020-03-03 视联动力信息技术股份有限公司 一种监控数据的播放方法和装置
CN110602385A (zh) * 2019-08-28 2019-12-20 深圳怡化电脑股份有限公司 照相机及其使用方法
CN110658967A (zh) * 2019-09-23 2020-01-07 联想(北京)有限公司 一种控制方法、装置及电子设备
CN110600036A (zh) * 2019-09-24 2019-12-20 随锐科技集团股份有限公司 基于语音识别的会议画面切换装置及其方法
CN113678179A (zh) * 2020-08-21 2021-11-19 深圳市华思旭科技有限公司 共享充电机柜及其弹出控制方法
CN112860198B (zh) * 2021-01-05 2024-02-09 中科创达软件股份有限公司 视频会议的画面切换方法、装置、计算机设备及存储介质
CN112860198A (zh) * 2021-01-05 2021-05-28 中科创达软件股份有限公司 视频会议的画面切换方法、装置、计算机设备及存储介质
CN113473011A (zh) * 2021-06-29 2021-10-01 广东湾区智能终端工业设计研究院有限公司 一种拍摄方法、系统及存储介质

Also Published As

Publication number Publication date
WO2018209879A1 (zh) 2018-11-22

Similar Documents

Publication Publication Date Title
CN107277427A (zh) 自动选择摄像头画面的方法、装置及音视频系统
US11418758B2 (en) Multiple simultaneous framing alternatives using speaker tracking
CN101534413B (zh) 一种远程呈现的系统、装置和方法
US8860775B2 (en) Remote presenting system, device, and method
CN108076307B (zh) 基于ar的视频会议系统和基于ar的视频会议方法
US20090315974A1 (en) Video conferencing device for a communications device and method of manufacturing and using the same
CN207443029U (zh) 一种基于语音跟踪的全景视频录制设备
CN106161985B (zh) 一种浸入式视频会议的实现方法
US11076127B1 (en) System and method for automatically framing conversations in a meeting or a video conference
US11601731B1 (en) Computer program product and method for auto-focusing a camera on an in-person attendee who is speaking into a microphone at a hybrid meeting that is being streamed via a videoconferencing system to remote attendees
CN109873973A (zh) 会议终端和会议系统
CN110083250A (zh) 一种支持手语在线翻译的无障碍会议系统
CN102724604A (zh) 一种视频会议的声音处理方法
CN108063910A (zh) 用于视频会议系统中的摄像机底座及其方法
US10979666B2 (en) Asymmetric video conferencing system and method
CN108933914A (zh) 一种使用移动终端进行视频会议的方法及系统
JP2009089324A (ja) テレビ会議システムおよびプログラム、記録媒体
CN106791681A (zh) 视频监控和人脸识别方法、装置及系统
JP2004118314A (ja) 発話者検出システムおよびそれを用いたテレビ会議システム
CN103581603B (zh) 一种多媒体数据的传输方法及电子设备
CN108718402A (zh) 视频会议管理方法及装置
TW202231050A (zh) 視訊會議系統與方法
CN107124590A (zh) 基于声源定向的全景视频压缩方法、存储介质及摄像机
CN115134556A (zh) 一种远程视频会议系统
CN105282481B (zh) 视频会议处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171020