CN114679647A - 无线麦拾音距离的确定方法、装置、设备及可读存储介质 - Google Patents
无线麦拾音距离的确定方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114679647A CN114679647A CN202210595548.XA CN202210595548A CN114679647A CN 114679647 A CN114679647 A CN 114679647A CN 202210595548 A CN202210595548 A CN 202210595548A CN 114679647 A CN114679647 A CN 114679647A
- Authority
- CN
- China
- Prior art keywords
- information
- wireless microphone
- frame
- distance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明提供了一种无线麦拾音距离的确定方法、装置、设备及可读存储介质,涉及电子信息技术领域,包括获取第一信息和第二信息,所述第一信息包括至少一帧教室内摄像头获取到的历史图像信息,所述第二信息为无线麦采集到的历史声音信息;将所述第一信息发送至图像处理模块,得到第三信息,所述第三信息为无线麦与无线麦使用者嘴唇的距离信息;将所述第二信息发送至信噪比计算模块,得到第四信息,所述第四信息为无线麦的信噪比信息;基于所述第三信息和所述第四信息确定无线麦的拾音距离。本发明通过对历史图像进行图像识别和距离转化,快速精确的确定无线麦的拾音距离。
Description
技术领域
本发明涉及电子信息技术领域,具体而言,涉及一种无线麦拾音距离的确定方法、装置、设备及可读存储介质。
背景技术
目前市面上的无线麦五花八门,大家主要是针对无线的传输方式来作为研究的方向,由于现在的无线麦克风广泛的被运用到学校的教学过程中,设备使用者和管理者在这一过程中经常会遇到一些痛点。
市面上无线麦的灵敏度都比较低,而且无线麦根据声音发出点的距离与无线麦本身的间距不同,发出的声音差别极大,企业开会或者老师授课时,讲话者的使用习惯和音量大小都不同,导致企业员工听不清楚,很多老师上课录制下来的声音都是无声或者音量非常小。上课的老师和企业的讲话者在说话时,不清楚无线麦到底距离多远才是拾音效果做好的,上课注意力都是课程的内容上,没办法一直想着拾音的安全距离,导致上课老师和管理老师都很头疼;因此,如何快速的确定无线麦使用距离,并基于无线麦的使用距离来提醒老师,是当前亟需解决的问题。
发明内容
本发明的目的在于提供一种无线麦拾音距离的确定方法、装置、设备及可读存储介质,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
第一方面,本申请提供了一种无线麦拾音距离的确定方法,包括:获取第一信息和第二信息,所述第一信息包括至少一帧教室内摄像头获取到的历史图像信息,所述第二信息为无线麦采集到的历史声音信息;将所述第一信息发送至图像处理模块,得到第三信息,所述第三信息为无线麦与无线麦使用者嘴唇的距离信息;将所述第二信息发送至信噪比计算模块,得到第四信息,所述第四信息为无线麦的信噪比信息;基于所述第三信息和所述第四信息确定无线麦的拾音距离。
第二方面,本申请还提供了一种无线麦拾音距离的确定装置,包括:第一获取单元,用于获取第一信息和第二信息,所述第一信息包括至少一帧教室内摄像头获取到的历史图像信息,所述第二信息为无线麦采集到的历史声音信息;第一处理单元,用于将所述第一信息发送至图像处理模块,得到第三信息,所述第三信息为无线麦与无线麦使用者嘴唇的距离信息;计算单元,用于将所述第二信息发送至信噪比计算模块,得到第四信息,所述第四信息为无线麦的信噪比信息;第二处理单元,用于基于所述第三信息和所述第四信息确定无线麦的拾音距离。
第三方面,本申请还提供了一种无线麦拾音距离的确定设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现所述无线麦拾音距离的确定方法的步骤。
第四方面,本申请还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于无线麦拾音距离的确定方法的步骤。
本发明的有益效果为:
1、本发明可以根据使用者历史使用无线麦的视频或者图像,来确定无线麦与使用者嘴唇的距离,并同时计算在该时间段无线麦的信噪比,以此来确定使用者对应在不同距离下无线麦的信噪比,进而确定一个使用距离的范围,在大于该距离时无线麦可以提醒使用者无线麦与使用者发音处的距离太长,从而提醒老师或者企业讲话人员,调整与无线麦的间距,使得学生或员工能够更加清楚地听到讲话的内容。
2、本发明通过图像识别处理,自动识别无线麦与使用者嘴唇位置,以此来确定所有目标嘴唇中的使用者的嘴唇是哪一个目标,并且本发明还通过聚类算法来减少距离计算的误差,增加距离计算的鲁棒性,高效精确的确定无线麦与使用者发音处的间距。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的无线麦拾音距离的确定方法流程示意图;
图2为本发明实施例中所述的无线麦拾音距离的确定装置结构示意图;
图3为本发明实施例中所述的无线麦拾音距离的确定设备结构示意图。
图中标记:701、第一获取单元;702、第一处理单元;703、计算单元;704、第二处理单元;7021、第一处理子单元;7022、第二处理子单元;7023、第一识别子单元;7024、第一聚类子单元;70231、第二识别子单元;70232、第三识别子单元;70233、第三处理子单元;70234、判断子单元;70241、第四处理子单元;70242、第五处理子单元;70243、第二聚类子单元;70244、第六处理子单元;7041、第七处理子单元;7042、第八处理子单元;705、第二获取单元;706、第一发送单元;707、第二发送单元;800、无线麦拾音距离的确定设备;801、处理器;802、存储器;803、多媒体组件;804、I/O接口;805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1
如图1所示,本实施例提供了一种无线麦拾音距离的确定方法,其所述方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S1、获取第一信息和第二信息,所述第一信息包括至少一帧教室内摄像头获取到的历史图像信息,所述第二信息为无线麦采集到的历史声音信息;
可以理解的是本发明通过输入使用者的历史视频、图像和无线麦采集到的历史声音信息,来为接下来的确定距离做准备,所述摄像头可以为教室内的摄像头,也可为录制视频自带的摄像头。
可以理解的是上述教室还可以为会议室,办公室等使用无线麦的室内场所。
步骤S2、将所述第一信息发送至图像处理模块,得到第三信息,所述第三信息为无线麦与无线麦使用者嘴唇的距离信息;
可以理解的是本发明还可以在使用者的历史图像进行识别时,没有识别到无线麦的时候,则获取正在识别图像的上一帧图像,重复进行识别,直至识别到无线麦的图像,并将这一帧图像发送至管理人员的通讯设备,提示这帧图像上的使用者为最后一个使用无线麦的人员。
可以理解的是本发明还可以识别无线麦的位置信息与无线麦的充电接口信息,进而判断无线麦是否正在充电,或者直接识别无线麦的充电信号灯是否常亮,若无线麦的充电信号灯常亮,则判断无线麦正在充电,如果无线麦没有正在充电,则判断所述无线麦是否正在使用,如所述无线麦没有使用,则将所述无线麦的位置信息发送至管理人员的通讯设备,并提示管理人员进行充电。
步骤S3、将所述第二信息发送至信噪比计算模块,得到第四信息,所述第四信息为无线麦的信噪比信息;
可以理解的是本发明通过无线麦采集到的历史声音来确定无线麦的信噪比信息,其中所述历史声音为在摄像头采集使用者的历史图像时,无线麦同时采集到的历史声音,因此可以基于历史图像确定其对应时刻无线麦的信噪比。
步骤S4、基于所述第三信息和所述第四信息确定无线麦的拾音距离。
可以理解的是本发明可以通过历史图像确定其对应时刻无线麦的信噪比,本发明还可以通过历史图像确定其在该时刻使用者嘴唇与无线麦的距离,因为使用者嘴唇与无线麦的距离是影响无线麦的信噪比的主要因素之一,因此本发明通过第三信息与所述无线麦的信噪比进行一一对应,进而通过判断信噪比是否符合要求的方式来判断无线麦的使用距离是否符合要求。
可以理解的是本发明可以根据使用者历史使用无线麦的视频或者图像,来确定无线麦与使用者嘴唇的距离,并同时计算在该时间段无线麦的信噪比,以此来确定使用者对应在不同距离下无线麦的信噪比,进而确定一个使用距离的范围,在大于该距离时无线麦可以提醒使用者无线麦与使用者嘴唇的距离太长。
可以理解的是本发明通过图像识别处理,自动识别无线麦与使用者嘴唇位置,以此来确定所有目标嘴唇中的使用者的嘴唇是哪一个目标,并且本发明还通过聚类算法来减少距离计算的误差,增加距离计算的鲁棒性,高效精确的确定无线麦与使用者嘴唇的间距。
在本公开的一种具体实施方式中,所述步骤S2包括步骤S21、步骤S22、步骤S23和步骤S24。
步骤S21、将每帧历史图像进行边缘检测,得到教室的边缘信息;
可以理解的是上述步骤通过边缘检测模型对图像信息进行边缘检测,上述历史图像包括教室的平面图和教室的立面图,其中教室的边缘信息为教室内墙壁的夹缝信息、夹角信息和墙壁的墙面信息。
步骤S22、基于所述教室的边缘信息建立三维空间直角坐标系,得到教室的三维空间模型;
可以理解的是上述步骤通过教室的平面图和教室的立面图来将教室的一个底角作为坐标原点,以与所述底角相邻的三条夹缝作为坐标轴,建立一个三维空间直角坐标系,以此来标定教室内所有物体或者人的位置信息。
步骤S23、将每帧历史图像发送至所述教室的三维空间模型进行目标识别,得到第一子信息,所述第一子信息包括每帧历史图像内无线麦的关键点信息和无线麦使用者的嘴唇关键点信息;
步骤S24、将所述第一子信息发送至聚类模块进行距离转化处理,得到第一距离,所述第一距离为每帧历史图像内无线麦与无线麦使用者嘴唇的距离。
可以理解的是本发明通过对历史图像信息进行识别处理,得到无线麦的坐标位置信息和使用者的嘴唇信息,其中通过对手臂和无线麦的运动曲线进行拟合判断,进而判断使用者的嘴唇是图像中哪一个嘴唇,并基于使用者的嘴唇位置与无线麦的位置确定使用者嘴唇与无线麦的间距。
在本公开的一种具体实施方式中,所述步骤S23包括步骤S231、步骤S232、步骤S233和步骤S234。
步骤S231、将每帧历史图像内的所有目标进行框选,并基于所有的框选目标确定无线麦图像和人体图像,得到每帧历史图像中的无线麦图像和人体图像;
可以理解的是本发明通过对历史图像内的目标进行识别,确定所有人体图像和无线麦的图像,因为图像内不仅仅包含有老师,还包含有学生,而且一般不会是一个老师一直使用一个无线麦,因此需要判断是谁正在使用无线麦,所以首先识别每帧历史图像中的无线麦图像和人体图像。
步骤S232、将所有的所述人体图像和所述无线麦图像进行关键点识别,得到每帧历史图像内人体的手臂关键点和每帧历史图像内无线麦的关键点;
可以理解本发明通过对历史图像内的目标进行关键点识别,确定无线麦的位置和所有人体手臂的位置,进而为接下来确定哪个人是使用者做准备,其中所述关键点为包含图像特征的点,例如手臂关键点为包含手臂特征的点。
步骤S233、采用贝塞尔曲线分别对每帧历史图像内人体的手臂关键点和每帧历史图像内无线麦的关键点进行运动轨迹拟合,得到至少一条第一拟合运动曲线和至少一条第二拟合运动曲线,所述第一拟合运动曲线为人体的手臂关键点运动曲线,所述第二拟合运动曲线为无线麦的关键点运动曲线;
可以理解的是本发明通过对手臂关键点和无线麦关键点进行运动轨迹拟合,得到两条轨迹拟合曲线,由于使用者的手臂是和无线麦共同运动,并且运动曲线也一致的,因此可以通过轨迹拟合曲线来判断谁是无线麦的使用者。
步骤S214、判断每帧历史图像对应的第一拟合运动曲线和第二拟合运动曲线是否相同,若所述第一拟合运动曲线和所述第二拟合运动曲线相同,则将每帧历史图像中人体图像中嘴唇关键点信息标记为无线麦使用者的嘴唇关键点信息。
可以理解的是本发明通过对第一拟合运动曲线和所述第二拟合运动曲线进行判断,基于拟合曲线是否相同来确定确定谁是使用者,并获取使用者的嘴唇关键点信息,将其标记为无线麦使用者的关键点信息,进而在后面进行距离判断时不会进行误判和重新确定无线麦的使用者。
在本公开的一种具体实施方式中,所述步骤S24包括步骤S241、步骤S242、步骤S243和步骤S244。
步骤S241、将每帧历史图像中无线麦的关键点信息和无线麦使用者的嘴唇关键点信息发送至所述三维空间模型进行对比,得到至少一个第二子信息,所述第二子信息为无线麦的关键点信息的坐标值和无线麦使用者的嘴唇关键点信息的坐标值;
可以理解的是上述步骤是通过将无线麦的关键点信息和无线麦使用者的嘴唇关键点信息进行坐标确定,因为无线麦在朝向不同方向时,其接收声音的能力也是不同的,因此本步骤基于关键点将无线麦作为一个整体,减少嘴唇与所述无线麦的关键点距离计算误差。
步骤S242、基于每个所述第二子信息,得到至少一个第三子信息,所述第三子信息为无线麦的关键点与无线麦使用者嘴唇关键点的坐标差值;
可以理解的是本发明通过计算无线麦与使用者嘴唇之间的关键点的坐标差值,所述坐标差值可以表示为无线麦与使用者嘴唇的间距,其中可以基于坐标点的距离计算公式计算坐标差值。
步骤S243、将所有的所述坐标差值利用基于距离类的聚类算法进行聚类处理,得到至少一个聚类簇,并计算得到每个所述聚类簇的误差平方和;
可以理解的是上述步骤通过对所有的坐标差值进行聚类,将一定范围内的间距聚为一类,例如坐标差值为10和至坐标差值为15作为一类,而10到15之间的坐标差值,其对应的无线麦的信噪比为波动较小,进而通过求取每个聚类簇的误差平方和,得到所述范围内的均值,增加无线麦使用距离与信噪比的对应关系的准确率。
步骤S244、将每帧图像对应的聚类簇的误差平方和作为第一距离;
可以理解的是上述步骤通过对无线麦图像进行坐标转化,并计算其坐标差值,将所述坐标差值作为无线麦与使用者的间距,并且对所述无线麦与使用者的间距进行聚类,进而减少判断无线麦使用距离与信噪比的对应关系的误差,增加判断的准确率。
在本公开的一种具体实施方式中,所述步骤S4包括步骤S41和步骤S42。
步骤S41、将每个所述第四信息分别与预设第一阈值进行对比,得到第四子信息,所述第四子信息为大于所述第一阈值的无线麦的信噪比信息;
步骤S42、基于所述第四子信息确定第二距离,并将所述第二距离作为无线麦的使用距离,所述第二距离为无线麦的信噪比大于第一阈值的情况下无线麦与无线麦使用者嘴唇的间距;
可以理解的是上述步骤通过将信噪比信息分别与预设的第一阈值进行对比,确定符合要求的信噪比信息,进而基于信噪比信息来确定在该信噪比是无线麦的使用距离为多少,进而确定每个符合要的信噪比与其对应的无线麦的使用距离,进而确定所有的无线麦的合格拾音距离。
在本公开的一种具体实施方式中,所述步骤S4之后还包括步骤S5、步骤S6和步骤S7。
步骤S5、获取第五信息,所述第五信息包括当前时刻无线麦与嘴唇的距离信息;
步骤S6、判断所述第五信息是否大于或等于第二距离,若所述第五信息大于第二距离,则发送控制无线麦闪烁红灯的命令;
步骤S7、若所述第五信息小于第二距离,则发送控制无线麦常亮绿灯的命令。
可以理解的是本发明通过判断使用者使用无线麦的距离是否大于无线麦的拾音距离,来进行提醒使用者,其中可以通过灯光闪烁和语音提醒开提醒使用者,无线麦与使用者的嘴唇间距过大。
实施例2
如图2所示,本实施例提供了一种无线麦拾音距离的确定装置,所述装置包括第一获取单元701、第一处理单元702、计算单元703和第二处理单元704。
第一获取单元701,用于获取第一信息和第二信息,所述第一信息包括至少一帧教室内摄像头获取到的历史图像信息,所述第二信息为无线麦采集到的历史声音信息;
第一处理单元702,用于将所述第一信息发送至图像处理模块,得到第三信息,所述第三信息为无线麦与无线麦使用者嘴唇的距离信息;
计算单元703,用于将所述第二信息发送至信噪比计算模块,得到第四信息,所述第四信息为无线麦的信噪比信息;
第二处理单元704,用于基于所述第三信息和所述第四信息确定无线麦的拾音距离。
在本公开的一种具体实施方式中,所述第一处理单元702包括第一处理子单元7021、第二处理子单元7022、第一识别子单元7023和第一聚类子单元7024。
第一处理子单元7021,用于将每帧历史图像进行边缘检测,得到教室的边缘信息;
第二处理子单元7022,用于基于所述教室的边缘信息建立三维空间直角坐标系,得到教室的三维空间模型;
第一识别子单元7023,用于将每帧历史图像发送至所述教室的三维空间模型进行目标识别,得到第一子信息,所述第一子信息包括每帧历史图像内无线麦的关键点信息和无线麦使用者的嘴唇关键点信息;
第一聚类子单元7024,用于将所述第一子信息发送至聚类模块进行距离转化处理,得到第一距离,所述第一距离为每帧历史图像内无线麦与无线麦使用者嘴唇的距离。
在本公开的一种具体实施方式中,所述第一识别子单元7023包括第二识别子单元70231、第三识别子单元70232、第三处理子单元70233和判断子单元70234。
第二识别子单元70231,用于将每帧历史图像内的所有目标进行框选,并基于所有的框选目标确定无线麦图像和人体图像,得到每帧历史图像中的无线麦图像和人体图像;
第三识别子单元70232,用于将所有的所述人体图像和所述无线麦图像进行关键点识别,得到每帧历史图像内人体的手臂关键点和每帧历史图像内无线麦的关键点;
第三处理子单元70233,用于采用贝塞尔曲线分别对每帧历史图像内人体的手臂关键点和每帧历史图像内无线麦的关键点进行运动轨迹拟合,得到至少一条第一拟合运动曲线和至少一条第二拟合运动曲线,所述第一拟合运动曲线为人体的手臂关键点运动曲线,所述第二拟合运动曲线为无线麦的关键点运动曲线;
判断子单元70234,用于判断每帧历史图像对应的第一拟合运动曲线和第二拟合运动曲线是否相同,若所述第一拟合运动曲线和所述第二拟合运动曲线相同,则将每帧历史图像中人体图像中嘴唇关键点信息标记为无线麦使用者的嘴唇关键点信息。
在本公开的一种具体实施方式中,所述第一聚类子单元7024包括第四处理子单元70241、第五处理子单元70242、第二聚类子单元70243和第六处理子单元70244。
第四处理子单元70241,用于将每帧历史图像中无线麦的关键点信息和无线麦使用者的嘴唇关键点信息发送至所述三维空间模型进行对比,得到至少一个第二子信息,所述第二子信息为无线麦的关键点信息的坐标值和无线麦使用者的嘴唇关键点信息的坐标值;
第五处理子单元70242,用于基于每个所述第二子信息,得到至少一个第三子信息,所述第三子信息为无线麦的关键点与无线麦使用者嘴唇关键点的坐标差值;
第二聚类子单元70243,用于将所有的所述坐标差值利用基于距离类的聚类算法进行聚类处理,得到至少一个聚类簇,并计算得到每个所述聚类簇的误差平方和;
第六处理子单元70244,用于将每帧图像对应的聚类簇的误差平方和作为第一距离。
在本公开的一种具体实施方式中,所述第二处理单元704包括第七处理子单元7041和第八处理子单元7042。
第七处理子单元7041,用于将每个所述第四信息分别与预设第一阈值进行对比,得到第四子信息,所述第四子信息为大于所述第一阈值的无线麦的信噪比信息;
第八处理子单元7042,用于基于所述第四子信息确定第二距离,并将所述第二距离作为无线麦的使用距离,所述第二距离为无线麦的信噪比大于第一阈值的情况下无线麦与无线麦使用者嘴唇的间距。
在本公开的一种具体实施方式中,所述第二处理单元704之后还包括第二获取单元705、第一发送单元706和第二发送单元707。
第二获取单元705,用于获取第五信息,所述第五信息包括当前时刻无线麦与嘴唇的距离信息;
第一发送单元706,用于判断所述第五信息是否大于或等于第二距离,若所述第五信息大于第二距离,则发送控制无线麦闪烁红灯的命令;
第二发送单元707,用于若所述第五信息小于第二距离,则发送控制无线麦常亮绿灯的命令。
需要说明的是,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例,本实施例中还提供了一种无线麦拾音距离的确定设备,下文描述的一种无线麦拾音距离的确定设备与上文描述的一种无线麦拾音距离的确定方法可相互对应参照。
图3是根据示例性实施例示出的一种无线麦拾音距离的确定设备800的框图。如图3所示,该无线麦拾音距离的确定设备800可以包括:处理器801,存储器802。该无线麦拾音距离的确定设备800还可以包括多媒体组件803,I/O接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该无线麦拾音距离的确定设备800的整体操作,以完成上述的无线麦拾音距离的确定方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该无线麦拾音距离的确定设备800的操作,这些数据例如可以包括用于在该无线麦拾音距离的确定设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(StaticRandom Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该无线麦拾音距离的确定设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,无线麦拾音距离的确定设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的无线麦拾音距离的确定方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的无线麦拾音距离的确定方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由无线麦拾音距离的确定设备800的处理器801执行以完成上述的无线麦拾音距离的确定方法。
实施例4
相应于上面的方法实施例,本实施例中还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种无线麦拾音距离的确定方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的无线麦拾音距离的确定方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种无线麦拾音距离的确定方法,其特征在于,包括:
获取第一信息和第二信息,所述第一信息包括至少一帧教室内摄像头获取到的历史图像信息,所述第二信息为无线麦采集到的历史声音信息;
将所述第一信息发送至图像处理模块,得到第三信息,所述第三信息为无线麦与无线麦使用者嘴唇的距离信息;
将所述第二信息发送至信噪比计算模块,得到第四信息,所述第四信息为无线麦的信噪比信息;
基于所述第三信息和所述第四信息确定无线麦的拾音距离。
2.根据权利要求1所述的无线麦拾音距离的确定方法,其特征在于,将所述第一信息发送至图像处理模块,得到第三信息:
将每帧历史图像进行边缘检测,得到教室的边缘信息;
基于所述教室的边缘信息建立三维空间直角坐标系,得到教室的三维空间模型;
将每帧历史图像发送至所述教室的三维空间模型进行目标识别,得到第一子信息,所述第一子信息包括每帧历史图像内无线麦的关键点信息和无线麦使用者的嘴唇关键点信息;
将所述第一子信息发送至聚类模块进行距离转化处理,得到第一距离,所述第一距离为每帧历史图像内无线麦与无线麦使用者嘴唇的距离。
3.根据权利要求2所述的无线麦拾音距离的确定方法,其特征在于,将每帧历史图像发送至所述教室的三维空间模型进行目标识别,包括:
将每帧历史图像内的所有目标进行框选,并基于所有的框选目标确定无线麦图像和人体图像,得到每帧历史图像中的无线麦图像和人体图像;
将所有的所述人体图像和所述无线麦图像进行关键点识别,得到每帧历史图像内人体的手臂关键点和每帧历史图像内无线麦的关键点;
采用贝塞尔曲线分别对每帧历史图像内人体的手臂关键点和每帧历史图像内无线麦的关键点进行运动轨迹拟合,得到至少一条第一拟合运动曲线和至少一条第二拟合运动曲线,所述第一拟合运动曲线为人体的手臂关键点运动曲线,所述第二拟合运动曲线为无线麦的关键点运动曲线;
判断每帧历史图像对应的第一拟合运动曲线和第二拟合运动曲线是否相同,若所述第一拟合运动曲线和所述第二拟合运动曲线相同,则将每帧历史图像中人体图像中嘴唇关键点信息标记为无线麦使用者的嘴唇关键点信息。
4.根据权利要求2所述的无线麦拾音距离的确定方法,其特征在于,将所述第一子信息发送至聚类模块进行距离转化处理,得到第一距离,包括:
将每帧历史图像中无线麦的关键点信息和无线麦使用者的嘴唇关键点信息发送至所述三维空间模型进行对比,得到至少一个第二子信息,所述第二子信息为无线麦的关键点信息的坐标值和无线麦使用者的嘴唇关键点信息的坐标值;
基于每个所述第二子信息,得到至少一个第三子信息,所述第三子信息为无线麦的关键点与无线麦使用者嘴唇关键点的坐标差值;
将所有的所述坐标差值利用基于距离类的聚类算法进行聚类处理,得到至少一个聚类簇,并计算得到每个所述聚类簇的误差平方和;
将每帧图像对应的聚类簇的误差平方和作为第一距离。
5.一种无线麦拾音距离的确定装置,其特征在于,包括:
第一获取单元,用于获取第一信息和第二信息,所述第一信息包括至少一帧教室内摄像头获取到的历史图像信息,所述第二信息为无线麦采集到的历史声音信息;
第一处理单元,用于将所述第一信息发送至图像处理模块,得到第三信息,所述第三信息为无线麦与无线麦使用者嘴唇的距离信息;
计算单元,用于将所述第二信息发送至信噪比计算模块,得到第四信息,所述第四信息为无线麦的信噪比信息;
第二处理单元,用于基于所述第三信息和所述第四信息确定无线麦的拾音距离。
6.根据权利要求5所述的无线麦拾音距离的确定装置,其特征在于,所述装置包括:
第一处理子单元,用于将每帧历史图像进行边缘检测,得到教室的边缘信息;
第二处理子单元,用于基于所述教室的边缘信息建立三维空间直角坐标系,得到教室的三维空间模型;
第一识别子单元,用于将每帧历史图像发送至所述教室的三维空间模型进行目标识别,得到第一子信息,所述第一子信息包括每帧历史图像内无线麦的关键点信息和无线麦使用者的嘴唇关键点信息;
第一聚类子单元,用于将所述第一子信息发送至聚类模块进行距离转化处理,得到第一距离,所述第一距离为每帧历史图像内无线麦与无线麦使用者嘴唇的距离。
7.根据权利要求6所述的无线麦拾音距离的确定装置,其特征在于,所述装置包括:
第二识别子单元,用于将每帧历史图像内的所有目标进行框选,并基于所有的框选目标确定无线麦图像和人体图像,得到每帧历史图像中的无线麦图像和人体图像;
第三识别子单元,用于将所有的所述人体图像和所述无线麦图像进行关键点识别,得到每帧历史图像内人体的手臂关键点和每帧历史图像内无线麦的关键点;
第三处理子单元,用于采用贝塞尔曲线分别对每帧历史图像内人体的手臂关键点和每帧历史图像内无线麦的关键点进行运动轨迹拟合,得到至少一条第一拟合运动曲线和至少一条第二拟合运动曲线,所述第一拟合运动曲线为人体的手臂关键点运动曲线,所述第二拟合运动曲线为无线麦的关键点运动曲线;
判断子单元,用于判断每帧历史图像对应的第一拟合运动曲线和第二拟合运动曲线是否相同,若所述第一拟合运动曲线和所述第二拟合运动曲线相同,则将每帧历史图像中人体图像中嘴唇关键点信息标记为无线麦使用者的嘴唇关键点信息。
8.根据权利要求6所述的无线麦拾音距离的确定装置,其特征在于,所述装置包括:
第四处理子单元,用于将每帧历史图像中无线麦的关键点信息和无线麦使用者的嘴唇关键点信息发送至所述三维空间模型进行对比,得到至少一个第二子信息,所述第二子信息为无线麦的关键点信息的坐标值和无线麦使用者的嘴唇关键点信息的坐标值;
第五处理子单元,用于基于每个所述第二子信息,得到至少一个第三子信息,所述第三子信息为无线麦的关键点与无线麦使用者嘴唇关键点的坐标差值;
第二聚类子单元,用于将所有的所述坐标差值利用基于距离类的聚类算法进行聚类处理,得到至少一个聚类簇,并计算得到每个所述聚类簇的误差平方和;
第六处理子单元,用于将每帧图像对应的聚类簇的误差平方和作为第一距离。
9.一种无线麦拾音距离的确定设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述无线麦拾音距离的确定方法的步骤。
10.一种可读存储介质,其特征在于:所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述无线麦拾音距离的确定方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210595548.XA CN114679647B (zh) | 2022-05-30 | 2022-05-30 | 无线麦拾音距离的确定方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210595548.XA CN114679647B (zh) | 2022-05-30 | 2022-05-30 | 无线麦拾音距离的确定方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114679647A true CN114679647A (zh) | 2022-06-28 |
CN114679647B CN114679647B (zh) | 2022-08-30 |
Family
ID=82079598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210595548.XA Active CN114679647B (zh) | 2022-05-30 | 2022-05-30 | 无线麦拾音距离的确定方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114679647B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114974309A (zh) * | 2022-07-29 | 2022-08-30 | 广州莱万科技股份有限公司 | 一种基于智能班牌的师生教学情况自动提醒方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101478711A (zh) * | 2008-12-29 | 2009-07-08 | 北京中星微电子有限公司 | 控制麦克风录音的方法、数字化音频信号处理方法及装置 |
JP2010087891A (ja) * | 2008-09-30 | 2010-04-15 | Yamaha Corp | 収音装置および携帯電話機 |
US20130080170A1 (en) * | 2011-09-27 | 2013-03-28 | Fuji Xerox Co., Ltd. | Audio analysis apparatus and audio analysis system |
US20140219472A1 (en) * | 2013-02-07 | 2014-08-07 | Mstar Semiconductor, Inc. | Sound collecting system and associated method |
WO2016119580A1 (zh) * | 2015-01-30 | 2016-08-04 | 腾讯科技(深圳)有限公司 | 一种开启终端的语音输入功能的方法、装置和终端 |
CN108320760A (zh) * | 2018-01-05 | 2018-07-24 | 广东小天才科技有限公司 | 基于麦克风的课堂内容录音方法、装置、设备及存储介质 |
CN109243441A (zh) * | 2018-09-26 | 2019-01-18 | 广东小天才科技有限公司 | 调整语音采集距离的引导方法、装置、终端及存储介质 |
WO2020078237A1 (zh) * | 2018-10-15 | 2020-04-23 | 华为技术有限公司 | 音频处理方法和电子设备 |
CN113556501A (zh) * | 2020-08-26 | 2021-10-26 | 华为技术有限公司 | 音频处理方法及电子设备 |
-
2022
- 2022-05-30 CN CN202210595548.XA patent/CN114679647B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010087891A (ja) * | 2008-09-30 | 2010-04-15 | Yamaha Corp | 収音装置および携帯電話機 |
CN101478711A (zh) * | 2008-12-29 | 2009-07-08 | 北京中星微电子有限公司 | 控制麦克风录音的方法、数字化音频信号处理方法及装置 |
US20130080170A1 (en) * | 2011-09-27 | 2013-03-28 | Fuji Xerox Co., Ltd. | Audio analysis apparatus and audio analysis system |
US20140219472A1 (en) * | 2013-02-07 | 2014-08-07 | Mstar Semiconductor, Inc. | Sound collecting system and associated method |
WO2016119580A1 (zh) * | 2015-01-30 | 2016-08-04 | 腾讯科技(深圳)有限公司 | 一种开启终端的语音输入功能的方法、装置和终端 |
CN108320760A (zh) * | 2018-01-05 | 2018-07-24 | 广东小天才科技有限公司 | 基于麦克风的课堂内容录音方法、装置、设备及存储介质 |
CN109243441A (zh) * | 2018-09-26 | 2019-01-18 | 广东小天才科技有限公司 | 调整语音采集距离的引导方法、装置、终端及存储介质 |
WO2020078237A1 (zh) * | 2018-10-15 | 2020-04-23 | 华为技术有限公司 | 音频处理方法和电子设备 |
CN113556501A (zh) * | 2020-08-26 | 2021-10-26 | 华为技术有限公司 | 音频处理方法及电子设备 |
Non-Patent Citations (3)
Title |
---|
ELEONORA D"ARCA: "《Robust indoor speaker recognition in a network of audio and video sensors》", 《SIGNAL PROCESSING》 * |
张飞碧: "全自动智能录播系统的架构分析", 《中国电化教育》 * |
魏晓军: "现场录音的要点与技巧", 《声屏世界》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114974309A (zh) * | 2022-07-29 | 2022-08-30 | 广州莱万科技股份有限公司 | 一种基于智能班牌的师生教学情况自动提醒方法 |
CN114974309B (zh) * | 2022-07-29 | 2022-11-08 | 广州莱万科技股份有限公司 | 一种基于智能班牌的师生教学情况自动提醒方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114679647B (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11241789B2 (en) | Data processing method for care-giving robot and apparatus | |
WO2019090479A1 (zh) | 一种互动型视频授课方法及系统 | |
CN109670394B (zh) | 一种基于生物特征相似度的视频会议签到方法及相关设备 | |
Constandache et al. | Did you see Bob? Human localization using mobile phones | |
Wilson et al. | XWand: UI for intelligent spaces | |
US10241990B2 (en) | Gesture based annotations | |
US12015874B2 (en) | System and methods to determine readiness in video collaboration | |
JP6759445B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
JP2010204926A (ja) | モニタリングシステム、モニタリング方法、およびプログラム | |
JP2016100033A (ja) | 再生制御装置 | |
CN114679647B (zh) | 无线麦拾音距离的确定方法、装置、设备及可读存储介质 | |
CN111339801B (zh) | 一种人员注意力检测方法、装置、设备及系统 | |
CN111126697B (zh) | 人员情况预测方法、装置、设备及存储介质 | |
CN109558895A (zh) | 一种基于智能感知的校园管理方法、系统及介质 | |
CN109190454A (zh) | 用于识别视频中的目标人物的方法、装置、设备及介质 | |
CN110085072A (zh) | 一种多机位非对称显示的实现方法及装置 | |
JP2009267621A (ja) | 通信装置 | |
Yang et al. | Sight-to-sound human-machine interface for guiding and navigating visually impaired people | |
CN109934150B (zh) | 一种会议参与度识别方法、装置、服务器和存储介质 | |
Shi et al. | Smart classroom: Bringing pervasive computing into distance learning | |
US20210027779A1 (en) | Information processing device and information processing method | |
JPWO2020021861A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
CN110866434A (zh) | 一种针对自闭症患者的表情识别训练方法及系统 | |
CN111583739A (zh) | 一种基于vr的多媒体教学系统 | |
TWI731496B (zh) | 包含機器人之互動平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |