CN117896484A - 基于可视对讲系统的目标找寻方法、装置、设备及介质 - Google Patents
基于可视对讲系统的目标找寻方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117896484A CN117896484A CN202311834788.1A CN202311834788A CN117896484A CN 117896484 A CN117896484 A CN 117896484A CN 202311834788 A CN202311834788 A CN 202311834788A CN 117896484 A CN117896484 A CN 117896484A
- Authority
- CN
- China
- Prior art keywords
- preset
- person
- video
- preset person
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000000007 visual effect Effects 0.000 title claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 230000009471 action Effects 0.000 claims abstract description 25
- 230000008451 emotion Effects 0.000 claims description 35
- 230000008909 emotion recognition Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 abstract description 27
- 230000008569 process Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Telephonic Communication Services (AREA)
Abstract
本申请涉及安全监控技术领域,特别是涉及到一种基于可视对讲系统的目标找寻方法、装置、设备及介质,方法包括:接收第一终端对第一预设人物的查找请求;基于第一预设人物,在第一预设范围内视频内容中进行人脸识别;当未识别到第一预设人物时,基于第一预设特征对所述监控视频进行关于第一预设人物的模糊查找,其中,第一预设特征来自于所述第一终端输入的关于第一预设人物的特征;若查找到第一预设人物,提取第一预设人物的出现时间和对应的定位;基于第一预设人物的出现时间和对应的定位生成行动轨迹,将行动轨迹发送至第一终端。本申请基于人脸识别对特定人物高效识别查找并生成对应行动轨迹,便于用户做出准确判断,提高安全性和管理效率。
Description
技术领域
本申请涉及安全监控技术领域,特别是涉及到一种基于可视对讲系统的目标找寻方法、装置、设备及存储介质。
背景技术
现代社会对安全和便捷性的需求不断提升,特别是在居住环境和工作场所。随着科技的发展,人们对于安全监控和信息传递的要求也越来越高,可视对讲系统可以让住户通过视频和语音实现与来访者的交流,但是仅仅用于这样的基础功能,已经不能满足人们的需求。例如儿童会佩戴与家长关联的电子设备互相进行通信关联,但是当儿童没有佩戴相关的电子设备又不在家长的可见范围(常居住范围)内,儿童的安全就变得不可控,老年人等弱势群体也有类似问题,发明人发现可以基于可视对讲系统针对此类问题进行解决。同时,如何在指定范围内建立的可视对讲系统中结合终端的查询请求对被查找人员进行精确且智能的查找是亟待解决的问题。
发明内容
本申请的主要目的为提供一种基于可视对讲系统的目标找寻方法、装置、设备及介质,旨在解决现有技术中如何通过常居住地在指定范围建立可视对讲系统,并基于终端的查询请求对被查找人员进行精确的查找的技术问题。
为了实现上述发明目的,本申请提出一种基于可视对讲系统的目标找寻方法,所述方法包括:
接收第一终端对第一预设人物的查找请求;
基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别;
当未识别到所述第一预设人物时,基于第一预设特征对所述监控视频进行关于所述第一预设人物,模糊查找,其中,所述第一预设特征来自于所述第一终端输入的关于所述第一预设人物的特征,所述模糊查找包括预先设定的查找策略;
若查找到所述第一预设人物,提取所述第一预设人物的出现时间和每一次所述出现时间对应的定位;
基于所述第一预设人物的出现时间和每一次所述出现时间对应的定位生成的所述第一预设人物的行动轨迹,将所述行动轨迹发送至所述第一终端。
进一步地,所述基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别的步骤之后,包括:
若识别到所述第一预设人物,对所述第一预设人物进行情绪识别,并获取识别结果;
基于所述识别结果,发送相应的预警信息到所述第一终端。
进一步地,所述对所述第一预设人物进行情绪识别的步骤,包括:
获取所述第一预设人物的语音数据;
从所述语音数据中提取语音特征;
将所述语音特征与不同情绪的预设语音特征进行相似度对比;
若存在相似度大于第一预设阈值的预设语音特征,判断所述第一预设人物存在所述预设语音特征对应的情绪。
进一步地,所述对所述第一预设人物进行情绪识别的步骤,还包括:
获取所述第一预设人物的人脸进行检测定位;
在检测到的人脸上标定关键点;
基于所述关键点,获取关键点数值特征;
将所述数值特征与不同情绪的预设关键点数值特征进行相似度对比;
若存在相似度大于第二预设阈值的预设关键点数值特征,判断所述第一预设人物存在与所述预设关键点数值特征对应的情绪。
进一步地,所述基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别的步骤之前,包括:
获取初始预设查找范围;
获取所述第一预设人物的关联人物所属的区域范围;
获取所述关联人物与所述第一预设人物的关联等级;
基于所述关联等级,将所述区域范围进行查找优先级排序,并获取排序结果;
基于所述排序结果和所述初始预设查找范围,生成所述第一预设范围。
进一步地,所述接收第一终端对第一预设人物的查找请求的步骤之前,包括:
通过所述可视对讲电话实时接收语音信息;
判断所述语音信息中是否存在第一预设关键字;
若存在所述第一预设关键字,开启摄像头进行留言视频录制;
将录制完成的所述留言视频进行保存。
进一步地,所述监控视频包括所述留言视频;所述基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别的步骤之后,包括:
若在所述留言视频中识别到所述第一预设人物;
将所述留言视频发送至所述第一终端。
本申请的第二方面提出一种基于可视对讲系统的目标找寻装置,所述装置包括:
请求接收模块,用于接收第一终端对第一预设人物的查找请求;
人脸识别模块,用于基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别;
模糊查找模块,用于若未识别到所述第一预设人物,基于第一预设特征对所述监控视频进行模糊查找;
信息发送模块,用于若查找到所述第一预设人物,将所述第一预设人物的出现时间和定位以及基于所述第一预设人物的出现时间和定位生成的所述第一预设人物的行动轨迹发送至所述第一终端。
本申请的第三方面提出一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述中任一项所述方法的步骤。
本申请的第四方面提出一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述中任一项所述方法的步骤。
本申请提供的一种基于可视对讲系统的目标找寻方法,通过接收第一终端的第一预设人物的查找请求,在建立的可视对讲系统中通过人脸识别查找第一预设人物,若查找不到,还能够通过终端提供的关于第一预设人物的第一预设特征,对可视对讲电话的监控视频的视频内容进行第一预设特征的识别,进而实现模糊查找,还能够生成对应的目标人物的行动轨迹,发送至第一终端,便于第一终端用户作出准确判断,尤其当家庭成员没有佩戴相关的电子设备又不在家长的直接可见范围(常居住范围)内时,可以通过该人脸识别查找并结合模糊查找的方式,协助找到家庭成员。通过本方案可以实现对特定人物的高效识别和查找,从而提高安全性和管理效率。
附图说明
图1为本申请一实施例的基于可视对讲系统的目标找寻方法的流程示意图;
图2为本申请一实施例的基于可视对讲系统的目标找寻装置的结构示意框图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”“一个”、“上述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件、模块和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
参照图1,本发明实施例提供一种基于可视对讲系统的目标找寻方法,包括步骤S1-S4,具体地:
S1、接收第一终端对第一预设人物的查找请求。
可视对讲系统会接收第一终端发送的对第一预设人物的查找请求。第一终端可能是连入可视对讲系统的一个终端设备,一般来讲,如果一个可视对讲系统覆盖了一个小区,那么第一终端可能是小区内的某一住户,用户通过该设备发送查找请求,希望找到第一预设人物。其中第一预设人物可以是在所述可视对讲系统中预存的人物(例如用户的关联亲属),也可以是用户上传的可识别的人物图像。识别这个请求可能是在指定的页面内通过语音信息、文字指令或其他方式发送给系统。系统会接收并解析这个请求,以便后续进行目标找寻的操作。
S2、基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别。
基于第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别。这意味着系统会分析监控视频中的每一帧图像,寻找与第一预设人物相匹配的人脸。其中第一预设范围可以是整个系统覆盖的范围,也可以是第一终端指定的范围,其中第一预设范围中涉及的范围可以具有一定的查找顺序。除此之外,可以接收来自第一终端的查找时间范围,例如:2023年11月16日的上午10点-12点,此时系统会按照查找时间范围,对该时间范围内的监控视频的内容进行调取。另外在查找的过程中可以采取多线程并行查找,例如第一预设范围包括了A、B和C三栋居民楼,每一个居民楼对应设置了一个可视对讲电话,假设并行查找的最大限度是两个线程,那么可以基于可视对讲电话的监控视频同时对A和B进行查找,若A、B、C之间存在查找顺序为B、C、A,那么此时可以按照顺序同时对B和C进行查找,待其中一个线程结束,开始对A进行查找。通过人脸识别技术,系统可以自动检测和识别视频中的人脸,并与第一预设人物进行比对,以准确地定位和识别第一预设人物在监控视频中的出现位置,有助于快速找到目标人物,提高查找效率,整个过程无需人工干预。这样可以节省人力资源,提高工作效率。
S3、当未识别到所述第一预设人物时,基于第一预设特征对所述监控视频进行关于所述第一预设人物的模糊查找,其中,所述第一预设特征来自于所述第一终端输入的关于所述第一预设人物的特征,所述模糊查找包括预先设定的查找策略;
如果在第一预设范围内的可视对讲电话的监控视频中未能识别到第一预设人物,系统将基于第一预设特征对监控视频进行模糊查找(预先设定的查找策略)。具体来说,系统可以使用第一预设人物的衣服穿着特征,比如上衣白色、裤子卡其色,来在各楼栋的可视对讲监控视频中进行模糊查找和定位。具体可以是通过以下方式实现:首先使用图像处理技术对监控视频中的人物图像进行处理,提取出关键的特征信息。对于衣服颜色特征,可以使用颜色分析算法,如基于颜色直方图或颜色特征描述的方法,提取出衣服颜色的特征向量。系统会将提取到的第一预设特征与预设特征库中的特征进行匹配。预设特征库中存储了第一预设人物的特征信息,包括衣服颜色等其他特征。匹配算法可以使用相似度计算方法,如欧氏距离、余弦相似度等,来度量提取到的特征与预设特征的相似程度。如果匹配结果达到一定的相似度阈值,系统会确定找到了与第一预设特征相匹配的人物。通过基于第一预设特征的模糊查找,系统可以在监控视频中寻找与第一预设人物相似的衣着特征的人物。即使无法准确识别第一预设人物的面部特征,也可以通过衣着特征进行查找,提高目标找寻的准确性。
S4、若查找到所述第一预设人物,提取所述第一预设人物的出现时间和每一次所述出现时间对应的定位;
S5、基于所述第一预设人物的出现时间和每一次所述出现时间对应的定位生成的所述第一预设人物的行动轨迹,将所述行动轨迹发送至所述第一终端。
系统在前面的步骤中已经进行了人脸识别或基于特征的模糊查找,成功找到了第一预设人物。在步骤S4-S5中,系统会记录第一预设人物在监控视频中的出现时间和位置信息,基于第一预设人物的出现时间和位置信息,系统可以根据预设的算法或规则生成第一预设人物的行动轨迹。行动轨迹可以是一系列的位置点或路径,用于模拟第一预设人物的移动轨迹。具体地,按照时间线识别第一预设人物的每一次出现的位置和出现的时间,然后通过第一次出现的位置和最后一次出现的位置确定行动轨迹的起点和终点;使用路径规划算法,根据起点和终点,以及每一次出现的位置和出现的时间,计算出一条最优路径,这个路径可以是一系列的位置点或路径段,然后根据第一预设人物的出现时间,将整个行动轨迹的时间进行分配,根据分配的时间,对路径上的位置点进行插值,以获得更加平滑的行动轨迹,其中对路径上的位置点进行插值可以通过线性插值、样条插值等方法来实现。然后将生成的行动轨迹进行可视化展示。将路径线条、箭头等方式呈现给第一终端。
通过本实施例提供的方案,系统能够通过人脸识别和特征模糊查找等技术,能够自动检测和识别监控视频中的目标人物,无需人工干预,大大提高了目标找寻的效率和准确性。可以同时对多个位置进行查找,采用多线程并行查找策略,提高了查找速度,当无法准确识别目标人物的面部特征时,系统能够基于特定的预设特征(如衣着颜色)进行模糊查找,提高了目标找寻的准确性,根据目标人物在监控视频中的出现时间和位置信息,生成对应的行动轨迹,可用于模拟目标人物的移动轨迹。这样可以帮助用户更好地了解目标人物的活动范围和可能的行动方向,这样可以提供更直观、可视化的目标找寻结果。
在一个实施例中,上述基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别的步骤之后,包括:
S10、若识别到所述第一预设人物,对所述第一预设人物进行情绪识别,并获取识别结果;
S11、基于所述识别结果,发送相应的预警信息到所述第一终端。
在本实施例中,系统会对所识别到的第一预设人物进行情绪识别,这可以通过分析目标人物的面部表情、语音等信息来推断其情绪状态,例如高兴、生气、焦虑等。情绪识别可以使用机器学习和人工智能算法,如深度学习模型,来实现。一旦完成情绪识别,系统将获取到识别结果。这个结果可以是一种或多种情绪的概率分布或分类结果,反映了目标人物当前的情绪状态。最后,基于所得到的情绪识别结果,系统会发送相应的预警信息到第一终端。预警信息可以通过文字、语音、图像等方式进行传递,提醒用户关注目标人物的情绪状况,并可能采取适当的措施应对特定情况。本实施例可以为用户提供更全面的信息,帮助他们更好地了解目标人物的情绪状态并及时作出反应。
在一实施例中,上述对所述第一预设人物进行情绪识别的步骤,包括:
S20、获取所述第一预设人物的语音数据;
S21、从所述语音数据中提取语音特征;
S22、将所述语音特征与不同情绪的预设语音特征进行相似度对比;
S23、若存在相似度大于第一预设阈值的预设语音特征,判断所述第一预设人物存在所述预设语音特征对应的情绪。
在本实施例中,系统会从所述语音数据中提取语音特征。语音特征是对语音信号进行数字化处理后提取出的一系列特征参数,通常包括声音的频率、音调、响度等方面的信息。系统会将目标人物的语音特征与预先存储的代表不同情绪状态的语音特征进行比对,以确定与哪种情绪特征最为相似。这个步骤旨在比较目标人物的语音特征与系统预先设定的语音特征模板之间的相似度,以此来判断目标人物的语音是否符合预期范围。其中预设语音特征通常是通过训练机器学习模型得到的。在情绪识别的场景中,可以采集大量包括不同情绪状态下的语音样本,然后使用这些样本来训练模型,提取出对应于不同情绪的语音特征。
在一实施例中,上述对所述第一预设人物进行情绪识别的步骤,还包括:
S30、获取所述第一预设人物的人脸进行检测定位;
S31、在检测到的人脸上标定关键点;
S32、基于所述关键点,获取关键点数值特征;
S33、将所述数值特征与不同情绪的预设关键点数值特征进行相似度对比;
S34、若存在相似度大于第二预设阈值的预设关键点数值特征,判断所述第一预设人物存在与所述预设关键点数值特征对应的情绪。
在本实施例中,使用基于深度学习的人脸检测模型来检测图像或视频中的人脸,并定位其位置。这个模型通常是一个卷积神经网络(CNN)模型,通过训练大量的人脸图像数据,可以准确地检测出人脸的位置。接下来,使用基于深度学习的人脸关键点检测模型来标定人脸上的关键点,如眼睛、嘴巴、眉毛等。这个模型也是一个CNN模型,通过训练大量的带有关键点标注的人脸图像数据,可以准确地标定出人脸上各个关键点的位置。然后,将标定的关键点转化为数值特征表示。这一步骤可以通过计算关键点之间的距离、角度等信息来得到一个关键点数值特征向量。例如,可以计算眼睛之间的距离、眉毛的倾斜角度、嘴巴的张开程度等等。这些数值特征可以反映出人脸的表情和情绪状态。接下来,需要预先定义好不同情绪的关键点数值特征。例如,对于开心的情绪,可以定义眼睛之间的距离较大、嘴巴张开程度较大等特征。对于生气的情绪,可以定义眉毛的倾斜角度较大等特征。这些预设的关键点数值特征可以作为判断依据。然后,将第一预设人物的关键点数值特征与预先定义好的不同情绪的关键点数值特征进行相似度计算。这可以使用欧氏距离、余弦相似度等度量方法来衡量两个特征向量之间的相似程度。计算得到的相似度值越大,表示两个特征向量越相似。最后,根据相似度的阈值设定,如果第一预设人物的关键点数值特征与某个情绪的关键点数值特征相似度超过阈值,则判断第一预设人物存在该情绪。例如,如果第一预设人物的关键点数值特征与开心情绪的关键点数值特征相似度超过设定的阈值,那么可以判断第一预设人物处于开心的情绪状态。本实施例能够更加准确地检测到当前第一预设人物的情绪,给第一终端的用户提供更多的信息,帮助第一终端的用户及时的掌握第一预设人物当时的情绪状态。
在一实施例中,上述基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别的步骤之前,包括:
S40、获取初始预设查找范围;
S41、获取所述第一预设人物的关联人物所属的区域范围;
S42、获取所述关联人物与所述第一预设人物的关联等级;
S43、基于所述关联等级,将所述区域范围进行查找优先级排序,并获取排序结果;
S44、基于所述排序结果和所述初始预设查找范围,生成所述第一预设范围。
在本实施例中,初始预设查找范围可以是整个系统覆盖的范围,系统会分析第一预设人物的社交关系、工作关系或其他关联关系,进而推断出他们关联人物可能出现的区域范围。这可以通过数据分析、关联算法或者用户提供的信息来实现。好处是进一步缩小了人脸识别的搜索范围,提高了准确性。关联人物和关联等级是可以预先设置在系统内的,也可以是在第一终端发出查找请求之后接收的来自第一终端的相关信息进而确定的。例如,在系统内预先设置的关联人物为“同学小明、同学小红和朋友小娜”其中关联人物的关联等级依次为“3、1、2”那么此时,先设置第一关联等级的同学小红的家庭住址信息作为搜寻范围,然后根据等级顺序依次进行搜寻范围的排序,系统会根据关联等级对区域范围进行排序,以确定搜索的优先级,这样,具有更高关联等级的区域将被优先搜索和识别,从而提高了人脸识别的效率和准确性,减小了查找难度和减少了查找的流程,。也可以是接收来自第一终端发出的查找请求,比如:“在小明家附近查看”系统就能够将对应关键字的人名或者其他关键字信息进行范围搜寻。通过结合排序结果和初始预设查找范围,系统可以生成第一预设范围,第一预设范围包括了各个范围的搜寻顺序,本实施例基于关联人物和关联等级,通过优先级排序和范围缩小的方式,提高了人脸识别的效率和准确性。通过精确识别第一预设人物及其关联人物,系统能够更快速地定位目标并进行人脸识别,从而提供更有效的视频监控与安全管理。
在一实施例中,上述接收第一终端对第一预设人物的查找请求的步骤之前,包括:
S50、通过所述可视对讲电话实时接收语音信息;
S51、判断所述语音信息中是否存在第一预设关键字;
S52、若存在所述第一预设关键字,开启摄像头进行留言视频录制;
S53、将录制完成的所述留言视频进行保存。
在本实施例中,系统通过可视对讲电话对周围环境接收实时的语音信息,然后,分析语音信息的内容,判断其中是否包含第一预设人物的关键字或特定词汇。这可以通过自然语言处理算法、关键字匹配或其他相关技术来实现。例如,孩子和小伙伴去了A栋小伙伴家里,孩子怕父母找不到自己焦急,可在进入楼栋时,在可视对讲电话的视频处留言,比如以关键字启动录制视频,“启动留言:妈妈,我在我的朋友XX家里玩”若“启动留言”为关键字,那么当识别到“启动留言”的关键字时,开启对留言视频的录制。通过录制留言视频,能够将相关人员的动态进行存储,以便后续查找时直接进行准确查找,以及便于找寻人对相关人员进行动态掌握。
在一实施例中,上述监控视频包括所述留言视频;所述基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别的步骤之后,包括:
S60、若在所述留言视频中识别到所述第一预设人物;
S61、将所述留言视频发送至所述第一终端。
在本实施例中,系统将分析留言视频并确认是否存在第一预设人物,一旦确认在留言视频中识别到了第一预设人物,系统会将该留言视频发送给第一终端,以供第一预设人物查看和处理。由于留言视频已经确认包含了第一预设人物,将视频直接发送至第一终端可以避免对可视对讲电话的监控视频进行进一步大规模的对比和计算,从而节省了计算资源和时间。借助留言视频,第一终端可以直接获取到第一预设人物的动态和所处范围,无需额外的人脸识别和身份确认步骤,简化了查询过程,提高了效率。
参照图2,是本申请一实施例中,是基于可视对讲系统的目标找寻装置的结构示意框图,所述装置包括:
请求接收模块100,用于接收第一终端对第一预设人物的查找请求;
人脸识别模块200,用于基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别;
模糊查找模块300,当未识别到所述第一预设人物时,基于第一预设特征对所述监控视频进行关于所述第一预设人物的模糊查找,其中,所述第一预设特征来自于所述第一终端输入的关于所述第一预设人物的特征,所述模糊查找包括预先设定的查找策略;
定位提取模块400,用于若查找到所述第一预设人物,提取所述第一预设人物的出现时间和每一次所述出现时间对应的定位;
信息发送模块500,用于基于所述第一预设人物的出现时间和每一次所述出现时间对应的定位生成的所述第一预设人物的行动轨迹,将所述行动轨迹发送至所述第一终端。
在一个实施例中,所述装置还包括情绪识别模块,所述情绪识别模块包括:
人物情绪识别单元,用于若识别到所述第一预设人物,对所述第一预设人物进行情绪识别,并获取识别结果;
预警发送单元,用于基于所述识别结果,发送相应的预警信息到所述第一终端。
在一个实施例中,上述人物情绪识别单元,包括:
特征提取子单元,用于所述语音数据中提取语音特征;
第一相似度对比子单元,用于将所述语音特征与不同情绪的预设语音特征进行相似度对比;
第一情绪判断子单元,用于若存在相似度大于第一预设阈值的预设语音特征,判断所述第一预设人物存在所述预设语音特征对应的情绪。
在一实施例中,上述人物情绪识别单元,还包括:
检测定位子单元,用于获取所述第一预设人物的人脸进行检测定位;
关键点标定子单元,用于在检测到的人脸上标定关键点;
数值特征获取子单元,用于基于所述关键点,获取关键点数值特征;
第二相似度对比子单元,用于将所述数值特征与不同情绪的预设关键点数值特征进行相似度对比;
第二情绪判断子单元,用于若存在相似度大于第二预设阈值的预设关键点数值特征,判断所述第一预设人物存在与所述预设关键点数值特征对应的情绪。
在一实施例中,还包括排序模块,包括:
初始范围单元,用于获取初始预设查找范围;
关联区域获取单元,用于获取所述第一预设人物的关联人物所属的区域范围;
关联等级获取单元,用于获取所述关联人物与所述第一预设人物的关联等级;
优先级排序单元,用于基于所述关联等级,将所述区域范围进行查找优先级排序,并获取排序结果;
预设范围生成单元,用于基于所述排序结果和所述初始预设查找范围,生成所述第一预设范围。
在一实施例中,所述装置还包括留言录制模块,包括:
语音实时单元,用于通过所述可视对讲电话实时接收语音信息;
关键字识别单元,用于判断所述语音信息中是否存在第一预设关键字;
视频录制单元,用于若存在所述第一预设关键字,开启摄像头进行留言视频录制;
视频保存单元,用于将录制完成的所述留言视频进行保存。
在一实施例中,所述装置还包括留言发送模块,包括:
留言人物识别单元,用于若在所述留言视频中识别到所述第一预设人物;
视频发送单元,用于将所述留言视频发送至所述第一终端。
参照图3,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于可视对讲系统的目标找寻方法过程中的使用数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。进一步地,上述计算机设备还可以设置有输入装置和显示屏等。上述计算机程序被处理器执行时以实现基于可视对讲系统的目标找寻方法,包括如下步骤:接收第一终端对第一预设人物的查找请求;基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别;当未识别到所述第一预设人物时,基于第一预设特征对所述监控视频进行关于所述第一预设人物的模糊查找,其中,所述第一预设特征来自于所述第一终端输入的关于所述第一预设人物的特征,所述模糊查找包括预先设定的查找策略;若查找到所述第一预设人物,提取所述第一预设人物的出现时间和每一次所述出现时间对应的定位;基于所述第一预设人物的出现时间和每一次所述出现时间对应的定位生成的所述第一预设人物的行动轨迹,将所述行动轨迹发送至所述第一终端。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种基于可视对讲系统的目标找寻方法,包括如下步骤:接收第一终端对第一预设人物的查找请求;基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别;当未识别到所述第一预设人物时,基于第一预设特征对所述监控视频进行关于所述第一预设人物的模糊查找,其中,所述第一预设特征来自于所述第一终端输入的关于所述第一预设人物的特征,所述模糊查找包括预先设定的查找策略;若查找到所述第一预设人物,提取所述第一预设人物的出现时间和每一次所述出现时间对应的定位;基于所述第一预设人物的出现时间和每一次所述出现时间对应的定位生成的所述第一预设人物的行动轨迹,将所述行动轨迹发送至所述第一终端。可以理解的是,本实施例中的计算机可读存储介质可以是易失性可读存储介质,也可以为非易失性可读存储介质。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchl ink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种基于可视对讲系统的目标找寻方法,其特征在于,所述方法包括:
接收第一终端对第一预设人物的查找请求;
基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别;
当未识别到所述第一预设人物时,基于第一预设特征对所述监控视频进行关于所述第一预设人物的模糊查找,其中,所述第一预设特征来自于所述第一终端输入的关于所述第一预设人物的特征,所述模糊查找包括预先设定的查找策略;
若查找到所述第一预设人物,提取所述第一预设人物的出现时间和每一次所述出现时间对应的定位;
基于所述第一预设人物的出现时间和每一次所述出现时间对应的定位生成的所述第一预设人物的行动轨迹,将所述行动轨迹发送至所述第一终端。
2.根据权利要求1所述的基于可视对讲系统的目标找寻方法,其特征在于,所述基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别的步骤之后,包括:
若识别到所述第一预设人物,对所述第一预设人物进行情绪识别,并获取识别结果;
基于所述识别结果,发送相应的预警信息到所述第一终端。
3.根据权利要求2所述的基于可视对讲系统的目标找寻方法,其特征在于,所述对所述第一预设人物进行情绪识别的步骤,包括:
获取所述第一预设人物的语音数据;
从所述语音数据中提取语音特征;
将所述语音特征与不同情绪的预设语音特征进行相似度对比;
若存在相似度大于第一预设阈值的预设语音特征,判断所述第一预设人物存在所述预设语音特征对应的情绪。
4.根据权利要求2所述的基于可视对讲系统的目标找寻方法,其特征在于,所述对所述第一预设人物进行情绪识别的步骤,还包括:
获取所述第一预设人物的人脸进行检测定位;
在检测到的人脸上标定关键点;
基于所述关键点,获取关键点数值特征;
将所述数值特征与不同情绪的预设关键点数值特征进行相似度对比;
若存在相似度大于第二预设阈值的预设关键点数值特征,判断所述第一预设人物存在与所述预设关键点数值特征对应的情绪。
5.根据权利要求1所述的基于可视对讲系统的目标找寻方法,其特征在于,所述基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别的步骤之前,包括:
获取初始预设查找范围;
获取所述第一预设人物的关联人物所属的区域范围;
获取所述关联人物与所述第一预设人物的关联等级;
基于所述关联等级,将所述区域范围进行查找优先级排序,并获取排序结果;
基于所述排序结果和所述初始预设查找范围,生成所述第一预设范围。
6.根据权利要求1所述的基于可视对讲系统的目标找寻方法,其特征在于,所述接收第一终端对第一预设人物的查找请求的步骤之前,包括:
通过所述可视对讲电话实时接收语音信息;
判断所述语音信息中是否存在第一预设关键字;
若存在所述第一预设关键字,开启摄像头进行留言视频录制;
将录制完成的所述留言视频进行保存。
7.根据权利要求6所述的基于可视对讲系统的目标找寻方法,其特征在于,所述监控视频包括所述留言视频;所述基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别的步骤之后,包括:
若在所述留言视频中识别到所述第一预设人物;
将所述留言视频发送至所述第一终端。
8.一种基于可视对讲系统的目标找寻装置,其特征在于,所述装置包括:
请求接收模块,用于接收第一终端对第一预设人物的查找请求;
人脸识别模块,用于基于所述第一预设人物,在第一预设范围内的可视对讲电话的监控视频的视频内容中进行人脸识别;
模糊查找模块,当未识别到所述第一预设人物时,基于第一预设特征对所述监控视频进行关于所述第一预设人物的模糊查找,其中,所述第一预设特征来自于所述第一终端输入的关于所述第一预设人物的特征,所述模糊查找包括预先设定的查找策略;
定位提取模块,用于若查找到所述第一预设人物,提取所述第一预设人物的出现时间和每一次所述出现时间对应的定位;
信息发送模块,用于基于所述第一预设人物的出现时间和每一次所述出现时间对应的定位生成的所述第一预设人物的行动轨迹,将所述行动轨迹发送至所述第一终端。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311834788.1A CN117896484A (zh) | 2023-12-27 | 2023-12-27 | 基于可视对讲系统的目标找寻方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311834788.1A CN117896484A (zh) | 2023-12-27 | 2023-12-27 | 基于可视对讲系统的目标找寻方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117896484A true CN117896484A (zh) | 2024-04-16 |
Family
ID=90643629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311834788.1A Pending CN117896484A (zh) | 2023-12-27 | 2023-12-27 | 基于可视对讲系统的目标找寻方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117896484A (zh) |
-
2023
- 2023-12-27 CN CN202311834788.1A patent/CN117896484A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368609B (zh) | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 | |
CN110602527B (zh) | 视频处理方法、装置及存储介质 | |
US20190228211A1 (en) | Au feature recognition method and device, and storage medium | |
CN106295313B (zh) | 对象身份管理方法、装置和电子设备 | |
CN104598644B (zh) | 喜好标签挖掘方法和装置 | |
CN112328999B (zh) | 双录质检方法、装置、服务器及存储介质 | |
CN109783642A (zh) | 多人会议场景的结构化内容处理方法、装置、设备及介质 | |
WO2017100334A1 (en) | Vpa with integrated object recognition and facial expression recognition | |
CN107515900B (zh) | 智能机器人及其事件备忘系统和方法 | |
CN110401545B (zh) | 聊天群组创建方法、装置、计算机设备和存储介质 | |
CN112037791A (zh) | 会议纪要转录方法、设备和存储介质 | |
CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
TW202018577A (zh) | 基於資料融合的人員辨識方法 | |
WO2021082045A1 (zh) | 微笑表情检测方法、装置、计算机设备及存储介质 | |
CN111476114A (zh) | 疲劳检测方法、装置、终端设备及存储介质 | |
Ponce-López et al. | Non-verbal communication analysis in victim–offender mediations | |
CN109697421A (zh) | 基于微表情的评价方法、装置、计算机设备和存储介质 | |
CN113378691A (zh) | 基于实时用户行为分析的智能家居管理系统及方法 | |
CN117896484A (zh) | 基于可视对讲系统的目标找寻方法、装置、设备及介质 | |
WO2022033228A1 (zh) | 一种数据处理方法及装置 | |
JP2005199373A (ja) | コミュニケーション装置及びコミュニケーション方法 | |
TWI749683B (zh) | 互動式陪伴系統及其方法 | |
CN114596591A (zh) | 一种语音识别触发的服务人员手势规范识别及检测方法 | |
CN113918699A (zh) | 调查问卷的生成方法、装置、计算机设备和存储介质 | |
CN110472488B (zh) | 基于数据处理的图片显示方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |