CN114915574B - 一种通过声音自动检测智能门铃响应延迟的方法和系统 - Google Patents
一种通过声音自动检测智能门铃响应延迟的方法和系统 Download PDFInfo
- Publication number
- CN114915574B CN114915574B CN202111550834.6A CN202111550834A CN114915574B CN 114915574 B CN114915574 B CN 114915574B CN 202111550834 A CN202111550834 A CN 202111550834A CN 114915574 B CN114915574 B CN 114915574B
- Authority
- CN
- China
- Prior art keywords
- doorbell
- sound
- time
- sound data
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000004044 response Effects 0.000 title claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 230000003213 activating effect Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 19
- 238000013479 data entry Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013480 data collection Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003936 working memory Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Interconnected Communication Systems, Intercoms, And Interphones (AREA)
Abstract
本发明提供了一种通过声音自动检测智能门铃响应延迟的方法和系统。在本发明中,智能门铃在接收到激活延迟检测的指令之际,录制所有声音,并开始播放特定声音,获取该特定声音的时间戳并传送该特定声音以及相应的时间戳到智能门铃应用。智能门铃应用实时获取声音数据流,从中提取声音的特征值,将提取的声音值与智能门铃播放的特定声音的特征值进行比较,获取匹配成功的特征值的时间戳,将该匹配成功的特征值的时间戳与智能门铃播放的特定声音的时间戳相减,最终获取智能门铃的延迟时长。
Description
技术领域
本发明涉及智能家居设备,更具体地,涉及智能门铃响应延迟的自动检测。
背景技术
目前,在智能家居的场景中,一般是通过WIFI、Zigbee、蓝牙等方式将各类智能家居设备接入到网络中,并连接到统一的智能家居设备管理平台,从而实现对智能家居设备的关联管理与控制。用户可以通过终端(例如,手机,iPAD,便携式电脑等)上的APP(应用)来实现对智能家居设备的远程控制,比如通过手机APP连接互联网远程打开家中智能台灯。此外,用户也可以在家庭住宅等近场范围内语音控制智能家居设备,如在家中通过智能音箱语音控制关闭智能台灯。
其中,智能门铃,一般而言是一个互联网连接的门铃,当访客到达门口时,其能够通知用户或其他智能家居设备。例如,当访客按下智能门铃的按钮时,或者当智能门铃通过其内置的传感器感应到访客时,其将激活。智能门铃可让用户使用例如终端上的APP,通过门铃的内置高清红外摄像头和麦克风与访客进行观看和交谈。智能门铃还可以自动拍摄门口出现的访客,将所拍摄的视频数据上传到云端或其他服务器以供用户之后进行查看。此外,一些智能门铃还允许用户使用智能锁远程打开门。
智能化的发展为门铃等家居设备带来了不可思议的变化及便利,但与此同时也伴随着一定的使用及安全等问题。例如,如果智能门铃具有延迟问题,则用户不能及时地获取访客的最新视频或语音信息,导致较差的沟通体验。甚至,如果智能门铃在数据传输上具有较大的延迟(例如,数秒),可能会导致设备视频被恶意篡改,引起家中被盗或危险人物入侵家中的严重后果。由此可见,通过收集智能门铃的延迟数据,不断优化智能门铃的硬件设计或用户家中的网络配置,减少该种延迟是非常必要的。
因此,需要一种简便地判断智能门铃是否存在延迟的技术。
发明内容
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
在本发明中,智能门铃预置发声器并通过播放已知声音作为检测项,同时通过获取智能门铃接收的所有声音,再进行特征提取来获取播放的已知声音和出现此声音的时间,来计算智能门铃总体延迟大小。
根据本发明的一个实施例,描述了一种用于自动检测智能门铃延迟的方法,包括:智能门铃响应于接收到激活延迟检测的指令,开始录制环境声音,并播放特定声音,以形成声音数据流;智能门铃获取播放所述特定声音的时间戳,并生成针对所述特定声音的声音数据条目,所述声音数据条目包括播放所述特定声音的时间戳以及所述特定声音的特征值;将包括所述声音数据条目的门铃触发请求传送到智能门铃应用;所述智能门铃应用响应于所述门铃触发请求,对传递自所述智能门铃的声音数据流进行实时采集;对所述声音数据流中所包含的所有声音进行特征提取,并将提取到的特征值与所述门铃触发请求中所包括的智能门铃所播放的所述特定声音的特征值进行比对;如果提取到的特征值中的一个特征值与智能门铃所播放的所述特定声音的特征值匹配,则获取该个特征值在所述声音数据流中出现的时间的时间戳;以及基于所述门铃触发请求中所包括的播放所述特定声音的时间戳与该个特征值在所述声音数据流中出现的时间的时间戳,计算所述智能门铃的延迟。
根据本发明的又一个实施例,描述了一种用于自动检测智能门铃延迟的系统,包括智能门铃和智能门铃应用模块。其中,智能门铃包括:声音播报模块,所述声音播报模块被配置为响应于接收到激活延迟检测的指令,播放特定声音;时间戳获取模块,所述时间戳获取模块被配置为获取播放所述特定声音的时间戳,并生成针对所述特定声音的声音数据条目,所述声音数据条目包括播放所述特定声音的时间戳以及所述特定声音的特征值。智能门铃应用模块包括:声音数据实时采集模块,所述声音数据实时采集模块被配置为响应于门铃触发请求,对传递自所述智能门铃的声音数据流进行实时采集,其中所述门铃触发请求包括所述声音数据条目;声音特征提取和比对模块,所述声音特征提取和比对模块被配置为对所述声音数据流中所包含的所有声音进行特征提取,将提取到的特征值与所述门铃触发请求中所包括的智能门铃所播放的所述特定声音的特征值进行比对,以标识提取到的特征值中与所述门铃触发请求中所包括的所述智能门铃所播放的所述特定声音的特征值相匹配的一个特征值,并获取该个特征值在所述声音数据流中出现的时间的时间戳;以及延迟计算模块,所述延迟计算模块被配置为基于所述门铃触发请求中所包括的播放所述特定声音的时间戳与该个特征值在所述声音数据流中出现的时间的时间戳,计算所述智能门铃的延迟。
通过阅读下面的详细描述并参考相关联的附图,这些及其他特点和优点将变得显而易见。应该理解,前面的概括说明和下面的详细描述只是说明性的,不会对所要求保护的各方面形成限制。
附图说明
为了能详细地理解本发明的上述特征所用的方式,可以参照各实施例来对以上简要概述的内容进行更具体的描述,其中一些方面在附图中示出。然而应该注意,附图仅示出了本发明的某些典型方面,故不应被认为限定其范围,因为该描述可以允许有其它等同有效的方面。
图1示出了根据本发明的一个实施例的用于自动检测智能门铃延迟的系统100的框图;
图2示出了根据本发明的一个实施例的用于自动检测智能门铃延迟的方法200的流程图;以及
图3出了根据本发明的一个实施例的示例性计算设备300的框图。
具体实施方式
下面结合附图详细描述本发明,本发明的特点将在以下的具体描述中得到进一步的显现。
以下具体描述参考示出本发明的示例性实施例的附图。但是,本发明的范围不限于这些实施例,而是由所附权利要求书定义。因此,诸如所示实施例的修改版本之类的在附图所示之外的实施例仍然由本发明所包含。
本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指的是该实施例可包括特定的特征、结构或特点,但是每一实施例不一定包括该特定的特征、结构或特点。此外,这些短语不一定指相同的实施例。此外,当结合实施例描述具体特征、结构或特性时,应当理解在相关领域的技术人员的知识范围内能够结合其他实施例来实现具体特征、结构或特性,无论是否被显式地描述。
目前,对于智能门铃的延迟检测没有系统、规范的方法,一般是专业人员通过仪器设备来手动进行测试,所得到的检测结果并不客观,也不严谨。本发明是通过自动播放特定声音,再通过实时捕获声音信息并进行声音特征提取,自动完成智能门铃的延迟检测,填补了智能门铃在使用中自动进行延迟检测的能力空缺。此外,本发明将预制音频播放的声音数据与现实环境声音进行融合后,再进一步进行延迟检测,可部分用于验证智能门铃画面声音是否是现场真实的音频。由此,本发明简化了对智能门铃进行延迟检测的方法,并克服了现有技术中主观测试的不准确性导致的一系列问题,使智能门铃性能质量检测更加高效、专业和精准。
图1示出了根据本发明的一个实施例的用于自动检测智能门铃延迟的系统100的框图。该系统100包括智能门铃APP(应用)模块101和智能门铃102。其中,智能门铃应用模块101安装并运行在用户的终端设备(例如,移动设备、固定设备等)上,以用于与智能门铃102进行交互。根据本发明的一个实施例,移动设备可包括例如智能手机、平板、车载设备等,固定设备可包括例如台式机、能与智能门铃进行通信的智能设备(诸如智能电视、智能音箱等)等。举例而言,智能门铃应用模块101可为安装在用户的终端设备中的智能门铃APP,通过该智能门铃APP,用户可以远程地与智能门铃102通信和/或控制智能门铃102。本领域的技术人员可以理解,终端设备与智能门铃102的通信方式不在本发明的保护范围之内,其可以通过互联网等方式进行数据传送。并且,本领域的技术人员可以理解,智能门铃应用模块101与智能门铃102的绑定方式也不在本发明的保护范围之内。
根据本发明的一个实施例,智能门铃应用模块101可进一步包括声音数据实时采集模块103、声音特征提取和比对模块104、延迟计算模块105和特定声音列表106(其为可选的)。智能门铃102可进一步包括声音播报模块107和时间戳获取模块108。本领域的技术人员完全可以理解,本文仅仅是出于解说的目的来解说上述模块,各模块中的一者或多者的功能可被合并到单个模块或拆分到多个模块中。并且,各模块中的一者或多者可用软件、硬件或其组合的方式来实现。
参考图1,总体而言,智能门铃102中的声音播报模块107播放特定的声音A,时间戳获取模块108同时获取当前时间戳信息,生成如下格式的声音数据条目:{“时间戳T1”:{“声音A”:特征值A}},并将该条数据条目作为门铃触发请求的一部分传送到智能门铃应用模块101。智能门铃应用模块101在接收到门铃触发请求后,声音数据实时采集模块103开始对传递自智能门铃102的声音数据进行实时采集,并把采集的声音数据提交给声音特征提取和比对模块104进行特征提取。声音特征提取和比对模块104进一步将提取到的每个声音的特征值与门铃触发请求中包含的声音数据条目{“时间戳T1”:{“声音A”:特征值A}}中的特征值A进行比对,如果发现两者特征值相同,则表示两者为同一声音,并进一步获取该声音出现的时间戳T2。接着,延迟计算模块105通过比较T1与T2之间的差值即可获得智能门铃102的延迟。
以下参考图1对每个模块进行进一步的描述。
根据本发明的一个实施例,智能门铃应用模块101被配置为与智能门铃102进行交互。例如,智能门铃应用模块101被配置为显示“延迟检测”按钮,使得用户可以通过点击该按钮来发起对智能门铃102的延迟检测。根据本发明的一个实施例,在“延迟检测”按钮被点击之际,智能门铃应用模块101向智能门铃102发送激活指令以触发智能门铃102开始进行延迟检测(例如,开始录制环境声音并播放特定声音)。当然,“延迟检测”按钮仅仅是一个示例,可以采用任何其他方式来激活智能门铃102进行延迟检测。例如,智能门铃102本身可具有物理或虚拟按钮来激活延迟检测。
根据本发明的另一个实施例,对智能门铃102的检测也可在用户不知晓的情况下进行。例如,智能门铃应用模块101可周期性地对智能门铃102进行延迟检测,而无需用户主动地激活检测。其中,智能门铃102的制造商或者用户可对检测周期进行配置,例如,每天、每周、每两周、每月等等。
根据本发明的一个实施例,智能门铃102的声音播报模块107被配置为在接收到对延迟检测的激活命令之际,播放特定声音。该特定声音可由智能门铃102的制造商预先设置(例如,嵌入)在智能门铃102中。例如,为了使得用于延迟检测的声音能够与环境声音区分开来,特定声音可为诸如“嘀”、“哔”、“叮”等一般不会在环境声音中出现且具有一定特征性的声音。根据本发明的一个实施例,在播放特定声音之前,智能门铃102开启对环境声音的录制,使得播放的特征声音被包括在录制的声音数据流中。
根据本发明的另一个实施例,智能门铃102的制造商可在智能门铃102中预先设置多个特定声音。在预先设置有多个特定声音的情形中,用户可通过智能门铃应用模块101来选择需要播放的特定声音。或者,智能门铃应用模块101可在对智能门铃102进行的周期性延迟检测中采用不同的特定声音。通过不同的特定声音,可提高检测的准确性。
根据本发明的一个实施例,智能门铃应用模块101包括特定声音列表106,该列表106包含多个特定声音,例如,以供如上所述的用户进行选择。该特定声音列表106中的声音可由智能门铃102的制造商预先设置。在实践中,特定声音列表106中的各个条目可在智能门铃应用模块101被实例化为下拉列表、单选框、复选框等供用户选择。当然,在无需用户选择要播放的特定声音的情况下,智能门铃应用模块101可不包括特定声音列表106。
根据本发明的一个实施例,智能门铃102的时间戳获取模块108被配置为获取声音播报模块107播放特定声音时的当前时间戳信息。时间戳获取模块108被进一步配置成生成针对声音播报模块107所播放的特定声音(例如,声音A)的如下格式的声音数据条目:{“时间戳T1”:{“声音A”:特征值A}},并将包括该条声音数据条目的门铃触发请求传送到智能门铃应用模块101。
如本领域的技术人员所熟知的,声音的特征参数具有例如能量、基因频谱、共振峰值、短时过零率等。通过人为的方式(例如,采用各种算法)将声音的特征参数量化为数值可得到声音的“特征值”。简而言之,声音的特征值即表示该声音在数学上表现有一定的独特性,该独特性可由一组数值或多组数值来代表。
根据本发明的一个实施例,智能门铃应用模块101中的声音数据实时采集模块103被配置为在接收到智能门铃102传送的门铃触发请求之际,开始对传递自智能门铃102的声音数据进行实时采集,并把采集到的声音数据作为声音数据流传送到声音特征提取和比对模块104进行特征提取。在实践中,声音数据实时采集模块103所采集的声音包括了智能门铃102录制的实时环境声音,其可能包括播放的特定声音(例如,声音A)以及实时的其他环境声音。
根据本发明的一个实施例,声音数据实时采集模块103可被配置为对一定阈值时间内的声音数据进行实时采集,以避免错过匹配的特征值(例如,假设门铃的延迟一般在3-7秒之间,那么短于3秒的阈值时间会导致检测不到匹配的特征值)或者避免过长的等待时间(例如,超过7秒的阈值时间可能会引起不必要的后台处理进程,浪费计算资源)。例如,该阈值时间可取决于之前的延迟检测结果(例如,取数次延迟检测结果的均值、取数次延迟检测结果的最高值、取前一次的延迟检测结果等),或者由智能门铃102的制造商预先设置、或由用户预先设置。
根据本发明的一个实施例,智能门铃应用模块101中的声音特征提取和比对模块104被配置为对声音数据实时采集模块103传送的声音数据流中的声音进行特征提取,并将提取到的特征值与智能门铃102所播放的特定声音的特征值进行比对,以确定智能门铃102所播放的特定声音是否出现在声音数据实时采集模块103传送的声音数据流中。
根据本发明的一个实施例,声音特征提取和比对模块104被进一步配置为提取声音数据流中包含的所有声音的特征值,并结合各个声音特征值出现的时间戳,形成多组数据:{“时间戳T1”:特征值1,“时间戳T2”:特征值x,“时间戳T3”:特征值n……},其中每组数据包含“时间戳”以及该时间的相应声音特征值。接着,声音特征提取和比对模块104将该多组数据中的每个特征值与门铃触发请求中包含的声音数据条目{“时间戳T1”:{“声音A”:特征值A}}中的特征值A进行比对,以标识匹配的特征值。具体而言,如果该多组数据中的某一特征值与特征值A匹配,则表示两者为同一声音,并进一步获取该某一特征值在声音数据流中出现的时间的时间戳(例如,时间戳T2),并将“时间戳T1”和“时间戳T2”传送到延迟计算模块105。
根据本发明的一个实施例,如果该多组数据中没有与特征值A匹配的特征值,则表示声音数据流中没有与智能门铃102播放的特定声音相同的声音,指示此次检测失败。声音特征提取和比对模块104可返回表示检测失败的警告。进一步,声音特征提取和比对模块104可通过智能门铃应用模块101或其他方式向用户告知该警告或将该警告传送到智能门铃102的后台服务器以供制造商收集、传送到智能家庭环境中的网关设备或存储在本地。并且,可在警告中进一步指示检测失败的原因,例如:未检测到智能门铃102播放的特定声音。根据该警告,用户或智能门铃的制造商或智能门铃应用可按需/按设置再次发起延迟检测。
根据本发明的一个实施例,延迟计算模块105被配置为基于“时间戳T1”和“时间戳T2”来计算智能门铃102的延迟。例如,延迟计算模块105可将“时间戳T2”减去“时间戳T1”(即,两个时间戳之间的差值)来得到延迟结果。根据本发明的一个实施例,延迟计算模块105可被配置为将得到的延迟结果显示在智能门铃应用模块101中或以其他方式通知用户以供用户知晓。根据本发明的另一个实施例,延迟计算模块105可被配置为进一步将得到的延迟结果传送到智能门铃102的后台服务器以供制造商收集、传送到智能家庭环境中的网关设备或存储在本地。根据本发明的另一个实施例,在非用户主动发起延迟检测的情形中,延迟计算模块105可不向用户告知延迟结果。通过该延迟结果,智能门铃的制造商或用户可进一步对智能门铃的硬件、网络的设置等进行改进。
图2示出了根据本发明的一个实施例的用于自动检测智能门铃延迟的方法200的流程图。一般而言,智能门铃在接收到激活延迟检测的指令之际,录制所有声音,并开始播放特定声音,获取该特定声音的时间戳并传送该特定声音以及相应的时间戳到智能门铃应用。智能门铃应用实时获取声音数据流,从中提取声音的特征值,将提取的声音值与智能门铃播放的特定声音的特征值进行比较,获取匹配成功的特征值的时间戳,将该匹配成功的特征值的时间戳与智能门铃播放的特定声音的时间戳相减,最终获取智能门铃的延迟时长。
在步骤201,智能门铃响应于接收到激活延迟检测的指令,开始录制环境声音,并播放特定声音,以形成声音数据流。根据本发明的一个实施例,该特定声音可与其他环境声音明显地区分开,并且可被预设在智能门铃中。根据本发明的一个实施例,激活延迟检测的指令可接收自安装并运行在用户终端设备的智能门铃应用。根据本发明的另一个实施例,激活延迟检测的指令可接收自智能门铃本身(例如,门铃自身具有激活延迟检测的机制(例如,按钮等))。
在步骤202,智能门铃获取播放该特定声音的时间戳,并生成针对该特定声音的声音数据条目,该声音数据条目包括播放该特定声音的时间戳以及该特定声音的特征值。根据本发明的一个实施例,如果播放的特定声音为“声音A”(例如,“嘀”),则针对该特定声音的声音数据条目为:{“时间戳T1”:{“声音A”:特征值A}}。
在步骤203,将包括该条声音数据条目的门铃触发请求传送到智能门铃应用。根据本发明的一个实施例,该智能门铃应用用于远程地与智能门铃通信和/或控制智能门铃。根据本发明的一个实施例,该智能门铃应用运行在用户终端设备上。
在步骤204,智能门铃应用响应于门铃触发请求,对传递自智能门铃的声音数据流进行实时采集。根据本发明的一个实施例,智能门铃应用对一定阈值时间内的声音数据流进行实时采集,以避免潜在的匹配错失或不必要的计算资源的浪费。
在步骤205,对声音数据流中所包含的所有声音进行特征提取,并将提取到的特征值与触发请求中所包括的智能门铃所播放的特定声音的特征值进行比对,以判断是否有匹配的特征值。如果提取到的特征值中的某一个特征值与智能门铃所播放的特定声音的特征值匹配,则进入步骤206,否则,进入步骤207。
根据本发明的一个实施例,对声音数据流中所包含的所有声音进行特征提取进一步包括提取声音数据流中包含的所有声音的特征值,并结合各个声音特征值出现的时间戳,形成多组数据:{“时间戳T1”:特征值1,“时间戳T2”:特征值x,“时间戳T3”:特征值n……},其中每组数据包含各个声音的特征值以及该声音在声音数据流中出现的时间的时间戳。
根据本发明的一个实施例,将提取到的特征值与智能门铃所播放的特定声音的特征值进行比对进一步包括将该多组数据中的每个特征值与门铃触发请求中包含的声音数据条目{“时间戳T1”:{“声音A”:特征值A}}中的特征值A进行比对。
在步骤206,在提取到的特征值中的一个特征值与智能门铃所播放的特定声音的特征值匹配的情况下,获取该匹配的特征值在声音数据流中出现的时间的时间戳。根据本发明的一个实施例,例如,如果该多组数据中的一个特征值与特征值A匹配,则表示两者为同一声音,并进一步获取该特征值在声音数据流中出现的时间的时间戳(例如,时间戳T2)。
在步骤207,返回延迟检测失败的警告。根据本发明的一个实施例,可将延迟检测失败的警告传送到智能门铃应用。根据本发明的另一个实施例,可将延迟检测失败的警告传送到智能门铃的后台服务器以供制造商收集、传送到智能家庭环境中的网关设备或存储在本地。根据本发明的又一个实施例,迟检测失败的警告可包括检测失败的原因,例如,未检测到智能门铃播放的特定声音。
在步骤208,基于步骤202中获取的时间戳(即,门铃触发请求中所包括的播放该特定声音的时间戳)与步骤206中获取的时间戳,计算延迟。根据本发明的一个实施例,可将步骤206中获取的时间戳减去步骤202中获取的时间戳来得到延迟。
本领域的技术人员可以理解,虽然本发明中采用了声音的特征值来作为比对参数,但是也可以采用声波、分贝大小等能将播放的声音在接收到音频中匹配到位置的参数来进行比对。
综上,本发明和现有技术相比,主要优势在于:(1)通过本发明,用户可以通过终端的应用检测智能门铃的延迟情况,增加了用户的体验度;(2)本发明检测预置音频与实际播放是否相同,可以防止视频画面被篡改导致家中被盗;(3)本发明利用音频对比分析获取绝对时间差,所得到的延迟检测结果更精准;(4)本发明的检测结果覆盖智能门铃涉及的全流程,包含智能门铃自身的硬件延迟、网络延迟、显示智能门铃画面声音的APP(设备)延迟等。
图3出了根据本发明的一个实施例的示例性计算设备300的框图,该计算设备300是可应用于本发明的各方面的硬件设备的一个示例。计算设备300可以是可被配置成用于实现处理和/或计算的任何机器,可以是但并不局限于工作站、服务器、桌面型计算机、膝上型计算机、平板计算机、个人数字处理、智能手机、车载计算机或者它们的任何组合。例如,智能门铃应用模块101可被安装并运行在计算设备300中。或者,智能门铃102可被实现为计算设备300。计算设备300可包括可经由一个或多个接口和总线302连接或通信的组件。例如,计算设备300可包括总线302、一个或多个处理器304、一个或多个输入设备306以及一个或多个输出设备308。该一个或多个处理器304可以是任何类型的处理器并且可包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如,专门的处理芯片)。输入设备306可以是任何类型的能够向计算设备输入信息的设备并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备308可以是任何类型的能够呈现信息的设备并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备300也可以包括非瞬态存储设备310或者与所述非瞬态存储设备相连接,所述非瞬态存储设备可以是非瞬态的并且能够实现数据存储的任何存储设备,并且所述非瞬态存储设备可以包括但不限于磁盘驱动器、光存储设备、固态存储器、软盘、软磁盘、硬盘、磁带或任何其它磁介质、光盘或任何其它光介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何存储芯片或盒式磁带、和/或计算机可从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备310可从接口分离。非瞬态存储设备310可具有用于实施上述方法和步骤的数据/指令/代码。计算设备300也可包括通信设备312。通信设备312可以是任何类型的能够实现与内部装置通信和/或与网络通信的设备或系统并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组,例如蓝牙设备、IEEE 1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似设备。
总线302可以包括但不限于工业标准结构(ISA)总线、微通道结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外部设备互连(PCI)总线。
计算设备300还可包括工作存储器314,该工作存储器314可以是任何类型的能够存储有利于处理器304的工作的指令和/或数据的工作存储器并且可以包括但不限于随机存取存储器和/或只读存储设备。
软件组件可位于工作存储器314中,这些软件组件包括但不限于操作系统316、一个或多个应用程序318、驱动程序和/或其它数据和代码。用于实现本发明上述方法和步骤的指令可包含在所述一个或多个应用程序318中,并且可通过处理器304读取和执行所述一个或多个应用程序318的指令来实现本发明的上述方法200中的步骤204-208。
也应该认识到可根据具体需求而做出变化。例如,也可使用定制硬件、和/或特定组件可在硬件、软件、固件、中间件、微代码、硬件描述语音或其任何组合中实现。此外,可采用与其它计算设备、例如网络输入/输出设备等的连接。例如,可通过具有汇编语言或硬件编程语言(例如,VERILOG、VHDL、C++)的编程硬件(例如,包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)利用根据本发明的逻辑和算法来实现所公开的方法和设备的部分或全部。
尽管目前为止已经参考附图描述了本发明的各方面,但是上述方法、系统和设备仅是示例,并且本发明的范围不限于这些方面,而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外,也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外,可以按各种方式组合各种组件。也重要的是,随着技术的发展,所描述的组件中的许多组件可被之后出现的等同组件所替代。
Claims (10)
1.一种用于自动检测智能门铃延迟的方法,包括:
智能门铃响应于接收到激活延迟检测的指令,开始录制环境声音,并播放特定声音,以形成声音数据流;
智能门铃获取播放所述特定声音的时间戳,并生成针对所述特定声音的声音数据条目,所述声音数据条目包括播放所述特定声音的时间戳以及所述特定声音的特征值;
将包括所述声音数据条目的门铃触发请求传送到智能门铃应用;
所述智能门铃应用响应于所述门铃触发请求,对传递自所述智能门铃的声音数据流进行实时采集;
对所述声音数据流中所包含的所有声音进行特征提取,并将提取到的特征值与所述门铃触发请求中所包括的智能门铃所播放的所述特定声音的特征值进行比对;
如果提取到的特征值中的一个特征值与智能门铃所播放的所述特定声音的特征值匹配,则获取该个特征值在所述声音数据流中出现的时间的时间戳;以及
基于所述门铃触发请求中所包括的播放所述特定声音的时间戳与该个特征值在所述声音数据流中出现的时间的时间戳,计算所述智能门铃的延迟。
2.如权利要求1所述的方法,进一步包括,所述智能门铃应用向所述智能门铃发送所述激活延迟检测的指令,其中所述智能门铃应用远程地与所述智能门铃通信和/或控制所述智能门铃。
3.如权利要求1所述的方法,其中,所述特定声音被预先设置在所述智能门铃中。
4.如权利要求1所述的方法,其中,对传递自所述智能门铃的声音数据流进行实时采集进一步包括:对一定阈值时间内的声音数据流进行实时采集。
5.如权利要求1所述的方法,其中,对所述声音数据流中所包含的所有声音进行特征提取进一步包括:提取所述声音数据流中包含的所有声音的特征值,并结合各个声音特征值出现的时间戳,形成多组数据,其中每组数据包含各个声音的特征值以及该声音在所述声音数据流中出现的时间的时间戳。
6.如权利要求5所述的方法,其中,将提取到的特征值与所述门铃触发请求中所包括的智能门铃所播放的所述特定声音的特征值进行比对进一步包括:将所述多组数据中的每个特征值与所述门铃触发请求中所包括的智能门铃所播放的所述特定声音的特征值进行比对。
7.如权利要求1所述的方法,其中,计算所述智能门铃的延迟进一步包括:将该个特征值在所述声音数据流中出现的时间的时间戳减去所述门铃触发请求中所包括的播放所述特定声音的时间戳,以得到所述智能门铃的延迟。
8.一种用于自动检测智能门铃延迟的系统,包括:
智能门铃,包括:
声音播报模块,所述声音播报模块被配置为响应于接收到激活延迟检测的指令,播放特定声音;
时间戳获取模块,所述时间戳获取模块被配置为获取播放所述特定声音的时间戳,并生成针对所述特定声音的声音数据条目,所述声音数据条目包括播放所述特定声音的时间戳以及所述特定声音的特征值;
智能门铃应用模块,包括:
声音数据实时采集模块,所述声音数据实时采集模块被配置为响应于门铃触发请求,对传递自所述智能门铃的声音数据流进行实时采集,其中所述门铃触发请求包括所述声音数据条目;
声音特征提取和比对模块,所述声音特征提取和比对模块被配置为对所述声音数据流中所包含的所有声音进行特征提取,将提取到的特征值与所述门铃触发请求中所包括的智能门铃所播放的所述特定声音的特征值进行比对,以标识提取到的特征值中与所述门铃触发请求中所包括的所述智能门铃所播放的所述特定声音的特征值相匹配的一个特征值,并获取该个特征值在所述声音数据流中出现的时间的时间戳;以及
延迟计算模块,所述延迟计算模块被配置为基于所述门铃触发请求中所包括的播放所述特定声音的时间戳与该个特征值在所述声音数据流中出现的时间的时间戳,计算所述智能门铃的延迟。
9.如权利要求8所述的系统,其中,对所述声音数据流中所包含的所有声音进行特征提取进一步包括:提取所述声音数据流中包含的所有声音的特征值,并结合各个声音特征值出现的时间戳,形成多组数据,其中每组数据包含各个声音的特征值以及该声音在所述声音数据流中出现的时间的时间戳。
10.如权利要求9所述的系统,其中,计算智能门铃的延迟进一步包括:将该个特征值在声音数据流中出现的时间的时间戳减去所述门铃触发请求中所包括的播放所述特定声音的时间戳,以得到所述智能门铃的延迟。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111550834.6A CN114915574B (zh) | 2021-12-17 | 2021-12-17 | 一种通过声音自动检测智能门铃响应延迟的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111550834.6A CN114915574B (zh) | 2021-12-17 | 2021-12-17 | 一种通过声音自动检测智能门铃响应延迟的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114915574A CN114915574A (zh) | 2022-08-16 |
CN114915574B true CN114915574B (zh) | 2024-01-09 |
Family
ID=82763421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111550834.6A Active CN114915574B (zh) | 2021-12-17 | 2021-12-17 | 一种通过声音自动检测智能门铃响应延迟的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114915574B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116364084A (zh) * | 2023-06-01 | 2023-06-30 | 深圳市龙侨华实业有限公司 | 一种通过声音自动检测智能门铃响应延迟的方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005117312A (ja) * | 2003-10-07 | 2005-04-28 | Kddi Corp | 2系統音声信号間の遅延差検出および補正装置 |
JP2007328133A (ja) * | 2006-06-08 | 2007-12-20 | Tamura Seisakusho Co Ltd | 遅延時間検出装置、方法及びプログラム |
CN106209491A (zh) * | 2016-06-16 | 2016-12-07 | 苏州科达科技股份有限公司 | 一种时延检测方法及装置 |
CN106652268A (zh) * | 2017-01-17 | 2017-05-10 | 成都华固特种门窗有限公司 | 基于防盗门的智能呼叫安防系统 |
WO2017206935A1 (zh) * | 2016-06-03 | 2017-12-07 | 公安部第三研究所 | 一种音视频同步测试的系统及方法 |
CN109493883A (zh) * | 2018-11-23 | 2019-03-19 | 小捷科技(深圳)有限公司 | 一种智能设备及其智能设备的音频时延计算方法和装置 |
CN111343707A (zh) * | 2020-03-16 | 2020-06-26 | 纳瓦电子(上海)有限公司 | 门铃系统及通信方法 |
-
2021
- 2021-12-17 CN CN202111550834.6A patent/CN114915574B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005117312A (ja) * | 2003-10-07 | 2005-04-28 | Kddi Corp | 2系統音声信号間の遅延差検出および補正装置 |
JP2007328133A (ja) * | 2006-06-08 | 2007-12-20 | Tamura Seisakusho Co Ltd | 遅延時間検出装置、方法及びプログラム |
WO2017206935A1 (zh) * | 2016-06-03 | 2017-12-07 | 公安部第三研究所 | 一种音视频同步测试的系统及方法 |
CN106209491A (zh) * | 2016-06-16 | 2016-12-07 | 苏州科达科技股份有限公司 | 一种时延检测方法及装置 |
CN106652268A (zh) * | 2017-01-17 | 2017-05-10 | 成都华固特种门窗有限公司 | 基于防盗门的智能呼叫安防系统 |
CN109493883A (zh) * | 2018-11-23 | 2019-03-19 | 小捷科技(深圳)有限公司 | 一种智能设备及其智能设备的音频时延计算方法和装置 |
CN111343707A (zh) * | 2020-03-16 | 2020-06-26 | 纳瓦电子(上海)有限公司 | 门铃系统及通信方法 |
Non-Patent Citations (1)
Title |
---|
基于AT89S52的多功能智能门铃设计;程望斌;冯建伟;谭绍钰;龙杰;李亚松;;湖南理工学院学报(自然科学版)(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114915574A (zh) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102571011B1 (ko) | 분류기 모델과 컨텍스트 파라미터를 사용한 원격 미디어 분류 쿼리에 대한 응답 | |
US9942711B2 (en) | Apparatus and method for determining co-location of services using a device that generates an audio signal | |
KR101818986B1 (ko) | 오디오 입력에 기초하여 정보를 획득하는 방법, 장치 및 시스템 | |
CN102779509B (zh) | 语音处理设备和语音处理方法 | |
US9185456B2 (en) | Hybrid active and passive people metering for audience measurement | |
CN105229629B (zh) | 用于估计对媒体内容的用户兴趣的方法、电子设备和介质 | |
US20130232142A1 (en) | Methods and Apparatus to Identify Users of Handheld Computing Devices | |
EP3236469B1 (en) | Object monitoring method and device | |
CN109493852A (zh) | 一种语音识别的评测方法及装置 | |
CN110087131A (zh) | 电视系统中的电视控制方法及主控终端 | |
CN110830771A (zh) | 智能监控方法、装置、设备及计算机可读存储介质 | |
CN114915574B (zh) | 一种通过声音自动检测智能门铃响应延迟的方法和系统 | |
CN108322770B (zh) | 视频节目识别方法、相关装置、设备和系统 | |
CN106027801A (zh) | 一种通信消息的处理方法及装置、移动设备 | |
CN113709629A (zh) | 频响参数调节方法、装置、设备及存储介质 | |
CN113225624A (zh) | 一种语音识别耗时确定方法和装置 | |
CN108737588A (zh) | 域名解析方法及装置 | |
CN111489757B (zh) | 音频处理方法、装置、电子设备及可读存储介质 | |
CN105681169B (zh) | 一种视觉媒体传输方法和用户终端 | |
CN113990312A (zh) | 一种设备控制方法及装置、电子设备及存储介质 | |
CN107610697B (zh) | 一种音频处理方法及电子设备 | |
CN107479909B (zh) | 一种关闭多媒体应用的方法、装置及智能终端 | |
CN113270099B (zh) | 智能语音提取方法、装置、电子设备及存储介质 | |
WO2019183894A1 (zh) | 一种设备间的数据迁移的方法和设备 | |
CN116668641A (zh) | 云监控摄像头触发方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |