CN109932054A - 可穿戴式声学检测识别系统 - Google Patents
可穿戴式声学检测识别系统 Download PDFInfo
- Publication number
- CN109932054A CN109932054A CN201910336599.9A CN201910336599A CN109932054A CN 109932054 A CN109932054 A CN 109932054A CN 201910336599 A CN201910336599 A CN 201910336599A CN 109932054 A CN109932054 A CN 109932054A
- Authority
- CN
- China
- Prior art keywords
- voice signal
- primary processor
- conformal
- display
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 230000033001 locomotion Effects 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 241000209140 Triticum Species 0.000 claims description 2
- 235000021307 Triticum Nutrition 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 2
- 238000004458 analytical method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Circuit For Audible Band Transducer (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供一种可穿戴式声学检测识别系统,包括共形麦克风阵列、环境摄像头、共形超声传感器阵列、主处理器及显控装置。系统根据超声传感器阵列发出的超声波信号的回波信息确定操作指令及对待测空间内的物体进行定位。另外,主处理器根据共形麦克风阵列采集的声音信号及环境摄像头采集的环境视频图像确定定位跟踪目标。此外,系统还包括用于容置主处理器、供电装置并且内置接口和接线的携行背包。如此,通过在佩戴装置上布设麦克风阵列、超声传感器阵列及摄像头等,一方面可实现对空间内噪声目标的定位跟踪,另一方面结合携行背包及佩戴装置可将各部件佩戴至操作者身上,解放了操作者双手,简化了操作复杂度且提高了操作的敏捷性。
Description
技术领域
本发明涉及声学检测技术领域,具体而言,涉及一种可穿戴式声学检测识别系统。
背景技术
对于从事环境噪声治理、设备声学故障诊断工作的工程师和科研人员来说,能够利用声学检测设备或者系统随心所欲地在现场直观地观察所关心的空间内噪声在时间和空间上的分布特点和频率成分,快速定位噪声源的位置,分析噪声源的信号特征,将有助于提高他们的工作质量和工作效率。目前能够实现空间噪声检测的声学设备或者系统主要包括声级计、声强计、麦克风阵列、手机应用APP以及声学照相机等。其中,声级计存在不能为使用人员提供噪声的空间分布信息、不能对噪声源进行定位及不能对噪声信号的特征进行分析等缺陷。而声强计在操作的同时,还需利用处理软件进行分析处理,其系统较为复杂。采用在检测空间内布设麦克风阵列的方式其系统更为复杂,并且还需依赖于相关人员的技术支持。采用手机应用APP的方式相对来说比较便利,但是由于手机内置的麦克风及采集设备不是针对声学检测专门设计的,因此数据精度上不高。
目前最常采用的是利用声学照相机来实现,一般分为固定布置和便携式布置。固定布置的方式阵列一般尺寸较大,且可移动性差,不适合对空间声学目标进行移动式常态化的巡检和监测。而便携式布置一般需要使用人员双手既作为设备的固定支架,又要操作设备,增加了使用人员的操作复杂度、降低了操作的敏捷性。
发明内容
有鉴于此,本发明实施例的目的在于,提供一种可穿戴式声学检测识别系统以解决上述问题。
本申请实施例提供一种可穿戴式声学检测识别系统,包括集成式多传感模块、佩戴装置、显控装置、主处理器、供电装置以及携行背包,所述集成式多传感模块设置在所述佩戴装置上,所述显控装置设置在所述集成式多传感模块上;
所述主处理器和供电装置设置在所述携行背包内,所述主处理器包括显示设备,所述携行背包内部设置有电源线、数据线、电源接口及数据接口,所述供电装置和所述主处理器通过电源线与所述电源接口连接,所述主处理器还通过所述数据线与所述数据接口连接;
所述集成式多传感模块包括装置本体、设置在所述装置本体上的共形麦克风阵列、环境摄像头、共形超声传感器阵列及前置处理器,所述共形麦克风阵列、环境摄像头、共形超声传感器阵列以及显控装置与所述前置处理器连接,所述前置处理器通过所述电源线与所述电源接口连接、通过所述数据线与所述数据接口连接;
所述共形麦克风阵列包括多个麦克风,所述多个麦克风沿所述装置本体的外围分布设置,所述共形超声传感器阵列包括多个超声传感器,所述多个超声传感器沿所述装置本体的外围分布设置;
所述共形麦克风阵列用于采集待测空间内的多个方向上的声音信号;
所述环境摄像头用于采集待测空间内的环境视频图像;
所述共形超声传感器阵列用于发出高频超声波信号及低频超声波信号,并接收所述高频超声波信号和所述低频超声波信号的回波信号;
所述前置处理器用于对所述声音信号、环境视频图像及所述回波信号进行预处理及存储,并转发至所述主处理器;
所述主处理器用于根据所述共形超声传感器阵列接收到的所述高频超声波信号的回波信号确定操作者的操作指令,还用于根据所述共形超声传感器阵列接收到的所述低频超声波信号的回波信号确定匹配的定位算法以对待测空间内的物体进行定位;
所述主处理器还用于对所述声音信号和所述环境视频图像进行处理,以确定待测空间内的定位跟踪目标;
所述显控装置用于根据所述主处理器对所述声音信号及所述环境视频图像的处理结果显示对应的空间噪声分布图像,所述主处理器的显示设备用于与所述显控装置同步显示图像。
可选地,所述主处理器用于根据所述共形超声传感器阵列接收到的所述低频超声波信号的回波信号在不同方向上的时延差异以获得所述待测空间内的物体相对于所述共形超声传感器阵列的相对位置,并根据得到的相对位置从预存的多个定位算法中选择匹配的定位算法以对待测空间内的物体进行定位。
可选地,所述佩戴装置包括佩戴带以及设置在所述佩戴带上的第一连接部件,所述装置本体上设置有第二连接部件,所述第一连接部件和所述第二连接部件连接以使所述装置本体设置于所述佩戴带;
所述佩戴带的两端分别设置有适配的卡扣结构,所述卡扣结构用于将所述佩戴带的两端扣合或分离。
可选地,所述显控装置包括透视平视显示器、投影装置以及动作捕捉摄像头,所述透视平视显示器设置在所述装置本体的底部,所述装置本体呈“U”形结构,所述投影装置及所述动作捕捉摄像头设置在呈“U”形结构的装置本体的内侧;
所述投影装置用于根据所述主处理器对所述声音信号及所述环境视频图像的处理结果得到对应的空间噪声分布图像,并将所述空间噪声分布图像投射至所述透视平视显示器;
所述投影装置还用于将预设的操作界面图像投射至所述透视平视显示器进行显示;
所述动作捕捉摄像头用于采集所述透视平视显示器上的标志图像,以及操作者放置在所述透视平视显示器的与所述动作捕捉摄像头相对的一侧的手势图像;
所述主处理器还用于根据所述手势图像确定操作者的操作指令。
可选地,所述主处理器还用于根据所述动作捕捉摄像头所采集到的操作者的手势图像得到所述透视平视显示器上的操作界面图像与所述手势图像之间的相对位置关系,并根据所述相对位置关系确定操作者对所述操作界面图像上的操作控件的操作指令。
可选地,所述装置本体上还设置有校准按钮;
所述投影装置还用于将所述集成式多传感模块的定位参考坐标系图像投射至所述透视平视显示器上,所述动作捕捉摄像头用于采集投射到所述透视平视显示器上的定位参考坐标系图像、操作者的眼部图像及所述透视平视显示器上的坐标系定位标志;
所述校准按钮用于启动自动校准功能并调制所述集成式多传感模块的定位参考坐标系的参数以使所述定位参考坐标系图像与所述坐标系定位标志重合以实现坐标系的校准。
可选地,所述装置本体上还设置有参数调节按钮及界面操作按钮;
所述界面操作按钮用于选择确定所述透视平视显示器的操作界面上的元素控件;
所述参数调节按钮用于调整待处理数据或待显示数据的参数。
可选地,所述装置本体包括布设部件以及设置在所述布设部件两端的支撑框架,所述布设部件及所述支撑框架构成“U”字形。
可选地,所述可穿戴式声学检测识别系统还包括近耳声学模块,所述近耳声学模块包括耳部固定结构、第一传输线以及设置在所述耳部固定结构上的二元麦克风阵列及近耳扬声器,所述二元麦克风阵列包括两个麦克风;
所述二元麦克风阵列中各所述麦克风用于采集操作者耳部周围环境的声音信号;
所述近耳扬声器用于对已采集到的声音信号进行回放;
所述第一传输线用于连接所述集成式多传感模块以及所述近耳声学模块。
可选地,所述可穿戴式声学检测识别系统还包括回放耳机模块,所述回放耳机模块包括包覆式耳罩、第二传输线以及设置在所述包覆式耳罩上的耳机共形麦克风阵列,所述耳机共形麦克风阵列包括多个麦克风,所述多个麦克风沿所述包覆式耳罩的外围分布设置;
所述耳机共形麦克风阵列用于采集操作者耳部周围环境的声音信号;
所述包覆式耳罩用于降低环境噪声对操作者的影响,并用于对已获得的声音信号进行回放;
所述第二传输线用于连接所述集成式多传感模块及所述回放耳机模块。
可选地,所述主处理器用于通过以下方式确定待测空间内的定位跟踪目标:
所述主处理器用于对所述声音信号进行处理以计算得到待测空间内不同方向上的不同频率的声音信号能量;
将各个方向上的不同频率的声音信号能量进行累加以得到各个方向上的总的声音信号能量;
根据各个方向上的总的声音信号能量并结合所述待测空间内的环境视频图像确定待测空间内的潜在声学目标;
从获得的潜在声学目标中获得对应的总的声音信号能量最高的前预设个以作为定位跟踪目标。
可选地,所述主处理器用于通过以下方式计算得到待测空间内不同方向上的不同频率的声音信号能量:
所述主处理器用于调整所述共形麦克风阵列中各个麦克风采集到的声音信号的时延以改变声音信号的接收方向;
根据各个麦克风在所述装置本体上的设置位置对各个麦克风采集到的声音信号进行加权处理;
将多个麦克风对应的声音信号进行累加以得到不同方向的声音信号,并对各个方向上的声音信号进行带通滤波处理以获得各个方向上的不同频带的声音信号;
根据各个方向上的不同频带的声音信号计算对应方向上不同频率的声音信号能量。
本发明实施例提供的可穿戴式声学检测识别系统,通过集成式多传感模块中的共形麦克风阵列采集待测空间内的声音信号、环境摄像头采集环境视频图像、通过共形超声传感器阵列发出超声波信号,并根据超声波信号的回波信息确定操作者的操作指令及对待测空间内的物体进行定位。并且通过显控装置显示对应的空间噪声分布图像。利用佩戴装置可将上述各个部件佩戴在操作者身上。主处理器还可根据声音信号及环境视频图像确定待测空间内的定位跟踪目标。此外,系统还包括携行背包,可将主处理器、供电装置放置于携行背包中,并通过其中的接口及接线,实现主处理器、供电装置与上述各个部件的连接,以实现数据交互及电源供给。该可穿戴式声学检测识别系统通过在佩戴装置上布设麦克风阵列、超声传感器阵列及摄像头等,一方面可实现对空间内噪声目标的定位跟踪,另一方面结合携行背包及佩戴装置可将各部件佩戴至操作者身上,解放了操作者双手,简化了操作复杂度且提高了操作的敏捷性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的可穿戴式声学检测识别系统的结构图之一。
图2为本发明实施例提供的携行背包的结构图。
图3为本发明实施例提供的可穿戴式声学检测识别系统的结构图之二。
图4为本发明实施例提供的可穿戴式声学检测识别系统的示意性结构框图。
图5为本发明实施例提供的可穿戴式声学检测识别系统的结构图之三。
图6为本发明实施例提供的近耳声学模块的结构图。
图标:10-可穿戴式声学检测识别系统;100-集成式多传感模块;110-装置本体;111-第二连接部件;112-布设部件;113-支撑框架;120-共形麦克风阵列;130-环境摄像头;140-共形超声传感器阵列;150-前置处理器;160-按钮;200-佩戴装置;210-佩戴带;220-第一连接部件;230-卡扣结构;300-显控装置;310-透视平视显示器;320-投影装置;330-动作捕捉摄像头;400-主处理器;410-显示设备;500-供电装置;600-携行背包;610-供电装置电源接口;611-主处理器电源接口;612-外接电源接口;620-主处理器数据接口;621-外接数据接口;700-近耳声学模块;710-耳部固定结构;720-二元麦克风阵列;730-近耳扬声器。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请结合参阅图1和图2,本申请实施例提供一种可穿戴式声学检测识别系统10,所述可穿戴式声学检测识别系统10包括集成式多传感模块100、佩戴装置200、显控装置300、主处理器400、供电装置500以及携行背包600。所述集成式多传感模块100设置在所述佩戴装置200上,所述显控装置300设置在所述集成式多传感模块100上。
所述主处理器400和供电装置500设置在所述携行背包600内,所述主处理器400包括显示设备410,所述携行背包600内部设置有电源线、数据线、电源接口及数据接口。所述供电装置500和所述主处理器400通过电源线与所述电源接口连接,所述主处理器400还通过数据线与所述数据接口连接。
请结合参阅图3和图4,本实施例中,所述集成式多传感模块100包括装置本体110、设置在所述装置本体110上的共形麦克风阵列120、环境摄像头130、共形超声传感器阵列140及设置在装置本体110内部空腔的前置处理器150。所述共形麦克风阵列120、环境摄像头130、共形超声传感器阵列140以及显控装置300与所述前置处理器150连接。所述前置处理器150通过所述电源线与携行背包600上的电源接口连接、通过所述数据线与携行背包600上的数据接口连接。
可选地,所述装置本体110上包括数据接口和电源接口,所述共形麦克风阵列120、环境摄像头130、共形超声传感器阵列140以及显控装置300分别通过数据线和电源线与前置处理器150连接。所述装置本体110上的数据接口的一端与所述前置处理器150连接、另一端通过数据线连接至携行背包600上的数据接口。装置本体110上的电源接口的一端与所述前置处理器150连接、另一端通过电源线连接至携行背包600上的电源接口。
具体地,请再次参阅图2,携行背包600上的电源接口包括供电装置电源接口610、主处理器电源接口611及外接电源接口612。所述供电装置500通过电源线与所述供电装置电源接口610连接,所述主处理器400通过电源线与所述主处理器电源接口611连接,所述前置处理器150连接至装置本体110上的电源接口后再通过电源线与所述外接电源接口612连接。可选地,携行背包600上的数据接口包括主处理器数据接口620及外接数据接口621。所述主处理器400通过所述数据线与所述主处理器数据接口620连接,所述前置处理器150连接至所述装置本体110上的数据接口之后再通过数据线与所述外接数据接口621连接。
通过上述连接方式,主处理器400与前置处理器150之间可以实现数据、信息的交互,进而与集成式多传感模块100中的其他部件以及显控装置300实现数据、信息的交互。所述供电装置500可为所述主处理器400、集成式多传感模块100及显控装置300提供电能。图2中示出了携行背包600包括两个数据接口及三个电源接口,应当理解,数据接口及电源接口的数量可根据实际需求进行设定,本实施例不作具体限制。
请再次结合参阅图3和图4,本实施例中,所述共形麦克风阵列120包括多个麦克风,多个麦克风沿所述装置本体110的外围分布设置。所述共形麦克风阵列120可用于采集待测空间内的多个方向上的声音信号。所述环境摄像头130可用于采集待测空间内的环境视频图像。
所述共形超声传感器阵列140包括多个超声传感器,多个超声传感器可分布设置于装置本体110的前部表面以及侧面。
所述共形麦克风阵列120将采集到的声音信号发送至前置处理器150,所述环境摄像头130将采集到的环境视频图像发送至前置处理器150。所述前置处理器150对接收到的声音信号及环境视频图像进行预处理后发送至所述主处理器400。所述前置处理器150还可对声音信号及环境视频图像进行存储。
所述主处理器400可用于对所述声音信号和所述环境视频图像进行分析处理,以确定待测空间内的定位跟踪目标。所述显控装置300可用于根据主处理器400对所述声音信号及所述环境视频图像的处理结果显示对应的空间噪声分布图像。
本实施例中,所述主处理器400可以是例如平板电脑、笔记本电脑或者是其他可实现数据、信号处理等的移动设备。其中,所述主处理器400还包括显示设备410,所述显示设备410可用于与所述显控装置300同步显示图像。
所述共形超声传感器阵列140可用于发出高频超声波信号,并接收该高频超声波信号的回波信号。所述主处理器400可对所述高频超声波信号的回波信号进行分析处理,以根据回波信号的变化情况确定操作者的操作指令。
此外,所述共形超声传感器阵列140还可用于发出低频超声波信号。所述主处理器400可用于对所述共形超声传感器阵列140接收到的所述低频超声波信号的回波信号确定匹配的定位算法以对待测空间内的物体进行定位。
本实施例中,通过上述设置,可利用共形麦克风阵列120及环境摄像头130以实现对待测空间内的声音信号及图像的采集,通过主处理器400的分析处理以得到待测空间内的定位跟踪目标。并可通过显控装置300显示对应的空间噪声分布图像,使操作者直接可见空间内噪声源分布情况。并且通过共形超声传感器阵列140发出的高频超声波信号和低频超声波信号以确定操作者的操作指令及对待测空间内的物体进行定位。并且结合利用佩戴装置200和携行背包600可将各部件佩戴至操作者身上,解放了操作者双手,简化了操作复杂度且提高了操作的敏捷性。
具体地,在本实施例中,主处理器400根据所述共形超声传感器阵列140接收到的所述低频超声波信号的回波信号在不同方向上的时延差异以获得所述待测空间内的物体相对于所述共形超声传感器阵列140的相对位置。并且可根据得到的相对位置从预存的多个定位算法中选择匹配的定位算法以对待测空间内的物体进行定位。
可选地,所述相对位置可包括相对距离、俯仰角及方位角。所述主处理器400可在所述相对位置中的相对距离小于或等于预设距离值r0时,选择预设的声聚焦算法以作为定位算法进行定位。若所述相对距离大于所述预设距离值r0时,则选择预设的波束形成算法作为定位算法进行定位。主处理器400可在不同情形下选择适宜的定位算法以计算不同方向上的声音信号强度,通过不同方向上声音信号强度的差异实现声学目标的定位。
在本实施例中,所述佩戴装置200包括佩戴带210以及设置在所述佩戴带210上的第一连接部件220。所述装置本体110上设置有第二连接部件111,所述第一连接部件220和所述第二连接部件111可适配,如此可通过将第一连接部件220和第二连接部件111连接以使所述装置本体110设置于所述佩戴带210。
其中,所述佩戴带210可以由弹性织物制成,或者也可以由橡胶材料制成,具体本实施例不作限制。
在所述佩戴带210的两端还分别设置有适配的卡扣结构230,所述卡扣结构230可用于将所述佩戴带210的两端扣合或者分离所述佩戴带210的两端。利用卡扣结构230可以便于操作者对设备的佩戴。可选地,在所述佩戴带210扣合时,佩戴带210的形状可以是环形,如此,可将设备佩戴至操作者的头部,无需操作者一直手持设备。
请结合参阅图5,在本实施例中,所述装置本体110包括布设部件112以及设置在所述布设部件112两端的支撑框架113,所述布设部件112和两端的支撑框架113构成类似“U”字形。其中,所述布设部件112主要用于布设环境摄像头130、共形麦克风阵列120及共形超声传感器阵列140等。所述支撑框架113的形状类似于眼镜镜架形状,如此,在使用时,支撑框架113可架设在操作者的耳部,进一步实现稳定地佩戴设备的目的,并且还可缓解设备重量对操作者头部造成的压力。
在本实施例中,所述共形麦克风阵列120包括多个麦克风,可预先利用声学空间定位算法对麦克风的位置进行规划,以便将多个麦克风布设于装置本体110的表面。具体地,多个麦克风可布设于处于中间的布设部件112的表面以及两侧的支撑框架113的表面,以多方位地采集待测空间内不同方向上的声音信号。本实施例中,共形麦克风阵列120利用装置本体110所提供的支撑空间,实现在有限结构下对声音信号进行充分的空间采样。
所述环境摄像头130的数量可以是多个,例如2个或4个等不限。多个环境摄像头130可设置于所述装置本体110中的布设部件112的两侧,可呈对称设置,以采集待测空间的环境视频图像。
请结合参阅图4和图5,本实施例中,所述显控装置300包括透视平视显示器310、投影装置320以及动作捕捉摄像头330。所述透视平视显示器310可设置在所述装置本体110的底部,具体地,可设置在所述布设部件112的底部。所述投影装置320及所述动作捕捉摄像头330可设置在呈“U”形结构的装置本体110的内侧,具体地,所述投影装置320可设置在所述透视平视显示器310的内侧的斜上方,以便于将图像投射至透视平视显示器310。所述动作捕捉摄像头330可包括多个,例如两个。两个动作捕捉摄像头330可分别设置在所述透视平视显示器310的内侧的两端,以透过所述透视平视显示器310拍摄操作者的手势动作。
所述透视平视显示器310的形状可类似于眼镜镜框的形状,在操作者将佩戴装置200佩戴至头部时,透视平视显示器310可位于操作者的眼部前方,以便于操作者可观察透视平视显示器310上显示的图像,且可透过透视平视显示器310观察待测空间环境图像。
其中,所述投影装置320可用于根据所述主处理器400对所述声音信号及所述环境视频图像的处理结果得到对应的空间噪声分布图像,并将所述空间噪声分布图像投射至所述透视平视显示器310。所述投影装置320还可用于将预设的操作界面图像投射至所述透视平视显示器310进行显示。所述操作界面图像可以是主处理器400发送至所述投影装置320的包括多个元素控件的操作界面。
本实施例中,通过投影装置320投射至透视平视显示器310上的空间噪声分布图像和操作界面图像是经过准直的(平行光线)并且聚焦于无限距处的,所以操作者的眼睛不需要在待测空间环境景象和透视平视显示器310反射的图像之间调焦,操作者用双眼即可观察透视平视显示器310上的图像。
本实施例中,操作者还可通过所述透视平视显示器310观察真实的待测空间环境图像,在将空间噪声分布图像投射至透视平视显示器310之后,透视平视显示器310上的空间噪声分布图像将叠加至真实环境图像中,使操作者人眼即可观察到叠加后的声像图。
所述动作捕捉摄像头330可用于采集所述透视平视显示器310上的标志图像,以及操作者放置在所述透视平视显示器310的与所述动作捕捉摄像头330相对的一侧的手势图像。
在透视平视显示器310上对应人眼平视状态的视觉中心位置设有坐标系定位标志,可用于对系统的检测坐标和显示坐标进行校准。所述投影装置320投射至透视平视显示器310上的图像也带有投影装置320的坐标系定位标志图像。操作者在佩戴设备进行检测时,操作者的眼部可投射至透视平视显示器310上以形成投射图像。
具体地,所述动作捕捉摄像头330所采集的标志图像可以包括上述的透视平视显示器310上设的坐标系定位标志、投影装置320投射至透视平视显示器310上的坐标系定位标志图像以及操作者眼部在透视平视显示器310上的投射图像。动作捕捉摄像头330可采集上述三者的图像,并得到三者之间的位置关系。
本实施例中,在所述装置本体110上还设置有多个按钮160,包括界面操作按钮、参数调节按钮及校准按钮等。各个按钮160可设置在所述装置本体110的两侧的支撑框架113表面,如此,可便于操作者的调节。其中,界面操作按钮可用于操作者选择确定所述透视平视显示器310的操作界面上要操作的元素控件。参数调节按钮可用于操作者调整待处理或待显示数据的参数。校准按钮可用于启动坐标自动校准功能。
请参阅图6,可选地,所述可穿戴式声学检测识别系统10还包括近耳声学模块700,所述近耳声学模块700包括耳部固定结构710、第一传输线以及设置在所述耳部固定结构710上的二元麦克风阵列720及近耳扬声器730。
所述二元麦克风阵列720可包括两个麦克风,可用于采集操作者耳部周围环境的声音信号。所述近耳扬声器730用于对已采集到的声音信号进行回放。所述第一传输线用于连接所述集成式多传感模块100以及所述近耳声学模块700,用于集成式多传感模块100和近耳声学模块700之间的数据传输及供电。
其中,所述耳部固定结构710的形状可类似耳廓形状,如此可方便将耳部固定结构710佩戴至操作者的外耳道外侧。通过耳部固定结构710将近耳声学模块700佩戴至操作者耳部时,近耳扬声器730位于操作者的外耳道外侧附近,如此,操作者在听近耳扬声器730播放的声音时还可以听到外界的声音。近耳声学模块700可供操作者在待测空间的环境噪声不会对人耳造成伤害的情况下使用。
此外,本实施例中,所述可穿戴式声学检测识别系统10还可包括回放耳机模块,所述回放耳机模块包括包覆式耳罩、第二传输线以及设置在所述包覆式耳罩上的耳机共形麦克风阵列。
所述耳机共形麦克风阵列用于采集操作者耳部周围环境的声音信号。所述包覆式耳罩用于降低环境噪声对操作者的影响,并用于对已获得的声音信号进行回放。所述第二传输线用于连接所述集成式多传感模块100及所述回放耳机模块,以用于集成式多传感模块100和回放耳机模块之间的数据传输及供电。
所述耳机共形麦克风阵列由沿所述包覆式耳罩的外壳分布设置的多个麦克风组成。回放耳机模块可供操作者在环境噪声可能对操作者人耳产生噪声伤害的环境中使用。
本实施例中,主处理器400可实现目标自动检测功能,可根据多个方向上的声音信号和环境视频图像确定待测空间内的定位跟踪目标,可通过以下方式实现:
所述主处理器400用于对所述声音信号进行处理以计算得到待测空间内不同方向上的不同频率的声音信号能量。将各个方向上的不同频率的声音信号能量进行累加以得到各个方向上的总的声音信号能量。根据各个方向上的总的声音信号能量并结合所述待测空间内的环境视频图像确定待测空间内的潜在声学目标。从获得的潜在声学目标中获得对应的总的声音信号能量最高的前预设个以作为定位跟踪目标。
可选地,所述主处理器400用于通过以下方式计算得到待测空间内不同方向上的不同频率的声音信号能量:
所述主处理器400用于调整所述共形麦克风阵列120中各个麦克风采集到的声音信号的时延以改变声音信号的接收方向。根据各个麦克风在所述装置本体110上的设置位置对各个麦克风采集到的声音信号进行加权处理。将多个麦克风对应的声音信号进行累加以得到不同方向的声音信号,并对各个方向上的声音信号进行带通滤波处理以获得各个方向上的不同频带的声音信号。根据各个方向上的不同频带的声音信号计算对应方向上不同频率的声音信号能量。
本实施例中,在超声传感器探测到的待测空间内的物体与传感器之间的相对位置中的相对距离大于预设距离值r0时,可认为待测空间中来自不同方向的声音近似平面波传播规律。可通过调整共形麦克风阵列120中每个麦克分采集到的声音信号的时延以改变声音信号的接收方向。并且,依据各个麦克风在装置本体110上的设置位置,对该麦克风采集到的声音信号进行加权处理。将改变时延且加权处理后的所有麦克风采集到的声音信号进行累加,得到不同方向上的声音信号。再对各个方向上的声音信号进行带通滤波处理以获得各个方向上的不同频带的声音信号。进而可计算得到不同方向上的不同频带的声音信号能量。
此外,在超声传感器探测到的待测空间内的物体与传感器之间的相对位置中的相对距离小于或等于预设距离值r0时,可认为待测空间中来自不同方向的声音近似球面波传播规律。在这种情况下,相比近似平面波传播规律的情形下,可在上述的对各个麦克风采集到的声音信号进行加权处理的步骤之后,将各个声音信号乘以所述相对位置中的相对距离值。再按上述方式对各个麦克风对应的声音信号进行累加。
按上述方式获得不同方向上不同频率的声音信号能量后,将相同方向上不同频率的声音信号能量进行累加,得到各个方向上总的声音信号能量。本实施例中,可选择频带在预设范围内的声音信号进行处理,以确定定位跟踪目标。其中,预设范围可以是20Hz≤f≤20kHz,也可以是其他频带范围,具体不作限制。在预设范围内的声音信号能量的数值可以看作集成式多传感模块100的传感器坐标系下的多峰函数。多峰函数的极大值的位置可代表潜在声学目标的位置,而多峰函数的极大值的数量可代表潜在声学目标的数量。
本实施例中,可对确定的潜在声学目标对应的声音信号能量进行排序,例如可按从大到小的顺序进行排序。可获得排序后的排在前预设位(例如一位或两位等不限)的声音信号能量对应的潜在声学目标作为定位跟踪目标。后续,可在透视平视显示器310上对定位跟踪目标进行提示显示。
操作者可通过操作界面对定位跟踪目标的参数进行查看,可选择定位跟踪目标对应的声音信号的某个频带进行收听,可通过近耳声学模块700或回放耳机模块进行播放。
可选地,操作者在使用近耳声学模块700采集声音信号时,人耳与近耳声学模块700处于同步收听状态。当使用回放耳机模块时,回放耳机模块的耳机共形麦克风阵列120连续采集声音信号,包覆式耳罩中的扬声器同步播放这些声音信号让人耳接收。
当使用人员通过人耳的自然听力接收到某种感兴趣的声音信号时,可利用近耳声学模块700或回放耳机模块对采集到的声音信号进行回放,回放过程中操作者可以调整音量大小和频段范围以及播放时段,实现查找信号的功能。找到前述感兴趣的信号后,操作者通过选择时段和频率范围的方式固定此信号,将此信号设置为特定的待检测声学目标。系统对该目标进行检测与跟踪,方法与目标自动检测相同。在跟踪过程中不断向操作者通过图像显示目标跟踪信息。若被跟踪目标处于人眼视野坐标中心附近,则在透视平视显示器310上用目标确认标志对噪声目标位置进行提示,如果目标不在此区域,则在透视平视显示器310上用目标提示标志进行提示。
本实施例中,在对已采集到的声音信号进行回放时,还可对回放的声音信号进行进一步地分析处理。可通过主处理器400的显示设备410或透视平视显示器310实现回放分析模式下的操作。在回放分析模式下,可将之前获得的空间噪声分布信息以云图或等高线图的方式进行显示。可将空间噪声分布图和定位跟踪目标信息作为声学图像信息,并结合同步采集的真实环境图像在图像坐标系下叠加以合成新的图像信息,通过透视平视显示器310或主处理器400的显示设备410进行显示。
操作者可对不同空间位置上的声音信号进行常规信息分析,例如时域分析、频域分析、时频分析、统计分析或包络分析等不限。且可通过调整分析参数以重新对噪声目标进行定位。
本实施例中,操作者可通过手势动作实现对操作界面上的元素控件的操作。可利用动作捕捉摄像头330及共形超声传感器阵列140实现操作者动作手势的识别。例如,操作者将操作手势与想要操作的界面内显示的元素控件图形在图像上重合(这里所说的元素控件是指投影到透视平视显示器310上的操作界面与显示界面内的元素控件)。动作捕捉摄像头330记录该操作,并通过对该元素控件图形实现高亮显示,表示系统确认操作者准备对该元素控件进行操作。共形超声传感器阵列140发射和接收高频超声波信号,通过高频超声波信号的回波信号的变化识别操作者对元素控件的操作。通过前置处理器150对上述采集到的图像数据与超声数据进行预处理后传输至主处理器400。主处理器400根据上述数据进行手势操作的定位、跟踪、识别处理,生成操作指令,并执行该指令。
例如,操作者的手势远离透视平视显示器310表示对该元素控件进行点击操作,接近透视平视显示器310表示对该元素控件取消操作。可以通过高频超声波信号回波时延的变化实现对手势远离或接近透视平视显示器310的分辨。当高频超声波信号的回波时延逐渐变长,则代表手势远离透视平视显示器310。当高频超声波信号的回波时延逐渐变短,则代表手势接近透视平视显示器310置。主处理器400通过上述信息生成相应的操作指令,并执行该指令。
再例如,操作者的手势左右或上下移动表示对元素控件进行滑动操作。可以通过动作捕捉摄像头330对手势图像在图像坐标内的连续移动方向实现分辨。当手势图像在图像坐标内连续向左侧移动,则代表手势要实现向左实现滑动操作。
需要说明的是,上述的对操作手势的识别方式仅为举例说明,并不限定于此,在实际应用中还可根据需求进行相应设置。
具体实施时,在佩戴好识别设备后,需要对系统坐标系进行校准。坐标系校准是将集成式多传感模块100的定位参考坐标系、透视平视显示器310的坐标系和操作者在目视前方的条件下平视视野形成的坐标系进行统一,使操作者的双眼能够观察到准确的声源位置。
在对系统坐标校准时,可采用手动模式及自动模式。在手动模式下,操作者双眼水平直视前方,调整集成式多传感模块100的位置,使透视平视显示器310上自带的坐标系标志与双眼水平视野平行,使透视平视显示器310上的坐标系中心位于操作者水平视野中心位置。投影装置320将集成式多传感模块100的定位参考坐标系图像投影到透视平视显示器310上。操作者在保证目视视野坐标不移动的情况下,调整镜架式的集成式多传感模块100的位置,使光学透视平视显示器310上的坐标系定位标志与操作者的目视视野坐标重合,同时,集成式多传感模块100的定位参考坐标系通过投影装置320在透视平视显示器310上形成的坐标投影与透视平视显示器310上的坐标系定位标志重合,实现坐标系的校准。
在自动模式下,操作者双眼水平直视前方,调整集成式多传感模块100的位置,使透视平视显示器310上自带的坐标系标志与双眼水平视野平行,光学透视平视显示器310上的坐标中心位于使用人员水平视野中心位置。通过动作捕捉摄像头330同时获得投影到透视平视显示器310上的集成式多传感模块100的定位参考坐标系图像、投影到透视平视显示器310上的操作者的双眼的图像和透视平视显示器310上的坐标系定位标志。可通过集成式多传感模块100上的校准按钮,以启动自动校准功能。在启动自动校准功能后,自动调制集成式多传感模块100的定位参考坐标系的参数,使集成式多传感模块100的定位参考坐标系与透视平视显示器310上的坐标系定位标志重合,实现坐标系的校准。
本发明实施例提供的可穿戴式声学检测识别系统10,通过集成式多传感模块100中的共形麦克风阵列120采集待测空间内的声音信号、环境摄像头130采集环境视频图像、通过共形超声传感器阵列140发出超声波信号,并根据超声波信号的回波信息确定操作者的操作指令及对待测空间内的物体进行定位。并且通过显控装置300显示对应的空间噪声分布图像。利用佩戴装置200可将上述各个部件佩戴在操作者身上。主处理器400还可根据声音信号及环境视频图像确定待测空间内的定位跟踪目标。此外,系统还包括携行背包600,可将主处理器400、供电装置500放置于携行背包600中,并通过其中的接口及接线,实现主处理器400、供电装置500与上述各个部件的连接,以实现数据交互及电源供给。该可穿戴式声学检测识别系统10通过在佩戴装置200上布设麦克风阵列、超声传感器阵列及摄像头等,一方面可实现对空间内噪声目标的定位跟踪,另一方面结合携行背包600及佩戴装置200可将各部件佩戴至操作者身上,解放了操作者双手,简化了操作复杂度且提高了操作的敏捷性。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接。可以是机械连接,也可以是电连接。可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (12)
1.一种可穿戴式声学检测识别系统,其特征在于,包括集成式多传感模块、佩戴装置、显控装置、主处理器、供电装置以及携行背包,所述集成式多传感模块设置在所述佩戴装置上,所述显控装置设置在所述集成式多传感模块上;
所述主处理器和供电装置设置在所述携行背包内,所述主处理器包括显示设备,所述携行背包内部设置有电源线、数据线、电源接口及数据接口,所述供电装置和所述主处理器通过电源线与所述电源接口连接,所述主处理器还通过所述数据线与所述数据接口连接;
所述集成式多传感模块包括装置本体、设置在所述装置本体上的共形麦克风阵列、环境摄像头、共形超声传感器阵列及前置处理器,所述共形麦克风阵列、环境摄像头、共形超声传感器阵列以及显控装置与所述前置处理器连接,所述前置处理器通过所述电源线与所述电源接口连接、通过所述数据线与所述数据接口连接;
所述共形麦克风阵列包括多个麦克风,所述多个麦克风沿所述装置本体的外围分布设置,所述共形超声传感器阵列包括多个超声传感器,所述多个超声传感器沿所述装置本体的外围分布设置;
所述共形麦克风阵列用于采集待测空间内的多个方向上的声音信号;
所述环境摄像头用于采集待测空间内的环境视频图像;
所述共形超声传感器阵列用于发出高频超声波信号及低频超声波信号,并接收所述高频超声波信号和所述低频超声波信号的回波信号;
所述前置处理器用于对所述声音信号、环境视频图像及所述回波信号进行预处理及存储,并转发至所述主处理器;
所述主处理器用于根据所述共形超声传感器阵列接收到的所述高频超声波信号的回波信号确定操作者的操作指令,还用于根据所述共形超声传感器阵列接收到的所述低频超声波信号的回波信号确定匹配的定位算法以对待测空间内的物体进行定位;
所述主处理器还用于对所述声音信号和所述环境视频图像进行处理,以确定待测空间内的定位跟踪目标;
所述显控装置用于根据所述主处理器对所述声音信号及所述环境视频图像的处理结果显示对应的空间噪声分布图像,所述主处理器的显示设备用于与所述显控装置同步显示图像。
2.根据权利要求1所述的可穿戴式声学检测识别系统,其特征在于,所述主处理器用于根据所述共形超声传感器阵列接收到的所述低频超声波信号的回波信号在不同方向上的时延差异以获得所述待测空间内的物体相对于所述共形超声传感器阵列的相对位置,并根据得到的相对位置从预存的多个定位算法中选择匹配的定位算法以对待测空间内的物体进行定位。
3.根据权利要求1所述的可穿戴式声学检测识别系统,其特征在于,所述佩戴装置包括佩戴带以及设置在所述佩戴带上的第一连接部件,所述装置本体上设置有第二连接部件,所述第一连接部件和所述第二连接部件连接以使所述装置本体设置于所述佩戴带;
所述佩戴带的两端分别设置有适配的卡扣结构,所述卡扣结构用于将所述佩戴带的两端扣合或分离。
4.根据权利要求1所述的可穿戴式声学检测识别系统,其特征在于,所述显控装置包括透视平视显示器、投影装置以及动作捕捉摄像头,所述透视平视显示器设置在所述装置本体的底部,所述装置本体呈“U”形结构,所述投影装置及所述动作捕捉摄像头设置在呈“U”形结构的装置本体的内侧;
所述投影装置用于根据所述主处理器对所述声音信号及所述环境视频图像的处理结果得到对应的空间噪声分布图像,并将所述空间噪声分布图像投射至所述透视平视显示器;
所述投影装置还用于将预设的操作界面图像投射至所述透视平视显示器进行显示;
所述动作捕捉摄像头用于采集所述透视平视显示器上的标志图像,以及操作者放置在所述透视平视显示器的与所述动作捕捉摄像头相对的一侧的手势图像;
所述主处理器还用于根据所述手势图像确定操作者的操作指令。
5.根据权利要求4所述的可穿戴式声学检测识别系统,其特征在于,所述主处理器还用于根据所述动作捕捉摄像头所采集到的操作者的手势图像得到所述透视平视显示器上的操作界面图像与所述手势图像之间的相对位置关系,并根据所述相对位置关系确定操作者对所述操作界面图像上的操作控件的操作指令。
6.根据权利要求4所述的可穿戴式声学检测识别系统,其特征在于,所述装置本体上还设置有校准按钮;
所述投影装置还用于将所述集成式多传感模块的定位参考坐标系图像投射至所述透视平视显示器上,所述动作捕捉摄像头用于采集投射到所述透视平视显示器上的定位参考坐标系图像、操作者的眼部图像及所述透视平视显示器上的坐标系定位标志;
所述校准按钮用于启动自动校准功能并调制所述集成式多传感模块的定位参考坐标系的参数以使所述定位参考坐标系图像与所述坐标系定位标志重合以实现坐标系的校准。
7.根据权利要求6所述的可穿戴式声学检测识别系统,其特征在于,所述装置本体上还设置有参数调节按钮及界面操作按钮;
所述界面操作按钮用于选择确定所述透视平视显示器的操作界面上的元素控件;
所述参数调节按钮用于调整待处理数据或待显示数据的参数。
8.根据权利要求1所述的可穿戴式声学检测识别系统,其特征在于,所述装置本体包括布设部件以及设置在所述布设部件两端的支撑框架,所述布设部件及所述支撑框架构成“U”字形。
9.根据权利要求1所述的可穿戴式声学检测识别系统,其特征在于,所述可穿戴式声学检测识别系统还包括近耳声学模块,所述近耳声学模块包括耳部固定结构、第一传输线以及设置在所述耳部固定结构上的二元麦克风阵列及近耳扬声器,所述二元麦克风阵列包括两个麦克风;
所述二元麦克风阵列中各所述麦克风用于采集操作者耳部周围环境的声音信号;
所述近耳扬声器用于对已采集到的声音信号进行回放;
所述第一传输线用于连接所述集成式多传感模块以及所述近耳声学模块。
10.根据权利要求1所述的可穿戴式声学检测识别系统,其特征在于,所述可穿戴式声学检测识别系统还包括回放耳机模块,所述回放耳机模块包括包覆式耳罩、第二传输线以及设置在所述包覆式耳罩上的耳机共形麦克风阵列,所述耳机共形麦克风阵列包括多个麦克风,所述多个麦克风沿所述包覆式耳罩的外围分布设置;
所述耳机共形麦克风阵列用于采集操作者耳部周围环境的声音信号;
所述包覆式耳罩用于降低环境噪声对操作者的影响,并用于对已获得的声音信号进行回放;
所述第二传输线用于连接所述集成式多传感模块及所述回放耳机模块。
11.根据权利要求1所述的可穿戴式声学检测识别系统,其特征在于,所述主处理器用于通过以下方式确定待测空间内的定位跟踪目标:
所述主处理器用于对所述声音信号进行处理以计算得到待测空间内不同方向上的不同频率的声音信号能量;
将各个方向上的不同频率的声音信号能量进行累加以得到各个方向上的总的声音信号能量;
根据各个方向上的总的声音信号能量并结合所述待测空间内的环境视频图像确定待测空间内的潜在声学目标;
从获得的潜在声学目标中获得对应的总的声音信号能量最高的前预设个以作为定位跟踪目标。
12.根据权利要求11所述的可穿戴式声学检测识别系统,其特征在于,所述主处理器用于通过以下方式计算得到待测空间内不同方向上的不同频率的声音信号能量:
调整所述共形麦克风阵列中各个麦克风采集到的声音信号的时延以改变声音信号的接收方向;
根据各个麦克风在所述装置本体上的设置位置对各个麦克风采集到的声音信号进行加权处理;
将多个麦克风对应的声音信号进行累加以得到不同方向的声音信号,并对各个方向上的声音信号进行带通滤波处理以获得各个方向上的不同频带的声音信号;
根据各个方向上的不同频带的声音信号计算对应方向上不同频率的声音信号能量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910336599.9A CN109932054B (zh) | 2019-04-24 | 2019-04-24 | 可穿戴式声学检测识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910336599.9A CN109932054B (zh) | 2019-04-24 | 2019-04-24 | 可穿戴式声学检测识别系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109932054A true CN109932054A (zh) | 2019-06-25 |
CN109932054B CN109932054B (zh) | 2024-01-26 |
Family
ID=66990994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910336599.9A Active CN109932054B (zh) | 2019-04-24 | 2019-04-24 | 可穿戴式声学检测识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109932054B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113225478A (zh) * | 2021-04-28 | 2021-08-06 | 维沃移动通信(杭州)有限公司 | 一种拍摄方法和装置 |
CN113282141A (zh) * | 2021-05-31 | 2021-08-20 | 华北水利水电大学 | 基于混合虚拟现实的可穿戴便携计算机及教学平台 |
WO2022133739A1 (zh) * | 2020-12-22 | 2022-06-30 | 贵州电网有限责任公司 | 一种基于时间差的头戴式ar眼镜声源定位方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1696363A2 (en) * | 2005-02-25 | 2006-08-30 | Psion Teklogix Systems Inc. | Hand-free data acquisition system |
CN104469154A (zh) * | 2014-12-05 | 2015-03-25 | 合肥国科声拓信息技术有限公司 | 一种基于麦克风阵列的摄像头引导装置及引导方法 |
US20150172814A1 (en) * | 2013-12-17 | 2015-06-18 | Personics Holdings, Inc. | Method and system for directional enhancement of sound using small microphone arrays |
CN105223551A (zh) * | 2015-10-12 | 2016-01-06 | 吉林大学 | 一种可穿戴的声源定位跟踪系统及方法 |
US20160165342A1 (en) * | 2014-12-05 | 2016-06-09 | Stages Pcs, Llc | Helmet-mounted multi-directional sensor |
US20160192066A1 (en) * | 2014-12-05 | 2016-06-30 | Stages Pcs, Llc | Outerwear-mounted multi-directional sensor |
US20160277863A1 (en) * | 2015-03-19 | 2016-09-22 | Intel Corporation | Acoustic camera based audio visual scene analysis |
CN107437063A (zh) * | 2017-07-04 | 2017-12-05 | 上海小蚁科技有限公司 | 用于感测环境的装置和方法、非暂态计算机可读介质 |
CN207612422U (zh) * | 2017-12-07 | 2018-07-13 | 杭州蓝斯特科技有限公司 | 一种可视化助听装置 |
CN209525006U (zh) * | 2019-04-24 | 2019-10-22 | 北京耘科科技有限公司 | 可穿戴式声学检测识别系统 |
-
2019
- 2019-04-24 CN CN201910336599.9A patent/CN109932054B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1696363A2 (en) * | 2005-02-25 | 2006-08-30 | Psion Teklogix Systems Inc. | Hand-free data acquisition system |
US20150172814A1 (en) * | 2013-12-17 | 2015-06-18 | Personics Holdings, Inc. | Method and system for directional enhancement of sound using small microphone arrays |
CN104469154A (zh) * | 2014-12-05 | 2015-03-25 | 合肥国科声拓信息技术有限公司 | 一种基于麦克风阵列的摄像头引导装置及引导方法 |
US20160165342A1 (en) * | 2014-12-05 | 2016-06-09 | Stages Pcs, Llc | Helmet-mounted multi-directional sensor |
US20160192066A1 (en) * | 2014-12-05 | 2016-06-30 | Stages Pcs, Llc | Outerwear-mounted multi-directional sensor |
US20160277863A1 (en) * | 2015-03-19 | 2016-09-22 | Intel Corporation | Acoustic camera based audio visual scene analysis |
CN105223551A (zh) * | 2015-10-12 | 2016-01-06 | 吉林大学 | 一种可穿戴的声源定位跟踪系统及方法 |
CN107437063A (zh) * | 2017-07-04 | 2017-12-05 | 上海小蚁科技有限公司 | 用于感测环境的装置和方法、非暂态计算机可读介质 |
CN207612422U (zh) * | 2017-12-07 | 2018-07-13 | 杭州蓝斯特科技有限公司 | 一种可视化助听装置 |
CN209525006U (zh) * | 2019-04-24 | 2019-10-22 | 北京耘科科技有限公司 | 可穿戴式声学检测识别系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022133739A1 (zh) * | 2020-12-22 | 2022-06-30 | 贵州电网有限责任公司 | 一种基于时间差的头戴式ar眼镜声源定位方法及装置 |
CN113225478A (zh) * | 2021-04-28 | 2021-08-06 | 维沃移动通信(杭州)有限公司 | 一种拍摄方法和装置 |
CN113282141A (zh) * | 2021-05-31 | 2021-08-20 | 华北水利水电大学 | 基于混合虚拟现实的可穿戴便携计算机及教学平台 |
Also Published As
Publication number | Publication date |
---|---|
CN109932054B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11523213B2 (en) | Audio system for dynamic determination of personalized acoustic transfer functions | |
US11176669B2 (en) | System for remote medical imaging using two conventional smart mobile devices and/or augmented reality (AR) | |
US10154363B2 (en) | Electronic apparatus and sound output control method | |
CN109932054A (zh) | 可穿戴式声学检测识别系统 | |
US7371218B2 (en) | Immersive portable ultrasound system and method | |
US20110096941A1 (en) | Self-steering directional loudspeakers and a method of operation thereof | |
US10088868B1 (en) | Portable electronic device for acustic imaging and operating method for the same | |
US20100177179A1 (en) | Apparatus and method for enhancing field of vision of the visually impaired | |
US10848891B2 (en) | Remote inference of sound frequencies for determination of head-related transfer functions for a user of a headset | |
US20200045491A1 (en) | Customizing head-related transfer functions based on monitored responses to audio content | |
EP3954136A1 (en) | Acoustic transfer function personalization using sound scene analysis and beamforming | |
US11082794B2 (en) | Compensating for effects of headset on head related transfer functions | |
CN107580176A (zh) | 一种终端拍摄控制方法、摄像终端及计算机可读存储介质 | |
US11785411B2 (en) | Information processing apparatus, information processing method, and information processing system | |
CN209525006U (zh) | 可穿戴式声学检测识别系统 | |
US20240095948A1 (en) | Self-tracked controller | |
JP2017118376A (ja) | 電子機器 | |
US20240098409A1 (en) | Head-worn computing device with microphone beam steering | |
WO2014060598A2 (en) | Sensing systems, associated methods and apparatus | |
US11526018B2 (en) | Phased array of ultrasound transducers for depth sensing | |
JP2022144577A (ja) | 音声出力装置及び頭部装着型表示装置 | |
EP3609199A1 (en) | Customizing head-related transfer functions based on monitored responses to audio content | |
CN117377927A (zh) | 带拇指压力感测的手持控制器 | |
WO2024116021A1 (en) | Head related transfer function application to sound location in emergengy scenarios | |
CN118102169A (zh) | 一种可穿戴拾音设备及拾音方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |