CN106979980B

CN106979980B - 一种多频谱声学相机及识别方法

Info

Publication number: CN106979980B
Application number: CN201710296864.6A
Authority: CN
Inventors: 郭新华; 叶小东; 曹凯华
Original assignee: Wuhan University of Technology WUT
Current assignee: Wuhan University of Technology WUT
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2020-06-09
Anticipated expiration: 2037-04-28
Also published as: CN106979980A

Abstract

本发明涉及一种多频谱声学相机及识别方法，用于复杂环境下对人体或物体进行超声成像和识别，以辨认识别人体物体信息。包括硬件组件和图像处理组件，硬件组件包括固定板以及设置在固定板上的超声波发生器阵列及接收器阵列，所述超声波发生器阵列及接收器阵列同时与采集处理电路连接；图像处理组件包括发射/采集处理模块和成像及识别处理模块。本发明优点是：1、可以在恶劣光学环境下如夜间进行探测，具有更广泛的实用性，能在复杂工况下工作；2、该发明成像和识别可以实时的得到人体物体的状态信息，方便人工观察和处理；3、由于超声波不同于光学的特殊性质，超声波相机成像所成的人体图像中不包含过多的隐私信息，具有更好的保密性。

Description

一种多频谱声学相机及识别方法

技术领域

本发明公开了一种新型多频谱声学相机，具体是一种新型多频谱声学相机及识别方法，可以用于复杂环境下对人体或物体进行超声成像和识别，以辨认识别人体物体信息。

背景技术

实时成像及识别技术如今广泛的应用于生产生活的方方面面，其作用是对于物体或者人体进行识别之后得到相关的一些属性和信息，提供给后续处理系统进行处理。在日常应用中，实时成像及识别系统多采用光学系统，如在家居方面，实时成像及识别系统可以对家中的住户进行模式识别，监测老人、小孩的生活状态。例如老人小孩在跌倒时具有一定的危险性，如果未及时发现和处理，可能会具有一定的风险，造成无法挽回的后果。传统的方法可以添置摄像头采用光学的方式进行识别，但光学摄像头很难胜任夜晚或室内低光照度情况下的监测。并且个人的活动信息具有一定的隐私性，光学摄像头在录制过程中会很清晰的分辨出人体的行为，容易造成对个人隐私的侵犯和泄漏。采用多频谱超声波的成像及识别的新型多频谱声学相机采用超声波进行成像，不受环境光线的影响，在昏暗等环境下具有比光学系统更高的适应性，可以更有效的使用。尽管多频谱声学相机可以生成和识别人体、物体的实时三维信息，但由于超声波与光的不同特性，其不会显示太多的隐私细节，具有很好的保密性能。在另一方面，超声波相机在对物体进行成像时，还能利用物体本身的声学特性对物体的性质进行分析，可以得到一部分物体性质信息。

发明内容

本发明的目的是设计一款新型多频谱声学相机，从硬件部分到计算机软件部分。该相机使用超声波对人体或物体进行检测、成像，并可以通过计算机算法对其进行识别。

本发明的目的是通过以下技术来实现的：

一种新型多频谱声学相机，其特征在于：包括硬件组件和图像处理组件，其中，

硬件组件，包括固定板以及设置在固定板上的超声波发生器阵列及接收器阵列，所述超声波发生器阵列及接收器阵列同时与采集处理电路连接；

图像处理组件，包括：发射/采集处理模块和成像及识别处理模块。

在上述的一种新型多频谱声学相机，超声波接收器阵列为正方形16×16阵列，共计256个接收器，内嵌四个超声波发生器，用于发射电脑设置的多频率信号及接收反射信号。

一种采用新型多频谱声学相机的识别方法，其特征在于：包括：

步骤1，发射/采集处理模块控制超声波发生器进行多频率的超声波发声，按一定时间逐次发送不同频率的声波，用于对人体进行扫描拍摄；

步骤2，成像及识别处理模块逐次的分析每一频率的声波信息并成像，之后采用深度学习的方式对多频谱成像图进行行为模式的识别。

在上述的一种采用新型多频谱声学相机的识别方法，所述步骤1的具体方法包括以下子步骤：

步骤101:控制超声波发生器阵列按照时间间隔T，设置多频谱频率为[F1, F2]，设置多频谱频率间隔为f，控制超声波发生器开始发生超声波，频率依次递增为F1、F1+f、F1+2f…F2，每隔T时间改变一次频率；控制采集阵列的采集为行采集(或列采集)；

步骤102：在一个时间间隔T内(此时超声波发生器发生的频率稳定不变，下一个时间T才会递增)，超声波接收器阵列按照行扫描的方式开始扫描，每次一行十六个通道数据接收，采样率由计算机软件控制，数据直接通过数据采集卡采集并且存入电脑中；t秒后进行下一行的扫描，一直完成整个的十六行扫描操作，每一个时间间隔T内均可以对整个人体或物体完成某一超声频率的扫描操作；全部频率段扫描完成后，超声波发生装置将自动停止，同时超声波接收装置也会停止，扫描结束；

步骤103：上位机采用labview模块进行存储和基本分析；该多频谱声学相机系统可以对收集到的频率信号进行实时地采集和显示，上位机显示模块可以显示实时的16通道采集数据的波形图图像；对不同采集通道的开启和屏蔽也可以由上位机进行控制。

在上述的一种采用新型多频谱声学相机的识别方法，所述步骤2的具体方法包括以下子步骤：

步骤201：每一个频率信号均包含一定的物体形状位置信息，通过采集卡的采集，将同一频率的接收数据放置于同一文件中进行处理；

步骤202：对每一个频率的信号，采用定向波束形成的方法，对于收到的信号进行滤波，滤除杂波因素，并且对各个通道收集到的回波信号进行加权处理，获得某一方向上的波束(此时功率最大)，这样通过计算超声波的发生接收时间和相位角等信息，可以获得某一部分在空间中的位置，获得一个成像点信息；

步骤203：对所有的频率段信息采用相同的定向波束形成的方法，可以对整个空间中的物体进行声成像点信息的采集，将这些采集点绘制在三维立体坐标系中，就可以获得一个以超声波发生单元为中心向外发散的一个锥形三维散点图，最后成像的精确度由散点图散点的数量决定；

步骤204：对上一步中生成的散点图系进行插值处理，就可以得到一个平滑的三维面，该三维面即是多频谱超声相机的成像图，其实时性由系统内计算机的计算速度和所取的散点数量决定；

步骤205：在完成物体平滑三维面建立之后，利用计算机选取该立体三维面的一个截面，将截面图二维化处理，这样可以得到一个物体轮廓的信息；该信息被存储在二维图像中，采用CNN(卷积神经网络)深度学习的方法，可以对图像进行部分信息提取；CNN的训练可以通过开源数据库所提供的训练数据进行训练，提高其对人体物体的识别能力；

步骤206：提取到的图像部分信息，通过CNN进行比对，以确定物体的种类和人体的动作行为信息；

如果在该图像中未能获取人体物体信息，则继续通过步骤205确定信息。

本发明的有益效果是：1、创新式超声成像及其识别方法的提出，超声相机通过计算机算法对所拍摄的物体进行实时三维成像和识别，能够准确识别人体与物体。同光学相关技术相比，超声相机可以在恶劣光学环境下如夜间进行探测，具有更广泛的实用性，能在复杂工况下工作；2、该发明成像和识别可以实时的得到人体物体的状态信息，方便人工观察和处理；3、由于超声波不同于光学的特殊性质，超声波相机成像所成的人体图像中不包含过多的隐私信息，具有更好的保密性。

附图说明

图1本发明的总体设计框图。

图2本发明所采用的超声接收器阵列示意图。

图3本发明的相机运行示意图。

具体实施方式

下面结合附图对本发明作进一步的说明。

一、首先介绍一下本发明涉及的新型多频谱声学相机具体结构。

该相机包括硬件组件和图像处理组件，其中，

硬件组件，包括固定板以及设置在固定板上的超声波发生器阵列及接收器阵列，所述超声波发生器阵列及接收器阵列同时与采集处理电路连接；超声波接收器阵列为正方形16×16阵列，共计256个接收器，内嵌四个超声波发生器，用于发射电脑设置的多频率信号及接收反射信号。

二、下面介绍一下采用新型多频谱声学相机的识别方法。

该方法包括：

步骤1，发射/采集处理模块控制超声波发生器进行多频率的超声波发声，按一定时间逐次发送不同频率的声波，用于对人体进行扫描拍摄；具体方法包括以下子步骤：

步骤2，成像及识别处理模块逐次的分析每一频率的声波信息并成像，之后采用深度学习的方式对多频谱成像图进行行为模式的识别。具体方法包括以下子步骤：

步骤206：提取到的图像部分信息，通过CNN进行比对，以确定物体的种类和人体的动作行为信息；如果在该图像中未能获取人体物体信息，则继续通过步骤205确定信息。

三、以下是采用上述相机结构以及方法实施的具体案例。

通过图1可以看见，计算机处理部分作为整个系统的核心，控制和处理整个系统的信息。超声波发射部分由计算机软件控制，通过板间的四个超声波发生器间隔发送等长时间的不同频率波段，以达到多频谱发送的目的。

由图2可以看见，采集部分采用16×16正方形超声接收器阵列通过线性扫描的方式进行循环采集。通过计算机软件对其进行设置，可以设置为单排扫描。超声波发生后，超声接收器阵列第一排扫描开始，并在一定时间间隔后停止此排扫描开始下一排扫描，直到全部16行超声接收器扫描完毕，得到该频率超声波下的一组信息。扫描完毕后，计算机软件自动的将超声波的频率提高一个频率间隔(该间隔由计算机软件进行控制)，继续完成上述扫描，直到所有频率扫描完毕。扫描的同时通过电路将收集到的声学信号转化为电信号并传输到数据采集卡中，数据采集卡通过计算机软件将模拟信号转化为数字信号传入计算机中。计算机接收到转换过来的数字信号之后，对数字信号进行实时的存储和显示，可以在计算机上看见实时的接收波形信息。由于人对不同频率的超声波有不同的反射属性，所以通过每一频率的超声波可以得到相应的属性信息，综合所有超声信息可以获得实时的超声波成像对人体进行超声成像时，根据人体的形态特征，可以通过计算机算法进行处理得到实时的行为识别。

图3显示了整个相机在对人体拍摄时的运行示意图，当超声波接触人体后会产生一个回波，回波通过超声接收器阵列进行接收，转化为相应的电信号之后由处理电路进行处理，然后通过计算机软件进行实时成像显示和模式识别。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims

1.一种采用多频谱声学相机的识别方法，其特征在于：基于一种多频谱声学相机系统，包括硬件组件和图像处理组件，其中，

硬件组件，包括固定板以及设置在固定板上的超声波发生器阵列及接收器阵列，所述超声波发生器阵列及接收器阵列同时与发射/采集处理模块连接；

图像处理组件，包括：发射/采集处理模块和成像及识别处理模块；

超声波接收器阵列为正方形16×16阵列，共计256个接收器，内嵌四个超声波发生器，用于发射计算机设置的多频率信号及接收反射信号；

方法包括：

步骤1，发射/采集处理模块控制超声波发生器产生多频率的超声波，按一定时间逐次发送不同频率的声波，用于对人体或物体进行扫描拍摄；

步骤2，成像及识别处理模块逐次地分析每一频率的声波信息并成像，之后采用深度学习的方式对多频谱成像图进行物体种类或人体行为模式的识别；

所述步骤1的具体方法包括以下子步骤：

步骤101:控制超声波发生器阵列按照时间间隔T，设置多频谱频率为[F1, F2] ，设置多频谱频率间隔为f，控制超声波发生器开始发生超声波，频率依次递增为F1、F1+f、F1+2f…F2，每隔T时间改变一次频率；控制采集阵列的采集为行采集；

步骤102：在一个时间间隔T内，超声波接收器阵列按照行扫描的方式开始扫描，每次一行十六个通道数据接收，采样率由计算机软件控制，数据直接通过数据采集卡采集并且存入计算机中；T秒后进行下一行的扫描，一直完成整个的十六行扫描操作，每一个时间间隔T内均可以对整个人体或物体完成某一超声频率的扫描操作；全部频率段扫描完成后，超声波发生器将自动停止，同时超声波接收器也会停止，扫描结束；

步骤103：计算机采用labview模块进行存储和基本分析；该多频谱声学相机系统可以对收集到的频率信号进行实时地采集和显示，计算机显示模块可以显示实时的16通道采集数据的波形图图像；对不同采集通道的开启和屏蔽由计算机进行控制；

所述步骤2的具体方法包括以下子步骤：

步骤201：每一个频率信号均包含一定的人体或物体形状位置信息，通过采集卡的采集，将同一频率的接收数据放置于同一文件中进行处理；

步骤202：对每一个频率的信号，采用定向波束形成的方法，对于收到的信号进行滤波，滤除杂波因素，并且对各个通道收集到的回波信号进行加权处理，获得某一方向上的波束，这样通过计算超声波的发生接收时间和相位角信息，可以获得某一部分在空间中的位置，获得一个成像点信息；

步骤203：对所有的频率段信息采用相同的定向波束形成的方法，可以对整个空间中的人体或物体进行声成像点信息的采集，将这些采集点绘制在三维立体坐标系中，就可以获得一个以超声波发生单元为中心向外发散的一个锥形三维散点图，最后成像的精确度由散点图散点的数量决定；

步骤205：在完成人体或物体平滑三维面建立之后，利用计算机选取该三维面的一个截面，将截面图二维化处理，这样可以得到一个人体或物体轮廓的信息；该信息被存储在二维图像中，采用CNN（卷积神经网络）深度学习的方法，可以对图像进行部分信息提取；CNN的训练通过开源数据库所提供的训练数据进行训练，提高其对人体或物体的识别能力；

步骤206：提取到的图像部分信息，通过CNN进行比对，以确定物体的种类或人体的动作行为信息；如果在该图像中未能获取人体或物体信息，则继续通过步骤205确定信息。