CN110661988A - 一种声音与图像混合阵列处理系统 - Google Patents
一种声音与图像混合阵列处理系统 Download PDFInfo
- Publication number
- CN110661988A CN110661988A CN201910750990.3A CN201910750990A CN110661988A CN 110661988 A CN110661988 A CN 110661988A CN 201910750990 A CN201910750990 A CN 201910750990A CN 110661988 A CN110661988 A CN 110661988A
- Authority
- CN
- China
- Prior art keywords
- sound
- data
- image
- processing
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 141
- 238000013500 data storage Methods 0.000 claims abstract description 32
- 238000010586 diagram Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000005236 sound signal Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
- H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/10—Adaptations for transmission by electrical cable
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Acoustics & Sound (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Studio Circuits (AREA)
Abstract
本发明公开了一种声音与图像混合阵列处理系统，包括声阵列信号处理子系统、图像阵列处理子系统和显示模块；所述声阵列信号处理子系统包括声音阵列接收模块和声音数据的存储与处理模块，所述图像阵列处理子系统包括图像阵列接收模块与图像数据的存储与处理模块；显示模块用于将声阵列处理子系统与图像阵列处理子系统分别传送来的声强分布图和视频进行叠加显示，将声强分布图不同位置的声音分布与视频中该位置相对应的物体严格贴合，从而使得用户通过该模块就可得知画面中每个区域内的物体周围的声音分布情况。
Description
技术领域
本发明属于数据处理技术领域，具体涉及一种声音与图像混合阵列处理系统。
背景技术
声音与图像是我们生活中最常接触到的，其中包含了大量的有用信息，在很多领域中都起到了关键性的作用，例如刑侦破案、远程会议等等。在实际应用当中提取到的通常是多种声源发出的混合声音信号，对其最常见的处理就是进行频谱分析，根据需要提取相应频带范围内的信号或者对信号进行分离。在混合声音信号当中，不同声源发出的声音强弱各有差异，因而可以对信号进行处理，将其在不同时间与空间上的声强分布直观的表示出来。
对图像的处理则更加常见，比如在电商领域经常需要对图像进行修饰，使其更加美观；在公共场合发生盗窃等事件时，经常需要获取监控摄像头拍到的画面对其进行分析。近年来，随着神经网络的不断发展，对图像的检测与识别已然变成了一个热点，吸引了大批的学者对其进行研究。
在某些情况下，单纯只对声音或者图像进行处理已经无法满足需求，需要同时对两者进行分析。声学相机是目前比较流行的应用实例，其主要用于噪声源的定位。通过将捕获到的声音与图像混合信号进行处理，最后便可通过显示器观察到画面当中不同位置上的声音分布情况，从而得出噪声可能存在的区域并采取相应的措施。本系统同样是对采集到的声音与图像混合阵列进行处理，用户可以观察到不同强度的声音信号的分布情况，同时自行选择获取到的图像对其进行目标检测，由此得知画面中某个位置上的具体物体以及该位置上的声音分布。本系统可以广泛应用于远程视频会议、考场行为监控等多个领域当中。
发明内容
本发明的目的在于克服现有技术的不足，提供一种声音与图像混合阵列处理系统。
本发明是通过以下技术方案实现的：
一种声音与图像混合阵列处理系统，包括声阵列信号处理子系统、图像阵列处理子系统和显示模块；
所述声阵列信号处理子系统包括声音阵列接收模块和声音数据的存储与处理模块，所述声音阵列接收模块用于接收终端传送而来的声阵列信号数据包并将其中的有效数据解析出来供声音数据的存储与处理模块进行数据处理；所述声音数据的存储与处理模块包含“先存储后处理”与“先处理后存储”两种工作模式，这两种模式通过多线程编码的方式同时进行；
其中：“先存储后处理”模式下，先将有效数据进行保存，当数据存储完毕后便对数据进行处理，将接收到的数据在显示模块中以二维波形的形式显示；“先处理后存储”模式下，声音数据的存储与处理模块将接收到的有效声阵列数据首先暂时放置在内存当中，当数据帧数量达到要求后，将内存中保存的所有数据转换为二维矩阵，然后采用波达方向估计算法，得到声强分布图，声强分布图最后发送至显示模块；
所述图像阵列处理子系统包括图像阵列接收模块与图像数据的存储与处理模块，所述图像阵列接收模块用于接收终端传送而来的图像阵列信号数据包并将其中的有效数据解析出来供图像数据的的存储与处理模块进行数据处理；所述图像数据的存储与处理模块包含“先存储后处理”与“先处理后存储”两种工作模式，这两种模式通过多线程编码的方式同时进行；
其中：“先存储后处理”模式下，先将原始图像数据以图片的形式保存在相应文件夹中，然后根据用户要求，对其进行目标检测，以获得图像的细节信息；“先处理后存储”模式下，是将接收到的图像数据直接发送至显示模块，显示模块会将声阵列处理子系统所获得的声强分布图叠加于视频上，最终将叠加后的整体视频进行保存。
在上述技术方案中，本系统中接收到的声音阵列数据和图像阵列数据是由一种声音与图像信号混合终端经千兆以太网线传输而得到的，该终端采用图像传感器和声传感器分别采集声音与图像数据，再将两种信号分别进行组帧，最后经过一根千兆以太网线传输至本系统，利用千兆以太网线中的虚拟通道和端口同时互不干扰的传输图像、声音两种数据信号。
在上述技术方案中，所述声音阵列接收模块是根据终端传输声信号的虚拟通道所对应的端口号进行接收的，首先搜寻到该端口，一旦系统开始运行且该通道上有数据到达时，声音阵列接收模块便会抓取所有传送而来的数据包并将其中的有效数据解析出来供声音数据的存储与处理模块进行数据处理。
在上述技术方案中，所述图像阵列接收模块是根据终端传输图像信号的虚拟通道所对应的端口号进行接收的，首先搜寻到该端口，一旦系统开始运行且该通道上有数据到达时，图像阵列接收模块便会抓取所有传送而来的数据包并将其中的有效数据解析出来供图像数据的存储与处理模块进行数据处理。
在上述技术方案中，所述声音数据的存储与处理模块，在“先存储后处理”模式下：在保存数据之前，预先在硬盘或磁盘中建立保存数据的空间，在数据的存储过程中，采用内存映射机制以及交替存储的方法。
在上述技术方案中，所述图像数据的存储与处理模块，在“先存储后处理”模式下：在保存数据之前，预先在硬盘或磁盘中建立保存数据的空间，在数据的存储过程中，采用内存映射机制以及交替存储的方法。
在上述技术方案中，所述图像数据的存储与处理模块，在“先存储后处理”模式下：当数据达到后，图像数据的存储与处理模块将有效数据以.jpg图片的格式进行保存，同时在图像的命名当中加入图像形成当时的时间，这样可以方便用户通过图像的名称得知系统获得该图像的时间，非常有利于后续的目标检测处理。
在上述技术方案中，所述图像数据的存储与处理模块，在“先存储后处理”模式下：利用神经网络算法，对图像进行目标识别。
在上述技术方案中，将神经网络算法封装成了一个单独的包，可以根据实际需求选择符合要求的网络进行检测。
在上述技术方案中，所述显示模块用于将声阵列处理子系统与图像阵列处理子系统分别传送来的声强分布图和视频进行叠加显示，将声强分布图不同位置的声音分布与视频中该位置相对应的物体严格贴合，从而使得用户通过该模块就可得知画面中每个区域内的物体周围的声音分布情况。
本发明的优点和有益效果为：
(1)本系统采用多条流水线同步工作的模式，每条支线各自运行，不同支线之间又有信号相连，在保证多任务同步进行的情况下又可保证系统的完整性。
(2)本系统的每个模块当中都涉及到了一些参数和某些算法，在系统组建的过程中，这些参数以及算法都被组装成了可替换的包，因此本系统可以根据所相连的终端以及应用需求的更改而调整相应的参数包和算法包，大大提升了系统的灵活性，使其可以应用于更多的领域当中。
(3)本系统当中添加了现下大热的神经网络，利用其对图像进行目标识别，而不是单纯依赖人眼进行物体的识别。这种方式极大地提高了系统的实用性，尤其是在周围环境较为昏暗且现场秩序较为混乱的情况下，仅仅依赖人眼是无法精确辨别画面中众多物体的分布情况的。
附图说明
图1是声音与图像混合阵列处理系统的结构示意图。
图2是声音阵列信号与图像阵列信号的接收原理图。
图3是声音数据的存储与处理模块原理图。
图4是数据存储的过程图。
图5(a)是同时显示2路波形的界面图。
图5(b)是同时显示4路波形的界面图。
图6是声阵列处理子系统的总体工作流程。
图7是图像数据的存储与处理模块的原理图。
图8是图像阵列处理子系统的总体工作流程。
对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据以上附图获得其他的相关附图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合具体实施例进一步说明本发明的技术方案。
实施例一
参见附图1，一种声音与图像混合阵列处理系统，包括声阵列信号处理子系统、图像阵列处理子系统和显示模块。
参见附图2，在本系统中接收到的声音阵列数据和图像阵列数据是由一种声音与图像信号混合终端经千兆以太网线传输而得到的，该声音与图像信号混合终端专利号为2018218444886和2018113323057，该终端采用图像传感器和64路的声传感器分别采集声音与图像数据，再将两种信号分别进行组帧，最后经过一根千兆以太网线传输至本系统。其中，利用千兆以太网线中的虚拟通道和端口便可同时互不干扰的传输两种信号，即将一根传输线在逻辑上划分出若干通道并设置不同的端口号，在传输数据时便可利用不同的通道传输多种数据。这里划分通道的操作是逻辑意义上的，并非是将实际的传输线进行切割，因而仅利用一根网线便实现了声音与图像两种信号的独立传输。
一、本系统的声阵列信号处理子系统包括声音阵列接收模块和声音数据的存储与处理模块。
所述声音阵列接收模块是根据终端传输声信号的虚拟通道所对应的端口号进行接收的，即首先搜寻到该端口，一旦系统开始运行且该通道上有数据到达时，声音阵列接收模块便会抓取所有传送而来的数据包并将其中的有效数据解析出来供声音数据的存储与处理模块进行数据处理。需要说明的是，本声音阵列接收模块同样适用于采用相似传输模式的其它终端设备，只需调整相应的参数即可实现。
所述声音数据的存储与处理模块包含两种工作模式，即：“先存储后处理”与“先处理后存储”。如图3所示即为本模块的原理图，在系统运行以后，这两种模式是同时进行的，通过多线程编码即可实现。
1、“先存储后处理”模式：
在该种工作模式下，接收到声阵列信号后首先将有效数据进行保存，随后对数据进行处理。进一步的说，在保存数据之前，预先建立保存数据的空间，即创建声学文件，该文件的创建位置可以根据实际需要进行修改。在数据的存储过程中，采用内存映射机制以及交替存储的方法。系统创建的声学文件都位于硬盘或磁盘中，当要对其进行读写等普通操作时，必须要经过内存才可以实现，由此就会造成时间的浪费，无法保证数据读写的实时性，因此采用内存文件映射机制，即创建文件的同时创建一个指向该文件的内存指针，通过对该指针的操作便可实现对文件的间接读取等操作，大大的提升了系统操作的实时性；而采用交替存储的方法则是为了保证数据存储的完整性，当某个文件所保存的数据量达到该文件的上限容量时，其后接收的数据就应该存入新的文件当中。倘若系统此时再开始创建新文件，即便该过程耗时极短，期间仍旧会有一部分数据无处存放，由此便会造成数据的丢失，严重影响系统的性能。因而本系统利用两个文件和指针交替存储数据，保证在某个文件的容量达到上限时，新的空文件已经创建完毕，避免了因文件创建不及时导致的数据流失，使得数据的完整性可以切实得到保障。如图4所示即为数据存储的过程。
当数据存储完毕后便可对数据进行处理，将接收到的数据以二维波形的形式显示出来。由于与本系统相连的终端上嵌入了64通道的声传感器阵列来采集声信号，因而波形显示中设置了8个可选支路与8个可选通道，分别对应终端的64条通道。用户可以根据实际需要选择显示模式，即选择需要同时显示的波形数量，其默认值为2，上限为8。通过声音信号的波形可以很好的观察到每个通道中信号的变化情况，而且在单一信号的情况下，可以根据波形图计算得到信号的频率。另外，同时显示多路信号波形，有助于对信号的同步性进行观察。如图5(a)和5(b)所示即为同时显示2路波形与同时显示4路波形的界面图。
2、“先处理后存储”模式：
在该种工作模式下，声音数据的存储与处理模块将接收到的有效声阵列数据首先暂时放置在内存当中，当数据帧数量达到要求后，将内存中保存的所有数据转换为二维矩阵，然后采用波达方向估计算法，得到声强分布图，声强分布图最后发送至显示模块。在本例当中，由终端发送而来的声学数据帧中的有效数据长度为1024Byte，其中包含了64个声传感器8次采样后的所有数据，系统得到数据帧以后会先将其暂时存放在内存当中，直到累积得到128个数据帧以后将其中的有效数据转换成为一个维度为64*1024的二维矩阵；随后会对该矩阵进行波达方向估计算法，得到大小为180*180的矩阵，映射了空间当中不同位置上的输出信号功率；最终这些数据会被转换成为声强分布图，其利用不同的颜色和亮度来表示相应位置上声音的输出功率的大小，因此通过观察声强分布图便可得知不同空间当中声音的强弱分布。
进一步的，得到的声强分布图会被传送至显示模块当中与图像处理子系统生成的视频进行动态叠加显示并保存。
二、本系统的图像阵列处理子系统包括图像阵列接收模块与图像数据的存储与处理模块。
图像数据的接收与声音数据的接收原理基本相同，同样是通过绑定终端传输图像阵列数据的通道对应的端口号来接收，一旦系统开始运行且该通道上有数据到达时，图像阵列接收模块便会抓取所有传送而来的数据包并将其中的有效数据解析出来供图像数据的存储与处理模块进行数据处理。图像阵列接收模块亦可用于接收其余终端传输的图像阵列信号，只要更改相应参数即可实现。
所述图像数据的存储与处理模块有两种模式：“先存储后处理”与“先处理后存储”。前者是首先将原始图像数据以图片的形式保存在相应文件夹中，用户可以根据实际需要在相应位置选择所需的图像，通过神经网络对其进行目标检测，以获得图像的细节信息；后者则是将接收到的数据直接以视频的形式叠加声强分布图进行显示并保存。这两种模式是同步进行的。如图7所示即为图像数据的存储与处理模块的原理图。
1、“先存储后处理”模式：
在本工作模式当中，数据存储之前同样会先行创建用以存储数据的图像文件夹，当数据从相应端口达到后，图像数据的存储与处理模块将有效数据以.jpg图片的格式进行保存，同时在图像的命名当中加入图像形成当时的时间，这样可以方便用户通过图像的名称得知系统获得该图像的时间，非常有利于后续的目标检测处理。在图像数据保存中同样采用了内存映射机制以及交替存储的方法。
当数据存储完成以后，在相应的文件夹当中便可看到不同时间捕获到的图片，当用户有需要时，可以随时根据图片的名称提取相应时段内的图像。当前图像处理领域当中最炙手可热的当属目标检测，其利用神经网络对大量图像进行训练，由此学习得到不同物体各自的特征，随后便可对随机的一张图片进行检测，详细指出其中存在的物体种类以及确切的位置。本系统将这种神经网络算法嵌入了图像阵列处理子系统当中，用户在选择所需图片以后，便可操作系统对这些图像进行目标检测，从而清楚得知不同画面中的物体分布情况，包括物体的种类及其具体所在的位置。在某些情况下，尤其是在周围环境较为昏暗或者现场秩序及其混乱的情况下，单纯依靠人眼已经无法图像进行精确的判断，因而使用上述处理方法可以极大地提升系统的应用精度以及实用性。由于神经网络算法发展迅速，且不同网络模型获得的效果也各不相同，所以这里将神经网络算法封装成了一个单独的包，可以根据实际需求选择符合要求的网络进行检测。
2、“先处理后存储”模式：
本工作模式中，接收到图像阵列信号以后不会对其进行分块进行保存，而是直接将数据以动态视频的形式进行显示，显示模块会将声阵列处理子系统所获得的声强分布图叠加于视频上，最终将叠加后的整体视频进行保存。如图8所示即为图像阵列处理子系统的总体工作流程。
三、本系统的显示模块作用是，将声阵列处理子系统与图像阵列处理子系统分别传送来的声强分布图和视频进行叠加显示，将声强分布图不同位置的声音分布与视频中该位置相对应的物体严格贴合，从而使得用户通过该模块就可得知画面中每个区域内的物体周围的声音分布情况。
为了易于说明，实施例中使用了诸如“上”、“下”、“左”、“右”等空间相对术语，用于说明图中示出的一个元件或特征相对于另一个元件或特征的关系。应该理解的是，除了图中示出的方位之外，空间术语意在于包括装置在使用或操作中的不同方位。例如，如果图中的装置被倒置，被叙述为位于其他元件或特征“下”的元件将定位在其他元件或特征“上”。因此，示例性术语“下”可以包含上和下方位两者。装置可以以其他方式定位(旋转90度或位于其他方位)，这里所用的空间相对说明可相应地解释。
而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件区分开来，而不一定要求或者暗示这些部件之间存在任何这种实际的关系或者顺序。
以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。
Claims (10)
1.一种声音与图像混合阵列处理系统，其特征在于：包括声阵列信号处理子系统、图像阵列处理子系统和显示模块；
所述声阵列信号处理子系统包括声音阵列接收模块和声音数据的存储与处理模块，所述声音阵列接收模块用于接收终端传送而来的声阵列信号数据包并将其中的有效数据解析出来供声音数据的存储与处理模块进行数据处理；所述声音数据的存储与处理模块包含“先存储后处理”与“先处理后存储”两种工作模式，这两种模式通过多线程编码的方式同时进行；
其中：“先存储后处理”模式下，先将有效数据进行保存，当数据存储完毕后便对数据进行处理，将接收到的数据在显示模块中以二维波形的形式显示；“先处理后存储”模式下，声音数据的存储与处理模块将接收到的有效声阵列数据首先暂时放置在内存当中，当数据帧数量达到要求后，将内存中保存的所有数据转换为二维矩阵，然后采用波达方向估计算法，得到声强分布图，声强分布图最后发送至显示模块；
所述图像阵列处理子系统包括图像阵列接收模块与图像数据的存储与处理模块，所述图像阵列接收模块用于接收终端传送而来的图像阵列信号数据包并将其中的有效数据解析出来供图像数据的的存储与处理模块进行数据处理；所述图像数据的存储与处理模块包含“先存储后处理”与“先处理后存储”两种工作模式，这两种模式通过多线程编码的方式同时进行；
其中：“先存储后处理”模式下，先将原始图像数据以图片的形式保存在相应文件夹中，然后根据用户要求，对其进行目标检测，以获得图像的细节信息；“先处理后存储”模式下，是将接收到的图像数据直接发送至显示模块，显示模块会将声阵列处理子系统所获得的声强分布图叠加于视频上，最终将叠加后的整体视频进行保存。
2.根据权利要求1所述的声音与图像混合阵列处理系统，其特征在于：本系统中接收到的声音阵列数据和图像阵列数据是由一种声音与图像信号混合终端经千兆以太网线传输而得到的，该终端采用图像传感器和声传感器分别采集声音与图像数据，再将两种信号分别进行组帧，最后经过一根千兆以太网线传输至本系统，利用千兆以太网线中的虚拟通道和端口同时互不干扰的传输图像、声音两种数据信号。
3.根据权利要求2所述的声音与图像混合阵列处理系统，其特征在于：所述声音阵列接收模块是根据终端传输声信号的虚拟通道所对应的端口号进行接收的，首先搜寻到该端口，一旦系统开始运行且该通道上有数据到达时，声音阵列接收模块便会抓取所有传送而来的数据包并将其中的有效数据解析出来供声音数据的存储与处理模块进行数据处理。
4.根据权利要求2所述的声音与图像混合阵列处理系统，其特征在于：所述图像阵列接收模块是根据终端传输图像信号的虚拟通道所对应的端口号进行接收的，首先搜寻到该端口，一旦系统开始运行且该通道上有数据到达时，图像阵列接收模块便会抓取所有传送而来的数据包并将其中的有效数据解析出来供图像数据的存储与处理模块进行数据处理。
5.根据权利要求1所述的声音与图像混合阵列处理系统，其特征在于：所述声音数据的存储与处理模块，在“先存储后处理”模式下：在保存数据之前，预先在硬盘或磁盘中建立保存数据的空间，在数据的存储过程中，采用内存映射机制以及交替存储的方法。
6.根据权利要求1所述的声音与图像混合阵列处理系统，其特征在于：所述图像数据的存储与处理模块，在“先存储后处理”模式下：在保存数据之前，预先在硬盘或磁盘中建立保存数据的空间，在数据的存储过程中，采用内存映射机制以及交替存储的方法。
7.根据权利要求1所述的声音与图像混合阵列处理系统，其特征在于：所述图像数据的存储与处理模块，在“先存储后处理”模式下：当数据达到后，图像数据的存储与处理模块将有效数据以.jpg图片的格式进行保存，同时在图像的命名当中加入图像形成当时的时间，这样可以方便用户通过图像的名称得知系统获得该图像的时间，非常有利于后续的目标检测处理。
8.根据权利要求1所述的声音与图像混合阵列处理系统，其特征在于：所述图像数据的存储与处理模块，在“先存储后处理”模式下：利用神经网络算法，对图像进行目标识别。
9.根据权利要求8所述的声音与图像混合阵列处理系统，其特征在于：将神经网络算法封装成了一个单独的包，可以根据实际需求选择符合要求的网络进行检测。
10.根据权利要求1所述的声音与图像混合阵列处理系统，其特征在于：所述显示模块用于将声阵列处理子系统与图像阵列处理子系统分别传送来的声强分布图和视频进行叠加显示，将声强分布图不同位置的声音分布与视频中该位置相对应的物体严格贴合，从而使得用户通过该模块就可得知画面中每个区域内的物体周围的声音分布情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910750990.3A CN110661988B (zh) | 2019-08-14 | 2019-08-14 | 一种声音与图像混合阵列处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910750990.3A CN110661988B (zh) | 2019-08-14 | 2019-08-14 | 一种声音与图像混合阵列处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110661988A true CN110661988A (zh) | 2020-01-07 |
| CN110661988B CN110661988B (zh) | 2022-01-11 |
Family
ID=69037484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910750990.3A Active CN110661988B (zh) | 2019-08-14 | 2019-08-14 | 一种声音与图像混合阵列处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110661988B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926378A (zh) * | 2022-04-01 | 2022-08-19 | 浙江西图盟数字科技有限公司 | 一种声源跟踪的方法、系统、装置和计算机存储介质 |
| CN115389008A (zh) * | 2022-08-15 | 2022-11-25 | 中国舰船研究设计中心 | 一种密闭空间的智能噪音传感器及异常声音检测与定位方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101203183A (zh) * | 2005-04-14 | 2008-06-18 | 维拉声学公司 | 利用面向像素处理的超声成像系统 |
| KR20110084748A (ko) * | 2010-01-18 | 2011-07-26 | (주)엔시드코프 | 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법 |
| CN103905810A (zh) * | 2014-03-17 | 2014-07-02 | 北京智谷睿拓技术服务有限公司 | 多媒体处理方法及多媒体处理装置 |
| CN107223332A (zh) * | 2015-03-19 | 2017-09-29 | 英特尔公司 | 基于声学相机的音频视觉场景分析 |
| CN107333120A (zh) * | 2017-08-11 | 2017-11-07 | 吉林大学 | 一种基于麦克风阵列和立体视觉的集成传感器 |
| US20180035606A1 (en) * | 2016-08-05 | 2018-02-08 | Romello Burdoucci | Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method |
| CN207573502U (zh) * | 2017-12-29 | 2018-07-03 | 浙江传媒学院 | 一种声源识别装置 |
| CN109688371A (zh) * | 2018-11-09 | 2019-04-26 | 天津师范大学 | 一种基于声学传感器阵列和图像识别的声源处理系统的控制方法 |
| CN109683132A (zh) * | 2018-11-09 | 2019-04-26 | 天津师范大学 | 一种声学与图像信号混合终端及其处理方法 |
| CN109696481A (zh) * | 2018-11-09 | 2019-04-30 | 天津师范大学 | 一种用于声学相机的声学传感器阵列控制电路及其控制方法 |
| CN110006672A (zh) * | 2019-04-09 | 2019-07-12 | 唐山百川智能机器股份有限公司 | 基于声成像技术的轨道车辆故障监测方法 |
-
2019
- 2019-08-14 CN CN201910750990.3A patent/CN110661988B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101203183A (zh) * | 2005-04-14 | 2008-06-18 | 维拉声学公司 | 利用面向像素处理的超声成像系统 |
| KR20110084748A (ko) * | 2010-01-18 | 2011-07-26 | (주)엔시드코프 | 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법 |
| CN103905810A (zh) * | 2014-03-17 | 2014-07-02 | 北京智谷睿拓技术服务有限公司 | 多媒体处理方法及多媒体处理装置 |
| CN107223332A (zh) * | 2015-03-19 | 2017-09-29 | 英特尔公司 | 基于声学相机的音频视觉场景分析 |
| US20180035606A1 (en) * | 2016-08-05 | 2018-02-08 | Romello Burdoucci | Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method |
| CN107333120A (zh) * | 2017-08-11 | 2017-11-07 | 吉林大学 | 一种基于麦克风阵列和立体视觉的集成传感器 |
| CN207573502U (zh) * | 2017-12-29 | 2018-07-03 | 浙江传媒学院 | 一种声源识别装置 |
| CN109688371A (zh) * | 2018-11-09 | 2019-04-26 | 天津师范大学 | 一种基于声学传感器阵列和图像识别的声源处理系统的控制方法 |
| CN109683132A (zh) * | 2018-11-09 | 2019-04-26 | 天津师范大学 | 一种声学与图像信号混合终端及其处理方法 |
| CN109696481A (zh) * | 2018-11-09 | 2019-04-30 | 天津师范大学 | 一种用于声学相机的声学传感器阵列控制电路及其控制方法 |
| CN110006672A (zh) * | 2019-04-09 | 2019-07-12 | 唐山百川智能机器股份有限公司 | 基于声成像技术的轨道车辆故障监测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郭庆: ""波束形成和近场声全息方法在发动机噪声源识别上的应用"", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926378A (zh) * | 2022-04-01 | 2022-08-19 | 浙江西图盟数字科技有限公司 | 一种声源跟踪的方法、系统、装置和计算机存储介质 |
| CN115389008A (zh) * | 2022-08-15 | 2022-11-25 | 中国舰船研究设计中心 | 一种密闭空间的智能噪音传感器及异常声音检测与定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110661988B (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110661988B (zh) | 一种声音与图像混合阵列处理系统 | |
| US20180278827A1 (en) | Swarm approach to consolidating and enhancing smartphone target imagery by virtually linking smartphone camera collectors across space and time using machine-to machine networks | |
| EP2688296A1 (en) | Video monitoring system and method | |
| US10743002B2 (en) | Sequential in-place blocking transposition for image signal processing | |
| US11238285B2 (en) | Scene classification for image processing | |
| CN106997453A (zh) | 事件信号处理方法和设备 | |
| CN109089087A (zh) | 多通道影音联动装置 | |
| CN110276251A (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN110324572A (zh) | 监视系统、监视方法和非暂时性计算机可读存储介质 | |
| CN204767444U (zh) | 一种舞台数据提取与传输控制系统 | |
| WO2016072238A1 (ja) | 画像処理装置、画像表示装置、画像処理方法及び画像表示方法 | |
| CN105959562A (zh) | 获取全景拍摄数据的方法、装置以及便携式全景拍摄设备 | |
| CN109688371B (zh) | 一种基于声学传感器阵列和图像识别的声源处理系统的控制方法 | |
| US20210136327A1 (en) | Video summarization systems and methods | |
| CN207235008U (zh) | 警用声源立体呈现与追溯系统 | |
| CN116304844B (zh) | 一种人员进出计数统计系统及方法 | |
| CN205049879U (zh) | 一种智能运动舞台双向传输控制系统 | |
| US10402415B2 (en) | Intelligently distributed stage data mining system | |
| CN109525778A (zh) | 一种适用于定点监控的摄像机 | |
| US20180211413A1 (en) | Image signal processing using sub-three-dimensional look-up tables | |
| WO2019000877A1 (zh) | 音频数据处理方法及装置 | |
| CN104038736A (zh) | 视频数据动态传输方法 | |
| CN204790395U (zh) | 一种舞台数据控制系统 | |
| WO2019076155A1 (zh) | 数据传输方法及摄像机、电子设备 | |
| CN109561286A (zh) | 适用于定点监控的摄像机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210928 Address after: Room 2008, unit 3, building 1, No. 555, north section of Yizhou Avenue, high tech Zone, Wuhou District, Chengdu, Sichuan 610095 Applicant after: Sichuan Tianyuan hongchuang Technology Co.,Ltd. Address before: 300387 Tianjin city Xiqing District West Binshui Road No. 393 Applicant before: TIANJIN NORMAL University |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231115 Address after: 1-1-701, No.1 Huixue Road, Xuefu Industrial Zone, Xiqing District, Tianjin, 300382 Patentee after: Tianjin Xinmeng Microelectronics Technology Co.,Ltd. Address before: Room 2008, unit 3, building 1, No. 555, north section of Yizhou Avenue, high tech Zone, Wuhou District, Chengdu, Sichuan 610095 Patentee before: Sichuan Tianyuan hongchuang Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |