CN111385498A - 一种基于高速相机的音频信号采集方法 - Google Patents
一种基于高速相机的音频信号采集方法 Download PDFInfo
- Publication number
- CN111385498A CN111385498A CN201811608423.6A CN201811608423A CN111385498A CN 111385498 A CN111385498 A CN 111385498A CN 201811608423 A CN201811608423 A CN 201811608423A CN 111385498 A CN111385498 A CN 111385498A
- Authority
- CN
- China
- Prior art keywords
- pixel
- speed
- pulse
- loudspeaker
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title claims abstract description 7
- 238000006073 displacement reaction Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 6
- 210000001525 retina Anatomy 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 2
- 238000009825 accumulation Methods 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims description 2
- 229910052710 silicon Inorganic materials 0.000 claims description 2
- 239000010703 silicon Substances 0.000 claims description 2
- 239000011664 nicotinic acid Substances 0.000 abstract description 6
- 238000012546 transfer Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Studio Devices (AREA)
Abstract
一种基于高速相机的音频信号采集方法，利用仿生高速脉冲式图像传感器拍摄扬声器，能通过拍摄播放中的扬声器位移信息，采集声音震动频率，根据不同时刻下标志物的位置还原声音波形，实现音频信号的采集和声音重构，从而实现从视频信号向音频信号的转移，此方法适用于嘈杂环境或无录音设备环境中需要收集指定音频信号的场景，还可根据需要将重构的音频信号用于语音识别等领域。
Description
技术领域
本发明涉及视觉传感器设计领域，尤其涉及仿生高速脉冲式图像传感器，利用仿视网膜脉冲成像的方法，使相机能捕捉达到声音频率的高速位移。
背景技术
在嘈杂环境或者没有录音设备的条件下采集指定的音频信息有一定困难，方法之一是采用高速摄像机拍摄音频设备的位移，重构出声音信号。高速摄像机可以在很短的时间内完成对高速目标的快速、多次采样，具有实时目标捕获、图像快速记录、即时回放、图像直观清晰等突出优点，广泛应用于军工、科研实验、航空航天、工业生产、影视广告、体育竞技、大众生活等方面。高速相机不但可用于图像记录，也用于位移、速度、加速度等传统测量、生产过程检测及质量控制等。在各种行业的需求的带动下，人们对高速摄像机的性能的要求不断提高，随着帧频的不断提升，数据量将会同比增长，由此带来的巨大数据传输压力和芯片功耗问题成为限制其发展的一大瓶颈。受生物视觉传输机制的启发，采用脉冲式仿生高速图像传感器，能从源头减少数据量，在相同数据量下帧频提升8倍，能达到拍摄音频设备并实现音频重构的要求。
发明内容
针对现有技术存在的问题，本发明提出一种基于高速相机的音频信号采集方法，利用仿生高速脉冲式图像传感器拍摄扬声器，能通过拍摄播放中的扬声器位移信息，采集声音震动频率，实现音频信号的采集和声音重构，从而实现从视频信号向音频信号的转移，此方法适用于嘈杂环境或无录音设备环境中需要收集指定音频信号的场景。
如图1所示，基于生物视觉原理，通过研究生物视网膜的感光机制，将生物视觉触发和传递机理抽象出理论模型，再与半导体光电技术相结合，采用仿视网膜的脉冲成像方法，可实现在相同数据带宽条件下，压缩数据量，从而使帧频得到有效提升；采用基于硅光电和集成电路技术，模仿人类视网膜的高速脉冲视觉机制；采用像素阵列异步探测和超高速扫描读出相结合的工作方式，建立基于脉冲成像的高速、低数据率脉冲成像系统架构和模型；传感器由像素阵列、行选通电路、时间标签、参考电压、列级数字缓冲器、高速输出接口以及逻辑控制构成。
其中像素阵列尺寸为400列，250行，每个像素在复位后开始积分光生电荷，当积累量达到所设定的阈值，像素产生脉冲；脉冲输出后像素复位，重新开始积分光生电荷；像素产生两次脉冲之间的间隔由光强度的大小决定，可通过测量两次间隔还原光强信息；高速脉冲传感器芯片像素单元的曝光与读出相互无关，像素单元的光电二极管持续接受光电流，其后的比较器实时比较是否达到触发阈值；当比较器达到阈值，存储器将当前的时间标签记录下来；行选通电路以400ns的行周期由上至下不断扫描各行像素，无论像素是否触发；对于单个像素来说，当该像素数据被扫描读出后，如果已经触发，则读出后进行复位；若未触发，则读出后继续积分光电流；这种工作方式的优势是像素结构简单，逻辑易于实现。
将此传感器用于拍摄扬声器，如图2。若扬声器的位移被其外壳遮挡而影响观察，可以采用纸片等轻小标志物贴在震动部分，测量时使标志物和镜头平行，这样可以使检测到的震动最明显。用扬声器不同时刻的位置还原声音的频率曲线，恢复可得到音频信号。
一种基于高速相机的音频信号采集方法，仿生脉冲式图像传感器通过触发脉冲数据来还原物体本来的运动，在同样数据率下能把帧频提升8倍，实现高速成像；在环境嘈杂或者没有录音设备的情况下，此种方法能采集到指定的声音信息，实现视频向音频的转化。
附图说明
图1是仿生脉冲式图像传感器基本结构图；
图2是视频转音频信号系统架构图。
具体实施方式
以下根据附图和实施例对本发明进行详细说明，但是本发明的保护范围不限于此。
本文设计的视频转音频系统的核心是采用能记录声音所造成震动变化的高速相机。实际应用中为了降低时间误差，采用异步复位的方式对像素进行复位，外部给像素一个全局的同步时钟，时钟周期是400ns，250行像素分为8个时间段读出，因250不是8的倍数，实际按照256行的方式划分时间段，每个段32个像素读出，最后一个段26个像素读出。除最后一个时间段外读出时间是12.8us，最后一段读出时间是10.4us。参考电压为像素提供脉冲触发阈值，通过调整阈值的大小可以调整一定光强下的脉冲产生频率。阈值可在1V-3V范围内根据实际情况挑选。
在设置好相机参数后，就可以拍摄高速运动物体。在扬声器上黏贴标志物以方便相机拍摄，设置好相机和所拍摄扬声器的相对位置，使标志物能清晰成像。开始拍摄，在每一帧中找出标志物的位置，可以绘制标志物的位置随时间变化的曲线，即为声波曲线。根据需要，可以利用该声波曲线实现声音还原，更进一步还可以用于语音分析和语义识别等。
Claims (1)
1.一种基于高速相机的音频信号采集方法，其特征在于：基于生物视觉原理，通过研究生物视网膜的感光机制，将生物视觉触发和传递机理抽象出理论模型，再与半导体光电技术相结合，采用仿视网膜的脉冲成像方法，可实现在相同数据带宽条件下，压缩数据量，从而使帧频得到有效提升；采用基于硅光电和集成电路技术，模仿人类视网膜的高速脉冲视觉机制；采用像素阵列异步探测和超高速扫描读出相结合的工作方式，建立基于脉冲成像的高速、低数据率脉冲成像系统架构和模型；
传感器由像素阵列、行选通电路、时间标签、参考电压、列级数字缓冲器、高速输出接口以及逻辑控制构成；
像素阵列尺寸为400列，250行，每个像素在复位后开始积分光生电荷，当积累量达到所设定的阈值，像素产生脉冲；脉冲输出后像素复位，重新开始积分光生电荷；像素产生两次脉冲之间的间隔由光强度的大小决定，可通过测量两次间隔还原光强信息；高速脉冲传感器芯片像素单元的曝光与读出相互无关，像素单元的光电二极管持续接受光电流，其后的比较器实时比较是否达到触发阈值；当比较器达到阈值，存储器将当前的时间标签记录下来；
行选通电路以400ns的行周期由上至下不断扫描各行像素，无论像素是否触发；对于单个像素来说，当该像素数据被扫描读出后，如果已经触发，则读出后进行复位；若未触发，则读出后继续积分光电流；
将传感器用于拍摄扬声器，若扬声器的位移被其外壳遮挡而影响观察，可以采用纸片等轻小标志物贴在震动部分，测量时使标志物和镜头平行，这样可以使检测到的震动最明显，用扬声器不同时刻的位置还原声音的频率曲线，恢复可得到音频信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811608423.6A CN111385498A (zh) | 2018-12-27 | 2018-12-27 | 一种基于高速相机的音频信号采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811608423.6A CN111385498A (zh) | 2018-12-27 | 2018-12-27 | 一种基于高速相机的音频信号采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111385498A true CN111385498A (zh) | 2020-07-07 |
Family
ID=71222372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811608423.6A Withdrawn CN111385498A (zh) | 2018-12-27 | 2018-12-27 | 一种基于高速相机的音频信号采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111385498A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112985583A (zh) * | 2021-05-20 | 2021-06-18 | 杭州兆华电子有限公司 | 结合短时脉冲检测的声学成像方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102325295A (zh) * | 2011-06-29 | 2012-01-18 | 苏州科雷芯电子科技有限公司 | 基于机器视觉技术的音响检测与补偿装置及其方法 |
| CN105721772A (zh) * | 2016-01-20 | 2016-06-29 | 天津师范大学 | 一种异步时域视觉信息成像方法 |
| EP3151535A1 (en) * | 2015-09-29 | 2017-04-05 | Thomson Licensing | Plenoptic camera having an array of sensors for generating digital images and method of capturing an image using a plenoptic camera |
| CN106597463A (zh) * | 2016-12-29 | 2017-04-26 | 天津师范大学 | 基于动态视觉传感器芯片的光电式接近传感器及探测方法 |
| CN107896308A (zh) * | 2017-10-27 | 2018-04-10 | 天津大学 | 脉冲阵列式仿视网膜图像传感器 |
| US20180242091A1 (en) * | 2015-04-08 | 2018-08-23 | The Boeing Company | Vibration monitoring systems |
-
2018
- 2018-12-27 CN CN201811608423.6A patent/CN111385498A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102325295A (zh) * | 2011-06-29 | 2012-01-18 | 苏州科雷芯电子科技有限公司 | 基于机器视觉技术的音响检测与补偿装置及其方法 |
| US20180242091A1 (en) * | 2015-04-08 | 2018-08-23 | The Boeing Company | Vibration monitoring systems |
| EP3151535A1 (en) * | 2015-09-29 | 2017-04-05 | Thomson Licensing | Plenoptic camera having an array of sensors for generating digital images and method of capturing an image using a plenoptic camera |
| CN105721772A (zh) * | 2016-01-20 | 2016-06-29 | 天津师范大学 | 一种异步时域视觉信息成像方法 |
| CN106597463A (zh) * | 2016-12-29 | 2017-04-26 | 天津师范大学 | 基于动态视觉传感器芯片的光电式接近传感器及探测方法 |
| CN107896308A (zh) * | 2017-10-27 | 2018-04-10 | 天津大学 | 脉冲阵列式仿视网膜图像传感器 |
Non-Patent Citations (2)
| Title |
|---|
| MAKOTO KOBAYASH ET AL.: "On detection of motion by wavelet transform for an acoustic visual aid system", 《PROCEEDINGS OF 35TH IEEE CONFERENCE ON DECISION AND CONTROL》 * |
| THOMAS SERRE ET AL.: "Object Recognition with Features Inspired by Visual Cortex", 《2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR"05)》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112985583A (zh) * | 2021-05-20 | 2021-06-18 | 杭州兆华电子有限公司 | 结合短时脉冲检测的声学成像方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11102428B2 (en) | Single image sensor for capturing mixed structured-light images and regular images | |
| US10909824B2 (en) | System and method for pulsed light pattern capturing using a dynamic vision sensor | |
| JP6992238B2 (ja) | 画素収集回路、オプティカルフローセンサー、オプティカルフロー及び画像情報収集システム | |
| EP1583357A3 (en) | Dual image data stream generation system | |
| CN101662589A (zh) | 摄像设备及其控制方法 | |
| WO2021184795A1 (zh) | 一种相机多线分时曝光处理方法及系统 | |
| CN112596069A (zh) | 距离测量方法及系统、计算机可读介质和电子设备 | |
| CN113688741A (zh) | 一种基于事件相机和视觉相机协同的运动训练评估系统及方法 | |
| CN203691506U (zh) | 用于高速目标测量的大视场高帧频系统 | |
| JP5809627B2 (ja) | 動画像から静止画像を取得するためのシステム及び方法 | |
| CN111385498A (zh) | 一种基于高速相机的音频信号采集方法 | |
| JP2001177752A (ja) | 互いに相違する集束距離で撮影された画像構成要素を有する組合せ出力画像を生成するための撮像方法および装置 | |
| CN102944693A (zh) | 基于面阵快速场同步ccd图像传感器的测速系统及测速方法 | |
| CN112399032A (zh) | 一种基于检测器的脉冲式图像传感器的光流获取方法 | |
| WO2021184796A1 (zh) | 一种相机曝光处理方法及系统 | |
| EP0335751A3 (en) | Imaging device capable of picking up electrically enlarged images | |
| RU164704U1 (ru) | Устройство для хронографической регистрации оптического излучения | |
| CN107749953A (zh) | 一种基于双目镜筒的双相机图像增频装置及控制方法 | |
| JP2023501237A (ja) | ピクセル取得回路及び画像センサ | |
| KR101094137B1 (ko) | 모션캡쳐 장치 | |
| CN106292130B (zh) | 一种利用相机闪光灯脉冲信号触发照片配时的装置及方法 | |
| US20240114263A1 (en) | Multi-mode image sensor architecture | |
| CN103702031A (zh) | 用于高速目标测量的大视场高帧频系统及方法 | |
| Duan et al. | NeuroZoom: Denoising and super resolving neuromorphic events and spikes | |
| CN218830443U (zh) | 一种具有编码曝光成像系统的图像自动去模糊相机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200707 |