CN111885333A - 一种采集三维音视频及运动姿态的装置及方法 - Google Patents
一种采集三维音视频及运动姿态的装置及方法 Download PDFInfo
- Publication number
- CN111885333A CN111885333A CN202010541790.XA CN202010541790A CN111885333A CN 111885333 A CN111885333 A CN 111885333A CN 202010541790 A CN202010541790 A CN 202010541790A CN 111885333 A CN111885333 A CN 111885333A
- Authority
- CN
- China
- Prior art keywords
- video
- tof
- controller
- audio
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 9
- 230000001133 acceleration Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 239000012528 membrane Substances 0.000 description 17
- 230000006870 function Effects 0.000 description 7
- 230000005855 radiation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C17/00—Compasses; Devices for ascertaining true or magnetic north for navigation or surveying purposes
- G01C17/02—Magnetic compasses
- G01C17/28—Electromagnetic compasses
- G01C17/32—Electron compasses
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
- G01C5/06—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels by using barometric means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
- H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
Abstract
本发明涉及音视频采集装置，具体涉及一种采集三维音视频及运动姿态的装置及方法，包括壳体、摄像头、声音采集器、电子罗盘、6轴运动跟踪计、TOF数据采集装置、气压计、控制器、存储器和电源管理单元，电子罗盘以及6轴运动跟踪计采集装置的运动姿态数据，摄像头、声音采集器、TOF数据采集装置以及气压计均安装在壳体上，声音采集器以及摄像头分别采集音视频数据，TOF数据采集装置采集三维深度图像，摄像头、声音采集器、TOF数据采集装置、气压计、电子罗盘、6轴运动跟踪计以及存储器均与控制器链接，电源管理单元为其他元件供电。本发明的实质性效果是：适合搭载在移动载体上工作，扩展了音视频采集装置的使用范围。
Description
技术领域
本发明涉及音视频采集装置，具体涉及一种采集三维音视频及运动姿态的装置及方法。
背景技术
随着人工智能技术的高速应用发展，围绕人的身份确认的人脸识别技术和确认人员语音定位识别技术应用越来越多，各种人脸识别和语音识别模块设备也相继出现，对这种基于人体本身的生物特征安全识别应用，一方面虽可满足一些业务的办理智能化需求，但另一方面却因人脸识别模块更多的产品表象是一个摄像头，采集到的图像是一种平面的图像或视频信息，这种信息中没有人脸的三维数据，那就无法起到有效验证人物实体的三维特征和真实身份的作用，易于被不法分子利用和欺骗。同时这些人脸采集摄像头也没有定向采集语音的能力，即使使用了麦克风所采集到的声音也是受环境降噪音影响，对一些同时需要语音识别和声音定向功能的场景达不到应用需求，从而不得不再增加一个麦克风语音采集阵列模块，这样就形成了二种物理上独立不同模块设备，二个模块在集成应用上即不方便，也推高应用成本，这样的方案或产品在商业应用上也较大限制了其能发挥灵活的作用，也限制了其在各类产品在人工智能领域应用和创新发展，更不用说在适应汽车无人驾驶、移动设备、机器人智能、人体互动识别等领域发展的应用需要。
中国专利CN105282516A，公开日2016年1月27日，一种旋翼飞行器视频音频航迹回传系统，包括安装在旋翼飞行器上的摄像装置、视频/音频发射机、摄像端伺服系统，和位于地面的视频/音频接收机、头部跟踪功能监视器、入网数据处理器和移动终端。其提供的系统安装在旋翼飞行器上，能够实现视频/音频向地面的回传，并能够在监视器、移动终端、互联网上查看视频、音频和旋翼飞行器的航迹，对操作人员的操作技巧要求不高。但其技术方案虽然仅能采集音视频信号，不能同时采集运动数据，采集到的音视频，尤其是音频信号清晰度欠佳。
发明内容
本发明要解决的技术问题是：目前的音视频采集装置功能单一的技术问题。提出了一种采集三维音视频及运动姿态的装置及方法。本装置能够采集丰富的现场数据，同时适合搭载在移动载体上工作，扩展了音视频采集装置的使用范围。
为解决上述技术问题，本发明所采取的技术方案为：一种采集三维音视频及运动姿态的装置，包括壳体、摄像头、声音采集器、电子罗盘、6轴运动跟踪计、TOF数据采集装置、气压计、控制器、存储器和电源管理单元，所述电子罗盘、6轴运动跟踪计、控制器、存储器以及电源管理单元均安装在壳体内，所述电子罗盘以及6轴运动跟踪计采集装置的运动姿态数据，所述摄像头、声音采集器、TOF数据采集装置以及气压计均安装在壳体上，所述气压计检测壳体各方向的气压，所述声音采集器以及摄像头分别采集音视频数据，所述TOF数据采集装置采集三维深度图像，所述摄像头、声音采集器、TOF数据采集装置、气压计、电子罗盘、6轴运动跟踪计以及存储器均与控制器链接，所述电源管理单元为其他元件供电。TOF数据采集装置能够采集深度信息，将深度信息与音视频信息在时间轴上关联存储，能够方便后续设备提取信息，通过6轴运动跟踪计传感器测量本装在去运动状态下的X、Y、Z三轴向角速度和X、Y、Z三轴向加速度。通过电子罗盘传感器来测量本装置所处方位和方向。通过这些信息的获得，可使整个装置在即获得音视频信息在基础上，又同时补充了当前采集装置所处位置、方向、移动状态，海拔高度信息，提高了数据丰富度，使得本装置具有更加丰富的功能和更大的应用范围。
作为优选，所述TOF数据采集装置包括TOF数据采集控制器、TOF传感器、红外发光二极管以及TOF设备处理器，所述红外发光二极管镶嵌在壳体上，所述红外发光二极管向前方发射红外光，所述TOF传感器接收TOF传感器发射的红外光的反射光，所述TOF传感器以及红外发光二极管均与TOF数据采集控制器连接，所述TOF数据采集控制器与TOF设备处理器连接，所述TOF设备处理器与控制器连接。通过产生高频脉冲施加在IR-LED上产生不可见的红外光照射，这种红外光的波长一般约在850nm左右，如果发出的红外光在照射方向上遇到人物、环境物体就会形成反射，TOF数据采集控制器通过就可以通过使用TOF图像接收传感器接收到这个信息，再依据发射和接收的红外反射信息的时长来计算出实际的距离长度，从而可形成一长完整的深度3D图像。
作为优选，还包括USB接口和USB-HUB，所述USB-HUB安装在壳体内，所述USB接口安装在壳体上，所述USB接口与USB-HUB连接，所述USB-HUB与控制器链接。通过USB接口与USB-HUB汇集，从而实现USB数据的通信交互。
作为优选，所述存储器包括EEPROM和高速存储器，所述EEPROM以及高速存储器均与控制器连接。
作为优选，所述壳体外侧设置有若干个红外发射窗和指示灯，所述红外发光二极管具有多个，多个红外发光二极管分别安装在红外发射窗内，多个红外发光二极管发射方向不同，所述指示灯与控制器连接。多个红外发射窗能够提高深度图像的采集效率。
作为优选，所述声音采集器包括若干个数字麦克风和数字信号处理器，若干个所述数字麦克风并排安装在壳体上并位于摄像头下方，所述壳体上开设有与数字麦克风对应的采音孔，若干个所述数字麦克风均与数字信号处理器连接，所述数字信号处理器与控制器连接。多个麦克风能够支持现有技术中的数字定向采集技术，丰富本装置的功能。
作为优选，所述声音采集器还包括至少三个弹簧和弹性膜，三个所述弹簧一端接地，三个所述弹簧另一端分别与控制器连接，所述壳体的采音孔内侧设有固定环，所述弹性膜呈一端封闭的筒状，所述弹性膜开口端与固定环连接，所述数字麦克风安装在弹性膜封闭端，所述弹性膜封闭端与三个所述弹簧的一端连接，三个所述弹簧另一端沿不同方向与壳体固定连接。弹性膜能够起到集中声音的作用，弹簧能够改变集音的程度，通过控制器引脚周期性输出0或1，采用PMW的方式改变通过弹簧的等效电流，能够通过弹簧改变弹性膜被拉伸的长度，改变集音的张角，三个弹簧不同的收缩量能够改变弹性膜的朝向，微调音频采集的方向。
一种使用前述的采集三维音视频及运动姿态的装置的采集三维音视频及运动姿态的方法包括以下步骤：通过电子罗盘和6轴运动跟踪计记录装置的运动方向和加速度，并通过运动方向和加速度计算出装置的运动速度；TOF数据采集装置实时获得周围环境的深度数据并记录，深度数据用于生成三维深度画面，当装置静止时通过三维深度画面的变化识别声源可能方向，而后使用并排的数字麦克风进行定向增强，获取更为清晰的音频信号。
本发明的实质性效果是：在即获得音视频信息的基础上，又能同时获得当前采集装置所处位置、方向以及移动状态，海拔高度等去运动姿态信息，适合搭载在移动载体上工作，丰富了音视频采集同时进行的数据采集，能够更加准确的掌握现场信息，扩展了音视频采集装置的使用范围，使得装置在智能化设备、人工智能识别、汽车无人驾驶、人体互动识别和机器人智能行走等具有广泛的应用前景。
附图说明
图1为实施例一元件连接示意图。
图2为实施例一结构示意图。
图3为实施例一数字麦克风安装示意图。
其中：1、摄像头，2、TOF数据采集控制器，3、TOF传感器，4、红外发光二极管，5、数字麦克风，6、数字信号处理器，7、高速存储器，8、气压计，9、电子罗盘，10、6轴运动跟踪计，11、TOF设备处理器，12、USB接口，13、USB-HUB，14、EEPROM，15、电源管理单元，16、红外发射窗，17、壳体，18、指示灯，19、弹簧，20、固定环，21、弹性膜。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。
实施例一：
一种采集三维音视频及运动姿态的装置，如图1所示，包括壳体17、摄像头1、声音采集器、电子罗盘9、6轴运动跟踪计10、TOF数据采集装置、控制器、存储器和电源管理单元15，电子罗盘9、6轴运动跟踪计10、控制器、存储器以及电源管理单元15均安装在壳体17内，电子罗盘9以及6轴运动跟踪计10采集装置的运动姿态数据，摄像头1、声音采集器以及TOF数据采集装置均安装在壳体17上，声音采集器以及摄像头1分别采集音视频数据，TOF数据采集装置采集三维深度图像，摄像头1、声音采集器、TOF数据采集装置、电子罗盘9、6轴运动跟踪计10以及存储器均与控制器链接，电源管理单元15为其他元件供电。气压计8安装在壳体17外侧，检测壳体17附近的气压，气压计8与控制器连接。存储器包括EEPROM 14和高速存储器7，EEPROM 14以及高速存储器7均与控制器连接。USB-HUB 13安装在壳体17内，USB接口12安装在壳体17上，USB接口12与USB-HUB 13连接，USB-HUB 13与控制器链接。通过USB接口12与USB-HUB 13汇集，从而实现USB数据的通信交互。
TOF是Time of flight的简写，为飞行时间的意思。TOF数据采集控制器2采用现有技术，现有技术中一般由模拟前置放大器和FPGA或专用集成处理器构成。通过产生高频脉冲施加在IR-LED上产生不可见的红外光照射，这种红外光的波长一般约在850nm左右，如果发出的红外光在照射方向上遇到人物、环境物体就会形成反射，TOF数据采集控制器2通过就可以通过使用TOF图像接收传感器接收到这个信息，再依据发射和接收的红外反射信息的时长来计算出实际的距离长度，从而可形成一长完整的深度3D图像。通过6轴运动跟踪计10传感器测量本装在去运动状态下的X、Y、Z三轴向角速度和X、Y、Z三轴向加速度。通过电子罗盘9传感器来测量本装置所处方位和方向。通过这些信息的获得，可使整个装置在即获得音视频信息在基础上，又同时补充了当前采集装置所处位置、方向、移动状态，海拔高度信息，提高了数据丰富度，使得本装置具有更加丰富的功能和更大的应用范围。
TOF数据采集装置包括TOF数据采集控制器2、TOF传感器3、红外发光二极管4以及TOF设备处理器11，红外发光二极管4镶嵌在壳体17上，红外发光二极管4向前方发射红外光，TOF传感器3接收TOF传感器3发射的红外光的反射光，TOF传感器3以及红外发光二极管4均与TOF数据采集控制器2连接，TOF数据采集控制器2与TOF设备处理器11连接，TOF设备处理器11与控制器连接。通过产生高频脉冲施加在IR-LED上产生不可见的红外光照射，这种红外光的波长一般约在850nm左右，如果发出的红外光在照射方向上遇到人物、环境物体就会形成反射，TOF数据采集控制器2通过就可以通过使用TOF图像接收传感器接收到这个信息，再依据发射和接收的红外反射信息的时长来计算出实际的距离长度，从而可形成一长完整的深度3D图像。
如图2所示，壳体17外侧设置有若干个红外发射窗16和指示灯18，红外发光二极管4具有多个，多个红外发光二极管4分别安装在红外发射窗16内，多个红外发光二极管4发射方向不同，指示灯18与控制器连接。多个红外发射窗16能够提高深度图像的采集效率。声音采集器包括若干个数字麦克风5和数字信号处理器6，若干个数字麦克风5并排安装在壳体17上并位于摄像头1下方，壳体17上开设有与数字麦克风5对应的采音孔，若干个数字麦克风5均与数字信号处理器6连接，数字信号处理器6与控制器连接。使用一个数字信号处理器6，采用DSP处理器或音频处理器，用于采集4个麦克风接收到的摸拟信号，这4个麦克风通过线状等距排布，由于使用了数字麦克风5来实现声音信号采集，所以克服了使用摸拟麦克风易受内部信号、电路或模块对其产生的干扰，同时也简化了电路计，使直接与摄像头1模组集成在一起进行一体化设计。
一种使用前述的采集三维音视频及运动姿态的装置的采集三维音视频及运动姿态的方法包括以下步骤：通过电子罗盘9和6轴运动跟踪计10记录装置的运动方向和加速度，并通过运动方向和加速度计算出装置的运动速度；TOF数据采集装置实时获得周围环境的深度数据并记录，深度数据用于生成三维深度画面，当装置静止时通过三维深度画面的变化识别声源可能方向，而后使用并排的数字麦克风5进行定向增强，获取更为清晰的音频信号。
本实施例的有益效果是：在即获得音视频信息的基础上，又能同时获得当前采集装置所处位置、方向以及移动状态，海拔高度等去运动姿态信息，适合搭载在移动载体上工作，扩展了音视频采集装置的使用范围，使得装置在智能化设备、人工智能识别、汽车无人驾驶、人体互动识别和机器人智能行走等具有广泛的应用前景。
如图3所示，在本装置的另一个实施例中，声音采集器还包括三个弹簧19和弹性膜21，三个弹簧19的一端接地，三个弹簧19另一端分别与控制器连接，壳体17的采音孔内侧设有固定环20，弹性膜21呈一端封闭的筒状，弹性膜21开口端与固定环20连接，数字麦克风5安装在弹性膜21封闭端，弹性膜21封闭端与三个弹簧19一端连接，三个弹簧19另一端沿不同方向与与壳体17固定连接。弹性膜21能够起到集中声音的作用，弹簧19能够改变集音的程度，通过控制器引脚周期性输出0或1，采用PMW的方式改变通过弹簧19的等效电流，能够通过弹簧19改变弹性膜21被拉伸的长度，改变集音的张角。三个弹簧19不同的收缩量能够改变弹性膜21的朝向，从而微调音频采集的方向。
以上的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
Claims (8)
1.一种采集三维音视频及运动姿态的装置，其特征在于，
包括壳体、摄像头、声音采集器、电子罗盘、6轴运动跟踪计、TOF数据采集装置、气压计、控制器、存储器和电源管理单元，所述电子罗盘、6轴运动跟踪计、控制器、存储器以及电源管理单元均安装在壳体内，所述电子罗盘以及6轴运动跟踪计采集装置的运动姿态数据，所述摄像头、声音采集器、TOF数据采集装置以及气压计均安装在壳体上，所述气压计检测壳体各方向的气压，所述声音采集器以及摄像头分别采集音视频数据，所述TOF数据采集装置采集三维深度图像，所述摄像头、声音采集器、TOF数据采集装置、气压计、电子罗盘、6轴运动跟踪计以及存储器均与控制器链接，所述电源管理单元为其他元件供电。
2.根据权利要求1所述的一种采集三维音视频及运动姿态的装置，其特征在于，
所述TOF数据采集装置包括TOF数据采集控制器、TOF传感器、红外发光二极管以及TOF设备处理器，所述红外发光二极管镶嵌在壳体上，所述红外发光二极管向前方发射红外光，所述TOF传感器接收TOF传感器发射的红外光的反射光，所述TOF传感器以及红外发光二极管均与TOF数据采集控制器连接，所述TOF数据采集控制器与TOF设备处理器连接，所述TOF设备处理器与控制器连接。
3.根据权利要求1或2所述的一种采集三维音视频及运动姿态的装置，其特征在于，
还包括USB接口和USB-HUB，所述USB-HUB安装在壳体内，所述USB接口安装在壳体上，所述USB接口与USB-HUB连接，所述USB-HUB与控制器链接。
4.根据权利要求1或2所述的一种采集三维音视频及运动姿态的装置，其特征在于，
所述存储器包括EEPROM和高速存储器，所述EEPROM以及高速存储器均与控制器连接。
5.根据权利要求2所述的一种采集三维音视频及运动姿态的装置，其特征在于，
所述壳体外侧设置有若干个红外发射窗和指示灯，所述红外发光二极管具有多个，多个红外发光二极管分别安装在红外发射窗内，多个红外发光二极管发射方向不同，所述指示灯与控制器连接。
6.根据权利要求1或2所述的一种采集三维音视频及运动姿态的装置，其特征在于，
所述声音采集器包括若干个数字麦克风和数字信号处理器，若干个所述数字麦克风并排安装在壳体上并位于摄像头下方，所述壳体上开设有与数字麦克风对应的采音孔，若干个所述数字麦克风均与数字信号处理器连接，所述数字信号处理器与控制器连接。
7.根据权利要求6所述的一种采集三维音视频及运动姿态的装置，其特征在于，
所述声音采集器还包括至少三个弹簧和弹性膜，三个所述弹簧一端接地，三个所述弹簧另一端分别与控制器连接，所述壳体的采音孔内侧设有固定环，所述弹性膜呈一端封闭的筒状，所述弹性膜开口端与固定环连接，所述数字麦克风安装在弹性膜封闭端，所述弹性膜封闭端与三个所述弹簧的一端连接，三个所述弹簧另一端沿不同方向与壳体固定连接。
8.一种使用如权利要求1至7任一项所述的采集三维音视频及运动姿态的装置的采集三维音视频及运动姿态的方法，其特征在于，
包括以下步骤：
通过电子罗盘和6轴运动跟踪计记录装置的运动方向和加速度，并通过运动方向和加速度计算出装置的运动速度；
TOF数据采集装置实时获得周围环境的深度数据并记录，深度数据用于生成三维深度画面，当装置静止时通过三维深度画面的变化识别声源可能方向，而后使用并排的数字麦克风进行定向增强，获取更为清晰的音频信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010541790.XA CN111885333A (zh) | 2020-06-15 | 2020-06-15 | 一种采集三维音视频及运动姿态的装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010541790.XA CN111885333A (zh) | 2020-06-15 | 2020-06-15 | 一种采集三维音视频及运动姿态的装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111885333A true CN111885333A (zh) | 2020-11-03 |
Family
ID=73157513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010541790.XA Pending CN111885333A (zh) | 2020-06-15 | 2020-06-15 | 一种采集三维音视频及运动姿态的装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111885333A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113029158A (zh) * | 2021-04-26 | 2021-06-25 | 常州大学 | 基于激光与声音融合定位的旋翼飞行器及其定位方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130093852A1 (en) * | 2011-10-12 | 2013-04-18 | Board Of Trustees Of The University Of Arkansas | Portable robotic device |
| CN106898022A (zh) * | 2017-01-17 | 2017-06-27 | 徐渊 | 一种手持式快速三维扫描系统及方法 |
| CN107592452A (zh) * | 2017-09-05 | 2018-01-16 | 深圳市圆周率软件科技有限责任公司 | 一种全景音视频采集设备及方法 |
| US20180205963A1 (en) * | 2017-01-17 | 2018-07-19 | Seiko Epson Corporation | Encoding Free View Point Data in Movie Data Container |
| CN109495688A (zh) * | 2018-12-26 | 2019-03-19 | 华为技术有限公司 | 电子设备的拍照预览方法、图形用户界面及电子设备 |
| CN212539194U (zh) * | 2020-06-15 | 2021-02-12 | 东方通信股份有限公司 | 一种采集三维音视频及运动姿态的装置 |
-
2020
- 2020-06-15 CN CN202010541790.XA patent/CN111885333A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130093852A1 (en) * | 2011-10-12 | 2013-04-18 | Board Of Trustees Of The University Of Arkansas | Portable robotic device |
| CN106898022A (zh) * | 2017-01-17 | 2017-06-27 | 徐渊 | 一种手持式快速三维扫描系统及方法 |
| US20180205963A1 (en) * | 2017-01-17 | 2018-07-19 | Seiko Epson Corporation | Encoding Free View Point Data in Movie Data Container |
| CN107592452A (zh) * | 2017-09-05 | 2018-01-16 | 深圳市圆周率软件科技有限责任公司 | 一种全景音视频采集设备及方法 |
| CN109495688A (zh) * | 2018-12-26 | 2019-03-19 | 华为技术有限公司 | 电子设备的拍照预览方法、图形用户界面及电子设备 |
| CN212539194U (zh) * | 2020-06-15 | 2021-02-12 | 东方通信股份有限公司 | 一种采集三维音视频及运动姿态的装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113029158A (zh) * | 2021-04-26 | 2021-06-25 | 常州大学 | 基于激光与声音融合定位的旋翼飞行器及其定位方法 |
| CN113029158B (zh) * | 2021-04-26 | 2023-09-22 | 常州大学 | 基于激光与声音融合定位的旋翼飞行器及其定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109324634B (zh) | 一种飞行器及其定位方法、控制方法及光流模块 | |
| CN110301118A (zh) | 用于智能助理计算设备的位置校准 | |
| CN113281706B (zh) | 一种目标定位方法、装置及计算机可读存储介质 | |
| CN212539194U (zh) | 一种采集三维音视频及运动姿态的装置 | |
| CN107885223A (zh) | 基于激光的无人机回收引导系统 | |
| CN106370184A (zh) | 无人机自动跟踪拍摄的方法、无人机和移动终端设备 | |
| CN105164612A (zh) | 使用脉冲式光源的近平面分段 | |
| CN208636719U (zh) | 一种基于超声波测距的自动跟随系统 | |
| CN205693767U (zh) | 无人机系统 | |
| CN207706284U (zh) | Tof电路模块及tof模组 | |
| CN110498039A (zh) | 一种基于仿生扑翼飞行器的智能监控系统 | |
| CN111319502A (zh) | 基于双目视觉定位的无人机激光充电方法 | |
| CN111885333A (zh) | 一种采集三维音视频及运动姿态的装置及方法 | |
| CN113625774A (zh) | 局部地图匹配与端到端测距多无人机协同定位系统和方法 | |
| Basiri et al. | Audio-based relative positioning system for multiple micro air vehicle systems | |
| US20230221437A1 (en) | Application specific integrated circuits for lidar sensor and multi-type sensor systems | |
| Nava et al. | Learning visual localization of a quadrotor using its noise as self-supervision | |
| CN206497201U (zh) | 光流模块及飞行器 | |
| González et al. | Vision-based UAV detection for air-to-air neutralization | |
| CN113433963A (zh) | 一种针对磁悬浮轨道巡检的无人机多平台系统及方法 | |
| CN113110597A (zh) | 一种基于ros系统的室内无人机自主飞行系统 | |
| CN216817246U (zh) | 一种无人机跟踪系统 | |
| EP4097622A1 (en) | Three-dimensional (3d) modeling | |
| CN206331304U (zh) | 无人机及其飞行控制系统 | |
| Müller et al. | The evolution of bat robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201103 |