CN209964138U - 图像获取模块和图像获取系统 - Google Patents
图像获取模块和图像获取系统 Download PDFInfo
- Publication number
- CN209964138U CN209964138U CN201920215495.8U CN201920215495U CN209964138U CN 209964138 U CN209964138 U CN 209964138U CN 201920215495 U CN201920215495 U CN 201920215495U CN 209964138 U CN209964138 U CN 209964138U
- Authority
- CN
- China
- Prior art keywords
- image acquisition
- model
- estimator
- acquisition module
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006641 stabilisation Effects 0.000 claims abstract description 78
- 238000011105 stabilization Methods 0.000 claims abstract description 78
- 238000012546 transfer Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 description 87
- 238000012545 processing Methods 0.000 description 54
- 230000033001 locomotion Effects 0.000 description 41
- 238000004891 communication Methods 0.000 description 39
- 230000007246 mechanism Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 239000004020 conductor Substances 0.000 description 15
- 238000000034 method Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000001413 cellular effect Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000002329 infrared spectrum Methods 0.000 description 4
- 229910044991 metal oxide Inorganic materials 0.000 description 4
- 150000004706 metal oxides Chemical class 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000001429 visible spectrum Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1787—General system configurations
- G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
- G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
- G10K11/17823—Reference signals, e.g. ambient acoustic environment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/10—Applications
- G10K2210/129—Vibration, e.g. instead of, or in addition to, acoustic noise
- G10K2210/1291—Anti-Vibration-Control, e.g. reducing vibrations in panels or beams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本公开的实施例涉及图像获取模块和图像获取系统。图像获取模块包括:图像传感器,被配置为获取图像;集成机械稳定系统,包括被配置为控制所述图像传感器的定向的马达;加速度计,被配置为检测来自所述马达的振动,其中所述振动产生振动噪声;麦克风,被配置为接收预期声音和来自所述马达的噪声,其中来自所述马达的所述噪声包括可听噪声和所述振动噪声;处理器,被配置为控制所述马达并且生成马达控制信号;以及噪声估计器模型,包括声压级SPL估计器和SPL模型生成器。
Description
技术领域
本公开涉及模块化图像获取系统,更具体地涉及图像获取模块和图像获取系统。
背景技术
诸如相机等图像获取装置可以获取诸如图像或视频等内容。无人机已经被用来携带相机并且能够从空中获取图像。附带有相机的无人机通常经由无线通信链路由控制器控制。机械稳定系统(例如平衡环架和马达)已经与基于无人机的相机一起使用,以减少可以由获取期间无人机的振动和其他运动导致的所获取图像的失真或抖动。
实用新型内容
在第一方面,本公开的实施例涉及一种图像获取模块。所述图像获取模块包括:图像传感器,被配置为获取图像;集成机械稳定系统,包括被配置为控制所述图像传感器的定向的马达;加速度计,被配置为检测来自所述马达的振动,其中所述振动产生振动噪声;麦克风,被配置为接收预期声音和来自所述马达的噪声,其中来自所述马达的所述噪声包括可听噪声和所述振动噪声;处理器,被配置为控制所述马达并且生成马达控制信号;以及噪声估计器模型,包括声压级(SPL)估计器和SPL模型生成器。
在一些实施例中,所述SPL估计器被配置为接收麦克风信号、所述马达控制信号和加速度计信号。
在一些实施例中,所述SPL估计器被配置为基于所述麦克风信号、所述马达控制信号和所述加速度计信号的传递函数生成模型参数。
在一些实施例中,所述SPL模型生成器被配置为接收所述马达控制信号、所述加速度计信号和所述模型参数。
在一些实施例中,所述SPL模型生成器被配置为基于所述模型参数以及所述马达控制信号和所述加速度计信号的所述传递函数生成声音估计。
在一些实施例中,所述图像获取模块还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
在一些实施例中,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少来自所述马达的所述噪声。
在一些实施例中,所述噪声抑制器还被配置为将反馈传输给所述SPL估计器,其中所述反馈包括更新所述模型参数的指示符。
在一些实施例中,所述噪声抑制器还被配置为将反馈传输给所述SPL估计器,其中所述反馈包括停止执行估计的指示符。
在第二方面,本公开的实施例涉及一种图像获取模块。所述图像获取模块包括:图像传感器,被配置为获取图像;加速度计,被配置为检测振动并且生成加速度计信号,其中所述振动产生振动噪声;麦克风,被配置为接收预期声音和所述振动噪声;以及噪声估计器模型,包括模型估计器、模型生成器和模型估计器更新控件。
在一些实施例中,所述模型估计器被配置为接收麦克风信号和所述加速度计信号。
在一些实施例中,所述模型估计器被配置为基于所述麦克风信号和所述加速度计信号的传递函数生成模型参数。
在一些实施例中,所述模型生成器被配置为接收所述加速度计信号。
在一些实施例中,所述模型生成器被配置为基于所述模型参数和所述加速度计信号的所述传递函数生成声音估计。
在一些实施例中,所述图像获取模块还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
在一些实施例中,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少所述振动噪声。
在一些实施例中,所述噪声抑制器还被配置为将反馈传输给所述模型估计器更新控件。
在一些实施例中,所述模型估计器更新控件被配置为确定是否更新所述模型参数,其中所述确定是基于所述声音估计和所述麦克风信号。
在一些实施例中,所述模型估计器被配置为从所述模型估计器更新控件接收指示模型参数更新的控制信号,其中所述模型估计器还被配置为基于所述控制信号执行所述模型参数更新。
在一些实施例中,所述模型估计器更新控件还被配置为将反馈传输给所述模型估计器,其中所述反馈包括停止执行估计的指示符。
在第三方面,本公开的实施例涉及一种图像获取模块。所述图像获取模块包括:图像传感器,被配置为获取图像;马达,被配置为控制所述图像传感器的定向;麦克风,被配置为接收预期声音和振动噪声;以及噪声估计器模型,包括模型估计器、模型生成器和模型估计器更新控件。
在一些实施例中,所述模型估计器被配置为接收麦克风信号和马达控制信号。
在一些实施例中,所述模型估计器被配置为基于所述麦克风信号和所述马达控制信号的传递函数生成模型参数。
在一些实施例中,所述模型生成器被配置为接收所述马达控制信号。
在一些实施例中,所述模型生成器被配置为基于所述模型参数和所述马达控制信号的所述传递函数生成声音估计。
在一些实施例中,所述图像获取模块还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
在一些实施例中,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少所述振动噪声。
在一些实施例中,所述噪声抑制器还被配置为将反馈传输给所述模型估计器更新控件。
在一些实施例中,所述模型估计器更新控件被配置为确定是否更新所述模型参数,其中所述确定是基于所述声音估计和所述麦克风信号。
在一些实施例中,所述模型估计器被配置为从所述模型估计器更新控件接收指示模型参数更新的控制信号,其中所述模型估计器还被配置为基于所述控制信号执行所述模型参数更新。
在一些实施例中,所述模型估计器更新控件还被配置为将反馈传输给所述模型估计器,其中所述反馈包括停止执行估计的指示符。
在第四方面,本公开的实施例涉及一种图像获取系统。所述图像获取系统包括:图像传感器,被配置为获取图像;集成机械稳定系统,包括被配置为控制所述图像传感器的定向的马达;加速度计,被配置为检测来自所述马达的振动,其中所述振动产生振动噪声;麦克风,被配置为接收预期声音和来自所述马达的噪声,其中来自所述马达的所述噪声包括可听噪声和所述振动噪声;处理器,被配置为控制所述马达并且生成马达控制信号;声压级(SPL)估计器;以及SPL模型生成器。
在一些实施例中,所述SPL估计器被配置为接收麦克风信号、所述马达控制信号和加速度计信号。
在一些实施例中,所述SPL估计器被配置为基于所述麦克风信号、所述马达控制信号和所述加速度计信号的传递函数生成模型参数。
在一些实施例中,所述SPL模型生成器被配置为接收所述马达控制信号、所述加速度计信号和所述模型参数。
在一些实施例中,所述SPL模型生成器被配置为基于所述模型参数以及所述马达控制信号和所述加速度计信号的所述传递函数生成声音估计。
在一些实施例中,所述图像获取系统还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
在一些实施例中,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少来自所述马达的所述噪声。
在一些实施例中,所述噪声抑制器还被配置为将反馈传输给所述SPL估计器,其中所述反馈包括更新所述模型参数的指示符。
在一些实施例中,所述噪声抑制器还被配置为将反馈传输给所述SPL估计器,其中所述反馈包括停止执行估计的指示符。
在第五方面,本公开的实施例涉及一种图像获取系统。所述图像获取系统包括:图像传感器,被配置为获取图像;加速度计,被配置为检测振动并且生成加速度计信号,其中所述振动产生振动噪声;麦克风,被配置为接收预期声音和所述振动噪声;模型估计器;模型生成器;以及模型估计器更新控件。
在一些实施例中,所述模型估计器被配置为接收麦克风信号和所述加速度计信号。
在一些实施例中,所述模型估计器被配置为基于所述麦克风信号和所述加速度计信号的传递函数生成模型参数。
在一些实施例中,所述模型生成器被配置为接收所述加速度计信号。
在一些实施例中,所述模型生成器被配置为基于所述模型参数和所述加速度计信号的所述传递函数生成声音估计。
在一些实施例中,所述图像获取系统还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
在一些实施例中,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少所述振动噪声。
在一些实施例中,所述噪声抑制器还被配置为将反馈传输给所述模型估计器更新控件。
在一些实施例中,所述模型估计器更新控件被配置为确定是否更新所述模型参数,其中所述确定是基于所述声音估计和所述麦克风信号。
在一些实施例中,所述模型估计器被配置为从所述模型估计器更新控件接收指示模型参数更新的控制信号,其中所述模型估计器还被配置为基于所述控制信号执行所述模型参数更新。
在一些实施例中,所述模型估计器更新控件还被配置为将反馈传输给所述模型估计器,其中所述反馈包括停止执行估计的指示符。
本文公开了被配置为在图像获取期间减少不需要的噪声的模块化图像获取系统的实施方式。在一个方面中,本说明书所描述的主题可以体现在包括图像获取模块的系统中,该图像获取模块包括获取图像的图像传感器。在一个方面中,图像获取模块可以包括集成机械稳定系统。集成机械稳定系统可以包括一个或多个马达。一个或多个马达中的每个马达可以用于控制图像传感器的定向。在一个方面中,图像获取模块可以包括检测来自一个或多个马达的振动的加速度计。在一个方面中,图像获取模块可以包括接收预期声音和来自马达的噪声的麦克风。来自马达的噪声可以包括可听噪声和振动噪声。在一个方面中,图像获取模块还可以包括控制马达并且生成马达控制信号和噪声估计器模型的处理器。噪声估计器模型可以包括估计器部分、模型生成器部分或者两者。估计器部分可以是声压级(SPL)估计器并且模型生成器部分可以是SPL模型生成器。
在一个方面中,本说明书所描述的主题可以体现在包括图像获取模块的系统中,该图像获取模块包括获取图像的图像传感器。在一个方面中,图像获取模块可以包括检测振动的加速度计。在一个方面中,图像获取模块可以包括接收预期声音和来自马达的噪声的麦克风。在一个方面中,图像获取模块还可以包括噪声估计器模型。噪声估计器模型可以包括模型估计器部分、模型生成器部分、模型估计器更新控件部分或其任何组合。
在一个方面中,本说明书所描述的主题可以体现在包括图像获取模块的系统中,该图像获取模块包括获取图像的图像传感器。在一个方面中,图像获取模块可以包括被配置为控制图像传感器的定向的马达。在一个方面中,图像获取模块可以包括接收预期声音和来自马达的噪声的麦克风。在一个方面中,图像获取模块还可以包括噪声估计器模型。噪声估计器模型可以包括模型估计器部分、模型生成器部分、模型估计器更新控件部分或其任何组合。
在一个方面中,本说明书所描述的主题可以体现在包括图像获取模块的系统中,该图像获取模块包括获取图像的图像传感器。在一个方面中,图像获取模块可以包括集成机械稳定系统。集成机械稳定系统可以包括一个或多个马达。一个或多个马达中的每个马达可以用于控制图像传感器的定向。在一个方面中,图像获取模块可以包括检测来自一个或多个马达的振动的加速度计。在一个方面中,图像获取模块可以包括接收预期声音和来自马达的噪声的麦克风。来自马达的噪声可以包括可听噪声和振动噪声。在一个方面中,图像获取模块还可以包括控制马达并且生成马达控制信号的处理器。在一个方面中,图像获取模块可以包括SPL估计器、SPL模型生成器或两者。
在一个方面中,本说明书所描述的主题可以体现在包括图像获取模块的系统中,该图像获取模块包括获取图像的图像传感器。在一个方面中,图像获取模块可以包括检测振动的加速度计。在一个方面中,加速度计可以被配置为当振动产生振动噪声时生成加速度计信号。在一个方面中,图像获取模块可以包括接收预期声音和振动噪声的麦克风。在一个方面中,图像获取模块还可以包括模型估计器部分、模型生成器部分、模型估计器更新控件部分或其任何组合。
本文描述的一个或多个方面可以包括被配置为接收麦克风信号、马达控制信号和/或加速度计信号的SPL估计器。在本文描述的一个或多个方面中,SPL估计器可以被配置为基于麦克风信号、马达控制信号和/或加速度计信号的传递函数生成一个或多个模型参数。
本文描述的一个或多个方面可以包括被配置为接收马达控制信号、加速度计信号和/或模型参数的SPL模型生成器。在本文描述的一个或多个方面中,SPL模型生成器可以被配置为基于一个或多个模型参数以及马达控制信号和/或加速度计信号的传递函数生成声音估计。
本文描述的一个或多个方面可以包括图像获取模块,该图像获取模块包括接收麦克风信号和声音估计的噪声抑制器。在本文描述的一个或多个方面中,噪声抑制器可以处理麦克风信号以减少来自马达的噪声。在本文描述的一个或多个方面中,噪声抑制器可以通过反转声音估计并且从麦克风信号减去所反转的声音估计来处理麦克风信号。在本文描述的一个或多个方面中,噪声抑制器可以将反馈传输给SPL估计器。在本文描述的一个或多个方面中,反馈可以包括更新一个或多个模型参数的指示符。在本文描述的一个或多个方面中,噪声抑制器可以将反馈传输给SPL估计器,其中反馈可以包括停止执行估计的指示符。
本文描述的一个或多个方面可以包括图像获取模块,该图像获取模块包括获取图像的图像传感器和检测振动并且生成加速度计信号的加速度计。振动可以产生振动噪声。在本文描述的一个或多个方面中,图像获取模块可以包括检测和接收预期声音的麦克风。在本文描述的一个或多个方面中,麦克风还可以检测和接收振动噪声作为非预期的或不需要的声音。
本文描述的一个或多个方面可以包括图像获取模块,该图像获取模块包括噪声估计器模型,该噪声估计器模型包括模型估计器、模型和模型估计器更新控件。在本文描述的一个或多个方面中,模型估计器可以接收麦克风信号和/或加速度计信号。在本文描述的一个或多个方面中,基于麦克风信号和/或加速度计信号的传递函数,模型估计器可以生成一个或多个模型参数。
本文描述的一个或多个方面可以包括被配置为接收加速度计信号的模型。在本文描述的一个或多个方面中,模型可以被配置为基于一个或多个模型参数和加速度计信号的传递函数生成声音估计。
本文描述的一个或多个方面可以包括图像获取模块,该图像获取模块包括接收麦克风信号和声音估计的噪声抑制器。在本文描述的一个或多个方面中,噪声抑制器可以被配置为处理麦克风信号以减少振动噪声。在本文描述的一个或多个方面中,噪声抑制器可以反转声音估计并且从麦克风信号减去所反转的声音估计。
本文描述的一个或多个方面可以包括被配置为将反馈传输给模型估计器更新控件的噪声抑制器。在本文描述的一个或多个方面中,模型估计器更新控件可以被配置为确定是否更新一个或多个模型参数。在本文描述的一个或多个方面中,是否更新一个或多个模型参数的确定可以基于声音估计和麦克风信号。在本文描述的一个或多个方面中,模型估计器可以从模型估计器更新控件接收指示模型参数更新的控制信号。在本文描述的一个或多个方面中,模型估计器可以基于控制信号执行模型参数更新。在本文描述的一个或多个方面中,模型估计器更新控件可以被配置为将反馈传输给模型估计器,其中反馈可以包括停止执行估计的指示符。
在本文描述的一个或多个方面中,本说明书所描述的主题可以体现在系统中,该系统包括:图像获取模块,包括被配置为获取图像的图像传感器、连接器和被配置为控制图像传感器相对于连接器的定向的集成机械稳定系统;飞行器,被配置为通过连接器可拆卸地附接至图像获取模块并且在携带图像获取模块时飞行;以及手持式模块,被配置为通过连接器可拆卸地附接至图像获取模块,其中手持式模块包括电池和被配置为显示从图像传感器接收到的图像的集成显示器。
在本文描述的一个或多个方面中,本说明书所描述的主题可以体现在方法中,该方法包括:将包括图像传感器和集成机械稳定系统的图像获取模块连接至飞行器;使飞行器与附接至飞行器的图像获取模块一起飞行并且在飞行时利用图像传感器获取第一图像;将图像获取模块与飞行器断开连接;将图像获取模块连接至包括电池和集成显示器的手持式模块;以及在图像获取模块附接至手持式模块时利用图像传感器获取第二图像,并且从电池汲取电力。
在本文描述的一个或多个方面中,本说明书所描述的主题可以体现在图像获取模块中,该图像获取模块包括:图像传感器,被配置为获取图像;机械稳定系统,包括平衡环架(gimbal)和马达,与图像传感器一起集成在图像获取模块中并且被配置为控制图像传感器的定向;以及连接器,被配置为可交换地将机械稳定系统连接至第一使用场景中的飞行器和第二使用场景中的手持式模块,其中机械稳定系统的平衡环架与连接器的表面大致齐平。
在以下的详细说明和附图中公开了本公开的这些和其他方面。
附图说明
当结合附图阅读时,本公开通过以下详细说明而被最好地理解。
图1A是具有第一使用场景中的模块化部件的可动成像系统的示例的框图。
图1B是具有第二使用场景中的模块化部件的可动成像系统的示例的框图。
图1C是具有第三使用场景中的模块化部件的可动成像系统的示例的框图。
图2是从第一视角的图像获取模块的示例的形象化的说明图。
图3是示出了来自机动平衡环架的干扰的图像获取模块的示例图。
图4是示出了来自集成机动平衡环架的干扰的图像获取模块的示例的信号处理图。
图5是被配置为减少来自集成机动平衡环架的干扰的图像获取模块的示例的信号处理图。
图6是被配置为减少来自集成机动平衡环架的干扰的另一图像获取模块的示例的信号处理图。
图7是被配置为减少来自非机动支架的干扰的另一图像获取模块的示例的信号处理图。
图8A是配置用于图像获取的系统的示例的框图。
图8B是配置用于图像获取的系统的示例的框图。
具体实施方式
本文包括模块化图像获取系统和用于图像获取的技术的公开内容。本文描述了图像获取模块,该图像获取模块包括图像传感器、机械稳定系统(例如包括平衡环架和马达)和连接器,该机械稳定系统与图像传感器一起被集成在图像获取模块中并且被配置为控制图像传感器的定向,该连接器被配置为可交换地将机械稳定系统连接至飞行器、手持式模块或任何类型的固定或个人娱乐装置。固定支架可以包括可以附接至墙壁、栅栏、建筑物和/或任何固定结构的任何支架。个人娱乐装置可以包括自行车、摩托车、汽车、船、休闲车、头盔、冲浪板、摩托艇、滑雪板、滑雪橇和/或成像装置可以安装至其处的任何类型的装置。图像获取模块可以容易地连接至不同的可动平台,包括飞行器、手持式模块或个人娱乐装置,以适应不同情况和使用场景。通过将机械稳定系统集成在图像获取模块中,与具有可分离的机械稳定系统的系统相比,在机械稳定系统与图像传感器之间提供了更可靠、重量更轻的附接。
将麦克风包括在与机动平衡环架相同的装置或者与机动平衡环架附接的装置中,这可能会导致来自马达的噪声被麦克风检测到。噪声可以是经空气传播或经结构传播的。例如,经空气传播的声音可以是从马达被发射到空气中的声音,然后由麦克风随所需声音一起检测。经结构传播的噪声可以包括到达麦克风的来自马达的振动。经结构传播的噪声可能会导致麦克风的局部声压变化或者麦克风的纯振动。
与传统的集成图像获取系统相比,所提出的系统和方法可以提供优势。例如,使用自适应噪声抑制算法中的马达操作的已知实体,可以预测并减少马达感应噪声对所获取的麦克风信号的影响。一些示例可以使用与马达控制信号相关联的信息和/或与加速度计相关联的信息,来预测和减少来自麦克风信号的经空气传播和/或经结构传播的噪声。
参照附图详细描述了实施方式,附图被提供为示例以使本领域技术人员能够实践该技术。附图和示例并不意味着将本公开的范围限制为单个实施方式或实施例,并且其他实施方式和实施例通过交换、组合和/或删除部分或所有所描述或所图示的元素是可能的。在方便的情况下,在附图中将使用相同的附图标记来指代相同或类似的部件。
图1A是具有第一使用场景中的模块化部件的可动成像系统100 的示例的框图。可动成像系统100包括具有集成机械稳定系统的图像获取模块110、飞行器120、手持式模块130、个人娱乐装置模块 135、控制器模块140和信标模块150。图像获取模块110包括使飞行器120、手持式模块130和个人娱乐装置模块135能够可拆卸地附接至图像获取模块110以作为用于不同使用场景中的图像获取的可动平台。连接器可以是机械式的和/或电气式的。在图1A的该第一使用场景中,飞行器120附接至图像获取模块110,以形成可动成像组件160,该可动成像组件160可以用于当可动成像组件160响应于来自控制器模块140和/或信标模块150的信号而运动时获取图像(例如静止图像或视频)。在图1A的该第一使用场景中,手持式模块 130和个人娱乐装置模块135与图像获取模块110断开连接。
图像获取模块110包括被配置为获取图像的图像传感器、连接器以及被配置为控制图像传感器相对于连接器的定向的集成机械稳定系统。例如,图像获取模块110可以是图2的图像获取模块200。集成机械稳定系统是集成式的,这具有如下意义:即它是图像获取模块110的一部分,在不使用工具或者损坏图像获取模块110的情况下,无法容易地移除该部分。例如,机械稳定系统可以包括被配置为控制图像传感器相对于连接器的定向的平衡环架(例如三个平衡环架)和马达。机械稳定系统可以在一系列图像(例如视频的帧) 中的图像之间获取低模糊和/或减少抖动或其他运动的高质量图像。在一些实施方式中,机械稳定系统实现或改善对象追踪功能,其中主动控制图像传感器的位置和/或定向,以跟随在图像传感器的视野中出现的物体(例如人)。集成有机械稳定系统避免了在机械稳定系统与图像传感器之间使用可能不可靠的连接,并且可以减小用于将机械稳定系统附接至图像传感器的材料的大小和重量。大小和重量在电子产品中通常是重要的考虑因素,但是它们在应用中可能特别重要,如同图1A的第一使用场景,其中包括图像传感器和机械稳定系统的图像获取模块110将由飞行器120携带。减小可动成像组件160的重量可以用于减少耗电量,以增加电池时间。减小可动成像组件160的重量还可以使得能够符合适用于限制飞行器的重量的飞行器120的操作的安全法规。
连接器可以是阳型或阴型的。例如,图像获取模块110的连接器可以被键合至飞行器120的插槽、被键合至手持式模块130的插槽,并且被键合至个人娱乐装置模块135的插槽。可以借助于连接器的外表面的形状来键合连接器,其适合于飞行器120中的插槽的对应形状、手持式模块130的插槽中的对应形状和个人娱乐装置模块135的插槽中的对应形状。连接器的键合的形状可以包括一些不对称,这可以通过防止用户意外地以不正确的定向插入连接器,以便于将飞行器120、手持式模块130和个人娱乐装置模块135容易地连接至图像获取模块110。在一些实施方式中,该连接器包括用于固定连接的一个或多个紧固机构(例如闩锁)。连接器可以包括嵌套在连接器的键合的外部分内的电气连接器(例如通用串行总线 (USB)型C连接器)。电气连接器可以包括多个导体,该多个导体可以用于将电力从飞行器120提供给图像获取模块110并且在飞行器120与图像获取模块110连接时在它们之间传递通信信号(例如USB 2.0、USB 3.0、I2C、SPI和/或MIPI(移动行业处理器接口) 信号)。例如,连接的导体可以用于传递电力、高速批量数据传递、实时嵌入式控制信令和/或获取帧速率的原始视频信号。例如,连接器可以包括导体对,该导体对分别用于将电力传递给图像获取模块 110,批量传递来自图像获取模块110的数据,将控制信号传递给图像获取模块110并且传递来自图像获取模块110的实时视频数据。在一些实施方式中,连接器缺少用于在图像获取模块110与附接的可动平台(例如该第一使用场景中的飞行器120)之间传递数据和/ 或电力的导体。可以在图像获取模块110与附接的可动平台之间短距离无线传递电力和/或数据。例如,连接器可以包括用于建立短程高速无线链路的接口(例如采用由Keyssa公司推广的技术,这可以称为“亲吻式连接(Kiss Connectivity)”),其用于在图像获取模块110与附接的可动平台之间以合适的视频获取数据速率传递数据。例如,连接器可以包括用于在图像获取模块110与附接的可动平台之间电感耦合电力的接口(例如无线充电接口或近场通信接口)。在一些实施方式中,使连接器具有较少导体或没有导体可能会产生更耐用或更可靠的连接器。
图像获取模块110的图像传感器被配置为获取图像(例如静止图像或视频的帧)。图像传感器可以被配置为检测某个光谱(例如可见光谱或红外光谱)的光,并且传达构成图像的信息作为电信号 (例如模拟或数字信号)。例如,图像传感器可以包括电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)中的有源像素传感器。图像传感器可以包括模数转换器并且输出数字图像数据。图像传感器可以检测通过透镜(例如直线透镜或鱼眼透镜)而入射的光。在一些实施方式中,图像获取模块110包括具有重叠的相应视野的多个图像传感器,并且可以将由这些图像传感器获取的图像拼接在一起,以生成合成图像(例如全景图像)。
可动成像系统100包括飞行器120(例如无人机),该飞行器 120被配置为通过连接器可拆卸地附接至图像获取模块110,并且在携带图像获取模块110时飞行。飞行器120可以可拆卸地附接,这具有如下意义:即用户可以在不使用工具(例如通过使用手指接合或脱离一个或多个闩锁、旋转型机构或点击型机构)的情况下将飞行器120与图像获取模块110快速地连接和断开连接。飞行器120 可以包括适合于图像获取模块110的连接器的插槽,连接器可以插入该插槽中。例如,飞行器120可以包括嵌套在插槽中的电气连接器(例如USB型C连接器),其包括多个导体,该多个导体被配置为在飞行器120和图像获取模块110连接以形成可动成像组件160 时,在它们之间传递图像和其他数据和控制信号。嵌套的电气连接器还可以将图像获取模块110固定或引导到飞行器120的插槽内。例如,飞行器120可以是四轴飞行器。在图1A的第一使用场景中,飞行器120连接至图像获取模块110。
可动成像系统100包括信标模块150,该信标模块150被配置为将位置数据无线传输给飞行器120,以使飞行器120能够跟随信标模块150。可以经由无线链路155传输该位置数据。例如,信标模块 150可以包括全球定位系统(GPS)接收器,并且位置数据可以包括信标模块150的GPS坐标。在一些实施方式中,信标模块150包括惯性测量单元(例如包括加速度计、陀螺仪和/或磁力仪),并且该位置数据包括由惯性测量单元感测到的信标模块150的位置和/或定向的变化。例如,无线链路155可以使用无线接口标准,诸如Wi-Fi、蓝牙(BT)、蜂窝数据链路、ZigBee、ANT+链路或其他无线协议。在一些实施方式中,飞行器120被配置为基于来自信标模块150的位置数据并且基于来自图像获取模块的图像中用户的计算机视觉追踪来跟随用户。例如,二次估计技术(例如卡尔曼滤波器)可以用于将来自信标模块150的位置数据与计算机视觉特征融合,以估计持有或戴有信标模块150的用户的位置,并且基于用户的位置估计,可以控制飞行器120和附接的图像获取模块110的图像传感器的位置和/或定向。例如,可以使用飞行器120的控制表面(例如螺旋桨) 和/或图像获取模块110的机械稳定系统(例如平衡环架)驱动图像传感器视野的这种控制。在一些实施方式中,信标模块150包括用户界面(例如包括按钮和显示器),该用户界面使持有信标模块150 的用户能够经由无线链路155而向可动成像组件160发出命令。例如,用户可以发出使可动成像组件160跟随用户、暂停跟随用户并悬停在适当位置或者起飞或降落的命令。
可动成像系统100包括控制器模块140,该控制器模块140被配置为与飞行器120无线通信,以控制飞行器120的运动并且在图像获取模块110附接至飞行器120时使用图像传感器获取图像。控制器模块140包括用户界面(例如控制杆、按钮和/或触摸屏显示器),该用户界面使用户能够输入命令,以控制可动成像组件160的运动并且获取图像。可以经由无线链路145在可动成像组件160与控制器模块之间传递信息(例如控制信号和/或图像数据)。例如,无线链路145可以使用无线接口标准,诸如Wi-Fi、蓝牙(BT)、蜂窝数据链路、ZigBee、ANT+链路或其他无线协议。例如,由可动成像组件160获取的图像(例如全分辨率或降低分辨率的静止图像或视频)可以由控制器模块140接收并且在触摸屏显示器上将其显示给用户。在一些实施方式中,飞行器120被配置为与信标模块150和控制器模块140无线通信。与信标模块150和控制器模块140的通信可以使第一用户能够通过可动成像组件160从控制器模块140主动监测和/或控制图像的图像获取,同时可动成像组件160跟随第二用户或在运动时被动承载信标模块150的其他物体。这可以增强对象的免手持跟随,并且允许跟随无法向可动成像组件160发出命令的物体(例如狗或汽车)或者使被跟随的体验对于第二用户来说更自然且更省心,以使得第二用户可以将他们的注意力集中在其他活动上(例如跑步、庆祝、足球、滑板、摩托车越野、冲浪、滑雪)。第一用户可以专注于优化图像获取的其他方面(例如选择对象的角度、缩放或静止图像的定时获取),而飞行器120的自主功能处理以下和导航任务。
图1B是具有第二使用场景中的模块化部件的可动成像系统100 的框图。在图1B的该第二使用场景中,手持式模块130附接至图像获取模块110,以形成可动成像组件162,该可动成像组件162可以用于当可动成像组件162在用户手中和/或响应于来自控制器模块140和/或信标模块150的信号运动时获取图像(例如静止的图像或视频)。在图1B的该第二使用场景中,飞行器120和个人娱乐装置模块135与图像获取模块110断开连接。
可动成像系统100包括被配置为通过连接器可拆卸地附接至图像获取模块110的手持式模块130。在一些实施方式中,手持式模块 130包括电池和集成显示器,该集成显示器被配置为显示从图像传感器接收到的(例如经由连接器的导体或者短程高速无线链路所接收到的)图像。手持式模块130可以可拆卸地附接,这具有如下意义:用户可以在不使用工具(例如通过使用手指接合或脱离一个或多个闩锁、旋转型机构或点击型机构)的情况下将手持式模块130与图像获取模块110快速连接和断开连接。在图1B的第二使用场景中,手持式模块130连接至图像获取模块110。
手持式模块130可以包括适合于图像获取模块110的连接器的插槽,连接器可以插入该插槽中。例如,手持式模块130可以包括嵌套在插槽中的电气连接器(例如USB型C连接器),其包括多个导体,该多个导体被配置为在手持式模块130和图像获取模块110 连接以形成可动成像组件162时,在它们之间传递图像和其他数据和控制信号。嵌套的电气连接器还可以将图像获取模块110固定或引导到手持式模块130的插槽内。手持式模块130的插槽可以包括一个或多个紧固机构,该一个或多个紧固机构被配置为在图1B的第二使用场景期间将手持式模块130的附件固定至连接器。在一些实施方式中,手持式模块130包括被配置为在图像获取模块附接至手持式模块时固定连接器的第一紧固机构和第二紧固机构(例如闩锁、卡环或旋转机构)。紧固机构可以被定位为使得第一紧固机构或第二紧固机构中的任一紧固机构都足够固定连接器。在一些实施方式中,当图像获取模块被附接至手持式模块130时,机械稳定系统的平衡环架(例如辊状平衡环架)与手持式模块130的表面大致齐平。
在图1B的第二使用场景中,例如可动成像组件162可以携带在用户的手中,该用户能够将图像传感器对准对象以进行图像获取并且通过手持式模块130的用户界面(例如按钮和/或触摸屏)控制图像获取。用户可以在手持式模块130的显示器上查看或预览所获取的图像。手持式模块130的电池可以在第二使用场景期间向图像获取模块110供电。
可动成像组件162可以由控制器模块140和/或信标模块150控制,同时被安装以使用机械稳定系统(例如三个平衡环架和马达) 调整图像传感器的定向,并且控制其他图像获取特征(例如获取静止图像或者调整曝光时间)。可以经由无线链路147在可动成像组件162与控制器模块之间传递信息(例如控制信号和/或图像数据)。例如,无线链路147可以使用无线接口标准,诸如Wi-Fi、蓝牙(BT)、蜂窝数据链路、ZigBee、ANT+链路或其他无线协议。例如,由可动成像组件162获取的图像(例如全分辨率或降低分辨率的静止的图像或视频)可以由控制器模块140接收,并且在触摸屏显示器上将其显示给用户。可动成像组件162可以无线地接收来自信标模块150 的位置数据,以使图像传感器能够通过使用机械稳定系统调整图像传感器的定向,来跟随信标模块150。可以经由无线链路157接收位置数据。例如,无线链路157可以使用无线接口标准,诸如Wi-Fi、蓝牙(BT)、蜂窝数据链路、ZigBee、ANT+链路或其他无线协议。在一些实施方式中,可动成像组件162被配置为与信标模块150和控制器模块140无线通信,以能够在控制器模块140的用户的一些监督下跟随具有信标模块150的对象。
图1C是具有第三使用场景中的模块化部件的可动成像系统100 的框图。在图1C的第三使用场景中,例如可动成像组件164可以使用紧固件(例如套带或头盔支架)安装在人或物体上。在一些实施例中,滑雪者可以穿戴套带或背心,其具有被配置为将可动成像组件164固定在滑雪者身体的一部分上(例如手臂或胸部上)以在他们双手自由地沿着斜坡向下运动时从他们的角度获取图像的一部分。在一些实施例中,可动成像组件164可以被定位或安装在个人娱乐装置(在该示例中为滑雪橇)上。在一些实施例中,可动成像组件164可以被定位或安装在固定位置中(例如固定在树枝上或者倚靠在桌子的表面上)。在图1C的该第三使用场景中,个人娱乐装置模块135被附接至图像获取模块110,以形成可动成像组件164,该可动成像组件164可以用于在可动成像组件164响应于来自控制器模块140和/或信标模块150的信号运动时来获取图像(例如静止的图像或视频)。在图1C的该第三使用场景中,将飞行器120和手持式模块130与图像获取模块110断开连接。
可动成像系统100包括被配置为通过连接器可拆卸地附接至图像获取模块110的个人娱乐装置模块135。在一些实施方式中,个人娱乐装置模块135包括电池和集成显示器,该集成显示器被配置为显示从图像传感器接收到的(例如经由连接器的导体或者短程高速无线链路接收到的)图像。个人娱乐装置模块135可以可拆卸地附接,这具有如下意义,即用户可以在不使用工具(例如通过使用手指接合或脱离一个或多个闩锁、旋转型机构或点击型机构)的情况下将个人娱乐装置模块135与图像获取模块110快速地连接和断开连接。在图1C的第三使用场景中,个人娱乐装置模块135连接至图像获取模块110。
个人娱乐装置模块135可以包括适合于图像获取模块110的连接器的插槽,连接器可以插入该插槽中。例如,个人娱乐装置模块 135可以包括嵌套在插槽中的电气连接器(例如USB型C连接器),其包括多个导体,该多个导体被配置为在个人娱乐装置模块135和图像获取模块110连接以形成可动成像组件164时,在它们之间传递图像和其他数据和控制信号。嵌套的电气连接器还可以将图像获取模块110固定或引导到个人娱乐装置模块135的插槽内。个人娱乐装置模块135的插槽可以包括一个或多个紧固机构,该一个或多个紧固机构被配置为在图1C的第三使用场景期间将个人娱乐装置模块135的附件固定至连接器。在一些实施方式中,个人娱乐装置模块135包括被配置为在图像获取模块110附接至个人娱乐装置模块135时固定连接器的第一紧固机构和第二紧固机构(例如闩锁、卡环或旋转机构)。紧固机构可以被定位为使得第一紧固机构或第二紧固机构中的任一紧固机构都足够固定连接器。在一些实施方式中,当图像获取模块被附接至个人娱乐装置模块135时,机械稳定系统的平衡环架(例如辊状平衡环架)与个人娱乐装置模块135的表面大致齐平。
可动成像组件164可以由控制器模块140和/或信标模块150控制,同时被安装以使用机械稳定系统(例如三个平衡环架和马达) 调整图像传感器的定向,并且控制其他图像获取特征(例如获取静止图像或者调整曝光时间)。可以经由无线链路149在可动成像组件164与控制器模块之间传递信息(例如控制信号和/或图像数据)。例如,无线链路149可以使用无线接口标准,诸如Wi-Fi、蓝牙(BT)、蜂窝数据链路、ZigBee、ANT+链路或其他无线协议。例如,由可动成像组件164获取的图像(例如全分辨率或降低分辨率的静止的图像或视频)可以由控制器模块140接收,并且在触摸屏显示器上将其显示给用户。可动成像组件164可以无线地接收来自信标模块150 的位置数据,以使图像传感器能够通过使用机械稳定系统调整图像传感器的定向,来跟随信标模块150。可以经由无线链路159接收位置数据。例如,无线链路159可以使用无线接口标准,诸如Wi-Fi、蓝牙(BT)、蜂窝数据链路、ZigBee、ANT+链路或其他无线协议。在一些实施方式中,可动成像组件164被配置为与信标模块150和控制器模块140无线通信,以能够在控制器模块140的用户的一些监督下跟随具有信标模块150的对象。
尽管未在图1A、1B和1C中明确示出,但是可动成像系统100 可以包括附加部件,以促进在各种可能的运动密集的情况下的对图像的获取。例如,可动成像系统100可以包括用于为飞行器120供电的可拆卸飞行电池和用于在第一使用场景中的飞行之间为飞行电池快速充电的AC充电器。在一些实施方式中,多个可拆卸飞行电池包括在可动成像系统100中以在可拆卸飞行电池充电的同时继续使用。例如,可动成像系统100可以包括用于为手持式模块130快速充电的AC充电器。例如,可动成像系统100可以包括用于手持式模块130的安装装置(例如套带、头盔支架或者微型三脚架或宽底座)。例如,可动成像系统100可以包括用于可动成像系统100 的部件的一个或多个手提箱。例如,可动成像系统100可以包括电缆(例如USB型C电缆和HDMI电缆),该电缆可以用于将个人计算装置(例如智能手机、平板计算机或膝上型计算机)连接至图像获取模块110、飞行器120和/或手持式模块130,以执行数据(例如图像数据)的批量传递和/或更新在可动成像系统100的这些部件的处理设备上运行的软件。应用可以被安装在一个或多个外部计算装置(例如智能手机、平板计算机或膝上型计算机)上,以帮助提取和共享来自图像获取模块110的获取视频内容并且帮助将软件升级至图像获取模块110、飞行器120、手持式模块130和/或控制器模块 140。一个或多个外部计算装置可以经由无线通信链路或有线通信链路(例如HDMI链路)与图像获取模块110通信。在外部计算装置上运行的应用可以被配置为执行与相机配置、视频获得的控制和/或由图像获取模块110获取的视频的显示相关的各种操作。应用(例如GoPro App)可以使用户能够创建短视频剪辑并且将视频剪辑共享至云服务(例如可以从Instagram、Facebook、YouTube或Dropbox 获得的商业云服务);执行图像获取模块110的功能的远程控制;实时预览针对获取构造获取的视频;标记关键时刻,同时记录(例如高亮标记、查看GoPro相机胶卷中的高亮标记)位置和/或回放视频亮点;无线控制相机软件;和/或执行其他功能。
可以存在被定位在可动成像系统100的模块化部件上的多个麦克风。例如,图像获取模块110可以包括被定位为帮助获取立体声音的两个麦克风。例如,单个麦克风可以包括在手持式模块130中 (例如,被定位在包括显示器的手持式模块130的侧面上或者靠近侧面)。手持式模块130的麦克风可以用于能够抑制风噪声和/或平衡环架马达噪声。在图像获取模块110和手持式模块130上安装麦克风可以在可动成像组件162上提供不同的间距良好的麦克风位置,这可以实现或改善噪声抑制功能。与显示器一起位于手持式模块130 的侧面的麦克风可以帮助为可动成像组件162在自拍用例中录制具有声音的视频。在手持式模块中安装单个麦克风也可以减少电池消耗。在一些实施方式中,多个麦克风被包括在手持式模块130上(例如以支持获取立体声音)。
在一些实施方式中,可动成像系统100包括被配置为通过连接器可拆卸地附接至图像获取模块110的附加可动平台。例如,可以包括具有不同大小和不同范围的附加飞行器。例如,可以将自动化或自主陆基可动车辆(例如遥控汽车)与可动成像系统100包括在一起,以支持不同情况下的图像获取,诸如在公路比赛期间。
在一些实施方式中,可动成像系统100包括具有连接器的附加图像获取模块,该连接器类似于图像获取模块110的连接器,其兼容可拆卸地附接至飞行器120、手持式模块130和个人娱乐装置模块 135。这可以允许交换不同版本的图像获取模块110,以根据不同的使用场景来调整图像获取能力。例如,一些图像获取模块可能仅具有单个图像传感器,而一些图像获取模块可能具有多个图像传感器并且支持使用拼接获取全景图像。
在一些实施方式中,手持式模块130可以被配置为经由无线链路来控制图1A的第一使用场景期间的可动成像组件160。例如,手持式模块130可以包括实现控制器模块140和/或信标模块150的功能中的一些或所有的硬件(例如GPS接收器)和/或软件。例如,手持式模块130使用户能够向可动成像组件160发出“跟随我”的命令,并且将手持式模块130的位置数据传输给可动成像组件160,以使可动成像组件160能够跟随并且获取手持式模块的持有者的图像。在一些实施方式(未示出)中,控制器模块140和/或信标模块150 可以从可动成像系统100中省略。
在一些实施方式(未示出)中,具有与手持式模块130类似特征的手持式模块与具有与图像获取模块110类似特征的图像获取模块被集成在一起,作为组合的手持式图像获取模块。组合的手持式图像获取模块包括图像传感器、被配置为控制图像传感器的定向的集成机械稳定系统、显示器、足够大以支持与图1B的第二使用场景所描述的操作类似的操作的电池、以及被配置为可拆卸地附接至飞行器(可能类似于飞行器120)或另一可动平台的连接器。例如,该飞行器可以包括飞行器的底部中的孔或透明面板,在组合的手持式图像获取模块附接至飞行器时,组合的手持式图像获取模块的显示器和/或控制界面可以通过该孔或透明面板看见和/或访问。例如,这个可访问的控制界面可以用于在组合的手持式图像获取模块和/或飞行器附接时控制它们的功能。在一些实施方式中,当组合的手持式图像获取模块附接至飞行器时或者当在空中飞行时,默认情况下组合的手持式图像获取模块的显示可能会被关闭。
在一些实施方式(未示出)中,控制器模块140和/或信标模块 150的部件和/或功能可以组合在单个装置中。这两种装置的合并可以减小所产生的具有模块化部件的可动成像系统的复杂性、成本和/ 或重量。
在一些实施方式(未示出)中,具有模块化部件的可动成像系统包括没有集成机械稳定系统的图像获取模块,相反其包括被配置为可拆卸地附接至图像获取模块和多个可动平台的一个或多个模块化机械稳定系统(例如平衡环架和马达)。一个或多个模块化机械稳定系统可以被配置为控制图像获取模块的图像传感器和当前附接的可动平台(例如飞行器或手持式模块)的相对定向。例如,多个模块化机械稳定系统可以被包括在该可动成像系统中,其具有适合于不同情况的不同大小、重量和性能特性。
在一些情况下,期望利用可动成像组件(例如可动成像组件160 或可动成像组件162)追踪目标,该目标可以包括一个或多个对象。可以使用各种形式的追踪,包括下面和美国临时专利申请序列号第62/364,960号所讨论的追踪,该申请于2016年7月21日提交并且通过引用全部并入本文。可以使用追踪系统来实施所描述的形式的追踪。追踪系统可以包括处理器和用于追踪目标的算法。可以将追踪系统全部包括在可动成像组件(例如可动成像组件160或可动成像组件162)内或者全部包括在控制器140或与可动成像组件通信的外部计算装置(例如智能手机、平板计算机或膝上型计算机)内,或者追踪系统的部分可以位于或复制在可动成像组件和控制器模块 140或外部计算装置内。还可以使用语音识别系统以与追踪系统交互并且发出命令(例如标识或调整目标的命令)。
图2是图像获取模块200的示例的形象化的说明图。图像获取模块200包括:图像传感器210,被配置为获取图像;机械稳定系统 220,包括平衡环架和马达(222、224和226);连接器230,被配置为可交换地将机械稳定系统连接至飞行器(例如飞行器120)、手持式模块(例如手持式模块130)和个人娱乐装置模块(例如个人娱乐装置模块135);以及一个或多个麦克风240。
图像获取模块200包括被配置为获取图像(例如静止图像或视频的帧)的图像传感器210。图像传感器210可以被配置为检测某个光谱(例如可见光谱或红外光谱)的光并且传达构成图像的信息作为电信号(例如模拟或数字信号)。例如,图像传感器210可以包括电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)中的有源像素传感器。图像获取模块200包括透镜212(例如广角直线透镜)。图像传感器210检测通过透镜212入射的来自环境的光。
图像获取模块200还可以包括处理设备(例如包括存储器、图像信号处理器、硬件编码器、微控制器和/或其他处理器),该处理设备被配置为基于来自信标模块(例如信标模块150)的位置数据和 /或基于来自第一使用场景和/或第二使用场景和/或第三使用场景中的图像传感器210的图像中用户的计算机视觉追踪来追踪用户,(其中在该第一使用场景中,图像获取模块200附接至飞行器,在该第二使用场景中,图像获取模块200附接至手持式模块,在该第三使用场景中,图像获取模块200附接至个人娱乐装置模块(例如个人娱乐装置模块135)。在一些实施方式中,处理设备可以被配置为对由图像传感器210获取的图像执行图像处理操作(例如死像素校正、波段处理、垂直消隐解耦、空间降噪、时间降噪、自动白平衡、全局色调映射、局部色调映射、透镜畸变校正、电子滚动快门校正、电子稳像、输出投影和/或编码)。在一些实施方式中,通过全部或部分位于较大的可动成像系统100的另一部件中的处理设备,来对由图像传感器获取的图像执行图像处理操作中的一些或所有图像处理操作。例如,处理设备可以位于机械稳定系统220的平衡环架226 下方的连接器230内。
图像获取模块200包括机械稳定系统220,包括与图像传感器 210一起集成在图像获取模块200中并且被配置为控制图像传感器 210的定向的平衡环架和马达(222、224和226)(例如分别对应于俯仰、偏航和滚动)。例如,平衡环架和马达(222、224和226) 可以实现图像传感器的三个自由度的旋转。在一些实施方式中,平衡环架和马达(222、224和226)分别实现各种旋转角度(例如高达180度、270度或360度)。机械稳定系统220的平衡环架226与连接器230的表面大致齐平,使机械稳定系统220能够具有较低的曲线并且保护平衡环架226不受损害。在一些实施方式中,平衡环架226全部包含在连接器的主体内,位于或低于连接器230的外表面的等级。例如,基于由处理设备基于来自图像传感器210的图像数据、来自图像获取模块200或图像获取模块200附接的运动平台(例如飞行器120、手持式模块130或个人娱乐装置模块135)中运动传感器的运动传感器数据、和/或来自信标(例如信标模块150) 的追踪目标的位置数据而确定的目标定向,可以利用控制器(例如比例积分微分控制器)来控制机械稳定系统220。
机械稳定系统220可以被配置为实现电子驱动运输模式。当关闭许多3轴平衡环架时,它们仅仅盲目地漂浮着,并且收起来或运输起来都很麻烦。在一些实施方式中,机械稳定系统220被配置为实现电子驱动运输模式,其中:在发生触发事件时(例如专门的用户命令或者关闭图像获取模块200或机械稳定系统220的命令),电子控制每个平衡环架和马达(222、224和226)以采取平折位置,并且保持该位置达固定时间段(例如10、30或60秒),使用户能够容易地将图像获取模块200放入口袋、手提箱、背包或其他容器中。在固定时间段到期之后,机械稳定系统220将完全关闭,使得一旦处于期望的传输位置,平衡环架臂能够自由运动。在一些实施方式中,通过集成到平衡环架本身中或者经由诸如支架或手提箱等外部装置的物理锁,可以实现这种电子驱动运输模式。例如,可以使用电子马达位置传感器、机械平折能力(运动范围)和固件控制 (例如实施在图像获取模块200的处理设备中)来实施电子驱动运输模式。
图像获取模块200包括连接器230,该连接器230被配置为可交换地将机械稳定系统220连接至第一使用场景中的飞行器(例如飞行器120)、第二使用场景中的手持式模块(例如手持式模块130) 和第三使用场景中的个人娱乐装置模块(例如个人娱乐装置模块135)。连接器可以被键合至飞行器的插槽、被键合至手持式模块的插槽并且被键合至个人娱乐装置模块的插槽。借助于连接器230的外表面的形状键合连接器230,其适合于飞行器(例如飞行器120) 中的插槽的对应形状、手持式模块(例如手持式模块130)的插槽中的对应形状和个人娱乐装置模块(例如个人娱乐装置模块135)的插槽中的对应形状。连接器230的键合的形状包括一些不对称(即,连接器230的矩形横截面狭窄,向内倾斜,大约在连接器230的一侧的下一半),这可以通过防止用户意外地以不正确的定向插入连接器230来帮助将飞行器、手持式模块和个人娱乐装置模块容易地连接至图像获取模块200。例如,连接器230可以包括被配置为在图像获取模块200附接至手持式模块时固定连接器230的第一紧固机构和第二紧固机构。紧固机构可以被配置为使得第一紧固机构或第二紧固机构中的任一紧固机构都足够固定连接器230。连接器230 包括嵌套在连接器230的键合的外部分内的电气连接器(例如通用串行总线(USB)型C连接器)。电气连接器可以包括多个导体,该多个导体可以用于将电力从可动平台(例如飞行器120或手持式模块130)提供给图像获取模块200并且在可动平台与图像获取模块 200连接时在它们之间传递通信信号(例如USB 2.0、USB3.0、I2C、 SPI和/或MIPI信号)。在一些实施方式中,连接器230可以包括导体对,该导体对分别用于将电力传递给图像获取模块200,批量传递来自图像获取模块200的数据,将控制信号传递给图像获取模块200 并且传递来自图像获取模块200的实时视频数据。
连接器可以包括嵌套在连接器的键合的外部分内的电气连接器 (例如通用串行总线(USB)型C连接器)。电气连接器可以包括多个导体,该多个导体可以用于将电力从飞行器120提供给图像获取模块110并且在飞行器120与图像获取模块110连接时在它们之间传递通信信号(例如USB 2.0、USB 3.0、I2C、SPI和/或MIPI(移动行业处理器接口)信号)。例如,连接的导体可以用于传递电力、高速批量数据传递、实时嵌入式控制信令和/或获取帧速率的原始视频信号。例如,连接器可以包括导体对,该导体对分别用于将电力传递给图像获取模块110,批量传递来自图像获取模块110的数据,将控制信号传递给图像获取模块110并且传递来自图像获取模块 110的实时视频数据。
在图2的示例中,机械稳定系统220的平衡环架226与连接器 230的表面大致齐平。可以通过连接器230的主体保护平衡环架226,以保护平衡环架不受损害和/或灰尘进入。例如,平衡环架226可以是辊状平衡环架并且具有对应的辊状马达,该辊状马达具有被构造在连接器230的外壳中的辊状马达外壳,使得辊状马达外壳位于连接器230的外表面的等级之下并且是隐藏的和/或受保护的。与所有平衡环架都暴露出来(例如三轴平衡环架暴露出来,包括位于主外壳顶部的辊轴马达外壳)的其他机械稳定系统相比,这种配置可以提供优势。例如,将平衡环架226定位在连接器230内和/或与连接器230的表面大致齐平可以减少暴露出来的平衡环架的部件量、降低平衡环架超出主外壳的高度、和/或通过减少可见的马达元件的数量(例如从三个平衡环架到两个平衡环架)来简化整体设计。
图3是示出了来自集成机动平衡环架的干扰的图像获取模块300 的示例图。在该示例中,图像获取模块300包括外壳305、马达310 和麦克风320。要理解,图像获取模块可以包括任何数量的马达和任何数量的麦克风,并且为了简单起见,仅示出了马达310和麦克风320。
如图3所示,马达310在操作期间生成力330。该力330在外壳 305中引起振动340。振动340可以经由外壳305传播到麦克风320,造成干扰。振动340可以相对于外壳305在内部或外部传播,并且可以称为振动路径。由振动340引起的干扰可以称为振动干扰。
如图3所示,马达310还生成可听噪声350。该可听噪声350是经空气传播的,并且可以被麦克风320检测为声学干扰。可听噪声 350传播的路径可以称为声学路径。
图4是示出了来自集成机动平衡环架的干扰的图像获取模块400 的示例的信号处理图。在该示例中,图像获取模块400包括马达410、麦克风420、模数(A/D)转换器430、混合器440、高级音频编码 (AAC)编码器450和存储器460。要理解,图像获取模块可以包括任何数量的马达和任何数量的麦克风,并且为了简单起见,仅示出了马达410和麦克风420。
如图4所示,马达410接收马达控制信号470并且基于马达控制信号470而生成力415。该力415经由振动路径传播并且被麦克风 420检测到。马达410还在使用时生成可听噪声425。可听噪声425 经由声学路径435传播并且被麦克风420检测到。连同预期声音445 一起,麦克风检测由力415和可听噪声425引起的干扰,并且将这些信号发送给A/D转换器430。A/D转换器430接收与力415、可听噪声425和预期声音445相关联的模拟信号,并且分别将它们转换为数字信号。然后通过混合器440组合相应的数字信号。所组合的信号还在AAC编码器450处进行处理并且存储在存储器460中。与力415、可听噪声425和预期声音445相关联的信号的组合产生不期望的声音曲线。
图5是被配置为减少来自集成机动平衡环架的干扰的图像获取模块500的示例的信号处理图。在该示例中,图像获取模块500包括马达510、麦克风520、A/D转换器530、噪声抑制器540、AAC 编码器550和存储器560。噪声抑制器540可以结合混合器(未示出) 实施或者包括混合器(未示出)。要理解,图像获取模块500可以包括任何数量的马达和任何数量的麦克风,并且为了简单起见,仅示出了马达510和麦克风520。如图5所示,将马达控制信号570 传输给马达510、声压级(SPL)估计器580和SPL模型生成器585。 SPL估计器580和SPL模型生成器585可以统称为噪声估计器模型。在一些实施例中,SPL估计器和SPL模型生成器可以被组合到单个单元中。在存在多于一个马达和/或麦克风的实施例中,麦克风和马达的每个组合都可以具有相应的噪声估计器模型。例如,如果图像获取模块500包括三个马达和三个麦克风,则也可以包括九组噪声估计器模型。马达510接收马达控制信号570并且基于马达控制信号570而生成力515。该力515经由振动路径传播并且被麦克风520 检测到。马达510还在使用时生成可听噪声525。可听噪声525可以基于平衡环架的动作(即,平移、通电、保持位置或任何其他动作) 而发生变化。每个平衡环架动作都可以产生唯一的噪声曲线。在一些场景中,每个图像获取模块的机械配合都可能会影响振动从马达传递给麦克风的方式。
可听噪声525经由声学路径535传播并且被麦克风520检测到。连同预期声音545一起,麦克风检测由力515和可听噪声525引起的干扰,并且将这些信号发送给A/D转换器530。A/D转换器530 接收与力515、可听噪声525和预期声音545相关联的模拟信号,并且分别将它们转换为数字信号532。将数字信号532传输给噪声抑制器540和SPL估计器580。
加速度计590被配置为测量振动信息并且将振动信息作为加速度计信号592传输给SPL估计器580和SPL模型生成器585。SPL 估计器580接收马达控制信号570、来自A/D转换器530的数字信号532和来自加速度计590的加速度计信号592。SPL估计器580将马达控制信号570与数字信号532和加速度计信号592相关联,以生成模型参数。模型参数可以是基于马达控制信号570、数字信号 532和加速度计信号592的传递函数。SPL估计器580将模型参数582传输给SPL模型生成器585。模型参数582可以是预定的,或者它们可以随着时间而被优化或学习。
SPL模型生成器585被配置为基于马达控制信号570和加速度计信号592连续地估计由马达510生成的声压。SPL模型生成器585 接收马达控制信号570、来自加速度计590的加速度计信号592和来自SPL估计器580的模型参数582。当SPL估计器580确定要产生更新的模型参数时,将更新的模型参数传输给SPL模型生成器585。在一些实施例中,SPL模型生成器可以始终接收模型参数582并且确定如果参数差高于阈值是否更新模型。
SPL模型生成器585确定数字信号532的不需要的部分并基于马达控制信号570、加速度计信号592和模型参数582生成声音估计,并且将声音估计587传输给噪声抑制器540。声音估计587是由平衡环架马达产生的不需要的声学马达噪声和振动马达噪声的估计,其应该被移除并且可以表示为传递函数,例如VMic(t)。
噪声抑制器540接收来自A/D转换器530的数字信号532和来自SPL模型生成器585的声音估计587。噪声抑制器540减少来自数字信号532的不需要的马达噪声,使得从数字信号532减去不需要的部分。噪声抑制器540可以使用任何合适的信号处理方法来在时域和/或频域中执行这种动作。例如,噪声抑制器540可以反转声音估计587的极性,使得从数字信号532减去不需要的部分。来自噪声抑制器540的产生的信号是已经减去了不需要的马达噪声的信号549。信号549还在AAC编码器550处进行处理,并且被存储在存储器560中。
在一些实施例中,基于麦克风信号以及有多少麦克风信号是通过马达的声学噪声和振动噪声而产生的,噪声抑制器540可以确定何时执行估计。如果噪声抑制器540确定马达510的声学噪声和振动噪声高于阈值,则噪声抑制器生成控制信号547并且将其传输给SPL估计器580。例如,如果噪声抑制器540确定麦克风噪声主要由马达510的声学噪声和振动噪声组成,则噪声抑制器将控制信号547 发送给SPL估计器580,以执行估计并且更新模型参数。在一些实施例中,噪声抑制器540可以确定信号质量高于阈值,并且将控制信号547发送给SPL估计器580,以停止执行估计,以便节省电池电量。在该示例中,SPL估计器580可以在接收到来自噪声抑制器 540的指示信号质量水平低于阈值的控制信号时继续执行估计。
图6是被配置为减少来自集成机动平衡环架的干扰的另一图像获取模块600的示例的信号处理图。在该示例中,图像获取模块600 包括马达610、麦克风620、A/D转换器630、噪声抑制器640、AAC 编码器650和存储器660。噪声抑制器640可以结合混合器(未示出) 实施或者包括混合器(未示出)。要理解,图像获取模块600可以包括任何数量的马达和任何数量的麦克风,并且为了简单起见,仅示出了马达610和麦克风620。
如图6所示,图像获取模块600包括模型估计器680、VMic模型生成器685和模型估计器更新控件690,这可以统称为噪声估计器模型。在一些实施例中,模型估计器680、VMic模型生成器685和模型估计器更新控件690可以组合到单个单元中。在存在多于一个马达和/或麦克风的实施例中,麦克风和马达的每个组合都可以具有相应的噪声估计器模型。例如,如果图像获取模块600包括三个马达和三个麦克风,则也可以包括九组噪声估计器模型。
如图6所示,将马达控制信号670传输给马达610、模型估计器 680和VMic模型生成器685。马达610接收马达控制信号670并且基于马达控制信号670生成力615。该力615经由振动路径传播并且被麦克风620检测到。马达610还在使用时生成可听噪声625。可听噪声625可以基于平衡环架的动作(即,平移、通电、保持位置或任何其他动作)而发生变化。每个平衡环架动作都可以产生唯一的噪声曲线。在一些场景中,每个图像获取模块的机械配合都可能会影响振动从马达传递给麦克风的方式。
可听噪声625经由声学路径635传播并且被麦克风620检测到。连同预期声音645一起,麦克风620检测由力615和可听噪声625 引起的干扰,并且将这些信号发送给A/D转换器630。A/D转换器 630接收与力615、可听噪声625和预期声音645相关联的模拟信号,并且分别将它们转换为数字信号632。数字信号632包括由麦克风 620检测到的需要和不需要的声音,并且可以称为VMic。将数字信号 632传输给噪声抑制器640、模型估计器680和模型估计器更新控件 690。
模型估计器680接收来自A/D转换器630的马达控制信号670 和数字信号632。模型估计器680将马达控制信号670与数字信号 632相关联以生成模型参数。模型参数可以基于马达控制信号670 和数字信号632的传递函数。模型估计器680将模型参数682传输给VMic模型生成器685。模型参数682可以是预定的,或者它们可以随着时间而被优化或学习。
VMic模型生成器685被配置为基于马达控制信号670连续地估计由马达610生成的声压。VMic模型生成器685接收来自模型估计器 680的马达控制信号670和模型参数682。模型估计器更新控件690 可以使用数字信号632和声音估计687来确定是否应该更新模型参数。当模型估计器更新控件690确定要产生更新的模型参数时,它将控制信号647发送给模型估计器680,指示应该执行更新。模型估计器680执行更新,并且将更新的模型参数传输给VMic模型生成器 685。在一些实施例中,VMic模型可以始终接收模型参数682并且确定如果参数差高于阈值则是否更新模型。
VMic模型生成器685确定数字信号632的不需要的部分并基于马达控制信号670和模型参数682生成声音估计,并且将声音估计687 传输给噪声抑制器640。声音估计687是由平衡环架马达产生的不需要的声学马达噪声和振动马达噪声的估计,其应该被移除并且可以表示为传递函数,例如VMicNoise。
噪声抑制器640接收来自A/D转换器630的数字信号632和来自VMic模型生成器685的声音估计687。噪声抑制器640减少来自数字信号632的不需要的马达噪声,使得从数字信号632减去不需要的部分。噪声抑制器640可以使用任何合适的信号处理方法来在时域和/或频域中执行这种动作。例如,噪声抑制器640可以反转声音估计687的极性,使得从数字信号632减去不需要的部分。通过噪声抑制器640的产生的信号是已经减去了不需要的马达噪声的信号649。信号649还在AAC编码器650处进行处理,并且被存储在存储器660中。
在VMic模型生成器685未连续地估计由马达610生成的声压的示例中,基于麦克风信号(即,数字信号632)以及有多少麦克风信号(即,声音估计687)是通过马达的声学噪声和振动噪声而产生的,模型估计器更新控件690可以确定何时执行估计。如果模型估计器更新控件690确定马达610的声学噪声和振动噪声超过阈值,则模型估计器更新控件690生成控制信号647,并且将其传输给模型估计器680。例如,如果模型估计器更新控件690确定麦克风噪声主要由马达610的声学噪声和振动噪声组成,则模型估计器更新控件690 将控制信号647发送给模型估计器680,以执行估计并且更新模型参数。在一些实施例中,模型估计器更新控件690可以确定信号质量高于阈值,并且将控制信号647发送给模型估计器680,以停止执行估计,以便节省电池电量。在该示例中,模型估计器680可以在接收到来自模型估计器更新控件690的指示信号质量水平低于阈值的控制信号时继续执行估计。
图7是被配置为减少来自非机动支架的干扰的另一图像获取模块700的示例的信号处理图。在该示例中,图像获取模块700包括图像获取装置支架710、麦克风720、A/D转换器730、噪声抑制器 740、AAC编码器750和存储器760。噪声抑制器740可以结合混合器(未示出)实施或者包括混合器(未示出)。要理解,图像获取模块700可以包括任何数量的麦克风,并且为了简单起见,仅示出了麦克风720。如图7所示,图像获取模块700包括模型估计器780、 VMic模型生成器785和模型估计器更新控件770,这可以统称为噪声估计器模型。在一些实施例中,模型估计器780、VMic模型生成器 785和模型估计器更新控件770可以组合到单个单元中。在包括多于一个麦克风的实施例中,每个麦克风都可以具有相应的噪声估计器模型。例如,如果图像获取模块700包括三个麦克风,则也可以包括三组噪声估计器模型。
如图7所示,图像获取装置支架710生成力715。该力715可以是经由振动路径传播并且被麦克风720检测到的振动。基于图像获取装置支架710和/或图像获取装置支架710所附接至的装置的动作,力715可以发生变化。每个动作都可以产生唯一的噪声曲线。在一些场景中,每个图像获取模块的机械配合都可能会影响振动从图像获取装置支架710传递给麦克风720的方式。
连同预期声音745一起,麦克风720检测由力715引起的干扰,并且将这些信号发送给A/D转换器730。A/D转换器730接收与力 715相关联的模拟信号和预期声音745,并且分别将它们转换为数字信号732。数字信号732包括从麦克风720检测到的需要和不需要的声音,并且可以称为VMic。将数字信号732传输给噪声抑制器740、模型估计器780和模型估计器更新控件770。
加速度计790检测力715并且将力715转换为加速度计信号792。加速度计信号792被传输给模型估计器780和VMic模型生成器785,并且可以称为VAcc。模型估计器780接收来自A/D转换器730的加速度计信号792和数字信号732。模型估计器780将加速度计信号 792和数字信号732相关联,以生成模型参数。模型参数可以基于加速度计信号792和数字信号732的传递函数。模型估计器780将模型参数782传输给VMic模型生成器785。模型参数782可以是预定的,或者它们可以随着时间而被优化或学习。
VMic模型生成器785被配置为基于加速度计信号792连续地估计由图像获取装置支架710生成的声压。VMic模型生成器785接收来自模型估计器780的加速度计信号792和模型参数782。模型估计器更新控件770可以使用数字信号732和声音估计787来确定是否应该更新模型参数。当模型估计器更新控件770确定应该产生更新的模型参数时,它将控制信号747发送给模型估计器780,指示应该执行更新。模型估计器780执行更新,并且将更新的模型参数传输给 VMic模型生成器785。在一些实施例中,VMic模型可以始终接收模型参数782并且确定如果参数差高于阈值则是否更新模型。
VMic模型生成器785确定数字信号732的不需要的部分并基于加速度计信号792和模型参数782生成声音估计,并且将声音估计787 传输给噪声抑制器740。声音估计787是由图像获取装置支架710 产生的不需要的振动噪声的估计,其应该移除,并且可以表示为传递函数,例如VMicNoise。
噪声抑制器740接收来自A/D转换器730的数字信号732和来自VMic模型生成器785的声音估计787。噪声抑制器740减少来自数字信号732的不需要的马达噪声,使得从数字信号732减去不需要的部分。噪声抑制器740可以使用任何合适的信号处理方法来在时域和/或频域中执行这种动作。例如,噪声抑制器740可以反转声音估计787的极性,使得从数字信号732减去不需要的部分。通过噪声抑制器740产生的信号是已经减去了不需要的马达噪声的信号 749。信号749还在AAC编码器750处进行处理并且存储在存储器 760中。
在VMic模型生成器785未连续地估计由图像获取装置支架710 生成的声压的示例中,基于麦克风信号(即,数字信号732)以及有多少麦克风信号(即,声音估计787)是通过图像获取装置支架的振动噪声而产生的,模型估计器更新控件770可以确定何时执行估计。如果模型估计器更新控件770确定图像获取装置支架710的振动噪声超过阈值,则模型估计器更新控件770生成控制信号747,并且将其传输给模型估计器780。例如,如果模型估计器更新控件770确定麦克风噪声主要由图像获取装置支架710的振动噪声组成,则模型估计器更新控件770将控制信号747发送给模型估计器780,以执行估计并且更新模型参数。在一些实施例中,模型估计器更新控件770 可以确定信号质量高于阈值,并且将控制信号747发送给模型估计器780,以停止执行估计,以便节省电池电量。在该示例中,模型估计器780可以在接收到来自模型估计器更新控件770的指示信号质量水平低于阈值的控制信号时继续执行估计。
图8A是为图像获取配置的系统800的示例的框图。系统800包括图像获取装置810(例如可动成像组件160或可动成像组件162),该图像获取装置810包括被配置为接收来自一个或多个图像传感器 814的图像的处理设备812。图像获取装置810包括平衡环架和马达816,其是被配置为控制一个或多个图像传感器814的定向(例如相对于可动平台的定向)的机械稳定系统的致动器。平衡环架和马达 816可以由机械稳定系统的控制器所控制,其可以通过处理设备812 (例如作为软件模块或专门的硬件模块)来实施。处理设备812可以被配置为执行图像信号处理(例如滤波、噪声消减、色调映射、拼接、电子图像稳定和/或编码),以基于来自一个或多个图像传感器814的图像数据来生成输出图像。处理设备812可以被配置为执行音频信号处理(例如滤波和/或噪声消减)。图像获取装置810包括被配置为检测一个或多个图像传感器814的运动的一个或多个运动传感器818。一个或多个运动传感器818可以将反馈信号提供给机械稳定系统。图像获取装置810包括通信接口822,用于将图像传递给其他装置和/或接收命令或其他控制信令。图像获取装置810包括用户界面820,该用户界面820可以使用户控制图像获取功能和/或查看图像。图像获取装置810包括电池824以为图像获取装置810 供电。图像获取装置包括麦克风826以检测声音。例如,系统800 可以用于实施本公开所描述的过程。
处理设备812可以包括具有单个或多个处理核心的一个或多个处理器。处理设备812可以包括存储器,诸如随机存取存储器(RAM) 装置、闪速存储器或任何其他合适类型的存储装置,诸如非暂时性计算机可读存储器。处理设备812的存储器可以包括可以由处理设备812的一个或多个处理器访问的可执行指令和数据。例如,处理设备812可以包括一个或多个DRAM模块,诸如双数据速率同步动态随机存取存储器(DDR SDRAM)。在一些实施方式中,处理设备 812可以包括数字信号处理器(DSP)。在一些实施方式中,处理设备812可以包括专用集成电路(ASIC)。例如,处理设备812可以包括自定义图像信号处理器。在一些实施方式中,处理设备812可以在图像获取装置810的不同部分中具有多个处理单元。例如,处理设备812可以包括通过连接器可拆卸地附接的可动平台(例如飞行器120、手持式模块130和个人娱乐装置模块135)上的处理器和图像获取模块(例如图像获取模块110或图像获取模块200)中的处理器。
一个或多个图像传感器814被配置为获取图像。一个或多个图像传感器814被配置为检测某个光谱(例如可见光谱或红外光谱) 的光,并且传达构成图像的信息作为电信号(例如模拟或数字信号)。例如,一个或多个图像传感器814可以包括电荷耦合装置(CCD) 或互补金属氧化物半导体(CMOS)中的有源像素传感器。一个或多个图像传感器814可以检测通过相应透镜(例如直线透镜或鱼眼透镜)入射的光。在一些实施方式中,一个或多个图像传感器814包括模数转换器。在一些实施方式中,一个或多个图像传感器814具有重叠的相应视野。
用于一个或多个图像传感器814的机械稳定系统包括平衡环架和马达816。平衡环架和马达816可以是机械稳定系统(例如机械稳定系统220)的部分。平衡环架和马达816可以经由连接器(例如连接器230)将一个或多个图像传感器814附接至可动平台(例如飞行器120或手持式模块130),并且控制它们的定向。平衡环架和马达 816可以跨越多个轴(例如设置有无刷直流马达的7轴平衡环架)。机械稳定系统可以包括控制器(例如比例积分微分(PID)控制器)。例如,机械稳定系统的控制器可以通过处理设备812实施(例如作为软件模块或专门的硬件模块)。一些实施方式可以不包括平衡环架和马达816。
一个或多个运动传感器818被配置为检测一个或多个图像传感器814的运动。例如,一个或多个运动传感器818可以包括与一个或多个图像传感器814一起安装在外壳中的惯性测量单元(例如包括陀螺仪、加速度计和/或磁力仪)的部分。在一些实施方式中,一个或多个运动传感器818可以包括安装在图像获取装置810的可动平台(例如飞行器120、手持式模块130或个人娱乐装置模块135) 中的惯性测量单元的部分。在一些实施方式中,一个或多个运动传感器818包括传感器(例如磁性编码器、光学编码器和/或电位计),该传感器检测平衡环架和马达816的状态,以测量图像传感器和图像获取装置810的可动平台的相对定向。例如,一个或多个运动传感器818可以包括被配置为检测图像传感器相对于可动平台(例如飞行器120或手持式模块130)的位置和定向的编码器。处理设备 812可以被配置为基于来自一个或多个运动传感器818的传感器数据确定一系列定向估计。例如,确定一系列定向估计可以包括将二次估计应用于来自一个或多个运动传感器818中的多个运动传感器818的传感器数据。在一些实施方式中,运动传感器包括生成用于图像获取装置810的GPS位置数据的GPS接收器。
图像获取装置810可以包括用户界面820。例如,用户界面820 可以包括LCD显示器,用以将图像和/或消息呈现给用户。例如,用户界面820可以包括触摸屏显示器,用以交互地显示图像和其他数据并且接收用户命令。例如,用户界面820可以包括麦克风以接收来自用户的语音命令。例如,用户界面820可以包括按钮或开关,用以使人们能够手动地打开和关闭图像获取装置810。例如,用户界面820可以包括快门按钮,用以获取图片。
图像获取装置810可以包括通信接口822,该通信接口822可以实现与个人计算装置(例如智能手机、平板计算机、膝上型计算机或台式计算机)和一个或多个专业控制器(例如控制器模块140和/ 或信标模块150)的通信。例如,通信接口822可以用于接收控制图像获取并且在图像获取装置810中进行处理的命令。例如,通信接口822可以用于将图像数据传递给个人计算装置或专业控制器(例如控制器模块140)。例如,通信接口822可以包括有线接口,诸如高清多媒体接口(HDMI)、通用串行总线(USB)接口或火线接口。例如,通信接口822可以包括无线接口,诸如蓝牙接口、ZigBee接口和/或Wi-Fi接口。
图像获取装置810可以包括为图像获取装置810和/或其外围装置供电的电池824。例如,电池824可以是用于飞行器的可拆卸飞行电池。例如,电池824可以是手持式模块的一部分。例如,电池824 可以无线充电或通过微型USB接口充电。在一些实施方式(未示出)中,电池824可以替换为另一类型的电源(例如由经由电感耦合接收电力的电路充电的电容器)。
图8B是为图像获取配置的系统830的示例的框图。系统830包括图像获取装置840(例如可动成像组件160或可动成像组件162) 和经由通信链路850通信的个人计算装置860。图像获取装置840 包括被配置为获取图像的一个或多个图像传感器842。图像获取装置 840包括被配置为经由通信链路850将图像传递给个人计算装置860 的通信接口848。个人计算装置860包括被配置为使用通信接口866 接收来自一个或多个图像传感器842的图像的处理设备862。图像获取装置840包括平衡环架和马达844,其是被配置为控制一个或多个图像传感器842的定向(例如相对于可动平台的定向)的机械稳定系统的致动器。平衡环架和马达844可以由机械稳定系统的控制器控制,其可以通过处理设备862实施(例如作为软件模块或专门的硬件模块),并且经由通信链路850将控制信号提供给马达844。处理设备862可以被配置为执行图像信号处理(例如滤波、色调映射、拼接、电子图像稳定和/或编码),以基于来自一个或多个图像传感器842的图像数据生成输出图像。图像获取装置840包括被配置为检测一个或多个图像传感器842的运动的一个或多个运动传感器 846。一个或多个运动传感器846可以将反馈信号(例如经由通信链路850或者在图像获取装置840内部)提供给机械稳定系统。图像获取装置840还可以包括一个或多个麦克风(未示出)。
一个或多个图像传感器842被配置为获取图像。一个或多个图像传感器842被配置为检测某个光谱(例如可见光谱或红外光谱) 的光,并且传达构成图像的信息作为电信号(例如模拟或数字信号)。例如,一个或多个图像传感器842可以包括电荷耦合装置(CCD) 或互补金属氧化物半导体(CMOS)中的有源像素传感器。一个或多个图像传感器842可以检测通过相应透镜(例如直线透镜或鱼眼透镜)入射的光。在一些实施方式中,一个或多个图像传感器842包括模数转换器。在一些实施方式中,一个或多个图像传感器842具有重叠的相应视野。
处理设备862可以包括具有单个或多个处理核心的一个或多个处理器。处理设备862可以包括存储器,诸如随机存取存储器(RAM) 装置、闪速存储器或任何其他合适类型的存储装置,诸如非暂时性计算机可读存储器。处理设备862的存储器可以包括可以由处理设备862的一个或多个处理器访问的可执行指令和数据。例如,处理设备862可以包括一个或多个DRAM模块,诸如双数据速率同步动态随机存取存储器(DDR SDRAM)。在一些实施方式中,处理设备 862可以包括数字信号处理器(DSP)。在一些实施方式中,处理设备862可以包括专用集成电路(ASIC)。例如,处理设备862可以包括自定义图像信号处理器。
用于一个或多个图像传感器842的机械稳定系统包括平衡环架和马达844。平衡环架和马达844可以是机械稳定系统(例如机械稳定系统220)的部分。平衡环架和马达844可以将一个或多个图像传感器842连接至可动平台并且控制它们的定向。平衡环架和马达844可以跨越多个轴(例如设置有无刷直流马达的7轴平衡环架)。机械稳定系统可以包括控制器(例如比例积分微分(PID)控制器)。例如,机械稳定系统的控制器可以通过处理设备862实施(例如作为软件模块或专门的硬件模块)。例如,机械稳定系统的控制器可以通过集成有图像获取装置840的专门硬件模块来实施。
一个或多个运动传感器846被配置为检测一个或多个图像传感器842的运动。例如,一个或多个运动传感器846可以包括与一个或多个图像传感器842一起安装在外壳中的惯性测量单元(例如包括陀螺仪、加速度计和/或磁力仪)的部分。在一些实施方式中,一个或多个运动传感器846可以包括安装在图像获取装置840的可动平台(例如飞行器120、手持式模块130或个人娱乐装置模块135) 中的惯性测量单元的部分。在一些实施方式中,一个或多个运动传感器846包括传感器(例如磁性编码器、光学编码器和/或电位计),该传感器检测平衡环架和马达844的状态,以测量图像传感器和图像获取装置840的可动平台的相对定向。例如,一个或多个运动传感器846可以包括被配置为检测图像传感器相对于可动平台(例如飞行器120、手持式模块130或个人娱乐装置模块135)的位置和定向的编码器。处理设备862可以被配置为基于来自一个或多个运动传感器846的传感器数据确定一系列定向估计。例如,确定一系列定向估计可以包括将二次估计应用于来自一个或多个运动传感器846中的多个运动传感器846的传感器数据。在一些实施方式中,运动传感器846包括生成用于图像获取装置840的GPS位置数据的 GPS接收器。
通信链路850可以是有线通信链路或无线通信链路。通信接口 848和通信接口866可以通过通信链路850实现通信。例如,通信接口848和通信接口866可以包括高清多媒体接口(HDMI)、通用串行总线(USB)接口、火线接口、蓝牙接口、ZigBee接口和/或Wi-Fi 接口。例如,通信接口848和通信接口866可以用于将来自图像获取装置840的图像数据传递给个人计算装置860以进行图像信号处理(例如滤波、色调映射、拼接和/或编码),以基于来自一个或多个图像传感器842的图像数据生成输出图像。例如,通信接口848 和通信接口866可以用于将来自图像获取装置840的运动传感器数据传递给个人计算装置860,用以在机械稳定系统的控制器中进行处理。例如,通信接口848和通信接口866可以用于将控制信号从个人计算装置860传递给图像获取装置840,用以控制机械稳定系统的平衡环架和马达844和/或图像获取装置840的飞行器的运动。
个人计算装置860可以包括用户界面864。例如,用户界面864 可以包括触摸屏显示器,用以将图像和/或消息呈现给用户并且接收来自用户的命令。例如,用户界面864可以包括按钮或开关以使人们能够手动地打开和关闭个人计算装置860。在一些实施方式中,经由用户界面864接收到的命令(例如开始录制视频、停止录制视频、获取照片或选择追踪目标)可以经由通信链路850传递给图像获取装置840。
用户可以在可动成像系统100的各种使用场景之间切换,包括,例如图1A的第一使用场景和图1B的第二使用场景,以根据不同情况调整它们的图像获取模式。
尽管已经结合某些实施例描述了本公开,但是要理解,本公开并不限于所公开的实施例,而恰恰相反,其旨在覆盖包括在随附权利要求的范围内的各种修改和等效布置,该范围应被赋予法律允许的最广泛的解释,以涵盖所有这种修改和等效布置。
Claims (51)
1.一种图像获取模块,其特征在于,包括:
图像传感器,被配置为获取图像;
集成机械稳定系统,包括被配置为控制所述图像传感器的定向的马达;
加速度计,被配置为检测来自所述马达的振动,其中所述振动产生振动噪声;
麦克风,被配置为接收预期声音和来自所述马达的噪声,其中来自所述马达的所述噪声包括可听噪声和所述振动噪声;
处理器,被配置为控制所述马达并且生成马达控制信号;以及
噪声估计器模型,包括声压级(SPL)估计器和SPL模型生成器。
2.根据权利要求1所述的图像获取模块,其特征在于,所述SPL估计器被配置为接收麦克风信号、所述马达控制信号和加速度计信号。
3.根据权利要求2所述的图像获取模块,其特征在于,所述SPL估计器被配置为基于所述麦克风信号、所述马达控制信号和所述加速度计信号的传递函数生成模型参数。
4.根据权利要求3所述的图像获取模块,其特征在于,所述SPL模型生成器被配置为接收所述马达控制信号、所述加速度计信号和所述模型参数。
5.根据权利要求3或4所述的图像获取模块,其特征在于,所述SPL模型生成器被配置为基于所述模型参数以及所述马达控制信号和所述加速度计信号的所述传递函数生成声音估计。
6.根据权利要求5所述的图像获取模块,其特征在于,还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
7.根据权利要求6所述的图像获取模块,其特征在于,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少来自所述马达的所述噪声。
8.根据权利要求6或7所述的图像获取模块,其特征在于,所述噪声抑制器还被配置为将反馈传输给所述SPL估计器,其中所述反馈包括更新所述模型参数的指示符。
9.根据权利要求6或7所述的图像获取模块,其特征在于,所述噪声抑制器还被配置为将反馈传输给所述SPL估计器,其中所述反馈包括停止执行估计的指示符。
10.一种图像获取模块,其特征在于,包括:
图像传感器,被配置为获取图像;
加速度计,被配置为检测振动并且生成加速度计信号,其中所述振动产生振动噪声;
麦克风,被配置为接收预期声音和所述振动噪声;以及
噪声估计器模型,包括模型估计器、模型生成器和模型估计器更新控件。
11.根据权利要求10所述的图像获取模块,其特征在于,所述模型估计器被配置为接收麦克风信号和所述加速度计信号。
12.根据权利要求10或11所述的图像获取模块,其特征在于,所述模型估计器被配置为基于所述麦克风信号和所述加速度计信号的传递函数生成模型参数。
13.根据权利要求10或11所述的图像获取模块,其特征在于,所述模型生成器被配置为接收所述加速度计信号。
14.根据权利要求12所述的图像获取模块,其特征在于,所述模型生成器被配置为基于所述模型参数和所述加速度计信号的所述传递函数生成声音估计。
15.根据权利要求14所述的图像获取模块,其特征在于,还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
16.根据权利要求15所述的图像获取模块,其特征在于,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少所述振动噪声。
17.根据权利要求15或16所述的图像获取模块,其特征在于,所述噪声抑制器还被配置为将反馈传输给所述模型估计器更新控件。
18.根据权利要求14-16中任一项所述的图像获取模块,其特征在于,所述模型估计器更新控件被配置为确定是否更新所述模型参数,其中所述确定是基于所述声音估计和所述麦克风信号。
19.根据权利要求10-11、14-16中任一项所述的图像获取模块,其特征在于,所述模型估计器被配置为从所述模型估计器更新控件接收指示模型参数更新的控制信号,其中所述模型估计器还被配置为基于所述控制信号执行所述模型参数更新。
20.根据权利要求10-11、14-16中任一项所述的图像获取模块,其特征在于,所述模型估计器更新控件还被配置为将反馈传输给所述模型估计器,其中所述反馈包括停止执行估计的指示符。
21.一种图像获取模块,其特征在于,包括:
图像传感器,被配置为获取图像;
马达,被配置为控制所述图像传感器的定向;
麦克风,被配置为接收预期声音和振动噪声;以及
噪声估计器模型,包括模型估计器、模型生成器和模型估计器更新控件。
22.根据权利要求21所述的图像获取模块,其特征在于,所述模型估计器被配置为接收麦克风信号和马达控制信号。
23.根据权利要求22所述的图像获取模块,其特征在于,所述模型估计器被配置为基于所述麦克风信号和所述马达控制信号的传递函数生成模型参数。
24.根据权利要求22或23所述的图像获取模块,其特征在于,所述模型生成器被配置为接收所述马达控制信号。
25.根据权利要求23所述的图像获取模块,其特征在于,所述模型生成器被配置为基于所述模型参数和所述马达控制信号的所述传递函数生成声音估计。
26.根据权利要求25所述的图像获取模块,其特征在于,还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
27.根据权利要求26所述的图像获取模块,其特征在于,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少所述振动噪声。
28.根据权利要求26或27所述的图像获取模块,其特征在于,所述噪声抑制器还被配置为将反馈传输给所述模型估计器更新控件。
29.根据权利要求25-27中任一项所述的图像获取模块,其特征在于,所述模型估计器更新控件被配置为确定是否更新所述模型参数,其中所述确定是基于所述声音估计和所述麦克风信号。
30.根据权利要求21-23、25-27中任一项所述的图像获取模块,其特征在于,所述模型估计器被配置为从所述模型估计器更新控件接收指示模型参数更新的控制信号,其中所述模型估计器还被配置为基于所述控制信号执行所述模型参数更新。
31.根据权利要求21-23、25-27中任一项所述的图像获取模块,其特征在于,所述模型估计器更新控件还被配置为将反馈传输给所述模型估计器,其中所述反馈包括停止执行估计的指示符。
32.一种图像获取系统,其特征在于,包括:
图像传感器,被配置为获取图像;
集成机械稳定系统,包括被配置为控制所述图像传感器的定向的马达;
加速度计,被配置为检测来自所述马达的振动,其中所述振动产生振动噪声;
麦克风,被配置为接收预期声音和来自所述马达的噪声,其中来自所述马达的所述噪声包括可听噪声和所述振动噪声;
处理器,被配置为控制所述马达并且生成马达控制信号;
声压级(SPL)估计器;以及
SPL模型生成器。
33.根据权利要求32所述的图像获取系统,其特征在于,所述SPL估计器被配置为接收麦克风信号、所述马达控制信号和加速度计信号。
34.根据权利要求33所述的图像获取系统,其特征在于,所述SPL估计器被配置为基于所述麦克风信号、所述马达控制信号和所述加速度计信号的传递函数生成模型参数。
35.根据权利要求34所述的图像获取系统,其特征在于,所述SPL模型生成器被配置为接收所述马达控制信号、所述加速度计信号和所述模型参数。
36.根据权利要求34所述的图像获取系统,其特征在于,所述SPL模型生成器被配置为基于所述模型参数以及所述马达控制信号和所述加速度计信号的所述传递函数生成声音估计。
37.根据权利要求36所述的图像获取系统,其特征在于,还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
38.根据权利要求37所述的图像获取系统,其特征在于,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少来自所述马达的所述噪声。
39.根据权利要求37所述的图像获取系统,其特征在于,所述噪声抑制器还被配置为将反馈传输给所述SPL估计器,其中所述反馈包括更新所述模型参数的指示符。
40.根据权利要求37或38所述的图像获取系统,其特征在于,所述噪声抑制器还被配置为将反馈传输给所述SPL估计器,其中所述反馈包括停止执行估计的指示符。
41.一种图像获取系统,其特征在于,包括:
图像传感器,被配置为获取图像;
加速度计,被配置为检测振动并且生成加速度计信号,其中所述振动产生振动噪声;
麦克风,被配置为接收预期声音和所述振动噪声;
模型估计器;
模型生成器;以及
模型估计器更新控件。
42.根据权利要求41所述的图像获取系统,其特征在于,所述模型估计器被配置为接收麦克风信号和所述加速度计信号。
43.根据权利要求41所述的图像获取系统,其特征在于,所述模型估计器被配置为基于所述麦克风信号和所述加速度计信号的传递函数生成模型参数。
44.根据权利要求41至43中任一项所述的图像获取系统,其特征在于,所述模型生成器被配置为接收所述加速度计信号。
45.根据权利要求43所述的图像获取系统,其特征在于,所述模型生成器被配置为基于所述模型参数和所述加速度计信号的所述传递函数生成声音估计。
46.根据权利要求45所述的图像获取系统,其特征在于,还包括噪声抑制器,被配置为接收所述麦克风信号和所述声音估计。
47.根据权利要求46所述的图像获取系统,其特征在于,所述噪声抑制器还被配置为通过反转所述声音估计并且从所述麦克风信号减去所反转的所述声音估计来减少所述振动噪声。
48.根据权利要求46所述的图像获取系统,其特征在于,所述噪声抑制器还被配置为将反馈传输给所述模型估计器更新控件。
49.根据权利要求46所述的图像获取系统,其特征在于,所述模型估计器更新控件被配置为确定是否更新所述模型参数,其中所述确定是基于所述声音估计和所述麦克风信号。
50.根据权利要求41-43、45-46、48-49中任一项所述的图像获取系统,其特征在于,所述模型估计器被配置为从所述模型估计器更新控件接收指示模型参数更新的控制信号,其中所述模型估计器还被配置为基于所述控制信号执行所述模型参数更新。
51.根据权利要求41-43、45-46、48-49中任一项所述的图像获取系统,其特征在于,所述模型估计器更新控件还被配置为将反馈传输给所述模型估计器,其中所述反馈包括停止执行估计的指示符。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201922332640.3U CN211830953U (zh) | 2018-02-21 | 2019-02-20 | 用于图像获取的装置和系统以及图像获取模块 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/901,035 US10909961B2 (en) | 2018-02-21 | 2018-02-21 | Reduction of microphone audio noise from gimbal motor |
US15/901,035 | 2018-02-21 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201922332640.3U Division CN211830953U (zh) | 2018-02-21 | 2019-02-20 | 用于图像获取的装置和系统以及图像获取模块 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN209964138U true CN209964138U (zh) | 2020-01-17 |
Family
ID=67308883
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201920215495.8U Active CN209964138U (zh) | 2018-02-21 | 2019-02-20 | 图像获取模块和图像获取系统 |
CN201922332640.3U Active CN211830953U (zh) | 2018-02-21 | 2019-02-20 | 用于图像获取的装置和系统以及图像获取模块 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201922332640.3U Active CN211830953U (zh) | 2018-02-21 | 2019-02-20 | 用于图像获取的装置和系统以及图像获取模块 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10909961B2 (zh) |
CN (2) | CN209964138U (zh) |
DE (1) | DE202019100930U1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019210462A1 (zh) * | 2018-05-02 | 2019-11-07 | 深圳市大疆创新科技有限公司 | 云台拍摄方法、云台拍摄系统以及记录介质 |
US10839659B2 (en) * | 2018-10-17 | 2020-11-17 | Arlo Technologies, Inc. | System for video monitoring with improved image quality |
KR102569365B1 (ko) * | 2018-12-27 | 2023-08-22 | 삼성전자주식회사 | 가전기기 및 이의 음성 인식 방법 |
US20240214686A1 (en) * | 2022-12-26 | 2024-06-27 | Motorola Mobility Llc | Bi-directional rotation of an electronic device using modulated vibration for subject image tracking |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5243661A (en) * | 1990-04-09 | 1993-09-07 | Sony Corporation | Microphone apparatus |
WO2013105926A1 (en) * | 2011-03-22 | 2013-07-18 | Aerovironment Inc. | Invertible aircraft |
US9024738B2 (en) * | 2013-02-01 | 2015-05-05 | Blackberry Limited | Apparatus, systems and methods for mitigating vibration of an electronic device |
JP6188355B2 (ja) * | 2013-03-06 | 2017-08-30 | キヤノン株式会社 | 放射線撮影装置、補正方法及びプログラム |
US20140267778A1 (en) * | 2013-03-15 | 2014-09-18 | Freefly Systems, Inc. | Apparatuses and methods for controlling a gimbal and other displacement systems |
EP3081902B1 (en) * | 2014-03-24 | 2019-04-17 | SZ DJI Technology Co., Ltd. | Method and apparatus for correcting aircraft state in real time |
JP6167425B2 (ja) * | 2014-08-29 | 2017-07-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人航空機、及び無人航空機を用いた音声データ収集方法 |
EP3248191B1 (en) * | 2015-01-20 | 2021-09-29 | Dolby Laboratories Licensing Corporation | Modeling and reduction of drone propulsion system noise |
CN110254734A (zh) * | 2015-05-27 | 2019-09-20 | 高途乐公司 | 使用稳定用常平架的常平架系统 |
US9415870B1 (en) * | 2015-09-02 | 2016-08-16 | Amazon Technologies, Inc. | Unmanned aerial vehicle motor driving randomization and feedback for noise abatement |
US9442496B1 (en) * | 2015-09-18 | 2016-09-13 | Amazon Technologies, Inc. | Active airborne noise abatement |
US9984672B2 (en) * | 2016-09-15 | 2018-05-29 | Gopro, Inc. | Noise cancellation for aerial vehicle |
-
2018
- 2018-02-21 US US15/901,035 patent/US10909961B2/en active Active
-
2019
- 2019-02-19 DE DE202019100930.6U patent/DE202019100930U1/de active Active
- 2019-02-20 CN CN201920215495.8U patent/CN209964138U/zh active Active
- 2019-02-20 CN CN201922332640.3U patent/CN211830953U/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20190259366A1 (en) | 2019-08-22 |
US10909961B2 (en) | 2021-02-02 |
CN211830953U (zh) | 2020-10-30 |
DE202019100930U1 (de) | 2019-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12041355B2 (en) | Modular image capture systems | |
US11132773B2 (en) | Temporal smoothing in image capture systems | |
CN209964138U (zh) | 图像获取模块和图像获取系统 | |
US10914419B2 (en) | Camera system using stabilizing gimbal | |
US11936982B2 (en) | Combined mechanical and electronic image stabilization | |
US20170064176A1 (en) | Apparatus for compensating for motion of handheld and wearable terminal | |
WO2022141329A1 (zh) | 拍摄设备、控制设备、遥控设备、移动控制系统和可穿戴设备 | |
CN212660222U (zh) | 警犬数字化战术穿戴装备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |