DE202019100930U1 - Reduzierung des Mikrofon-Audio-Geräuschs von einem Gimbalmotor - Google Patents

Reduzierung des Mikrofon-Audio-Geräuschs von einem Gimbalmotor Download PDF

Info

Publication number
DE202019100930U1
DE202019100930U1 DE202019100930.6U DE202019100930U DE202019100930U1 DE 202019100930 U1 DE202019100930 U1 DE 202019100930U1 DE 202019100930 U DE202019100930 U DE 202019100930U DE 202019100930 U1 DE202019100930 U1 DE 202019100930U1
Authority
DE
Germany
Prior art keywords
model
estimator
noise
signal
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE202019100930.6U
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GoPro Inc
Original Assignee
GoPro Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GoPro Inc filed Critical GoPro Inc
Publication of DE202019100930U1 publication Critical patent/DE202019100930U1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G10K11/17873—General system configurations using a reference signal without an error signal, e.g. pure feedforward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17823—Reference signals, e.g. ambient acoustic environment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/129—Vibration, e.g. instead of, or in addition to, acoustic noise
    • G10K2210/1291—Anti-Vibration-Control, e.g. reducing vibrations in panels or beams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

Bilderfassungsmodul, umfassend:
einen Bildsensor, der konfiguriert ist, um Bilder aufzunehmen;
ein integriertes mechanisches Stabilisierungssystem, umfassend einen Motor, der konfiguriert ist, um eine Ausrichtung des Bildsensors zu steuern;
einen Beschleunigungsmesser, der konfiguriert ist, um eine Vibration vom Motor zu erfassen, wobei die Vibration ein Vibrationsgeräusch erzeugt;
ein Mikrofon, das konfiguriert ist, um einen beabsichtigten Schall und ein Geräusch von dem Motor zu empfangen, wobei das Geräusch von dem Motor hörbare Geräusche und das Vibrationsgeräusch beinhaltet;
einen Prozessor, der konfiguriert ist, um den Motor zu steuern und ein Motorsteuersignal zu erzeugen; und
ein Geräuschschätzmodell, das einen Schalldruckpegel/SPL-Schätzer und einen SPL-Modellgenerator umfasst.

Description

  • TECHNISCHES GEBIET
  • Diese Offenbarung betrifft modulare Bilderfassungssysteme.
  • HINTERGRUND
  • Bilderfassungsvorrichtungen, wie z. B. Kameras, können Inhalte wie Bilder oder Videos erfassen. Drohnen wurden zum Tragen von Kameras und zum Erfassen von Bildern aus der Luft verwendet. Drohnen mit angeschlossenen Kameras werden typischerweise von Controllern bzw. Steuerungen über eine drahtlose Kommunikationsverbindung gesteuert. Mechanische Stabilisierungssysteme (z.B. Gimbals bzw. Kardanaufhängungen und Motoren) wurden mit drohnengestützten Kameras verwendet, um Verzerrungen oder Verwacklungen der aufgenommenen Bilder zu reduzieren, die durch Vibrationen und andere Bewegungen einer Drohne während der Aufnahme verursacht werden können.
  • KURZFASSUNG
  • Hierin werden Implementierungen von modularen Bilderfassungssystemen offenbart, die so konfiguriert sind, dass sie unerwünschte Störungen während der Bilderfassung reduzieren. Bei einem Aspekt kann der in dieser Beschreibung beschriebene Gegenstand in Systemen verkörpert bzw. umgesetzt werden, die ein Bilderfassungsmodul, das einen Bildsensor zum Erfassen von Bildern beinhaltet. Bei einem Aspekt kann das Bilderfassungsmodul ein integriertes mechanisches Stabilisierungssystem beinhalten. Das integrierte mechanische Stabilisierungssystem kann einen oder mehrere Motoren beinhalten. Jeder der einen oder der mehreren Motoren kann zum Steuern einer Ausrichtung des Bildsensors verwendet werden. Bei einem Aspekt kann das Bilderfassungsmodul einen Beschleunigungsmesser beinhalten, der Vibrationen von einem oder mehreren Motoren erkennt. Bei einem Aspekt kann das Bilderfassungsmodul ein Mikrofon beinhalten, das einen gewünschten bzw. beabsichtigten Schall und ein Geräusch von dem Motor empfängt bzw. aufnimmt. Das Geräusch bzw. die Geräusche des Motors können hörbare Geräusche bzw. Rauschen und Vibrationsgeräusche bzw. - rauschen beinhalten. Bei einem Aspekt kann das Bilderfassungsmodul einen Prozessor zum Steuern des Motors und zum Erzeugen eines Motorsteuersignals sowie ein Geräusch- bzw. Rauschschätzmodell beinhalten. Das Geräuschschätzmodell kann einen Schätzabschnitt und einen Modellgeneratorabschnitt oder beides beinhalten. Der Schätzabschnitt kann ein Schalldruckpegel (kurz SPL) -Schätzer sein und der Modellgeneratorabschnitt kann ein SPL-Modellgenerator sein.
  • Bei einem Aspekt kann der in dieser Beschreibung beschriebene Gegenstand in Systemen verkörpert werden, die ein Bilderfassungsmodul beinhalten, das einen Bildsensor zur Bilderfassung beinhaltet. Bei einem Aspekt kann das Bilderfassungsmodul einen Beschleunigungsmesser beinhalten, der Vibrationen erkennt bzw. detektiert. Bei einem Aspekt kann das Bilderfassungsmodul ein Mikrofon beinhalten, das einen beabsichtigten Ton und ein Geräusch von dem Motor empfängt. Bei einem Aspekt kann das Bilderfassungsmodul auch ein Geräuschschätzmodell beinhalten. Das Geräuschschätzmodell kann einen Modellschätzabschnitt, einen Modellgeneratorabschnitt, einen Modellschätzer-Aktualisierungssteuerungsabschnitt oder eine beliebige Kombination davon beinhalten.
  • Bei einem Aspekt kann der in dieser Beschreibung beschriebene Gegenstand in Systemen verkörpert werden, die ein Bilderfassungsmodul beinhalten, das einen Bildsensor zur Bilderfassung beinhaltet. Bei einem Aspekt kann das Bilderfassungsmodul einen Motor beinhalten, der konfiguriert ist, um eine Ausrichtung des Bildsensors zu steuern. Bei einem Aspekt kann das Bilderfassungsmodul ein Mikrofon beinhalten, das einen beabsichtigten Ton und ein beabsichtigtes Geräuschen vom Motor empfängt. Bei einem Aspekt kann das Bilderfassungsmodul auch ein Geräuschschätzmodell beinhalten. Das Geräuschschätzmodell kann einen Modellschätzabschnitt, einen Modellgeneratorabschnitt, einen Modellschätzer-Aktualisierungssteuerungsabschnitt oder eine beliebige Kombination davon beinhalten.
  • Bei einem Aspekt kann der in dieser Beschreibung beschriebene Gegenstand in Systemen verkörpert werden, die ein Bilderfassungsmodul beinhalten, das einen Bildsensor zur Bilderfassung beinhaltet. Bei einem Aspekt kann das Bilderfassungsmodul ein integriertes mechanisches Stabilisierungssystem beinhalten. Das integrierte mechanische Stabilisierungssystem kann einen oder mehrere Motoren beinhalten. Jeder der einen oder mehreren Motoren kann verwendet werden, um eine Ausrichtung des Bildsensors zu steuern. Bei einem Aspekt kann das Bilderfassungsmodul einen Beschleunigungsmesser beinhalten, der Vibrationen von einem oder mehreren Motoren erkennt. Bei einem Aspekt kann das Bilderfassungsmodul ein Mikrofon beinhalten, das einen beabsichtigten Ton und ein beabsichtigtes Geräuschen vom Motor empfängt. Die Geräusche des Motors können hörbare Geräusche und Vibrationsgeräusche beinhalten. Bei einem Aspekt kann das Bilderfassungsmodul auch einen Prozessor zum Steuern des Motors und zum Erzeugen eines Motorsteuersignals beinhalten. Bei einem Aspekt kann das Bilderfassungsmodul einen SPL-Schätzer, einen SPL-Modellgenerator oder beides beinhalten.
  • Bei einem Aspekt kann der in dieser Beschreibung beschriebene Gegenstand in Systemen verkörpert werden, die ein Bilderfassungsmodul beinhalten, das einen Bildsensor zur Bilderfassung beinhaltet. Bei einem Aspekt kann das Bilderfassungsmodul einen Beschleunigungsmesser beinhalten, der Vibrationen detektiert. Bei einem Aspekt kann der Beschleunigungsmesser konfiguriert werden, um ein Beschleunigungs(messer-)signal zu erzeugen, wenn die Vibration ein Vibrationsgeräusch erzeugt. Bei einem Aspekt kann das Bilderfassungsmodul ein Mikrofon beinhalten, das einen beabsichtigten Ton und ein Vibrationsgeräusch empfängt. Bei einem Aspekt kann das Bilderfassungsmodul auch einen Modellschätzabschnitt, einen Modellgeneratorabschnitt, einen Modellschätzer-Aktualisierungssteuerabschnitt oder eine beliebige Kombination davon beinhalten.
  • Einer oder mehrere der hierin beschriebenen Aspekte können einen SPL-Schätzer beinhalten, der konfiguriert ist, ein Mikrofonsignal, das Motorsteuersignal und/oder ein Beschleunigungs(messer-)signal zu empfangen. Bei einem oder mehreren hierin beschriebenen Aspekten kann der SPL-Schätzer kann konfiguriert sein, einen oder mehrere Modellparameter basierend auf einer Übertragungsfunktion des Mikrofonsignals, des Motorsteuersignals und/oder des Beschleunigungs(messer-)signals zu erzeugen.
  • Einer oder mehrere der hierin beschriebenen Aspekte können einen SPL-Modellgenerator beinhalten, der konfiguriert ist, das Motorsteuersignal, das Beschleunigungssignal und/oder den Modellparameter zu empfangen. Bei einem oder mehreren hierin beschriebenen Aspekten kann der SPL-Modellgenerator konfiguriert sein, eine Schallschätzung basierend auf einem oder mehreren Modellparametern und den Übertragungsfunktionen des Motorsteuersignals und/oder des Beschleunigungsmessersignals zu erzeugen.
  • Einer oder mehrere der hierin beschriebenen Aspekte können ein Bilderfassungsmodul beinhalten, dass einen Geräusch- bzw. Rauschunterdrücker beinhaltet, der das Mikrofonsignal und die Schallschätzung empfängt. Bei einem oder mehreren hierin beschriebenen Aspekten kann der Geräusch- bzw. Rauschunterdrücker das Mikrofonsignal verarbeiten, um das Rauschen bzw. das Geräusch des Motors zu reduzieren. Bei einem oder mehreren hierin beschriebenen Aspekten kann der Geräuschunterdrücker das Mikrofonsignal verarbeiten, indem er die Schallschätzung invertiert und die invertierte Schallschätzung vom Mikrofonsignal subtrahiert. Bei einem oder mehreren hierin beschriebenen Aspekten kann der Geräuschunterdrücker Feedback bzw. Rückmeldungen an den SPL-Schätzer senden. Bei einem oder mehreren hierin beschriebenen Aspekten kann/können die Rückmeldung(en) einen Indikator zur Aktualisierung eines oder mehrerer Modellparameter beinhalten. Bei einem oder mehreren hierin beschriebenen Aspekten kann der Geräuschunterdrücker Rückmeldungen an den SPL-Schätzer senden, wobei die Rückmeldungen einen Indikator zum Beenden der Ausführung von Schätzungen beinhalten können.
  • Einer oder mehrere der hierin beschriebenen Aspekte können ein Bilderfassungsmodul einen Bildsensor zum Erfassen von Bildern und einen Beschleunigungsmesser zum Erfassen einer Vibration und zum Erzeugen eines Beschleunigungsmessersignals beinhalten. Die Vibration kann zu einem Vibrationsgeräusch führen. Bei einem oder mehreren hierin beschriebenen Aspekten kann Bilderfassungsmodul ein Mikrofon beinhalten, um einen beabsichtigten Schall bzw. Klang oder Ton zu erkennen und zu empfangen. Bei einem oder mehreren hierin beschriebenen Aspekten kann das Mikrofon das Vibrationsrauschen bzw. das Vibrationsgeräusch auch als unbeabsichtigtes oder unerwünschtes Geräusch detektieren bzw. erkennen und aufnehmen bzw. empfangen.
  • Einer oder mehrere der hierin beschriebenen Aspekte können ein Bilderfassungsmodul beinhalten, dass ein Geräuschschätzmodell beinhaltet, das einen Modellschätzer, ein Modell und eine Aktualisierungssteuerung für den Modellschätzer beinhaltet. Bei einem oder mehreren hierin beschriebenen Aspekten kann der Modellschätzer ein Mikrofonsignal und/oder das Beschleunigungs(messer-)signal empfangen. Bei einem oder mehreren hierin beschriebenen Aspekten kann der Modellschätzer einen oder mehrere Modellparameter basierend auf einer Übertragungsfunktion des Mikrofonsignals und/oder des Beschleunigungsmessersignals erzeugen.
  • Einer oder mehrere der hierin beschriebenen Aspekte können das Modell beinhalten, dass konfiguriert ist, das Beschleunigungs(messer-)signal empfangen. Bei einem oder mehreren hierin beschriebenen Aspekten kann das Modell konfiguriert sein, eine Schallschätzung basierend auf einem oder mehreren Modellparametern und der Übertragungsfunktion des Beschleunigungsmessersignals zu erzeugen.
  • Einer oder mehrere der hierin beschriebenen Aspekte können das Bilderfassungsmodul beinhalten, dass einen Geräusch- bzw. Geräuschunterdrücker beinhaltet, der das Mikrofonsignal und die Schallschätzung empfängt. Bei einem oder mehreren hierin beschriebenen Aspekten kann der Geräuschunterdrücker konfiguriert sein, das Mikrofonsignal zu verarbeiten, um das Vibrationsgeräusch zu reduzieren. Bei einem oder mehreren hierin beschriebenen Aspekten kann beispielsweise der Geräuschunterdrücker die Schallschätzung invertieren und die invertierte Schallschätzung vom Mikrofonsignal subtrahieren.
  • Einer oder mehrere der hierin beschriebenen Aspekte können einen Geräusch- bzw. Rauschunterdrücker beinhalten, der konfiguriert ist, eine Rückmeldung bzw. Rückmeldungen an die Aktualisierungssteuerung des Modellschätzers zu senden. Bei einem oder mehreren hierin beschriebenen Aspekten kann die Aktualisierungssteuerung des Modellschätzers konfiguriert sein, zu bestimmen, ob ein oder mehrere Modellparameter aktualisiert werden sollen. Bei einem oder mehreren hierin beschriebenen Aspekten kann die Bestimmung, ob ein oder mehrere Modellparameter aktualisiert werden sollen, auf der Grundlage der Schallschätzung und des Mikrofonsignals erfolgen. Bei einem oder mehreren hierin beschriebenen Aspekten kann der Modellschätzer von der Aktualisierungssteuerung des Modellschätzers ein Steuersignal empfangen, das eine Aktualisierung der Modellparameter anzeigt. Bei einem oder mehreren hierin beschriebenen Aspekten kann der Modellschätzer die Aktualisierung der Modellparameter basierend auf dem Steuersignal durchführen. Bei einem oder mehreren hierin beschriebenen Aspekten kann die Aktualisierungssteuerung des Modellschätzers Rückmeldungen an den Modellschätzer übermitteln, wobei die Rückmeldungen einen Indikator zum Beenden der Ausführung von Schätzungen beinhalten können.
  • Bei einem oder mehreren Aspekten kann der in dieser Beschreibung beschriebene Gegenstand in Systemen verkörpert werden, die ein Bilderfassungsmodul mit einem Bildsensor, der zum Erfassen von Bildern konfiguriert ist, einen Verbinder und ein integriertes mechanisches Stabilisierungssystem, das zum Steuern einer Ausrichtung des Bildsensors in Bezug auf den Verbinder konfiguriert ist; ein Luftfahrzeug, das zum entfernbaren Befestigen am Bilderfassungsmodul durch den Verbinder und zum Fliegen beim Tragen des Bilderfassungsmoduls konfiguriert ist; und ein Handheld-Modul beinhalten, das zum entfernbaren Befestigen am Bilderfassungsmodul durch den Verbinder konfiguriert ist, wobei das Handheld-Modul eine Batterie und eine integrierte Anzeige beinhaltet, die zum Anzeigen von Bildern konfiguriert ist, die vom Bildsensor empfangen wurden.
  • Bei einem oder mehreren Aspekten kann der in dieser Beschreibung beschriebene Gegenstand in Verfahren verkörpert werden, die das Verbinden eines Bilderfassungsmoduls, das einen Bildsensor und ein integriertes mechanisches Stabilisierungssystem beinhaltet, mit einem Luftfahrzeug, das Fliegen des Luftfahrzeugs mit dem am Luftfahrzeug angebrachten Bilderfassungsmodul und das Erfassen eines ersten Bildes mit dem Bildsensor während des Fluges, das Trennen des Bilderfassungsmoduls vom Luftfahrzeug, das Verbinden des Bilderfassungsmoduls mit einem Handheld-Modul, das eine Batterie und eine integrierte Anzeige beinhaltet, und das Erfassen eines zweiten Bildes mit dem Bildsensor, während das Bilderfassungsmodul am Handheld-Modul angebracht ist und Leistung von der Batterie erhält, beinhalten.
  • Bei einem oder mehreren Aspekten kann der in dieser Beschreibung beschriebene Gegenstand in Bilderfassungsmodulen verkörpert werden, die einen Bildsensor beinhalten, der zum Erfassen von Bildern konfiguriert ist; ein mechanisches Stabilisierungssystem, einschließlich Gimbals (bzw. Kardanaufhängungen) und Motoren, das mit dem Bildsensor im Bilderfassungsmodul integriert und zum Steuern einer Ausrichtung des Bildsensors konfiguriert ist; und einen Verbinder, der zum austauschbaren Verbinden des mechanischen Stabilisierungssystems mit einem Luftfahrzeug in einem ersten Nutzungsszenario und einem Handheld-Modul in einem zweiten Nutzungsszenario konfiguriert ist, wobei ein Gimbal des mechanischen Stabilisierungssystems im Wesentlichen bündig mit einer Oberfläche des Verbinders angeordnet ist.
  • Diese und andere Aspekte der vorliegenden Offenbarung werden in der folgenden detaillierten Beschreibung, den beigefügten Ansprüchen und den dazugehörigen Figuren offenbart.
  • Figurenliste
  • Die Offenbarung lässt sich am besten aus der folgenden detaillierten Beschreibung entnehmen, wenn sie in Verbindung mit den beigefügten Figuren gelesen wird.
    • 1A ist ein Blockdiagramm eines Beispiels eines beweglichen Imagingsystems bzw. Abbildungssystems mit modularen Komponenten in einem ersten Nutzungsszenario.
    • 1 B ist ein Blockdiagramm eines Beispiels eines beweglichen Imagingsystems mit modularen Komponenten in einem zweiten Nutzungsszenario.
    • 1C ist ein Blockdiagramm eines Beispiels eines beweglichen Imagingsystems mit modularen Komponenten in einem dritten Nutzungsszenario.
    • 2 ist eine bildliche Darstellung eines Beispiels für ein Bilderfassungsmodul aus einer ersten Perspektive.
    • 3 ist ein Diagramm eines Beispiels eines Bilderfassungsmoduls, das Interferenzen durch einen motorisierten Gimbal zeigt.
    • 4 ist ein Signalverarbeitungsdiagramm am Beispiel eines Bilderfassungsmoduls, das Störungen durch einen integrierten motorisierten Gimbal zeigt.
    • 5 ist ein Signalverarbeitungsdiagramm am Beispiel eines Bilderfassungsmoduls, das konfiguriert ist, um Störungen durch einen integrierten motorisierten Gimbal zu reduzieren.
    • 6 ist ein Signalverarbeitungsdiagramm am Beispiel eines anderen Bilderfassungsmoduls, das konfiguriert ist, um Störungen durch einen integrierten motorisierten Gimbal zu reduzieren.
    • 7 ist ein Signalverarbeitungsdiagramm am Beispiel eines anderen Bilderfassungsmoduls, das konfiguriert ist, um Störungen durch eine nicht motorisierte Halterung zu reduzieren.
    • 8A ist ein Blockdiagramm eines Beispiels eines Systems, das für die Bilderfassung konfiguriert ist.
    • 8B ist ein Blockdiagramm eines Beispiels eines Systems, das für die Bilderfassung konfiguriert ist.
  • DETAILLIERTE BESCHREIBUNG
  • Dieses Dokument enthält die Offenbarung von modularen Bilderfassungssystemen und Techniken zur Bilderfassung. Ein Bilderfassungsmodul wird beschrieben, das einen Bildsensor, ein mechanisches Stabilisierungssystem (z.B. mit Gimbals und Motoren), das mit dem Bildsensor im Bilderfassungsmodul integriert angeordnet ist und konfiguriert ist, um eine Ausrichtung des Bildsensors zu steuern, und einen Verbinder beinhaltet, der konfiguriert ist, um das mechanische Stabilisierungssystem austauschbar mit einem Luftfahrzeug, einem Handheld-Modul oder einer beliebigen Art von festen oder persönlichen Freizeitgeräten zu verbinden. Eine fixierte bzw. feste Halterung kann jede Halterung beinhalten, die an einer Wand, einem Zaun, einem Gebäude und/oder einer festen bzw. fixierten Struktur befestigt werden kann. Eine persönliche Freizeitvorrichtung kann ein Fahrrad, ein Motorrad, ein Automobil, ein Boot, ein Freizeitfahrzeug, einen Helm, ein Surfbrett, einen Jetski, ein Snowboard, einen Ski und/oder jede Art von Vorrichtung beinhalten, an der eine Bildaufnahmevorrichtung montiert werden kann. Das Bilderfassungsmodul kann leicht an verschiedene bewegliche Plattformen, einschließlich des Luftfahrzeugs, des Handheld-Moduls oder der persönlichen Freizeitvorrichtung, angeschlossen werden, um den unterschiedlichen Umständen und Nutzungsszenarien gerecht zu werden. Durch die Integration des mechanischen Stabilisierungssystems in das Bilderfassungsmodul wird eine zuverlässigere und leichtere Befestigung zwischen dem mechanischen Stabilisierungssystem und dem Bildsensor ermöglicht als bei Systemen mit einem trennbaren bzw. lösbaren bzw. separierbaren mechanischen Stabilisierungssystem.
  • Das Beinhalten eines Mikrofons in die gleiche Vorrichtung wie ein motorisierter Gimbal kann dazu führen, dass Geräusche vom Motor vom Mikrofon detektiert bzw. erkannt werden. Das Geräusch kann luft- oder körperschallgetragen sein bzw. kann sich das Geräusch in der Luft oder in einem Körper ausbreiten. Beispielsweise kann Luftschall ein Schall sein, der vom Motor in die Luft abgegeben wird, der dann vom Mikrofon zusammen mit dem gewünschten Schall erfasst wird. Körperschall kann Vibrationen bzw. Schwingungen des Motors beinhalten, die das Mikrofon erreichen. Körperschall kann zu lokalen Schalldruckschwankungen durch das Mikrofon oder zu bloßen Vibrationen des Mikrofons führen.
  • Die vorgeschlagenen Systeme und Verfahren können Vorteile gegenüber herkömmlichen integrierten Bilderfassungssystemen bieten. So kann beispielsweise der Einfluss des motorinduzierten Geräuschs mit bekannten Entitäten des Motorbetriebs in adaptiven Geräusch- bzw. Rauschunterdrückungsalgorithmen auf das aufgenommene Mikrofonsignal vorhergesagt und reduziert werden. Einige Beispiele können Informationen verwenden, die einem Motorsteuersignal und/oder Informationen, die einem Beschleunigungsmesser zugeordnet sind, zugeordnet sind, um Luft- und/oder Körperschall aus einem Mikrofonsignal vorherzusagen und zu reduzieren.
  • Die Ausführungsformen bzw. Implementierungen werden anhand der Zeichnungen ausführlich beschrieben, die als Beispiele dienen, damit der Fachmann die Technologie anwenden kann. Die Abbildungen und Beispiele sollen den Umfang der vorliegenden Offenbarung nicht auf eine einzelne Implementierung oder Ausführungsform beschränken, und andere Implementierungen und Ausführungsformen sind durch Austausch, Kombination mit und/oder Entfernung einiger oder aller beschriebenen oder veranschaulichten Elemente möglich. Wo immer möglich, werden in den Zeichnungen die gleichen Bezugszeichen verwendet, um auf gleiche oder ähnliche Teile zu verweisen.
  • 1A ist ein Blockdiagramm eines Beispiels eines beweglichen Imagingsystems 100 mit modularen Komponenten in einem ersten Nutzungsszenario. Das bewegliche Imagingsystem 100 beinhaltet ein Bilderfassungsmodul 110 mit integriertem mechanischem Stabilisierungssystem, ein Luftfahrzeug 120, ein Handheld-Modul 130, ein Modul für persönliche Freizeitgeräte 135, ein Steuermodul 140 und ein Bakenmodul 150. Das Bilderfassungsmodul 110 beinhaltet einen Anschluss, der es ermöglicht, das Luftfahrzeug 120, das Handheld-Modul 130 und das Modul135 der persönlichen Freizeitvorrichtung abnehmbar an das Bilderfassungsmodul 110 als bewegliche Plattformen für die Bilderfassung in verschiedenen Anwendungsszenarien anzubringen. Der Verbinder kann mechanisch und/oder elektrisch sein. In diesem ersten Nutzungsszenario von 1A ist das Luftfahrzeug 120 an dem Bilderfassungsmodul 110 befestigt, um eine bewegliche Imaginganordnung 160 bzw. eine bewegliche Abbildungsanordnung 160 zu bilden, die zum Erfassen von Bildern (z.B. Standbildern oder Videos) verwendet werden kann, während sich die bewegliche Abbildungsanordnung 160 als Reaktion auf Signale vom Steuermodul 140 und/oder dem Bakenmodul 150 bewegt. In diesem ersten Nutzungsszenario von 1A werden das Handheld-Modul 130 und das Modul 135 des Freizeitgeräts vom Bilderfassungsmodul 110 getrennt.
  • Das Bilderfassungsmodul 110 beinhaltet einen Bildsensor, der zum Erfassen von Bildern konfiguriert ist, einen Verbinder und ein integriertes mechanisches Stabilisierungssystem, das zum Steuern einer Ausrichtung des Bildsensors in Bezug auf den Verbinder konfiguriert ist. So kann beispielsweise das Bilderfassungsmodul 110 das Bilderfassungsmodul 200 aus 2 sein. Das mechanische Stabilisierungssystem ist insofern integriert vorgesehen, als es Teil des Bilderfassungsmoduls 110 ist, das ohne den Einsatz von Werkzeugen oder die Beschädigung des Bilderfassungsmoduls 110 nicht einfach entfernt werden kann. So kann beispielsweise das mechanische Stabilisierungssystem aus Gimbals (z.B. drei Gimbals) und Motoren bestehen, die konfiguriert sind, um eine Ausrichtung des Bildsensors in Bezug auf den Verbinder zu steuern. Das mechanische Stabilisierungssystem kann die Aufnahme von qualitativ hochwertigen Bildern mit geringer Unschärfe und/oder reduzierter Verwacklung oder anderer Bewegung zwischen Bildern in einer Folge von Bildern (z.B. Videobildern) ermöglichen. In einigen Implementierungen ermöglicht oder verbessert das mechanische Stabilisierungssystem Objekt- bzw. Motivverfolgungsfunktionen, bei denen eine Position und/oder Ausrichtung des Bildsensors aktiv gesteuert wird, um einem Objekt (z.B. einer Person) zu folgen, das in einem Sichtfeld des Bildsensors erscheint. Die Integration des mechanischen Stabilisierungssystems verhindert die Verwendung einer potenziell unzuverlässigen Verbindung zwischen dem mechanischen Stabilisierungssystem und dem Bildsensor und kann die Größe und das Gewicht der Materialien reduzieren, die zur Befestigung des mechanischen Stabilisierungssystems am Bildsensor verwendet werden. Größe und Gewicht sind im Allgemeinen wichtige Aspekte in der Elektronik, können aber in Anwendungen von besonderer Bedeutung sein, wie beispielsweise im ersten Nutzungsszenario von 1A, bei dem das Bilderfassungsmodul 110 einschließlich des Bildsensors und des mechanischen Stabilisierungssystems vom Luftfahrzeug 120 getragen wird. Die Gewichtsreduzierung der beweglichen Abbildungsanordnung 160 kann dazu dienen, den Stromverbrauch zu verringern und die Batterielaufzeit zu verlängern. Die Gewichtsreduzierung der beweglichen Abbildungsanordnung 160 kann auch die Einhaltung der Sicherheitsvorschriften für den Betrieb des Luftfahrzeugs 120 ermöglichen, die das Gewicht von Luftfahrzeugen begrenzen.
  • Der Verbinder bzw. Stecker kann männlich oder weiblich sein. So kann beispielsweise der Verbinder des Bilderfassungsmoduls 110 mit einem Steckplatz des Luftfahrzeugs 120, mit einem Steckplatz des Handmoduls 130 und mit einem Steckplatz des Moduls 135 für persönliche Freizeitgeräte verbunden werden. Der Verbinder kann durch die Form einer Außenfläche des Verbinders, die an die entsprechende Form des Schlitzes im Luftfahrzeug 120 angepasst ist, die entsprechende Form im Schlitz des Handmoduls 130 und die entsprechende Form im Schlitz des Moduls 135 für persönliche Freizeitgeräte kodiert werden. Die verriegelte Form des Steckverbinders kann eine gewisse Asymmetrie aufweisen, die das einfache Anschließen des Luftfahrzeugs 120, des Handheld-Moduls 130 und des Moduls für persönliche Freizeitgeräte 135 an das Bilderfassungsmodul 110 erleichtern kann, indem sie verhindert, dass ein Benutzer den Steckverbinder versehentlich in einer falschen bzw. ungeeigneten Ausrichtung einführt. In einigen Implementierungen beinhaltet der Verbinder einen oder mehrere Befestigungsmechanismen (z.B. Verriegelungen) zur Sicherung einer Verbindung. Der Verbinder kann einen elektrischen Verbinder (z.B. einen universellen seriellen Bus (USB) Typ C-Stecker) beinhalten, der innerhalb des verschlüsselten äußeren Abschnitts des Verbinders eingebettet ist. Der elektrische Verbinder kann mehrere Leiter beinhalten, die verwendet werden können, um Strom vom Luftfahrzeug 120 zum Bilderfassungsmodul 110 zu liefern und Kommunikationssignale (z.B. USB 2.0, USB 3.0, I2C, SPI und/oder MIPI (Mobile Industry Processor Interface) Signale) zwischen dem Luftfahrzeug 120 und dem Bilderfassungsmodul 110 zu übertragen, wenn sie verbunden sind. So können beispielsweise Leiter der Verbindung verwendet werden, um Energie, Hochgeschwindigkeits-Bulkdatenübertragungen, eingebettete Echtzeit-Steuerungssignale und/oder Rohvideosignale mit einer Erfassungsbildrate zu übertragen. So kann der Verbinder beispielsweise Leiterpaare beinhalten, die jeweils zum Übertragen von Energie an das Bilderfassungsmodul 110, zum Bulk-Transferieren von Daten vom Bilderfassungsmodul 110, zum Übertragen von Steuersignalen an das Bilderfassungsmodul 110 und zum Übertragen von Echtzeit-Videodaten vom Bilderfassungsmodul 110 verwendet werden. In einigen Implementierungen fehlt es dem Verbinder an Leitern für die Übertragung von Daten und/oder Energie zwischen dem Bilderfassungsmodul 110 und einer angeschlossenen beweglichen Plattform (z.B. dem Luftfahrzeug 120 in diesem ersten Nutzungsszenario). Zwischen dem Bilderfassungsmodul 110 und einer angebrachten beweglichen Plattform können Energie und/oder Daten drahtlos im Nahbereich übertragen werden. So kann beispielsweise der Verbinder eine Schnittstelle zum Aufbau einer drahtlosen Hochgeschwindigkeitsverbindung mit kurzer Reichweite (z.B. unter Verwendung einer von Keyssa, Inc. geförderten Technologie, die als „Kiss Connectivity“ bezeichnet werden kann) zum Übertragen von Daten mit geeigneten Videoerfassungsdatenraten zwischen dem Bilderfassungsmodul 110 und einer angeschlossenen beweglichen Plattform beinhalten. So kann beispielsweise der Verbinder eine Schnittstelle (z.B. eine drahtlose Ladeschnittstelle oder eine Nahfeldkommunikationsschnittstelle) zum induktiven Koppeln von Energie zwischen dem Bilderfassungsmodul 110 und einer angeschlossenen beweglichen Plattform beinhalten. In einigen Implementierungen kann ein Steckverbinder mit weniger oder keinen Leitern zu einem langlebigeren oder zuverlässigeren Steckverbinder führen.
  • Der Bildsensor des Bilderfassungsmoduls 110 ist konfiguriert, um Bilder (z.B. Standbilder oder Videobilder mit Frames) aufzunehmen. Der Bildsensor kann konfiguriert werden, um Licht eines bestimmten Spektrums (z.B. des sichtbaren Spektrums oder des Infrarotspektrums) zu erfassen und Informationen, die ein Bild bilden, als elektrische Signale (z.B. analoge oder digitale Signale) zu übertragen. So kann der Bildsensor beispielsweise ladungsgekoppelte (charge-coupled) Vorrichtungen (CCD) oder aktive Pixel-Sensoren in komplementären Metalloxid-Halbleitern (CMOS) beinhalten. Der Bildsensor kann einen Analog-Digital-Wandler beinhalten und digitale Bilddaten ausgeben. Der Bildsensor kann einfallendes Licht durch eine Linse (z.B. eine geradlinige Linse oder eine Fischaugenlinse) erkennen. In einigen Implementierungen beinhaltet das Bilderfassungsmodul 110 mehrere Bildsensoren mit entsprechenden Sichtfeldern, die sich überlappen, und die von diesen Bildsensoren erfassten Bilder können zu zusammengesetzten Bildern (z.B. Panoramabildern) zusammengefügt werden.
  • Das bewegliche Imagingsystem 100 beinhaltet ein Luftfahrzeug 120 (z.B. eine Drohne), das konfiguriert ist, um über den Verbinder lösbar an dem Bilderfassungsmodul 110 befestigt zu werden und zu fliegen, während es das Bilderfassungsmodul 110 trägt. Das Luftfahrzeug 120 kann lösbar in dem Sinne angebracht werden, dass ein Benutzer das Luftfahrzeug 120 schnell und ohne Werkzeug vom Bilderfassungsmodul 110 an- und abklemmen kann (z.B. durch Ein- und Ausrasten einer oder mehrerer Verriegelungen, Drehmechanismen oder Klickmechanismen mit Fingern). Das Luftfahrzeug 120 kann einen Schlitz beinhalten, der am Verbinder des Bilderfassungsmoduls 110 befestigt ist, in den der Verbinder eingesetzt werden kann. So kann beispielsweise das Luftfahrzeug 120 einen elektrischen Verbinder (z.B. einen USB-Verbinder vom Typ C) beinhalten, der in dem Steckplatz eingebettet ist und mehrere Leiter beinhaltet, die konfiguriert sind, um Bilder und andere Daten- und Steuersignale zwischen dem Luftfahrzeug 120 und dem Bilderfassungsmodul 110 zu übertragen, wenn sie verbunden sind, um die bewegliche Abbildungsanordnung 160 zu bilden. Der eingebettete elektrische Verbinder kann das Bilderfassungsmodul 110 weiter sichern oder in den Schlitz des Luftfahrzeugs 120 führen. So kann beispielsweise das Luftfahrzeug 120 ein Quattro-Kopter sein. Im ersten Nutzungsszenario von 1A ist das Luftfahrzeug 120 mit dem Bilderfassungsmodul 110 verbunden.
  • Das bewegliche Imagingsystem 100 beinhaltet ein Bakenmodul 150, das konfiguriert ist, um Positionsdaten drahtlos an das Luftfahrzeug 120 zu übertragen, damit das Luftfahrzeug 120 dem Bakenmodul 150 folgen kann. Die Positionsdaten können über eine drahtlose Verbindung 155 übertragen werden. So kann beispielsweise das Bakenmodul 150 einen GPS-Empfänger (Global Positioning System) beinhalten, und die Positionsdaten können GPS-Koordinaten des Bakenmoduls 150 beinhalten. In einigen Implementierungen beinhaltet das Bakenmodul 150 eine Inertial- bzw. Trägheitsmesseinheit (z.B. einschließlich Beschleunigungsmesser, Gyroskopen und/oder Magnetometern), und die Positionsdaten beinhalten Änderungen in der Position und/oder Ausrichtung des Bakenmoduls 150, die von der Trägheitsmesseinheit erfasst werden. So kann beispielsweise die drahtlose Verbindung 155 einen Standard für die drahtlose Schnittstelle verwenden, wie beispielsweise Wi-Fi, Bluetooth (BT), Mobilfunkdatenverbindung, ZigBee, ANT+-Verbindung oder andere drahtlose Protokolle. In einigen Implementierungen ist das Luftfahrzeug 120 konfiguriert, um einem Benutzer zu folgen, und dies basierend auf Positionsdaten aus dem Bakenmodul 150 und basierend auf der computergestützten Bildverfolgung des Benutzers in Bildern aus dem Bilderfassungsmodul. So können beispielsweise quadratische Schätztechniken (z.B. ein Kalman-Filter) verwendet werden, um Positionsdaten aus dem Bakenmodul 150 mit Bildverarbeitungsfunktionen zu verschmelzen, um die Position eines Benutzers zu schätzen, der das Bakenmodul 150 hält oder trägt, und die Position und/oder Ausrichtung des Luftfahrzeugs 120 und des Bildsensors des angeschlossenen Bilderfassungsmoduls 110 können basierend auf der Schätzung der Position des Benutzers gesteuert werden. So kann beispielsweise diese Steuerung des Sichtfeldes des Bildsensors über die Steuerflächen (z.B. Propeller) des Luftfahrzeugs 120 und/oder das mechanische Stabilisierungssystem (z.B. Gimbals) des Bilderfassungsmoduls 110 betätigt werden. In einigen Implementierungen beinhaltet das Bakenmodul 150 eine Benutzeroberfläche (z.B. mit Tasten und einem Display), die es einem Benutzer, der das Bakenmodul 150 hält, ermöglicht, Befehle an die bewegliche Bildgebungsanordnung 160 über die drahtlose Verbindung 155 auszugeben. So kann beispielsweise ein Benutzer Befehle ausgeben, um die bewegliche Bildaufnahmeanordnung 160 dazu zu veranlassen, dem Benutzer zu folgen, eine Pause einzulegen, dem Benutzer zu folgen und an Ort und Stelle zu schweben, oder zu starten oder zu landen.
  • Das bewegliche Imagingsystem 100 beinhaltet ein Steuermodul 140, das konfiguriert ist, um drahtlos mit dem Luftfahrzeug 120 zu kommunizieren, um die Bewegung des Luftfahrzeugs 120 zu steuern und Bilder mit dem Bildsensor aufzunehmen, während das Bilderfassungsmodul 110 am Luftfahrzeug 120 befestigt ist. Das Steuermodul 140 beinhaltet eine Benutzeroberfläche (z.B. Joysticks, Tasten und/oder ein Touchscreen-Display), die es einem Benutzer ermöglicht, Befehle zur Steuerung der Bewegung der beweglichen Abbildungsanordnung 160 und der Bilderfassung einzugeben. Informationen (z.B. Steuersignale und/oder Bilddaten) können zwischen der beweglichen Abbildungsanordnung 160 und dem Steuermodul über die drahtlose Verbindung 145 übertragen werden. So kann beispielsweise die drahtlose Verbindung 145 einen Standard für die drahtlose Schnittstelle verwenden, wie beispielsweise Wi-Fi, Bluetooth (BT), Mobilfunkdatenverbindung, ZigBee, ANT+-Verbindung oder andere drahtlose Protokolle. So können beispielsweise Bilder (z.B. Standbilder oder Videos in voller Auflösung oder reduzierter Auflösung), die von der beweglichen Abbildungsanordnung 160 aufgenommen wurden, vom Steuermodul 140 empfangen und dem Benutzer auf einem Touchscreen-Display angezeigt werden. In einigen Implementierungen ist das Luftfahrzeug 120 konfiguriert, um drahtlos mit dem Bakenmodul 150 und dem Steuermodul 140 zu kommunizieren. Die Kommunikation sowohl mit dem Bakenmodul 150 als auch mit dem Steuermodul 140 kann es einem ersten Benutzer ermöglichen, die Bilderfassung der Bilder durch die bewegliche Abbildungsanordnung 160 vom Steuermodul 140 aktiv zu überwachen und/oder zu steuern, während die bewegliche Abbildungsanordnung 160 einem zweiten Benutzer oder einem anderen Objekt folgt, das das Bakenmodul 150 während der Bewegung passiv trägt. Dies kann das freihändige Verfolgen eines Subjekts verbessern und ein Verfolgen eines Objekts (z.B. einen Hund oder ein Auto) ermöglichen, das nicht in der Lage sind, Befehle an die bewegliche Abbildungsanordnung 160 zu erteilen oder kann es die Erfahrung ermöglichen, dass ein zweiter Benutzer natürlicher und weniger geistig belastet wird, so dass der zweite Benutzer seine Aufmerksamkeit auf andere Aktivitäten (z.B. Laufen, Feiern, Fußball, Skateboarden, Motocross, Surfen, Snowboarden) richten kann. Der erste Benutzer kann sich auf die Optimierung anderer Aspekte der Bilderfassung konzentrieren (z.B. die Wahl der Perspektive auf das Motiv, das Zoomen oder das Timing von Standbildern), während die autonomen Funktionen des Luftfahrzeugs 120 die folgenden Aufgaben und die Navigation übernehmen.
  • 1 B ist ein Blockdiagramm des beweglichen Imagingsystems 100 mit modularen Komponenten in einem zweiten Nutzungsszenario. In diesem zweiten Nutzungsszenario von 1B ist das Handheld-Modul 130 an das Bilderfassungsmodul 110 angebracht, um eine bewegliche Abbildungsanordnung 162 zu bilden, die zum Erfassen von Bildern (z.B. Standbildern oder Videos) verwendet werden kann, während sich die bewegliche Abbildungsanordnung 162 in der Hand eines Benutzers und/oder als Reaktion auf Signale vom Steuermodul 140 und/oder dem Bakenmodul 150 bewegt. In diesem zweiten Nutzungsszenario von 1B werden das Luftfahrzeug 120 und das Modul 135 für persönliche Freizeitgeräte vom Bilderfassungsmodul 110 getrennt.
  • Das bewegliche Imagingsystem 100 beinhaltet ein Handheld-Modul 130, das konfiguriert ist, um über den Verbinder abnehmbar an dem Bilderfassungsmodul 110 befestigt zu werden. In einigen Implementierungen beinhaltet das Handheld-Modul 130 eine Batterie und eine integrierte Anzeige, die konfiguriert ist, um vom Bildsensor empfangene Bilder anzuzeigen (z.B. Empfangen über die Leiter des Steckverbinders oder eine drahtlose Hochgeschwindigkeitsverbindung mit kurzer Reichweite und hoher Geschwindigkeit). Das Handheld-Modul 130 kann lösbar in dem Sinne angebracht werden, dass ein Benutzer das Handheld-Modul 130 schnell und ohne Werkzeug vom Bilderfassungsmodul 110 an- und abklemmen kann (z.B. durch Ein- und Ausrasten einer oder mehrerer Verriegelungen, Drehmechanismen oder Klickmechanismen mit den Fingern). Im zweiten Nutzungsszenario von 1B ist das Handheld-Modul 130 mit dem Bilderfassungsmodul 110 verbunden.
  • Das Handheld-Modul 130 kann einen Slot bzw. Schlitz beinhalten, der am Verbinder des Bilderfassungsmoduls 110 angebracht ist, in den der Verbinder eingesetzt werden kann. So kann beispielsweise das Handheld-Modul 130 einen elektrischen Verbinder (z.B. einen USB-Verbinder vom Typ C) beinhalten, der in dem Steckplatz eingebettet ist und mehrere Leiter beinhaltet, die konfiguriert sind, um Bilder und andere Daten und Steuersignale zwischen dem Handheld-Modul 130 und dem Bilderfassungsmodul 110 zu übertragen, wenn sie verbunden sind, um die bewegliche Bildanordnung 162 zu bilden. Der eingebettete elektrische Verbinder kann das Bilderfassungsmodul 110 weiter sichern oder in den Schlitz des Handmoduls 130 führen. Der Steckplatz des Handmoduls 130 kann einen oder mehrere Befestigungsmechanismen beinhalten, die konfiguriert sind, um die Befestigung des Handmoduls 130 am Verbinder während des zweiten Nutzungsszenarios von 1B zu sichern. In einigen Implementierungen beinhaltet das Handheld-Modul 130 einen ersten Befestigungsmechanismus und einen zweiten Befestigungsmechanismus (z.B. Verriegelungen, Verschlüsse oder Drehmechanismen), die konfiguriert sind, um den Verbinder zu sichern, wenn das Bilderfassungsmodul am Handheld-Modul befestigt ist. Die Befestigungsmechanismen können so positioniert werden, dass entweder der erste Befestigungsmechanismus oder der zweite Befestigungsmechanismus ausreicht, um den Verbinder zu sichern. In einigen Implementierungen ist ein Gimbal (z.B. ein Rollgimbal) des mechanischen Stabilisierungssystems im Wesentlichen bündig mit einer Oberfläche des Handmoduls 130 angeordnet, wenn das Bilderfassungsmodul an das Handheld-Modul 130 angeschlossen ist.
  • Im zweiten Nutzungsszenario von 1 B kann beispielsweise die bewegliche Abbildungsanordnung 162 in der Hand eines Benutzers getragen werden, der in der Lage ist, den Bildsensor über eine Benutzeroberfläche (z.B. Tasten und/oder einen Touchscreen) des Handmoduls 130 auf Personen zur Bilderfassung und Steuerung der Bilderfassung zu richten. Der Benutzer kann die aufgenommenen Bilder auf einem Display des Handheld-Moduls 130 ansehen oder in der Vorschau ansehen. Die Batterie des Handmoduls 130 kann das Bilderfassungsmodul 110 während des zweiten Nutzungsszenarios mit Strom versorgen.
  • Die bewegliche Abbildungsanordnung 162 kann durch das Steuermodul 140 und/oder das Bakenmodul 150 gesteuert werden, während sie montiert ist, um eine Ausrichtung des Bildsensors unter Verwendung des mechanischen Stabilisierungssystems (z.B. drei Gimbals und Motoren) einzustellen und andere Bilderfassungsmerkmale zu steuern (z.B. ein Standbild aufnehmen oder die Belichtungszeit anpassen). Informationen (z.B. Steuersignale und/oder Bilddaten) können zwischen der beweglichen Bildanordnung 162 und dem Steuermodul über die drahtlose Verbindung 147 übertragen werden. So kann beispielsweise die drahtlose Verbindung 147 einen Standard für die drahtlose Schnittstelle verwenden, wie beispielsweise Wi-Fi, Bluetooth (BT), Mobilfunkdatenverbindung, ZigBee, ANT+-Verbindung oder andere drahtlose Protokolle. So können beispielsweise Bilder (z.B. Standbilder oder Videos in voller Auflösung oder reduzierter Auflösung), die von der beweglichen Bildanordnung 162 aufgenommen wurden, vom Steuermodul 140 empfangen und dem Benutzer auf einem Touchscreen-Display angezeigt werden. Die bewegliche Abbildungsanordnung 162 kann drahtlos Positionsdaten vom Bakenmodul 150 empfangen, damit der Bildsensor dem Bakenmodul 150 folgen kann, indem er die Ausrichtung des Bildsensors unter Verwendung des mechanischen Stabilisierungssystems anpasst. Die Positionsdaten können über eine drahtlose Verbindung 157 empfangen werden. So kann beispielsweise die drahtlose Verbindung 157 einen Standard für die drahtlose Schnittstelle verwenden, wie beispielsweise Wi-Fi, Bluetooth (BT), Mobilfunkdatenverbindung, ZigBee, ANT+-Verbindung oder andere drahtlose Protokolle. In einigen Implementierungen ist die bewegliche Abbildungsanordnung 162 konfiguriert, um sowohl mit dem Bakenmodul 150 als auch mit dem Steuermodul 140 drahtlos zu kommunizieren, um das Verfolgen eines Objekts mit dem Bakenmodul 150 unter einer gewissen Aufsicht eines Benutzers des Steuermoduls 140 zu ermöglichen.
  • 1C ist ein Blockdiagramm des beweglichen Imagingsystems 100 mit modularen Komponenten in einem dritten Nutzungsszenario. Im dritten Nutzungsszenario von 1C kann beispielsweise die bewegliche Abbildungsanordnung 164 mit einem Befestigungsartikel (z.B. einer Gurt- oder Helmmontage) an einer Person oder einem Objekt montiert werden. In einigen Ausführungsformen kann ein Skifahrer ein Band oder eine Weste mit einem Abschnitt tragen, der konfiguriert ist, um die bewegliche Abbildungsanordnung 164 an einem Abschnitt des Körpers des Skifahrers (z.B. am Arm oder an der Brust) zu halten, um Bilder aus ihrer Perspektive aufzunehmen, während sie sich mit den Händen frei eine Piste hinunter bewegen. In einigen Ausführungsformen kann die bewegliche Abbildungsanordnung 164 an der persönlichen Freizeitvorrichtung (in diesem Beispiel dem Ski) positioniert oder montiert werden. In einigen Ausführungsformen kann die bewegliche Abbildungsanordnung 164 an einer festen Stelle positioniert oder montiert werden (z.B. auf einem Baumast oder auf der Oberfläche eines Tisches). In diesem dritten Nutzungsszenario von 1C ist das Modul 135 für persönliche Freizeitgeräte an das Bilderfassungsmodul 110 angebracht, um eine bewegliche Bildanordnung 164 zu bilden, die zum Erfassen von Bildern (z.B. Standbildern oder Videos) verwendet werden kann, während sich die bewegliche Bildanordnung 164 als Reaktion auf Signale vom Steuermodul 140 und/oder dem Bakenmodul 150 bewegt. In diesem dritten Nutzungsszenario von 1C werden das Luftfahrzeug 120 und das Handheld-Modul 130 vom Bilderfassungsmodul 110 getrennt.
  • Das bewegliche Imagingsystem 100 beinhaltet ein persönliches Freizeitgerätemodul 135, das konfiguriert ist, um über den Verbinder abnehmbar an dem Bilderfassungsmodul 110 befestigt zu werden. In einigen Implementierungen beinhaltet das Modul 135 der persönlichen Freizeitvorrichtung eine Batterie und eine integrierte Anzeige, die konfiguriert ist, um vom Bildsensor empfangene Bilder anzuzeigen (z.B. empfangen über die Leiter des Steckverbinders oder über eine drahtlose Hochgeschwindigkeitsverbindung mit kurzer Reichweite und hoher Geschwindigkeit). Das Modul 135 für persönliche Freizeitgeräte kann lösbar in dem Sinne angebracht werden, dass ein Benutzer das Modul 135 für persönliche Freizeitgeräte schnell und ohne Werkzeug vom Bilderfassungsmodul 110 an- und abklemmen kann (z.B. durch Ein- und Ausrasten einer oder mehrerer Verriegelungen, Drehmechanismen oder Klickmechanismen mit den Fingern). Im dritten Nutzungsszenario von 1C ist das Modul 135 des persönlichen Freizeitgeräts mit dem Bilderfassungsmodul 110 verbunden.
  • Das Modul 135 der persönlichen Freizeitvorrichtung kann einen Schlitz beinhalten, der am Verbinder des Bilderfassungsmoduls 110 angebracht ist, in den der Verbinder eingesetzt werden kann. So kann beispielsweise das Modul 135 für persönliche Freizeitgeräte einen elektrischen Verbinder (z.B. einen USB-Verbinder vom Typ C) beinhalten, der in dem Steckplatz eingebettet ist und mehrere Leiter beinhaltet, die konfiguriert sind, um Bilder und andere Daten und Steuersignale zwischen dem Modul 135 für persönliche Freizeitgeräte und dem Bilderfassungsmodul 110 zu übertragen, wenn sie verbunden sind, um die bewegliche Bildanordnung 164 zu bilden. Der eingebettete elektrische Verbinder kann das Bilderfassungsmodul 110 weiter sichern oder in den Schlitz des Moduls 135 des persönlichen Freizeitgeräts einführen. Der Steckplatz des Moduls 135 für persönliche Freizeitgeräte kann einen oder mehrere Befestigungsmechanismen beinhalten, die konfiguriert sind, um die Befestigung des Moduls 135 für persönliche Freizeitgeräte am Verbinder während des dritten Nutzungsszenarios von 1C zu sichern. In einigen Implementierungen beinhaltet das Modul 135 für persönliche Freizeitgeräte einen ersten Befestigungsmechanismus und einen zweiten Befestigungsmechanismus (z.B. Verriegelungen, Schließen oder Drehmechanismen), die konfiguriert sind, um den Verbinder zu sichern, wenn das Bilderfassungsmodul 110 an das Modul 135 für persönliche Freizeitgeräte angeschlossen ist. Die Befestigungsmechanismen können so positioniert werden, dass entweder der erste Befestigungsmechanismus oder der zweite Befestigungsmechanismus ausreicht, um den Verbinder zu sichern. In einigen Implementierungen ist ein Gimbal (z.B. ein Rollgimbal) des mechanischen Stabilisierungssystems im Wesentlichen bündig mit einer Oberfläche des Moduls 135 für persönliche Freizeitgeräte vorgesehen, wenn das Bilderfassungsmodul an das Modul 135 für persönliche Freizeitgeräte angeschlossen ist.
  • Die bewegliche Abbildungsanordnung 164 kann durch das Steuermodul 140 und/oder das Bakenmodul 150 gesteuert werden, während sie montiert ist, um eine Ausrichtung des Bildsensors unter Verwendung des mechanischen Stabilisierungssystems (z.B. drei Gimbals und Motoren) einzustellen und andere Bilderfassungsmerkmale zu steuern (z.B. ein Standbild aufnehmen oder die Belichtungszeit anpassen). Informationen (z.B. Steuersignale und/oder Bilddaten) können zwischen der beweglichen Bildanordnung 164 und dem Steuermodul über die drahtlose Verbindung 149 übertragen werden. So kann beispielsweise die drahtlose Verbindung 149 einen Standard für die drahtlose Schnittstelle verwenden, wie beispielsweise Wi-Fi, Bluetooth (BT), Mobilfunkdatenverbindung, ZigBee, ANT+-Verbindung oder andere drahtlose Protokolle. So können beispielsweise Bilder (z.B. Standbilder oder Videos in voller oder reduzierter Auflösung), die von der beweglichen Bildanordnung 164 aufgenommen wurden, vom Steuermodul 140 empfangen und dem Benutzer auf einem Touchscreen-Display angezeigt werden. Die bewegliche Abbildungsanordnung 164 kann drahtlos Positionsdaten vom Bakenmodul 150 empfangen, damit der Bildsensor dem Bakenmodul 150 folgen kann, indem er die Ausrichtung des Bildsensors unter Verwendung des mechanischen Stabilisierungssystems anpasst. Die Positionsdaten können über eine drahtlose Verbindung 159 empfangen werden. So kann beispielsweise die drahtlose Verbindung 159 einen Standard für die drahtlose Schnittstelle verwenden, wie beispielsweise Wi-Fi, Bluetooth (BT), Mobilfunkdatenverbindung, ZigBee, ANT+-Verbindung oder andere drahtlose Protokolle. In einigen Implementierungen ist die bewegliche Abbildungsanordnung 164 konfiguriert, um sowohl mit dem Bakenmodul 150 als auch mit dem Steuermodul 140 drahtlos zu kommunizieren, um das Verfolgen eines Objekts mit dem Bakenmodul 150 unter einer gewissen Aufsicht eines Benutzers des Steuermoduls 140 zu ermöglichen.
  • Obwohl in den 1A, 1B und 1C nicht explizit dargestellt, kann das bewegliche Imagingsystem 100 zusätzliche Komponenten beinhalten, um die Bilderfassung unter verschiedenen und potenziell bewegungsintensiven Umständen zu erleichtern. So kann beispielsweise das bewegliche Imagingsystem 100 eine abnehmbare Flugbatterie zum Betreiben des Luftfahrzeugs 120 und ein Wechselstromladegerät zum schnellen Laden der Flugbatterie zwischen den Flügen im ersten Nutzungsszenario beinhalten. In einigen Implementierungen sind mehrere abnehmbare Flugbatterien im beweglichen Imagingsystem 100 enthalten, um den Gebrauch fortzusetzen, während eine abnehmbare Flugbatterie geladen wird. So kann beispielsweise das bewegliche Imagingsystem 100 ein Wechselstromladegerät zum schnellen Laden des Handheld-Moduls 130 beinhalten. So kann beispielsweise das bewegliche Imagingsystem 100 eine Befestigungsvorrichtung (z.B. ein Gurt, eine Helmmontage oder ein Mini-Stativ oder eine breite Basis) für das Handheld-Modul 130 beinhalten. So kann beispielsweise das bewegliche Imagingsystem 100 eine oder mehrere Tragetaschen für Komponenten des beweglichen Imagingsystems 100 beinhalten. So kann beispielsweise das bewegliche Imagingsystem 100 Kabel (z.B. ein USB-Typ-C-Kabel und ein HDMI-Kabel) beinhalten, die zum Verbinder einer persönlichen Datenverarbeitungsvorrichtung (z.B. ein Smartphone, ein Tablett oder ein Laptop) an das Bilderfassungsmodul 110, das Luftfahrzeug 120 und/oder das Handheld-Modul 130 verwendet werden können, um Bulkübertragungen von Daten (z.B. Bilddaten) und/oder Aktualisierungssoftware durchzuführen, die auf einem Verarbeitungsgerät dieser Komponenten des beweglichen Imagingsystems 100 ausgeführt werden. Eine Anwendung kann auf einer oder mehreren externen Computervorrichtungen (z.B. einem Smartphone, einem Tablett oder einem Laptop) installiert werden, um das Ziehen und Teilen von erfassten Videoinhalten aus dem Bilderfassungsmodul 110 zu erleichtern und Software-Upgrades für das Bilderfassungsmodul 110, das Luftfahrzeug 120, das Handheld-Modul 130 und/oder das Steuermodul 140 zu ermöglichen. Die eine oder mehrere externe Rechenvorrichtungen können mit dem Bilderfassungsmodul 110 über eine drahtlose Kommunikationsverbindung oder eine drahtgebundene Kommunikationsverbindung (z.B. eine HDMI-Verbindung) kommunizieren. Die Anwendung, die auf dem externen Computergerät ausgeführt wird, kann konfiguriert werden, um eine Vielzahl von Operationen im Zusammenhang mit der Kamerakonfiguration, der Steuerung der Videoerfassung und/oder der Anzeige des vom Bilderfassungsmodul 110 aufgenommenen Videos durchzuführen. Eine Anwendung (z.B. die GoPro App) kann es einem Benutzer ermöglichen, kurze Videoclips zu erstellen und Videoclips für einen Cloud-Service zu teilen (z.B. Cloud-Dienste, die kommerziell von Instagram, Facebook, YouTube oder Dropbox erhältlich sind); Funktionen des Bilderfassungsmoduls 110 fernzusteuern; Live-Vorschau-Videos, die für die Aufnahme aufgenommen werden; Schlüsselmomente während der Aufnahme zu markieren (z.B. HiLight Tag, View HiLight Tags in GoPro Camera Roll), um Video-Highlights zu lokalisieren und/oder abzuspielen; Kamerasoftware drahtlos zu steuern und/oder andere Funktionen auszuführen.
  • Auf den modularen Komponenten des beweglichen Imagingsystems 100 können mehrere Mikrofone angeordnet sein. So kann beispielsweise ein Bilderfassungsmodul 110 zwei Mikrofone beinhalten, die so positioniert sind, dass sie die Aufnahme von Stereoton erleichtern. So kann beispielsweise ein einzelnes Mikrofon in das Handheld-Modul 130 integriert werden (z.B. auf oder in der Nähe einer Seite des Handheld-Moduls 130, die ein Display beinhaltet). Das Mikrofon des Handmoduls 130 kann verwendet werden, um die Unterdrückung von Windgeräuschen und/oder kardanischen Motorgeräuschen zu ermöglichen. Mikrofone auf dem Bilderfassungsmodul 110 und dem Handheld-Modul 130 können für verschiedene, gut beabstandete Mikrofonpositionen auf der beweglichen Bildanordnung 162 sorgen, die Geräuschunterdrückungsfunktionen ermöglichen oder verbessern können. Ein Mikrofon, das sich auf der Seite des Handmoduls 130 mit der Anzeige befindet, kann die Aufnahme von Video mit Ton in einem Selfie-Anwendungsfall für die bewegliche Abbildungsanordnung 162 erleichtern. Ein einzelnes Mikrofon im Handheld-Modul kann auch die Entleerung der Batterie reduzieren. In einigen Implementierungen sind auf dem Handheld-Modul 130 mehrere Mikrofone integriert (z.B. zur Unterstützung der Erfassung von Stereoton).
  • In einigen Implementierungen beinhaltet das bewegliche Imagingsystem 100 zusätzliche bewegliche Plattformen, die konfiguriert sind, um über den Verbinder abnehmbar an dem Bilderfassungsmodul 110 befestigt zu werden. So können beispielsweise zusätzliche Luftfahrzeuge unterschiedlicher Größe und Reichweite einbezogen werden. So kann beispielsweise ein automatisiertes oder autonomes, landgestütztes, bewegliches Fahrzeug (z.B. ein ferngesteuertes Fahrzeug) in das bewegliche Imagingsystem 100 integriert werden, um die Bilderfassung unter verschiedenen Umständen, wie beispielsweise während eines Straßenrennens, zu unterstützen.
  • In einigen Implementierungen beinhaltet das bewegliche Imagingsystem 100 zusätzliche Bilderfassungsmodule mit einem Verbinder wie dem Verbinder des Bilderfassungsmoduls 110, der kompatibel ist, um abnehmbar am Luftfahrzeug 120, dem Handheld-Modul 130 und dem Modul 135 der persönlichen Freizeitvorrichtung befestigt zu werden. Dies kann es ermöglichen, verschiedene Versionen des Bilderfassungsmoduls 110 auszutauschen, um die Bilderfassungsfunktionen an verschiedene Anwendungsszenarien anzupassen. So können beispielsweise einige Bilderfassungsmodule nur einen einzigen Bildsensor aufweisen, während einige Bilderfassungsmodule mehrere Bildsensoren aufweisen und die Panorama-Bilderfassung mit Stitching unterstützen.
  • In einigen Implementierungen kann das Handheld-Modul 130 konfiguriert werden, um die bewegliche Abbildungsanordnung 160 während des ersten Nutzungsszenarios von 1A über eine drahtlose Verbindung zu steuern. So kann beispielsweise das Handheld-Modul 130 Hardware (z.B. einen GPS-Empfänger) und/oder Software beinhalten, um die Funktionalität des Steuermoduls 140 und/oder des Bakenmoduls 150 ganz oder teilweise zu ermöglichen. So ermöglicht beispielsweise das Handheld-Modul 130 einem Benutzer, einen „Follow-me“ bzw. „Folge-Mir“ -Befehl an die bewegliche Abbildungsanordnung 160 zu senden und Positionsdaten für das Handheld-Modul 130 an die bewegliche Abbildungsanordnung 160 zu übertragen, um die bewegliche Abbildungsanordnung 160 zu veranlassen, Bildern eines Trägers des Handmoduls zu folgen und aufzunehmen. In einigen Implementierungen (nicht dargestellt) kann das Steuermodul 140 und/oder das Bakenmodul 150 vom beweglichen Imagingsystem 100 weggelassen werden.
  • In einigen Implementierungen (nicht dargestellt) ist ein Handheld-Modul mit ähnlichen Funktionen wie das Handheld-Modul 130 mit einem Bilderfassungsmodul mit ähnlichen Funktionen wie das Bilderfassungsmodul 110 als kombiniertes Handheld-Bilderfassungsmodul integriert. Das kombinierte tragbare Bilderfassungsmodul beinhaltet einen Bildsensor, ein integriertes mechanisches Stabilisierungssystem, das konfiguriert ist, um eine Ausrichtung des Bildsensors zu steuern, eine Anzeige, eine Batterie, die groß genug ist, um einen Betrieb ähnlich dem im zweiten Nutzungsszenario von 1B beschriebenen zu unterstützen, und einen Verbinder, der konfiguriert ist, um lösbar an einem Luftfahrzeug befestigt zu werden, das dem Luftfahrzeug 120 ähnlich sein kann, oder eine andere bewegliche Plattform. So kann beispielsweise dieses Luftfahrzeug ein Loch oder ein transparentes Panel im Boden des Luftfahrzeugs beinhalten, durch die die Anzeige- und/oder Steuerschnittstelle des kombinierten tragbaren Bilderfassungsmoduls sichtbar und/oder zugänglich ist, während das kombinierte tragbare Bilderfassungsmodul am Luftfahrzeug befestigt ist. So kann beispielsweise diese zugängliche Steuerschnittstelle verwendet werden, um Funktionen des kombinierten tragbaren Bilderfassungsmoduls und/oder des Luftfahrzeugs zu steuern, während sie angebracht sind. In einigen Implementierungen kann die Anzeige des kombinierten tragbaren Bilderfassungsmoduls standardmäßig ausgeschaltet werden, wenn das kombinierte tragbare Bilderfassungsmodul an das Luftfahrzeug angeschlossen ist oder wenn es in der Luft ist.
  • In einigen Implementierungen (nicht dargestellt) können Komponenten und/oder Funktionen des Steuermoduls 140 und/oder des Bakenmoduls 150 in einer einzigen Vorrichtung kombiniert werden. Die Konsolidierung dieser beiden Vorrichtungen kann die Komplexität, die Kosten und/oder das Gewicht des resultierenden beweglichen Imagingsystems mit modularen Komponenten verringern.
  • In einigen Implementierungen (nicht dargestellt) beinhaltet ein bewegliches Imagingsystem mit modularen Komponenten ein Bilderfassungsmodul ohne integriertes mechanisches Stabilisierungssystem, das stattdessen ein oder mehrere modulare mechanische Stabilisierungssysteme (z.B. Gimbals und Motoren) beinhaltet, die so konfiguriert sind, dass sie abnehmbar an dem Bilderfassungsmodul und mehreren beweglichen Plattformen befestigt werden können. Das eine oder die mehreren modularen mechanischen Stabilisierungssysteme können konfiguriert werden, um eine relative Ausrichtung eines Bildsensors des Bilderfassungsmoduls und einer beweglichen Plattform (z.B. ein Luftfahrzeug oder ein Handheld-Modul), die derzeit angeschlossen ist, zu steuern. So können beispielsweise mehrere modulare mechanische Stabilisierungssysteme in dieses bewegliche Imagingsystem mit unterschiedlichen Größen, Gewichten und Leistungsmerkmalen integriert werden, die an unterschiedliche Gegebenheiten angepasst sind.
  • Unter bestimmten Umständen ist es wünschenswert, ein Ziel, das ein oder mehrere Personen beinhalten kann, mit einer beweglichen Abbildungsanordnung (z.B. die bewegliche Abbildungsanordnung 160 oder die bewegliche Abbildungsanordnung 162) zu verfolgen. Verschiedene Formen der Nachverfolgung können verwendet werden, einschließlich derjenigen, die unten und in der U.S. Provisional Patent Application mit der Nummer US 62/364,960 beschrieben sind, die am 21. Juli 2016 eingereicht und hierin durch Verweis in ihrer Gesamtheit aufgenommen ist. Ein Trackingsystem kann verwendet werden, um die beschriebenen Formen der Verfolgung zu implementieren. Das Trackingsystem kann einen Prozessor und Algorithmen umfassen, die zur Verfolgung des Ziels verwendet werden. Ein Trackingsystem kann vollständig innerhalb der beweglichen Abbildungsanordnung (z.B. die bewegliche Abbildungsanordnung 160 oder die bewegliche Abbildungsanordnung 162) oder vollständig innerhalb des Steuermoduls 140 oder einer externen Rechenvorrichtung (z.B. ein Smartphone, ein Tablett oder ein Laptop) in Verbindung mit der beweglichen Abbildungsanordnung integriert sein, oder Teile eines Trackingsystems können innerhalb einer beweglichen Abbildungsanordnung und des Steuermoduls 140 oder einer externen Rechenvorrichtung angeordnet oder dupliziert sein. Ein Spracherkennungssystem kann auch verwendet werden, um mit dem Trackingsystem zu interagieren und Befehle zu erteilen (z.B. Befehle, die ein Ziel identifizieren oder anpassen).
  • 2 ist eine bildliche Darstellung eines Beispiels für ein Bilderfassungsmodul 200. Das Bilderfassungsmodul 200 beinhaltet einen Bildsensor 210, der zum Erfassen von Bildern konfiguriert ist; ein mechanisches Stabilisierungssystem 220, das Gimbals und Motoren (222, 224 und 226) beinhaltet; einen Verbinder 230, der zum austauschbaren Verbinden des mechanischen Stabilisierungssystems mit einem Luftfahrzeug (z.B. dem Luftfahrzeug 120), ein Handheld-Modul (z.B. dem Handheld-Modul 130) und ein Modul für ein persönliches Freizeitgerät (z.B. dem Modul 135) konfiguriert ist; und eines oder mehrere Mikrofone 240.
  • Das Bilderfassungsmodul 200 beinhaltet einen Bildsensor 210, der konfiguriert ist, um Bilder (z.B. Standbilder oder Einzelbilder von Videos) aufzunehmen. Der Bildsensor 210 kann konfiguriert werden, um Licht eines bestimmten Spektrums (z.B. des sichtbaren Spektrums oder des Infrarotspektrums) zu erfassen und Informationen, die ein Bild bilden, als elektrische Signale (z.B. analoge oder digitale Signale) zu übertragen. So kann beispielsweise der Bildsensor 210 ladungsgekoppelte Vorrichtungen (CCD) oder aktive Pixel-Sensoren in komplementären Metalloxid-Halbleitern (CMOS) beinhalten. Das Bilderfassungsmodul 200 beinhaltet eine Linse 212 (z.B. eine Weitwinkel-Linearlinse). Der Bildsensor 210 erfasst Licht aus der Umgebung, das durch die Linse 212 einfällt.
  • Das Bilderfassungsmodul 200 kann auch eine Verarbeitungsvorrichtung (z.B. mit Speicher, Bildsignalprozessor, Hardware-Encoder, Mikrocontroller und/oder anderem Prozessor) beinhalten, die konfiguriert ist, um einen Benutzer basierend auf Positionsdaten von einem Bakenmodul (z.B. dem Bakenmodul 150) und/oder basierend auf einer Computerbildverfolgung des Benutzers in Bildern vom Bildsensor 210 in einem ersten Nutzungsszenario, in dem das Bilderfassungsmodul 200 an einem Luftfahrzeug angebracht ist, und/oder in einem zweiten Nutzungsszenario, in dem das Bilderfassungsmodul 200 an einem Handheld-Modul angebracht ist, und/oder in einem dritten Nutzungsszenario zu verfolgen, in dem das Bilderfassungsmodul 200 an einem persönlichen Freizeitgerät (beispielsweise dem persönlichen Freizeitgerät 135) angebracht ist. In einigen Implementierungen kann die Verarbeitungsvorrichtung konfiguriert werden, um Bildverarbeitungsoperationen (z.B. Korrektur von toten Pixeln, Bandverarbeitung, Entkopplung der vertikalen Ausblendung, räumliche Geräuschreduzierung, zeitliche Geräuschreduzierung, automatischer Weißabgleich, globale Tonabbildung, lokale Tonabbildung, Objektivverzerrungskorrektur, elektronische Rolling-Shutter-Korrektur, elektronische Bildstabilisierung, Ausgabeprojektion und/oder Codierung) auf vom Bildsensor 210 aufgenommenen Bildern durchzuführen. In einigen Implementierungen werden einige oder alle Bildverarbeitungsvorgänge an den vom Bildsensor aufgenommenen Bildern von einer Verarbeitungsvorrichtung durchgeführt, die sich ganz oder teilweise in einer anderen Komponente eines größeren beweglichen Imagingsystems 100 befindet. So kann sich beispielsweise die Verarbeitungsvorrichtung im Inneren des Verbinders 230 unterhalb des Gimbals 226 des mechanischen Stabilisierungssystems 220 befinden.
  • Das Bilderfassungsmodul 200 beinhaltet ein mechanisches Stabilisierungssystem 220 mit Gimbals und Motoren (222, 224 und 226) (z.B. entsprechend Neigung, Gieren und Rollen), das mit dem Bildsensor 210 im Bilderfassungsmodul 200 integriert und zum Steuern einer Ausrichtung des Bildsensors 210 konfiguriert ist. So können beispielsweise die Gimbals und Motoren (222, 224 und 226) eine Drehung des Bildsensors mit drei Freiheitsgraden ermöglichen. In einigen Implementierungen ermöglichen die Gimbals und Motoren (222, 224 und 226) jeweils einen großen Drehwinkelbereich (z.B. bis zu 180 Grad, 270 Grad oder 360 Grad). Ein Gimbal 226 des mechanischen Stabilisierungssystems 220 ist im Wesentlichen bündig mit einer Oberfläche des Verbinders 230 vorgesehen, wodurch das mechanische Stabilisierungssystem 220 ein niedriges Profil aufweist und den Gimbal 226 vor Beschädigungen schützt. In einigen Implementierungen ist der Gimbal 226 vollständig in einem Körper des Steckverbinders 230 enthalten, und zwar in oder unter der Gradierung einer Außenfläche des Steckverbinders 230. So kann beispielsweise das mechanische Stabilisierungssystem 220 mit einer Steuerung (z.B. einer proportionalen integralen Ableitungssteuerung) gesteuert werden, die auf Zielausrichtungen basiert, die von einer Verarbeitungsvorrichtung basierend auf Bilddaten des Bildsensors 210, Bewegungssensordaten eines Bewegungssensors im Bilderfassungsmodul 200 oder einer beweglichen Plattform (z.B. dem Luftfahrzeug 120, dem Handheld-Modul 130 oder dem Modul 135), an dem das Bilderfassungsmodul 200 befestigt ist, bestimmt werden, und/oder Positionsdaten für ein Verfolgungsziel von einer Bake (z.B. dem Bakenmodul 150).
  • Das mechanische Stabilisierungssystem 220 kann konfiguriert werden, um einen elektronisch gesteuerten Transportmodus zu ermöglichen. Wenn viele 3-Achsen-Gimbals abgeschaltet werden, floaten diese einfach ziellos herum und sind schwer zu verstauen oder zu transportieren. In einigen Implementierungen ist das mechanische Stabilisierungssystem 220 konfiguriert, um einen elektronisch betätigten Transportmodus zu ermöglichen, bei dem: beim Auftreten eines auslösenden Ereignisses (z.B. ein spezieller Benutzerbefehl oder ein Befehl zum Ausschalten des Bilderfassungsmoduls 200 oder des mechanischen Stabilisierungssystems 220) jedes der Gimbals und Motoren (222, 224 und 226) elektronisch gesteuert wird, um eine flach eingefaltete Position einzunehmen und diese Position für einen bestimmten Zeitraum (z.B. 10, 30 oder 60 Sekunden) aufrechtzuerhalten, so dass der Benutzer das Bilderfassungsmodul 200 leicht in eine Tasche mit Koffer schieben kann. Nach Ablauf der festgelegten Zeitspanne schaltet sich das mechanische Stabilisierungssystem 220 vollständig aus, so dass sich die Gimbalarme frei bewegen können, sobald sie sich am gewünschten Transportort befinden. In einigen Implementierungen kann dieser elektronisch betätigte Transportmodus von einer physischen Verriegelung begleitet werden, die entweder in den Gimbal selbst oder über externe Mittel wie eine Halterung oder eine Tragetasche integriert ist. So kann beispielsweise der elektronisch betätigte Transportmodus mit elektronischen Motorpositionssensoren, mechanischer Fähigkeit zum flachen Einfalten (Range-of-motion) und Firmware-Steuerung (z.B. in einer Verarbeitungsvorrichtung des Bilderfassungsmoduls 200 implementiert) realisiert werden.
  • Das Bilderfassungsmodul 200 beinhaltet einen Verbinder 230, der konfiguriert ist, um das mechanische Stabilisierungssystem 220 in einem ersten Nutzungsszenario austauschbar mit einem Luftfahrzeug (z.B. dem Luftfahrzeug 120) zu verbinden, ein Handheld-Modul (z.B. das Handheld-Modul 130) in einem zweiten Nutzungsszenario und ein persönliches Freizeitgerätemodul (z.B. das persönliche Freizeitgerätemodul 135) in einem dritten Nutzungsszenario. Der Verbinder kann mit einem Steckplatz des Luftfahrzeugs, mit einem Steckplatz des Handmoduls und mit einem Steckplatz des Moduls für persönliche Freizeitgeräte verbunden werden. Der Verbinder 230 wird durch die Form einer Außenfläche des Verbinders 230, die an die entsprechende Form des Schlitzes im Luftfahrzeug (z.B. das Luftfahrzeug 120) angepasst ist, die entsprechende Form im Schlitz des Handheld-Moduls (z.B. das Handheld-Modul 130) und die entsprechende Form im Schlitz des Moduls des persönlichen Freizeitgeräts (z.B. das Modul 135) kodiert. Die kodierte Form des Steckverbinders 230 beinhaltet eine gewisse Asymmetrie (d.h. der rechteckige Querschnitt des Steckverbinders 230, der sich nach innen verjüngt und etwa zur Hälfte des Steckverbinders 230 auf einer Seite hinuntergeht), was eine einfache Verbindung des Luftfahrzeugs, des Handheld-Moduls und des Moduls für persönliche Freizeitgeräte mit dem Bilderfassungsmodul 200 erleichtern kann, indem verhindert wird, dass ein Benutzer den Steckverbinder 230 versehentlich in einer falschen Ausrichtung einführt. So kann beispielsweise der Verbinder 230 einen ersten Befestigungsmechanismus und einen zweiten Befestigungsmechanismus beinhalten, die konfiguriert sind, um den Verbinder 230 zu sichern, wenn das Bilderfassungsmodul 200 am Handheld-Modul befestigt ist. Die Befestigungsmechanismen können so konfiguriert sein, dass entweder der erste Befestigungsmechanismus oder der zweite Befestigungsmechanismus ausreicht, um den Verbinder 230 zu sichern. Der Steckverbinder 230 beinhaltet einen elektrischen Steckverbinder (z.B. einen Universal Serial Bus (USB) Typ C Steckverbinder), der in den verschlüsselten Außenbereich des Steckverbinders 230 eingeschoben ist. Der elektrische Verbinder kann mehrere Leiter beinhalten, die verwendet werden können, um Strom von einer beweglichen Plattform (z.B. dem Luftfahrzeug 120 oder dem Handheld-Modul 130) an das Bilderfassungsmodul 200 zu liefern und Kommunikationssignale (z.B. USB 2.0, USB 3.0, I2C, SPI und/oder MIPI-Signale) zwischen der beweglichen Plattform und dem Bilderfassungsmodul 200 zu übertragen, wenn sie verbunden sind. In einigen Implementierungen beinhaltet der Verbinder 230 Leiterpaare, die jeweils zur Übertragung von Energie an das Bilderfassungsmodul 200 verwendet werden, zum Bulk-Transfer von Daten vom Bilderfassungsmodul 200, zur Übertragung von Steuersignalen an das Bilderfassungsmodul 200 und zur Übertragung von Echtzeit-Videodaten vom Bilderfassungsmodul 200.
  • Der Verbinder kann einen elektrischen Verbinder (z.B. einen universellen seriellen Bus (USB) Typ C-Stecker) beinhalten, der innerhalb des verschlüsselten äußeren Abschnitts des Verbinders eingebettet ist. Der elektrische Verbinder kann mehrere Leiter beinhalten, die verwendet werden können, um die Energie vom Luftfahrzeug 120 zum Bilderfassungsmodul 110 zu liefern und Kommunikationssignale (z.B. USB 2.0, USB 3.0, 12C, SPI und/oder MIPI (Mobile Industry Processor Interface) Signale) zwischen dem Luftfahrzeug 120 und dem Bilderfassungsmodul 110 zu übertragen, wenn sie angeschlossen sind. So können beispielsweise Leiter der Verbindung verwendet werden, um Energie, Hochgeschwindigkeits-Bulkdatenübertragungen, eingebettete Echtzeit-Steuerungssignale und/oder Rohvideosignale mit einer Erfassungsbildrate zu übertragen. So kann der Verbinder beispielsweise Leiterpaare beinhalten, die jeweils zum Übertragen von Energie an das Bilderfassungsmodul 110, zum Bulk-Transferieren von Daten vom Bilderfassungsmodul 110, zum Übertragen von Steuersignalen an das Bilderfassungsmodul 110 und zum Übertragen von Echtzeit-Videodaten vom Bilderfassungsmodul 110 verwendet werden.
  • Im Beispiel von 2 ist der Gimbal 226 des mechanischen Stabilisierungssystems 220 im Wesentlichen bündig mit einer Oberfläche des Verbinders 230 vorgesehen. Der Gimbal 226 kann durch einen Körper des Verbinders 230 geschützt werden, um den Gimbal vor Beschädigung und/oder Eindringen von Staub zu schützen. So kann beispielsweise der Gimbal 226 ein Rollgimbal sein und mit einem entsprechenden Rollmotor mit einem Rollmotorgehäuse, das in das Gehäuse des Verbinders 230 eingebaut ist, so dass das Rollmotorgehäuse unter der Gradierung einer Außenfläche des Verbinders 230 liegt und versteckt und/oder geschützt ist. Diese Konfiguration kann Vorteile gegenüber anderen mechanischen Stabilisierungssystemen bieten, bei denen alle ihre Gimbals freigelegt sind (z.B. dreiachsige Kardan- bzw. Gimbalringe, einschließlich eines Motorgehäuses mit Rollachse, das auf einem Hauptgehäuse sitzt). So kann beispielsweise die Anordnung des Gimbals 226 innerhalb des Verbinders 230 und/oder im Wesentlichen bündig mit einer Oberfläche des Verbinders 230 die Anzahl der freiliegenden Gimbalteile reduzieren, die Höhe des Gimbals über einem Hauptgehäuse verringern und/oder das Gesamtkonzept vereinfachen, indem die Anzahl der sichtbaren Motorelemente (z.B. von drei Gimbals auf zwei Gimbals) reduziert wird.
  • 3 ist ein Diagramm eines Beispiels eines Bilderfassungsmoduls 300, das Störungen durch einen integrierten motorisierten Gimbal zeigt. In diesem Beispiel beinhaltet das Bilderfassungsmodul 300 ein Gehäuse 305, einen Motor 310 und ein Mikrofon 320. Es versteht sich, dass das Bilderfassungsmodul eine beliebige Anzahl von Motoren und eine beliebige Anzahl von Mikrofonen beinhalten kann und dass der Motor 310 und das Mikrofon 320 nur der Einfachheit halber dargestellt werden.
  • Wie in 3 dargestellt, erzeugt der Motor 310 während des Betriebs eine Kraft von 330. Die Kraft 330 verursacht die Vibration 340 im Gehäuse 305. Die Vibration 340 kann über das Gehäuse 305 zum Mikrofon 320 gelangen und Störungen verursachen. Die Vibration 340 kann sich intern oder extern in Bezug auf das Gehäuse 305 ausbreiten und dies kann als Vibrations- bzw. Schwingungsweg bezeichnet werden. Die durch die Vibration 340 verursachten Störungen können als Vibrationsstörungen bezeichnet werden.
  • Wie in 3 dargestellt, erzeugt der Motor 310 auch ein hörbares Geräusch 350. Dieses hörbare Geräusch 350 bzw. Rauschen 350 ist luftbezogen bzw. breitet sich in der Luft aus und kann vom Mikrofon 320 als akustische Störung bzw. Interferenz erkannt werden. Der Weg, den das hörbare Geräusch 350 zurücklegt, kann als akustischer Weg bezeichnet werden.
  • 4 ist ein Signalverarbeitungsdiagramm am Beispiel eines Bilderfassungsmoduls 400, das Störungen durch einen integrierten motorisierten Gimbal zeigt. In diesem Beispiel beinhaltet das Bilderfassungsmodul 400 einen Motor 410, ein Mikrofon 420, einen Analog-Digital-Wandler 430, einen Mischer 440, einen Advanced Audio Coding (AAC) Encoder 450 und einen Speicher 460. Es versteht sich, dass das Bilderfassungsmodul eine beliebige Anzahl von Motoren und eine beliebige Anzahl von Mikrofonen beinhalten kann und dass der Motor 410 und das Mikrofon 420 nur der Einfachheit halber dargestellt werden.
  • Wie in 4 dargestellt, empfängt der Motor 410 ein Motorsteuersignal 470 und erzeugt basierend auf dem Motorsteuersignal 470 eine Kraft 415. Die Kraft 415 wird über einen Vibrationsweg übertragen und wird vom Mikrofon 420 erfasst. Der Motor 410 erzeugt außerdem ein hörbares Geräusch 425, wenn er in Betrieb ist. Das hörbare Geräusch 425 wird über einen akustischen Weg 435 übertragen und vom Mikrofon 420 erfasst. Neben einem beabsichtigten Schall 445 erkennt das Mikrofon die durch die Kraft 415 und das hörbare Geräusch 425 verursachten Störungen und sendet diese Signale an den A/D-Wandler 430. Der A/D-Wandler 430 empfängt die der Kraft 415, dem hörbaren Geräusch 425 und dem beabsichtigten Schall 445 zugeordneten analogen Signale und wandelt sie jeweils in digitale Signale um. Die jeweiligen digitalen Signale werden dann vom Mischer 440 kombiniert. Die kombinierten Signale werden am AAC-Encoder 450 weiterverarbeitet und im Speicher 460 gespeichert. Die Kombination der der Kraft 415 zugeordneten Signale, des hörbaren Geräuschs 425 und des beabsichtigten Schalls 445 führt zu einem unerwünschten Schallprofil.
  • 5 ist ein Signalverarbeitungsdiagramm am Beispiel eines Bilderfassungsmoduls 500, das konfiguriert ist, um Störungen durch einen integrierten motorisierten Gimbal zu reduzieren. In diesem Beispiel beinhaltet das Bilderfassungsmodul 500 einen Motor 510, ein Mikrofon 520, einen A/D-Wandler 530, einen Geräuschunterdrücker 540, einen AAC-Encoder 550 und einen Speicher 560. Der Geräuschunterdrücker 540 kann in Verbindung mit einem Mischer eingesetzt werden oder diesen beinhalten (nicht dargestellt). Es versteht sich, dass das Bilderfassungsmodul 500 beliebig viele Motoren und beliebig viele Mikrofone beinhalten kann und dass der Motor 510 und das Mikrofon 520 nur der Einfachheit halber dargestellt sind.
  • Wie in 5 dargestellt, wird ein Motorsteuersignal 570 an den Motor 510, an einen Schalldruckpegel (SPL) Schätzer 580 und einen an SPL-Modellgenerator 585 übertragen. Der SPL-Schätzer 580 und der SPL-Modellgenerator 585 können zusammenfassend als Geräuschschätzmodell bezeichnet werden. In einigen Ausführungsformen können der SPL-Schätzer und der SPL-Modellgenerator zu einer einzigen Einheit kombiniert werden. In Ausführungsformen, in denen es mehr als einen Motor und/oder ein Mikrofon gibt, kann jede Kombination aus Mikrofon und Motor ein entsprechendes Geräuschschätzmodell aufweisen. Wenn beispielsweise das Bilderfassungsmodul 500 drei Motoren und drei Mikrofone beinhaltet, können auch neun Sätze von Geräuschschätzmodellen einbezogen werden. Der Motor 510 empfängt das Motorsteuersignal 570 und erzeugt basierend auf dem Motorsteuersignal 570 eine Kraft 515. Die Kraft 515 wird über einen Vibrationsweg übertragen und vom Mikrofon 520 erfasst. Der Motor 510 erzeugt auch ein hörbares Geräusch 525, wenn er in Betrieb ist. Das hörbare Geräusch 525 kann abhängig von der Wirkung des Gimbals variabel sein (z.B. Schwenken, Einschalten, Positionserhalt oder jede andere Aktion). Jede kardanische Bewegung kann ein einzigartiges Geräuschprofil erzeugen. In einigen Szenarien kann die mechanische Anpassung der einzelnen Bilderfassungsmodule die Art und Weise beeinflussen, wie die Vibration vom Motor auf das Mikrofon übertragen wird.
  • Das hörbare Geräusch 525 wird über einen akustischen Weg 535 übertragen und vom Mikrofon 520 erfasst. Neben einem beabsichtigten Schall 545 erkennt das Mikrofon die durch die Kraft 515 und das hörbare Geräusch 525 verursachte Störung und sendet diese Signale an den A/D-Wandler 530. Der A/D-Wandler 530 empfängt die der Kraft 515, dem hörbaren Geräusch 525 und dem beabsichtigten Schall 545 zugeordneten analogen Signale und wandelt sie jeweils in die digitalen Signale 532 um. Die digitalen Signale 532 werden an den Geräuschunterdrücker 540 und den SPL-Schätzer 580 übertragen.
  • Ein Beschleunigungsmesser 590 ist konfiguriert, um Vibrationsinformationen zu messen und die Vibrationsinformationen als Beschleunigungssignal 592 an den SPL-Schätzer 580 und den SPL-Modellgenerator 585 zu übertragen. Der SPL-Schätzer 580 empfängt das Motorsteuersignal 570, die digitalen Signale 532 vom A/D-Wandler 530 und das Beschleunigungssignal 592 vom Beschleunigungsmesser 590. Der SPL-Schätzer 580 verknüpft das Motorsteuersignal 570 mit den Digitalsignalen 532 und dem Beschleunigungssignal 592, um Modellparameter zu erzeugen. Die Modellparameter können auf den Übertragungsfunktionen des Motorsteuersignals 570, der digitalen Signale 532 und des Beschleunigungsmessersignals 592 basieren. Der SPL-Schätzer 580 überträgt die Modellparameter 582 an den SPL-Modellgenerator 585. Die Modellparameter 582 können vorgegeben sein, oder sie können optimiert oder im Laufe der Zeit gelernt werden.
  • Der SPL-Modellgenerator 585 ist konfiguriert, um den vom Motor 510 erzeugten Schalldruck basierend auf dem Motorsteuersignal 570 und dem Beschleunigungsmessersignal 592 kontinuierlich zu schätzen. Der SPL-Modellgenerator 585 empfängt das Motorsteuersignal 570, das Beschleunigungssignal 592 vom Beschleunigungsmesser 590 und die Modellparameter 582 vom SPL-Schätzer 580. Wenn der SPL-Schätzer 580 bestimmt, dass aktualisierte Modellparameter erzeugt werden, werden die aktualisierten Modellparameter an den SPL-Modellgenerator 585 übertragen. In einigen Ausführungsformen kann der SPL-Modellgenerator immer die Modellparameter 582 empfangen und bestimmen, ob das Modell aktualisiert werden soll, wenn die Differenz der Parameter über einem Schwellenwert liegt.
  • Der SPL-Modellgenerator 585 bestimmt den unerwünschten Teil der digitalen Signale 532 und erzeugt eine Schallschätzung basierend auf dem Motorsteuersignal 570, dem Beschleunigungssignal 592 und den Modellparametern 582 und sendet die Schallschätzung 587 an den Geräuschunterdrücker 540. Die Schallschätzung 587 ist eine Schätzung des unerwünschten akustischen Motorgeräusches und des Vibrationsmotorgeräusches des Gimbalmotors, die entfernt werden sollte und als Übertragungsfunktion ausgedrückt werden kann, zum Beispiel VMic(t).
  • Der Geräusch- bzw. Geräuschunterdrücker 540 empfängt die digitalen Signale 532 vom A/D-Wandler 530 und die Schallschätzung 587 vom SPL-Modellgenerator 585. Der Geräuschunterdrücker 540 reduziert die unerwünschten Motorgeräusche aus den digitalen Signalen 532, so dass der unerwünschte Teil vom digitalen Signal 532 abgezogen wird. Der Geräuschunterdrücker 540 kann diese Aktion im Zeit- und/oder Frequenzbereich mit jedem geeigneten Signalverarbeitungsverfahren durchführen. So kann beispielsweise der Geräuschunterdrücker 540 die Polarität der Schallschätzung 587 invertieren, so dass der unerwünschte Teil von den digitalen Signalen 532 abgezogen wird. Das resultierende Signal vom Geräuschunterdrücker 540 ist ein Signal 549, bei dem die unerwünschten Motorgeräusche reduziert wurden. Das Signal 549 wird am AAC-Geber 550 weiterverarbeitet und im Speicher 560 gespeichert.
  • In einigen Ausführungsformen kann der Geräuschunterdrücker 540 bestimmen, wann eine Schätzung basierend auf dem Mikrofonsignal durchzuführen ist und wie viel des Mikrofonsignals aus dem akustischen und Vibrationsgeräusch des Motors erzeugt wird. Wenn der Geräuschdämpfer 540 bestimmt, dass das Schall- und Schwingungsgeräusch des Motors 510 über einem Schwellenwert liegt, erzeugt und überträgt der Geräuschdämpfer ein Steuersignal 547 an den SPL-Schätzer 580. Wenn beispielsweise der Geräuschunterdrücker 540 bestimmt, dass das Mikrofongeräusch hauptsächlich aus dem akustischen Geräusch und dem Vibrationsgeräusch des Motors 510 besteht, sendet der Geräuschunterdrücker das Steuersignal 547 an den SPL-Schätzer 580, um eine Schätzung durchzuführen und die Modellparameter zu aktualisieren. In einigen Ausführungsformen kann der Geräuschunterdrücker 540 bestimmen, dass eine Signalqualität über einem Schwellenwert liegt, und ein Steuersignal 547 an den SPL-Schätzer 580 senden, um die Ausführung von Schätzungen einzustellen, um die Batterieleistung zu schonen. In diesem Beispiel kann der SPL-Schätzer 580 die Durchführung von Schätzungen nach dem Empfangen eines Steuersignals vom Geräuschunterdrücker 540 wieder aufnehmen, das anzeigt, dass ein Signalqualitätspegel unter einem Schwellenwert liegt.
  • 6 ist ein Signalverarbeitungsdiagramm am Beispiel eines anderen Bilderfassungsmoduls 600, das konfiguriert ist, um Störungen durch einen integrierten motorisierten Gimbal zu reduzieren. In diesem Beispiel beinhaltet das Bilderfassungsmodul 600 einen Motor 610, ein Mikrofon 620, einen A/D-Wandler 630, einen Geräuschunterdrücker 640, einen AAC-Encoder 650 und einen Speicher 660. Der Geräuschunterdrücker 640 kann in Verbindung mit einem Mischer eingesetzt werden oder diesen beinhalten (nicht dargestellt). Es versteht sich, dass das Bilderfassungsmodul 600 beliebig viele Motoren und beliebig viele Mikrofone beinhalten kann und dass der Motor 610 und das Mikrofon 620 nur der Einfachheit halber dargestellt sind.
  • Wie in 6 dargestellt, beinhaltet das Bilderfassungsmodul 600 einen Modellschätzer 680, einen VMic-Modellgenerator 685 und eine Aktualisierungssteuerung 690 für den Modellschätzer, die zusammenfassend als Geräuschschätzmodell bezeichnet werden können. In einigen Ausführungsformen können der Modellschätzer 680, der VMic-Modellgenerator 685 und die Aktualisierungssteuerung 690 des Modellschätzers zu einer einzigen Einheit kombiniert werden. In Ausführungsformen, in denen es mehr als einen Motor und/oder ein Mikrofon gibt, kann jede Kombination aus Mikrofon und Motor ein entsprechendes Geräuschschätzmodell aufweisen. Wenn beispielsweise das Bilderfassungsmodul 600 drei Motoren und drei Mikrofone beinhaltet, können auch neun Sätze von Geräuschschätzmodellen einbezogen werden.
  • Wie in 6 dargestellt, wird ein Motorsteuersignal 670 an den Motor 610, den Modellschätzer 680 und den VMic-Modellgenerator 685 übertragen. Der Motor 610 empfängt das Motorsteuersignal 670 und erzeugt basierend auf dem Motorsteuersignal 670 eine Kraft 615. Die Kraft 615 bewegt sich über einen Schwingungsweg und wird vom Mikrofon 620 erfasst. Der Motor 610 erzeugt auch ein hörbares Geräusch 625, wenn er in Betrieb ist. Das hörbare Geräusch 625 kann abhängig von der Wirkung des Gimbals variabel sein (z.B. Schwenken, Einschalten, Positionserhalt oder jede andere Aktion). Jede kardanische bzw. Gimbal- Bewegung kann ein einzigartiges Geräuschprofil erzeugen. In einigen Szenarien kann die mechanische Anpassung der einzelnen Bilderfassungsmodule die Art und Weise beeinflussen, wie die Vibration vom Motor auf das Mikrofon übertragen wird.
  • Das hörbare Geräusch 625 wird über einen akustischen Weg 635 übertragen und vom Mikrofon 620 erfasst. Zusammen mit einem beabsichtigten Schall 645 erkennt das Mikrofon 620 die durch die Kraft 615 und das hörbare Geräusch 625 verursachten Störungen und sendet diese Signale an den A/D-Wandler 630. Der A/D-Wandler 630 empfängt die der Kraft 615, dem hörbaren Geräusch 625 und dem beabsichtigten Schall 645 zugeordneten analogen Signale und wandelt sie jeweils in digitale Signale 632 um. Die digitalen Signale 632 beinhalten die vom Mikrofon 620 erfassten gewünschten und unerwünschten Geräusche und können als VMic bezeichnet werden. Die digitalen Signale 632 werden an den Geräuschunterdrücker 640, den Modellschätzer 680 und eine Aktualisierungssteuerung 690 des Modellschätzers übertragen.
  • Der Modellschätzer 680 empfängt das Motorsteuersignal 670 und die digitalen Signale 632 vom A/D-Wandler 630. Der Modellschätzer 680 verknüpft das Motorsteuersignal 670 mit den digitalen Signalen 632, um Modellparameter zu erzeugen. Die Modellparameter können auf den Übertragungsfunktionen des Motorsteuersignals 670 und der digitalen Signale 632 basieren. Der Modellschätzer 680 überträgt die Modellparameter 682 an den VMic-Modellgenerator 685. Die Modellparameter 682 können vorgegeben sein, oder sie können optimiert oder im Laufe der Zeit gelernt werden.
  • Der VMic-Modellgenerator 685 ist konfiguriert, um den vom Motor 610 erzeugten Schalldruck basierend auf dem Motorsteuersignal 670 kontinuierlich zu schätzen. Der VMic-Modellgenerator 685 empfängt das Motorsteuersignal 670 und die Modellparameter 682 vom Modellschätzer 680. Die Aktualisierungssteuerung 690 des Modellschätzers kann die digitalen Signale 632 und eine Schallschätzung 687 verwenden, um zu bestimmen, ob die Modellparameter aktualisiert werden sollen. Wenn die Aktualisierungssteuerung 690 des Modellschätzers bestimmt, dass aktualisierte Modellparameter erzeugt werden, sendet sie ein Steuersignal 647 an den Modellschätzer 680, das anzeigt, dass eine Aktualisierung durchgeführt werden soll. Der Modellschätzer 680 führt ein Update durch, und die aktualisierten Modellparameter werden an den VMic-Modellgenerator 685 übertragen. In einigen Ausführungsformen kann das VMic-Modell immer die Modellparameter 682 empfangen und bestimmen, ob das Modell aktualisiert werden soll, wenn die Differenz der Parameter über einem Schwellenwert liegt.
  • Der VMic-Modellgenerator 685 bestimmt den unerwünschten Teil der digitalen Signale 632 und erzeugt eine Schallschätzung basierend auf dem Motorsteuersignal 670 und den Modellparametern 682 und sendet die Schallschätzung 687 an den Geräuschunterdrücker 640. Die Schallschätzung 687 ist eine Schätzung des unerwünschten akustischen Motorgeräusches und des Vibrationsmotorgeräusches des Gimbalmotors, die entfernt werden soll und als Übertragungsfunktion ausgedrückt werden kann, z.B. VMicNoise.
  • Der Geräuschunterdrücker 640 empfängt die digitalen Signale 632 vom A/D-Wandler 630 und die Schallschätzung 687 vom VMic-Modellgenerator 685. Der Geräuschunterdrücker 640 reduziert die unerwünschten Motorgeräusche aus den digitalen Signalen 632, so dass der unerwünschte Teil vom digitalen Signal 632 abgezogen wird. Der Geräuschunterdrücker 640 kann diese Aktion im Zeit- und/oder Frequenzbereich mit jedem geeigneten Signalverarbeitungsverfahren durchführen. So kann beispielsweise der Geräuschunterdrücker 640 die Polarität der Schallschätzung 687 invertieren, so dass der unerwünschte Teil von den digitalen Signalen 632 abgezogen wird. Das resultierende Signal vom Geräuschunterdrücker 640 ist ein Signal 649, bei dem die unerwünschten Motorgeräusche reduziert wurden. Das Signal 649 wird am AAC-Geber 650 weiterverarbeitet und im Speicher 660 gespeichert.
  • In einem Beispiel, in dem der VMic-Modellgenerator 685 den vom Motor 610 erzeugten Schalldruck nicht kontinuierlich schätzt, kann die Aktualisierungssteuerung 690 des Modellschätzers bestimmen, wann eine Schätzung basierend auf dem Mikrofonsignal (d.h. digitalen Signalen 632) durchzuführen ist und wie viel des Mikrofonsignals aus dem akustischen und Vibrationsgeräusch des Motors erzeugt wird (d.h. die Schätzung 687). Wenn die Aktualisierungssteuerung 690 des Modellschätzers bestimmt, dass das akustische und schwingungsmäßige Geräusch des Motors 610 über einem Schwellenwert liegt, erzeugt und überträgt die Aktualisierungssteuerung 690 des Modellschätzers ein Steuersignal 647 an den Modellschätzer 680. Wenn beispielsweise die Aktualisierungssteuerung 690 des Modellschätzers bestimmt, dass das Mikrofongeräusch hauptsächlich aus dem akustischen und Vibrationsgeräusch des Motors 610 besteht, sendet die Aktualisierungssteuerung 690 des Modellschätzers das Steuersignal 647 an den Modellschätzer 680, um eine Schätzung durchzuführen und die Modellparameter zu aktualisieren. In einigen Ausführungsformen kann die Aktualisierungssteuerung 690 des Modellschätzers bestimmen, dass eine Signalqualität über einem Schwellenwert liegt, und ein Steuersignal 647 an den Modellschätzer 680 senden, um die Ausführung von Schätzungen einzustellen, um die Akkuleistung zu erhalten. In diesem Beispiel kann der Modellschätzer 680 die Durchführung von Schätzungen nach dem Empfangen eines Steuersignals von der Aktualisierungssteuerung 690 des Modellschätzers wieder aufnehmen, was anzeigt, dass eine Signalqualitätsstufe unter einem Schwellenwert liegt.
  • 7 ist ein Signalverarbeitungsdiagramm am Beispiel eines anderen Bilderfassungsmoduls 700, das konfiguriert ist, um Störungen durch eine nicht motorisierte Halterung zu reduzieren. In diesem Beispiel beinhaltet das Bilderfassungsmodul 700 eine Bilderfassungsgerätehalterung 710, ein Mikrofon 720, einen A/D-Wandler 730, einen Geräusch- bzw. Geräuschunterdrücker 740, einen AAC-Encoder 750 und einen Speicher 760. Der Geräuschunterdrücker 740 kann in Verbindung mit einem Mischer eingesetzt werden oder diesen beinhalten (nicht dargestellt). Es versteht sich, dass das Bilderfassungsmodul 700 beliebig viele Mikrofone beinhalten kann und dass das Mikrofon 720 nur der Einfachheit halber dargestellt wird.
  • Wie in 7 dargestellt, beinhaltet das Bilderfassungsmodul 700 einen Modellschätzer 780, einen VMic-Modellgenerator 785 und eine Aktualisierungssteuerung 770 für den Modellschätzer, die zusammenfassend als Geräuschschätzmodell bezeichnet werden können. In einigen Ausführungsformen können der Modellschätzer 780, der VMic-Modellgenerator 785 und die Aktualisierungssteuerung 770 des Modellschätzers zu einer einzigen Einheit kombiniert werden. In Ausführungsformen, die mehr als ein Mikrofon beinhalten, kann jedes Mikrofon ein entsprechendes Geräuschschätzmodell aufweisen. Wenn beispielsweise das Bilderfassungsmodul 700 drei Mikrofone beinhaltet, können auch drei Sätze von Geräuschschätzmodellen enthalten sein.
  • Wie in 7 dargestellt, erzeugt die Bilderfassungsgerätehalterung 710 eine Kraft 715. Die Kraft 715 kann eine Vibration sein, die über einen Schwingungspfad wandert und vom Mikrofon 720 erfasst wird. Die Kraft 715 kann variabel sein, basierend auf einer Aktion der Bilderfassungsgerätehalterung 710 und/oder einer Vorrichtung, an der die Bilderfassungsgerätehalterung 710 befestigt ist. Jede Aktion kann ein einzigartiges Geräuschprofil erzeugen. In einigen Szenarien kann die mechanische Anpassung jedes Bilderfassungsmoduls die Art und Weise beeinflussen, wie die Vibration von der Halterung des Bilderfassungssystems 710 auf das Mikrofon 720 übertragen wird.
  • Zusammen mit einem beabsichtigten Schall 745 erkennt das Mikrofon 720 die durch die Kraft 715 verursachten Störungen und sendet diese Signale an den A/D-Wandler 730. Der A/D-Wandler 730 empfängt die der Kraft 715 und dem beabsichtigten Schall 745 zugeordneten analogen Signale und wandelt sie jeweils in die digitalen Signale 732 um. Die digitalen Signale 732 beinhalten die vom Mikrofon 720 erfassten gewünschten und unerwünschten Geräusche und können als VMic bezeichnet werden. Die digitalen Signale 732 werden an den Geräuschunterdrücker 740, den Modellschätzer 780 und eine Aktualisierungssteuerung 770 des Modellschätzers übertragen.
  • Ein Beschleunigungsmesser 790 erfasst die Kraft 715 und wandelt die Kraft 715 in die Beschleunigungssignale 792 um. Die Beschleunigungsmessersignale 792 werden an den Modellschätzer 780 und den VMic-Modellgenerator 785 übertragen und können als VAcc bezeichnet werden. Der Modellschätzer 780 empfängt das Beschleunigungssignal 792 und die digitalen Signale 732 vom A/D-Wandler 730. Der Modellschätzer 780 verknüpft das Beschleunigungsmessersignal 792 und die digitalen Signale 732, um Modellparameter zu erzeugen. Die Modellparameter können auf den Übertragungsfunktionen des Beschleunigungsmessersignals 792 und der digitalen Signale 732 basieren. Der Modellschätzer 780 überträgt die Modellparameter 782 an den VMic-Modellgenerator 785. Die Modellparameter 782 können vorgegeben sein, oder sie können optimiert oder im Laufe der Zeit gelernt werden.
  • Der VMic-Modellgenerator 785 ist konfiguriert, um den von der Bilderfassungsgerätehalterung 710 erzeugten Schalldruck basierend auf dem Beschleunigungssignal 792 kontinuierlich zu schätzen. Der VMic-Modellgenerator 785 empfängt das Beschleunigungssignal 792 und die Modellparameter 782 vom Modellschätzer 780. Die Aktualisierungssteuerung 770 des Modellschätzers kann die digitalen Signale 732 und die Schallschätzung 787 verwenden, um zu bestimmen, ob die Modellparameter aktualisiert werden sollen. Wenn die Aktualisierungssteuerung 770 des Modellschätzers bestimmt, dass aktualisierte Modellparameter erzeugt werden sollen, sendet sie ein Steuersignal 747 an den Modellschätzer 780, das anzeigt, dass eine Aktualisierung durchgeführt werden soll. Der Modellschätzer 780 führt eine Aktualisierung bzw. ein Update durch, und die aktualisierten Modellparameter werden an den VMic-Modellgenerator 785 übertragen. In einigen Ausführungsformen kann das VMic-Modell immer die Modellparameter 782 empfangen und bestimmen, ob das Modell aktualisiert werden soll, wenn die Differenz der Parameter über einem Schwellenwert liegt.
  • Der VMic-Modellgenerator 785 bestimmt den unerwünschten Teil der digitalen Signale 732 und erzeugt eine Schallschätzung basierend auf dem Beschleunigungssignal 792 und den Modellparametern 782 und sendet die Schallschätzung 787 an den Geräuschunterdrücker 740. Die Schallschätzung 787 ist eine Schätzung des unerwünschten Vibrationsgeräuschs, das von der Halterung des Bildaufnahmegeräts 710 erzeugt wird, die entfernt werden sollte und als Übertragungsfunktion ausgedrückt werden kann, z.B. VMicNoise.
  • Der Geräusch- bzw. Geräuschunterdrücker 740 empfängt die digitalen Signale 732 vom A/D-Wandler 730 und die Schallschätzung 787 vom VMic-Modellgenerator 785. Der Geräuschunterdrücker 740 reduziert die unerwünschten Motorgeräusche aus den digitalen Signalen 732 so, dass der unerwünschte Teil vom digitalen Signal 732 abgezogen wird. Der Geräuschunterdrücker 740 kann diese Aktion im Zeit- und/oder Frequenzbereich mit jedem geeigneten Signalverarbeitungsverfahren durchführen. So kann beispielsweise der Geräuschunterdrücker 740 die Polarität der Schallschätzung 787 invertieren, so dass der unerwünschte Teil von den digitalen Signalen 732 abgezogen wird. Das resultierende Signal vom Geräuschunterdrücker 740 ist ein Signal 749, bei dem die unerwünschten Motorgeräusche reduziert wurden. Das Signal 749 wird am AAC-Encoder 750 weiterverarbeitet und im Speicher 760 gespeichert.
  • In einem Beispiel, in dem der VMic-Modellgenerator 785 den von der Bilderfassungsgerätehalterung 710 erzeugten Schalldruck nicht kontinuierlich schätzt, kann die Modellschätzer-Aktualisierungssteuerung 770 bestimmen, wann eine Schätzung basierend auf dem Mikrofonsignal (d.h. digitalen Signale 732) durchzuführen ist und wie viel des Mikrofonsignals aus dem Vibrationsgeräusch der Bilderfassungsgerätehalterung erzeugt wird (d.h. eine Schallschätzung 787). Wenn die Aktualisierungssteuerung 770 des Modellschätzers bestimmt, dass das Vibrationsgeräusch der Bilderfassungsgerätehalterung 710 über einem Schwellenwert liegt, erzeugt und überträgt die Aktualisierungssteuerung 770 des Modellschätzers ein Steuersignal 747 an den Modellschätzer 780. Wenn beispielsweise die Aktualisierungssteuerung 770 des Modellschätzers bestimmt, dass das Mikrofongeräusch hauptsächlich aus dem Vibrationsgeräusch der Bilderfassungsgerätehalterung 710 besteht, sendet die Aktualisierungssteuerung 770 des Modellschätzers das Steuersignal 747 an den Modellschätzer 780, um eine Schätzung durchzuführen und die Modellparameter zu aktualisieren. In einigen Ausführungsformen kann die Aktualisierungssteuerung 770 des Modellschätzers bestimmen, dass eine Signalqualität über einem Schwellenwert liegt, und ein Steuersignal 747 an den Modellschätzer 780 senden, um die Ausführung von Schätzungen einzustellen, um die Akkuleistung zu erhalten. In diesem Beispiel kann der Modellschätzer 780 die Durchführung von Schätzungen nach dem Empfangen eines Steuersignals von der Aktualisierungssteuerung 770 des Modellschätzers wieder aufnehmen, was anzeigt, dass eine Signalqualitätsstufe unter einem Schwellenwert liegt.
  • 8A ist ein Blockdiagramm eines Beispiels eines Systems 800, das für die Bilderfassung konfiguriert ist. Das System 800 beinhaltet eine Bilderfassungsvorrichtung 810 (z.B. die bewegliche Abbildungsanordnung 160 oder die bewegliche Abbildungsanordnung 162), die eine Verarbeitungsvorrichtung 812 beinhaltet, die konfiguriert ist, um Bilder von einem oder mehreren Bildsensoren 814 zu empfangen. Die Bilderfassungsvorrichtung 810 beinhaltet Gimbals und Motoren 816, die Stellglieder eines mechanischen Stabilisierungssystems sind, das konfiguriert ist, um eine Ausrichtung des einen oder der mehreren Bildsensoren 814 zu steuern (z.B. eine Ausrichtung in Bezug auf eine bewegliche Plattform). Die Gimbals und Motoren 816 können von einer Steuerung des mechanischen Stabilisierungssystems gesteuert werden, die von der Verarbeitungsvorrichtung 812 implementiert werden kann (z.B. als Softwaremodul oder spezielles Hardwaremodul). Die Verarbeitungsvorrichtung 812 kann konfiguriert werden, um eine Bildsignalverarbeitung (z.B. Filtern, Geräuschunterdrückung, Tonemapping, Stitching, elektronische Bildstabilisierung und/oder Codierung) durchzuführen, um Ausgabebilder basierend auf Bilddaten von einem oder mehreren Bildsensoren 814 zu erzeugen. Die Verarbeitungsvorrichtung 812 kann konfiguriert werden, um eine Audiosignalverarbeitung (z.B. Filterung und/oder Geräuschunterdrückung) durchzuführen. Die Bilderfassungsvorrichtung 810 beinhaltet einen oder mehrere Bewegungssensoren 818, die konfiguriert sind, um die Bewegung des einen oder der mehreren Bildsensoren 814 zu erfassen. Der eine oder die mehreren Bewegungssensoren 818 können Rückmeldungen an das mechanische Stabilisierungssystem liefern. Die Bilderfassungsvorrichtung 810 beinhaltet eine Kommunikationsschnittstelle 822 zum Übertragen von Bildern an andere Vorrichtungen und/oder zum Empfangen von Befehlen oder anderen Steuersignalen. Die Bilderfassungsvorrichtung 810 beinhaltet eine Benutzeroberfläche 820, die es einem Benutzer ermöglichen kann, Bilderfassungsfunktionen zu steuern und/oder Bilder anzuzeigen. Die Bilderfassungsvorrichtung 810 beinhaltet eine Batterie 824 zur Stromversorgung der Bilderfassungsvorrichtung 810. Die Bilderfassungsvorrichtung beinhaltet ein Mikrofon 826 zum Erfassen von Geräuschen. So kann beispielsweise das System 800 verwendet werden, um die in dieser Offenbarung beschriebenen Prozesse zu implementieren.
  • Die Verarbeitungsvorrichtung 812 kann einen oder mehrere Prozessoren mit einem oder mehreren Verarbeitungskernen beinhalten. Die Verarbeitungsvorrichtung 812 kann Speicher, wie beispielsweise eine RAM-Vorrichtung (Random Access Memory), Flash-Speicher oder jede andere geeignete Art von Speichervorrichtung, wie beispielsweise einen nichtflüchtigen, computerlesbaren Speicher, beinhalten. Der Speicher der Verarbeitungsvorrichtung 812 kann ausführbare Anweisungen und Daten beinhalten, auf die ein oder mehrere Prozessoren der Verarbeitungsvorrichtung 812 zugreifen können. So kann beispielsweise die Verarbeitungsvorrichtung 812 ein oder mehrere DRAM-Module beinhalten, wie beispielsweise einen synchronen dynamischen Direktzugriffsspeicher (DDR SDRAM) mit doppelter Datenrate. In einigen Implementierungen kann die Verarbeitungsvorrichtung 812 einen digitalen Signalprozessor (DSP) beinhalten. In einigen Implementierungen kann die Verarbeitungsvorrichtung 812 eine anwendungsspezifische integrierte Schaltung (ASIC) beinhalten. So kann beispielsweise die Verarbeitungsvorrichtung 812 einen kundenspezifischen Bildsignalprozessor beinhalten. In einigen Implementierungen kann die Verarbeitungsvorrichtung 812 mehrere Verarbeitungseinheiten in verschiedenen Abschnitten der Bilderfassungsvorrichtung 810 aufweisen. So kann beispielsweise die Verarbeitungsvorrichtung 812 einen Prozessor auf einer beweglichen Plattform (z.B. das Luftfahrzeug 120, das Handheld-Modul 130 und das Modul 135 der persönlichen Freizeitvorrichtung) und einen Prozessor in einem Bilderfassungsmodul (z.B. das Bilderfassungsmodul 110 oder das Bilderfassungsmodul 200) beinhalten, die über einen Verbinder lösbar befestigt sind.
  • Der eine oder die mehreren Bildsensoren 814 sind konfiguriert, um Bilder aufzunehmen. Der eine oder die mehreren Bildsensoren 814 sind konfiguriert, um Licht eines bestimmten Spektrums (z.B. des sichtbaren Spektrums oder des Infrarotspektrums) zu erfassen und Informationen, die ein Bild bilden, als elektrische Signale (z.B. analoge oder digitale Signale) zu übermitteln. So können beispielsweise ein oder mehrere Bildsensoren 814 ladungsgekoppelte Vorrichtungen (CCD) oder aktive Pixel-Sensoren in komplementären Metalloxid-Halbleitern (CMOS) beinhalten. Der eine oder die mehreren Bildsensoren 814 können einfallendes Licht durch eine entsprechende Linse (z.B. eine geradlinige Linse oder eine Fischaugenlinse) erfassen. In einigen Implementierungen beinhalten der eine oder die mehreren Bildsensoren 814 Analog-Digital-Wandler. In einigen Implementierungen haben der eine oder die mehreren Bildsensoren 814 entsprechende Sichtfelder, die sich überlappen.
  • Das mechanische Stabilisierungssystem für einen oder mehrere Bildsensoren 814 beinhaltet die Gimbals und Motoren 816. Die Gimbals und Motoren 816 können Teile eines mechanischen Stabilisierungssystems (z.B. das mechanische Stabilisierungssystem 220) sein. Die Gimbals und Motoren 816 können den einen oder die mehreren Bildsensoren 814 über einen Verbinder (z.B. den Verbinder 230) an einer beweglichen Plattform (z.B. dem Luftfahrzeug 120 oder dem Handheld-Modul 130) befestigen und deren Ausrichtung steuern. Die Gimbals und Motoren 816 können mehrere Achsen überspannen (z.B. ein 7-achsiger Gimbalsatz mit bürstenlosen Gleichstrommotoren). Das mechanische Stabilisierungssystem kann einen Regler (z.B. einen PID-Regler (Proportional Integral Derivative - PID)) beinhalten. So kann beispielsweise die Steuerung des mechanischen Stabilisierungssystems durch die Verarbeitungsvorrichtung 812 implementiert werden (z.B. als Softwaremodul oder spezielles Hardwaremodul). Einige Implementierungen beinhalten möglicherweise nicht die Gimbals und Motoren 816.
  • Der eine oder die mehreren Bewegungssensoren 818 sind konfiguriert, um die Bewegung des einen oder der mehreren Bildsensoren 814 zu erfassen. So kann beispielsweise der eine oder die mehreren Bewegungssensoren 818 Teile einer Trägheitsmesseinheit (z.B. einschließlich Gyroskope, Beschleunigungsmesser und/oder Magnetometer) beinhalten, die in einem Gehäuse mit dem einen oder mehreren Bildsensoren 814 montiert ist. In einigen Implementierungen kann der eine oder die mehreren Bewegungssensoren 818 Teile einer Trägheitsmesseinheit beinhalten, die in einer beweglichen Plattform (z.B. dem Luftfahrzeug 120, dem Handheld-Modul 130 oder dem Modul 135 der persönlichen Freizeitvorrichtung) der Bilderfassungsvorrichtung 810 montiert ist. In einigen Implementierungen beinhalten der eine oder die mehreren Bewegungssensoren 818 Sensoren (z.B. magnetische Encoder, optische Encoder und/oder Potentiometer), die den Zustand der Gimbals und Motoren 816 erfassen, um eine relative Ausrichtung des Bildsensors und eine bewegliche Plattform der Bilderfassungsvorrichtung 810 zu messen. So kann beispielsweise der eine oder die mehreren Bewegungssensoren 818 Encoder beinhalten, die konfiguriert sind, um eine Position und Ausrichtung des Bildsensors in Bezug auf eine bewegliche Plattform (z.B. das Luftfahrzeug 120 oder das Handheld-Modul 130) zu erfassen. Die Verarbeitungsvorrichtung 812 kann konfiguriert werden, um eine Folge von Orientierungsschätzungen basierend auf Sensordaten von einem oder mehreren Bewegungssensoren 818 zu bestimmen. So kann beispielsweise das Bestimmen der Reihenfolge von Orientierungsschätzungen das Anwenden einer quadratischen Schätzung auf Sensordaten aus einer Vielzahl von einem oder mehreren Bewegungssensoren 818 beinhalten. In einigen Implementierungen beinhalten die Bewegungssensoren einen GPS-Empfänger, der GPS-Positionsdaten für das Bilderfassungsgerät 810 erzeugt.
  • Die Bilderfassungsvorrichtung 810 kann eine Benutzerschnittstelle 820 beinhalten. So kann beispielsweise die Benutzeroberfläche 820 eine LCD-Anzeige zum Präsentieren von Bildern und/oder Nachrichten an einen Benutzer beinhalten. So kann beispielsweise die Benutzeroberfläche 820 ein Touchscreen-Display zum interaktiven Anzeigen von Bildem und anderen Daten und zum Empfangen von Benutzerbefehlen beinhalten. So kann beispielsweise die Benutzeroberfläche 820 ein Mikrofon zum Empfangen von Sprachbefehlen eines Benutzers beinhalten. So kann beispielsweise die Benutzeroberfläche 820 eine Taste oder einen Schalter beinhalten, mit dem eine Person das Bildaufnahmegerät 810 manuell ein- und ausschalten kann. So kann beispielsweise die Benutzeroberfläche 820 einen Auslöser für die Aufnahme von Bildern beinhalten.
  • Die Bilderfassungsvorrichtung 810 kann eine Kommunikationsschnittstelle 822 beinhalten, die die Kommunikation mit einer persönlichen Datenverarbeitungsvorrichtung (z.B. einem Smartphone, einem Tablett, einem Laptop oder einem Desktop-Computer) und einer oder mehreren speziellen Steuerungen (z.B. dem Steuermodul 140 und/oder dem Bakenmodul 150) ermöglichen kann. So kann beispielsweise die Kommunikationsschnittstelle 822 verwendet werden, um Befehle zum Steuern der Bilderfassung und - verarbeitung in der Bilderfassungsvorrichtung 810 zu empfangen. So kann beispielsweise die Kommunikationsschnittstelle 822 verwendet werden, um Bilddaten an eine persönliche Computervorrichtung (einen PC) oder eine spezielle Steuerung (z.B. das Steuermodul 140) zu übertragen. So kann beispielsweise die Kommunikationsschnittstelle 822 eine verkabelte Schnittstelle beinhalten, wie beispielsweise eine hochauflösende Multimedia-Schnittstelle (HDMI), eine Universal Serial Bus (USB)-Schnittstelle oder eine FireWire-Schnittstelle. So kann beispielsweise die Kommunikationsschnittstelle 822 eine drahtlose Schnittstelle beinhalten, wie beispielsweise eine Bluetooth-Schnittstelle, eine ZigBee-Schnittstelle und/oder eine Wi-Fi-Schnittstelle.
  • Die Bilderfassungsvorrichtung 810 kann eine Batterie 824 beinhalten, die die Bilderfassungsvorrichtung 810 und/oder deren Peripheriegeräte mit Strom versorgt. So kann beispielsweise die Batterie 824 eine abnehmbare Flugbatterie für ein Luftfahrzeug sein. So kann beispielsweise die Batterie 824 Teil eines Handheld-Moduls sein. So kann beispielsweise der Akku 824 drahtlos oder über eine Micro-USB-Schnittstelle geladen werden. In einigen Implementierungen (nicht dargestellt) kann die Batterie 824 durch eine andere Art der Stromversorgung ersetzt werden (z.B. einen Kondensator, der von einer Schaltung geladen wird, die über eine induktive Kopplung Strom empfängt).
  • 8B ist ein Blockdiagramm eines Beispiels eines Systems 830, das für die Bilderfassung konfiguriert ist. Das System 830 beinhaltet eine Bilderfassungsvorrichtung 840 (z.B. die bewegliche Abbildungsanordnung 160 oder die bewegliche Abbildungsanordnung 162) und eine persönliche Rechenvorrichtung 860, die über eine Kommunikationsverbindung 850 kommunizieren. Die Bilderfassungsvorrichtung 840 beinhaltet einen oder mehrere Bildsensoren 842, die zum Erfassen von Bildern konfiguriert sind. Die Bilderfassungsvorrichtung 840 beinhaltet eine Kommunikationsschnittstelle 848, die konfiguriert ist, um Bilder über die Kommunikationsverbindung 850 an die Personalcomputervorrichtung 860 zu übertragen. Die Personal-Computervorrichtung 860 beinhaltet eine Verarbeitungsvorrichtung 862, die konfiguriert ist, um unter Verwendung der Kommunikationsschnittstelle 866 Bilder von einem oder mehreren Bildsensoren 842 zu empfangen. Die Bilderfassungsvorrichtung 840 beinhaltet Gimbals und Motoren 844, die Stellglieder eines mechanischen Stabilisierungssystems sind, das konfiguriert ist, um eine Ausrichtung des einen oder der mehreren Bildsensoren 842 zu steuern (z.B. eine Ausrichtung in Bezug auf eine bewegliche Plattform). Die Gimbals und Motoren 844 können von einer Steuerung des mechanischen Stabilisierungssystems gesteuert werden, die von der Verarbeitungsvorrichtung 862 implementiert werden kann (z.B. als Softwaremodul oder spezielles Hardwaremodul) und den Motoren 844 Steuersignale über die Kommunikationsverbindung 850 liefern. Die Verarbeitungsvorrichtung 862 kann konfiguriert werden, um eine Bildsignalverarbeitung (z.B. Filtern, Tonemapping, Stitching, elektronische Bildstabilisierung und/oder Codierung) durchzuführen, um Ausgabebilder basierend auf Bilddaten von einem oder mehreren Bildsensoren 842 zu erzeugen. Die Bilderfassungsvorrichtung 840 beinhaltet einen oder mehrere Bewegungssensoren 846, die konfiguriert sind, um die Bewegung des einen oder der mehreren Bildsensoren 842 zu erfassen. Der eine oder die mehreren Bewegungssensoren 846 können Rückmeldesignale (z.B. über die Kommunikationsverbindung 850 oder intern innerhalb der Bilderfassungsvorrichtung 840) an das mechanische Stabilisierungssystem liefern. Die Bilderfassungsvorrichtung 840 kann auch ein oder mehrere Mikrofone beinhalten (nicht dargestellt).
  • Der eine oder die mehreren Bildsensoren 842 sind konfiguriert, um Bilder aufzunehmen. Der eine oder die mehreren Bildsensoren 842 sind konfiguriert, um Licht eines bestimmten Spektrums (z.B. des sichtbaren Spektrums oder des Infrarotspektrums) zu erfassen und Informationen, die ein Bild bilden, als elektrische Signale (z.B. analoge oder digitale Signale) zu übermitteln. So können beispielsweise ein oder mehrere Bildsensoren 842 ladungsgekoppelte Vorrichtungen (CCD) oder aktive Pixel-Sensoren in komplementären Metalloxid-Halbleitern (CMOS) beinhalten. Der eine oder die mehreren Bildsensoren 842 können einfallendes Licht durch eine entsprechende Linse (z.B. eine geradlinige Linse oder eine Fischaugenlinse) erfassen. In einigen Implementierungen beinhalten der eine oder die mehreren Bildsensoren 842 Analog-Digital-Wandler. In einigen Implementierungen haben der eine oder die mehreren Bildsensoren 842 entsprechende Sichtfelder, die sich überlappen.
  • Die Verarbeitungsvorrichtung 862 kann einen oder mehrere Prozessoren mit einem oder mehreren Verarbeitungskernen beinhalten. Die Verarbeitungsvorrichtung 862 kann Speicher, wie beispielsweise eine RAM-Vorrichtung (Random Access Memory), Flash-Speicher oder jede andere geeignete Art von Speichervorrichtung, wie beispielsweise einen nichtflüchtigen, computerlesbaren Speicher, beinhalten. Der Speicher der Verarbeitungsvorrichtung 862 kann ausführbare Anweisungen und Daten beinhalten, auf die ein oder mehrere Prozessoren der Verarbeitungsvorrichtung 862 zugreifen können. So kann beispielsweise die Verarbeitungsvorrichtung 862 ein oder mehrere DRAM-Module beinhalten, wie beispielsweise einen synchronen dynamischen Direktzugriffsspeicher (DDR SDRAM) mit doppelter Datenrate. In einigen Implementierungen kann die Verarbeitungsvorrichtung 862 einen digitalen Signalprozessor (DSP) beinhalten. In einigen Implementierungen kann die Verarbeitungsvorrichtung 862 eine anwendungsspezifische integrierte Schaltung (ASIC) beinhalten. So kann beispielsweise die Verarbeitungsvorrichtung 862 einen kundenspezifischen Bildsignalprozessor beinhalten.
  • Das mechanische Stabilisierungssystem für einen oder mehrere Bildsensoren 842 beinhaltet die Gimbals und Motoren 844. Die Gimbals und Motoren 844 können Teile eines mechanischen Stabilisierungssystems (z.B. das mechanische Stabilisierungssystem 220) sein. Die Gimbals und Motoren 844 können die einen oder mehreren Bildsensoren 842 mit einer beweglichen Plattform verbinden und deren Ausrichtung steuern. Die Gimbals und Motoren 844 können mehrere Achsen überspannen (z.B. ein 7-achsiges Gimbalset mit bürstenlosen Gleichstrommotoren). Das mechanische Stabilisierungssystem kann einen Regler (z.B. einen PID-Regler (Proportional Integral Derivative - PID)) beinhalten. So kann beispielsweise die Steuerung des mechanischen Stabilisierungssystems durch die Verarbeitungsvorrichtung 862 implementiert werden (z.B. als Softwaremodul oder spezielles Hardwaremodul). So kann beispielsweise die Steuerung des mechanischen Stabilisierungssystems durch ein spezielles Hardwaremodul implementiert werden, das in das Bilderfassungsgerät 840 integriert ist.
  • Der eine oder die mehreren Bewegungssensoren 846 sind konfiguriert, um die Bewegung des einen oder der mehreren Bildsensoren 842 zu erfassen. So kann beispielsweise der eine oder die mehreren Bewegungssensoren 846 Teile einer Intertial- bzw. Trägheitsmesseinheit (z.B. einschließlich Gyroskope, Beschleunigungsmesser und/oder Magnetometer) beinhalten, die in einem Gehäuse mit einem oder mehreren Bildsensoren 842 montiert ist. In einigen Implementierungen kann der eine oder die mehreren Bewegungssensoren 846 Teile einer Trägheitsmesseinheit beinhalten, die in einer beweglichen Plattform (z.B. dem Luftfahrzeug 120, dem Handheld-Modul 130 oder dem Modul 135 der persönlichen Freizeitvorrichtung) der Bilderfassungsvorrichtung 840 montiert ist. In einigen Implementierungen beinhalten der eine oder die mehreren Bewegungssensoren 846 Sensoren (z.B. magnetische Encoder, optische Encoder und/oder Potentiometer), die den Zustand der Gimbals und Motoren 844 erfassen, um eine relative Ausrichtung des Bildsensors und eine bewegliche Plattform der Bilderfassungsvorrichtung 840 zu messen. So können beispielsweise der eine oder die mehreren Bewegungssensoren 846 Encoder beinhalten, die konfiguriert sind, um eine Position und Ausrichtung des Bildsensors in Bezug auf eine bewegliche Plattform zu erfassen (z.B. das Luftfahrzeug 120, das Handheld-Modul 130 oder das Modul 135 der persönlichen Freizeitvorrichtung). Die Verarbeitungsvorrichtung 862 kann konfiguriert werden, um eine Folge von Orientierungsschätzungen basierend auf Sensordaten von einem oder mehreren Bewegungssensoren 846 zu bestimmen. So kann beispielsweise das Bestimmen der Reihenfolge von Orientierungsschätzungen das Anwenden einer quadratischen Schätzung auf Sensordaten aus einer Vielzahl von einem oder mehreren Bewegungssensoren 846 beinhalten. In einigen Implementierungen beinhalten die Bewegungssensoren 846 einen GPS-Empfänger, der GPS-Positionsdaten für das Bilderfassungsgerät 840 erzeugt.
  • Die Kommunikationsverbindung 850 kann eine drahtgebundene Kommunikationsverbindung oder eine drahtlose Kommunikationsverbindung sein. Die Kommunikationsschnittstelle 848 und die Kommunikationsschnittstelle 866 können die Kommunikation über die Kommunikationsverbindung 850 ermöglichen. So können beispielsweise die Kommunikationsschnittstelle 848 und die Kommunikationsschnittstelle 866 eine hochauflösende Multimedia-Schnittstelle (HDMI), eine universelle serielle Busschnittstelle (USB), eine FireWire-Schnittstelle, eine Bluetooth-Schnittstelle, eine ZigBee-Schnittstelle und/oder eine Wi-Fi-Schnittstelle beinhalten. So können beispielsweise die Kommunikationsschnittstelle 848 und die Kommunikationsschnittstelle 866 verwendet werden, um Bilddaten von der Bilderfassungsvorrichtung 840 zur Bildsignalverarbeitung (z.B. Filtern, Tonemapping, Stitchen und/oder Codieren) an die Personalcomputervorrichtung 860 zu übertragen, um Ausgabebilder basierend auf Bilddaten von einem oder mehreren Bildsensoren 842 zu erzeugen. So können beispielsweise die Kommunikationsschnittstelle 848 und die Kommunikationsschnittstelle 866 verwendet werden, um Bewegungssensordaten von der Bilderfassungsvorrichtung 840 an die Personalcomputervorrichtung 860 zur Verarbeitung in einer Steuerung eines mechanischen Stabilisierungssystems zu übertragen. So können beispielsweise die Kommunikationsschnittstelle 848 und die Kommunikationsschnittstelle 866 verwendet werden, um Steuersignale an die Bilderfassungsvorrichtung 840 von der Personalcomputervorrichtung 860 zum Steuern der Gimbals und Motoren 844 eines mechanischen Stabilisierungssystems und/oder der Bewegung eines Luftfahrzeugs der Bilderfassungsvorrichtung 840 zu übertragen.
  • Die persönliche Computervorrichtung 860 kann eine Benutzerschnittstelle 864 beinhalten. So kann beispielsweise die Benutzeroberfläche 864 ein Touchscreen-Display beinhalten, um einem Benutzer Bilder und/oder Nachrichten zu präsentieren und Befehle von einem Benutzer zu empfangen. So kann beispielsweise die Benutzeroberfläche 864 eine Taste oder einen Schalter beinhalten, die es einer Person ermöglicht, das PC-Gerät 860 manuell ein- und auszuschalten. In einigen Implementierungen können Befehle (z.B. Videoaufzeichnung starten, Videoaufzeichnung stoppen, Foto aufnehmen oder Ziel auswählen), die über die Benutzeroberfläche 864 empfangen wurden, über die Kommunikationsverbindung 850 an die Bilderfassungsvorrichtung 840 weitergeleitet werden.
  • Ein Benutzer kann zwischen verschiedenen Nutzungsszenarien des beweglichen Imagingsystems 100 wechseln, einschließlich beispielsweise des ersten Nutzungsszenarios von 1A und des zweiten Nutzungsszenarios von 1B, um seine Art der Bilderfassung an unterschiedliche Umstände anzupassen.
  • Obwohl die Offenbarung im Zusammenhang mit bestimmten Ausführungsformen beschrieben wurde, ist zu verstehen, dass die Offenbarung nicht auf die offenbarten Ausführungsformen beschränkt sein soll, sondern im Gegenteil verschiedene Änderungen und gleichwertige Regelungen abdecken soll, die in den Anwendungsbereich der beigefügten Ansprüche fallen, wobei diesem Anwendungsbereich die weitestgehende Auslegung zu gewähren ist, wie sie nach dem Gesetz zulässig ist, um alle diese Änderungen und gleichwertigen Regelungen zu umfassen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62364960 [0049]

Claims (51)

  1. Bilderfassungsmodul, umfassend: einen Bildsensor, der konfiguriert ist, um Bilder aufzunehmen; ein integriertes mechanisches Stabilisierungssystem, umfassend einen Motor, der konfiguriert ist, um eine Ausrichtung des Bildsensors zu steuern; einen Beschleunigungsmesser, der konfiguriert ist, um eine Vibration vom Motor zu erfassen, wobei die Vibration ein Vibrationsgeräusch erzeugt; ein Mikrofon, das konfiguriert ist, um einen beabsichtigten Schall und ein Geräusch von dem Motor zu empfangen, wobei das Geräusch von dem Motor hörbare Geräusche und das Vibrationsgeräusch beinhaltet; einen Prozessor, der konfiguriert ist, um den Motor zu steuern und ein Motorsteuersignal zu erzeugen; und ein Geräuschschätzmodell, das einen Schalldruckpegel/SPL-Schätzer und einen SPL-Modellgenerator umfasst.
  2. Bilderfassungsmodul nach Anspruch 1, wobei der SPL-Schätzer konfiguriert ist, um ein Mikrofonsignal, das Motorsteuersignal und ein Beschleunigungsmessersignal zu empfangen.
  3. Bilderfassungsmodul nach Anspruch 2, wobei der SPL-Schätzer konfiguriert ist, um einen Modellparameter basierend auf einer Übertragungsfunktion des Mikrofonsignals, des Motorsteuersignals und des Beschleunigungsmessersignals zu erzeugen.
  4. Bilderfassungsmodul nach Anspruch 3, wobei der SPL-Modellgenerator konfiguriert ist, um das Motorsteuersignal, das Beschleunigungsmessersignal und den Modellparameter zu empfangen.
  5. Bilderfassungsmodul nach Anspruch 3 oder 4, wobei der SPL-Modellgenerator konfiguriert ist, um eine Schallschätzung basierend auf dem Modellparameter und den Übertragungsfunktionen des Motorsteuersignals und des Beschleunigungsmessersignals zu erzeugen.
  6. Bilderfassungsmodul nach Anspruch 5, ferner umfassend einen Geräuschunterdrücker, der konfiguriert ist, um das Mikrofonsignal und die Schallschätzung zu empfangen.
  7. Bilderfassungsmodul nach Anspruch 6, wobei der Geräuschunterdrücker ferner konfiguriert ist, um das Geräusch von dem Motor zu reduzieren, indem er die Schallschätzung invertiert und die invertierte Schallschätzung vom Mikrofonsignal subtrahiert.
  8. Bilderfassungsmodul nach Anspruch 6 oder 7, wobei der Geräuschunterdrücker ferner konfiguriert ist, um Rückmeldungen an den SPL-Schätzer zu übertragen, wobei die Rückmeldungen einen Indikator zum Aktualisieren der Modellparameter beinhalten.
  9. Bilderfassungsmodul nach einem der Ansprüche 6 bis 8, wobei der Geräuschunterdrücker ferner konfiguriert ist, um Rückmeldungen an den SPL-Schätzer zu übertragen, wobei die Rückmeldungen einen Indikator zum Beenden der Durchführung von Schätzungen beinhalten.
  10. Bilderfassungsmodul, umfassend: einen Bildsensor, der konfiguriert ist, um Bilder aufzunehmen; einen Beschleunigungsmesser, der konfiguriert ist, um eine Vibration zu erfassen und ein Beschleunigungsmessersignal zu erzeugen, wobei die Vibration ein Vibrationsgeräusch erzeugt; ein Mikrofon, das konfiguriert ist, um einen beabsichtigten Schall und das Vibrationsgeräusch zu empfangen; und ein Geräuschschätzmodell, das einen Modellschätzer, einen Modellgenerator und eine Aktualisierungssteuerung für den Modellschätzer umfasst.
  11. Bilderfassungsmodul nach Anspruch 10, wobei der Modellschätzer konfiguriert ist, um ein Mikrofonsignal und das Beschleunigungsmessersignal zu empfangen.
  12. Bilderfassungsmodul nach Anspruch 10 oder 11, wobei der Modellschätzer konfiguriert ist, um einen Modellparameter basierend auf einer Übertragungsfunktion des Mikrofonsignals und des Beschleunigungsmessersignals zu erzeugen.
  13. Bilderfassungsmodul nach einem der Ansprüche 10 bis 12, wobei der Modellgenerator konfiguriert ist, um das Beschleunigungsmessersignal zu empfangen.
  14. Bilderfassungsmodul nach Anspruch 12 oder 13, wobei der Modellgenerator konfiguriert ist, um eine Schallschätzung basierend auf dem Modellparameter und der Übertragungsfunktion des Beschleunigungsmessersignals zu erzeugen.
  15. Bilderfassungsmodul nach Anspruch 14, ferner umfassend einen Geräuschunterdrücker, der konfiguriert ist, um das Mikrofonsignal und die Schallschätzung zu empfangen.
  16. Bilderfassungsmodul nach Anspruch 15, wobei der Geräuschunterdrücker ferner konfiguriert ist, um das Vibrationsgeräusch zu reduzieren, indem er die Schallschätzung invertiert und die invertierte Schallschätzung vom Mikrofonsignal subtrahiert.
  17. Bilderfassungsmodul nach Anspruch 15 oder 16, wobei der Geräuschunterdrücker ferner konfiguriert ist, um Rückmeldungen an die Aktualisierungssteuerung des Modellschätzers zu übertragen.
  18. Bilderfassungsmodul nach einem der Ansprüche 14 bis 17, wobei die Aktualisierungssteuerung des Modellschätzers konfiguriert ist, um zu bestimmen, ob der Modellparameter aktualisiert werden soll, wobei die Bestimmung auf der Schallschätzung und dem Mikrofonsignal basiert.
  19. Bilderfassungsmodul nach einem der Ansprüche 10 bis 18, wobei der Modellschätzer konfiguriert ist, um von der Aktualisierungssteuerung des Modellschätzers ein Steuersignal zu empfangen, das eine Aktualisierung der Modellparameter anzeigt, wobei der Modellschätzer ferner konfiguriert ist, um die Aktualisierung der Modellparameter basierend auf dem Steuersignal durchzuführen.
  20. Bilderfassungsmodul nach einem der Ansprüche 10 bis 19, wobei die Aktualisierungssteuerung des Modellschätzers ferner konfiguriert ist, um Rückmeldungen an den Modellschätzer zu übertragen, wobei die Rückmeldungen einen Indikator zum Beenden der Ausführung von Schätzungen beinhalten.
  21. Bilderfassungsmodul, umfassend: einen Bildsensor, der konfiguriert ist, um Bilder aufzunehmen; einen Motor, der konfiguriert ist, um eine Ausrichtung des Bildsensors zu steuern; ein Mikrofon, das konfiguriert ist, um einen beabsichtigten Schall und ein Vibrationsgeräusch zu empfangen; und ein Geräuschschätzmodell, das einen Modellschätzer, einen Modellgenerator und eine Aktualisierungssteuerung für den Modellschätzer umfasst.
  22. Bilderfassungsmodul nach Anspruch 21, wobei der Modellschätzer konfiguriert ist, um ein Mikrofonsignal und ein Motorsteuersignal zu empfangen.
  23. Bilderfassungsmodul nach Anspruch 22, wobei der Modellschätzer konfiguriert ist, um einen Modellparameter basierend auf einer Übertragungsfunktion des Mikrofonsignals und des Motorsteuersignals zu erzeugen.
  24. Bilderfassungsmodul nach Anspruch 22 oder 23, wobei der Modellgenerator konfiguriert ist, um das Motorsteuersignal zu empfangen.
  25. Bilderfassungsmodul nach Anspruch 23 oder 24, wobei der Modellgenerator konfiguriert ist, um eine Schallschätzung basierend auf dem Modellparameter und der Übertragungsfunktion des Motorsteuersignals zu erzeugen.
  26. Bildaufnahmemodul nach Anspruch 25, ferner umfassend einen Geräuschunterdrücker, der konfiguriert ist, um das Mikrofonsignal und die Schallschätzung zu empfangen.
  27. Bildaufnahmemodul nach Anspruch 26, wobei der Geräuschunterdrücker ferner konfiguriert ist, um das Vibrationsgeräusch durch Umkehren der Schallschätzung und Subtrahieren der umgekehrten Schallschätzung von dem Mikrofonsignal zu reduzieren.
  28. Bildaufnahmemodul nach Anspruch 26 oder 27, wobei der Geräuschunterdrücker ferner konfiguriert ist, um Rückmeldungen an die Aktualisierungssteuerung des Modellschätzers zu übertragen.
  29. Bilderfassungsmodul nach einem der Ansprüche 25 bis 28, wobei die Aktualisierungssteuerung des Modellschätzers konfiguriert ist, um zu bestimmen, ob der Modellparameter aktualisiert werden soll, wobei die Bestimmung auf der Schallschätzung und dem Mikrofonsignal basiert.
  30. Bilderfassungsmodul nach einem der Ansprüche 21 bis 29, wobei der Modellschätzer konfiguriert ist, um von der Aktualisierungssteuerung des Modellschätzers ein Steuersignal zu empfangen, das eine Aktualisierung der Modellparameter anzeigt, wobei der Modellschätzer ferner konfiguriert ist, um die Aktualisierung der Modellparameter basierend auf dem Steuersignal durchzuführen.
  31. Bilderfassungsmodul nach einem der Ansprüche 21 bis 30, wobei die Aktualisierungssteuerung des Modellschätzers ferner konfiguriert ist, um Rückmeldungen an den Modellschätzer zu übertragen, wobei die Rückmeldungen einen Indikator zum Beenden der Ausführung von Schätzungen beinhalten.
  32. System, umfassend: einen Bildsensor, der konfiguriert ist, um Bilder aufzunehmen; ein integriertes mechanisches Stabilisierungssystem, umfassend einen Motor, der konfiguriert ist, um eine Ausrichtung des Bildsensors zu steuern; einen Beschleunigungsmesser, der konfiguriert ist, um eine Vibration vom Motor zu erfassen, wobei die Vibration ein Vibrationsgeräusch erzeugt; ein Mikrofon, das konfiguriert ist, um einen beabsichtigten Schall und ein Geräusch von dem Motor zu empfangen, wobei das Geräusch von dem Motor hörbare Geräusche und das Vibrationsgeräusch beinhaltet; einen Prozessor, der konfiguriert ist, um den Motor zu steuern und ein Motorsteuersignal zu erzeugen; einen Schalldruckpegel/SPL-Schätzer; und einen SPL-Modellgenerator.
  33. System nach Anspruch 32, wobei der SPL-Schätzer konfiguriert ist, um ein Mikrofonsignal, das Motorsteuersignal und ein Beschleunigungsmessersignal zu empfangen.
  34. System nach Anspruch 33, wobei der SPL-Schätzer konfiguriert ist, um einen Modellparameter basierend auf einer Übertragungsfunktion des Mikrofonsignals, des Motorsteuersignals und des Beschleunigungsmessersignals zu erzeugen.
  35. System nach Anspruch 33 oder 34, wobei der SPL-Modellgenerator konfiguriert ist, um das Motorsteuersignal, das Beschleunigungsmessersignal und den Modellparameter zu empfangen.
  36. System nach Anspruch 34 oder 35, wobei der SPL-Modellgenerator konfiguriert ist, um eine Schallschätzung basierend auf dem Modellparameter und den Übertragungsfunktionen des Motorsteuersignals und des Beschleunigungsmessersignals zu erzeugen.
  37. System nach Anspruch 36, ferner umfassend einen Geräuschunterdrücker, der konfiguriert ist, um das Mikrofonsignal und die Schallschätzung zu empfangen.
  38. System nach Anspruch 36 oder 37, wobei der Geräuschunterdrücker ferner konfiguriert ist, um das Geräusch von dem Motor zu reduzieren, indem er die Schallschätzung invertiert und die invertierte Schallschätzung vom Mikrofonsignal subtrahiert.
  39. System nach Anspruch 37 oder 38, wobei der Geräuschunterdrücker ferner konfiguriert ist, um Rückmeldungen an den SPL-Schätzer zu übertragen, wobei die Rückmeldungen einen Indikator zur Aktualisierung des Modellparameters beinhalten.
  40. System nach einem der Ansprüche 37 bis 39, wobei der Geräuschunterdrücker ferner konfiguriert ist, um Rückmeldungen an den SPL-Schätzer zu übertragen, wobei die Rückmeldungen einen Indikator zum Beenden der Durchführung von Schätzungen beinhalten.
  41. System, umfassend: einen Bildsensor, der konfiguriert ist, um Bilder aufzunehmen; einen Beschleunigungsmesser, der konfiguriert ist, um eine Vibration zu erfassen und ein Beschleunigungssignal zu erzeugen, wobei die Vibration ein Vibrationsgeräusch erzeugt; ein Mikrofon, das konfiguriert ist, um einen beabsichtigten Schall und das Vibrationsgeräusch zu empfangen; ein Modellschätzer; einen Modellgenerator; und eine Aktualisierungssteuerung für den Modellschätzer.
  42. System nach Anspruch 41, wobei der Modellschätzer konfiguriert ist, um ein Mikrofonsignal und das Beschleunigungsmessersignal zu empfangen.
  43. System nach Anspruch 41, wobei der Modellschätzer konfiguriert ist, um einen Modellparameter basierend auf einer Übertragungsfunktion des Mikrofonsignals und des Beschleunigungsmessersignals zu erzeugen.
  44. System nach einem der Ansprüche 41 bis 43, wobei der Modellgenerator konfiguriert ist, um das Beschleunigungsmessersignal zu empfangen.
  45. System nach Anspruch 43 oder 44, wobei der Modellgenerator konfiguriert ist, um eine Schallschätzung basierend auf dem Modellparameter und der Übertragungsfunktion des Beschleunigungsmessersignals zu erzeugen.
  46. System nach Anspruch 45, ferner umfassend einen Geräuschunterdrücker, der konfiguriert ist, um das Mikrofonsignal und die Schallschätzung zu empfangen.
  47. System nach Anspruch 45 oder 46, wobei der Geräuschunterdrücker ferner konfiguriert ist, um das Vibrationsgeräusch zu reduzieren, indem er die Schallschätzung invertiert und die invertierte Schallschätzung vom Mikrofonsignal subtrahiert.
  48. System nach Anspruch 46 oder 47, wobei der Geräuschunterdrücker ferner konfiguriert ist, um Rückmeldungen an die Aktualisierungssteuerung des Modellschätzers zu übertragen.
  49. System nach Anspruch 46, wobei die Aktualisierungssteuerung des Modellschätzers konfiguriert ist, um zu bestimmen, ob der Modellparameter aktualisiert werden soll, wobei die Bestimmung auf der Schallschätzung und dem Mikrofonsignal basiert.
  50. System nach einem der Ansprüche 41 bis 49, wobei der Modellschätzer konfiguriert ist, um von der Aktualisierungssteuerung des Modellschätzers ein Steuersignal zu empfangen, das eine Aktualisierung der Modellparameter anzeigt, wobei der Modellschätzer ferner konfiguriert ist, um die Aktualisierung der Modellparameter basierend auf dem Steuersignal durchzuführen.
  51. System nach einem der Ansprüche 41 bis 50, wobei die Aktualisierungssteuerung des Modellschätzers ferner konfiguriert ist, um Rückmeldungen an den Modellschätzer zu übertragen, wobei die Rückmeldungen einen Indikator zum Beenden der Ausführung von Schätzungen beinhalten.
DE202019100930.6U 2018-02-21 2019-02-19 Reduzierung des Mikrofon-Audio-Geräuschs von einem Gimbalmotor Active DE202019100930U1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/901,035 US10909961B2 (en) 2018-02-21 2018-02-21 Reduction of microphone audio noise from gimbal motor
US15/901,035 2018-02-21

Publications (1)

Publication Number Publication Date
DE202019100930U1 true DE202019100930U1 (de) 2019-07-01

Family

ID=67308883

Family Applications (1)

Application Number Title Priority Date Filing Date
DE202019100930.6U Active DE202019100930U1 (de) 2018-02-21 2019-02-19 Reduzierung des Mikrofon-Audio-Geräuschs von einem Gimbalmotor

Country Status (3)

Country Link
US (1) US10909961B2 (de)
CN (2) CN211830953U (de)
DE (1) DE202019100930U1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019210462A1 (zh) * 2018-05-02 2019-11-07 深圳市大疆创新科技有限公司 云台拍摄方法、云台拍摄系统以及记录介质
US10839659B2 (en) * 2018-10-17 2020-11-17 Arlo Technologies, Inc. System for video monitoring with improved image quality
KR102569365B1 (ko) * 2018-12-27 2023-08-22 삼성전자주식회사 가전기기 및 이의 음성 인식 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243661A (en) * 1990-04-09 1993-09-07 Sony Corporation Microphone apparatus
WO2013105926A1 (en) * 2011-03-22 2013-07-18 Aerovironment Inc. Invertible aircraft
US9024738B2 (en) * 2013-02-01 2015-05-05 Blackberry Limited Apparatus, systems and methods for mitigating vibration of an electronic device
JP6188355B2 (ja) * 2013-03-06 2017-08-30 キヤノン株式会社 放射線撮影装置、補正方法及びプログラム
WO2014140354A1 (en) * 2013-03-15 2014-09-18 Freefly Systems Inc. Method and system for correcting camera pointing angle in an actively stabilized system to compensate for translational movements
WO2015143615A1 (zh) * 2014-03-24 2015-10-01 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN105899965B (zh) * 2014-08-29 2018-10-02 深圳市大疆创新科技有限公司 用于采集音频数据的无人飞行器
WO2016118626A1 (en) * 2015-01-20 2016-07-28 Dolby Laboratories Licensing Corporation Modeling and reduction of drone propulsion system noise
US20160352992A1 (en) * 2015-05-27 2016-12-01 Gopro, Inc. Image Stabilization Mechanism
US9415870B1 (en) * 2015-09-02 2016-08-16 Amazon Technologies, Inc. Unmanned aerial vehicle motor driving randomization and feedback for noise abatement
US9442496B1 (en) * 2015-09-18 2016-09-13 Amazon Technologies, Inc. Active airborne noise abatement
US9984672B2 (en) * 2016-09-15 2018-05-29 Gopro, Inc. Noise cancellation for aerial vehicle

Also Published As

Publication number Publication date
US10909961B2 (en) 2021-02-02
CN211830953U (zh) 2020-10-30
US20190259366A1 (en) 2019-08-22
CN209964138U (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
US11653095B2 (en) Modular image capture systems
US11132773B2 (en) Temporal smoothing in image capture systems
US20200096844A1 (en) Method and system for motion camera with embedded gimbal
CN108139799B (zh) 基于用户的兴趣区(roi)处理图像数据的系统和方法
DE202019100930U1 (de) Reduzierung des Mikrofon-Audio-Geräuschs von einem Gimbalmotor
WO2016197307A1 (en) Methods and apparatus for image processing
CN106662793A (zh) 使用稳定用常平架的常平架系统
DE212017000258U1 (de) Visionsbasiertes Navigationssystem
CN106375720A (zh) 智能视觉云台系统及其实现方法
WO2007095540A3 (en) Multi-lens array system and method
CN107580161B (zh) 摄影设备及方法、移动摄影装置、摄影用移动体及其控制装置
DE202018006527U1 (de) Erfassung und Signalisieren von Zuständen eines unbemannten Fluggeräts
JP2017072986A (ja) 自律飛行装置、自律飛行装置の制御方法及びプログラム
Smith The photographer's guide to drones
CN106516140A (zh) 一种具有航拍功能的飞行器
WO2022061934A1 (zh) 图像处理方法、装置、系统、平台及计算机可读存储介质
US20170195543A1 (en) Remote control between mobile communication devices for capturing images
CN212660222U (zh) 警犬数字化战术穿戴装备
CN113891000B (zh) 拍摄方法、装置和电子设备
DE102016125459B3 (de) Bilderfassungsverfahren auf einem Bilderfassungssystem
KR20190056089A (ko) 듀얼 렌즈 대시 카메라 및 이를 이용한 라이브 스트리밍 방법
JPS6444867A (en) Apparatus for monitoring overhead cable
Stump Camera Issues

Legal Events

Date Code Title Description
R207 Utility model specification
R150 Utility model maintained after payment of first maintenance fee after three years