EP3843419B1

EP3843419B1 - Verfahren zur steuerung eines mikrofonarrays und vorrichtung zur steuerung eines mikrofonarrays

Info

Publication number: EP3843419B1
Application number: EP20209487.6A
Authority: EP
Inventors: Alexander Krüger; Renato Pellegrini
Original assignee: Sennheiser Electronic GmbH and Co KG
Current assignee: Sennheiser Electronic GmbH and Co KG
Priority date: 2019-12-16
Filing date: 2020-11-24
Publication date: 2022-12-28
Anticipated expiration: 2040-11-24
Also published as: US11303997B2; DE102019134541A1; EP3843419A1; US20210185433A1

Description

Die Erfindung betrifft ein Verfahren zur Steuerung eines Mikrofonarrays. Die Erfindung betrifft ebenfalls eine Vorrichtung zur Steuerung eines Mikrofonarrays.

Hintergrund

Für die Erfassung einzelner akustischer Ereignisse in einem großen planaren Erfassungsbereich bei gleichzeitigem hohen Störgeräuschpegel wird in WO2019/211487A1 eine Mikrofonanordnung vorgeschlagen, die aus einer kreisförmigen Anordnung von Richtrohrmikrofonen besteht, die radial nach außen weisen. Weil für ebene akustische Erfassungsbereiche keine zeitvariable Steuerung des Schallstrahls (beam) entlang der zur Erfassungsebene senkrechten Dimension erforderlich ist, wird dort als feste Richtwirkung in Bezug auf diese Dimension direkt die Richtwirkung der Mikrofone genutzt. In Bezug auf die Dimension der Ebene allerdings ermöglicht ein solches Array eine zeitvariante akustische Strahllenkung (beam steering) mit nahezu unveränderlicher Strahlcharakteristik (beam pattern) in alle Richtungen.
Ein typisches Beispiel für einen solchen großen planaren Erfassungsbereich bei gleichzeitigem hohen Störgeräuschpegel ist die Tonaufnahme einzelner Balltrittgeräusche oder der Schiedsrichterpfiff während eines Fußballspiels. Für eine solche Aufgabe ist der mögliche Erfassungsbereich das Fußballfeld. Außerdem ist in einem Fußballstadion während eines Spiels typischerweise ein hoher Störgeräuschpegel vorhanden, der hauptsächlich von den Zuschauertribünen rund um das Spielfeld ausgeht. Eine Besonderheit von Ballsportarten im Allgemeinen ist die Tatsache, dass sich sowohl der Ball als auch die Spieler in der Regel sehr schnell bewegen und daher eine hohe Geschwindigkeit für die Strahllenkung benötigt wird, um die Balltrittgeräusche erfassen zu können. Das Mikrofonarray soll nicht auf dem Spielfeld positioniert sein, sondern kann sich z. B. am Spielfeldrand befinden.
Wenn die Position des akustischen Ziels relativ zur Position des Arrays automatisch verfolgt werden kann (z. B. visuell unter Verwendung von Videokameras), kann die Strahllenkung vollautomatisch durchgeführt werden, wobei ein menschlicher Bediener nicht notwendig ist. Ein automatisches Verfolgungssystem (Trackingsystem, Tracker) liefert hierbei Positions- und Geschwindigkeitsdaten verschiedener Zielobjekte, die als Trackingdaten bezeichnet werden. Das wichtigste Zielobjekt in diesem Zusammenhang ist der Ball. Es treten jedoch folgende Probleme auf.
Erstens weisen die Trackingdaten eine Verzögerung (Latenz) und eine Unsicherheit dieser Verzögerung auf. Die Trackingdaten zur Steuerung der Strahlrichtung sind üblicherweise mit einer gewissen Latenz versehen, die beispielsweise durch im Rahmen des visuellen Trackings angewendete Bildverarbeitungsalgorithmen oder durch die Übertragung der Trackingdaten selbst vom Trackingsystem zum Mikrofonarray verursacht wird. Für die Erfassung sich bewegender Schallobjekte mit dem Mikrofonarray bedeutet dies, dass sich das Objekt zu dem Zeitpunkt, zu dem die Informationen über die Objektposition am Mikrofonarray ankommen, üblicherweise bereits an einer anderen Position befindet, was zu einer fehlangepassten Strahllenkung führt. In der Regel ist die Latenz der Trackingdaten zeitinvariant und, was noch wichtiger ist, normalerweise nicht genau bekannt.
Zweitens gibt es eine Unsicherheit der Genauigkeit der Trackingdaten: Trackingsysteme können in der Regel nicht die genaue Position der verfolgten Objekte angeben, sondern sie können die Position nur mit einer bestimmten Positionsgenauigkeit angeben, beispielsweise in Form eines Konfidenzintervalls.
Drittens ist die Schallausbreitung mit einer Verzögerung verbunden. Der Schall benötigt eine bestimmte Zeit, um sich von dem Objekt, das das Schallereignis auslöst, zur Mikrofonanordnung auszubreiten. Unter der Annahme, dass sich die zu erfassenden Schallobjekte in einem bestimmten Maximalabstand von der Anordnung (z. B. bis zu 50 m) bewegen, kann dieser Effekt als eine Art "negative Latenz" in Bezug auf die Trackingdatenverarbeitung angesehen werden, für die die Strahlsteuerung warten muss, bis der einer bestimmten Position entsprechende Schall am Mikrofonarray angekommen ist. Im Gegensatz zur Latenz der Trackingdaten ist die "negative Latenz" aufgrund der Schallausbreitung zeitlich variabel, weil sie dem Abstand zwischen dem Schallobjekt und dem Mikrofonarray entspricht.
Beide Effekte führen zu einer schlechten Aufnahmequalität des Schallobjekts, da die Strahlrichtung zeitlich nicht korrekt ausgerichtet ist (z.B. wird der Strahl zu spät oder zu früh in die entsprechende Richtung gerichtet).
Gegenwärtig gibt es für das Problem der Latenz der Trackingdaten in einem Echtzeiterfassungssystem nur eine suboptimale Lösung. Dabei wird das Audiosignal einfach um die erwartete mittlere Latenz verzögert, bevor Strahlformung (beamforming) angewendet wird. Diese Lösung berücksichtigt jedoch weder Unsicherheiten bei der Latenz der Trackingdaten noch zeitvariable Abstände zwischen Objekt und Array. Diese Effekte führen häufig zu einer zeitlichen Fehlausrichtung, d.h. zu einer Differenz zwischen der eingestellten Richtung und der tatsächlichen Richtung des zu erfassenden Schallobjekts zu diesem Zeitpunkt.
Dokument WO2007037700 A1 offenbart ein System zur digital gerichteten Fokussierung und Lenkung von abgetastetem Schall innerhalb eines Zielbereichs zur Erzeugung eines selektiven Audioausgangs, das ein oder mehrere breitbandige Arrays von Mikrofonen, eine A/D-Signalumwandlungseinheit und eine Steuereinheit umfasst, dabei die Steuereinheit umfasst: Empfängermittel zum Empfangen digitaler Signale von eingefangenem Schall von allen Mikrofonen, die das System umfasst; Eingabemittel zum Empfangen von Anweisungen, die selektive Positionsdaten in Form von Koordinaten umfassen; Signalverarbeitungsmittel zum Auswählen von Signalen aus einer Auswahl relevanter Mikrofone in der Anordnung zur weiteren Verarbeitung; Signalverarbeitungsmittel zum Durchführen von Signalverarbeitung an den Signalen aus der Auswahl relevanter Mikrofone zum Fokussieren und Lenken des Schalls gemäß den empfangenen Anweisungen; Signalverarbeitungsmittel zum Erzeugen eines selektiven Audioausgangs gemäß den empfangenen Anweisungen und der durchgeführten Signalverarbeitung.
In der prioritätsbegründenden deutschen Patentanmeldung hat das Deutsche Patent- und Markenamt die folgenden Dokumente recherchiert: US 6 914 854 B1 und EP 2 942 975 A1 .

Zusammenfassung der Erfindung

Die Erfindung löst dieses Problem. Ein erfindungsgemäßes Verfahren ist in Anspruch 1 angegeben. Eine entsprechende Vorrichtung ist in Anspruch 9 angegeben. Anspruch 8 betrifft einen computer-lesbaren Datenträger mit darauf gespeicherten Instruktionen, die geeignet sind, einen Computer oder Prozessor derart zu programmieren, dass dieser die Schritte des Verfahrens ausführt. Weitere vorteilhafte Ausführungsformen werden in den Ansprüchen 2-7 und 10-12 beschrieben.
Erfindungsgemäß werden die Latenz (einschließlich der Latenzunsicherheit) der Trackingdaten und die Schallausbreitung berücksichtigt, indem die Breite des gelenkten Audiostrahls (beam) zeitlich geändert wird, so dass der Strahl zwar noch so eng wie möglich, aber so breit wie erforderlich ist, um den gewünschten Objektschall sicher vollständig zu erfassen. Somit entsteht eine zeitvariante Strahlbreitenregelung für das Mikrofonarray. Dabei ist die Strahlbreite abhängig von folgenden Parametern: den Trackingdaten, d.h. der Geschwindigkeit des beweglichen Objekts und seiner Entfernung zum Mikrofonarray, sowie von der zeitlichen Dauer bis zum Eintreffen der Trackingdaten (Trackinglatenz). Dadurch kann der gleichzeitig eintreffende Schall eines Schallereignisses, das durch das bewegliche Objekt ausgelöst wird, sicher erfasst werden.

Kurze Beschreibung der Zeichnungen

Weitere Einzelheiten und vorteilhafte Ausführungsformen sind in den Zeichnungen dargestellt. Darin zeigt

Fig. 1: einen skizzierten Ablauf von Positionsmessung, Schallereignis und Eintreffen des Schalls und der Positionsdaten am Mikrofonarray;
Fig. 2: eine Draufsicht auf ein Spielfeld in einer ersten Situation;
Fig. 3: eine Draufsicht auf ein Spielfeld in einer zweiten Situation;
Fig. 4: ein Blockdiagramm einer erfindungsgemäßen Vorrichtung; und
Fig. 5: ein Flussdiagramm eines erfindungsgemäßen Verfahrens.

Detaillierte Beschreibung der Erfindung

Fig. 1 zeigt einen skizzierten Ablauf von Positionsmessung, Schallereignis und Eintreffen des Schalls am Mikrofonarray am Beispiel eines Fußballspiels. In Fig. 1 a) wird zu einem ersten Zeitpunkt t_TR die Position eines Balls 10 auf einem Spielfeld sowie seine Geschwindigkeit entlang der Trajektorie Tro, auf der sich der Ball bewegt, durch ein automatisches Video-Trackingsystem festgestellt. Dessen Trackingdaten stehen jedoch zu diesem Zeitpunkt noch nicht zur Verfügung. Außerhalb des Spielfelds, z. B. hinter einem Tor 30, befindet sich ein Mikrofonarray 40. Optional kann das Video-Trackingsystem außerdem Positionen und Geschwindigkeiten von Spielern 20 oder dem Schiedsrichter messen.
In Fig. 1 b) trifft zu einem zweiten, zunächst unbekannten Zeitpunkt t_E der Spieler 20 den Ball 10, wobei ein Schallereignis entsteht, dessen Schallwellen 50 vom Mikrofonarray 40 aufgenommen werden sollen. Der Ball ändert seine Bewegung und folgt z. B. der neuen Trajektorie Tr₁. Die Schallwellen benötigen einige Zeit, um am Mikrofonarray einzutreffen. Zum Zeitpunkt to empfängt das Mikrofonarray die Trackingdaten, wie in Fig. 1 c) dargestellt. Dies wird in diesem Beispiel zunächst auch als der Zeitpunkt angenommen, an dem bereits die Schallwellen 50 des Schallereignisses zum Zeitpunkt t_E am Mikrofonarray 40 (oder an einem daran angeschlossenen Computer oder Prozessor) eintreffen, d.h. t_TR = t_E. Daher richtet das Mikrofonarray 40 seine Richtcharakteristik entsprechend aus, um gezielt die Schallwellen 50 des Schallereignisses aufzunehmen. Der Strahl kann praktisch ohne Verzögerung gesteuert werden. In einem äquivalenten Fall kann alternativ die Strahlformung in einem externen Computer oder Prozessor erfolgen. Dieser empfängt dann die Trackingdaten vom Tracker und die Audiodaten vom Mikrofonarray.
Allerdings beziehen sich die Trackingdaten auf eine Position des Balls zum Zeitpunkt t_TR, während die Schallwellen vom Schallereignis zum Zeitpunkt t_E stammen. Wenn die Zeit der Schallausbreitung der Trackinglatenz entspricht, wie im oben beschriebenen Fall, passen die Trackingdaten und der Schall zusammen. Anderenfalls wird das Schallereignis zu einem früheren oder späteren Zeitpunkt und damit an einer anderen Position erzeugt. Da die Position, die Trajektorie Tr₀ (d.h. die Bewegungsrichtung) und die Geschwindigkeit des Balls zum Zeitpunkt t_TR aus den Trackingdaten bekannt sind, und auch die Trackinglatenz und die Tracking-Genauigkeit bekannt ist oder zumindest abgeschätzt werden kann, kann aber die Ballposition zum Zeitpunkt t_E berechnet bzw. abgeschätzt werden. Der Strahl kann dann so breit gemacht werden, dass der Ort des Schallereignisses zum Zeitpunkt t_E mit erfasst wird.
Wenn der Abstand zwischen der vom Trackingsystem bereitgestellten Position und dem Mikrofonarray größer ist als ein Maximalwert r_MAX, kann der Schall diese Entfernung nicht innerhalb der Latenz des Trackingsystems zurücklegen. Daher liegen die (zum Schallereignis gehörenden) Trackingdaten in diesem Fall bereits am Mikrofonarray 40 vor, wenn die Schallwellen 50 eintreffen. Diese Entfernung ergibt sich aus r_MAX = v_S * d_TRACK (mit der Schallgeschwindigkeit vs und der Trackinglatenz d_TRACK). In Fig. 1 c) ist also der Grenzfall dargestellt, wenn die Trackingdaten des Schallereignisses und die Schallwellen 50 gleichzeitig am Mikrofonarray eintreffen, d.h. t_TR = t_E. Wenn die Entfernung größer ist, treffen jedoch die Trackingdaten vor den Schallwellen am Mikrofonarray ein. Das Objekt 10 hatte im Fall r > r_MAX die vom Trackingsystem zum Zeitpunkt to bereitgestellte Position p_TR tatsächlich zum Zeitpunkt t_TR = t₀ - d_TRACK angenommen, und der Schall wird erst zu einem späteren Zeitpunkt als die Trackingdaten ts = to - d_TRACK + r / vs > to am Mikrofonarray eintreffen. Das Array erhält daher bereits zum Zeitpunkt to die Information, wohin es sich zum späteren Zeitpunkt ts sinnvollerweise ausrichten soll, um ggf. den Schall des Schallereignisses bzw. des akustischen Objekts einzufangen. Diese Information wird daher zwischen den Zeitpunkten to und ts geeignet zwischengespeichert. Da in diesem Fall die Position jedes möglichen akustischen Ereignissen bereits im Voraus bekannt ist, kann unter der Annahme der genauen Kenntnis der Latenz des Trackers sowie der Annahme einer fehlerfreien Positionsbestimmung durch das Trackingsystem der akustische Strahl für gemeldete Positionen mit einer Entfernung von r_MAX oder größer möglichst schmal gemacht werden, und insbesondere schmaler als mit konventionellen Mikrofonarrays.
Darüber hinaus kann es auch Fälle geben, in denen die Latenz des Trackingsystems nicht genau bekannt ist oder die vom Trackingsystem kommenden Positionsdaten fehlerbehaftet sind. In diesen Fällen kann aber als obere Schranke eine maximal mögliche Latenz angegeben werden. Daher lässt sich in diesen Fällen ebenfalls die Breite des akustische Strahls adaptiv steuern, um diesen Unsicherheiten Rechnung zu tragen. Allgemein ist es dann sinnvoll, die Strahlbreite umso mehr zu vergrößern, je schneller sich das Objekt bewegt, das den Schall erzeugt, und je kleiner der Abstand des Objektes vom Array ist.
Kritisch ist jedoch der Fall, in dem der Abstand zwischen der vom Trackingsystem bereitgestellten Position und dem Mikrofonarray kleiner ist als der Maximalwert r_MAX. Dieser Fall wird im Folgenden betrachtet.
Fig. 2 zeigt eine Draufsicht auf ein Spielfeld in einer ersten Situation. Das Ziel besteht darin, ein Ballstoßgeräusch durch eine Mikrofonanordnung zu erfassen, die an einem Punkt P_Ar z.B. 3 m hinter dem Tor 30 liegt. Zu einem bestimmten Zeitpunkt to liefert ein Trackingsystem zur Ballverfolgung eine Abschätzung p_TR der Ballposition z. B. in einer Entfernung von r = 6 m zum Array und eine Abschätzung v_BALL der Ballgeschwindigkeit, die zu diesem Zeitpunkt z. B. bei 30 m/s liegt. Die Richtung, in die sich der Ball bewegt, ist jedoch nicht notwendigerweise bekannt. Es ist ferner bekannt, dass das Trackingsystem eine Latenz d_TRACK aufweist, die z. B. 0.1s beträgt. Nach dem Trackingzeitpunkt t_TR wird der Ball zum Ereigniszeitpunkt t_E von einem Spieler getroffen, wobei als aufzunehmendes Schallereignis das Balltritt-Geräusch entsteht, und dabei umgelenkt. In Fig. 2 sind drei verschiedene mögliche Flugbahnen des Balls durch verschiedene Trajektorien Tr₁,Tr₂, Tr₃ dargestellt, bei denen das Balltritt-Geräusch an verschiedenen Stellen stattfindet und der Schall des Balltritt-Geräuschs, unter Berücksichtigung der Schallausbreitung durch die Luft, zum Zeitpunkt to am Array ankommt. Hierbei wird angenommen, dass der Ball auf allen drei möglichen Flugbahnen die gleiche Geschwindigkeit v_BALL hat. Die entsprechenden Positionen, an denen der Balltritt stattfinden kann, sind mit p_1,K, p_2,K und p_3,K bezeichnet. Eine Herausforderung für die Strahlbreitensteuerung besteht daher darin, den Schall des Balltritt-Geräuschs vollständig zu erfassen und gleichzeitig den engstmöglichen Strahl beizubehalten, um den Umgebungsschall, z. B. das diffuse Rauschen der Zuschauerränge, so gut wie möglich zu unterdrücken.
Dazu wird, zum Zeitpunkt to des Eintreffens der Trackingdaten, zunächst der Bereich B_Tr der möglichen wahren Ballposition im Tracking-Zeitpunkt t_TR konstruiert, der in Fig. 2 durch einen gestrichelten Kreis dargestellt ist. Sein Radius r_Tr von z. B. 3 m ergibt sich aus der Ballbewegung, ausgehend von der Trackingposition p_TR, für die Dauer der Trackinglatenz d_TRACK mit einer Geschwindigkeit von v_BALL. Ohne Berücksichtigung der Schallausbreitung von der Balltritt-Position p_1,K,p_2,K,p_3,K, d. h. dem tatsächlichen Ort des Schallereignisses, zum Array könnte eine einfache Wahl der Strahlbreite so eng wie möglich sein, um den gestrichelten Kreis zu erfassen. Dieses Verfahren würde jedoch die tatsächlich erforderliche Strahlbreite überschätzen und damit unnötig ungenau sein.
Wenn jedoch die Schallausbreitung von der Balltritt-Position zum Array berücksichtigt wird, kann eine engere geeignete Strahlbreite errechnet werden. Insbesondere gibt es für alle möglichen Balltritt-Positionen p_1,K,p_2,K,p_3,K eine Mindestzeitdauer d_AIR,min, die der Balltritt-Schall benötigt, um sich durch die Luft zum Mikrofonarray auszubreiten. Dementsprechend gibt es eine maximale Zeitdauer d_BALL,max, in der sich der Ball bewegt haben kann, bevor er dann getreten wurde, so dass der dabei entstandene Schall zum Zeitpunkt to am Array ankommt. Beide Fälle treten gemeinsam auf, wenn sich der Ball von der Trackingposition p_TR entlang der Trajektorie Tr₃ direkt in Richtung des Arrays bewegt und auf diesem Weg in einem Abstand r_{real, max} von der Trackingposition p_TR getreten wird. Die Distanz r_real,max kann aus der Tatsache abgeleitet werden, dass sich beide Zeiten d_BALL,max (= t_E-t_TR) und d_AIR,min (= t₀-t_E) zur Tracker-Latenz addieren müssen, damit der Schall des Balltritts zum Zeitpunkt to am Array ankommt, d.h. $d_{BALL, \max} + d_{AIR, \min} = d_{TRACK}$
Wenn die Zeitangaben durch die entsprechenden Entfernungen und Geschwindigkeiten angegeben werden mit $d_{BALL, \max} = r_{real, \max} / v_{BALL}$
$d_{AIR, \min} = (r - r_{real, \max}) / v_{S}$
wobei vs die Schallgeschwindigkeit und r die Entfernung des Mikrofonarrays zur Trackingposition ist, und auflöst nach r_real,max, ergibt sich $r_{real, \max} = \frac{v_{S} \cdot v_{BALL} \cdot d_{TRACK} - v_{Ball} \cdot r}{v_{S} - v_{BALL}}$
wobei mit den oben genannten Zahlenbeispielen r_real,max ≈ 2.71 m gilt. Das ist der Radius eines kreisrunden Bereichs B_real um p_TR, der den tatsächlichen Unsicherheitsbereich der Position des Balltritts darstellt und dessen Größe kleiner ist als der gestrichelte Kreis B_Tr. Somit wird das Geräusch des Balltritts sicher erfasst, wenn der Strahlformer im Zeitpunkt to so eng wie möglich gesteuert wird, um noch den kleineren Kreis B_real zu enthalten. In der beschriebenen und in Fig.2 gezeigten Situation ergibt sich eine Strahlbreite mit einem Winkel von α = sin^-1 (r_real,max / r) ≈ 54°.
Allgemein wird der Bereich B_real der möglichen Ballposition kleiner, wenn die Entfernung von der Trackingposition p_TR zum Array größer wird, wenn die Ballgeschwindigkeit v_BALL kleiner wird, oder wenn die maximale Latenz des Trackers kleiner wird. Außerdem kann auch die Tracking-Genauigkeit in die Steuerung der Strahlbreite einbezogen werden, wobei die Strahlbreite umso mehr zu erhöhen ist, je ungenauer das Tracking ist. Je kleiner der errechnete Bereich B_real der möglichen Ballposition ist, umso geringer ist die Strahlbreite und umso weniger Umgebungsgeräusche werden ungewollt erfasst. Die erfindungsgemäß erhöhte Fokussierung führt daher zu einer verbesserten Audiosignalqualität.
Fig. 3 zeigt eine Draufsicht auf ein Spielfeld in einer zweiten Situation. Im Gegensatz zu Fig. 2 ist hier die Entfernung r' von der Trackingposition p'_TR zum Array P_Ar größer. Die Trackinglatenz d_TRACK ist jedoch dieselbe, so dass der Bereich B'_real der möglichen Ballposition kleiner ist als in Fig. 2, während der herkömmlich (ohne Berücksichtigung der Schallausbreitung) berechnete Bereich B'_Tr der möglichen Ballposition unverändert bleibt. Dadurch wird auch die Strahlbreite bzw. der Winkel kleiner, z. B. ergibt sich für r' = 15 m bei ansonsten gleichen Werten α' ≈ 14°. Bei herkömmlicher Berechnung (ohne Berücksichtigung der Schallausbreitung) ergibt sich dagegen ein Winkel von α' ≈ 23°.
Ein Grundgedanke der vorgeschlagenen Strahlbreitenregelung ist, dass vom Eintreten des Schallereignisses an der Schallquelle bis zu dem Zeitpunkt, an dem der Schall das Mikrofonarray erreicht, bereits eine gewisse Zeit vergangen ist, in der sich die Schallquelle bereits weiterbewegt hat.
Fig. 4 zeigt in einer Ausführungsform der Erfindung ein Blockdiagramm einer erfindungsgemäßen Vorrichtung. Die Vorrichtung 200 enthält eine erste Eingangsschnittstelle 210 für Positionsinformation, die mindestens die Position p_TR und die Geschwindigkeit eines beweglichen Objekts 10 enthält und von einem Trackingsystem kommen kann, sowie eine zweite Eingangsschnittstelle 220 mit mehreren Eingängen für Mikrofonsignale AS_in,1,.., AS_in,N, die von mehreren Mikrofonkapseln kommen. Außerdem enthält die Vorrichtung 200 eine Berechnungseinheit 230 zum Berechnen einer Richtcharakteristik aus den mehreren Mikrofonsignalen mittels Strahlformung (beamforming), wobei die Richtcharakteristik mindestens eine bevorzugte Richtung hoher Empfindlichkeit entsprechend der Positionsinformation aufweist. Somit kann die Richtcharakteristik bzw. der Beam auf die vom Trackingsystem erhaltene Position ausgerichtet werden, um den aus dieser Richtung eintreffenden Schall aufzunehmen. Dabei entsteht ein Audio-Ausgangssignal AS_Out, das den Schall aus der bevorzugten Richtung hoher Empfindlichkeit enthält, und das über eine Ausgabe-Schnittstelle 240 ausgegeben werden kann. Die Berechnungseinheit 230 berechnet die Richtcharakteristik mindestens für jede neu eintreffende Positionsinformation neu. Z. B. kann in regelmäßigen Abständen von beispielsweise 40 ms bis maximal 100 ms aktualisierte Positionsinformation vom Trackingsystem empfangen werden. Für die Berechnung wird der Abstand r zwischen der Trackingposition und der Position des Mikrofonarrays berücksichtigt, indem für große Abstände r > r_MAX ein möglichst schmaler Strahl geformt wird, wie oben beschrieben. Dazu werden bekannte Verfahren benutzt, z. B. Verzögerung, Überlagerung und Filterung der Mikrofonsignale.
Für kleinere Abstände r < r_MAX jedoch ist die Breite bzw. der Öffnungswinkel (Azimutwinkel) der Richtcharakteristik variabel und von der Geschwindigkeit des beweglichen Objekts 10 abhängig. Dabei führt eine höhere Geschwindigkeit des beweglichen Objekts 10 zu einer größeren Breite bzw. einem größeren Öffnungswinkel der Richtcharakteristik. Für r=r_MAX wird die minimale Breite bzw. der minimale Öffnungswinkel der Richtcharakteristik erreicht, der dann auch nicht unterschritten wird (z.B. 5°-10°). Die variable Richtcharakteristik lässt sich erreichen, indem z. B. in einem Filter-and-Sum Beamformer die Filter modifiziert werden. Dazu können geänderte Filterkoeffizienten eingesetzt werden, die aus einem Speicher 235 abgerufen werden können, in dem sie gespeichert sind. Um die Ausrichtung zu ändern, können die Verzögerungswerte für die einzelnen Mikrofonsignale modifiziert werden. Dazu können in einer Ausführungsform entsprechend der Richtung passende Verzögerungswerte ebenfalls aus dem Speicher 235 abgerufen werden. Für andere Beamformer können andere Werte geändert werden, die die Strahlbreite bzw. den Öffnungswinkel bestimmen, z. B. Gewichtungsfaktoren für Ambisonicssignale in einem Modal-Beamformer.
Fig. 5 zeigt in einer Ausführungsform der Erfindung ein Flussdiagramm eines erfindungsgemäßen Verfahrens. Es ist ein automatisch ausgeführtes Verfahren 100 zur Steuerung eines Mikrofonarrays 40. Das Verfahren 100 umfasst die Schritte Empfangen 110 von Positionsinformation, die eine Position p_TR und eine Geschwindigkeit eines beweglichen Objekts 10 enthält, von einem Trackingsystem, sowie Empfangen 120 mehrerer Mikrofonsignale AS_in,1,...,AS_in,N von mehreren Mikrofonkapseln. Die Mikrofonsignale enthalten Schall eines von dem beweglichen Objekt 10 ausgehenden Schallereignisses. Im nächsten Schritt 130 wird eine Richtcharakteristik aus den mehreren Mikrofonsignalen berechnet, wobei die Richtcharakteristik auf Strahlformung (beamforming) beruht und mindestens eine bevorzugte Richtung hoher Empfindlichkeit entsprechend der Positionsinformation aufweist. Dabei entsteht ein Audio-Ausgangssignal AS_Out, das den Schall aus der bevorzugten Richtung hoher Empfindlichkeit enthält und das dann ausgegeben wird 160. Wie oben beschrieben, ist die Breite oder der Öffnungswinkel α der Richtcharakteristik zeitlich variabel und hängt von der Geschwindigkeit des beweglichen Objekts 10 ab, wobei eine höhere Geschwindigkeit des beweglichen Objekts zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt.
In einer Ausführungsform wird die Breite bzw. der Öffnungswinkel der Richtcharakteristik auch in Abhängigkeit von der Trackinglatenz geändert 140, wobei eine größere Trackinglatenz zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt. In einer weiteren Ausführungsform wird die Breite bzw. der Öffnungswinkel der Richtcharakteristik auch in Abhängigkeit von der Entfernung des beweglichen Objekts 10 von dem Mikrofonarray geändert 150, wobei eine größere Entfernung zu einer kleineren Breite bzw. einem kleineren Öffnungswinkel der Richtcharakteristik führt, und wobei die Breite bzw. der Öffnungswinkel der Richtcharakteristik einen Mindestwert nicht unterschreiten.
In einer Ausführungsform der Erfindung befinden sich verschiedene der Mikrofonkapseln in verschiedenen Mikrofonen mit jeweils einer Richtwirkung, wobei der Winkel der Richtcharakteristik nur in einer Dimension berechnet wird und in einer anderen Dimension der Winkel der Richtcharakteristik durch die Richtwirkung der Mikrofone bestimmt wird.
In einer Ausführungsform wird in regelmäßigen Abständen von maximal 100 ms aktualisierte Positionsinformation vom Trackingsystem empfangen 110, das z. B. videobasiert sein kann, und die Breite bzw. der Öffnungswinkel α des Strahls der Richtcharakteristik wird an die aktualisierte Positionsinformation angepasst.
Die Erfindung kann mit einem konfigurierbaren Computer oder Prozessor implementiert werden. Die Konfiguration erfolgt durch einen computerlesbaren Datenträger mit darauf gespeicherten Instruktionen, die geeignet sind, den Computer oder Prozessor so zu programmieren, dass dieser die Schritte des oben beschriebenen Verfahrens ausführt.

Claims

Verfahren (100) zur Steuerung eines Mikrofonarrays (40) mit den Schritten
- Empfangen (110) von Positionsinformation, die eine Position (p_TR) und eine Geschwindigkeit eines beweglichen Objekts (10) enthält, von einem Trackingsystem;

- Empfangen (120) mehrerer Mikrofonsignale von mehreren Mikrofonkapseln, wobei die Mikrofonsignale Schall eines von dem beweglichen Objekt (10) ausgehenden Schallereignisses enthalten;

- Berechnen (130) einer Richtcharakteristik aus den mehreren Mikrofonsignalen, wobei die Richtcharakteristik auf Strahlformung (beamforming) beruht und mindestens eine bevorzugte Richtung hoher Empfindlichkeit entsprechend der Positionsinformation aufweist, und wobei ein Audio-Ausgangssignal entsteht, das den Schall aus der bevorzugten Richtung hoher Empfindlichkeit enthält; und

- Ausgeben (160) des Ausgabe-Audiosignals;

- wobei eine Breite oder ein Öffnungswinkel (α) der Richtcharakteristik zeitlich variabel ist und von der Geschwindigkeit des beweglichen Objekts (10) abhängt, wobei eine höhere Geschwindigkeit des beweglichen Objekts (10) zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt.
Verfahren nach Anspruch 1, wobei das Trackingsystem eine Trackinglatenz aufweist, die einer Zeit zwischen dem Messen der Positionsinformation und dem Empfangen der Positionsinformation am Mikrofonarray entspricht, und die Breite oder der Öffnungswinkel (α) der Richtcharakteristik auch von der Trackinglatenz abhängt, wobei eine größere Trackinglatenz zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt.
Verfahren nach Anspruch 1 oder 2, wobei die Breite oder der Öffnungswinkel (α) der Richtcharakteristik auch von der Entfernung des beweglichen Objekts (10) von dem Mikrofonarray abhängt, wobei eine größere Entfernung zu einer kleineren Breite oder einem kleineren Öffnungswinkel der Richtcharakteristik führt, und wobei die Breite oder der Öffnungswinkel der Richtcharakteristik einen Mindestwert nicht unterschreiten.
Verfahren nach einem der Ansprüche 1 - 3, wobei sich verschiedene der Mikrofonkapseln in verschiedenen Mikrofonen mit jeweils einer Richtwirkung befinden, und wobei der Winkel der Richtcharakteristik nur in einer Dimension berechnet wird und in einer anderen Dimension der Winkel der Richtcharakteristik durch die Richtwirkung der Mikrofone bestimmt wird.
Verfahren nach einem der Ansprüche 1 - 4, wobei in regelmäßigen Abständen von maximal 100 ms aktualisierte Positionsinformation vom Trackingsystem empfangen wird (110) und die Breite oder der Öffnungswinkel (α) des Strahls der Richtcharakteristik an die aktualisierte Positionsinformation angepasst wird.
Verfahren nach einem der Ansprüche 1 - 5, wobei das Trackingsystem videobasiert ist.
Verfahren nach einem der Ansprüche 1 - 6, wobei das bewegliche Objekt (10) ein Ball oder ein anderes bewegliches Spiel- oder Sportgerät ist.
Computer-lesbarer Datenträger mit darauf gespeicherten Instruktionen, die geeignet sind, einen Computer oder Prozessor derart zu programmieren, dass dieser die Schritte des Verfahrens nach einem der Ansprüche 1-7 ausführt.
Vorrichtung (200) zur Steuerung eines Mikrofonarrays (40) mit
- einer ersten Eingangsschnittstelle (210) für Positionsinformation, die eine Position (p_TR) und eine Geschwindigkeit eines beweglichen Objekts (10) enthält;

- eine zweiten Eingangsschnittstelle (220) mit mehreren Eingängen für Mikrofonsignale, die von mehreren Mikrofonkapseln kommen;

- einer Berechnungseinheit (230) zum Berechnen (130) einer Richtcharakteristik aus den mehreren Mikrofonsignalen, wobei die Richtcharakteristik auf Strahlformung (beamforming) beruht und mindestens eine bevorzugte Richtung hoher Empfindlichkeit entsprechend der Positionsinformation aufweist, und wobei ein Audio-Ausgangssignal entsteht, das den Schall aus der bevorzugten Richtung hoher Empfindlichkeit enthält; und

- einer Ausgabe-Schnittstelle (240) zur Ausgabe des Ausgabe-Audiosignals;

- wobei eine Breite oder ein Öffnungswinkel (α) der Richtcharakteristik variabel ist und von der Geschwindigkeit des beweglichen Objekts (10) abhängt, wobei eine höhere Geschwindigkeit des beweglichen Objekts (10) zu einer größeren Breite oder einem größeren Öffnungswinkel der Richtcharakteristik führt.
Vorrichtung nach Anspruch 9, wobei, sich die Positionsinformation auf einen ersten Zeitpunkt (t_TR) bezieht, an dem sie gemessen wurde, und wobei der Schall aus der bevorzugten Richtung hoher Empfindlichkeit von einem Schallereignis stammt, das zu einem anderen zweiten Zeitpunkt (t_E) stattfand.
Vorrichtung nach Anspruch 9 oder 10, wobei die Breite oder der Öffnungswinkel (α) der Richtcharakteristik auch von der Entfernung des beweglichen Objekts (10) von dem Mikrofonarray abhängt, wobei eine größere Entfernung zu einer kleineren Breite oder einem kleineren Öffnungswinkel der Richtcharakteristik führt, und wobei die Breite oder der Öffnungswinkel der Richtcharakteristik einen Mindestwert nicht unterschreiten.
Vorrichtung nach einem der Ansprüche 9 - 11, wobei sich verschiedene der Mikrofonkapseln in verschiedenen Mikrofonen mit jeweils einer Richtwirkung befinden, und wobei der Öffnungswinkel der Richtcharakteristik nur in einer Dimension berechnet wird und in einer anderen Dimension der Öffnungswinkel der Richtcharakteristik durch die Richtwirkung der Mikrofone bestimmt wird.