DE102020117299A1

DE102020117299A1 - Mikrofonarray, Konferenzsystem mit Mikrofonarray und Verfahren zur Steuerung eines Mikrofonarrays

Info

Publication number: DE102020117299A1
Application number: DE102020117299.0A
Authority: DE
Inventors: Eugen Rasumow; Sebastian Rieck; Fabian Logemann; Jens Werner
Original assignee: Sennheiser Electronic GmbH and Co KG
Current assignee: Sennheiser Electronic GmbH and Co KG
Priority date: 2019-07-05
Filing date: 2020-07-01
Publication date: 2021-01-07
Also published as: US11290813B2; US20210084410A1; US10887692B1; US20210006897A1; US20220174404A1; US11696069B2

Abstract

Ein Mikrofonarray (3000) enthält mehrere Mikrofonkapseln (3001-3017; 3031-3034) und mindestens eine Signalverarbeitungseinheit (3200), die Ausgangssignale der Mikrofonkapseln empfangen und einen Audiostrahl bilden und dynamisch in Richtung einer Schallquelle steuern kann. Ein auf den Ausgangssignalen der Mikrofonkapseln beruhendes Ausgangssignal (So) wird erzeugt und ausgegeben. Die Signalverarbeitungseinheit (3200) arbeitet in einer von mindestens zwei Betriebsarten. In einer ersten Betriebsart wird ein gebündelter, dynamisch beweglicher Audiostrahl (3000b) erzeugt, um die Stimme eines einzelnen Sprechers zu erfassen, und in einer zweiten Betriebsart wird ein breiter, ungerichteter und statischer Standard-Audiostrahl (3000c) erzeugt. Die zweite Betriebsart kann z.B. bei Telefonaten verwendet werden, um bei Wiedergabe der Stimme eines an einem anderen Ort befindlichen Teilnehmers über Lautsprecher (1200) eine bessere automatische Echokompensation zu erleichtern, die in der ersten Betriebsart wegen des dynamisch veränderlichen Audiostrahls schwierig ist. Während die Gegenseite nur zuhört, wird kein Signal über den Lautsprecher (1200) wiedergegeben und die erste Betriebsart kann verwendet werden.

Description

Die Erfindung betrifft ein Mikrofonarray, ein Konferenzsystem mit einem Mikrofonarray sowie ein Verfahren zur Steuerung eines Mikrofonarrays.
Hintergrund
In einem Konferenzsystem muss das Sprachsignal eines oder mehrerer Teilnehmer, die sich typischerweise in einem Konferenzraum befinden, derart erfasst werden, dass es an abwesende Teilnehmer übertragen werden kann, d.h. an solche, die sich an einem anderen Ort befinden, um dort lokal wiedergegeben zu werden, oder aufgenommen oder anderweitig verarbeitet zu werden. Verschiedene Mikrofonanordnungen zum Erfassen von Sprachsignalen der Teilnehmer in einem Konferenzraum sind bekannt. 1 zeigt Teilnehmer 1010 in einem Konferenzraum 1000 mit Mikrofonen 1100, die auf einem Tisch 1020 angeordnet sind. Des Weiteren werden Sprachsignale abwesender (d.h. an einem anderen Ort befindlicher) Teilnehmer empfangen und im Konferenzraum üblicherweise über Lautsprecher 1200 wiedergegeben. Allerdings kann dabei ein störender Echoeffekt auftreten, da die Mikrofone 1100 die Lautsprecher 1200, die die Sprachsignale der abwesenden Teilnehmer wiedergeben, als Schallquellen erkennen. Daher sind Techniken zur akustischen Echokompensation (AEC) bekannt, die darauf abzielen, das Wiedergabesignal aus dem Mikrofonsignal zu entfernen. Normalerweise analysiert eine Echokompensationseinheit (AEC-Einheit) 1210 das Ausgabesignal der Mikrofone 1100 und das Eingangs-Audiosignal S_i und modelliert mittels adaptiver Filterung einen akustischen Übertragungspfad vom über die Lautsprecher 1200 wiederzugebenden Eingangs-Audiosignal S_i über die Luftübertragung bis zum Mikrofon 1100. Das Ausgangssignal der AEC-Einheit 1210 wird von den Ausgangssignalen der Mikrofone 1100 subtrahiert 1220, um das Echo zu kompensieren, damit nicht die an dem anderen Ort befindlichen Teilnehmer mit einer gewissen Verzögerung ihre eigene Stimme hören. Ein echokompensiertes Ausgangssignal S_o wird erhalten und den an dem anderen Ort befindlichen Teilnehmern bereitgestellt. Normalerweise wird die Adaption des adaptiven Filters kontinuierlich optimiert, während ein Eingangs-Audiosignal S_i empfangen wird. Wenn kein Eingangs-Audiosignal S_i empfangen wird bzw. wenn das Eingangs-Audiosignal S_i unterhalb eines Schwellwertes liegt, behält das adaptive Filter seine aktuellen Filterparameter bei.
US 9,894,434 B2 beschreibt ein Konferenzsystem, das ein Mikrofonarray mit mehreren auf oder in einer Platte angeordneten Mikrofonkapseln enthält. Die Platte kann an oder in einer Zimmerdecke z.B. eines Konferenzraumes montiert werden. Das Mikrofonarray benutzt Strahlformung (beam forming) und hat einen frei steuerbaren fokussierten Strahl und einen weiten Detektionswinkelbereich. Das Konferenzsystem enthält eine Signalverarbeitungseinheit, die dazu eingerichtet ist, die Ausgangssignale der Mikrofonkapseln zu empfangen und den Strahl in Abhängigkeit von den empfangenen Ausgangssignalen der Mikrofonkapseln dynamisch zu steuern. Somit wird der Strahl automatisch zu einer momentan stärksten detektierbaren Audioquelle bzw. Schallquelle hin gesteuert, bei der es sich normalerweise um eine einzelne sprechende Person in dem Konferenzraum handelt. Das Mikrofonarray kann Audioquellen kontinuierlich im Konferenzraum verfolgen und kann sehr schnell reagieren, wenn die Hauptaudioquelle sich innerhalb des Raums bewegt oder wenn eine andere Person im Raum zur Hauptaudioquelle wird.
Allerdings hat die Richtung des einstellbaren Strahls einen Einfluss auf den akustischen Übertragungspfad, der auch bei fokussiertem Strahl besteht. Daher muss ein AEC-System, um Echos im Ausgangssignal des Mikrofonarrays zu kompensieren, mit einer sehr schnellen Adaption seiner Filter reagieren, nämlich mindestens so schnell wie sich der steuerbare Strahl bewegt. AEC-Systeme in herkömmlichen Konferenzsystemen arbeiten fast statisch, da sie einen akustischen Übertragungspfad kompensieren, der sich relativ langsam oder überhaupt nicht ändert. Da der einstellbare Strahl praktisch jede beliebige Richtung annehmen kann, ergeben sich sehr viele verschiedene mögliche akustische Übertragungspfade. In US2012/0243698 A1 , wo allerdings nur Strahlen mit fest eingestellten Richtungen statt eines dynamisch steuerbaren Strahls benutzt werden, wird das Echoproblem dadurch gelöst, dass die Richtcharakteristik eine Lücke hat, so dass der Strahl nicht in Richtung des Lautsprechers zeigt. Dazu muss jedoch die Richtung des Lautsprechers relativ zum Mikrofonarray bekannt sein.
Zusammenfassung
Es ist ein Ziel der vorliegenden Erfindung, akustische Echokompensation (AEC) zu ermöglichen oder bereitzustellen für ein Mikrofonarray, das dynamische Strahlformung benutzt, und insbesondere ein Mikrofonarray des oben beschriebenen Typs.
In einer Ausführungsform betrifft die Erfindung eine Mikrofonarray-Vorrichtung bzw. ein Mikrofonarray. Das Mikrofonarray enthält eine Mehrzahl von Mikrofonkapseln, die in oder auf einer Platte angebracht sind, und eine Signalverarbeitungseinheit (im Folgenden als Verarbeitungseinheit bezeichnet), die dazu eingerichtet ist, die Ausgangssignale der Mikrofonkapseln zu empfangen und, in Abhängigkeit von den empfangenen Ausgangssignalen der Mikrofonkapseln, dynamisch einen Audiostrahl (d.h. eine Richtcharakteristik bzw. eine Richtung maximaler Empfindlichkeit) zu steuern. Die Verarbeitungseinheit ist des Weiteren dazu eingerichtet, in einer von mindestens zwei Betriebsarten zu arbeiten, einschließlich mindestens einer Betriebsart mit dynamischem Strahl (dynamic beam mode) und einer Betriebsart mit einem Standardstrahl (default beam mode).
In der Betriebsart mit dynamischem Strahl kann das Mikrofonarray Audioquellen innerhalb seines Detektionsbereichs, z.B. eines Konferenzraumes, detektieren und kontinuierlich verfolgen und kann sehr schnell reagieren, wenn sich der Hauptsprecher innerhalb des Raumes bewegt oder wenn eine andere Person in dem Raum zum Hauptsprecher wird. Insbesondere formt das Mikrofonarray in der Betriebsart mit dynamischem Strahl einen fokussierten Strahl, der die Stimme eines einzelnen Sprechers aufnehmen kann. In der Betriebsart mit einem Standardstrahl formt das Mikrofonarray eine breitere Richtcharakteristik, die nicht notwendigerweise auf irgendeine bestimmte Position im Raum ausgerichtet ist, sondern einen Standard-Detektionsbereich abdeckt. Somit ist die Form des Strahls in der Betriebsart mit Standardstrahl unabhängig von dem empfangenen Ausgangssignal der Mikrofonkapseln und damit unabhängig von jeglicher detektierten Audioquelle. Üblicherweise befindet sich auch der Lautsprecher, über den die Stimme eines nicht im Raum befindlichen Teilnehmers wiedergegeben wird, im Standard-Detektionsbereich. Der akustische Übertragungspfad vom Lautsprecher zum Mikrofonarray ist in der Betriebsart mit Standardstrahl jedoch zeitlich konstant, so dass sich die AEC automatisch darauf einstellen kann. Daher braucht die Position des Lautsprechers relativ zum Mikrofonarray nicht bekannt zu sein, denn ist es unerheblich, wo sich der Lautsprecher befindet.
Da sich die Betriebsart mit dynamischem Strahl und die Betriebsart mit Standardstrahl hauptsächlich in der Art unterscheiden können, in der die Ausgangssignale der Mikrofonkapseln verarbeitet werden, kann praktisch ohne Verzögerung zwischen beiden Betriebsarten umgeschaltet werden. Zusätzlich kann die Empfindlichkeit des Mikrofonarrays in der Betriebsart mit Standardstrahl reduziert sein gegenüber der Betriebsart mit dynamischem Strahl. Das Mikrofonarray hat einen Betriebsarten-Eingang (z.B. einen Betriebsarten-Eingangsanschluss), um ein Signal zu empfangen, das anzeigt, ob die Betriebsart mit Standardstrahl selektiert werden soll oder nicht.
In einer Ausführungsform ist das am Betriebsarten-Eingang empfangene Signal ein Signal, das anzeigt, ob ein an einem anderen Ort befindlicher Teilnehmer gerade spricht. Während der Betriebsarten-Eingang anzeigt, dass der an einem anderen Ort befindliche Teilnehmer spricht, schaltet die Verarbeitungseinheit in die Betriebsart mit Standardstrahl. Ein Vorteil dieser Betriebsart ist, dass eine Echokompensation einfacher und viel schneller eingerichtet werden kann, da eine AEC-Einheit einen Standard-Echokompensationsmodus benutzen kann, der unabhängig vom dynamischen Audiostrahl des Mikrofonarrays ist. Somit kann die AEC-Einheit einen Standard-Echokompensationsmodus nutzen, der statisch oder dynamisch an die Richtcharakteristik der Betriebsart mit Standardstrahl angepasst ist.
Ein weiterer Vorteil besteht darin, dass das Mikrofonarray wegen der breiten Richtcharakteristik weiterhin die Stimmen der Teilnehmer zumindest in einem Standardbereich des Konferenzraums erfasst, unabhängig davon, wo innerhalb des Standardbereichs sie sich befinden. Der Standardbereich kann den gesamten Konferenzraum oder einen beliebigen Teil davon abdecken. Daher bleibt es für einen lokalen Teilnehmer möglich, einen an einem anderen Ort befindlichen sprechenden Teilnehmer zu unterbrechen, weil das Mikrofonarray nicht abgeschaltet wird, während der an einem anderen Ort befindliche Teilnehmer spricht. Allgemein ist anzumerken, dass die Erfindung vorteilhaft für jegliche Echokompensation ist, zumindest für Mikrofonarrays, die dynamische Strahlsteuerung nutzen oder die Strahlausrichtungen schneller umschalten als die AEC folgen kann. Die Erfindung kann unabhängig von dem wiedergegebenen Signal genutzt werden, das z.B. ein sprechender, an einem anderen Ort befindlicher Teilnehmer oder irgendein anderes Audiosignal sein kann.
In einer weiteren Ausführungsform betrifft die Erfindung ein Konferenzsystem, das ein Mikrofonarray wie oben beschrieben, eine Audiowiedergabevorrichtung und eine Echokompensationsvorrichtung umfasst. Die Audiowiedergabevorrichtung ist dazu ausgelegt, ein von einer externen Schallquelle, wie z.B. einem an einem anderen Ort befindlichen Teilnehmer, empfangenes Audiosignal wiederzugeben. Die Echokompensationsvorrichtung ist dazu ausgelegt, ein Echokompensationssignal aus einem Eingangs-Audiosignal zu berechnen, das von einem an einem anderen Ort befindlichen Teilnehmer empfangen wurde, und das Echokompensationssignal vom Ausgangssignal des Mikrofonarrays abzuziehen. Das Konferenzsystem kann außerdem eine Aktivitäts-Detektionseinheit enthalten, die dazu ausgelegt ist, zu detektieren, ob der an einem anderen Ort befindliche Teilnehmer spricht, ein entsprechendes Detektionssignal zu erzeugen und das Detektionssignal als Betriebsarten-Steuersignal mindestens dem Mikrofonarray zuzuführen.
In einer Ausführungsform kann das Detektionssignal auch an die Echokompensationsvorrichtung ausgegeben werden und es inaktiv schalten oder ausschalten, während der an einem anderen Ort befindliche Teilnehmer nicht spricht, so dass keine Echos auftreten. In einer weiteren Ausführungsform kann die Aktivitäts-Detektionseinheit Teil der Echokompensationsvorrichtung sein, und die Echokompensationsvorrichtung führt das Detektionssignal als Betriebsarten-Steuersignal dem Mikrofonarray zu. Die Aktivitäts-Detektionseinheit kann eine Sprachaktivitäts-Detektionseinheit oder eine andere Schallaktivitäts-Detektionseinheit sein. Sie kann ihr Eingangssignal mit einem Schwellwert vergleichen und anzeigen, ob das Eingangssignal über dem Schwellwert liegt oder nicht.
In einer weiteren Ausführungsform betrifft die Erfindung ein Verfahren zum Steuern eines Mikrofonarrays, das mehrere Mikrofonkapseln enthält und das einen dynamisch steuerbaren Audiostrahl bilden kann. Das Verfahren enthält die Schritte Empfangen von Ausgangssignalen der Mikrofonkapseln, Steuern des Strahls entsprechend der empfangenen Ausgangssignale des Mikrofonarrays, Empfangen eines Betriebsarten-Kontrollsignals, und in Reaktion auf das Betriebsarten-Kontrollsignal Auswählen einer Betriebsart, wobei eine erste Betriebsart eine Betriebsart mit einem dynamischen Strahl ist, bei dem die Ausgangssignale der Mikrofonkapseln dynamisch so gesteuert werden, dass sie einen vom empfangenen Ausgangssignal abhängigen gebündelten Strahl formen. Der Strahl zeigt z.B. auf eine Hauptaudioquelle. Eine zweite Betriebsart ist eine Betriebsart mit einem Standardstrahl, wobei die Ausgangssignale mindestens einiger der Mikrofonkapseln so kombiniert werden, dass eine breitere Richtcharakteristik geformt wird, die unabhängig vom empfangenen Ausgangssignal ist und die auf einen Standard-Detektionsbereich zeigt. In einigen Ausführungsformen wird das Betriebsarten-Steuersignal abgeleitet aus einem Sprachaktivitätssignal, das anzeigt, ob ein an einem anderen Ort befindlicher Teilnehmer gerade spricht oder nicht. Die Betriebsart mit einem Standardstrahl wird dann ausgewählt, wenn das Sprachaktivitätssignal anzeigt, dass der am anderen Ort befindliche Teilnehmer gerade spricht.
Figurenliste
Einzelheiten und weitere vorteilhafte Ausführungsbeispiele der vorliegenden Erfindung werden im Folgenden mit Bezug auf die Zeichnungen beschrieben. Diese zeigen in

1 ein erstes bekanntes Konferenzsystem mit Echokompensation;
2 ein zweites bekanntes Konferenzsystem, das aber durch Echokompensation erweitert wurde;
3 ein erfindungsgemäßes Konferenzsystem in einer Ausführungsform, das in einer Echokompensations-Betriebsart arbeitet;
4 ein erfindungsgemäßes Konferenzsystem in einer Ausführungsform, das in einer Sprech-Betriebsart arbeitet;
5 eine exemplarische Ansicht eines Mikrofonarrays; und
6 ein exemplarisches Blockschaltbild eines Mikrofonarrays gemäß einer Ausfü h ru ngsform.

Detaillierte Beschreibung bevorzugter Ausführungsformen
2 zeigt ein bekanntes Konferenzsystem wie in US 9,894,434 B2 beschrieben, das hypothetisch durch eine Echokompensationseinheit (AEC-Einheit) 1210 erweitert wurde. Wie oben beschrieben, analysiert die AEC-Einheit 1210 das Audiosignal S_Proc2, das vom Mikrofonarray 2000 ausgegeben wird und das auf Signalen beruht, die von den Mikrofonkapseln 2001-2004 kommen, Die AEC-Einheit 1210 bildet durch ein adaptives Filter einen akustischen Übertragungspfad nach, der ein über die Lautsprecher 1200 wiederzugebendes externes Eingangs-Audiosignal S_i, Übertragung durch die Luft und Mikrofonkapseln 2001-2004 umfasst. Das Mikrofonarray 2000 benutzt dynamische Strahlformung, um den Strahl 2000b auf einen sprechenden Teilnehmer 1011 zu bündeln. Das Ausgangssignal der AEC-Einheit 1210 wird vom Ausgangssignal S_Proc2 des Mikrofonarrays 2000 abgezogen 1220, um Echosignale zu kompensieren. Allerdings hängt das adaptive Filter in der AEC-Einheit 1210, wie ebenfalls oben beschrieben, von der Richtung des Strahls 2000b ab. Bei den meisten bekannten Systemen ist diese konstant oder kann nur wenige verschiedene Werte annehmen. In US 9,894,434 B2 kann sie sich jedoch sehr schnell ändern, z.B. innerhalb von weniger als 100 ms oder zehnmal pro Sekunde. Wegen der adaptiv zu filternden Signale muss das Anpassen der adaptiven Filter aber notwendigerweise wenigstens länger dauern als das Audiosignal für die Übertragung über den akustischen Pfad benötigt, d.h. vom Lautsprecher 1200 über die Übertragung durch die Luft bis zum Mikrofonarray 2000. Somit muss das Filter permanent eingestellt werden, was viel Rechenleistung erfordert und zu einer adaptiven Filterung führt, die bei weitem nicht optimal ist.
3 zeigt ein Konferenzsystem gemäß einer Ausführungsform der Erfindung, die in einem Konferenzraum 1001 in einer Echokompensations-Betriebsart arbeitet. Das externe Eingangssignal S_i von dem an einem anderen Ort befindlichen Teilnehmer wird über Lautsprecher 1200 wiedergegeben und einer AEC-Einheit 1300 zugeführt. Die AEC-Einheit 1300 benutzt das externe Eingangssignal S_i und das Ausgangssignal S_Proc des Mikrofonarrays 3000, um ein Kompensationssignal zu erzeugen, und führt das Kompensationssignal einer Subtraktionseinheit 1220 zu. Die Subtraktionseinheit 1220 zieht das Kompensationssignal vom Audio-Ausgangssignal S_Proc des Mikrofonarrays 3000 ab, um ein Audio-Ausgangssignal S_o des Konferenzsystems zu erhalten. Das Ausgangssignal S_Proc des Mikrofonarrays 3000 kann ein durch den Audiostrahl 3000b (siehe 4), 3000c erhaltenes Audiosignal sein, das auf Ausgangssignalen der Mikrofonkapseln 3031-3034 beruht. Die AEC-Einheit 1300 liefert in diesem Beispiel außerdem ein Betriebsarten-Steuersignal S_M an das Mikrofonarray 3000. Beispielsweise kann das Betriebsarten-Steuersignal erzeugt werden von einer Sprachaktivitäts-Detektionseinheit 1310. Allgemein können die Sprachaktivitäts-Detektionseinheit 1310, die Subtraktionseinheit 1220 oder beide Teil der AEC-Einheit 1300 sein, müssen es aber nicht. Des Weiteren können, in verschiedenen Ausführungsformen, die AEC-Einheit 1300, die Subtraktionseinheit 1220 oder beide in das Mikrofonarray 3000 integriert sein.
Das Betriebsarten-Steuersignal S_M zeigt an, dass gerade ein Audiosignal über die Lautsprecher 1200 wiedergegeben wird, z.B. weil ein an einem anderen Ort befindlicher Teilnehmer gerade spricht. In Reaktion auf das Betriebsarten-Steuersignal S_M schaltet das Mikrofonarray 3000 in eine Betriebsart mit einem Standardstrahl. In der Betriebsart mit Standardstrahl wird ein Standard-Audiostrahl 3000c generiert, der breiter ist als der gebündelte Strahl der Betriebsart mit dynamischem Strahl und der unspezifisch ist, d.h. unabhängig von Ausgangssignalen der Mikrofonkapseln geformt und daher unabhängig von Schallquellen im Raum bzw. deren Position. Der Standard-Audiostrahl 3000c kann Schall aus dem gesamten Standard-Detektionsbereich erfassen, z.B. dem gesamten Konferenzraum einschließlich des Lautsprechers 1200. Der Standard-Audiostrahl 3000c kann z.B. symmetrisch zu einer Mittelachse 3000a sein. Da der Standard-Audiostrahl 3000c jedoch breit ist, kann er trotzdem die Stimmen von Teilnehmern 1010,1011 im Standard-Detektionsbereich erfassen. Daher wird das Sprachsignal eines Teilnehmers 1011 erfasst, der während der Betriebsart mit Standardstrahl zu sprechen beginnt, und an den Teilnehmer übertragen, der sich an dem anderen Ort befindet. Wenn dann der am anderen Ort befindliche Teilnehmer aufhört zu sprechen, schaltet das Konferenzsystem die Betriebsart mit Standardstrahl ab, wie weiter unten beschrieben.
In einer Ausführungsform ist es möglich, dass in der Betriebsart mit Standardstrahl Ausgangssignale nur einer Untergruppe der Mikrofonkapseln oder nur einer einzigen Mikrofonkapsel benutzt werden. In einer Ausführungsform kann der Standard-Audiostrahl 3000c einen Bereich direkt unterhalb des Mikrofonarrays abdecken, wie z.B. im Wesentlichen einen Konferenztisch.
4 zeigt dasselbe Konferenzsystem wie 3, aber in einer Betriebsart mit dynamischem Strahl. Im abgebildeten Beispiel wird gerade kein wiederzugebendes externes Eingangssignal S_i empfangen (d.h. das externe Eingangssignal zeigt Stille an) und daher wird kein Signal durch den Lautsprecher 1200 wiedergegeben. Folglich zeigt das Betriebsarten-Steuersignal S_M dem Mikrofonarray 3000 an, dass es die Betriebsart mit Standardstrahl abschalten und stattdessen z.B. in die Betriebsart mit dynamischem Strahl schalten kann. In der Betriebsart mit dynamischem Strahl analysiert das Mikrofonarray 3000 mehrere Richtungen gleichzeitig auf mögliche Audioquellen hin, detektiert, dass ein sprechender Teilnehmer 1011 eine Hauptaudioquelle im Raum darstellt, und richtet einen gebündelten Audiostrahl 3000b auf die Hauptaudioquelle, so dass die Stimme des sprechenden Teilnehmers erfasst wird. Der gebündelte Audiostrahl kann dabei in jede beliebige Richtung innerhalb des gesamten Detektionsbereichs des Mikrofonarrays gelenkt werden. Das Mikrofonarray 3000 kann mit der Suche nach Audioquellen fortfahren, während es den gebündelten Audiostrahl 3000b auf dem Sprecher hält, so dass wenn ein anderer Teilnehmer 1010 in dem Raum zu sprechen beginnt, die Stimme dieses anderen Teilnehmers 1010 sofort erfasst werden kann. Das Mikrofonarray kann bewegliche Audioquellen im Konferenzraum kontinuierlich verfolgen und sehr schnell reagieren, wenn z.B. eine andere Person 1010 im Raum zur Hauptaudioquelle wird. In einem Ausführungsbeispiel kann das Mikrofonarray 3000 permanent nach Audioquellen suchen und die Ausgangssignale der Mikrofonkapseln für die Suche nutzen.
In dem in 4 gezeigten Zustand arbeitet das Mikrofonarray 3000 in einer Betriebsart mit dynamischem Strahl, aber es wird in die Betriebsart mit Standardstrahl umschalten, wenn es ein externes Eingangssignal S_i, das oberhalb eines Schwellwertes liegt, und/oder eine entsprechende Indikation des Betriebsarten-Steuersignals S_M empfängt. In der Betriebsart mit Standardstrahl wie in 3 dargestellt wird das Mikrofonarray 3000 in eine Betriebsart mit dynamischer Strahlformung umschalten, wenn es ein „stilles“ externes Eingangssignal S_i (d.h. unterhalb des Schwellwertes) und/oder eine entsprechende Indikation des Betriebsarten-Steuersignals S_M empfängt. In einem Ausführungsbeispiel können beide Umschaltprozesse leicht verzögert sein, um ein Umschalten der Betriebsarten innerhalb kurzer Sprechpausen zu verhindern, z.B. zwischen Wörtern. In einem Ausführungsbeispiel kann das Mikrofonarray auch dann in die Betriebsart mit Standardstrahl schalten, wenn zumindest für eine bestimmte, vordefinierte Zeit Stille im Konferenzraum herrscht, selbst wenn der am anderen Ort befindliche Teilnehmer still ist oder gerade kein an einem anderen Ort befindlicher Teilnehmer verbunden ist. In einem Ausführungsbeispiel ist der Standard-Audiostrahl 3000c allgemein breiter und unspezifischer als der gebündelte Strahl der Betriebsart mit dynamischem Strahl, wobei dieser stärker oder nur schwach gebündelt sein kann. Der Standard-Audiostrahl deckt (nach einer einmaligen anfänglichen Anpassung) statisch einen Standard-Erfassungsbereich oder Standard-Detektionsbereich ab, der nicht unbedingt dem gesamten Konferenzraum entsprechen muss (z.B. nur ein Konferenztisch oder ein Podium). In einem Ausführungsbeispiel sind Strahlformungsparameter für den Standard-Audiostrahl, wie z.B. Verzögerungswerte, vordefinierte gespeicherte Werte. In einem Ausführungsbeispiel können mehrere vordefinierte Sätze von Strahlformungsparametern, die verschiedenen üblicherweise benutzten Standard-Strahlformen entsprechen, vorab gespeichert sein. Ein bestimmter Satz von Parametern kann in einer Setup- oder Konfigurationsprozedur ausgewählt werden. In einem anderen Ausführungsbeispiel können die Strahlformungsparameter einmalig durch dynamische Strahlformung automatisch bestimmt und dann gespeichert werden, z.B. in einer Setup- oder Konfigurationsprozedur. Wenn dann das Mikrofonarray 3000 in die Betriebsart mit Standardstrahl zurückschaltet, werden die gespeicherten Parameter abgerufen und für die Strahlformung verwendet.
5 zeigt exemplarisch in einer Ausführungsform eine Ansicht eines Mikrofonarrays 3000. In diesem Beispiel ähnelt die äußere Ansicht einem aus dem Stand der Technik bekannten Mikrofonarray. Mehrere Mikrofonkapseln 3001-3016 sind auf Diagonalen 3020a-3020d einer im Wesentlichen quadratischen Platte 3020 angeordnet, die an oder in einer Decke eines Konferenzraums montiert werden kann. Eine mittlere Mikrofonkapsel 3017 ist optional. Alle Mikrofonkapseln 3001-3017 befinden sich auf derselben Seite der Platte 3020 in geringem Abstand zur Oberfläche. Abstände zwischen benachbarten Mikrofonkapseln entlang der Diagonalen steigen mit größerem Abstand vom Mittelpunkt. Zumindest die Verarbeitungseinheit befindet sich innerhalb des Mikrofonarrays 3000, und Anschlüsse einschließlich des Betriebsarten-Eingangsanschlusses können sich auf der Rückseite befinden (nicht in 5 gezeigt).
6 zeigt exemplarisch ein Blockschaltbild eines Mikrofonarrays 3000 gemäß einer Ausführungsform. Das Mikrofonarray 3000 enthält eine Anordnung 3100 von mehreren Mikrofonkapseln 3001-3017 und eine Verarbeitungseinheit 3200. In einem Ausführungsbeispiel enthält die Verarbeitungseinheit 3200 eine Richtungsdetektionseinheit 3210 zum Detektieren einer Richtung einer Hauptaudioquelle, eine Strahlformungseinheit 3230 zur Steuerung der Ausgangssignale S_Cap der Mikrofonkapseln, um einen Audiostrahl zu bilden, eine Richtungssteuerungseinheit 3220 zur Steuerung der Strahlformungseinheit, um in die von der Richtungsdetektionseinheit detektierte Richtung zu zeigen, und/oder eine Betriebsarten-Steuerungseinheit 3240 zur Steuerung der Betriebsart des Mikrofonarrays so, dass es sich in einer von mindestens zwei Betriebsarten befindet.
Die Betriebsarten, die die Betriebsarten-Steuerungseinheit 3240 auswählen kann, umfassen mindestens eine Betriebsart mit dynamischem Strahl und mindestens eine Betriebsart mit Standardstrahl, wie oben beschrieben. Die Verarbeitungseinheit 3200, insbesondere die Richtungssteuerungseinheit 3220 oder die Strahlformungseinheit 3230, können einen Speicher enthalten oder darauf Zugriff haben, in dem Strahlformungsparameter mindestens für die Betriebsart mit Standardstrahl gespeichert sind. Optional kann der Speicher zusätzlich auch gerade benutzte Strahlformungsparameter der Betriebsart mit dynamischer Strahlformung speichern, z.B. wenn in die Betriebsart mit Standardstrahl umgeschaltet wird, so dass diese Parameter beim Zurückschalten in die andere Betriebsart sofort verfügbar sind. Diese Option ist gewöhnlich nicht nützlich für eine Betriebsart mit einem schnell reagierenden dynamischen Strahl wie oben beschrieben, aber kann in anderen Fällen vorteilhaft sein.
In dem in 6 abgebildeten Beispiel liefert die Richtungsdetektionseinheit 3210 ein Richtungssignal D_Det, das eine Richtung einer detektierten Hauptaudioquelle anzeigt. Es kann in beiden Betriebsarten genutzt werden, derjenigen mit dynamischem Strahl und derjenigen mit Standardstrahl, oder in der Betriebsart mit Standardstrahl abgeschaltet sein. Die Richtungssteuerungseinheit 3220 liefert Steuersignale DBF für die Strahlsteuerung, die abhängig von der Betriebsart sind. In der Betriebsart mit dynamischer Strahlsteuerung sind die Steuersignale D_BF für die Strahlsteuerung von den Ausgangssignalen S_Cap der Mikrofonkapseln abhängig und bewirken, dass die Strahlformungseinheit 3230 den Audiostrahl auf eine oder mehrere bestimmte Audioquellen fokussiert. In der Betriebsart mit Standardstrahl sind die Steuersignale DBF für die Strahlsteuerung dagegen unabhängig von den Ausgangssignalen S_Cap der Mikrofonkapseln (außer ggf. bei der Konfiguration) und bewirken, dass die Strahlformungseinheit 3230 aus den Ausgangssignalen S_Cap der Mikrofonkapseln eine breite oder sogar omnidirektionale Richtcharakteristik erzeugt. Das verarbeitete Audiosignal S_Proc, das aus der Strahlformung resultiert, wird ausgegeben.
Die Richtungssteuerungseinheit 3220 empfängt ein Betriebsarten-Eingangssignal von der Betriebsarten-Steuerungseinheit 3240. In einer anderen Ausführungsform kann die Betriebsarten-Steuerungseinheit 3240 stattdessen ein internes Betriebsarten-Steuersignal direkt an die Strahlformungseinheit 3230 liefern, die in der Betriebsart mit Standardstrahl z.B. einfach jegliche Strahlformung abschalten kann. Die Strahlformungseinheit 3230 kann einen Verzögerungs-und-Überlagerungs-Strahlformer (delay-and-sum beamformer) oder einen Filter-und-Überlagerungs-Strahlformer (filter-and-sum beamformer) oder irgendeinen anderen Strahlformer benutzen. Die Verarbeitungseinheit 3200 kann in zwei oder mehr getrennte Unterverarbeitungseinheiten aufgeteilt sein. Jede Verarbeitungseinheit oder Unterverarbeitungseinheit kann einen oder mehrere durch Software konfigurierbare Hardware-Prozessoren enthalten. Beispielsweise können die Strahlsteuerung und die Echokompensation durch zwei oder mehr getrennte Prozessoren erfolgen.
In einer Ausführungsform betrifft die Erfindung ein Verfahren zum Steuern eines Mikrofonarrays, das mehrere Mikrofonkapseln 3100 zur Erzeugung eines dynamisch steuerbaren Audiostrahls 3000b,3000c aufweist. Das Verfahren enthält die Schritte Empfangen von Ausgangssignalen S_Cap der Mikrofonkapseln 3001-3017, Steuern des Strahls in Abhängigkeit von den empfangenen Ausgangssignalen der Mikrofonkapseln des Mikrofonarrays, und Empfangen eines Betriebsarten-Steuersignals S_M. In Reaktion auf das Betriebsarten-Steuersignal S_M wird in einer Betriebsarten-Steuerungseinheit 3240 eine Betriebsart ausgewählt, wobei eine erste Betriebsart eine Betriebsart mit dynamischer Strahlsteuerung ist, in der die Ausgangssignale der Mikrofonkapseln dynamisch kombiniert werden, um einen Strahl 3000b zu bilden, der gebündelt ist und auf eine Hauptaudioquelle zeigt, und wobei eine zweite Betriebsart eine Betriebsart mit einem Standardstrahl ist, in der die Ausgangssignale einer oder mehrerer der Mikrofonkapseln kombiniert werden, um eine breitere Richtcharakteristik 3000c zu bilden, die einen Standard-Detektionsbereich abdeckt. Dies kann z.B. ein maximaler Schallquellen-Detektionsbereich des Mikrofonarrays oder ein überwiegender Teil davon sein.
In einem Ausführungsbeispiel wird das Betriebsarten-Steuersignal S_M abgeleitet von einem Sprachaktivitätssignal oder einem ähnlichen Signal, das anzeigt, ob eine an einem anderen Ort befindliche Schallquelle aktiv ist, z.B. ob ein an einem anderen Ort befindlicher Teilnehmer gerade spricht. Die Betriebsart mit Standardstrahl wird gewählt, wenn das Sprachaktivitätssignal oder das Betriebsarten-Steuersignal S_M anzeigt, dass die am anderen Ort befindliche Schallquelle aktiv ist bzw. dass der am anderen Ort befindliche Teilnehmer gerade spricht, so dass eine akustische Echokompensation durchzuführen ist.
Die Erfindung ist besonders vorteilhaft für Audio- und/oder Videokonferenzsysteme.
Zwar wurden mehrere verschiedene Ausführungsbeispiele beschrieben, aber es ist klar, dass auch solche Kombinationen von Merkmalen möglich sein können, die oben nicht beschrieben sind. Solche Kombinationen werden als innerhalb des Umfangs der Erfindung betrachtet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 9894434 B2 [0003, 0015]
US 2012/0243698 A1 [0004]

Claims

Mikrofonarray (3000) mit: - mehreren Mikrofonkapseln (3001-3017,3031-3034), die in oder auf einer Platte (3020) angebracht sind; und - einer Signalverarbeitungseinheit (3200), die einen oder mehr Prozessoren enthält und dazu eingerichtet ist, folgende Schritte auszuführen: - Empfangen von Ausgangssignalen der Mikrofonkapseln; - dynamisches Steuern eines Audiostrahls in Abhängigkeit von den empfangenen Ausgangssignalen der Mikrofonkapseln; und - Erzeugen und Ausgeben eines Audio-Ausgangssignals (S_Proc), das auf den empfangenen Ausgangssignalen der Mikrofonkapseln beruht; - wobei die Signalverarbeitungseinheit weiterhin dazu eingerichtet ist, in einer von mindestens zwei verschiedenen Betriebsarten zu arbeiten, die mindestens eine Betriebsart mit einem dynamischen Audiostrahl (3000b) und eine Betriebsart mit einem Standard-Audiostrahl (3000c) umfassen, wobei das Mikrofonarray innerhalb eines Erfassungsbereichs kontinuierlich Schallquellen detektieren kann, und - wobei in der Betriebsart mit dynamischem Audiostrahl mindestens ein gebündelter Audiostrahl (3000b) gebildet wird, der auf eine detektierte Schallquelle zeigt, und wobei in der Betriebsart mit Standard-Audiostrahl ein breiterer Audiostrahl (3000c) gebildet wird, der im Wesentlichen einen Standard-Detektionsbereich des Mikrofonarrays abdeckt, und wobei der breitere Audiostrahl (3000c) unabhängig ist von dem empfangenen Ausgangssignal der Mikrofonkapseln.
Mikrofonarray nach Anspruch 1, wobei die Signalverarbeitungseinheit (3200) folgendes enthält: - eine Strahlformungseinheit (3230), um Ausgangssignale der Mikrofonkapseln miteinander zu kombinieren, um einen Audiostrahl zu bilden; - eine Richtungsdetektionseinheit (3210), um aus den empfangenen Ausgangssignalen der Mikrofonkapseln die Richtung einer Schallquelle zu detektieren; - eine Richtungssteuerungseinheit (3220), um die Strahlformungseinheit so zu steuern, dass der Audiostrahl in die detektierte Richtung zeigt; und - eine Betriebsarten-Steuerungseinheit (3240), um das Mikrofonarray in einer der mindestens zwei verschiedenen Betriebsarten zu betreiben.
Mikrofonarray nach Anspruch 1 oder 2, wobei die Signalverarbeitungseinheit (3200) folgendes enthält: - einen Eingangsanschluss, um ein Betriebsarten-Steuersignal (S_M) zu empfangen, das anzeigt, ob innerhalb des Erfassungsbereichs des Mikrofonarrays ein Audiosignal über Lautsprecher wiedergegeben wird, wobei die Betriebsarten-Steuerungseinheit (3220) in die Betriebsart mit Standardstrahl schaltet, wenn das Betriebsarten-Steuersignal (S_M) anzeigt, dass ein solches Audiosignal wiedergegeben wird.
Mikrofonarray nach einem der Ansprüche 1-3, weiterhin mit einem Speicher, um vordefinierte Strahlformungsparameter zu speichern, die in der Betriebsart mit Standardstrahl benutzt werden.
Mikrofonarray nach einem der Ansprüche 1-4, wobei die vordefinierten Strahlformungsparameter in einer Konfigurationsprozedur automatisch ermittelt werden, wobei die Konfigurationsprozedur einen dynamischen Audiostrahl nutzt.
Mikrofonarray nach einem der Ansprüche 1-5, wobei der Standard-Detektionsbereich ein maximaler Erfassungsbereich des Mikrofonarrays ist.
Mikrofonarray nach einem der Ansprüche 1-6, wobei der gebündelte Audiostrahl (3000b) in jede Richtung innerhalb des Erfassungsbereichs des Mikrofonarrays gelenkt werden kann und so gebildet wird, dass er eine einzelne Person erfasst, und wobei der Standard-Audiostrahl (3000c) so gebildet wird, dass er mehrere Personen erfasst, die sich innerhalb des Standard-Detektionsbereichs befinden.
Mikrofonarray nach einem der Ansprüche 1-7, wobei eine Schallempfindlichkeit des Mikrofonarrays in der Betriebsart mit Standard-Audiostrahl reduziert ist gegenüber der Betriebsart mit dynamischem Audiostrahl.
Konferenzsystem mit einem Mikrofonarray nach einem der Ansprüche 1-8, und weiterhin mit - einer Audiowiedergabevorrichtung (1200), um ein von einer externen Schallquelle empfangenes Eingangs-Audiosignal (S_i) wiederzugeben; - einer Echokompensationsvorrichtung (1300), um ein Echokompensationssignal aus dem empfangenen Eingangs-Audiosignal (S_i) zu berechnen und das berechnete Echokompensationssignal vom Audio-Ausgangssignal (S_Proc) des Mikrofonarrays abzuziehen, wobei ein echokompensiertes Audio-Ausgangssignal (S_o) des Konferenzsystems erhalten wird; und - eine Aktivitäts-Detektionseinheit (1310), um das Eingangs-Audiosignal (S_i) zu empfangen und in Abhängigkeit vom Eingangs-Audiosignal (S_i) ein Betriebsarten-Steuersignal (S_M) zu erzeugen, das anzeigt, ob das über die Audiowiedergabevorrichtung (1200) wiedergegebene Eingangs-Audiosignal hörbaren Schall innerhalb des Erfassungsbereichs des Mikrofonarrays erzeugt, - wobei die Aktivitäts-Detektionseinheit (1310) das Betriebsarten-Steuersignal (S_M) dem Mikrofonarray zuführt; und - wobei das Mikrofonarray automatisch in die Betriebsart mit Standard-Audiostrahl schaltet, wenn das Betriebsarten-Steuersignal (S_M) anzeigt, dass hörbarer Schall innerhalb des (maximalen) Erfassungsbereichs des Mikrofonarrays wiedergegeben wird, und anderenfalls in die Betriebsart mit dynamischem Audiostrahl schaltet.
Verfahren zur Steuerung eines Mikrofonarrays (3000), das mehrere Mikrofonkapsein (3001-3017,3031-3034) aufweist und das einen steuerbaren Audiostrahl zur Erfassung von Audiosignalen bilden kann, mit den Schritten: - Empfangen von Ausgangssignalen der Mikrofonkapseln (S_Cap); - Steuern des Audiostrahls in Abhängigkeit von den empfangenen Ausgangssignalen der Mikrofonkapseln; - Empfangen eines Betriebsarten-Steuersignals (S_M); und - Auswählen einer Betriebsart mindestens für das Steuern des Audiostrahls in Reaktion auf das Betriebsarten-Steuersignal (S_M), wobei eine erste Betriebsart eine Betriebsart mit dynamischem Audiostrahl ist, in der die Ausgangssignale der Mikrofonkapseln dynamisch so gesteuert werden, dass sie einen Strahl (3000b) bilden, der auf eine momentane Hauptaudioquelle zeigt, und eine zweite Betriebsart eine Betriebsart mit Standard-Audiostrahl ist, in der aus den Ausgangssignalen einer oder mehrerer der Mikrofonkapseln eine breitere Richtcharakteristik (3000c) gebildet wird, die auf einen Standard-Detektionsbereich zeigt.
Verfahren nach Anspruch 10, wobei der Standard-Detektionsbereich der maximale Detektionsbereich des Mikrofonarrays ist.
Verfahren nach Anspruch 10 oder 11, wobei der gebündelte Audiostrahl (3000b) in der Betriebsart mit dynamischer Strahlsteuerung in jede Richtung innerhalb des Erfassungsbereichs des Mikrofonarrays gelenkt werden kann und so ausgelegt ist, dass er die Stimme eines einzelnen Sprechers erfassen kann, und wobei der Standard-Audiostrahl (3000c) so ausgelegt ist, dass Stimmen mehrerer Personen gleichzeitig erfasst werden können, die sich innerhalb des Standard-Detektionsbereichs befinden.