DE102012220688A1 - Method of operating a telephone conference system and telephone conference system - Google Patents

Method of operating a telephone conference system and telephone conference system Download PDF

Info

Publication number
DE102012220688A1
DE102012220688A1 DE201210220688 DE102012220688A DE102012220688A1 DE 102012220688 A1 DE102012220688 A1 DE 102012220688A1 DE 201210220688 DE201210220688 DE 201210220688 DE 102012220688 A DE102012220688 A DE 102012220688A DE 102012220688 A1 DE102012220688 A1 DE 102012220688A1
Authority
DE
Germany
Prior art keywords
audio
audio signal
audio signals
activity
linguistic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201210220688
Other languages
German (de)
Inventor
Christian Hoene
Michael Haun
Patrick Schreiner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Symonics GmbH
Original Assignee
Symonics GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Symonics GmbH filed Critical Symonics GmbH
Priority to DE201210220688 priority Critical patent/DE102012220688A1/en
Priority to PCT/EP2013/073720 priority patent/WO2014076129A1/en
Publication of DE102012220688A1 publication Critical patent/DE102012220688A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/50—Aspects of automatic or semi-automatic exchanges related to audio conference
    • H04M2203/5072—Multiple active speakers

Abstract

Ein Verfahren zum Betreiben eines Telefonkonferenzsystems für mindestens zwei Gesprächsteilnehmer weist folgende Schritte auf: Ermitteln einer sprachlichen Aktivität eines jeweiligen Gesprächsteilnehmers und für den Fall, dass bei mehr als einem Gesprächsteilnehmer eine sprachliche Aktivität ermittelt wird, Wiedergeben nur einer einzelnen sprachlichen Aktivität und zeitverzögertes Wiedergeben der verbleibenden sprachlichen Aktivitäten.A method for operating a telephone conference system for at least two interlocutors has the following steps: Determining a linguistic activity of a respective interlocutor and, in the event that a linguistic activity is determined for more than one interlocutor, only a single linguistic activity is played back and the remaining ones are played back with a delay linguistic activities.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Telefonkonferenzsystems und ein Telefonkonferenzsystem.The invention relates to a method for operating a telephone conference system and a telephone conference system.

In Zuge einer Telefonkonferenz werden auf Sprache basierende Audiosignale der jeweiligen Gesprächsteilnehmer der Telefonkonferenz gemischt, so dass ein jeweiliger Gesprächsteilnehmer die anderen Gesprächsteilnehmer hören kann. Ein System, das mehrere Gesprächsteilnehmer derart zusammenschaltet, wird als Telefonkonferenzsystem bezeichnet.In the course of a telephone conference, speech-based audio signals of the respective call participants of the telephone conference are mixed so that a respective call participant can hear the other call participants. A system that interconnects several call participants in this way is called a telephone conference system.

Bei Telefonkonferenzsystemen, die zur Übertragung von auf Sprache basierenden Audiosignalen einkanalige (mono) Übertragungskanäle verwenden, sollte vermieden werden, dass mehrere Gesprächsteilnehmer gleichzeitig sprechen, da basierend auf dem überlagerten Audiosignal ein Separieren der Gesprächsteilnehmer nur schwer möglich ist.For teleconferencing systems that use single-channel (mono) transmission channels to transmit audio-based audio signals, it is best to avoid having multiple interlocutors speak at the same time, as it is difficult to separate participants based on the overlaid audio signal.

In einer klassischen Telefonkonferenz basierend auf einkanaliger Audiosignalübertragung entscheidet daher typischer Weise ein Moderator darüber, wer gerade sprechen darf. In der Regel versuchen alle Gesprächsteilnehmer es zu vermeiden, anderen ins Wort zu fallen.In a traditional conference call based on single-channel audio signal transmission, a moderator typically decides who is allowed to speak. As a rule, all participants in the conversation try to avoid interrupting others.

Eine technologisch anspruchsvolle Alternative um mit mehreren gleichzeitigen Gesprächsteilnehmern bzw. Sprechern umzugehen ist die Verwendung von Raumklang-, Surround- oder Stereoübertragungstechnologien. Ein Hörer kann nämlich Stimmen, die aus unterschiedlichen Richtungen kommen, separieren und sich auf eine fokussieren. Dies wird auch Cocktail-Party-Effekt genannt.A technologically sophisticated alternative to deal with multiple simultaneous conversation participants or speakers is the use of surround sound, surround or stereo transmission technologies. For a listener can separate voices that come from different directions and focus on one. This is also called cocktail party effect.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Betreiben eines Telefonkonferenzsystems und ein Telefonkonferenzsystem zur Verfügung zu stellen, die die Verwendung einkanaliger (mono) Übertragungskanäle bei gleichzeitiger Separierbarkeit der einzelnen Gesprächsanteile ermöglichen, ohne dass beispielweise ein Moderator entscheidet, wer gerade sprechen darf. The invention has for its object to provide a method for operating a telephone conference system and a telephone conference system available, which allow the use of single-channel (mono) transmission channels while separability of the individual call shares without, for example, a moderator decides who may speak.

Die Erfindung löst diese Aufgabe durch ein Verfahren nach Anspruch 1 und ein Telefonkonferenzsystem nach Anspruch 2.The invention achieves this object by a method according to claim 1 and a telephone conference system according to claim 2.

Das Verfahren dient zum Betreiben eines Telefonkonferenzsystems für mindestens zwei (Gesprächs-)Teilnehmer.The method is used to operate a telephone conference system for at least two (conversation) participants.

Das Verfahren weist folgende Schritte auf:
Es wird, insbesondere fortlaufend, eine sprachliche Aktivität eines jeweiligen Gesprächsteilnehmers ermittelt, d.h. es wird beispielsweise ermittelt, ob ein jeweiliger Gesprächsteilnehmer spricht oder schweigt.The method comprises the following steps:
It is, in particular continuously, a linguistic activity of a respective conversation participant determined, ie, it is determined, for example, whether a respective participant speaks or is silent.

Für den Fall, dass bei mehr als einem Gesprächsteilnehmer eine sprachliche Aktivität ermittelt wird, d.h. es sprechen mehrere Gesprächsteilnehmer gleichzeitig, wird nur eine einzelne sprachliche Aktivität (d.h. der Gesprächsbeitrag eines einzelnes Gesprächsteilnehmers) zu einem Zeitpunkt wiedergegeben und die verbleibenden sprachlichen Aktivitäten bzw. Gesprächsbeiträge werden zeitverzögert nacheinander wiedergegeben. Hierbei können die sprachlichen Aktivitäten in der Reihenfolge ihres zeitlichen Entstehens sequentiell wiedergegeben werden.In the event that a linguistic activity is detected in more than one interviewee, i. if several call participants are speaking at the same time, only a single linguistic activity (i.e., the conversation contribution of a single conversation participant) is played back at a time, and the remaining linguistic activities or conversational messages are played back one after the other with a time delay. Here, the linguistic activities can be sequentially reproduced in the order of their temporal origin.

Die Ermittlung der sprachlichen Aktivität kann eine so genannte Voice Activity Detection (VAD) umfassen. Grundsätzlich wird im Zuge der VAD die Anwesenheit oder Abwesenheit menschlicher Sprache bzw. eines Gesprächsbeitrags ermittelt, d.h. es wird ermittelt, ob ein Gesprächsteilnehmer schweigt oder spricht. Mittels VAD kann folglich Stille und Sprachaktivität ermittelt bzw. erkannt werden. Ein Umschalten zwischen Gesprächsteilnehmern oder Gesprächsbeiträgen kann beispielsweise am Beginn einer Sprachpause durchgeführt werden. Im Übrigen sei auch auf die einschlägige Fachliteratur verwiesen.The determination of the linguistic activity may include a so-called Voice Activity Detection (VAD). Basically, in the course of the VAD, the presence or absence of human speech or conversation contribution is determined, i. It is determined whether a conversation participant is silent or speaks. Consequently, silence and speech activity can be detected or recognized by means of VAD. Switching between conversation participants or conversation contributions can be carried out, for example, at the beginning of a speech break. Incidentally, reference is also made to the relevant specialist literature.

Die Ermittlung der sprachlichen Aktivität kann weiter basierend darauf durchgeführt werden, ob es sich um wichtige oder unwichtige Sprachsegmente handelt. Für den Fall eines als wichtig klassifizierten Audiosignals bzw. Sprachsegments, wird eine sprachliche Aktivität ermittelt oder erkannt. Für den Fall eines als nicht wichtig klassifizierten Audiosignals bzw. Sprachsegments, wird keine sprachliche Aktivität ermittelt oder erkannt.Linguistic activity determination can be further performed based on whether important or unimportant speech segments are involved. In the case of an audio signal or speech segment classified as important, a linguistic activity is determined or recognized. In the case of a classified as not important audio signal or speech segment, no linguistic activity is detected or detected.

Audiosignale verschiedener Gesprächsteilnehmer, in denen mehrere Sprachsegmente präsent sind, die als unwichtig und somit nicht als sprachliche Aktivität klassifiziert sind, können miteinander gemischt und gleichzeitig wiedergegeben werden. Unwichtige Teile wären zum Beispiel Sprachsegmente, in denen sich Sprachmerkmale nicht verändern, beispielsweise während eines „aaah“. Audio signals of different participants in which several speech segments are present, which are classified as unimportant and thus not as linguistic activity, can be mixed together and played back at the same time. Unimportant parts would be, for example, speech segments in which speech characteristics do not change, for example during an "aaah".

Lediglich bei wichtigen Sprachsegmenten, d.h. bei ermittelter sprachlicher Aktivität, ist ein Mischen und gleichzeitiges Wiedergeben nicht empfehlenswert, da die unterschiedlichen und miteinander gemischten Gesprächsanteile von einem Hörer nur schwer wieder separierbar sind, so dass die wichtigen Gesprächsanteile nacheinander wiederzugeben sind, obwohl sie zumindest teilweise gleichzeitig entstehen. Wichtige Teile sind in der Regel die Anlaute (Onsets), sobald angefangen wird zu sprechen.Only in important speech segments, i. with determined linguistic activity, a mixing and simultaneous playback is not recommended, since the different and mixed conversation parts are difficult to separate again by a listener, so that the important parts of the conversation are reproduced in succession, although they arise at least partially simultaneously. Important parts are usually the onsets as soon as you start talking.

Wenn ein so genannter Codec verwendet wird, der mit variabler Bitrate ein Audiosignal in Form eines Audio-Stroms komprimiert, kann eine sprachliche Aktivität dann mit hoher Wahrscheinlichkeit ausgeschlossen werden, wenn der Codec einen komprimierten Datenstrom mit geringer Bitrate erzeugt.If a so-called codec is used, the variable bit rate audio signal in the form compressed audio stream, a linguistic activity can then be excluded with high probability, if the codec produces a compressed data stream with a low bit rate.

Darüber hinaus ist es möglich, die Audiosignale in die Frequenzdomäne zu transformieren und zu untersuchen, ob sich die Audiosignale in einem oder mehreren Frequenzbändern überlagern. Wenn eine Überlagerung vorliegt, wird auf eine gleichzeitige sprachliche Aktivität geschlossen und es erfolgt keine gleichzeitige Wiedergabe. Wenn keine Überlagerung vorliegt, kann gemischt und gleichzeitig wiedergegeben werden. So würden zum Beispiel eine hohe und eine tiefe Stimme gleichzeitig wiedergegeben werden, wohingegen zwei gleichhohe Stimmen nicht gemischt und gleichzeitig wiedergegeben werden.In addition, it is possible to transform the audio signals into the frequency domain and to examine whether the audio signals are superimposed in one or more frequency bands. If there is an overlay, a simultaneous linguistic activity is concluded and no simultaneous playback occurs. If there is no overlay, it can be mixed and played simultaneously. For example, one high and one low voice would be played simultaneously, whereas two equally high voices would not be mixed and played simultaneously.

Eine Kombination der oben genannten Verfahren ist möglich.A combination of the above methods is possible.

Das Telefonkonferenzsystem ist für mindestens zwei Gesprächsteilnehmer vorgesehen und ist bevorzugt zur Durchführung des oben genannten Verfahrens ausgebildet.The telephone conference system is intended for at least two call participants and is preferably designed to carry out the above-mentioned method.

Das Telefonkonferenzsystem umfasst mindestens zwei Audiosignalquellen, wobei eine jeweilige Audiosignalquelle einem Gesprächsteilnehmer zugeordnet und dazu ausgebildet ist, in Abhängigkeit von einer sprachlichen Aktivität des Gesprächsteilnehmers ein Audiosignal zu erzeugen. Das Audiosignal kann ein analoges Audiosignal sein. Typisch handelt es sich jedoch um ein digitales Audiosignal.The telephone conference system comprises at least two audio signal sources, wherein a respective audio signal source is assigned to a conversation participant and is adapted to generate an audio signal depending on a speech activity of the conversation participant. The audio signal may be an analog audio signal. Typically, however, it is a digital audio signal.

Weiter ist mindestens ein Puffer bzw. Zwischenspeicher vorgesehen, wobei der Zwischenspeicher dazu ausgebildet ist, zumindest einen Teil eines jeweiligen Audiosignals zwischenzuspeichern. Der Zwischenspeicher kann als First-In-First-Out-Speicher ausgebildet sein. Der Zwischenspeicher kann weiter als Ringspeicher ausgebildet sein. Weiter kann der Zwischenspeicher das (digitale) Audiosignal in Abhängigkeit von einem Steuersignal speichern, das von einer Steuereinrichtung bei Speicherungsbedarf erzeugt wird. Der Zwischenspeicher kann ein elektrischer Speicher, beispielsweise RAM, magnetischer Speicher, usw. sein. Es kann genau ein Zwischenspeicher vorgesehen sein oder es kann pro Audiosignal ein Zwischenspeicher vorgesehen sein.Furthermore, at least one buffer or buffer is provided, wherein the buffer is designed to buffer at least a part of a respective audio signal. The buffer can be designed as a first-in-first-out memory. The buffer can be further configured as a ring memory. Further, the latch may store the (digital) audio signal in response to a control signal generated by a controller upon storage need. The buffer may be an electrical memory such as RAM, magnetic memory, etc. It can be provided exactly one buffer or it can be provided per audio signal a buffer.

Weiter ist mindestens eine Sprachaktivitätserkennungseinrichtung vorgesehen, die dazu ausgebildet ist, eine sprachliche Aktivität in einem jeweiligen Audiosignal zu ermitteln. Die Sprachaktivitätserkennungseinrichtung kann als Mikroprozessor ausgebildet sein, auf dem eine geeignete Sprachaktivitätserkennungssoftware abläuft. Es kann genau eine Sprachaktivitätserkennungseinrichtung vorgesehen sein oder es kann pro Audiosignal eine Sprachaktivitätserkennungseinrichtung vorgesehen sein.Furthermore, at least one voice activity recognition device is provided, which is designed to determine a linguistic activity in a respective audio signal. The voice activity recognition device can be designed as a microprocessor on which runs a suitable voice activity recognition software. It can be provided exactly one voice activity recognition device or it can be provided per audio signal voice activity recognition device.

Weiter ist eine (digitale) Audiosignalmischeinrichtung vorgesehen, die dazu ausgebildet ist, (digitale) Eingangsaudiosignale miteinander zu mischen und die gemischten Eingangsaudiosignale als Ausgangsaudiosignal auszugeben. Das Ausgangsaudiosignal kann gleichzeitig an mehreren Ausgängen der Audiosignalmischeinrichtung ausgegeben werden.Furthermore, a (digital) audio signal mixing device is provided, which is designed to mix (digital) input audio signals with each other and to output the mixed input audio signals as output audio signal. The output audio signal may be output simultaneously to a plurality of outputs of the audio signal mixing device.

Weiter sind mindestens zwei Lautsprecher vorgesehen, wobei ein Lautsprecher einem Gesprächsteilnehmer zugeordnet ist, das Ausgangsaudiosignal der Audiosignalmischeinrichtung empfängt und als korrespondierendes Schallsignal ausgibt.Furthermore, at least two loudspeakers are provided, wherein a loudspeaker is assigned to a conversation participant, receives the output audio signal of the audio signal mixing device and outputs it as a corresponding sound signal.

Eine Steuereinrichtung des Telefonkonferenzsystems ist dazu ausgebildet, für den Fall, dass in mehr als einem einzelnen der Audiosignale eine sprachliche Aktivität erkannt wird, nur ein einzelnes derjenigen Audiosignale, in denen eine sprachliche Aktivität erkannt wird, an die Audiosignalmischeinrichtung als Audioeingangssignal auszugeben und die nicht an die Audiosignalmischeinrichtung als Audioeingangssignal ausgegebenen Audiosignale, in denen eine sprachliche Aktivität erkannt wird, in dem Zwischenspeicher zwischenzuspeichern, d.h. beispielsweise den Zwischenspeicher zum Zwischenspeichern der Audiosignale anzusteuern, und zeitverzögert als Audioeingangssignal an den Audiosignalmischeinrichtung auszugeben, damit diese zeitverzögert wiedergegeben werden. Die Audiosignale können vor ihrer Wiedergabe ausschließlich während ihrer ermittelten sprachlichen Aktivität zwischengespeichert werden.A control device of the teleconferencing system is adapted, in the event that in more than one of the audio signals, a linguistic activity is detected, only a single one of those audio signals in which a linguistic activity is detected, output to the audio signal mixing device as an audio input signal and not the audio signal mixing device as an audio input signal output audio signals in which a linguistic activity is detected, to be buffered in the cache, ie For example, to control the buffer for buffering the audio signals, and output delayed as an audio input signal to the audio signal mixing device, so that they are displayed with a time delay. The audio signals can be cached before their reproduction exclusively during their determined linguistic activity.

Die Steuereinrichtung kann dazu ausgebildet sein, für den Fall, dass in keinem der Audiosignale eine sprachliche Aktivität erkannt wird, zu überprüfen, ob zwischengespeicherte Audiosignale vorhanden sind, und falls zwischengespeicherte Audiosignale vorhanden sind, die zwischengespeicherten Audiosignale einzeln nacheinander oder gemischt so lange an den Audiosignalmischeinrichtung als Audioeingangssignale auszugeben, bis keine zwischengespeicherten Audiosignale mehr vorhanden sind.The control device may be designed to check, in the event that no linguistic activity is detected in any of the audio signals, whether cached audio signals are present, and if cached audio signals are present, the cached audio signals one by one or mixed so long to the audio signal mixing device output as audio input signals until no cached audio signals are present.

Die Steuereinrichtung kann dazu ausgebildet sein, für den Fall, dass in keinem der Audiosignale eine sprachliche Aktivität erkannt wird und keine zwischengespeicherten Audiosignale vorhanden sind, sämtliche Audiosignale als Audioeingangssignale an die Audiosignalmischeinrichtung auszugeben.The control device can be designed to be in the event that in any of the audio signals a linguistic activity is detected and no cached audio signals are present to output all the audio signals as audio input signals to the audio signal mixing device.

Die Steuereinrichtung kann dazu ausgebildet sein, für den Fall, dass nur in einem einzelnen der Audiosignale eine sprachliche Aktivität erkannt wird und keine zwischengespeicherten Audiosignale vorhanden sind, nur das Audiosignal, in dem eine sprachliche Aktivität erkannt wird, als Audioeingangssignal an die Audiosignalmischeinrichtung auszugeben.The control device may be configured to output only the audio signal in which a linguistic activity is recognized as audio input signal to the audio signal mixing device in the event that a linguistic activity is detected in only one of the audio signals and no cached audio signals are present.

Die Audiosignale können Mono-Audiosignale sein.The audio signals can be mono audio signals.

Die Audiosignalquellen können Mikrofone von Headsets und/oder Telefonhörern sein und die Lautsprecher können die Lautsprecher der Headsets bzw. Telefonhörer sein, d.h. in die Headsets und/oder die Telefonhörer integriert sein.The audio signal sources may be microphones of headsets and / or telephone handsets, and the loudspeakers may be the speakers of the headsets or handset, i. be integrated into the headsets and / or the telephone handset.

Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung beschrieben. Hierbei zeigt schematisch:The invention will be described below with reference to the drawing. This shows schematically:

1 ein Telefonkonferenzsystem für mehrere Gesprächsteilnehmer. 1 a conference call system for several call participants.

1 zeigt ein Telefonkonferenzsystem für mehrere Gesprächsteilnehmer. 1 shows a conference call system for several call participants.

Das Telefonkonferenzsystem weist exemplarisch zwei Audiosignalquellen in Form von Mikrofonen 1_1 und 1_2 von zwei Telefonhörern oder Headsets und zwei Lautsprecher 5_1 und 5_2 auf, die Teil der Telefonhörer bzw. Headsets sind. By way of example, the telephone conference system has two audio signal sources in the form of microphones 1_1 and 1_2 from two telephone handsets or headsets and two speakers 5_1 and 5_2 which are part of the telephone receiver or headsets.

Die Mikrofone 1_1 und 1_2 sind einem Gesprächsteilnehmer zugeordnet und dazu ausgebildet, in Abhängigkeit von einer sprachlichen Aktivität des jeweiligen Gesprächsteilnehmers ein Mono-Audiosignal AS_1 bzw. AS_2 zu erzeugen. Die Audiosignale AS_1 und AS_2 sind digitale Audiosignale, wobei die Digitalisierung der sprachlichen Aktivität in den Mikrofonen oder in einem nachgeschalteten, nicht näher dargestellten A/D-Wandler erfolgen kann. The microphones 1_1 and 1_2 are assigned to a conversation participant and designed to generate a mono audio signal AS_1 or AS_2 depending on a linguistic activity of the respective conversation participant. The audio signals AS_1 and AS_2 are digital audio signals, wherein the digitization of the linguistic activity in the microphones or in a downstream, not shown A / D converter can take place.

Das Telefonkonferenzsystem weist weiter zwei Zwischenspeicher 2_1 und 2_2 auf, wobei ein jeweiliger Zwischenspeicher 2_1 und 2_2 dazu ausgebildet ist, ein zugehöriges Audiosignal AS_1 bzw. AS_2 in Abhängigkeit von einem von einer Steuereinrichtung 6a und 6b bei Speicherbedarf erzeugten Speichersteuersignal zwischenzuspeichern.The teleconferencing system further has two buffers 2_1 and 2_2 on, with a respective cache 2_1 and 2_2 is adapted to an associated audio signal AS_1 or AS_2 in response to one of a control device 6a and 6b to buffer memory generated memory requirement memory.

Das Telefonkonferenzsystem weist weiter eine Sprachaktivitätserkennungseinrichtung 3 auf, die dazu ausgebildet ist, eine sprachliche Aktivität in einem jeweiligen Audiosignal AS_1 und AS_2 zu ermitteln bzw. zu erkennen und das Ergebnis der Ermittlung an die Steuereinrichtung 6a und 6b zu übermitteln.The telephone conference system further comprises a voice activity recognition device 3 which is adapted to detect or recognize a linguistic activity in a respective audio signal AS_1 and AS_2 and the result of the determination to the control device 6a and 6b to convey.

Weiter ist eine (digitale) Audiosignalmischeinrichtung 4 vorgesehen, die dazu ausgebildet ist, Eingangsaudiosignale miteinander zu mischen und die gemischten Eingangsaudiosignale als Ausgangsaudiosignal OS an exemplarisch zwei Ausgangsanschlüssen auszugeben.Next is a (digital) audio signal mixing device 4 is provided, which is adapted to mix input audio signals with each other and output the mixed input audio signals as output audio signal OS at exemplarily two output terminals.

Die Steuereinrichtung weist Komponenten 6a und 6b auf. The control device has components 6a and 6b on.

Die Steuereinrichtungskomponente 6a ist mit der Sprachaktivitätserkennungseinrichtung 3 in Datenverbindung und erhält von der Sprachaktivitätserkennungseinrichtung 3 Informationen betreffend die sprachliche Aktivität der Audiosignale AS_1 und AS_2. Die Steuereinrichtungskomponente 6a ist weiter mit den Zwischenspeichern 2_1 und 2_2 verbunden und steuert diese bei Bedarf zum Zwischenspeichern der zugehörigen Audiosignale AS_1 bzw. AS_2 an.The controller component 6a is with the voice activity recognition device 3 in data connection and receives from the voice activity recognition device 3 Information concerning the linguistic activity of the audio signals AS_1 and AS_2. The controller component 6a is on with the buffers 2_1 and 2_2 connected and controls if necessary for buffering the associated audio signals AS_1 and AS_2.

Die Steuereinrichtungskomponente 6b ist eingangsseitig mit den Mikrofonen 1_1 und 1_2 und den Zwischenspeichern 2_1 und 2_2 und ausgangsseitig mit der Audiosignalmischeinrichtung 4 verbunden. Die Steuereinrichtungskomponente 6b weist interne, nicht näher dargestellte Schaltlogik auf, deren Schaltstellungen von der Steuereinrichtungskomponente 6a bestimmt werden. Mittels der Schaltlogik wird bestimmt, welcher Eingang bzw. welche Eingänge auf die Audiosignalmischeinrichtung 4 durchgeschleift werden.The controller component 6b is on the input side with the microphones 1_1 and 1_2 and the buffers 2_1 and 2_2 and on the output side with the audio signal mixing device 4 connected. The controller component 6b has internal, not shown switching logic, whose switching positions of the control device component 6a be determined. By means of the switching logic is determined which input or which inputs to the audio signal mixing device 4 be looped through.

Die Steuereinrichtung bzw. deren Komponenten 6a und 6b ist/sind dazu ausgebildet, für den Fall, dass in beiden Audiosignalen AS_1 und AS_2 eine sprachliche Aktivität erkannt wird, d.h. beide Gesprächsteilnehmer sprechen, nur eines der beiden Audiosignale AS_1 oder AS_2 über die Steuereinrichtungskomponente 6b an die Audiosignalmischeinrichtung 4 als Audioeingangssignal auszugeben und das andere Audiosignal AS_1 oder AS_2 in dem zugehörigen Zwischenspeicher 2_1 bzw. 2_2 zwischenzuspeichern und dann zeitverzögert als Audioeingangssignal an den Audiosignalmischeinrichtung 4 auszugeben.The control device or its components 6a and 6b is / are designed to be in the event that in both audio signals AS_1 and AS_2 a linguistic activity is detected, ie both participants speak only one of the two audio signals AS_1 or AS_2 on the control device component 6b to the audio signal mixing device 4 as the audio input signal and the other audio signal AS_1 or AS_2 in the associated buffer 2_1 respectively. 2_2 buffer and then delayed as an audio input signal to the audio signal mixing device 4 issue.

Das nicht ausgegebene Audiosignal AS_1 oder AS_2 kann so lange zeitverzögert werden, bis in dem anderen Audiosignal AS_1 oder AS_2 keine sprachliche Aktivität mehr ermittelt wird. The audio signal AS_1 or AS_2 that is not output can be delayed in time until no linguistic activity is detected in the other audio signal AS_1 or AS_2.

Die Entscheidung, welches der beiden Audiosignal AS_1 bzw. AS_2 zuerst an die Audiosignalmischeinrichtung 4 ausgegeben wird, kann darauf basieren, in welchem der Audiosignal AS_1 bzw. AS_2 zuerst eine sprachliche Aktivität erkannt worden ist.The decision which of the two audio signals AS_1 and AS_2 first to the audio signal mixing device 4 may be based on in which of the audio signal AS_1 or AS_2 first a linguistic activity has been detected.

Die Steuereinrichtung 6a und 6b ist weiter dazu ausgebildet, für den Fall, dass in keinem der Audiosignale AS_1 und AS_2 eine sprachliche Aktivität erkannt wird, zu überprüfen, ob zwischengespeicherte Audiosignale vorhanden sind, und falls zwischengespeicherte Audiosignale vorhanden sind, die zwischengespeicherten Audiosignale einzeln nacheinander so lange an den Audiosignalmischeinrichtung 4 als Audioeingangssignale auszugeben, bis keine zwischengespeicherten Audiosignale mehr vorhanden sind.The control device 6a and 6b is further adapted, in the event that in any of the audio signals AS_1 and AS_2 linguistic activity is detected, to check whether cached audio signals are present, and if cached audio signals are present, the cached audio signals one by one to the audio signal mixing device 4 output as audio input signals until no cached audio signals are present.

Für den Fall, dass in keinem der Audiosignale AS_1 und AS_2 eine sprachliche Aktivität erkannt wird, beispielsweise weil die Audiosignale AS_1 und AS_2 als unwichtig klassifiziert sind, und keine zwischengespeicherten Audiosignale (mehr) vorhanden sind, können sämtliche Audiosignale AS_1 und AS_2 als Audioeingangssignale an die Audiosignalmischeinrichtung 4 ausgegeben werden.In the event that no linguistic activity is detected in any of the audio signals AS_1 and AS_2, for example because the audio signals AS_1 and AS_2 are classified as unimportant, and no cached audio signals (more) are present, all the audio signals AS_1 and AS_2 as audio input signals to the Audio signal mixer 4 be issued.

Für den Fall, dass nur in einem einzelnen der Audiosignale AS_1 oder AS_2 eine sprachliche Aktivität erkannt wird und keine zwischengespeicherten Audiosignale vorhanden sind, kann nur das Audiosignal AS_1 oder AS_2, in dem eine sprachliche Aktivität erkannt wird, als Audioeingangssignal an die Audiosignalmischeinrichtung 4 ausgegeben werden.In the event that only in a single one of the audio signals AS_1 or AS_2 a linguistic activity is detected and no cached audio signals are present, only the audio signal AS_1 or AS_2, in which a linguistic activity is detected, as an audio input signal to the audio signal mixing device 4 be issued.

Erfindungsgemäß ist eine Audiosignalmischeinrichtung 4 vorgesehen, die zwei oder mehr Audiosignale AS_1 und AS_2 mischt, um daraus ein oder mehrere gleiche Ausgangsaudiosignale OS zu erzeugen. According to the invention, an audio signal mixing device 4 which mixes two or more audio signals AS_1 and AS_2 to generate one or more equal output audio signals OS therefrom.

Zunächst wird überprüft, ob auf einem oder mehreren der Audiosignale AS_1 und AS_2 Geräusche vorliegen, die für die jeweilige Anwendung des Systems als relevant oder wichtig erachtet werden. Hierzu kann ein herkömmlicher Sprachaktivitätsdetektor verwenden werden, wie er bei Telefonsystem verwendet wird, um Phasen der Stille von Phasen des aktiven Sprechens zu unterscheiden. First, it is checked whether there are noises on one or more of the audio signals AS_1 and AS_2 which are considered to be relevant or important for the respective application of the system. For this purpose, a conventional voice activity detector, as used in the telephone system, can be used to distinguish phases of silence from phases of active speech.

Die Audiosignale AS_1 und AS_2 können zeitlich verzögert (wiedergegeben) werden. Das bedeutet, dass sie nicht direkt an die Lautsprecher 5_1 und 5_2 bzw. die Audiosignalmischeinrichtung 4 weiter geleitet werden, sondern für einen beliebigen Zeitraum zwischengespeichert werden können, um später an die Audiosignalmischeinrichtung 4 weitergeleitet zu werden. The audio signals AS_1 and AS_2 can be delayed (reproduced). That means they are not connected directly to the speakers 5_1 and 5_2 or the audio signal mixing device 4 can be forwarded, but can be cached for any period to later to the audio signal mixing device 4 to be forwarded.

Die Zwischenspeicher 2_1 und 2_2 können als FIFO-Speicher implementiert sein. Aus algorithmischen Effizienzgründen kann es sinnvoll sein, in den Zwischenspeichern 2_1 und 2_2 nicht nur die Audiosignale AS_1 und AS_2 zu speichern, sondern auch die zugehörigen sprachlichen Aktivitätsinformationen.The buffers 2_1 and 2_2 can be implemented as FIFO memory. For algorithmic efficiency reasons, it may be useful to put in the caches 2_1 and 2_2 not only to store the audio signals AS_1 and AS_2, but also the associated linguistic activity information.

Die Steuereinrichtung 6a und 6b überwacht, ob die Sprachaktivitätserkennungseinrichtung 3 aktive bzw. relevante Signale erkennt und ob in den Zwischenspeichern 2_1 und 2_2 akustische Signale gespeichert sind. The control device 6a and 6b monitors whether the voice activity recognition device 3 detects active or relevant signals and whether in the latches 2_1 and 2_2 acoustic signals are stored.

Wenn kein aktives bzw. relevantes Audiosignal AS_1 und AS_2 vorliegt und in den Zwischenspeichern 2_1 und 2_2 keine Audiosignale gespeichert sind, können alle Audiosignale AS_1 und AS_2 in der Audiosignalmischeinrichtung 4 gemischt werden. Dies ist beispielsweise der Fall, wenn alle Konferenz- oder Gesprächsteilnehmer schweigen.If there is no active or relevant audio signal AS_1 and AS_2 and in the latches 2_1 and 2_2 No audio signals are stored, all the audio signals AS_1 and AS_2 in the audio signal mixing device 4 be mixed. This is the case, for example, when all conference or conversation participants are silent.

Wenn nur ein relevantes Audiosignal AS_1 bzw. AS_2 vorliegt, wird es an die Audiosignalmischeinrichtung 4 weitergeleitet. Dies ist beispielsweise der Fall, sobald ein Gesprächsteilnehmer zu reden beginnt.If only one relevant audio signal AS_1 or AS_2 is present, it is sent to the audio signal mixing device 4 forwarded. This is the case, for example, when a conversation participant begins to talk.

Wenn nun weitere Audiosignale relevant bzw. aktiv werden, werden diese nicht unverzögert an die Audiosignalmischeinrichtung 4 weitergeleitet, sondern in den Zwischenspeichern 2_1 und 2_2 gespeichert. Man vermeidet somit, dass ein zweiter Gesprächsteilnehmer dem ersten Gesprächsteilnehmer ins Wort fällt.If further audio signals become relevant or active, they are not instantaneously sent to the audio signal mixing device 4 forwarded but in the buffers 2_1 and 2_2 saved. It avoids thus that a second participant in the conversation breaks the first participant in the conversation.

Sobald das bislang wiedergegebene Audiosignal keine relevanten Informationen mehr enthält, d.h. sprachlich nicht mehr aktiv ist, wird eines der gespeicherten Audiosignale aus dem zugehörigen Zwischenspeicher 2_1 bzw. 2_2 abgerufen und zur Audiosignalmischeinrichtung 4 und somit zu den Lautsprechern 5_1 und 5_2 geleitet. Der zweite Gesprächsteilnehmer wird nun verzögert ausgespielt, nachdem der erste verstummt ist. As soon as the previously reproduced audio signal no longer contains any relevant information, ie is no longer active in terms of speech, one of the stored audio signals is removed from the associated buffer memory 2_1 respectively. 2_2 and to the audio signal mixing device 4 and thus to the speakers 5_1 and 5_2 directed. The second caller is now played delayed after the first is silent.

Dieser Prozess wird so lange fortgesetzt, bis kein Zwischenspeicher 2_1 und 2_2 mehr Audiosignale gespeichert hat.This process continues until there is no cache 2_1 and 2_2 has stored more audio signals.

Es versteht sich, dass die beiden Audiosignalquellen 1_1 und 1_2, die beiden Zwischenspeicher 2_1 und 2_2 und die beiden Lautsprecher 5_1 und 5_2 lediglich eine exemplarische Anzahl darstellen. Selbstverständlich können beliebig viele dieser Komponenten verwendet werden.It is understood that the two audio signal sources 1_1 and 1_2 , the two caches 2_1 and 2_2 and the two speakers 5_1 and 5_2 represent only an exemplary number. Of course, any number of these components can be used.

Claims (7)

Verfahren zum Betreiben eines Telefonkonferenzsystems für mindestens zwei Gesprächsteilnehmer, mit den Schritten: – Ermitteln einer sprachlichen Aktivität eines jeweiligen Gesprächsteilnehmers und – für den Fall, dass bei mehr als einem Gesprächsteilnehmer eine sprachliche Aktivität ermittelt wird, Wiedergeben nur einer einzelnen sprachlichen Aktivität und zeitverzögertes Wiedergeben der verbleibenden sprachlichen Aktivitäten. Method for operating a telephone conference system for at least two call participants, with the steps: Determining a linguistic activity of a respective conversation participant and - in the event that more than one interviewee identifies a linguistic activity, reproducing only a single linguistic activity and delaying the display of the remaining linguistic activities. Telefonkonferenzsystem für mindestens zwei Gesprächsteilnehmer, insbesondere zur Durchführung des Verfahrens nach Anspruch 1, aufweisend: – mindestens zwei Audiosignalquellen (1_1, 1_2), wobei eine jeweilige Audiosignalquelle einem Gesprächsteilnehmer zugeordnet und dazu ausgebildet ist, in Abhängigkeit von einer sprachlichen Aktivität des Gesprächsteilnehmers ein Audiosignal (AS_1, AS_2) zu erzeugen, – mindestens einen Zwischenspeicher (2_1, 2_2), wobei der Zwischenspeicher dazu ausgebildet ist, zumindest einen Teil eines jeweiligen Audiosignals zwischenzuspeichern, – mindestens eine Sprachaktivitätserkennungseinrichtung (3), die dazu ausgebildet ist, eine sprachliche Aktivität in einem jeweiligen Audiosignal zu ermitteln, – eine Audiosignalmischeinrichtung (4), die dazu ausgebildet ist, Eingangsaudiosignale miteinander zu mischen und die gemischten Eingangsaudiosignale als Ausgangsaudiosignal (OS) auszugeben, – mindestens zwei Lautsprecher (5_1, 5_2), wobei ein Lautsprecher einem Gesprächsteilnehmer zugeordnet ist, das Ausgangsaudiosignal der Audiosignalmischeinrichtung empfängt und als korrespondierendes Schallsignal ausgibt, und – eine Steuereinrichtung (6a, 6b), die dazu ausgebildet ist – für den Fall, dass in mehr als einem einzelnen der Audiosignale eine sprachliche Aktivität erkannt wird, nur ein einzelnes derjenigen Audiosignale, in denen eine sprachliche Aktivität erkannt wird, an die Audiosignalmischeinrichtung als Audioeingangssignal auszugeben und die nicht an die Audiosignalmischeinrichtung als Audioeingangssignal ausgegebenen Audiosignale, in denen eine sprachliche Aktivität erkannt wird, in dem Zwischenspeicher zwischenzuspeichern und zeitverzögert als Audioeingangssignal an den Audiosignalmischeinrichtung auszugeben.Telephone conference system for at least two call participants, in particular for carrying out the method according to claim 1, comprising: - at least two audio sources ( 1_1 . 1_2 ), wherein a respective audio signal source is assigned to a subscriber and is designed to generate an audio signal (AS_1, AS_2) as a function of a speech activity of the subscriber, - at least one intermediate memory ( 2_1 . 2_2 ), wherein the buffer is designed to buffer at least a part of a respective audio signal, - at least one voice activity recognition device ( 3 ) which is adapted to determine a linguistic activity in a respective audio signal, - an audio signal mixing device ( 4 ) which is adapted to mix input audio signals together and to output the mixed input audio signals as the output audio signal (OS), - at least two loudspeakers ( 5_1 . 5_2 ), wherein a speaker is assigned to a conversation participant, the output audio signal of the audio signal mixing device receives and outputs as a corresponding sound signal, and - a control device ( 6a . 6b ), which is adapted to - in the event that in more than a single one of the audio signals, a linguistic activity is detected, only a single one of those audio signals in which a linguistic activity is detected, output to the audio signal mixing device as an audio input signal and not to the Audio signal mixing device output as audio input signal audio signals in which a linguistic activity is detected, in the buffer store and time-delayed output as an audio input signal to the audio signal mixing device. Telefonkonferenzsystem nach Anspruch 2, dadurch gekennzeichnet, dass die Steuereinrichtung dazu ausgebildet ist – für den Fall, dass in keinem der Audiosignale eine sprachliche Aktivität erkannt wird, zu überprüfen, ob zwischengespeicherte Audiosignale vorhanden sind, und – falls zwischengespeicherte Audiosignale vorhanden sind, die zwischengespeicherten Audiosignale einzeln nacheinander so lange an den Audiosignalmischeinrichtung als Audioeingangssignale auszugeben, bis keine zwischengespeicherten Audiosignale mehr vorhanden sind.Conference telephone system according to claim 2, characterized in that the control device is designed to - in the event that in any of the audio signals a linguistic activity is detected, to check whether cached audio signals are present, and - if cached audio signals are present, the cached audio signals one by one as long as output to the audio signal mixing device as audio input signals until no cached audio signals are available. Telefonkonferenzsystem nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Steuereinrichtung dazu ausgebildet ist – für den Fall, dass in keinem der Audiosignale eine sprachliche Aktivität erkannt wird und keine zwischengespeicherten Audiosignale vorhanden sind, sämtliche Audiosignale als Audioeingangssignale an die Audiosignalmischeinrichtung auszugeben. Conference telephone system according to claim 2 or 3, characterized in that the control device is designed to - in the event that in any of the audio signals, a linguistic activity is detected and no cached audio signals are present to output all the audio signals as audio input signals to the audio signal mixing device. Telefonkonferenzsystem nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Steuereinrichtung dazu ausgebildet ist – für den Fall, dass nur in einem einzelnen der Audiosignale eine sprachliche Aktivität erkannt wird und keine zwischengespeicherten Audiosignale vorhanden sind, nur das Audiosignal, in dem eine sprachliche Aktivität erkannt wird, als Audioeingangssignal an die Audiosignalmischeinrichtung auszugeben.Conference telephone system according to one of claims 2 to 4, characterized in that the control device is adapted to - in the event that only in a single one of the audio signals a linguistic activity is detected and no cached audio signals are present, only the audio signal in which a linguistic Activity is recognized to output as an audio input signal to the audio signal mixing device. Telefonkonferenzsystem nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass die Audiosignale Mono-Audiosignale sind.Conference telephone system according to one of claims 2 to 5, characterized in that the audio signals are mono audio signals. Telefonkonferenzsystem nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass die Audiosignalquellen Mikrofone von Headsets und/oder Telefonhörern sind und die Lautsprecher in die Headsets und/oder die Telefonhörer integriert sind.Conference telephone system according to one of Claims 2 to 6, characterized in that the audio signal sources are microphones of headsets and / or telephone handsets and the loudspeakers are integrated in the headsets and / or the telephone receivers.
DE201210220688 2012-11-13 2012-11-13 Method of operating a telephone conference system and telephone conference system Withdrawn DE102012220688A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE201210220688 DE102012220688A1 (en) 2012-11-13 2012-11-13 Method of operating a telephone conference system and telephone conference system
PCT/EP2013/073720 WO2014076129A1 (en) 2012-11-13 2013-11-13 Method for operating a telephone conference system, and telephone conference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210220688 DE102012220688A1 (en) 2012-11-13 2012-11-13 Method of operating a telephone conference system and telephone conference system

Publications (1)

Publication Number Publication Date
DE102012220688A1 true DE102012220688A1 (en) 2014-05-15

Family

ID=49578306

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210220688 Withdrawn DE102012220688A1 (en) 2012-11-13 2012-11-13 Method of operating a telephone conference system and telephone conference system

Country Status (2)

Country Link
DE (1) DE102012220688A1 (en)
WO (1) WO2014076129A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3448006B1 (en) 2013-07-02 2023-03-15 Family Systems, Limited System for improving audio conferencing services
US11017790B2 (en) 2018-11-30 2021-05-25 International Business Machines Corporation Avoiding speech collisions among participants during teleconferences

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4420212A1 (en) * 1994-06-04 1995-12-07 Deutsche Bundespost Telekom Transmission system for simultaneous multiple sending of several picture and sound signals
US20050210394A1 (en) * 2004-03-16 2005-09-22 Crandall Evan S Method for providing concurrent audio-video and audio instant messaging sessions

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0712099D0 (en) * 2007-06-22 2007-08-01 Wivenhoe Technology Ltd Transmission Of Audio Information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4420212A1 (en) * 1994-06-04 1995-12-07 Deutsche Bundespost Telekom Transmission system for simultaneous multiple sending of several picture and sound signals
US20050210394A1 (en) * 2004-03-16 2005-09-22 Crandall Evan S Method for providing concurrent audio-video and audio instant messaging sessions

Also Published As

Publication number Publication date
WO2014076129A8 (en) 2014-07-31
WO2014076129A1 (en) 2014-05-22

Similar Documents

Publication Publication Date Title
US10574828B2 (en) Method for carrying out an audio conference, audio conference device, and method for switching between encoders
JP4255461B2 (en) Stereo microphone processing for conference calls
US11710488B2 (en) Transcription of communications using multiple speech recognition systems
US8358599B2 (en) System for providing audio highlighting of conference participant playout
CN110072021B (en) Method, apparatus and computer readable medium in audio teleconference mixing system
US9628630B2 (en) Method for improving perceptual continuity in a spatial teleconferencing system
JP2000270304A (en) Multispot video conference system
Carlile ACTIVE LISTENING: SPEECH INTELLIGIBILITY IN NOISY ENVIRONMENTS.
EP2077059B1 (en) Method for operating a hearing aid, and hearing aid
DE102009035796B4 (en) Notification of audio failure in a teleconference connection
DE102012220688A1 (en) Method of operating a telephone conference system and telephone conference system
CN109327633B (en) Sound mixing method, device, equipment and storage medium
EP1126687A2 (en) Method for coordinated echo and/or noise reduction
US10237413B2 (en) Methods for the encoding of participants in a conference
DE102014210760B4 (en) operation of a communication system
Schoenmaker et al. Better-ear rating based on glimpsing
US11321047B2 (en) Volume adjustments
JP2007096555A (en) Voice conference system, terminal, talker priority level control method used therefor, and program thereof
DE19650410C1 (en) Noise and echo suppression method for hands-free telephone communication
EP1519628A2 (en) Method and device for the reproduction of a binaural output signal which is derived from a monaural input signal
Liang et al. Cat-astrophic effects of sudden interruptions on spatial auditory attention
JPS60132451A (en) Conference telephone system
NZ715916B2 (en) Encoding of participants in a conference setting
DE102014116610A1 (en) Digital telephone conference system, subscriber access and switching device, working method and computer program product

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee