DE102005038717A1

DE102005038717A1 - Audio-visual processing used in audio-visual communication system, involves processing and controlling tone data sent to users based on produced tone control signal while tone and graphic data are simultaneously transmitted towards users

Info

Publication number: DE102005038717A1
Application number: DE200510038717
Authority: DE
Inventors: Ulrich Dr. Sieben; Miodrag Prof. Dr. Temerinac
Original assignee: TDK Micronas GmbH
Current assignee: TDK Micronas GmbH
Priority date: 2005-08-15
Filing date: 2005-08-15
Publication date: 2007-03-01

Abstract

The method involves analyzing the graphic data (v1,v2) and the tone data (m1-m4) transmitted towards the users (U1,U2), and producing a tone control signal for controlling the tone data and detecting the users in the graphic data. Tone receiving units (M1-M4) and a tone processor (C) are used for producing the tone control signal. The tone data (m1-m4,m1*-m4*) are processed and controlled based on the tone control signal. The graphic data and tone data are simultaneously transmitted towards the users after being converted and transferred to an external device (Y). An independent claim is included for the audio-visual communication system.

Description

Die Erfindung bezieht sich auf ein Verfahren zum Verarbeiten audio-visueller Daten mit den oberbegrifflichen Merkmalen des Patentanspruchs 1 bzw. auf ein audio-visuelles Kommunikationssystem mit den oberbegrifflichen Merkmalen des Patentanspruchs 16.The This invention relates to a method of processing audio-visual Data with the preamble features of claim 1 or on an audio-visual communication system with the super-conceptual Features of claim 16.

Allgemein bekannt ist die Übertragung von Video-Konferenzen mittels eines Bildtelefons oder mittels eines mit Videokamera und Mikrofon ausgestatteten Computers, wobei die Videokamera und das Mikrofon auf eine Person als ein Tondaten abgebendes Objekt gerichtet werden. Derart aufgezeichnete Tondaten des akustische Signale abgebenden Objektes und entsprechende Bilddaten, welche im Bereich des Objekts gleichzeitig mit den Tondaten aufgezeichnet wurden, werden bereitgestellt. Die bereitgestellten Tondaten werden als wiederzugebende Tondaten und die bereitgestellten Bilddaten werden als wiederzugebende Bilddaten zu einer externen Wiedergabe-Vorrichtung übertragen, wozu zuvor eine entsprechende Aufbereitung in ein Übertragungs-Datenformat durchgeführt wird.Generally the transmission is known of video conferences by means of a video telephone or by means of a equipped with video camera and microphone computer, wherein the Video camera and putting the microphone on a person as a sound data Object to be addressed. Such recorded sound data of the acoustic Signals issuing object and corresponding image data, which recorded in the area of the object simultaneously with the sound data be provided. The provided sound data will be as sound data to be reproduced and the provided image data are transferred as image data to be reproduced to an external reproduction apparatus, what was previously a corresponding preparation in a transmission data format carried out becomes.

Nachteilhaft ist ein solches System, wenn eine Video-Konferenz mit einer Vielzahl von Personen als den Objekten von einem ersten Ort zu einem zweiten Ort aufzubauen ist. Stets werden nur diejenigen Personen bildlich dargestellt, welche sich im Aufnahmebereich der Bildaufnahme-Einrichtung, also einer Videokamera, befinden. Außerdem wird auch nur von solchen Personen die Sprache optimal wiedergegeben, da üblicherweise Richtmikrofone auf diesen Raumbereich, welcher von der Bildaufnahme-Einrichtung erfasst wird, gerichtet werden, um störende Nebengeräusche zu vermeiden. Personen, welche sich außerhalb des Bereiches der Bildaufnahme-Einrichtung und der Tonaufnahme-Einrichtung befinden, werden entsprechend bildlich gar nicht oder nur teilweise dargestellt und auch akustisch nur schlecht oder gar nicht wiedergegeben.disadvantageous is such a system when a video conference with a variety of persons as the objects from a first place to a second Place to build is. Only those people are always pictorial shown in the receiving area of the image recording device, So a video camera, are. In addition, only from such People optimally reproduced the language, since usually directional microphones on this space area, which is the image recording device be addressed, to annoying noise avoid. Persons who are outside the scope of the image recording device and the sound recording device are accordingly figurative not at all or only partially shown and acoustically only bad or not at all.

Die Aufgabe der Erfindung besteht darin, ein Verfahren zum Verarbeiten audio-visueller Daten bzw. ein audio-visuelles Kommunikationssystem derart zu verbessern, dass die Tondaten des solche Tondaten abgebenden Objektes möglichst optimal als wiederzugebende Tondaten übertragen werden und/oder die Bilddaten des solche Tondaten abgebenden Objektes möglichst vorteilhaft als wiederzugebende Bilddaten übertragen werden.The The object of the invention is a method for processing audio-visual data or an audio-visual communication system to improve so that the sound data of such sound data donate Object as possible optimally transmitted as sound data to be reproduced and / or the Image data of such sound data donating object as possible advantageously be transmitted as reproduced image data.

Diese Aufgabe wird gelöst durch ein Verfahren zum Verarbeiten von audio-visuellen Daten mit den Merkmalen des Patentanspruchs 1 bzw. 2 bzw. durch ein audio-visuelles Kommunikationssystem mit den Merkmalen des Patentanspruchs 16 bzw. 17.These Task is solved by a method for processing audio-visual data with the Features of claim 1 or 2 or by an audio-visual Communication system with the features of claim 16 or 17th

Optimal ist ein System, welches sowohl eine Analyse der Tondaten als auch eine Analyse der Bilddaten vornimmt. Das Grundkonzept besteht jedoch vorteilhaft bereits in einer vereinfachten Lösung, bei welcher nur die Tondaten zur Verbesserung der Bilddaten oder alternativ nur die Bilddaten zur Verbesserung der Tondaten herangezogen werden.Optimal is a system that provides both an analysis of the sound data as well performs an analysis of the image data. The basic concept, however, is advantageous already in a simplified solution, in which only the sound data to improve the image data or Alternatively, only the image data used to improve the sound data become.

Vorteilhafte Ausgestaltungen sind Gegenstand abhängiger Ansprüche.advantageous Embodiments are the subject of dependent claims.

Bevorzugt wird demgemäß ein Verfahren zum Verarbeiten audiovisueller Daten, bei dem Tondaten eines akustische Signale abgebenden Objektes bereitgestellt werden, Bilddaten, welche im Bereich des Objektes gleichzeitig mit den Tondaten aufgezeichnet werden, bereitgestellt werden und die Tondaten zu wiederzugebenden Tondaten und die Bilddaten zu wiederzugebenden Bilddaten umgesetzt und an einen Speicher und/oder an eine externe Vorrichtung übertragen werden, wobei die Bilddaten analysiert werden auf darin enthaltene und die Tondaten abgebende Objekte und wobei bei Erkennung eines solchen Objektes in den Bilddaten ein Bild-Steuersignal zum Steuern von zumindest einer Bildaufnahme-Einrichtung und/oder von zumindest einer Bildverarbeitungs-Einrichtung erzeugt wird und/oder bei Erkennung eines solchen Objektes in den Bilddaten ein Ton-Steuersignal zum Steuern von zumindest einer Tonaufnahme-Einrichtung und/oder von zumindest einer Tonverarbeitungs-Einrichtung erzeugt wird, wobei momentan oder später bereitzustellende Bilddaten oder die wiederzugebenden Bilddaten abhängig von dem Bild-Steuersignal verarbeitet, insbesondere verändert, und/oder momentan oder später bereitzustellende Tondaten oder die wiederzugebenden Tondaten abhängig von dem Ton-Steuersignal verarbeitet, insbesondere verändert, werden.Prefers Accordingly, a method for Processing audiovisual data, in which the sound data of an acoustic Signals issuing object are provided, image data, which recorded in the area of the object simultaneously with the sound data be provided and reproduce the sound data Audio data and the image data to be displayed image data implemented and transferred to a memory and / or to an external device with the image data being analyzed for it and the sound data emitting objects and wherein upon detection of a such object in the image data, an image control signal for controlling at least one image recording device and / or at least one Image processing device is generated and / or upon detection of such an object in the image data, a sound control signal for Controlling at least one sound recording device and / or of at least one sound processing device is generated, wherein currently or later image data to be provided or the image data to be reproduced dependent processed by the image control signal, in particular changed, and / or currently or later to be provided sound data or the sound data to be reproduced depending on the tone control signal is processed, in particular changed.

Alternativ oder bevorzugt in Kombination damit ist ein Verfahren zum Verarbeiten audio-visueller Daten, bei dem Tondaten eines akustische Signale abgebenden Objektes bereitgestellt werden, Bilddaten, welche im Bereich des Objektes gleichzeitig mit den Tondaten aufgezeichnet werden, bereitgestellt werden und die Tondaten zu wiederzugebenden Tondaten und die Bilddaten zu wiederzugebenden Bilddaten umgesetzt und an einen Speicher und/oder an eine externe Vorrichtung übertragen werden, wobei die Tondaten analysiert werden auf darin enthaltene und die Tondaten abgebende Objekte und bei Erkennung eines solchen Objektes in den Tondaten ein Bild-Steuersignal zum Steuern von zumindest einer Bildaufnahme-Einrichtung und/oder von zumindest einer Bildverarbeitungs-Einrichtung erzeugt wird und/oder bei Erkennung eines solchen Objektes in den Tondaten ein Ton-Steuersignal zum Steuern von zumindest einer Tonaufnahme-Einrichtung und/oder von zumindest einer Tonverarbeitungs-Einrichtung erzeugt wird, wobei momentan oder später bereitzustellende Bilddaten oder die wiederzugebenden Bilddaten abhängig von dem Bild-Steuersignal verarbeitet, insbesondere verändert, und/oder momentan oder später bereitzustellende Tondaten oder die wiederzugebenden Tondaten abhängig von dem Ton-Steuersignal verarbeitet, insbesondere verändert, werdenAlternatively or preferably in combination with this, a method for processing audio-visual data, in which sound data of an acoustic signal emitting object are provided, image data recorded in the area of the object simultaneously with the sound data are provided and the sound data to be reproduced sound data and the image data to be reproduced image data is converted and transmitted to a memory and / or to an external device, wherein the sound data are analyzed on it and the sound data emitting objects and upon detection of such an object in the sound data, an image control signal for controlling at least an image recording device and / or is generated by at least one image processing device and / or upon detection of such an object in the sound data, a sound control signal is generated for controlling at least one sound recording device and / or at least one sound processing device, wherein image data to be provided momentarily or later or the image data to be reproduced depends on the image Control signal processed, in particular changed, and / or currently or later to be provided sound data or the sound data to be reproduced depending on the sound control signal processed, in particular changed

Bevorzugt wird insbesondere ein Verfahren, bei dem ein solches in den Bilddaten enthaltenes und Tondaten abgebendes Objekt erkannt wird durch eine Verarbeitung der Bilddaten hinsichtlich sprachtypischer Gesichtsbewegungen und/oder hinsichtlich geräuschverursachender Bewegungen des Objektes.Prefers in particular, a method in which such in the image data contained and sound data donating object is detected by a Processing of the image data with regard to speech-typical facial movements and / or noise causing Movements of the object.

Bevorzugt wird insbesondere ein Verfahren, bei dem als sprachtypische Gesichtsbewegung eine Lippenbewegung eines Menschen analysiert wird.Prefers In particular, a procedure in which as a speech-typical facial movement a lip movement of a human is analyzed.

Bevorzugt wird insbesondere ein Verfahren, bei dem ein solches in den Bilddaten enthaltenes und Tondaten abgebendes Objekt erkannt wird durch eine Verarbeitung der Bilddaten hinsichtlich in einem Speicher hinterlegten und bestimmten Objekten und/oder bestimmten Objekttypen zugeordneten Referenzbildern.Prefers in particular, a method in which such in the image data contained and sound data donating object is detected by a Processing the image data with regard to stored in a memory and assigned to specific objects and / or specific object types Reference images.

Bevorzugt wird insbesondere ein Verfahren, bei dem ein solches in den Tondaten enthaltenes und die Tondaten abgebendes Objekt erkannt wird durch eine Verarbeitung der Tondaten mehrerer Tonaufnahme-Vorrichtungen hinsichtlich des Ortes des Objektes innerhalb eines erfassbaren Raumbereichs.Prefers in particular, a method in which such in the sound data contained and the sound data donating object is detected by a Processing the sound data of several sound recording devices in terms the location of the object within a detectable area of space.

Bevorzugt wird insbesondere ein Verfahren, bei dem ein solches in den Tondaten enthaltenes und die Tondaten abgebendes Objekt erkannt wird durch eine Verarbeitung der Tondaten hinsichtlich in einem Speicher hinterlegten und bestimmten Objekten und/oder bestimmten Objekttypen zugeordneten Referenz-Klangbildern.Prefers in particular, a method in which such in the sound data contained and the sound data donating object is detected by a Processing of the sound data with regard to stored in a memory and assigned to specific objects and / or specific object types Reference sound imaging.

Bevorzugt wird insbesondere ein Verfahren, bei dem mittels eines solchen aus Bilddaten eines erkannten Objektes erzeugten Ton-Steuersignals eine Ausrichtung einer oder mehrerer Tonaufnahme-Vorrichtungen auf das Objekt mittels mechanischer und/oder signalverarbeitender Verfahren durchgeführt wird.Prefers In particular, a method in which by means of such Image data of a detected object generated sound control signal alignment one or more sound recording devices on the object by means of mechanical and / or signal processing method is performed.

Bevorzugt wird insbesondere ein Verfahren, bei dem mittels eines solchen aus Bilddaten eines erkannten Objektes erzeugten Ton-Steuersignals eine objektspezifische Verarbeitung, insbesondere Filterung, der Tondaten durchgeführt wird.Prefers In particular, a method in which by means of such Image data of a detected object generated sound control signal object-specific Processing, in particular filtering, of sound data is performed.

Bevorzugt wird insbesondere ein Verfahren, bei dem nach optischer Erkennung einer Lippenbewegung einer Person als dem erkannten Objekt ein künstliches Sprachsignal mit dem Signal der Tondaten zum Erzielen einer besseren Verständlichkeit gemischt wird.Prefers in particular, a method in which after optical detection a lip movement of a person as the recognized object an artificial Speech signal with the signal of the sound data to achieve a better comprehensibility is mixed.

Bevorzugt wird insbesondere ein Verfahren, bei dem mittels eines solchen aus Tondaten erkannten Objektes erzeugten Bild-Steuersignals eine Ausrichtung einer oder mehrerer Bildaufnahme-Einrichtungen auf das Objekt mittels mechanischer und/oder signalverarbeitender Verfahren durchgeführt wird.Prefers In particular, a method in which by means of such Sound data detected object generated image control signal alignment of a or several image recording devices on the object by means of mechanical and / or signal processing method is performed.

Bevorzugt wird insbesondere ein Verfahren, bei dem als wiederzugebende Bilddaten ein mechanisch und/oder signalverarbeitend gezoomter Bildausschnitt mit dem die Tondaten abgebenden Objekt übertragen wird.Prefers is particularly a method in which to be displayed as image data a mechanically and / or signal-processed zoomed image section is transmitted with the sound data donating object.

Bevorzugt wird insbesondere ein Verfahren, bei dem vollständige Bilddaten übertragen werden und zusätzlich eine Steuerinformation bezüglich eines mittels eines signalverarbeitenden Verfahrens zoombaren Bildausschnitts zum optionalen Zoomen in der die Bilddaten empfangenden Vorrichtung übertragen wird.Prefers In particular, a method in which full image data is transmitted and in addition a control information regarding a zoomable by means of a signal processing method image detail for optional zooming in the device receiving the image data becomes.

Bevorzugt wird insbesondere ein Verfahren, bei dem die Bilddaten auf eine bestimmte vorgebbare Blickrichtung und/oder bestimmte vorgebbare Ausrichtung eines die Tondaten abgebenden Objektes aus den Bilddaten analysiert werden und bei dem im Fall der ermittelten bestimmten Blickrichtung und/oder bestimmten Ausrichtung die Tondaten als Anweisungen an eine Maschine und/oder an eine maschinelle Steuereinrichtung interpretiert werden.Prefers is particularly a method in which the image data to a certain predefinable viewing direction and / or certain predefinable Alignment of an object giving off the sound data from the image data be analyzed and in the case of the determined determined Viewing direction and / or specific orientation the sound data as instructions to a machine and / or to a mechanical control device be interpreted.

Bevorzugt wird insbesondere ein Verfahren, bei dem mittels eines audio-visuellen Regelkreises ein optisch ermitteltes und solche Tondaten wiedergebendes Objekt zum Verbessern der momentanen und/oder zukünftig wiederzugebenden Tondaten und/oder ein akustisch ermitteltes Objekt zum Verbessern der momentan und/oder zukünftig wiederzugebenden Bilddaten verwendet wird.Prefers In particular, a method in which by means of an audio-visual Loop a visually determined and reproduced such sound data Object for improving the current and / or future play Sound data and / or an acoustically detected object for improvement currently and / or in the future is to be reproduced image data.

Vorrichtungsgemäß wird demgemäß bevorzugt ein audio-visuelles Kommunikationssystem, insbesondere audio-visuelles Kommunikationssystem zum Durchführen eines solchen Verfahrens, mit zumindest einer Tonaufnahme-Einrichtung zum Bereitstellen von Tondaten eines akustische Signale abgebenden Objektes, mit zumindest einer Bildaufnahme-Einrichtung zum Aufnehmen von Bilddaten, welche im Bereich des Objektes gleichzeitig mit den Tondaten aufgezeichnet wurden, mit einer Verarbeitungs-Einrichtung und mit einer Schnittstelle zum Bereitstellen und Übertragen der Tondaten als wiederzugebende Tondaten und der Bilddaten als wiederzugebende Bilddaten an einen Speicher und/oder an eine externe Vorrichtung, wobei die Verarbeitungs-Einrichtung ausgelegt ist, als Analyse-Einrichtung die Bilddaten auf darin enthaltene und die Tondaten abgebende Objekte zu analysieren und die Verarbeitungs-Einrichtung ausgelegt ist, bei Erkennung eines solchen Objektes in den Bilddaten ein Bild-Steuersignal zum Steuern von zumindest einer Bildaufnahme-Einrichtung und/oder von zumindest einer Bildverarbeitungs-Einrichtung zu erzeugen und/oder ausgelegt ist, bei Erkennung eines solchen Objektes in den Bilddaten ein Ton-Steuersignal zum Steuern von zumindest einer Tonaufnahme-Einrichtung und/oder von zumindest einer Tonverarbeitungs-Einrichtung zu erzeugen, wobei die Verarbeitungs-Einrichtung ausgelegt ist, vor momentan oder später bereitzustellende Bilddaten oder die wiederzugebenden Bilddaten abhängig von dem Bild-Steuersignal zu verarbeiten oder zusammen mit dem Bild-Steuersignal bereitzustellen und/oder momentan oder später bereitzustellende Tondaten oder die wiederzugebenden Tondaten abhängig von dem Ton-Steuersignal zu verarbeiten oder zusammen mit dem Ton-Steuersignal bereitzustellen.According to the invention, accordingly, an audio-visual communication system, in particular an audio-visual communication system for carrying out such a method, with at least one sound recording device for providing sound data of an acoustic signal emitting object, with at least one image recording device for recording image data, which in Area of the object were recorded simultaneously with the sound data, with a Verarbei and an interface for providing and transmitting the sound data as sound data to be reproduced and the image data as image data to be reproduced to a memory and / or to an external device, wherein the processing device is designed as an analysis device, the image data contained therein and to analyze the sound data-emitting objects and the processing device is designed to generate and / or design an image control signal for controlling at least one image recording device and / or at least one image processing device when such an object is detected in the image data is, upon detection of such an object in the image data to generate a sound control signal for controlling at least one sound recording device and / or at least one sound processing device, wherein the processing means is designed before or later to be provided image data or the to be reproduced image data to be processed or provided along with the image control signal and / or to process audio data to be provided momentarily or later depending on the sound control signal or to provide it together with the sound control signal, depending on the image control signal.

Bevorzugt wird alternativ oder vorzugsweise in Kombination damit ein audio-visuelles Kommunikationssystem, insbesondere zum Durchführen eines solchen Verfahrens, mit zumindest einer Tonaufnahme-Einrichtung zum Bereitstellen von Tondaten eines akustische Signale abgebenden Objektes, mit zumindest einer Bildaufnahme-Einrichtung zum Aufnehmen von Bilddaten, welche im Bereich des Objektes gleichzeitig mit den Tondaten aufgezeichnet wurden, mit einer Verarbeitungseinrichtung und mit einer Schnittstelle zum Bereitstellen und Übertragen der Tondaten als wiederzugebende Tondaten und der Bilddaten als wiederzugebende Tondaten an einen Speicher und/oder an eine externe Vorrichtung, wobei die Verarbeitungs-Einrichtung ausgelegt ist, als Analyse-Einrichtung die Tondaten auf darin enthaltene und die Tondaten abgebende Objekte zu analysieren und die Verarbeitungs-Einrichtung ausgelegt ist, bei Erkennung eines solchen Objektes in den Tondaten ein Bild-Steuersignal zum Steuern von zumindest einer Bildaufnahme-Einrichtung und/oder von zumindest einer Bildverarbeitungs-Einrichtung zu erzeugen und/oder ausgelegt ist, bei Erkennung eines solchen Objektes in den Bilddaten ein Ton-Steuersignal zum Steuern von zumindest einer Tonaufnahme-Einrichtung und/oder von zumindest einer Tonverarbeitungs-Einrichtung zu erzeugen, wobei die Verarbeitungs-Einrichtung ausgelegt ist, vor dem Übertragen die wiederzugebenden Bilddaten abhängig von dem Bild-Steuersignal oder zusammen mit dem Bild-Steuersignal bereitzustellen und/oder vor dem Übertragen die wiederzugebenden Tondaten abhängig von dem Ton-Steuersignal zu verarbeiten oder zusammen mit dem Ton-Steuersignal bereitzustellen.Prefers is alternatively or preferably in combination with an audio-visual Communication system, in particular for carrying out such a method, with at least one sound recording device for providing Sound data of an acoustic signal emitting object, with at least an image pickup device for picking up image data, which recorded in the area of the object simultaneously with the sound data with a processing device and an interface for deployment and transfer the sound data to be reproduced sound data and the image data as sound data to be reproduced to a memory and / or to an external Device, wherein the processing device is designed as an analysis device, the sound data contained therein and the Analyze sound data emitting objects and the processing facility is designed, upon detection of such an object in the sound data an image control signal for controlling at least one image pickup device and / or at least one image processing device to produce and / or is designed, upon detection of such an object in the image data a sound control signal for controlling at least one sound recording device and / or from at least one sound processing device, wherein the processing means is adapted to transmit before transferring image data to be played from the image control signal or together with the image control signal and / or before transferring the sound data to be reproduced depending on the sound control signal to process or provide together with the sound control signal.

Bevorzugt wird insbesondere ein Kommunikationssystem mit einem Speicher zum Hinterlegen von Referenzbildern zu bestimmten Objekten und/oder zu bestimmten Objekttypen zum Durchführen einer Analyse der Bilddaten mittels der Verarbeitungs-Einrichtung zum Erkennen des die Tondaten abgebenden Objektes.Prefers In particular, a communication system with a memory for Deposit reference images for specific objects and / or to certain types of objects for performing an analysis of the image data by means of the processing device for recognizing the object giving off the sound data.

Bevorzugt wird insbesondere ein Kommunikationssystem mit einer Filtereinrichtung oder der als Filter ausgelegten Verarbeitungs-Einrichtung zum objektspezifischen Verarbeiten, insbesondere Filtern der Tondaten nach optischer Erkennung eines solchen Objektes.Prefers in particular, a communication system with a filter device or the filter-designed processing means for object-specific Processing, in particular filtering the audio data after optical detection of such an object.

Bevorzugt wird insbesondere ein Kommunikationssystem mit einer Bildverarbeitungs-Einrichtung oder der als Bildverarbeitungs-Einrichtung ausgestatteten Verarbeitungs-Einrichtung zum Zoomen eines Bildausschnitts aus den Bilddaten als wiederzugebende Bilddaten der aufgenommenen Bilddaten auf das erkannte Objekt.Prefers in particular, a communication system with an image processing device or as an image processing device equipped processing means for zooming a picture detail from the image data as image data to be reproduced Image data on the recognized object.

Bevorzugt wird insbesondere ein Kommunikationssystem mit einem audio-visuellen Regelkreis oder der als audio-visueller Regelkreis ausgestalteten Verarbeitungs-Einrichtung zum Verbessern der momentan oder zukünftig wiederzugebenden Tondaten anhand eines optisch ermittelten und solche Tondaten wiedergebenden Objektes und/oder zum Verbessern der momentan und/oder zukünftig wiederzugebenden Bilddaten anhand Tondaten eines derart akustisch ermittelten Objektes.Prefers In particular, a communication system with an audio-visual Control circuit or designed as an audio-visual control loop Processing means for improving the current or future to be reproduced Sound data based on a visually determined and reproduced such sound data Object and / or to improve the current and / or future play Image data based on sound data of such an acoustically detected object.

Ein Ausführungsbeispiel und weitere Vorteile werden nachfolgend anhand der Zeichnung näher erläutert. Es zeigen:One embodiment and further advantages are explained below with reference to the drawing. It demonstrate:

1 zwei räumliche Anordnungen zum Aufzeichnen und Wiedergeben von Bilddaten und Tondaten von Objekten innerhalb des entsprechenden der Räume, wobei die in einem der Räume aufgenommenen Daten in dem anderen der Räume wiedergegeben werden, 1 two spatial arrangements for recording and reproducing image data and sound data of objects within the corresponding one of the rooms, the data recorded in one of the rooms being reproduced in the other of the rooms,

2 schematische Komponenten eines audio-visuellen Kommunikationssystems zum Verarbeiten solcher Daten und 2 schematic components of an audio-visual communication system for processing such data and

3 einen beispielhaften Algorithmus zum bevorzugten Verarbeiten audio-visueller Daten zur wechselseitigen Verbesserung einerseits der Bilddaten und andererseits der Tondaten. 3 an exemplary algorithm for the preferred processing audio-visual data for mutual improvement on the one hand the image data and on the other hand the sound data.

Wie dies aus 1 ersichtlich ist, sind zwei Räume als räumlich voneinander beabstandete Bereiche mit einer Vielzahl von Kameras, Mikrofonen, Lautsprechern und Projektoren ausgestattet, um eine Video-Konferenz zwischen diesen beiden Räumen zu ermöglichen. Neben einer Umsetzung zu Zwecken einer Video-Konferenz zwischen einzelnen Personen als jeweils Tondaten abgebenden Objekten U1, U2, U3 ist auch eine Übertragung auf andere Anwendungen möglich, beispielsweise zu Zwecken der Überwachung von Tieren, Maschinen oder einfach nur einer Kuckucksuhr als einem variable Tondaten und Bilddaten erzeugenden Objekt. Insbesondere ist eine Umsetzung mit einer variierenden Anzahl von zumindest einem Mikrofon als einer Tonaufnahme-Einrichtung M1–M6 und zumindest einer Kamera als einer Bildaufnahme-Einrichtung V1, V2 in einem der Räume und entsprechend zumindest einem Lautsprecher als einer Tonwiedergabe-Einrichtung L1–L4 und einem Projektor als einer Bildwiedergabe-Einrichtung P1, P2 umsetzbar.Like this 1 is apparent, are two Spaces are equipped as spatially spaced areas with a variety of cameras, microphones, speakers, and projectors to enable a video conference between these two spaces. In addition to a conversion for purposes of a video conference between individuals as each sound data emitting objects U1, U2, U3, a transfer to other applications is possible, for example for the purpose of monitoring animals, machines or just a cuckoo clock as a variable audio data and Image data generating object. In particular, a conversion with a varying number of at least one microphone as a sound recording device M1-M6 and at least one camera as an image recording device V1, V2 in one of the rooms and corresponding at least one speaker as a sound reproduction device L1-L4 and a projector as a picture display device P1, P2 feasible.

Bei der beispielhaften Ausführungsform ist einem ersten Raum ein erstes Kommunikationssystem X zugeordnet, an welchem beispielhaft vier Mikrofone als Tonaufnahme-Einrichtungen M1–M4 und zwei Kameras als Bildaufnahme-Einrichtungen V1, V2 über ein Leitungssystem angeschlossen sind. Beispielsweise sprechen in diesem ersten Raum zwei Personen als ein erstes und ein zweites Objekt U1, U2 miteinander. Die beiden Objekte U1, U2 geben entsprechend Schallwellen s1 bzw. s2 ab, welche von den vier räumlich verteilten Tonaufnahme-Einrichtungen M1–M4 aufgenommen und als Tondaten m1–m4 an das erste Kommunikati onssystem X übertragen werden. Außerdem erfassen die beiden Bildaufnahme-Einrichtungen V1, V2 jeweils ein Bild oder eine Abfolge von Bildern, welche als Bilddaten v1, v2 an das erste Kommunikationssystem X übertragen werden.at the exemplary embodiment a first space is assigned a first communication system X, for example, four microphones as sound recording devices M1-M4 and two cameras as image pickup devices V1, V2 via a Line system are connected. For example, speak in this first room two persons as a first and a second object U1, U2 together. The two objects U1, U2 give corresponding sound waves From s1 or s2, which of the four spatially distributed sound recording facilities M1-M4 recorded and as sound data m1-m4 to the first communication system X. Also capture the two image recording devices V1, V2 each have a picture or a sequence of images, which as image data v1, v2 to the first Communication system X transfer become.

Nach einer entsprechenden Aufbereitung in dem ersten Kommunikationssystem X werden geeignete wiederzugebende Bilddaten v1*, v2* und geeignete wiederzugebende Tondaten m1*–m4* vom ersten Kommunikationssystem X über eine geeignete Verbindung als Signalisierungs-Daten s an das zweite Kommunikationssystem Y übertragen. Nach gegebenenfalls entsprechender Aufbereitung übermittelt das zweite Kommunikationssystem Y die empfangenen Daten entsprechend an einen ersten bzw. einen zweiten Projektor als Bildwiedergabe-Einrichtungen P1, P2, welche die wiederzugebenden Bilddaten v1*, v2* entsprechend auf eine erste bzw. eine zweite Leinwand SC projizieren. Alternativ können beispielsweise auch Bildschirme anstelle einer Anordnung aus Projektoren und entsprechenden Leinwänden SC verwendet werden. Außerdem werden über vorzugsweise wiederum vier Lautsprecher L1–L4 entsprechende wiederzugebende Tondaten m1*–m4* an eine dritte Person als einem dritten Objekt U3 ausgegeben. Die dritte Person bzw. das dritte Objekt U3 nimmt entsprechend von den Lautsprechern L1–L4 räumlich idealerweise korrekt reproduziert wiedergegebene Schallwellen h3l, h3r wahr und sieht zugleich ein entsprechendes Bild, welches mit den zugeordneten Bilddaten v2* wiedergegeben wird. Vorzugsweise erfolgt dabei die Wiedergabe der wiederzugebenden Tondaten und der wiederzugebenden Bilddaten so, als würde sich das dritte Objekt U3 im ersten Raum zwischen den beiden anderen Objekten U1, U2 befinden.To a corresponding preparation in the first communication system X become suitable image data to be reproduced v1 *, v2 * and appropriate sound data to be played m1 * -m4 * from the first communication system X via a suitable connection transmitted as signaling data s to the second communication system Y. After appropriate processing, the second communication system transmits Y the received data corresponding to a first and a second respectively Projector as image display devices P1, P2, which reproduce the Image data v1 *, v2 * corresponding to a first or a second screen Project SC. Alternatively you can For example, screens instead of an array of projectors and corresponding screens SC can be used. Furthermore are preferred over turn four speakers L1-L4 corresponding sound data to be played m1 * -m4 * issued to a third person as a third object U3. The third person or the third object U3 takes accordingly from the Speakers L1-L4 spatial Ideally reproduced correctly reproduced sound waves h3l, true and sees at the same time a corresponding picture, which with the assigned image data v2 * is played. Preferably takes place doing the playback of the sound data to be played and the reproduced Image data as if the third object U3 in the first space between the other two objects U1, U2 are located.

Damit eine beidseitige Kommunikation erfolgen kann, weist der zweite Bereich ebenfalls Mikrofone als Tonaufnahme- Einrichtungen M5, M6 zur Aufnahme von Schallwellen s3 des dritten Objekts U3, das heißt der dritten Person, auf. Außerdem sind entsprechend nicht dargestellte Bildaufnahme-Einrichtungen vorgesehen. Dadurch können entsprechende Tondaten und Bilddaten aufgenommen und an das erste Kommunikationssystem X zur dortigen Wiedergabe über entsprechende Tonwiedergabe-Einrichtungen und Bildwiedergabe-Einrichtungen übertragen werden, welche zur Vereinfachung der Zeichnung nicht abgebildet sind.In order to a two-way communication can be done, the second area also microphones as sound recording devices M5, M6 for recording Sound waves s3 of the third object U3, that is the third person on. Furthermore are provided according to imaging means not shown. Thereby can corresponding sound data and image data were taken and sent to the first Communication system X for playback there via corresponding sound reproduction facilities and image reproduction devices are transmitted, which Simplification of the drawing are not shown.

Wie dies aus 2 ersichtlich ist, sind zur Durchführung der Kommunikation die Kommunikationssysteme X, Y neben einer Schnittstelle S zum Übertragen der verschiedenen Daten und Signale zu den diversen Einrichtungen bzw. zu dem jeweils anderen Kommunikationssystem Y, X mit einer Verarbeitungs-Einrichtung C, insbesondere einem Prozessor, und mit einem Speicher M ausgestattet. Anstelle einer komplexen Verarbeitungs-Einrichtung C können alternativ oder zusätzlich auch weitere eigenständige Einrichtungen wie eine Bildverarbeitungs-Einrichtung und eine Tonverarbeitungs-Einrichtung zur Entlastung der Verarbeitungs-Einrichtung C vorgesehen werden.Like this 2 it can be seen that the communication systems X, Y are in addition to an interface S for transmitting the various data and signals to the various devices or to the respective other communication system Y, X with a processing device C, in particular a processor, and equipped with a memory M. Instead of a complex processing device C, alternatively or additionally, further independent devices such as an image processing device and a sound processing device for relieving the processing device C may be provided.

Zur Verbesserung der Kommunikation führt die Verarbeitungs-Einrichtung C einen audio-visuellen Regelkreis aus, welcher eine wechselseitige Verbesserung einerseits der Tondaten aufgrund zuvor empfangener Bilddaten und andererseits der Bilddaten aufgrund zuvor empfangener Tondaten ermöglicht.to Improving communication leads the Processing means C an audio-visual control loop, which is a reciprocal Improvement on the one hand of the sound data due to previously received Image data and on the other hand the image data due to previously received Sound data enabled.

3 zeigt ein einfaches Ausführungsbeispiel eines bevorzugten Algorithmus. Kontinuierlich werden Bilddaten vi und Tondaten mi mit i = 1, 2, 3, ... aufgenommen (Schritt S1), welche von den Tonaufnahme-Einrichtungen M1–M4 bzw. den Bildaufnahme-Einrichtungen V1, V2 stammen. Die aufgenommenen Daten werden mittels der Verarbeitungs-Einrichtung C auf Veränderungen analysiert (Schritt S2) und gespeichert oder an das zweite Kommunikationssysterm Y übertragen (Schritt S3). Wenn sich die Tondaten mi geändert haben (Schritt S4), wird in vorzugsweise einem eigenständigen Algorithmus für die Tondaten mi ermittelt, ob in dem Raum ein neues Objekt Ui hinzugekommen ist oder ob ein vorhandenes Objekt Ui entfällt (Schritt S5). Falls ja, werden Bild-Steuersignale svi und Ton-Steuersignale smi zur Steuerung der weiteren Bildverarbeitung und/oder Tonverarbeitung angepasst (Schritt S6). Außerdem erfolgt ein Rücksprung in den Algorithmus zur Aufnahme der Bilddaten vi und Tondaten mi, sofern dieser nicht, wie dargestellt, parallel kontinuierlich fortgeführt wird. 3 shows a simple embodiment of a preferred algorithm. Continuously, image data vi and sound data mi with i = 1, 2, 3, ... are recorded (step S1) originating from the sound recording devices M1-M4 and the image pickup devices V1, V2, respectively. The recorded data is analyzed for changes by the processing means C (step S2) and stored or transmitted to the second communication system Y (step S3). If the sound data mi has changed (step S4), is determined in preferably a separate algorithm for the sound data mi, whether in the room a new object Ui is added or whether an existing object Ui is omitted (step S5). If so, image control signals svi and sound control signals smi are adjusted to control the further image processing and / or sound processing (step S6). In addition, a jump back into the algorithm for recording the image data vi and sound data mi, unless this, as shown, is continued in parallel continuously.

Falls die Tondaten mi nicht geändert werden oder parallel zu deren Überprüfung in jedem Fall, erfolgt eine Überprüfung der Bilddaten vi, ob sich diese geändert haben (Schritt S7). Falls ja, wird für die Bilddaten vi geprüft, ob ein neues Objekt Ui hinzugekommen ist oder ob ein vorhandenes Objekt Ui nicht mehr vorhanden ist (Schritt S5). Falls erforderlich, werden wiederum entsprechende Bild-Steuersignale svi und Ton-Steuersignale smi entsprechend angepasst (Schritt S6). Wiederum wird bei Bedarf ein entsprechender Rücksprung zu dem Aufnehmen von Bilddaten vi und von Tondaten mi vorgenommen. Falls in dem Regelkreis die Tondaten mi und die Bilddaten vi nicht verändert wurden oder alternativ in jedem Fall, erfolgt ein Rücksprung zu der Aufnahme neuer Tondaten mi und Bilddaten vi (Schritt S1).If the sound data mi not changed or parallel to their review in In any case, a check is made Image data vi, if these changed have (step S7). If yes, it is checked for the image data vi whether a new object Ui has been added or if an existing object Ui is no longer present (step S5). If necessary, be turn corresponding image control signals svi and sound control signals smi adjusted accordingly (step S6). Again, if needed a corresponding return for taking image data vi and sound data mi. If in the control loop, the sound data mi and the image data vi have not been changed or alternatively, in each case, a return to the inclusion of new takes place Sound data mi and image data vi (step S1).

Bei der dargestellten Ausführungsform werden vor oder nach dem Analyse-Schritt der Bilddaten vi und der Tondaten mi bzw. parallel zu diesem Schritt die Bilddaten vi und Tondaten mi an das zweite Kommunikationssystem Y übertragen. Außerdem werden an das zweite Kommunikationssystem Y entsprechende Bild-Steuersignals svi und Ton-Steuersignale smi übertragen (Schritt S8), welche dazu dienen, die Bilddaten vi bzw. die Tondaten mi in dem zweiten Kommunikationssystem Y entsprechend geeignet aufzubereiten als wiederzugebende Bilddaten v(v1*, v2*, ...) bzw. als wiederzugebende Tondaten m(m1*, m2*, ... ).at the illustrated embodiment be before or after the analysis step of the image data vi and the Sound data mi or parallel to this step, the image data vi and Audio data mi transmitted to the second communication system Y. Furthermore be the second communication system Y corresponding image control signal svi and transmit sound control signals smi (Step S8) serving the image data vi and the sound data, respectively mi suitably suitable in the second communication system Y accordingly as image data to be reproduced v (v1 *, v2 *, ...) or as to be reproduced Sound data m (m1 *, m2 *, ...).

Besonders bevorzugt wird jedoch eine Ausführungsform, bei welcher entsprechende Fähigkeiten des zweiten Kommunikationssystems Y nicht vorausgesetzt werden. Bei einer solchen bevorzugten Ausführungsform werden dem zweiten Kommunikationssystem Y als Signalisierung s bereits fertig aufbereitete und direkt wiederzugebende Bilddaten v(v1*, v2*, ...) und entsprechend aufbereitete und direkt wiederzugebende Tondaten m(m1*,m2*, ...) übertragen (Schritt S9). Entsprechend nimmt die Verarbeitungs-Einrichtung C in dem ersten Kommunikationssystem X die Verarbeitung vor der Übertragung über die Schnittstelle S vor.Especially however, an embodiment is preferred where appropriate skills of the second communication system Y can not be assumed. In such a preferred embodiment, the second Communication system Y as signaling s already prepared and directly to be reproduced image data v (v1 *, v2 *, ...) and accordingly processed and directly reproduced sound data m (m1 *, m2 *, ...) transferred (Step S9). Accordingly, the processing device C takes in the first communication system X, the processing before transmission over the Interface S before.

Besonders bevorzugt wird eine Ausführungsform, bei welcher die Verarbeitungs-Einrichtung C des ersten Kommunikationssystems X nach Empfang oder Änderung von Tondaten m1–m4, mi diese aufgrund der räumlichen Anordnung der Tonaufnahme-Einrichtung M1–M4 hinsichtlich eines Standorts eines oder mehrerer die Tondaten m1–m4 abgebenden Objekte U1, U2 analysiert. Aufgrund des Analyse-Ergebnisses werden die Tonaufnahme-Einrichtungen M1–M4 mechanisch oder mittels einer geeigneten Signalverarbeitung gezielt auf das oder die Objekte U1, U2 ausgerichtet, um die zu übertragenden und wiederzugebenden Tondaten m1*–m4* zu verbessern, insbesondere zu optimieren.Especially an embodiment is preferred in which the processing device C of the first communication system X after receipt or change of sound data m1-m4, mi this due to the spatial Arrangement of the sound recording device M1-M4 with respect to a location of a or more the sound data m1-m4 issuing objects U1, U2 analyzed. Based on the analysis result the sound recording devices M1-M4 are mechanically or by means of a suitable signal processing targeted to the object or objects U1, U2 aligned to the ones to be transmitted and sound data to be played back m1 * -m4 * to improve, in particular to optimize.

Außerdem wird aufgrund des Analyse-Ergebnisses nicht nur ein Ton-Steuersignal smi als Basis für eine solche Tondatenverar beitung sondern auch ein entsprechendes Bild-Steuersignal svi erzeugt, welches zur Verbesserung insbesondere der Aufnahme der zu übertragenden und wiederzugebenden Bilddaten v1*, v2* dient. Eine Verbesserung der Bilddaten kann beispielsweise dadurch erfolgen, dass die Bildaufnahme-Einrichtungen V1, V2 mechanisch auf die erkannten Objekte U1, U2 ausgerichtet werden. Alternativ oder zusätzlich kann auch eine Bildsignal-Verarbeitung erfolgen, indem beispielsweise mittels eines Bildzooms der Anteil der wiederzugebenden Bilddaten v1* aus den insgesamt verfügbaren Bilddaten v1 zur Übertragung an das zweite Kommunikationssystem oder zur Speicherung gezoomt bzw. vergrößert wird. Außerdem kann anhand einer entsprechenden Bildverarbeitung des bzw. der empfangenen Bilddaten v1, v2 ein verbessertes Bild-Steuersignal svi zur weiteren Verbesserung der Bildverarbeitung und/oder ein verbessertes Ton-Steuersignal smi zur verbesserten Tondaten-Erfassung erzeugt und bereitgestellt werden.In addition, will not just a tone control signal due to the analysis result smi as the basis for Such a sound data processing but also a corresponding Image control signal svi generated, which for the improvement in particular the recording of the to be transmitted and image data to be reproduced v1 *, v2 * is used. An improvement in the Image data can be done, for example, by the fact that the image recording facilities V1, V2 are mechanically aligned to the detected objects U1, U2. Alternatively or in addition can also be a picture signal processing take place, for example, by means of a picture zoom the proportion of the image data v1 * to be reproduced from the total available image data v1 for transmission zoomed to the second communication system or for storage or is enlarged. Furthermore can by means of a corresponding image processing of or received Image data v1, v2 an improved image control signal svi for further Improvement of image processing and / or an improved sound control signal smi be generated and provided for improved audio data acquisition.

Falls beispielsweise die Verarbeitungs-Einrichtung C anhand einer Variation der aufgenommenen Bilddaten v1, v2 ein sich bewegendes Objekt U1, U2 erkennt, welches aufgrund der spezifischen Bewegung vermutlich Tondaten von sich gibt, so kann die Tondatenverarbeitung derart erfolgen, dass die Tonaufnahme-Einrichtungen M1–M4 mechanisch und/oder durch geeignete Signalverarbeitung gezielt noch genauer auf dieses Objekt U1, U2 gerichtet werden.If For example, the processing device C based on a variation the recorded image data v1, v2 a moving object U1, U2 recognize which due to the specific movement probably sound data of themselves, the sound data processing can take place in such a way, that the sound recording devices M1-M4 mechanically and / or by suitable signal processing specifically targeted to this object U1, U2 are directed.

Besonders bevorzugt wird eine Ausführungsform, bei welcher in dem Speicher M verschiedene Referenzbilder uv1, uv2, uv3 und/oder verschiedene Referenz-Klangbilder um1, um2, um3 abgespeichert sind. Nach dem Erfassen von Bilddaten v1, v2 oder Tondaten m1–m4 kann die Analyse mittels der entsprechenden Referenzbilder uv1–uv3 bzw. Referenz-Klangbilder um1–um3 durchgeführt werden. Erkennt die Verarbeitungs-Einrichtung C bei einer solchen Analyse das Bildnis und/oder das Klangspektrum einer bestimmten Person oder eines bestimmten Objektes U1, U2, so können die Ton-Steuersignale smi und/oder die Bild-Steuersignale svi entsprechend geändert bereitgestellt werden, so dass die Bilddaten vi und die Tondaten mi gezielt gefiltert oder auf sonstige geeignete Art und Weise verarbeitet werden können.Particularly preferred is an embodiment in which in the memory M different reference images uv1, uv2, uv3 and / or different reference sound images um1, um2, um3 are stored. After acquiring image data v1, v2 or sound data m1-m4, the analysis can be performed by the corresponding reference images uv1-uv3 and reference sound images um1-um3, respectively. If the processing device C recognizes the image and / or the sound spectrum of a specific person or a specific object U1, U2 in such an analysis, then the sound control signals smi and / or the image control signal nale svi be provided changed accordingly, so that the image data vi and the sound data mi mi can be filtered or processed in any other suitable manner.

Ermöglicht wird somit ein audio-visueller Regelkreis, um die Position des oder der Sprecher in einem Raum genauer zu bestimmen und die Aufnahme der Tondaten zu verbessern. Dabei wird vorzugsweise aus im Raum verteilten Mikrofonen mittels eines adaptiven Filters eine Multibeam-Aufnahme ermöglicht. Die separierten Tondaten werden dann den aus den Bilddaten ermittelten Gesichtern zugeordnet. Aus den zugeordneten Bildern können die Koeffizienten des Multibeams mittels einer geeigneten Signalverarbeitung noch genauer bestimmt werden.This is possible thus an audio-visual control loop to the position of the or Spokesperson in a room to more accurately determine and record the Improve sound data. It is preferably distributed in space Microphones by means of an adaptive filter a multibeam recording allows. The separated sound data is then determined from the image data Assigned to faces. From the assigned images, the Coefficients of the multibeam by means of suitable signal processing be determined more precisely.

Vorzugsweise werden aus den Regelkreisdaten die Bilddaten nach bestimmten Methoden automatisch, vorzugsweise elektronisch aufgezoomt und zusammen mit den zugeordneten Tondaten für eine Übertragung zu einem entfernten Raum zur Verfügung gestellt.Preferably From the loop data, the image data is determined according to certain methods automatically, preferably electronically zoomed and together with the assigned sound data for a transmission provided to a distant room.

Die Gesichter mit der zugehörigen Ton-Information können vor oder nach der Übertragung gemäß bestimmter Kriterien zu einer räumlich akustischen und zugeordneten visuellen Wiedergabe geeignet arrangiert werden. Die Wiedergabe im entfernten Raum muss dabei jedoch nicht zwingend in räumlich rekonstruierter Konstellation entsprechend der Konstellation bei der Aufnahme erfolgen. Auch die Wiedergabe auf nur einem einzelnen Computerbildschirm mit einem einzelnen angeschlossenen Lautsprecher ist möglich.The Faces with the associated Sound information can before or after the transfer according to certain Criteria to a spatial arranged acoustically and associated visual playback appropriately become. However, the playback in the remote room does not have to mandatory in spatial reconstructed constellation according to the constellation at the recording done. Also the reproduction on only a single one Computer screen with a single connected speaker is possible.

Mittels der Erfassung einer Lippenbewegung und deren Auswertung kann eine Anpassung von Filter-Koeffizienten eines solchen Multibeams verbessert werden. Außerdem kann mittels der Erfassung einer Lippenbewegung und deren Auswertung ein künstliches Sprachsignal bereitgestellt werden, welches mit dem Multibeam bzw. den Tondaten gemischt wird, um eine bessere Verständlichkeit zu erreichen. Bei der Auswertung der Lippenbewegung und/oder der sonstigen Bilddaten können vorzugsweise persönliche Merkmale des Sprechers verwendet werden.through the detection of a lip movement and its evaluation can be a Adjustment of filter coefficients of such a multi-team improved become. Furthermore can by means of the detection of a lip movement and their evaluation an artificial one Speech signal can be provided which with the Multibeam or the sound data is mixed for better comprehension to reach. In the evaluation of the lip movement and / or the other image data can preferably personal Characteristics of the speaker are used.

In vorteilhafter Weise kann auch eine Blickrichtung b1, b2 einer Person bzw. die Ausrichtung eines Objektes U1, U2 ausgewertet werden, um Anweisungen an die Maschine bzw. das Kommunikationssystem zu übermitteln, wobei die Anweisungen durch eine entsprechende Bild-Analyse als Steueranweisungen vom System erkannt werden. Beispielsweise kann eine Blickrichtung b2, die gezielt auf ein Mikrofon oder auf eine Bildaufnahme-Einrichtung V2 gerichtet ist, als Indiz für eine Sprachanweisung an das Kommunikationssystem X erfasst werden.In Advantageously, a viewing direction b1, b2 of a person can also be used or the orientation of an object U1, U2 are evaluated to Provide instructions to the machine or communication system, the instructions being replaced by an appropriate image analysis as Control statements are recognized by the system. For example, can a line of sight b2, aimed at a microphone or on a Imager V2 is directed, as an indication of a voice command to the communication system X are detected.

Vorteilhafter Weise werden ein Ton- und/oder Video-Aufnahmegerät mit einer eingebauten Funkuhr bereitgestellt, um Signalphasen oder Bildphasen zur Verfügung zu stellen und einen späteren zentralen Zugriff zu ermöglichen.Favorable Weise become a sound and / or video recorder with a built-in radio clock provided to provide signal phases or image phases and later to allow central access.

Claims

Method for processing audio-visual data, in which - sound data (m1-m4) of an acoustic signal emitting object (U1, U2) are provided, - image data (v1, v2), which in the area of the object (U1, U2) simultaneously with the sound data (m1 *, m2 *) to be reproduced and the image data to be reproduced image data (v1 *, v2 *) converted and sent to a memory and / or be transmitted to an external device (Y) (S9), characterized in that - the image data (v1, v2) are analyzed (S2) on objects contained therein and the sound data (m1-m4) (U1, U2) and - upon detection of such an object (U1, U2) in the image data (v1, v2) a sound control signal (smi) for controlling at least one sound recording device (M1-M4) and / or at least one sound processing device (C) is generated (S6), - wherein currently or later to be provided sound data (m1 m4) or the sound data to be reproduced (m1 * *) dependent (by the tone control signal SMI) are processed -m4.

Method for processing audio-visual data, in particular method according to claim 1, in which - sound data (m1-m4) of an acoustic signal emitting object (U1, U2) are provided, - image data (v1, v2), which in the region of the object ( U1, U2) are recorded simultaneously with the sound data, and the sound data (m1-m4) to be reproduced sound data (m1 *, m2 *) and the image data to be reproduced image data (v1 *, v2 *) and converted to a memory and / or to an external device (Y) (S9), characterized in that - the sound data (m1-m4) are analyzed (S2) on objects contained therein and the sound data (m1-m4) (U1, U2 ) and - upon detection of such an object (U1, U2) in the audio data (m1-m4) an image control signal (svi) for controlling at least one image capture device (V1, V2) and / or at least one image processing device (C) is generated (S6) and / or - being currently or later to be provided Image data (v1, v2) or the image data (v1, v2) to be reproduced in response to the image control signal (svi).

The method of claim 1 or 2, wherein such in the image data (v1, v2) and sound data (m1-m4) emitting Object (U1, U2) is detected by processing the image data (v1, v2) with regard to typical facial movements and / or with regard to noise-causing movements of the object (U1, U2).

Method according to claim 3, in which as language-typical Face movement is analyzed a lip movement of a human being.

Method according to any preceding claim, in which such an object contained in the image data (v1, v2) and outputting sound data (m1-m4) (U1, U2) is detected by processing the image data (v1, v2) with regard to a memory (M) and determined Objects (U1, U2) and / or reference images assigned to specific object types (uv1, uv2, uv3).

Method according to any preceding claim, in which such in the sound data (m1-m4) contained and the sound data (m1-m4) donating object (U1, U2) is detected by processing the sound data of a plurality of sound recording devices (M1-M4) with respect to the location of the object (U1, U2) within a detectable area of space.

Method according to any preceding claim, in which such in the sound data (m1-m4) contained and the sound data (m1-m4) donating object (U1, U2) is detected by processing the sound data (m1-m4) in terms of in a memory (M) stored and certain objects and / or assigned to certain types of objects reference sound images (um1, um2, um3).

Method according to any preceding claim, in which by means of such from image data (v1, v2) of a recognized object (U1, U2) generated sound control signal (smi) an alignment of a or several sound recording devices (M1-M4) on the object by means of mechanical and / or signal processing method is performed.

Method according to any preceding claim, in which by means of such from image data (v1, v2) of a recognized object (U1, U2) generated sound control signal (smi) an object-specific Processing, in particular filtering, of the sound data (m1-m4) is performed.

The method of claim 9, wherein the optical Detecting a lip movement of a person as the detected object (U1, U2) an artificial one Speech signal with the signal of the sound data (m1-m4) to achieve a better comprehensibility is mixed.

A method according to any preceding claim, wherein the object (U1, U1) detected by means of such sound data (m1-m4) U2) generated image control signal (svi) an alignment of one or more Image recording devices (V1, V2) on the object (U1, U2) by means of mechanical and / or signal processing method is performed.

A method according to any preceding claim, wherein the image data (v1 *, v2 *) to be reproduced mechanically and / or signal-processed zoomed image section (v1 *) with which the sound data (m1-m4) is output Transfer object (U1) becomes.

A method according to any preceding claim, wherein the whole Transfer image data (v1) and in addition a control information regarding a zoomable by means of a signal processing method image detail (v1 *) for optional zooming in which the image data (v1) is received Transfer device (Y) becomes.

A method according to any preceding claim, wherein the image data (v1, v2) to a certain predetermined viewing direction and / or certain predeterminable orientation of the sound data (m1-m4) Object (U1, U2) are analyzed from the image data (v1, v2), wherein in the case of the determined determined viewing direction and / or certain Align the sound data as instructions to a machine and / or to a machine controller (X).

A method according to any preceding claim, wherein the means of an audio-visual control loop a visually determined and such sound data (m1-m4) reproducing object (U1, U2) for improving the current and / or future sound data to be reproduced (m1 *, m2 *) and / or an acoustically determined Object (U1, U2) for improving the current and / or future display image data (v1 *, v2 *) is used.

Audio-visual communication system, in particular audiovisual communication system for carrying out a method according to any preceding claim, having - at least one sound recording device (M1-M6) for providing sound data (m1-m4) of an acoustic signal emitting object (U1-U3), - at least one image recording device (V1, V2) for recording image data (v1, v2) recorded in the region of the object (U1, U2) simultaneously with the sound data (M1-m4), A processing means (C) and an interface (S) for providing and transmitting the sound data (m1-m4) as sound data (m1 * -m4 *) to be reproduced and the image data (v1, v2) as image data to be reproduced (v1 *, v2 *) to a memory (M) and / or to an external device (Y), characterized in that - the processing device (C) is designed as an analysis device, the image data (v1, v2) contained therein and analyze the sound data (m1-m4) emitting objects (U1-U2) and - the processing device (C) is designed, upon detection of such an object (U1, U2) in the image data (v1, v2) a sound control signal (sm1-sm4; smi) for controlling at least one sound recording device (M1-M4) and / or at least one sound processing device, - wherein the processing device (C) is designed to provide sound data to be provided momentarily or later ( m1-m4) or the sound data to be played back (m1 * -m4 *) depending on the tone control signal (sm1-sm4; smi) or to provide it together with the tone control signal (smi).

Audio-visual communication system, in particular audiovisual communication system according to claim 16 and / or audiovisual Communication system for performing A method according to any one of claims 1-15, comprising - at least a sound recording device (M1-M6) for providing Sound data (m1-m4) of a acoustic signal emitting object (U1-U3), - At least one image recording device (V1, V2) for taking image data (v1, v2), which is in the range of the object (U1, U2) are recorded simultaneously with the sound data (M1-m4) were, - one Processing device (C) and an interface (S) for providing and transferring the Sound data (m1-m4) as sound data to be reproduced (m1 * -m4 *) and the image data (v1, v2) as image data to be reproduced (v1 *, v2 *) to a memory (M) and / or to an external device (Y), characterized, that - the Processing device (C) is designed as an analysis device the sound data (m1-m4) on objects contained therein and the sound data (m1-m4) donating (U1-U2) to analyze and - the Processing device (C) is designed upon detection of a such object (U1-U2) in the sound data (m1-m4) an image control signal (sv1, sv2; svi) for controlling at least an image recording device (V1, V2) and / or at least one To produce image processing device - the processing facility (C) is designed to be currently or later to be provided image data (v1, v2) or the image data to be displayed (v1 *, v2 *) depends on the image control signal (sv1, sv2, svi) to process or together with the image control signal (svi).

Communication system according to claim 16 or 17 with a memory (M) for storing reference images (uv1-uv3) certain objects (U1-U3) and / or to certain types of objects for performing an analysis of the image data (v1, v2) by means of the processing means (C)) for recognizing of the sound data (m1-m4) issuing object (U1, 2).

Communication system according to one of claims 16-18 a filter device or the filter device designed as a filter (C) for object specific processing, in particular filtering the Sound data (m1-m4) after optical recognition of such an object (U1, U2).

Communication system according to one of claims 16-19 an image processing device or as an image processing device equipped processing facility (C) for zooming an image section from the image data (v1, v2) as to be reproduced image data (v1 *) of the recorded image data the recognized object.

Communication system according to one of claims 16-20 an audiovisual control loop (S1-S8) or audiovisual Loop configured processing means (C) for improving the current or future to be reproduced sound data (m1-m4; m1 * -m4 *) based on a visually determined and the sound data (m1-m4) reproducing Object (U1, U2) and / or to improve the current and / or future image data (v1, v2; v1 *, v2 *) to be reproduced on the basis of sound data (m1-m4) of a such acoustically determined object.