-
Technisches Gebiet
-
Die
vorliegende Erfindung bezieht sich auf eine Vorrichtung und ein
Verfahren zur Schallquellen-Identifizierung zum einzelnen Identifizieren
verschiedener Schalle anhand von Bildinformationen und Schallinformationen,
die aus mehreren derartigen Schallquellen abgeleitet werden.
-
Stand der Technik
-
Bislang
wurden Forschungen dazu unternommen, aus gemischten Schallen einen
bestimmten Schall, wie etwa einen Sprach- oder einen Musikschall,
der in den gemischten Schallen enthalten ist, zu trennen. Beispielsweise
ist ein Schallerkennungssystem bekannt, das annimmt, dass sein Eingangsschall
aus Sprache oder Stimmen besteht. Und hinsichtlich Bildern oder
der Bildverarbeitung ist ein System bekannt, das beim Extrahieren
eines Objekts dessen Farbe, Form und oder Bewegung annimmt, um es
zu charakterisieren.
-
Ein
Schallerkennungssystem, das eine Schallerkennung mit einer Bildverarbeitung
verknüpft,
ist aus
JP 11018194 und
dessen Übersetzung
US 6.317.501 oder aus
WO 97 43856 bekannt. Andererseits
wird das System, das Sprache oder Stimmen annimmt, nur ausgeführt, wenn
sich ein Mikrofon in der Nähe
des Mundes befindet oder wenn keine andere Schallquelle vorhanden
ist.
-
Ferner
wurde zwar ein System vorgeschlagen, um anhand einer harmonischen
Struktur aus den Schallsignalen von mehreren Schallquellen ein bestimmtes
zu trennen und dann die Richtung zu finden, in der sich dessen Schallquelle
befindet, doch ist die Genauigkeit, mit der die Richtung der Schallquelle
dadurch gefunden werden kann, nur bis auf etwa ±10° genau, und es ist nicht möglich, die
Schallquelle zu trennen, wenn sie sich in der Nähe einer oder mehrerer benachbarter
Schallquellen befindet.
-
Ferner
wurde ein Verfahren vorgeschlagen, das mehrere Schallsammelmikrofone
in gleicher Anzahl wie der der Schallquellen verwendet, um anhand von
Schallinformationen von den verschiedenen Schallsammelmikrofonen
eine bestimmte Schallquelle zu identifizieren. Obwohl dieses Verfahren
dazu entworfen ist, die Intensität
eines Schalls und die Position von dessen Quelle zu identifizieren,
stellt sich heraus, dass seine Frequenzinformationen sich um die
Achse ausbreiten, die die Richtung definiert, in der sich die Schallquelle
befindet, sodass es schwierig wird, die Schallquelle deutlich zu
identifizieren. Ferner ermöglicht
es dieses Verfahren zwar, die Erkennungsrate einer Schallquelle
zu steigern, doch wird das Verfahren kostspielig, da Schallsammelmikrophone
in gleicher Anzahl wie der der Schallquellen erforderlich sind,
die unabhängig
voneinander vorliegen.
-
Darauf
gerichtet, die sich nach dem Stand der Technik, wie oben beschrieben,
ergebenden Schwierigkeiten zu vermeiden, hat die vorliegende Erfindung
als ihre erste Aufgabe, eine Schallquellen-Identifizierungs-Vorrichtung
zu schaffen, die in der Lage ist, ein Objekt als eine Quelle eines
Schalls in gemischten Schallen mit größerer Genauigkeit im Hinblick
auf seinen Ort zu identifizieren, indem Informationen bezüglich des
Schalls und Informationen bezüglich
der Schallquelle als ein Bild hiervon sowie Informationen bezüglich dieser
Position verwendet werden, um den Schall aus den gemischten Schallen mit
angemessener Genauigkeit zu trennen.
-
Die
vorliegende Erfindung hat ferner als ihre zweite Aufgabe, ein Schallquellen-Identifizierungs-Verfahren
zu schaffen, das in der Lage ist, ein Objekt als eine Quelle eines
Schalls in gemischten Schallen mit größerer Genauigkeit im Hinblick
auf seine Position zu identifizieren, indem Informationen bezüglich des
Schalls und Informationen bezüglich der
Schallquelle als ein Bild hiervon sowie Informationen bezüglich dieser
Position verwendet werden, um den Schall aus den gemischten Schallen
mit angemessener Genauigkeit zu isolieren.
-
Offenbarung der Erfindung
-
Um
die erste oben erwähnte
Aufgabe zu lösen,
wird in Übereinstimmung
mit der vorliegenden Erfindung eine Schallquellen-Identifizierungs-
und -Trennungs-Vorrichtung in Übereinstimmung
mit Anspruch 1 geschaffen.
-
Die
Vorrichtung ist ferner dadurch gekennzeichnet, dass die Richtung
jedes der sämtlichen
Objekte, die möglicherweise
die Schallquellen sind, durch das Bildverarbeitungsmittel anhand
einer Farbe und/oder einer Form und/oder einer Höhe hiervon bestimmt wird.
-
Die
Vorrichtung ist ferner dadurch gekennzeichnet, dass das Erfassungsmittel
so beschaffen ist, dass es die Objekte, die möglicherweise die Schallquellen
sind, in Reaktion auf einen Magnetismus hiervon erfasst.
-
Die
Vorrichtung ist ferner dadurch gekennzeichnet, dass das Erfassungsmittel
so beschaffen ist, dass es die Objekte, die möglicherweise die Schallquellen
sind, in Reaktion auf Infrarotstrahlen, die sie emittieren, erfasst.
-
Die
Vorrichtung ist ferner dadurch gekennzeichnet, dass die Objekte,
die möglicherweise
die Schallquellen sind, jeweils ein daran befestigtes Material aufweisen,
das Magnetismus überträgt.
-
Die
Vorrichtung ist ferner dadurch gekennzeichnet, dass das Bildverarbeitungsmittel
eine Funktion zum Bestimmen der Richtung sämtlicher Objekte, die möglicherweise
die Schallquellen sind, anhand einer Farbe eines solchen Objekts
besitzt.
-
Die
Vorrichtung ist ferner dadurch gekennzeichnet, dass das Bildverarbeitungsmittel
eine Funktion zum Bestimmen der Richtung sämtlicher Objekte, die möglicherweise
die Schallquellen sind, anhand einer Form eines solchen Objekts
besitzt.
-
Die
Vorrichtung ist ferner dadurch gekennzeichnet, dass das Bildverarbeitungsmittel
eine Funktion zum Bestimmen von Richtungen sämtlicher Objekte, die möglicherweise
die Schallquellen sind, anhand einer Farbe, einer Form und einer
Höhe zusammen
eines solchen Objekts besitzt.
-
Mit
einer Konstruktion wie der oben erwähnten ist die Schallquellen-Identifizierungs-
und -Trennungs-Vorrichtung der vorliegenden Erfindung beim Lokalisieren
der Orte von Schallquellen gemäß den von
den Schallsammelmikrofonen erfassten Schallinformationen so entworfen,
dass sie die Richtungen der Schallquellen in Bezug auf die Positionsinformationen
anhand der Informationen bezüglich
von dem Abbildungsmittel abgebildeter Bilder und der Informationen
bezüglich
der von dem Erfassungsmittel erfassten Richtungen einengt. Dementsprechend
wird die Schallquellen-Identifizierungs- und -Trennungs-Vorrichtung
der vorliegenden Erfindung in die Lage versetzt, die Objekte zu
bestimmen, die die Schallquellen sein können, wobei animierte Bilder und
Richtungsinformationen der Objekte verwendet werden, sowie gleichzeitig
die Schallquellen zuverlässig
einzeln zu trennen, wobei deren Positionsinformationen und Schallinformationen
verwendet werden.
-
Um
die zweite oben erwähnte
Aufgabe zu lösen,
wird in Übereinstimmung
mit der vorliegenden Erfindung ferner ein Schallquellen-Identifizierungs- und
-Trennungs-Verfahren in Übereinstimmung
mit Anspruch 8 geschaffen.
-
Das
Verfahren ist ferner dadurch gekennzeichnet, dass die Richtung sämtlicher
Objekte, die möglicherweise
die Schallquellen sind, durch das Bildverarbeitungsmittel anhand
einer Farbe und/oder einer Form und/oder einer Höhe hiervon bestimmt wird.
-
Das
Verfahren ist ferner dadurch gekennzeichnet, dass die Richtungserfassung
durch das Erfassungsmittel in Reaktion auf einen Infrarotstrahl
erfolgt.
-
Das
Verfahren ist ferner dadurch gekennzeichnet, dass die Richtungserfassung
durch das Erfassungsmittel in Reaktion auf Magnetismus erfolgt.
-
Das
Verfahren ist ferner dadurch gekennzeichnet, dass die Richtung sämtlicher
Objekte, die möglicherweise
die Schallquellen sind, durch das Bildverarbeitungsmittel anhand
einer Farbe hiervon bestimmt wird.
-
Das
Verfahren ist ferner dadurch gekennzeichnet, dass die Richtung jedes
der Objekte, die möglicherweise
die Schallquellen sind, durch das Bildverarbeitungsmittel anhand
einer Form hiervon bestimmt wird.
-
Das
Verfahren ist ferner dadurch gekennzeichnet, dass die Richtung jedes
der Objekte, die möglicherweise
die Schallquellen sind, durch das Bildverarbeitungsmittel anhand
einer Farbe, einer Form und einer Höhe hiervon bestimmt wird.
-
Das
Verfahren ist ferner dadurch gekennzeichnet, dass die Bestimmung
der Richtung jeder der Schallquellen durch das Schallverarbeitungsmittel
anhand von Schallinformationen für
eine Phasen- und eine Intensitätsdifferenz
durch Bestimmen einer Position jeder der Schallquellen anhand eines
Signals für
jedes von Frequenzbändern,
in die sie beliebig unterteilt sind, erfolgt.
-
Das
Verfahren ist ferner dadurch gekennzeichnet, dass die Positionsinformationen
des Objekts, das möglicherweise
die Schallquelle ist, aus einer Bewegung des Objekts abgeleitet
werden.
-
Indem
es wie oben erwähnt
organisiert ist, ermöglicht
es das Schallquellen-Identifizierungs-Verfahren in Übereinstimmung
mit der vorliegenden Erfindung nicht nur, dass Schallinformationen
von mehreren Schallquellen von einem Schallsammelmittel, das aus
den zwei Schallsammelmikrofonen gegenüber den Schallquellen besteht,
abgeleitet werden, sondern auch, dass Bildinformationen dieser Schallquellen
aus Bildern hiervon, die von einem Abbildungsmittel abgebildet werden,
abgeleitet werden. Ferner führt
ein Erfassen der Richtungen der Schallquellen durch Magnetismus
oder einen Infrarotstrahl zu Richtungserfassungsinformationen. Und
wenn das Schallverarbeitungsmittel die Orte der Schallquellen anhand
von Schallinformationen, z. B. anhand einer Phasendifferenz und
einer Intensitätsdifferenz
in Schallinformationen, die von den Schallsammelmikrofonen für jede der
Schallquellen erfasst werden, lokalisiert, wird die Richtung jeder
der Schallquellen in Bezug auf Positionsinformationen, die für jedes
der Objekte, die möglicherweise
die Schallquellen sind, von einem Bildverarbeitungsmittel z. B.
anhand seiner Farbe, Form und/oder Bewegung auf der Grundlage der
Richtungserfassungsinformationen und/oder der von dem Abbildungsmittel abgeleiteten
Bildinformationen abgeleitet werden, eingeengt, wodurch es möglich wird,
die Schallquellen bezüglich
ihrer Orte anhand von Signalen in verschiedenen Frequenzbändern, z.
B. von harmonischen Strukturen, zu lokalisieren. Folglich macht
das Verfahren es unnötig,
die Schallinformationen beim Identifizieren der Schallquellen omnidirektional
oder über
sämtliche
Richtungen zu verarbeiten, und ermöglicht es, die Schallquelle
mit größerer Sicherheit zu
identifizieren, sowie bewirkt, dass eine geringere Menge an verarbeitbaren
Informationen ausreicht, und ermöglicht
es, die Verarbeitungszeit zu verringern.
-
In
diesem Fall ermöglicht
es die Fähigkeit, drei
oder mehr Schallquellen mit zwei Schallsammelmikrofonen im Schallsammelmittel
zu identifizieren, eine genaue Identifizierung der Positionen von Schallquellen
in einer einfachen Konstruktion auszuführen.
-
Ferner
ergibt sich, da das Verfahren, wie oben dargelegt, so ausgeführt wird,
dass der dritte Schritt, bei dem Informationen bezüglich grober
Orte der Schallqueller nur aus den Schallinformationen der im ersten
Schritt gesammelten Schalle abgeleitet werden, einbezogen ist, und
dass der vierte Schritt im Voraus ein Einengen von Richtungen der
Schallquellen anhand der groben, im dritten Schritt abgeleiteten Positionsinformationen,
wobei die Positionsinformationen der Objekte, die möglicherweise
die Schallquellen sind, abgeleitet werden, umfasst, eine Verringerung
der Informationsmenge zum Verarbeiten beim Ableiten der Positionsinformationen
der Objekte, die möglicherweise
die Schallquellen sind, anhand von Bildinformationen im dritten
Schritt, wodurch die Verarbeitung vereinfacht wird.
-
Kurzbeschreibung der Zeichnungen
-
Die
vorliegende Erfindung wird anhand der nachstehenden ausführlichen
Beschreibung und der hier beigefügten
Zeichnungen besser verstanden, die bestimmte veranschaulichende
Formen der Ausführungsform
der vorliegenden Erfindung zeigen. Im Zusammenhang damit ist anzumerken,
dass derartige Formen der Ausführungsform,
die in den beigefügten
Zeichnungen hiervon veranschaulicht sind, in keiner Weise dazu bestimmt
sind, die vorliegende Erfindung einzuschränken, sondern dazu, ihre Erläuterung
und ihr Verständnis
zu erleichtern.
-
In
den Zeichnungen ist:
-
1 eine
graphische Darstellung, die den Aufbau einer ersten Form der Ausführungsform
der Schallquellen-Identifizierungs-Vorrichtung in Übereinstimmung
mit der vorliegenden Erfindung veranschaulicht;
-
2 eine
graphische Darstellung eines beispielhaft Bildes, das von einem
Abbildungsmittel in der in 1 gezeigten
Schallquellen-Identifizierungs- Vorrichtung
aufgenommen oder abgebildet wird;
-
3 eine
erläuternde
Ansicht für
das Bild in der Schallquellen-Identifizierungs-Vorrichtung
von 1 ist, wobei (A) grobe, von einem Schallverarbeitungsmittel
bestimmte Richtungen A0, B0 und C0 von Schallquellen zeigt, (B)
Rahmen A1, B1 und C1 von Objekten zeigt, die als die von einem Bildverarbeitungsmittel
bestimmten Schallquellen in Frage kommen, und (C) Teile von Positionsinformationen
A3, B3 und C3 der Objekte zeigt, die als die von einem Bildverarbeitungsmittel
bestimmten Schallquellen in Frage kommen;
-
4 eine
erläuternde
Ansicht, die eine Differenz im Abstand zwischen einer Schallquelle
und zwei Schallsammelmikrofonen veranschaulicht, die in einem Schallsammelmittel
in der Schallquellen-Identifizierungs-Vorrichtung von 1 enthalten sind;
-
5 ein
Diagramm, das eine Operation eines Richtungsfilters veranschaulicht,
das in dem Schallverarbeitungsmittel in der Schallquellen-Identifizierungs-Vorrichtung
von 1 enthalten ist;
-
6 ein
Diagramm, das das Extrahieren von zwei Teilen von Schallinformationen
für einen Schall
von einer einzelnen Schallquelle veranschaulicht, das in dem Schallverarbeitungsmittel
in der Schallquellen-Identifizierungs-Vorrichtung von 1 ausgeführt wird;
-
7 eine
erläuternde
Ansicht, die das Extrahieren von Schallinformationen von jeder Schallquelle
veranschaulicht, das von dem Richtungsfilter in dem Schallverarbeitungsmittel
in der Schallquellen-Identifizierungs-Vorrichtung von 1 ausgeführt wird;
-
8 ein
Ablaufplan, der ein Verfahren zum Betrieb der Schallquellen-Identifizierungs-Vorrichtung
von 1 veranschaulicht;
-
9 ein
graphisches Schaubild, das einen Abschnitt von aufeinander folgenden
Bildern veranschaulicht, die von dem Abbildungsmittel in der Schallquellen-Identifizierungs-Vorrichtung
von 1 aufgenommen werden; und
-
10 ein
Diagramm, das Informationen bezüglich
Positionen veranschaulicht, die von dem Bildverarbeitungsmittel
auf vielfältiger
Grundlage eines Objekts bestimmt werden, das eine Schallquelle in der
Schallquellen-Identifizierungs-Vorrichtung
von 1 sein kann.
-
Beste Arten zum Ausführen der
Erfindung
-
Im
Folgenden wird die vorliegende Erfindung für eine Vorrichtung und ein
Verfahren zur Schallquellen-Identifizierung mit Bezug auf derzeit
beste Formen der Ausführungsformen
hiervon ausführlich
beschrieben, die in den Figuren der Zeichnung veranschaulicht sind.
-
1 zeigt
eine Form der Ausführungsform der
Schallquellen-Identifizierungs-Vorrichtung
in Übereinstimmung
mit der vorliegenden Erfindung.
-
Wie
in 1 gezeigt ist, umfasst die Schallquellen-Identifizierungs-Vorrichtung 10 ein
Schallsammelmittel 11, ein Abbildungsmittel 12,
ein Bildverarbeitungsmittel 13, ein Schallverarbeitungsmittel 14 und
ein Steuermittel 15.
-
Das
Schallsammelmittel 11 ist so entworfen, dass es Schalle
von mehreren Schallquellen, beispielsweise drei Sprechern, mit einem
Paar Schallsammelmikrofone 11a und 11b einfängt, die über einen
im Voraus gewählten
Abstand D nebeneinander angeordnet sind, wie in 1 gezeigt
ist, und sich gegenüber
den Schallquellen befinden, und dass es die eingefangen Schalle
verarbeitet. Während
die Anordnung dieser Schallsammelmikrofone auf irgendeine geeignete
Art und Weise eingerichtet sein kann, sind diese in dem gezeigten
Beispiel an gegenüberliegenden
Seiten des Abbildungsmittels 12 vorgesehen, und zwar an
der rechten und an der linken Seite.
-
Das
Abbildungsmittel 12 wird beispielsweise von einer CCD-Kamera
(einer Kamera mit ladungsgekoppeltem Bauelement) gebildet und ist,
wie in 2 gezeigt ist, so entworfen, dass es aufeinander folgend
Bilder von mehreren Schallquellen, z. B. drei Sprechern A, B und
C, aufnimmt.
-
Das
Bildverarbeitungsmittel 13 ist so entworfen, dass es Informationen
bezüglich
der Orte von Objekten, die Schallquellen sein können, in von dem Abbildungsmittel 12 aufgenommenen
Bildern und anhand ihrer Farbe, Form oder Bewegung ableitet. Hier ist
anzumerken, dass der Begriff "Bewegung" dazu bestimmt ist,
auch Vibrationen zu umfassen.
-
In
diesem Fall erstellt das Bildverarbeitungsmittel 13 in
dem und für
das vom Abbildungsmittel 12 aufgenommene Bild für die drei
Sprecher A, B und C gemäß der Farbe
(d. h. der Hautfarbe eines Menschen) und der Höhe, wie in 3(B) gezeigt ist, Rahmen A1, B1 und C1. Dann wählt das
Bildverarbeitungsmittel 13, wie in 3(C) gezeigt
ist, Zentralpunkte A2, B2 und C2 dieser Rahmen A1, B1 und C1 (in 3 durch
die Markierungen + dargestellt) als die jeweiligen Orte der Objekte
aus, die möglicherweise
Schallquellen sein können,
und verwendet ihre jeweiligen horizontalen Koordinaten A3, B3 und
C3 als Informationen über
diese Positionen.
-
An
diesem Punkt muss angemerkt werden, dass der Grund für die Verwendung
der Begriffe "Objekte", die "Schallquellen" "sein können", "möglicherweise
sind" oder als solche "in Frage kommen" darin liegt, dass
es anhand der Bilderkennung allein nicht klar ist, ob sie tatsächlich Schallquellen
sind oder nicht.
-
Um
die oben erwähnte
Bildverarbeitung zu vereinfachen, sollte das Bildverarbeitungsmittel 13 zuvor über darin
eingegebene grobe Richtungen A0, B0 und C0 dieser Schallquellen
verfügen
(siehe 3(A)), die von dem Schallverarbeitungsmittel 14 bestimmt
werden, das weiter unten ausführlich
beschrieben wird. Dadurch leitet das Bildverarbeitungsmittel 13,
nachdem es die jeweiligen Bereiche der Bildverarbeitung der Schallquellen
in die groben Richtungen A0, B0 und C0 eingeengt hat, wie oben erwähnt Informationen
A3, B3 und C3 bezüglich
der jeweiligen Orte der Objekte, die die Schallquellen sein können, ab,
indem die Bildverarbeitung innerhalb der eingeengten Bereiche der
groben Richtungen A0, B0 und C0 ausgeführt wird.
-
Das
Schallverarbeitungsmittel 14 ist so entworfen, dass es
die Orte der Schallquellen beispielsweise anhand der von den Mikrofonen
in dem Schallsammelmittel 11 abgeleiteten Schallinformationen und
der Positionsinformationen A3, B3 und C3 lokalisiert, die von dem
Bildverarbeitungsmittel 13 abgeleitet werden.
-
Bei
der Identifizierung der Positionen der Schallquellen können die Schallinformationen
auf einer Phasendifferenz und einer Intensitätsdifferenz zwischen zwei Teilen
von Schallinformationen beruhen, die durch die Schallsammelmikrofone 11a und 11b an
der rechten bzw. an der linken Seite empfangen werden.
-
Dadurch
kann hier beim Ableiten von Schallinformationen aus einer gegebenen
Schallquelle, wie es in 4 gezeigt ist, die Tatsache
ausgenutzt werden, dass bei einer Veränderung in Abhängigkeit
von der Richtung θ,
in der sich ein Schall von der Schallquelle ausbreitet, der an den
zwei Schallsammelmikrofonen 11a und 11b ankommt
(wobei θ =
0 ist, wenn sich die Schallquelle davor befindet, und negativ ist, wenn
sie sich links von ihnen befindet, und positiv ist, wenn sie sich
rechts von ihnen befindet), eine Differenz d zwischen Abständen von
der Schallquelle zu den zwei Mikrofonen 11a und 11b (durch
die Gleichung d = D sin θ ausgedrückt) bewirkt,
dass der Schall in der Phase variiert und außerdem infolge Dämpfung in
der Intensität
variiert, wenn er bei ihnen ankommt.
-
Da
außerdem
der Ort der Schallquelle noch nicht klar ist, führt das Schallverarbeitungsmittel 14 hier
eine Verarbeitung, wie oben erwähnt, über die gesamten
Winkelbereiche aus: –90
Grad ≤ θ ≤ +90 Grad.
In diesem Fall kann der Verarbeitungsvorgang dadurch erleichtert
werden, dass beispielsweise jedes Winkelintervall, zum Beispiel
5 Grad in θ,
verarbeitet wird.
-
Das
Schallverarbeitungsmittel
14 wählt oder bestimmt zunächst grobe
Richtungen A0, B0 und C0 der Schallquellen anhand von Schallinformationen links
und rechts von dem Schallsammelmittel
11. Dies folgt dem
herkömmlichen
Verfahren der Schallquellen-Identifizierung (siehe
JP 9-33330 A ) und liefert
eine Genauigkeit von ±10
Grad.
-
Außerdem gibt
das Schallverarbeitungsmittel 15 diese groben Richtungen
A0, B0 und C0 für
die Eingabe in das Bildverarbeitungsmittel 13 aus.
-
Ferner
lokalisiert das Schallverarbeitungsmittel 14 mit Bezug
auf die von dem Bildverarbeitungsmittel 13 darin eingegebenen
Positionsinformationen A3, B3 und C3 die Orte der Schallquellen,
wiederum anhand der Schallinformationen, die in die Bereiche der
Positionsinformationen A3, B3 und C3 eingeengt wurden, und zwar
in den Bereichen der Positionsinformationen A3, B3 und C3.
-
In
diesem Fall lokalisiert das Schallverarbeitungsmittel 14 die
Orte der Schallquellen, indem es eine geeignete Auswahl aus so genannten
Richtungsfiltern für
die Schallquellen A, B bzw. C trifft.
-
Hier
werden derartige Richtungsfilter, die erstellt wurden, um Schallinformationen
nur zu einer bestimmten Zeit t0 selektiv zu extrahieren, in einer Steuerungstabelle
für die
Richtungen von Schallquellen in einem (nicht gezeigten) Hilfsspeichermittel
im Steuermittel 15 gespeichert und werden durch das Schallverarbeitungsmittel 14 aus
dem Hilfsspeichermittel anhand der Positionsinformationen A3, B3
und C3 aus dem Bildverarbeitungsmittel 13 als geeignet identifiziert
sowie ausgewählt.
-
Dies
ermöglicht
es, dass von Schallquellen konkurrent emittierte und von den Schallsammelmikrophonen 11a und 11b gesammelte
Teile von Schallinformationen erfasst werden, wenn, wie in 6 gezeigt
ist, zur Zeit t1 ein Teil von Schallinformationen an der rechten
Seite gegeben ist und dann ein anderer Teil von Informationen an
der linke Seite zur Zeit t2 herausgenommen wird, die um eine Verzögerungszeit Δt später liegt
(t2 = t1 + Δt).
Es ist jedoch zu beachten, dass Δt
trotzdem negativ sein kann.
-
Auf
diese Weise ermöglicht
es die Auswahl bestimmter Richtungsfilter durch das Schallverarbeitungsmittel 14 in
Bezug auf jede der Schallquellen A, B und C, die Richtungsinformationen
mit einem gewissen Grad von Genauigkeit besitzen, dass ihre jeweiligen
Teile von Schallinformationen aus der Mischung von Schallen erhalten
werden, wie es in 7 gezeigt ist.
-
An
diesem Punkt muss angemerkt werden, dass ein Einengen der jeweiligen
Bereiche der Richtungen der Schallquellen durch die Teile von Positionsinformationen
A3, B3 und C3 es für
das Schallverarbeitungsmittel 14 unnötig macht, eine Verarbeitung über den
gesamten Winkelbereich von für θ (mit –90 Grad ≤ θ ≤ +90 Grad)
auszuführen,
und dass es ausreicht, dass es einen bestimmten eingeengten Winkelbereich
um die Teile von Positionsinformationen A3, B3 und C3 verarbeitet.
-
Das
Steuermittel 15, das beispielsweise aus einem Computer
bestehen kann, ist so entworfen, dass es die Operationen des Schallsammelmittels 11,
des Abbildungsmittels 12, des Bildverarbeitungsmittels 13 und
des Schallverarbeitungsmittels 14 steuert. Das Steuermittel 15,
wie es oben erwähnt
ist, besitzt die Richtungsfilter, die in dem (nicht gezeigten) Hilfsspeichermittel
so gespeichert sind, wie sie voreingestellt wurden.
-
Indem
sie so wie oben erwähnt
konstruiert ist, arbeitet die Schallquellen-Identifizierungs-Vorrichtung 10 in Übereinstimmung
mit der vorliegenden Form der Ausführungsform gemäß dem in 8 gezeigten
Ablaufplan so, wie es nachstehend beschrieben wird.
-
Wie
in 8 gezeigt ist, wirkt das Steuermittel 15 im
Schritt ST1 auf das Schallsammelmittel 11 so ein, dass
jedes der Schallsammelmikrofone 11a und 11b dazu
veranlasst wird, Schall aus Schallquellen A, B und C zu sammeln,
während
das Steuermittel 15 zwischenzeitlich außerdem auf das Abbildungsmittel 12 so
einwirkt, dass dieses dazu veranlasst wird, im Schritt ST2 die Schallquellen
aufeinander folgend abzubilden.
-
Danach
wirkt das Steuermittel 15 im Schritt ST3 auf das Schallverarbeitungsmittel 14 so
ein, dass dieses dazu veranlasst wird, anhand von Teilen von Schallinformationen
für eine
Phasendifferenz und eine Intensitätsdifferenz, die der Schall
von jeder der Schallquellen aufweist, wenn er durch die zwei entsprechenden
Mikrofone im Schallsammelmittel 11 gesammelt wird, grobe
Richtungen A0, B0 und C0 auszuwählen
oder zu bestimmen, in denen die entsprechenden Schallquellen lokalisiert
sind (siehe 3(A)). Dann werden sämtliche
harmonischen Strukturen, in denen irgendeine Phasendifferenz vorliegt,
untersucht, um die Schallquellen aus der Schallmischung grob zu
trennen. Hier ist nachzutragen, dass eine harmonische Struktur als
ein Standard eines Beispiels für
ein Signal für
jedes der Frequenzbänder
erstellt wird, in die es beliebig unterteilt ist.
-
Anschließend wirkt
das Steuermittel 15 im Schritt ST4 auf das Bildverarbeitungsmittel 13 so
ein, dass dieses dazu veranlasst wird, bezüglich Objekten als möglichen
Schallquellen gemäß einer
Farbe und/oder einer Form hiervon in von dem Abbildungsmittel 12 empfangenen
Bildern sowie innerhalb der Bereiche der von dem Schallverarbeitungsmittel 14 empfangenen
groben Richtungen, Positionsinformationen A3, B3 und C3 auszuwählen oder
zu bestimmen (siehe 3(C)).
-
Danach
wirkt das Steuermittel 15 im Schritt ST5 auf das Schallverarbeitungsmittel 14 so
ein, dass dieses dazu veranlasst wird, die Orte der Schallquellen
A, B und C gemäß den Schallinformationen
zu lokalisieren, die von dem Schallsammelmittel innerhalb eines
gegebenen Winkelbereichs für
die von dem Bildverarbeitungsmittel 14 empfangenen Positionsinformationen
A3, B3 und C3 empfangen werden.
-
Schließlich wählt das
Schallverarbeitungsmittel 14 im Schritt ST6 einen bestimmten
Richtungsfilter aus, um Schallinformationen aus einem gleichen Schall
von einer gleichen Schallquelle und mit einer bestimmten Verzögerungszeit
selektiv zu extrahieren. Auf diese Weise ist zu erkennen, dass die Schallquellen-Identifizierungs-Vorrichtung 10 in Übereinstimmung
mit der veranschaulichten Form der Ausführungsform der vorliegenden
Erfindung – bei
der das Schallverarbeitungsmittel 14 beim Identifizieren
einer Schallquelle dazu veranlasst wird, nicht nur anhand von vom
Schallsammelmittel 11 empfangenen Schallinformationen,
sondern auch anhand eines durch das Abbildungsmittel 12 abgebildeten
Bildes zu arbeiten – trotz
des Bezugs auf Positionsinformationen A3, B3, C3 eines Objekts,
das die Schallquelle sein kann, die Fähigkeit hat, eine Schallquelle mit
einer Genauigkeit zu identifizieren, die gegenüber der von etwa ±10 Grad
gesteigert ist, die mit dem herkömmlichen
System erreichbar ist, bei dem nur auf Schallinformationen vom Schallsammelmittel 11 Bezug
genommen wird.
-
Es
ist außerdem
zu erkennen, dass ein Steigern der Genauigkeit des Lokalisierens
des Orts einer Schallquelle durch Verfeinern von Schallinformationen,
die im Voraus die Schallquelle von einer anderen Schallquelle mit
aus Bildinformationen abgeleiteten Positionsinformationen grob trennen,
ihre Identifizierung auch dann zuverlässig macht, wenn sie sich nahe
beieinander befinden.
-
Genauer
gesagt sind, wenn drei Sprecher durch das Abbildungsmittel 12 aufeinander
folgend als Schallquellen abgebildet werden, beispielsweise Bilder wie
in 9 gezeigt verfügbar,
in denen sie zum 7., 51., 78. und 158. Rahmen sämtlicher aufeinander folgend
abgebildeter Bilder gehören.
-
Hier
sind die Gesichter dieser Sprecher so positioniert, wie es in 10(A) gezeigt ist, woraus hervorgeht, dass sich
die Sprecher bei einem Richtungswinkel von etwa –30 Grad, 0 Grad bzw. +20 Grad
befinden.
-
Wenn
danach, um durch das Bildverarbeitungsmittel 13 diese Objekte
als die möglichen Schallquellen
zu lokalisieren, eine Bestimmung durchgeführt wird, wobei die Bilder
nur anhand der Farbe verarbeitet werden, dann ist im Diagramm von 10(B) zu erkennen, dass verschiedene andere Objekte
in den Bildern fälschlich
ebenfalls als Schallquellen erkannt werden. Wenn jedoch bei der
Bildverarbeitung sowohl auf die Farbe als auch auf die Höhe Bezug
genommen wird, dann wird der Fehler abgeschwächt, wie aus dem Diagramm von 10(C) hervorgeht.
-
Wenn
das Bildverarbeitungsmittel 13 außerdem dazu veranlasst wird,
die Bilder nur anhand der Farbe zu verarbeiten, während es
sich auf die von dem Schallverarbeitungsmittel 14 empfangenen
groben Richtungen A0, B0 und C0 bezieht, wird der Fehler weiter
abgeschwächt,
wie im Diagramm von 10(D) gezeigt
ist.
-
Wenn
das Bildverarbeitungsmittel 13 außerdem dazu veranlasst wird,
die Bilder anhand der Farbe wie auch der Höhe zu verarbeiten, während es sich
auf die von dem Schallverarbeitungsmittel 14 empfangenen
groben Richtungen A0, B0 und C0 bezieht, ist es offensichtlich,
dass die Schallquellen als ihre Positionsinformationen mit einer
Genauigkeit bestimmt werden können,
die mit den tatsächlichen
Positionen der Gesichter, wie sie in 10(A) gezeigt sind,
recht gut übereinstimmen;
das bedeutet, die Bestimmung erfolgt mit beträchtlicher Sicherheit.
-
Obwohl
bei dem oben erwähnten
Beispiel die horizontalen Koordinaten A3, B3 und C3 der Zentralpositionen
A2, B2 und C2 der Rahmen A1, B1 und C1 in den aufeinander folgend
abgebildeten Bildern der Objekte, die die Schallquellen sein können, verwendet
werden, um Informationen bezüglich
ihrer Orte bereitzustellen, können
horizontale und vertikale Koordinaten verwendet werden, um Informationen
bezüglich
ihrer Orte bereitzustellen.
-
Bei
dem oben erwähnten
Beispiel ist das Bildverarbeitungsmittel 13 ferner so entworfen,
dass es Informationen bezüglich
der Orte der Objekte, die die Schallquellen sein können, anhand
der Farbe und der Form (z. B. der Höhe) der Objekte auswählt oder bestimmt,
die in den Bildern aufeinander folgend abgebildet werden.
-
Obwohl
beim oben erwähnten
Beispiel das Bildverarbeitungsmittel 13 ferner so entworfen
ist, dass es eine Bildverarbeitung mit Bezug auf die von dem Schallverarbeitungsmittel 14 empfangenen
groben Richtungen A0, B0 und C0 durchführt, ist die Erfindung allgemein
nicht darauf beschränkt,
sondern es können
bei ihr Informationen bezüglich
der Orte der Objekte, die die Schallquellen sein können, lediglich
anhand von vom Abbildungsmittel 12 empfangenen Bildinformationen
ausgewählt
oder bestimmt werden.
-
Um
die Richtung zu erfassen, in der sich eine Schallquelle befindet,
kann an der Schallquelle ein aktives Element befestigt sein, etwa
in Form einer Markierung, die Magnetismus überträgt, damit die Richtung bestimmt
werden kann, in der der Magnetismus emittiert wird, wobei als ihr
Erfassungsmittel eine magnetische Erfassungsvorrichtung verwendet wird.
Die von dem magnetischen Erfassungsmittel erfasste Richtung kann
zum Schallverarbeitungsmittel zurück übertragen werden und vom Letztgenannten
dazu verwendet werden, ein Richtungsfilter zu erstellen, wodurch
die Schallquelle getrennt wird.
-
Falls
die Schallquelle eine Person ist, ermöglicht es die von ihr abgestrahlte
Wärme,
dass ein Infrarotdetektor verwendet werden kann, um die Richtung
zu erfassen, in der sich die Schallquelle befindet.
-
Aus
dem vorstehend Beschriebenen ist ersichtlich, dass es die vorliegende
Erfindung – gemäß der beim
Identifizieren einer Schallquelle anhand von Schallinformationen
die Richtung, in der sich die Schallquelle befindet, anhand von
Informationen bezüglich
ihres Bildes und von Informationen bezüglich ihrer lokalisierten Richtung
eingeengt wird, während diese
mit Bezug auf Informationen bezüglich
des Orts eines Objekts, das die Schallquellen sein kann, erfasst
wird – unnötig macht,
die Schallinformationen beim Identifizieren der Schallquelle omnidirektional oder über sämtliche
Richtungen zu verarbeiten, es ermöglicht, die Schallquelle mit
größerer Sicherheit zu
identifizieren, es bewirkt, dass eine geringere Menge an verarbeitbaren
Informationen ausreicht, und es ermöglicht, die Verarbeitungszeit
zu verringern. Dementsprechend werden in Übereinstimmung mit der vorliegenden
Erfindung eine sehr vorteilhafte Vorrichtung und ein sehr vorteilhaftes
Verfahren zur Schallquellen-Identifizierung geschaffen, wodurch
es möglich
wird, mehrere Schallquellen mithilfe eines Paars Mikrofone mit angemessener
Genauigkeit zu identifizieren.
-
Selbstverständlich ist
die Erfindung nicht dazu bestimmt, auf die nachstehend dargelegten
bestimmten Formen ihrer Ausführungsform
beschränkt zu
sein, sondern dazu, sämtliche
möglichen
Formen ihrer Ausführungsform
einzuschließen,
die innerhalb des Umfangs mit Bezug auf die in den beigefügten Ansprüchen im
Einzelnen dargelegten Merkmale ausgeführt werden können, sowie
sämtliche
ihrer Entsprechungen einzuschließen.
-
Industrielle Anwendbarkeit
-
Wie
anhand der vorstehenden Beschreibung klar ist, sind eine Vorrichtung
und ein Verfahren zur Schallquellen-Identifizierung in Übereinstimmung
mit der vorliegenden Erfindung sehr vorteilhaft als eine Vorrichtung
und ein Verfahren zur Schallquellen-Identifizierung, wodurch der
Ort eines Objekts als eine Schallquelle anhand von Schall- wie auch
von Bildinformationen mit angemessener Sicherheit identifiziert
wird und wobei es die Verwendung ihrer Positionsinformationen ermöglicht,
jede von derartigen Schallquellen aus gemischten Schallen mit angemessener
Genauigkeit abzutrennen.