-
HINTERGRUND
-
Gebiet der Offenbarung
-
Die vorliegende Offenbarung bezieht sich auf ein aktives Steuerungssystem eines Fahrzeug-Doppelmikrofons und ein Steuerverfahren dafür. Insbesondere bezieht sich die vorliegende Offenbarung auf ein aktives Steuersystem eines Fahrzeug-Doppelmikrofons und ein Steuerverfahren davon zum selektiven Steuern eines strahlformenden Bereichs eines Mikrofons, das um einen Fahrersitz oder einen Beifahrersitz herum installiert ist, gemäß den Körperinformationen eines Benutzers, den Fahrzeugsitzpositionsinformationen und der Anwesenheit eines Fahrgastes bzw. Beifahrers.
-
Diskussion des verwandten Sachstands
-
Im Allgemeinen wird ein in einem Fahrzeug installiertes Mikrofon für Telefonate während der Fahrt oder zur Erkennung eines bestimmten Befehls mit einem Spracherkennungsprogramm verwendet.
-
Allerdings gibt es oft unnötige Hintergrundgeräusche oder Geräusche, wie z.B. mechanische oder Motorgeräusche aus dem Fahrzeug oder Geräusche, die von der Außenseite des Fahrzeugs stammen, sowie Geräusche, die der Fahrer im Fahrzeug erzeugt.
-
Um den Einfluss unnötiger Geräusche wie umliegende mechanische oder Motorgeräusche oder Geräusche um das Fahrzeug herum zu minimieren, sind daher zwei oder mehr Mikrofone am Fahrzeug angebracht. Die Mikrofonstrahlformung wird unter Verwendung eines Differentialvergleichsalgorithmus gesteuert, bei dem die über verschiedene Mikrofone eingegebenen Tonsignale differenziert verglichen und Sprache und andere Geräusche getrennt werden.
-
So offenbart die
koreanische Patentanmeldung Nr. 10-2015-0047981 (6. Mai 2015) beispielsweise eine Vorrichtung und ein Verfahren zum Steuern eines strahlformenden Mikrofons unter Berücksichtigung einer Position eines Fahrersitzes, um die Gesprächsqualität eines Fahrzeug-Freisprecheinrichtung durch Steuern der Richtcharakteristiken eines strahlformenden Mikrofons in Abhängigkeit von der Position des Fahrersitzes zu verbessern, um die Fahrerstimme bestmöglich einzufangen.
-
Darüber hinaus offenbart die
Koreanische Patentveröffentlichung 10-1750338 (19. Juni 2017) ein Strahlformungsverfahren und eine Vorrichtung zum Erkennen einer Sprecherstimme, zum Suchen nach einem gespeicherten Bild des Sprechers, dessen Stimme erkannt wird, zum Suchen nach dem Sprechers durch eine Kamera basierend auf dem abgerufenen Bild, zum Erkennen einer Position des abgerufenen Sprechers und zum Durchführen der Strahlformung eines Mikrofons abhängig von der Position des Sprechers.
-
Da die Mikrofonstrahlformung jedoch in herkömmlichen Technologien nur unter Berücksichtigung der aktuellen Positionsinformationen eines Sprechers gesteuert wird, gibt es eine Einschränkung bei der Steuerung der Mikrofonstrahlformung unter Berücksichtigung der Sitzhöhe eines Fahrers, einer Änderung der Sitzposition, einer Änderung der Haltung des Fahrers oder des Beifahrers und ob der Beifahrer mitfährt. Daher gibt es eine Begrenzung bei der aktiven Einstellung eines Mikrofonstrahlformungsbereichs, der auf den Mund des Sprechers gerichtet ist, entsprechend einer variablen Situation des Fahrers oder des Beifahrers.
-
Daher wird nach herkömmlichen Technologien die Fähigkeit zur Zerlegung von Geräuschen eines Fahrers oder Beifahrers beeinträchtigt, so dass es Einschränkungen bei der Verbesserung der Spracherkennungsrate gibt.
-
ZUSAMMENFASSUNG DER OFFENBARUNG
-
Dementsprechend ist die vorliegende Offenbarung auf ein aktives Steuersystem eines Fahrzeug-Doppelmikrofons und ein Steuerverfahren davon gerichtet, das ein oder mehrere Probleme aufgrund von Einschränkungen und Nachteilen des verwandten Sachstandes im Wesentlichen vermeidet.
-
Eine Aufgabe der vorliegenden Offenbarung ist es, ein aktives Steuersystem eines Fahrzeug-Doppelmikrofons und ein Steuerverfahren dafür bereitzustellen, um einen strahlformenden Bereich eines Mikrofons zu steuern, das angrenzend an jeden von einem Fahrersitz und einem Beifahrersitz installiert ist, um auf eine Person (einen Sprecher) gerichtet zu werden, die einen Sprachbefehl ausspricht, unter Verwendung von Sitzhöheninformationen und Sitzpositionsinformationen des Fahrers oder des Beifahrers sowie Beifahrersitz-Fahrinformationen.
-
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein aktives Steuersystem für ein Fahrzeug-Doppelmikrofon und ein Steuerverfahren dafür bereitzustellen, um die Strahlformung von zwei Mikrofonen zu steuern, die jeweils auf dem Fahrersitz und den Beifahrersitz installiert sind, um auf den Fahrer gerichtet zu werden, wenn nur der Fahrer im Fahrzeug fährt.
-
Eine weitere Aufgabe der vorliegenden Offenbarung ist es, ein aktives Steuersystem für ein Fahrzeug-Doppelmikrofon und ein Steuerverfahren dafür bereitzustellen, um die Strahlformung zu steuern, um eine Verstärkung eines Mikrofons aufrechtzuerhalten, das angrenzend zu einem Sprecher bei einer anfänglichen Grundeinstellung installiert ist, und um eine Verstärkung eines Mikrofons, das von dem Sprecher weg positioniert ist, relativ zu reduzieren, wenn sowohl der Fahrer als auch der Beifahrer im Fahrzeug fahren.
-
Zusätzliche Vorteile, Aufgaben und Merkmale der Offenbarung werden teilweise in der folgenden Beschreibung dargelegt und werden teilweise nach Prüfung der folgenden Punkte für Durchschnittsfachleute in dem technischen Gebiet offensichtlich oder können aus der Praxis der Offenbarung gelernt werden. Die Aufgaben und sonstigen Vorteile der Offenbarung können durch die Struktur realisiert und erreicht werden, auf die in der schriftlichen Beschreibung und den Ansprüchen hierauf sowie in den beigefügten Zeichnungen besonders hingewiesen wird.
-
Um diese Aufgaben und andere Vorteile zu erreichen, beinhaltet ein aktives Steuersystem eines Fahrzeug-Doppelmikrofons, wie hier verkörpert und allgemein beschrieben, eine in einem Fahrzeug installierte Erkennungseinheit für eine Mundformänderung, die konfiguriert ist, um ein Bild von einem Fahrer, der auf einem Fahrersitz des Fahrzeugs sitzt, und/oder einem Beifahrer, der auf einem Beifahrersitz sitzt, aufzunehmen und eine Änderung der Mundform des Fahrers und/oder des Beifahrers zu erkennen bzw. zu erfassen. Das Steuersystem beinhaltet ferner eine Benutzer- und Sitzpositionserfassungseinheit, die konfiguriert ist, um Fahrzustandsinformationen des Fahrers und/oder des Beifahrers zu erfassen. Das Steuersystem beinhaltet auch ein Infotainmentsystem, das konfiguriert ist, um einen mikrofonstrahlformenden Steuermodus gemäß Bilddaten und Benutzer- und Sitzpositionsinformationen zu bestimmen, die von der Erfassungseinheit für Mundveränderungen und der Erfassungseinheit für Benutzer- und Sitzposition ausgegeben werden. Das Infotainmentsystem ist ferner konfiguriert, um die Mikrofonstrahlformung des Fahrersitzes entsprechend dem bestimmten Mikrofonstrahlform-Steuermodus zu steuern. Das Infotainmentsystem ist auch konfiguriert, um eine bestimmte Mikrofonverstärkung im bestimmten Mikrofonstrahlform-Steuermodus selektiv einzustellen, um die Mikrofonstrahlformung des Fahrersitzes und des Beifahrersitzes separat zu steuern. Das Steuersystem beinhaltet auch eine Mikrofonstrahlformungssteuerung, die konfiguriert ist, um einen Installationswinkel eines ersten Mikrofons, das angrenzend an den Fahrersitz installiert ist, einzustellen, um auf den Fahrer gerichtet zu sein, oder Installationswinkel von ersten und zweiten Mikrofonen, die angrenzend an den Fahrersitz bzw. den Beifahrersitz installiert sind, einzustellen, um entsprechend der Steuerung des Infotainmentsystems auf den Fahrer und den Beifahrer gerichtet zu werden.
-
In einem weiteren Aspekt der vorliegenden Offenbarung beinhaltet ein aktives Steuerverfahren eines Fahrzeug-Doppelmikrofons das Erfassen eines Bildes eines Fahrers, der auf einem Fahrersitz eines Fahrzeugs sitzt, und/oder eines Beifahrers, der auf einem Beifahrersitz sitzt, und das Erfassen einer Änderung der Mundform des Fahrers und/oder des Beifahrers. Das Verfahren beinhaltet ferner das Erfassen von Fahrzustandsinformationen des Fahrers und/oder des Beifahrers. Das Verfahren beinhaltet auch das Bestimmen eines Mikrofonstrahlformungs-Steuermodus gemäß den Bilddaten, die durch das Erfassen der Änderung der Mundform des Fahrers und/oder des Beifahrers und der Benutzer- und Sitzpositionsinformationen erhalten werden, das Steuern der Mikrofonstrahlformung des Fahrersitzes gemäß dem bestimmten Mikrofonstrahlformungs-Steuermodus, und das selektive Einstellen einer spezifischen Mikrofonverstärkung gemäß dem bestimmten Mikrofonstrahlformungs-Steuermodus, um die Mikrofonstrahlformung des Fahrersitzes und des Beifahrersitzes separat zu steuern. Das Verfahren beinhaltet ferner das Einstellen eines Installationswinkels eines ersten Mikrofons, das angrenzend an den Fahrersitz installiert ist, um auf den Fahrer gerichtet zu werden, oder das Einstellen eines Installationswinkels von ersten und zweiten Mikrofonen, die angrenzend an den Fahrersitz und den Beifahrersitz installiert sind, um jeweils auf den Fahrer und den Beifahrer gerichtet zu werden.
-
Figurenliste
-
Die beigefügten Zeichnungen, die zum besseren Verständnis der Offenbarung beigefügt sind und in diese Anmeldung aufgenommen wurden und einen Teil davon bilden, veranschaulichen die Ausführungsform(en) der Offenbarung und dienen zusammen mit der Beschreibung der Erläuterung des Grundgedankens der Offenbarung. In den Zeichnungen ist folgendes gezeigt:
- 1 ist ein Blockdiagramm eines aktiven Steuersystems eines Fahrzeug-Doppelmikrofons gemäß einer Ausführungsform der vorliegenden Offenbarung; und
- 2 und 3 sind Flussdiagramme eines aktiven Steuerungsverfahrens eines Fahrzeug-Doppelmikrofons gemäß einer Ausführungsform der vorliegenden Offenbarung.
-
AUSFÜHRLICHE BESCHREIBUNG DER OFFENBARUNG
-
Ausführungsformen der vorliegenden Offenbarung werden für Durchschnittsfachleute in dem technischen Gebiet detailliert beschrieben, um die Offenbarung mit Bezug auf die beigefügten Zeichnungen leicht umzusetzen. Die vorliegende Offenbarung kann jedoch in verschiedenen Ausbildungen umgesetzt werden und ist nicht auf diese Ausführungsformen beschränkt. Um die vorliegende Offenbarung klar zu beschreiben, werden in den Zeichnungen Teile, die nichts mit der Beschreibung zu tun haben, weggelassen und ähnliche Bezugszeichen in der Beschreibung bezeichnen ähnliche Elemente.
-
Überall in der Beschreibung würde ein Durchschnittsfachmann in dem technischen Gebiet verstehen, dass Begriffe „beinhalten“, „umfassen“ und „aufweisen“ standardmäßig als inklusive oder offen und nicht als exklusiv oder geschlossen interpretiert werden müssen, es sei denn, es wird ausdrücklich etwas anderes definiert. Darüber hinaus bedeuten die in der Beschreibung offenbarten Begriffe wie „Einheit“, „Modul“ usw. Einheiten zur Verarbeitung mindestens einer Funktion oder Operation, die durch Hardware, Software oder eine Kombination derselben implementiert werden können.
-
In der gesamten Beschreibung gilt, dass wenn ein bestimmtes Teil eine bestimmte Komponente „beinhaltet“, dies bedeutet, dass das Teil weiterhin eine andere Komponente beinhalten kann, anstatt eine andere Komponente auszuschließen, es sei denn, es gibt keine andere Offenbarung. In den Zeichnungen werden immer die gleichen Bezugszeichen verwendet, um die gleichen Teile zu bezeichnen.
-
Im Folgenden wird die Konfiguration und das Steuerungsverfahren eines aktiven Steuersystems eines Fahrzeug-Doppelmikrofons gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die 1-3 ausführlich beschrieben.
-
1 ist ein Blockdiagramm eines aktiven Steuersystems eines Fahrzeug-Doppelmikrofons gemäß einer Ausführungsform der vorliegenden Offenbarung.
-
Wie in 1 dargestellt, kann das aktive Steuersystem des Fahrzeug-Doppelmikrofons gemäß einer Ausführungsform der vorliegenden Offenbarung eine Erfassungseinheit 100 für die Mundformänderung beinhalten, die in einem Fahrzeug installiert ist und ein Bild eines Fahrers auf einem Fahrersitz des Fahrzeugs und/oder eines Beifahrers auf einem Beifahrersitz aufnimmt, der auf einer Seite des Fahrersitzes positioniert ist, um eine Änderung der Mundform des Fahrers und/oder des Beifahrers zu erfassen. Das Steuersystem kann ferner eine Benutzer- und Sitzpositionserfassungseinheit 200 zum Erfassen von Fahrzustandsinformationen (z.B. Informationen über die Sitzhöhe des Fahrers und/oder des Beifahrers, Sitzpositionsinformationen des Fahrersitzes und/oder des Beifahrersitzes des Fahrzeugs und Informationen, die durch selektives Kombinieren mindestens einer der Teile der Fahrzustandsinformationen des Beifahrersitzes des Fahrzeugs erfasst wurden) des Fahrers und/oder des Beifahrers beinhalten. Das Steuersystem kann auch ein Infotainmentsystem 300 beinhalten, das einen Mikrofonstrahlformungs-Steuermodus gemäß den Bilddaten und den Benutzer- und Sitzpositionsinformationen bestimmt, die von der Mundformwechsel-Erfassungseinheit 100 und der Benutzer- und Sitzpositionserfassungseinheit 200 ausgegeben werden. Das Infotainmentsystem 300 kann ferner die Mikrofonstrahlformung des Fahrersitzes entsprechend dem bestimmten Mikrofonstrahlform-Steuermodus steuern. Das Infotainmentsystem 300 kann auch selektiv eine bestimmte Mikrofonverstärkung entsprechend dem bestimmten Mikrofonstrahlform-Steuermodus einstellen, um die Mikrofonstrahlformung des Fahrersitzes und des Beifahrersitzes separat zu steuern. Das Steuersystem kann ferner eine Mikrofonstrahlformungssteuerung 400 beinhalten, die einen Installationswinkel eines ersten Mikrofons 510, das angrenzend an den Fahrersitz installiert ist, um auf den Fahrer gerichtet zu sein, oder Installationswinkel der ersten und zweiten Mikrofone 510 und 520, die angrenzend an den Fahrersitz bzw. den Beifahrersitz installiert sind, um entsprechend der Steuerung des Infotainmentsystems 300 auf den Fahrer und den Beifahrer gerichtet zu sein, einstellt. Das Steuersystem kann auch eine Mikrofoneinheit 500 beinhalten, die das erste und zweite Mikrofon 510 und 520 beinhaltet, die angrenzend an den Fahrersitz des Fahrzeugs und den Beifahrersitz, der jeweils auf einer Seitenfläche des Fahrersitzes angeordnet ist, installiert sind, um einen Sprachbefehl des Benutzers zu empfangen. Die Installationswinkel der ersten und zweiten Mikrofone 510 und 520 werden so eingestellt, dass sie den Mikrofonstrahlformungsbereich gemäß der Steuerung der Mikrofonstrahlformungssteuerung 400 steuern.
-
In dieser Ausführungsform kann die Erkennungseinheit 100 für die Mundveränderung mindestens eine Kamera 110 beinhalten, die in dem Fahrzeug installiert ist und ein Bild eines Fahrers auf dem Fahrersitz des Fahrzeugs oder eines Beifahrers auf dem Beifahrersitz, der auf einer Seite des Fahrersitzes positioniert ist, gemäß der Steuerung des Infotainmentsystems 300 aufzunehmen. Die Erfassungseinheit 100 kann ferner eine erste Netzwerkkommunikationseinheit 120 zum Übertragen von Daten des von der Kamera 110 aufgenommenen Bildes nach außen beinhalten.
-
Die Benutzer- und Sitzpositionserfassungseinheit 200 kann eine erste Datenbank 210 zum Speichern und Verwalten von Benutzer- und Sitzinformationen unter Verwendung eines Datenbankmodus gemäß der Steuerung des Infotainmentsystems 300 beinhalten. Die Benutzer- und Sitzinformationen beinhalten selektiv Sitzhöheninformationen des Fahrers oder des Beifahrers, Sitzpositionsinformationen des Fahrersitzes oder des Beifahrersitzes des Fahrzeugs und Fahrgastfahrinformationen des Beifahrersitzes des Fahrzeugs. Die Erfassungseinheit 200 kann ferner eine erste Steuerung 220 zum Speichern und Lesen der in der ersten Datenbank 210 gespeicherten Benutzer- und Sitzinformationen gemäß der Steuerung des Infotainmentsystems 300 beinhalten. Die Erfassungseinheit 210 kann auch eine zweite Netzwerkkommunikationseinheit 230 zum Übertragen der Benutzer- und Sitzinformationen nach außen gemäß der Steuerung der ersten Steuerung 220 beinhalten.
-
Das Infotainmentsystem 300 kann eine dritte Netzwerkkommunikationseinheit 310 zur Datenkommunikation mit der Mundformänderungs-Erfassungseinheit 100, der Benutzer- und Sitzpositionserfassungseinheit 200 oder der Mikrofonstrahlformungssteuerung 400 beinhalten. Das Infotainmentsystem 300 kann ferner eine zweite Steuerung 320 beinhalten, die einen Mikrofonstrahlformungs-Steuermodus basierend auf den Fahrinformationen des Benutzers und Sitzinformationen bestimmt, wenn in dem Fahrzeug ein Sprachbefehl zur Spracherkennung ausgesprochen wird, und ein bestimmtes Mikrofonstrahlformungs-Steuersignal ausgibt. Das Infotainmentsystem 300 kann auch eine Anzeigeeinheit 330 zum Anzeigen der Bilddaten und/oder Fahrinformationen gemäß der Steuerung der zweiten Steuerung 320 beinhalten. Das Infotainmentsystem 300 kann ferner eine zweite Datenbank 340 beinhalten, die das Strahlformungssteuersignal unter Verwendung eines Datenbankverfahrens speichert und verwaltet, das auf einem vorhergesagten Mundpositionswert des Fahrers basiert, der durch Berücksichtigung der Benutzer- und Sitzinformationen erhalten wird. Die zweite Datenbank 540 liest auch das Signal gemäß der Steuerung der zweiten Steuerung 320.
-
In dieser Ausführungsform kann die zweite Steuerung einen Strahlformungsprozessor 322 beinhalten, der einen Mikrofonstrahlformungs-Steuerungsmodus basierend auf den Fahrinformationen, die in den Benutzer- und Sitzinformationen enthalten sind, bestimmt. Der Strahlformungsprozessor 322 gibt auch das Strahlformungs-Steuersignal aus, um einen Installationswinkel des ersten Mikrofons 510, das angrenzend an den Fahrersitz installiert ist, auf den Fahrer auszurichten oder um die Installationswinkel der ersten und zweiten Mikrofone 510 und 520, die angrenzend an den Fahrersitz bzw. den Beifahrersitz installiert sind, gemäß dem bestimmten Mikrofonstrahlformungs-Steuermodus auf den Fahrer und den Beifahrer auszurichten. Die zweite Steuerung 320 kann ferner einen Bilddatenprozessor 324 beinhalten, der Bilddaten verarbeitet, die von der Mundformänderungserfassungseinheit 100 übertragen werden, und aktuelle Koordinaten des Mundes unter Verwendung von Bilddaten schätzt, die durch Erfassen einer Änderung der Mundposition und der Mundform des Fahrers oder des Beifahrers, der auf dem Fahrersitz oder dem Beifahrersitz fährt, erhalten werden. Die zweite Steuerung 320 kann auch einen Sitzpositionsinformationsprozessor 326 beinhalten, der die von dem Benutzer und der Sitzpositionserfassungseinheit 200 übertragenen Benutzer- und Sitzpositionsinformationen empfängt. Der Sitzpositionsinformationsprozessor 326 erfasst auch separat die Sitzhöheninformationen des Fahrers oder des Beifahrers, die Sitzpositionsinformationen des Fahrersitzes oder des Beifahrersitzes des Fahrzeugs und die Beifahrerfahrinformationen des Beifahrersitzes des Fahrzeugs.
-
In dieser Ausführungsform kann das Infotainmentsystem 300 als Reaktion auf die Eingabe des Benutzersprachbefehls Suchinformationen entsprechend einem Benutzersprachbefehl suchen und erfassen und die entsprechenden Informationen als Textinformationen oder Toninformationen einschließlich der Textinformationen über die Anzeigeeinheit 330 oder einen Lautsprecher (nicht dargestellt) ausgeben.
-
Die Mikrofonstrahlformungssteuerung 400 kann eine vierte Netzwerkkommunikationseinheit 410 beinhalten, die das von der dritten Netzwerkkommunikationseinheit 310 des Infotainmentsystems 300 ausgegebene Mikrofonstrahlformungssteuersignal empfängt. Die Mikrofonstrahlformungssteuerung 400 kann ferner eine erste Mikrofonwinkelverstelleinheit 420 und eine zweite Mikrofonwinkelverstelleinheit 430 beinhalten, die ein Mikrofoninstallationswinkelverstellsignal zum Verstellen eines Mikrofonstrahlformungsbereichs des Fahrersitzes oder des Beifahrersitzes gemäß dem von der vierten Netzwerkkommunikationseinheit 410 ausgegebenen Mikrofonstrahlformungssteuersignal ausgibt. Die Mikrofonstrahlformungssteuerung 400 kann auch einen ersten Servomotor 440 und einen zweiten Servomotor 450 beinhalten, die an dem Fahrersitz des Fahrzeugs und an dem Beifahrersitz an der Seitenfläche des Fahrersitzes installiert sind und den Installationswinkel der Mikrofoneinheit 500, die mindestens das erste oder zweite Mikrofon 510 oder 520 beinhaltet, wobei der Benutzersprachbefehl dort eingegeben wird, in eine oder mehrere beliebige Richtungen einstellt. Die beliebigen Richtungen können eine Aufwärtsrichtung, eine Abwärtsrichtung, eine Linksrichtung und eine Rechtsrichtung beinhalten, entsprechend dem Signal zur Einstellung des Mikrofoninstallationswinkels.
-
Gemäß einer Ausführungsform der vorliegenden Offenbarung können das erste und zweite Mikrofon 510 und 520 vor dem Fahrersitz und dem Beifahrersitz oder auf einer Seitenfläche oder einer Oberseite davon installiert werden. Das erste und zweite Mikrofon 510 und 520 können in einem Abstand zwischen ihnen in dem Bereich von 6,8-13 cm (2,67-5,11 Zoll) installiert sein.
-
Nachstehend wird ein aktives Steuerverfahren eines Fahrzeug-Doppelmikrofons gemäß einer Ausführungsform der vorliegenden Offenbarung mit Bezug auf 2 und 3 beschrieben.
-
Zunächst kann, wie in 2 dargestellt, beim Einschalten des Fahrzeugs das Infotainmentsystem 300 automatisch gestartet werden, und der Benutzer kann manuell eine PTT-Taste (Push to Track bzw. Drücken zur Nachverfolgung) drücken oder ein auf der Anzeigeeinheit 330 des Infotainmentsystems 300 angezeigtes Spracherkennungssymbol berühren, um einen Spracherkennungsmodus (S11) einzustellen.
-
Wenn das Infotainmentsystem 300 dann eine Anforderung an die Mundformänderungs-Erfassungseinheit 100 für die Mundpositionsänderungsinformation des Fahrers stellt, um die Mikrofonstrahlformung des Fahrersitzes (S13) zu steuern, kann die Mundformänderungs-Erfassungseinheit 100 Bilddaten von Änderungsinformationen der Mundform des Fahrers an das Infotainmentsystem 300 mit der Kamera 110 übertragen (S15).
-
Wenn das Infotainmentsystem 300 eine Anforderung an den Benutzer- und Sitzpositionserfassungseinheit 200 für die Fahrzustandsinformationen (z.B, Informationen über die Sitzhöhe des Fahrers und/oder des Beifahrers, Sitzpositionsinformationen des Fahrersitzes und/oder des Beifahrersitzes des Fahrzeugs und Informationen, die durch selektives Kombinieren mindestens eines Teils der Beifahrerinformationen des Beifahrersitzes des Fahrzeugs) des Fahrers und/oder des Beifahrers erfasst wurden, die vom Fahrer oder Mitfahrer vorab eingegeben werden (S17), kann die Benutzer- und Sitzpositionserfassungseinheit 200 die von dem Fahrer oder Beifahrer eingegebene Fahrer- oder Beifahrer-Sitzhöhe, die in der ersten Datenbank 210 gespeichert ist, und Sitzinformationen einschließlich aktueller Sitzpositionsinformationen des Fahrersitzes oder des Beifahrersitzes und Frontbeifahrersitz-Fahrinformationen lesen. Die Erfassungseinheit 200 kann die gelesenen Informationen weiter an das Infotainmentsystem 300 übertragen (S19).
-
Dann kann das Infotainmentsystem 300 die Benutzer- und Sitzinformationen empfangen. Das Infotainmentsystem 300 kann ferner bestimmen, ob nur der Fahrer im Fahrzeug fährt oder sowohl der Fahrer als auch der Beifahrer im Fahrzeug fährt, und zwar unter Verwendung der in den Benutzer- und Sitzinformationen enthaltenen Fahrinformationen des Frontbeifahrersitzes. Das Infotainmentsystem 300 kann ferner einen Mikrofonstrahlformungs-Steuermodus gemäß dem Bestimmungsergebnis bestimmen (S21).
-
In diesem Fall kann als Bestimmungsergebnis der Operation S21, wenn bestimmt wird, dass nur der Fahrer im Fahrzeug fährt, ein aktive Einzelmikrofon-Steuermodus eingestellt werden (S23).
-
Anschließend kann das Infotainmentsystem 300 vorhergesagte Mundpositionskoordinaten des Fahrers basierend auf Bilddaten schätzen, die in den aktuellen Informationen zur Sitzhöhe des Fahrers und Informationen zur Position des Fahrersitzes enthalten sind (S25).
-
Anschließend kann das Infotainmentsystem 300 auf die zweite Datenbank 340 zugreifen, die zuvor einen Mikrofonstrahlformungs-Positionseinstellwert entsprechend der geschätzten Mundposition des Fahrers einstellt und speichert, kann einen entsprechenden Positionseinstellwert zur Steuerung der Mikrofonstrahlformung lesen, und den entsprechenden Positionseinstellwert an die Mikrofonstrahlformungssteuerung 400 (S27) überträgt.
-
Dementsprechend kann die Mikrofonstrahlformungs-Steuerung 400 den Strahlformungsbereich unter Verwendung des Einstellwerts für die Mikrofonstrahlformungsposition steuern, der der Mundposition des Fahrers des ersten Mikrofons 510 entspricht, das benachbart zum Fahrersitz installiert ist (S29).
-
Mit anderen Worten, die Mikrofonstrahlformungssteuerung 400 kann den Antrieb der ersten und zweiten Servomotoren 440 und 450 der Mikrofonstrahlformungssteuerung 400 separat steuern, um einen Strahlformungsbereich jedes Mikrofons basierend auf dem anfänglichen Positionseinstellwert der Mikrofonstrahlformung des ersten und zweiten Mikrofons 510 und 520, der von dem Infotainmentsystem 300 übertragen wird, zu steuern. Die Steuerung 400 kann den entsprechenden Mikrofonstrahlformungsbereich, der auf den Fahrer gerichtet ist, in eine oder mehrere beliebige Richtungen einstellen, einschließlich einer Aufwärtsrichtung, einer Abwärtsrichtung, einer Linksrichtung und einer Rechtsrichtung.
-
In diesem Fall kann die Mikrofonstrahlformungssteuerung 400 nach vollständiger Einstellung des Mikrofonstrahlformungsbereichs des ersten Mikrofons 510 eine Einstellungsabschlussnachricht der Mikrofonstrahlformung erzeugen und die Nachricht an das Infotainmentsystem 300 erzeugen (S31).
-
Das Infotainmentsystem 300 kann bestimmen, ob ein aktueller Zustand ein Zustand ist, in dem die Spracherkennung im Fahrzeug ausgeführt wird (S33). Als Bestimmungsergebnis der Operation S33 kann das Infotainmentsystem 300, wenn gerade eine Spracherkennung ausgeführt wird, eine Beifahrerbildübertragungs-Anforderungsnachricht zur Anforderung einer Echtzeit-Übertragung von Bilddaten, die durch das Fotografieren des Fahrers und des Beifahrers auf seinem jeweiligen Sitz (Fahrersitz und Beifahrersitz) gebildet werden, an die im Fahrzeug installierte Kamera 110 erzeugen. Das Infotainmentsystem 300 kann die Nachricht auch an die Erfassungseinheit 100 zur Erkennung von Mundformänderungen übermitteln.
-
Dementsprechend kann die Mundformänderungs-Erfassungseinheit 100, die die entsprechende Beifahrerbild-Übertragungsanforderungsnachricht empfängt, die Kamera 110 steuern, um die Bilddaten zu erzeugen, die durch Fotografieren des Fahrers und des Beifahrers, die auf ihrem jeweiligen Sitz sitzen, gebildet werden, und kann die Bilddaten in Echtzeit an das Infotainmentsystem 300 übertragen (S37).
-
Dementsprechend kann das Infotainmentsystem 300 aus den in Echtzeit empfangenen Bilddaten eine Position des Mundes des Fahrers oder des Beifahrers schätzen (S39) und kann bestimmen, ob die Positionskoordinaten im Vergleich zu einer geschätzten Anfangsmundposition des Fahrers (S41) geändert werden.
-
Als Bestimmungsergebnis der Operation S41, wenn bestimmt wird, dass sich Koordinaten der geschätzten aktuellen Mundposition geändert haben, kann die zweite Steuerung 320 des Infotainmentsystems 300 einen Variationswert (obere, untere, linke und rechte Deltawerte) basierend auf einer geschätzten vorherigen Mundposition (S43) berechnen. Die zweite Steuerung 320 kann dann den entsprechenden Variationswert in der zweiten Datenbank 340 speichern und den Variationswert auch an die Mikrofonstrahlformungssteuerung 400 übertragen (S45).
-
Dementsprechend kann die Mikrofonstrahlformungssteuerung 400 den entsprechenden Variationswert empfangen und die Mikrofonstrahlformungsbereiche des ersten Mikrofons 510, das angrenzend an den Fahrersitz installiert ist, und des zweiten Mikrofons 520, das angrenzend an den Beifahrersitz installiert ist, anpassen, um auf die aktuelle Mundposition des Fahrers gerichtet zu werden (S47).
-
Mit anderen Worten, die Mikrofonstrahlformungssteuerung 400 kann das Ansteuern des ersten und zweiten Servomotors 440 und 450 steuern, um die Mikrofonstrahlformungsbereiche des ersten und zweiten Mikrofons 510 und 520, über die Informationen von dem Infotainmentsystem 300 übertragen werden, auf die aktuelle Mundposition des Fahrers auszurichten. Die Mikrofonstrahlformungssteuerung 400 kann den entsprechenden Mikrofonstrahlformungsbereich in eine oder mehrere beliebige Richtungen einstellen, einschließlich Aufwärtsrichtung, Abwärtsrichtung, Linksrichtung und Rechtsrichtung.
-
Wenn in diesem Fall die Mikrofonstrahlformungsbereiche des entsprechenden ersten und zweiten Mikrofons 510 und 520 vollständig eingestellt sind, kann die Mikrofonstrahlformungssteuerung 400 eine Einstellabschlussnachricht der Mikrofonstrahlformung erzeugen und die Nachricht an das Infotainmentsystem 300 übertragen (S49).
-
Dann kann das Infotainmentsystem 300 Rauschen aus einer Stimme entfernen, die in das erste und zweite Mikrofon 510 und 520 eingeführt wird, und einen Sprachbefehl des Fahrers verarbeiten (S51). Anschließend kann das aktive Steuerungsverfahren des Fahrzeug-Doppelmikrofons gemäß der vorliegenden Offenbarung abgeschlossen werden.
-
Als Bestimmungsergebnis der Operation S17 kann das Infotainmentsystem 300 jedoch nach dem Bestimmen, dass sowohl der Fahrer als auch der Beifahrer im Fahrzeug fahren, den Mikrofonstrahlformungs-Steuerungsmodus auf einen aktiven Doppelmikrofon-Steuermodus einstellen (S22), wie in 3 dargestellt.
-
Anschließend kann das Infotainmentsystem 300 eine Anforderung an die Erfassungseinheit 100 für die Erkennung von Mundformänderungen Mundpositions-Änderungsinformationen des Fahrers stellen, um die Mikrofonstrahlformung des Fahrersitzes (S24) zu steuern.
-
Dementsprechend kann die Erfassungseinheit 100 zur Erkennung von Mundveränderungen Bilddaten einschließlich Änderungsinformationen der Mundform des Fahrers an das Infotainmentsystem 300 unter Verwendung der Kamera 110 übertragen (S26).
-
In diesem Fall kann das Infotainmentsystem 300 die vorhergesagten Mundpositionskoordinaten des Fahrers basierend auf Bilddaten schätzen, die in den aktuellen Informationen über die Sitzhöhe des Fahrers und den aktuellen Informationen über die Position des Fahrersitzes enthalten sind (S28).
-
Anschließend kann das Infotainmentsystem 300 auf die zweite Datenbank 340 zugreifen, die zuvor den Einstellwert für die Mikrofonstrahlformungsposition entsprechend der geschätzten aktuellen Mundposition des Fahrers einstellt und speichert. Das Infotainmentsystem 300 kann auch den der aktuellen Mundposition entsprechenden Einstellwert für die Mikrofonstrahlformungsposition zur Steuerung der Mikrofonstrahlformung ablesen. Das Infotainmentsystem 300 kann weiterhin den Einstellwert für die Mikrofonstrahlformungsposition an die Mikrofonstrahlformungssteuerung 400 übertragen (S30).
-
Dementsprechend kann die Mikrofon-Strahlformungssteuerung 400 den Strahlformungsbereich des ersten Mikrofons 510, das angrenzend an den Fahrersitz installiert ist, mit einem Anfangspositionierungswert steuern (S32).
-
Mit anderen Worten, die Mikrofonstrahlformungssteuerung 400 kann den Antrieb des ersten oder zweiten Servomotors 440 oder 450 der Mikrofonstrahlformungssteuerung 400 steuern. Die Mikrofonstrahlformungssteuerung 400 kann den entsprechenden Mikrofonstrahlformungsbereich auch in eine oder mehrere beliebige Richtungen einstellen, einschließlich einer Aufwärtsrichtung, einer Abwärtsrichtung, einer Linksrichtung und einer Rechtsrichtung, um auf den Fahrer und den Beifahrer gerichtet zu werden, um einen Strahlformungsbereich jedes Mikrofons basierend auf den Einstellwertinformationen der Mikrofonstrahlformungsposition des ersten oder zweiten Mikrofons 510 oder 520, die von dem Infotainmentsystem 300 übertragen werden, zu steuern.
-
Wenn in diesem Fall der Mikrofonstrahlformungsbereich des entsprechenden ersten oder zweiten Mikrofons 510 oder 520 vollständig eingestellt ist, kann die Mikrofonstrahlformungssteuerung 400 eine Einstellabschlussnachricht der Mikrofonstrahlforung erzeugen und die Nachricht an das Infotainmentsystem 300 (S34) übertragen.
-
Das Infotainmentsystem 300 kann bestimmen, ob ein aktueller Zustand ein Zustand ist, in dem die Spracherkennung im Fahrzeug ausgeführt wird (S36). Als Bestimmungsergebnis der Operation S36 kann das Infotainmentsystem 300, wenn gerade eine Spracherkennung ausgeführt wird, eine Beifahrerbildübertragungs-Anforderungsnachricht zur Anforderung einer Echtzeitübertragung von Bilddaten, die durch das Fotografieren des Fahrers und des Fahrgastes, die auf ihren jeweiligen Sitzen (Fahrersitz und Beifahrersitz) sitzen, gebildet werden, an die im Fahrzeug installierte Kamera 110 erzeugen. Das Infotainmentsystem 300 kann die Nachricht an die Erfassungseinheit 100 für Mundveränderungen übermitteln (S38).
-
Dementsprechend kann die Mundformänderungs-Erfassungseinheit 100, die die entsprechende Beifahrerbildübertragungs-Anforderungsnachricht empfängt, die Kamera 110 steuern, um die Bilddaten zu erzeugen, die durch das Fotografieren des Fahrers und des Beifahrers auf ihren jeweiligen Sitzen gebildet werden, und kann die Bilddaten in Echtzeit (S40) an das Infotainmentsystem 300 übertragen.
-
Dementsprechend kann das Infotainmentsystem 300 aus den in Echtzeit empfangenen Bilddaten eine Mundform des Fahrers oder des Beifahrers schätzen und bestimmen, ob ein erster Sprecher der Fahrer oder der Beifahrer ist (S42).
-
In diesem Fall kann das Infotainmentsystem 300 nach dem Bestimmen, dass der Fahrer der erste Sprecher ist, einen Verstärkungswert des zweiten Mikrofons 520, das angrenzend an den Beifahrersitz installiert ist, um 6 dB oder mehr basierend auf einem Grundeinstellwert verringern, während ein Verstärkungswert des ersten Mikrofons 510, das angrenzend an den Fahrersitz installiert ist, auf einem Grundeinstellwert gehalten wird (S44). Das Infotainmentsystem 300 kann die Unterscheidung einer Schallquelle, die in das erste Mikrofon 510 eingeführt wird, das angrenzend an den Fahrersitz installiert ist, erhöhen.
-
In diesem Fall kann das Infotainmentsystem 300 eine Verstärkung des zweiten Mikrofons 520, das angrenzend an den Beifahrersitz installiert ist, auf einen Pegel reduzieren, der gleich oder kleiner als 25% des Grundeinstellwerts ist. Das Infotainmentsystem 300 kann ein in das zweite Mikrofon 520 eingeleitetes Schallquellensignal auf einen Umgebungsgeräuschpegel absenken, um zu verhindern, dass eine Schallquelle in das zweite Mikrofon 520 eingeführt wird, das neben dem Beifahrersitz installiert ist, wenn möglich.
-
Als Bestimmungsergebnis der Operation S42 kann das Infotainmentsystem 300 jedoch nach dem Bestimmen, dass der Beifahrer der erste Sprecher ist, einen Verstärkungswert des ersten Mikrofons 510, das angrenzend an den Fahrersitz installiert ist, um 6 dB oder mehr basierend auf einem Grundeinstellwert reduzieren, während ein Verstärkungswert des zweiten Mikrofons 520, das angrenzend an den Beifahrersitz installiert ist, auf einem Grundeinstellwert gehalten wird (S46). Das Infotainmentsystem 300 kann die Unterscheidung einer Schallquelle erhöhen, die in das zweite Mikrofon 520 eingeführt wird, das angrenzend an den Beifahrersitz installiert ist.
-
In diesem Fall kann das Infotainmentsystem 300 eine Verstärkung des ersten Mikrofons 510, das angrenzend an den Fahrersitz installiert ist, auf einen Pegel reduzieren, der gleich oder kleiner als 25% des Grundeinstellwerts ist. Das Infotainmentsystem 300 kann ein in das erste Mikrofon 510 eingeleitetes Schallquellensignal auf einen Umgebungsgeräuschpegel absenken, um zu verhindern, dass eine Schallquelle in das erste Mikrofon 510 eingeführt wird, das neben dem Fahrersitz installiert ist, wenn möglich.
-
Dann kann das Infotainmentsystem 300 einen Schalldruckpegel (Spannungspegel) einer in das erste oder zweite Mikrofon 510 oder 520 eingeführten geäußerten d.h. gesprochenen Schallquelle erfassen, der mit einer voreingestellten Zeitspanne auf einem grundlegenden Mikrofonverstärkungseinstellwert gehalten wird. Das Infotainmentsystem 300 kann bestimmen, ob eine geäußerte d.h. gesprochene Schallquelle vorhanden ist (S48).
-
In diesem Fall kann das Infotainmentsystem 300 als Bestimmungsergebnis, wenn keine Änderung des Schalldruckpegels vorhanden ist, ein Spracherkennungsverarbeitungsverfahren beenden (S50). Wenn jedoch eine Schallquelle, die in ein bestimmtes Mikrofon eingegeben wird, vorhanden ist (wenn eine Änderung eines Schalldruckpegels festgestellt wird), kann das Infotainmentsystem 300 einen in das entsprechende Mikrofon eingegebenen Sprachbefehl verarbeiten und dann das aktive Steuerverfahren des Fahrzeug-Doppelmikrofons beenden.
-
In dem voranstehend angegebenen aktiven Steuersystem des Fahrzeug-Doppelmikrofons und einem Steuerverfahren dafür gemäß der vorliegenden Offenbarung kann ein Strahlformungsbereich eines Mikrofons, das angrenzend jeweils an dem Fahrersitz und dem Beifahrersitz installiert ist, so gesteuert werden, dass er auf eine Person (einen Sprecher) gerichtet wird, der einen Sprachbefehl überträgt, und zwar unter Verwendung von Sitzhöheninformationen und Sitzpositionsinformationen eines Fahrers oder eines Beifahrers, und Fahrinformationen des Beifahrersitzes. Dadurch kann eine Spracherkennungsrate des Fahrers vorteilhaft erhöht werden.
-
Wenn nur ein Fahrer in einem Fahrzeug fährt, kann eine Strahlformung von zwei Mikrofonen, die jeweils an dem Fahrersitz und dem Beifahrersitz installiert sind, so gesteuert werden, dass sie auf den Fahrer gerichtet sind. Wenn sowohl der Fahrer als auch der Beifahrer im Fahrzeug fahren, kann die Strahlformung auch gesteuert werden, um die Verstärkung eines Mikrofons, das angrenzend an einen Sprecher installiert ist, auf einer Anfangseinstellung zu halten und die Verstärkung eines Mikrofons, das sich weg von dem Sprecher befindet, relativ zu verringern. Dadurch kann die Fähigkeit, die Stimme des Fahrers oder Beifahrers und die Geräusche zu zerlegen, vorteilhaft verbessert werden.
-
In dem oben konfigurierten aktiven Steuersystem des Fahrzeug-Doppelmikrofons und einem Steuerverfahren dafür gemäß der vorliegenden Offenbarung kann ein Strahlformungsbereich eines Mikrofons, das angrenzend jeweils an dem Fahrersitz und dem Beifahrersitzes installiert ist, so gesteuert werden, dass er auf eine Person (Sprecher) gerichtet ist, die einen Sprachbefehl überträgt, und zwar unter Verwendung von Sitzhöheninformationen und Sitzpositionsinformationen eines Fahrers oder eines Beifahrers und Fahrinformationen des Beifahrersitzes. Dadurch kann eine Spracherkennungsrate des Fahrers erhöht werden.
-
Wenn nur ein Fahrer in einem Fahrzeug fährt, kann eine Strahlformung von zwei Mikrofonen, die jeweils auf dem Fahrersitz und dem Beifahrersitz installiert sind, so gesteuert werden, dass sie auf den Fahrer gerichtet sind. Wenn sowohl der Fahrer als auch der Beifahrer im Fahrzeug fahren, kann die Strahlformung auch gesteuert werden, um die Verstärkung eines Mikrofons, das angrenzend zu einem Sprecher installiert ist, auf einer Grundeinstellung aufrechtzuerhalten und die Verstärkung eines Mikrofons, das sich weg von dem Sprecher befindet, relativ zu verringern. Dadurch kann die Fähigkeit zur Zerlegung der Stimme des Fahrers oder des Beifahrers und von Geräuschen verbessert werden.
-
Durchschnittsfachleute in dem technischen Gebiet werden erkennen, dass die Auswirkungen, die mit der vorliegenden Offenbarung erzielt werden könnten, nicht auf das voranstehende besonders Beschriebene beschränkt sind und sich andere Vorteile der vorliegenden Offenbarung aus der ausführlichen Beschreibung besser verstehen lassen.
-
Die voranstehend angegebene Offenbarung kann auch als computerlesbarer Code auf einem computerlesbaren Aufzeichnungsmedium umgesetzt werden. Das computerlesbare Aufzeichnungsmedium ist jede Datenspeichervorrichtung, die Daten speichern kann, die danach von einem Computer gelesen werden können. Beispiele für computerlesbare Aufzeichnungsmedien sind eine Festplatte (HDD), ein Solid-State-Laufwerk (SSD), ein Silizium-Disk-Laufwerk (SDD), ein Nur-Lese-Speicher (ROM), ein Direktzugriffsspeicher (RAM), CD-ROM, Magnetbänder, Disketten, optische Datenspeicher usw.
-
Für Durchschnittsfachleute in dem technischen Gebiet wird es offensichtlich sein, dass verschiedene Änderungen und Variationen in der vorliegenden Offenbarung vorgenommen werden können, ohne von dem Grundgedanken oder dem Umfang der Offenbarung abzuweichen. Daher ist beabsichtigt, dass die vorliegende Offenbarung die Änderungen und Variationen dieser Offenbarung abdeckt, sofern sie in den Schutzumfang der beiliegenden Ansprüche und deren äquivalente Ausführungsformen fallen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- KR 1020150047981 [0005]
- KR 101750338 [0006]