JP2017171287A - 車両内照明のための音声および/またはジェスチャー認識を伴う制御デバイスおよび方法 - Google Patents

車両内照明のための音声および/またはジェスチャー認識を伴う制御デバイスおよび方法 Download PDF

Info

Publication number
JP2017171287A
JP2017171287A JP2017052783A JP2017052783A JP2017171287A JP 2017171287 A JP2017171287 A JP 2017171287A JP 2017052783 A JP2017052783 A JP 2017052783A JP 2017052783 A JP2017052783 A JP 2017052783A JP 2017171287 A JP2017171287 A JP 2017171287A
Authority
JP
Japan
Prior art keywords
gesture
data
vehicle
instructions
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017052783A
Other languages
English (en)
Other versions
JP6825947B2 (ja
Inventor
ティエリー、フロランス
Fleurence Thierry
アイメリク、コニク
Koniec Aymeric
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Vision SAS
Original Assignee
Valeo Vision SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Vision SAS filed Critical Valeo Vision SAS
Publication of JP2017171287A publication Critical patent/JP2017171287A/ja
Application granted granted Critical
Publication of JP6825947B2 publication Critical patent/JP6825947B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80Circuits; Control arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】自動車内照明のための音声および/またはジェスチャー認識を伴う制御デバイスに関する。【解決手段】制御デバイスは、それぞれが少なくとも1つの光ビームを発することが可能である複数の照明モジュールを、車両の内部に備える。本デバイスは、複数の音声および/またはジェスチャー命令を検出するための異なる手段を少なくとも備え、当該命令は、前記検出手段がターゲットとする車両内の特定の領域にいる少なくとも1人の車両の乗員によって実行され、前記検出手段は、前記命令を意味するデータを少なくとも処理および分析手段に送信することが可能であり、当該処理および分析手段は、前記データを統合および優先順位をつけ、参照データとの比較後、少なくとも1つの室内照明モジュールに対する少なくとも1つの指示を作成するよう構成される。【選択図】図1

Description

本発明は、要素間の通信を多重ネットワークを介して実施し得る、車両内照明のための音声および/またはジェスチャー認識を伴う制御デバイスおよび方法に関する。
電子機器は自動車においてますます当たり前の存在になってきており、さらに、どんどん洗練化されてきている。現在電子機器は車両のほとんどの機能をサポートするものとして使用され、たとえば、エンジン管理システム、アクティブおよびパッシブセーフティシステム(アンチロックブレーキシステム(ABS)、車両走行安定補助プログラム(ESP)、非常ブレーキ(AFU)、エアーバッグ、シートベルト、リバースレーダー、窃盗防止)または快適性システム(エアコン、ロック、搭載コンピューター、ナビゲーション)までもが挙げられる。
このように、電子機器は、タッチまたは音声インターフェースの使用によって乗員と車両の間で情報の交換が行われる、自立的な通信車両の開発を可能にしている。運転者の警戒心追跡といった、車両のアクティブセーフティ用途のためのジェスチャー認識システムを提供し得る車両もある。これらのシステムは、まぶたの開き、瞳孔の位置、目線の方向、頭の位置および傾きといった、運転者の頭、顔および目の動きを検出および分析することが可能である。検出ユニット、計算ユニットおよびソフトウェアからなるこのシステムは、次に、運転者の警戒心および注意散漫のレベルまたは運転者の眠気の状態を決定することが可能であり、続いて、居眠りまたは注意散漫警報をリアルタイムで送信し得る。
そのようなジェスチャー認識システムに関連するプロセスは、少なくとも、データの検出および回収の工程、取得した情報を参照データと比較する工程、次いで、車両の安全機能を制御および/または監視する工程を備える。運転者の警戒心の喪失または注意力の散漫に対し、埋め込まれたシステムは、たとえばレーン維持補助、全出力自動ブレーキ、速度の調節または運転補助を提案することによって、車両の制御に介入することができる。
前述のエンジン管理、安全性および快適性システムにおける電子機能の増加は、コンピューター、センサおよび電気ケーブルの束の数の増加を引き起こす。この点で、多重ネットワークの使用が知られており、これにより、構成部品の数、配線のかさおよび関連費用を制限することが可能になる。このような多重ネットワークは、データバスとも呼ばれる単一の伝送路を介して各種コンピューター間に複数の情報を循環させることにある。これらの多重ネットワークは、「コントローラエリアネットワーク」またはCAN、「車両エリアネットワーク」またはVANおよび「ローカル相互接続ネットワーク」またはLINという名称で知られている。
運転者の命令認識と車両内の電子部品の増大というこの二重の文脈において、本発明の目的は、複数の室内照明の音声および/またはジェスチャー認識命令を検出、分析、および優先順位をつけることができるデバイスを提案することであり、当該デバイスにおいて、要素間の通信、特に照明モジュールへの指示の送信は、多重ネットワークを介して実施することができる。本発明に従ったデバイスは、運転者が実行した命令を優先し、車両の軌道に集中したままの運転者の警戒心の邪魔をしないようにして、車両の乗員の安全を強化する。乗員の快適さと満足さも向上する。
本発明の主題は、それぞれが車両内で少なくとも1つの光ビームを発することが可能である少なくとも2つの光源を備えた、自動車内照明を制御するためのデバイスである。当該デバイスは、少なくとも、複数の命令を検出するための異なる手段を備え、これら検出手段は、前記命令を意味するデータを少なくとも処理および分析手段に送信することが可能であり、当該処理および分析手段は、前記データを統合および優先順位をつけ、また、データベースに記憶された参照データとの比較後、少なくとも1つの光源に対する少なくとも1つの指示をその作動のために作成するよう構成される。
光源は、互いに特有の光ビームまたは光ビームの一部を発するように構成される点で際立っている。具体的には、これらの光源は、異なる照明モジュールに配置された1つまたは複数の源から構成されていてもよく、または、RGBタイプ、すなわち赤、緑、青の3つのチップの発光ダイオードによって形成されてもよい。網羅的なリストではないが、選択的な照明を行う発光ダイオードのマトリックスを提供することも可能である。
検出手段は、検出手段がターゲットとする車両内の特定の領域にいる少なくとも1人の車両の乗員が実行する複数の音声および/またはジェスチャー命令を検出するように構成することができる。
本発明の特徴によると、室内照明の命令は、所定のジェスチャーシーケンスを形成する複数のジェスチャーからなるジェスチャー命令である。ジェスチャーシーケンスとは、少なくとも1人の乗員の身体全体または一部、好ましくは、各上肢が3つの区分すなわち腕、前腕及び手からなる乗員好ましくは運転者の上体部の動きによって定義される一続きのジェスチャーと理解されるべきである。ジェスチャーシーケンスは、効果的には非常に短い、規則的な間隔で、動いていると検出された身体部分の異なる位置が記録されるときに検出される。
ジェスチャーシーケンスは、主に、車両内の能動的検出領域内で、垂直、水平または斜め配向に沿って、一方向または他方向に実行される軌道によって定義される。
ジェスチャーシーケンスの配向、すなわち、検出される身体部分の全ての位置を端から端まで配置することによって決定され得る線および方向によって、光源のスイッチオンもしくはスイッチオフおよび/またはそれに応じてビームを動かす照明モジュールの全体または一部の対応した配向を決定することが可能となる。
ジェスチャーシーケンスの実行速度を考慮してもよい。作動される照明モジュールの量および車両内でのそれらの配置によって、機能的なジェスチャー言語を形成するように、特定の検出領域に関連付けたジェスチャーの多数の組み合わせを作ってもよいことが理解される。
また、能動的検出領域は、二次元(2D)では1つまたは複数の平面によって、および、三次元(3D)では1つまたは複数の体積によって同様に定義され得る車両内の領域と理解されるべきである。能動的検出領域は、車両内の中央軸を中心に車両内を広範囲にカバーしてもよく、または、領域内で撮影される画像の解像度を向上させるために、車両内の乗員が検出される部分、および、とりわけ車両内の運転者に関連する部分をターゲットとしてもよい。好ましくは、命令検出手段は、運転者領域、助手席領域、後部乗員領域の3つの異なる特定の領域をターゲットとする。
検出手段は、特に、音声および/またはジェスチャー命令を伝えるデータをネットワークから取得する手段を備えることができる。ネットワークは、たとえばブルートゥース、WiFi、Lifiタイプの無線ネットワークまたはCANもしくはLINタイプの有線ネットワークのいずれかである車両に埋め込まれたネットワークから構成することができ、あるいは、車両外部の無線ネットワークから構成することができる。
より具体的には、本発明の制御デバイスは、少なくとも、
− 複数の命令検出モジュールであって、モジュールの動作およびターゲットとなる車両内の特定の領域におけるモジュールの場所によって互いに区別され得、各モジュールは、前記特定の領域のうち少なくとも1つの領域にいる少なくとも1人の車両の乗員が実行する室内照明命令を少なくとも検出し、この命令を分析し、前記命令を意味するデータを送信するよう構成された、前記命令検出モジュールと、
− 前記命令検出モジュールに連結され、ECUとして知られている電子制御ユニットであって、複数の命令を意味する複数のデータを受信、処理および分析し、少なくとも1つの結果としての指示を少なくとも1つの照明モジュールに送信するように構成され、ここで、この指示は、スイッチオンおよび/もしくはスイッチオフの指示ならびに/または光強度を変えるおよび/または少なくとも1つの照明モジュールが発するビームを方向付ける指示からなり得ると理解される、前記電子制御ユニットと、
− 上流通信手段であって、少なくとも1つの検出モジュールによって電子制御ユニットECUに送信された少なくとも1つの室内照明命令を意味するデータを循環させるように構成され、好ましくはブルートゥースタイプの無線ネットワーク、有線ネットワークまたは多重ネットワークを形成することが可能な、前記上流通信手段と、
− 下流通信手段であって、電子制御ユニットECUから少なくとも1つの光源に出力される少なくとも1つの指示を循環させるように構成され、好ましくはCANおよび/またはLINタイプの多重ネットワークを形成する、前記下流通信手段と
を備えるよう提供することも可能である。
上記に加え、複数の命令を意味するデータを1つまたは複数の結果としての指示に統合および合成するように構成される電子制御ユニットを提供することが可能である。また、上記と組み合わせて、または上記とは独立して、複数の命令を意味するデータを参照データと比較し、照明機能を始動させる条件が満たされるかどうかを決定するようにも構成してもよい。
電子制御ユニットはまた、たとえば安全上の理由で運転者が実行する命令を優先するために、異なる検出モジュールからのデータに優先順位をつけ、これらのデータの選択に基づいて、1つまたは複数の結果としての指示を確立することもできる。
車両内照明のための光源は、機能的な照明および/または環境照明および/または情報投影用の照明を確保するよう構成されてもよい。
機能的な照明とは、車両内の特定の領域の視界を向上させる照明と理解されるべきである。この目的のために、特に、たとえば読書用の指向性照明のためのドーム型照明ブロックに収容され得る少なくとも1つの発光ダイオードLEDからなる、少なくとも1つの光源を提供することが可能である。
環境照明は、ダッシュボードおよびドアの輪郭などの車両内の詳細を強調する、または、車両の天井といった特定の領域を装飾することを可能にする、強度がより低い照明と理解されるべきである。この目的のために、選択的に作動され、ドーム型照明ブロックなどに収容され得る発光ダイオードのマトリックスによって形成される少なくとも1つの光源を提供することが可能である。
情報投影用の照明は、支持体とは独立した光源を介して光ビームを無彩色支持体に投影することを意味すると理解されるべきである。一例として、プロジェクターは、ダイオードを使用して、フロントガラスに、車両の速度およびナビゲーションに関する情報(燃料レベル、交通量、機械的な故障の警報)を投影し得る。
検出手段は、車両内の少なくとも1つの特定の領域にいる少なくとも1人の車両の乗員が実行するジェスチャーおよび/または音声のあらゆる室内照明命令を検出、キャプチャおよび記録すること、この命令を分析すること、ならびに、前記命令を意味するデータを送信することが可能である、室内照明命令を検出するための少なくとも1つのモジュールからなる。
各検出モジュールは、複数の命令を記録するように構成されてもよく、複数の命令が実施されるシーケンスが室内照明命令を形成する。したがって、データの記録によって、命令を形成する連続した画像のシーケンスを再構成することが可能になり、照明命令を始動させる条件が満たされるかどうかを決定するための比較基準として機能する参照ジェスチャー命令のデータベースの管理を単純化することも可能となる。
本発明の効果的な特徴によると、本発明による制御デバイスの、音声および/またはジェスチャーシーケンスで命令を検出および適切な場合は記録するためのモジュールは、車両内の少なくとも1つの能動的検出領域に方向付けられており、前記能動的検出領域にいる少なくとも1人の車両の乗員の少なくとも1つの音声メッセージおよび/もしくは一方向の動きまたはジェスチャーを検出および適切な場合は記録することが可能な少なくとも1つの検出手段、ならびに/または、ジェスチャー命令の場合は、前記検出手段によって検出されたジェスチャーシーケンスに対応する画像シーケンスをキャプチャおよび記録することが可能な少なくとも1つの画像取得手段からなる。
ジェスチャー命令の場合、画像取得手段は、エネルギーを消費する方法で途切れることなく動作することを回避するために、能動的検出領域で動きおよび/またはジェスチャーが検出手段によって検出されたときに作動する。制御デバイスが検出手段を含まないことを企図することも可能であるが、この手段はその後に取得されるジェスチャーシーケンスを開始するジェスチャーを検出する機能を有することが理解される。この場合、検出領域で画像が連続的に撮影され、取得された画像はすべて処理される。
ジェスチャー認識による命令の場合、ジェスチャーシーケンス検出および記録モジュールは、ジェスチャー認識制御デバイスと関わるのが運転者のみであるように単一の能動的検出領域に方向付けられた単一の画像取得手段を備えていてもよく、または、車両の乗員すべてがジェスチャー認識制御デバイスとそれぞれ関われるように1つまたは複数の能動的検出領域に方向付けられた複数の画像取得手段を備えていてもよい。
車両内には、好ましくは、車両の乗員すべてが本発明の制御デバイスとそれぞれ関われるように複数の特定の能動的検出領域をターゲットとする複数の命令検出および記録モジュールが装備される。
音声またはジェスチャー命令検出手段は、所定の能動的検出領域にいる車両の乗員の少なくとも音声シーケンスまたは動きもしくはジェスチャーを検出することができるあらゆる種類のセンサおよび/またはカメラからなり得る。非限定的な一例として、センサは、音声命令の場合、命令を正しく聞くために周囲の雑音を低減しながら人間の声を拾うことができるマイクロフォンであり得る。ジェスチャー命令の場合、センサは、赤外線および/または超音波および/またはレーダータイプのセンサであり得る。検出手段は、異なる種類の複数のセンサを備えることもでき、センサの1つまたは他のセンサは、制御モジュールによる輝度条件に関する受信情報に基づいて選択することができる。
ジェスチャーシーケンスの検出およびキャプチャモジュールの画像取得手段は、画像および/またはビデオソースの、あらゆる2Dまたは3D画像キャプチャ手段からなり、前記手段は、特定の能動的検出領域で実行された2Dまたは3Dの固定または方向性ジェスチャーシーケンスをキャプチャ、作成および記録することができる。非限定的な一例として、画像キャプチャ手段は、1つまたは複数のカメラおよび/または静止カメラからなる。カメラは、たとえば、車両内のあらゆるレベルの光強度で動作することができる熱探知カメラおよび/もしくは可視光および/もしくは赤外線カメラ用のカメラ、ならびに/または、レーザーカメラ、ならびに/または、レーダーであると理解されるべきである。
ジェスチャー命令の場合、ジェスチャーシーケンス検出および記録モジュールによって取得および作成されたデータは、一次元、二次元または三次元の幾何学的形状を定義する意味データおよび/または能動的検出領域で検出された身体の一部の位置または軌道を少なくとも意味するデータからなる。このように、身体の所定の一部の存在が識別される「ボックス」が決められ、検出される身体の部分の移動に対応する「ボックス」の一連の移動が分析される。
本発明の好ましい実施形態では、車両内には、互いに異なる複数の検出モジュールが装備されており、モジュールの動作および位置の双方ならびに/または配向によって異なる。より具体的には、検出モジュールは、異なる性質(音声またはジェスチャー)の複数の命令を検出することができる、異なる技術的性質(マイクロフォン、モーション検出、カメラなど)のセンサからなるため、互いに異なる。前記検出モジュールは、固定式および/または可動式であり得るということにより互いに異なっていてもよい。固定式検出モジュールは、車両内に永久的に組み込まれた埋め込みセンサおよび/またはカメラを意味するよう理解されるべきである。可動式検出モジュールは、車両の乗員によって車両内に配置および連結される独立したマルチメディアデバイス、たとえば携帯電話に組み込まれたセンサおよび/またはカメラを意味すると理解されるべきである。前記検出モジュールは、車両内の異なる特定の領域に組み込まれ、能動的検出領域をターゲットとするため、車両内のその位置によって互いに異なることが理解される。
検出モジュールの異種的な性質は、本発明によるデバイスの要素間の通信回線の多様化をもたらす。埋め込み要素に関するケーブル技術(たとえばCAN/LINタイプの有線および/または多重通信)と可動要素に関する無線技術(たとえば、ブルートゥース通信)は区別される。
複数の検出モジュールによって取得および作成されたデータは、車両の乗員のうち少なくとも1人が実行した少なくとも1つの音声および/またはジェスチャーシーケンスを意味するデータを構成し、前記意味データは、本発明による制御デバイスの電子制御ユニットECUに、無線ならびに/または有線および/もしくは多重通信ネットワークを介して送信される。
本発明の効果的な特徴によると、室内照明制御デバイスの電子制御ユニットECUは、上流で複数の音声および/またはジェスチャー命令検出および記録モジュールと連結し、下流で複数の室内照明モジュールと連結した、中央データ処理ユニットである。
本発明による制御デバイスの電子制御ユニットの動作原理は、車両の少なくとも1人の乗員が、好ましくは前記乗員の上肢を用いて実行し、車両内の複数の特定の能動的検出領域で検出される複数の音声および/またはジェスチャーシーケンスと、複数の車両内照明作動機能との間に存在する相互依存に基づいている。
この動作原理に従うと、電子制御ユニットECUは、以下の工程の少なくとも1つを実行するように構成される:
− 少なくとも1つの音声および/またはジェスチャー命令検出および記録モジュールによって検出および記録された少なくとも1つの音声および/またはジェスチャーシーケンスを意味する複数のデータを受信する工程、
− 音声シーケンスを意味する、ならびに/または、一次元、二次元もしくは三次元の幾何学的形状および/もしくはジェスチャーシーケンスの位置に関する前記データを処理および分析する工程、
− 統合および合成された意味データを取得するために、複数の命令シーケンスを意味し、異種ソースに由来する前記データを集約する工程、
− 統合された意味データをデータベースに記憶された参照データと比較する工程、
− 記録された前記音声および/またはジェスチャーシーケンスが少なくとも1つの参照シーケンスに類似しているか、および、この類似性によって、照明機能を始動させる条件を満たすことが可能になるかどうかを決定する工程、
− 安全上の理由で運転者が実行する命令を優先するために、複数の乗員が同時に相反する命令を実行する場合にデータを裁定および優先順位をつける工程、
− 車両の安全に最も適した少なくとも1つの作動指示を選択、作成し、および、出力として(下流)少なくとも1つの照明モジュールに送信する工程。
ジェスチャー命令による少なくとも1つの照明モジュールの作動を行うために、車両の乗員は、上肢のうち1つの全体または一部を動かし、意図的かつ具体的に、車両内の特定の能動的検出領域でジェスチャーシーケンスを実行する。本発明の制御デバイスに特有である検出、分析、比較および制御の工程によって、あらゆる他の誤った動きは照明モジュールの作動には無効なままである。
効果的な特徴によると、電子制御ユニットECUは、新しい参照シーケンスをデータベースに供給するために、記録され得る新しい音声および/またはジェスチャーシーケンスを学習する能力を有する。
前述した通り、検出および記録モジュールの異種的な性質は、本発明によるデバイスの要素間の通信回線の多様化をもたらす。次いで、上流通信手段と下流通信手段は区別される。上流通信手段は、少なくとも1つの埋め込みおよび/または可動式検出および記録モジュールによって作成され、電子制御ユニットECUの入力に送信される、少なくとも1つの室内照明命令を意味するデータを循環させるように構成される。前記上流通信手段は、好ましくはブルートゥースタイプの無線通信ネットワーク、ならびに/または、好ましくはCANタイプの有線および/もしくは多重通信ネットワークを形成する。下流通信手段は、電子制御ユニットECUが少なくとも1つの照明モジュールに出力する少なくとも1つの指示を循環させ、好ましくはCANおよび/またはLINタイプの多重通信ネットワークを形成するよう構成される。
本発明の特徴によると、上流および下流通信手段は、共通の多重ネットワークからなり得る。
本発明はまた、自動車内照明のための音声および/またはジェスチャー認識を伴う制御方法に関し、当該方法の間に、車両内の特定の検出領域にいる少なくとも1人の乗員からの音声および/またはジェスチャー命令に従いながら、少なくとも以下の工程が連続して実行される:
− 少なくとも音声シーケンスならびに/またはジェスチャーシーケンスの二次元および/もしくは三次元画像を検出する工程、
− 音声信号および/または画像を分析し、少なくとも1つの検出された音声および/またはジェスチャーシーケンスを意味するデータを作成する工程、
− 前記意味データを通信ネットワークを介して少なくとも1つの電子制御ユニットECUに送信する工程、
− 音声および/またはジェスチャー命令を意味する前記データを処理する工程、
− 始動条件が満たされる場合、多重通信ネットワークを介して、照明モジュールのための少なくとも1つの制御指示、とりわけスイッチオンおよび/もしくはスイッチオフの指示ならびに/または車両に組み込まれた少なくとも1つの室内照明モジュールが車両内で発する光ビームの光強度を変化させる指示を送信する工程。
以下の工程のうち少なくとも1つを備えた処理工程を提供することが可能である:
− 音声シーケンスおよび/もしくは一次元、二次元もしくは三次元の幾何学的形状ならびに/または前記ジェスチャーシーケンスの位置および/もしくは軌道に関する前記データを分析する工程、
− 統合された意味データを取得するために前記関連データを統合する工程、
− 記録された前記音声および/またはジェスチャーシーケンスに関する前記統合された意味データを、データベースに記憶された少なくとも1つの参照音声および/またはジェスチャーシーケンスと比較する工程、
− 照明機能を始動させる条件が満たされるかどうかの決定を可能にする工程、
− 安全上の理由で運転者が実行する命令を優先するために、複数の乗員が同時に相反する命令を実行する場合に統合された意味データに優先順位をつける工程。
効果的な特徴によれば、制御方法は、少なくとも1つの新しい参照音声および/またはジェスチャーシーケンスを学習する工程を備えることができる。この学習工程は、電子制御ユニットECUが新しい参照音声および/またはジェスチャーシーケンスを定義する平均音声信号および/または平均モーションを合成および作成することができるように、使用者が同じ音声および/またはジェスチャーシーケンスを繰り返す反復プロセスに従って実行することができる。
さらに、ジェスチャー認識を伴う命令の場合、分析工程において、相互作用することができ、互いに異なるジェスチャーシーケンス検出手段および画像取得手段を遂行することが可能であり、前記画像取得手段は、検出手段がジェスチャーシーケンスを開始し得るジェスチャーの始まりを検出した場合にのみ遂行される。
この後者の実施形態の代替案では、分析工程において、検出領域をターゲットとした画像を連続的に回収する画像取得手段の遂行が提供され得る。
本発明の他の特徴および効果が、本発明の実施形態の詳細な説明を読むことによりさらに明確となり、実施形態は、例示的かつ非限定的な例として示され、本発明に従った、車両内照明のための音声および/またはジェスチャー認識を伴う制御デバイス(図1)およびその関連方法(図2)を例示する図に基づく。
本発明を説明する図。 本発明を説明する図。
車両内照明のための音声および/またはジェスチャー認識を伴う制御デバイス1は、それぞれが少なくとも1つの光ビームを発することが可能である複数の光源を備える。以下で説明する場合において、これらの光源は、機能的な照明および/または環境照明および/または情報投影用の照明を確保するよう構成された複数の照明モジュールM内に配置される。デバイスは、車両内の複数の特定の領域Zをターゲットとする、異なる検出手段Cをさらに備える。前記検出手段Cは、車両内の少なくとも1つの特定の領域Zにいる少なくとも1人の車両の乗員が実行する所定のシーケンスS、特に音声および/またはジェスチャーシーケンスによって形成される複数の命令を検出することができる。
たとえば読書用の機能的な照明モジュールは、たとえば、ドーム型照明ブロックおよび/または車両内のそれぞれの特定の領域Zに収容された少なくとも1つの光源形成発光ダイオードLEDを備えることができる。
環境照明モジュールは、たとえば、選択的に作動され得る発光ダイオードのマトリックスから構成することができ、前記ダイオードのマトリックスは、ドーム型照明ブロック内に収容される。
情報投影用の照明モジュールは、その光源がたとえばドーム型照明ブロック内に配置されているプロジェクターから構成することができる。
本発明によるデバイスは、複数のセンサCによって検出、記録および作成されたシーケンスSを意味する複数の入力データに応答し、検出された複数の変数に基づいて状況を識別し、車両の安全に最も適していなくてはならない、少なくとも1つの室内照明モジュールMを作動する指示Aを少なくとも1つ選択するよう構成された電子制御ユニットECUも備える。電子制御ユニットECUは、複数の所定の入力を分析し、制御すべき照明機能を決定する。
電子制御ユニットECUは、少なくとも、プロセッサ、データ処理および分析手段、計算手段、メモリおよびデータ記憶手段を備える。データ記憶手段は、参照音声および/またはジェスチャーシーケンス、プロセッサによって実行され得る照明機能の作動指示およびあらゆるデータ受信および送信指示を含有するデータベースを備える。
図1は、例として、車両内の3つの特定の領域すなわち運転者領域Z、助手席領域Z及び後部乗員領域Zが定義された、本発明によるデバイスの構成を示している。各領域は、それと関連して、たとえばマイクロフォンおよび/またはモーション検出器および/またはIRカメラおよび/または携帯電話のカメラとすることができる少なくとも1つのセンサからなる少なくとも1つの音声および/またはジェスチャーシーケンス検出モジュールC、C、Cと、たとえば読書灯および/またはドーム型照明ブロックおよび/またはRGB(赤緑青)LED源および/またはLEDマトリックスとすることができる少なくとも1つの室内照明モジュールM、M、Mを有する。
音声命令の場合、音声シーケンスの取得は、マイクロフォンタイプの検出および適切な場合は記録モジュールによって実行され得る。複数の音声メッセージによって、複数の検出領域Zと関連した複数の照明モジュールMのスイッチオン、スイッチオフおよび/またはその光強度を調節することが可能になる。次いで、拾われた音声信号は、アナログ−デジタル変換器を用いてデジタル化される。
音声認識命令の場合、ジェスチャーシーケンスの検出および適切な場合は記録モジュールは、ジェスチャーシーケンスを検出するための1つまたは複数の手段および1つまたは複数の画像取得手段から構成することができる。検出モジュールのこれらの構成要素は、車両内の特定の能動的検出領域において少なくとも1人の車両の乗員が実行する少なくとも1つのジェスチャーシーケンスを検出、キャプチャ、記録するように互いに相互作用および通信する。
画像取得手段は、車両内の検出手段と独立して配置することができる、少なくとも1つの検出手段および1つの画像取得手段は、車両内の同じ部分をターゲットとするように構成されることを理解されたい。これら2つの手段を分離させる利点は、検出手段がジェスチャーシーケンスに対応し得るモーションの始まりを記録した場合にのみ、画像取得手段のスイッチオンを行うよう制御することであると理解される。こうすると、画像取得手段を連続的に動作させることが回避される。しかしながら、前述したように、検出手段と画像取得手段を組み合わせた単一のデバイスのみを使用することが可能である。
ジェスチャーシーケンスは、1つの能動的検出領域内で実行される垂直、水平および/または斜めの軌道によって定義される。固定ジェスチャーシーケンスと呼ぶ単純なジェスチャーを、方向性ジェスチャーシーケンスと呼ぶモーションと区別するために、ジェスチャーシーケンスの実行速度を考慮してもよい。
照明モジュールMのスイッチオン、スイッチオフおよび/またはその光強度を調節することを目的とする機能的なジェスチャー言語を形成するために、作動する照明モジュールMの量および車両内でのそれらの位置によって、特定の検出領域Zに関連付けたジェスチャーの多数の組み合わせを作成してもよい。
これらの音声および/またはジェスチャーの組み合わせは一緒に参照シーケンスを構成し、電子制御ユニットECUは、参照シーケンスに基づいて、少なくとも1人の乗員が実行する音声および/またはジェスチャーシーケンスを意味するデータを分析および比較する。これらの参照シーケンスは、好ましくは、照明モジュールを作動および制御するために、乗員が学習し、再現される。音声および/またはジェスチャー認識を伴う制御デバイス1、特に電子制御ユニットECUによる、車両の乗員が開発する新たな参照シーケンスの取得および記憶も可能である。
本発明による制御方法を上で説明してきたが、別の言葉で詳述するために図2を以下で参照する。制御方法は、複数の音声および/またはジェスチャーシーケンスS、複数の能動的検出領域Zおよび車両内照明のための複数の作動化機能Aの間に存在する相互依存性、ならびに、制御デバイス1の構成要素の相互接続および通信に基づいている。
まず、方法は、車両内2の少なくとも1つの検出領域Z、Z、Zにおける、車両の乗員のうち少なくとも1人が実行する少なくとも1つの音声および/またはジェスチャーシーケンスS、S、Sの開始を検出する工程(a)を備え、この工程(a)は、少なくとも1つの音声および/またはジェスチャー命令検出モジュールC、C、Cによって実行される。この検出工程(a)の後に、ジェスチャーシーケンス検出モジュールC、C、Cおよびジェスチャーシーケンスの場合は好ましくは少なくとも1つの画像取得手段によって実行される、前記音声および/またはジェスチャーシーケンスの音声データならびに/または2Dおよび/もしくは3D画像をキャプチャおよび記録する工程(b)が続いてもよい。
次に、ジェスチャーシーケンス検出およびキャプチャモジュールC、C、Cによる、前記音声および/またはジェスチャーシーケンスを意味するデータを作成する工程(c)が続く。ジェスチャー命令の場合、前記意味データは、一次元、二次元もしくは三次元の幾何学的形状を定義するデータおよび/または能動的検出領域における少なくとも1つの位置または軌道を意味するデータ、たとえば点または点群を構成する。
次いで、音声および/またはジェスチャーシーケンス検出モジュールC、C、Cと電子制御ユニットECUとの間で、無線(ブルートゥース)ならびに/または有線および/もしくは多重(CAN)上流通信ネットワーク6を介した前記意味データの電子制御ユニットECUへの送信工程(d)を通して、通信が行われる。この通信は、次にさまざまな連続的な工程を引き起こすが、そのような工程としては下記が含まれる:
− 音声シーケンスおよび/もしくは一次元、二次元もしくは三次元の幾何学的形状ならびに/または前記ジェスチャーシーケンスの位置および/もしくは軌道に関する前記データを分析する工程(e)、
− 統合された意味データを取得するために前記関連データを統合する工程(f)であって、データの統合は、例として、乗員からの1つおよび同一のジェスチャーの検出のために、車両の複数の乗員によって同時に実行されるジェスチャーシーケンスを考慮すること、または、異なる検出手段から来る複数のデータを考慮することにあることが理解される、前記工程、
− 記録された前記音声および/またはジェスチャーシーケンスに関する前記統合された意味データを、データベースに記憶された少なくとも1つの参照音声および/またはジェスチャーシーケンスと比較する工程(g)、
− 照明機能を始動させる条件が満たされるかどうかの決定を可能にする工程(h)、
− 安全上の理由で運転者が実行する命令を優先するために、複数の乗員が同時に相反する命令を実行する場合に統合された意味データに優先順位をつける工程(i)、
− 始動条件が満たされる場合には、たとえば読書灯、ドーム型照明ブロック、RGBのLED、LEDマトリックスといった車両に組み込まれた少なくとも1つの室内照明モジュールM、M、M、Mによって車両内2で発せられる光ビームのスイッチオンおよび/もしくはスイッチオフならびに/またはその光強度を変化させる少なくとも1つの指示A、A、Aを、下流多重通信ネットワーク7(CAN/LIN)を介して送信する工程(j)および実行する工程(k)(それは同時にまたはわずかなオフセット時間を伴って提供することが可能である)。
さらに、制御方法は、少なくとも1つの新しい参照音声および/またはジェスチャーシーケンスを学習する工程(k)を含んでいてもよい。このように、音声および/またはジェスチャー認識を伴う制御デバイスおよび関連する制御方法を、電子制御ユニットのデータベースを適合させることにより、室内照明デバイスの新しい機能性に適合させることができる。

Claims (15)

  1. 車両の内部(2)にそれぞれが少なくとも1つの光ビームを発することが可能であるライトを少なくとも2つ備えた自動車内照明のための音声および/またはジェスチャー認識を伴う制御デバイス(1)において、少なくとも、複数の命令(S)を検出するための異なる手段(3、C)を備え、前記検出手段(3、C)は、前記命令(S)を意味するデータを少なくとも処理および分析手段(4、ECU)に送信することが可能であり、前記処理および分析手段は、前記データを統合および優先順位をつけ、参照データとの比較後、少なくとも1つの室内照明モジュール(M)に対する少なくとも1つの指示(A)を作成するよう構成されることを特徴とする、制御デバイス。
  2. 前記検出手段(3、C)が、前記検出手段がターゲットとする前記車両内(2)の特定の領域(Z)にいる少なくとも1人の前記車両の乗員が実行する複数の音声および/またはジェスチャー命令を検出するように構成されることを特徴とする、請求項1に記載のデバイス。
  3. 前記ジェスチャー命令が、所定のジェスチャーシーケンスを形成する複数のジェスチャーからなることを特徴とする、請求項2に記載のデバイス。
  4. 前記ジェスチャーシーケンスが、その垂直および/または水平および/または斜め配向ならびにその実行速度によって定義されることを特徴とする、請求項3に記載のデバイス。
  5. 前記検出手段(3、C)が、ネットワークから、前記命令(S)を伝えるデータを取得する手段を備えることを特徴とする、請求項1〜4のいずれか一項に記載のデバイス。
  6. 前記デバイスが、少なくとも、
    − 少なくとも室内照明命令を検出、この命令を分析および前記命令を意味するデータを送信するよう構成された、複数の異なる命令検出モジュール(C)と、
    − 前記検出モジュール(C)に連結され、複数の命令を意味する複数のデータを処理し、少なくとも1つの結果としての指示(A)を少なくとも1つの照明モジュール(M)に送信するように構成された、電子制御ユニット(ECU)と、
    − 少なくとも1つの検出モジュール(C)によって前記電子制御ユニット(ECU)の入力に送信された意味データを循環させるように構成された上流通信手段(6)と、
    − 前記電子制御ユニット(ECU)が少なくとも1つの光源に出力した少なくとも1つの指示(A)を循環させるよう構成され、多重ネットワークを形成する下流通信手段(7)と
    を備えることを特徴とする、請求項1〜5のいずれか一項に記載のデバイス。
  7. 前記検出モジュール(C)が、パフォーマンスシーケンスが前記室内照明命令を形成する複数の命令を記録するよう構成されることを特徴とする、請求項6に記載のデバイス。
  8. 前記電子制御ユニット(ECU)が、複数の命令を意味するデータを1つまたは複数の結果としての指示(A)に統合および合成するように構成されることを特徴とする、請求項6または7に記載のデバイス。
  9. 前記電子制御ユニット(ECU)が、前記異なる検出モジュール(C)からのデータに優先順位をつけ、前記異なる検出モジュールからのデータの選択に基づいて、1つまたは複数の結果としての指示(A)を確立するよう構成されることを特徴とする、請求項8に記載のデバイス。
  10. 前記電子制御ユニット(ECU)が、複数の命令を意味する前記データを参照データと比較し、この比較に従って、照明機能を始動させる条件が満たされるかどうかを決定するよう構成されることを特徴とする、請求項6〜9のいずれか一項に記載のデバイス。
  11. 前記上流(6)および下流(7)通信手段が、共通の多重ネットワークからなることを特徴とする、請求項6〜10のいずれか一項に記載のデバイス。
  12. 自動車内照明のための音声および/またはジェスチャー認識を伴う制御方法であって、前記方法の間に、車両内(2)の特定の検出領域(Z)にいる少なくとも1人の乗員からの音声および/またはジェスチャー命令(S)に従いながら、
    − 少なくとも音声シーケンスならびに/またはジェスチャーシーケンスの二次元2Dおよび/もしくは三次元3D画像を検出する工程(a)、
    − 音声信号および/または画像を分析し、前記音声および/またはジェスチャー命令(S)を意味するデータを作成するための工程(c)、
    − 前記意味データを通信ネットワーク(6)を介して少なくとも1つの電子制御ユニット(ECU)に送信する工程(d)、
    − 前記音声および/またはジェスチャー命令を意味する前記データを処理する工程(e、f、g、h、i)、
    − 始動条件が満たされる場合、多重通信ネットワーク(7)を介して前記車両の少なくとも1つの光源を制御する少なくとも1つの指示(A)を送信する工程(j)
    が連続して実行される、前記制御方法。
  13. 前記処理工程が、
    − 統合された意味データを取得するために前記関連データを統合する工程(f)、
    − 検出された前記音声および/またはジェスチャーシーケンスに関する前記統合された意味データを、データベースに記憶された少なくとも1つの参照音声および/またはジェスチャーシーケンスと比較する工程(g)、
    − 照明機能を始動させる条件が満たされるかどうかの決定を可能にする工程(h)、
    − 安全上の理由で運転者が実行する命令を優先するために、複数の乗員が同時に相反する命令を実行する場合に前記統合された意味データに優先順位をつける工程(i)
    のうちの少なくとも1つの工程を備えることを特徴とする、請求項12に記載の制御方法。
  14. ジェスチャー認識による命令の場合、分析する工程(c)において、相互作用することができ、互いに異なるジェスチャーシーケンス検出手段および画像取得手段が遂行され、前記画像取得手段は、前記検出手段がジェスチャーシーケンスを開始し得るジェスチャーの始まりを検出した場合にのみ遂行されることを特徴とする、請求項12または13に記載の制御方法。
  15. ジェスチャー認識による命令の場合、分析する工程(c)において、前記検出領域(Z)をターゲットとした画像を連続的に回収する画像取得手段を遂行することを特徴とする、請求項14に記載の制御方法。
JP2017052783A 2016-03-21 2017-03-17 車両内照明のための音声および/またはジェスチャー認識を伴う制御デバイスおよび方法 Active JP6825947B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1652417 2016-03-21
FR1652417A FR3049078B1 (fr) 2016-03-21 2016-03-21 Dispositif et procede de commande a reconnaissance vocale et/ou gestuelle pour l'eclairage interieur d'un vehicule

Publications (2)

Publication Number Publication Date
JP2017171287A true JP2017171287A (ja) 2017-09-28
JP6825947B2 JP6825947B2 (ja) 2021-02-03

Family

ID=56802519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017052783A Active JP6825947B2 (ja) 2016-03-21 2017-03-17 車両内照明のための音声および/またはジェスチャー認識を伴う制御デバイスおよび方法

Country Status (5)

Country Link
US (1) US10937419B2 (ja)
EP (1) EP3222467B1 (ja)
JP (1) JP6825947B2 (ja)
CN (1) CN107219838A (ja)
FR (1) FR3049078B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020001529A (ja) * 2018-06-27 2020-01-09 矢崎総業株式会社 車内照明システム
JP2020069870A (ja) * 2018-10-30 2020-05-07 トヨタ自動車株式会社 車両用パワーウインドウ制御装置
JP2020192899A (ja) * 2019-05-29 2020-12-03 トヨタ紡織株式会社 乗物用調光システム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6447578B2 (ja) * 2016-05-27 2019-01-09 トヨタ自動車株式会社 音声対話装置および音声対話方法
US10950229B2 (en) * 2016-08-26 2021-03-16 Harman International Industries, Incorporated Configurable speech interface for vehicle infotainment systems
US11067667B2 (en) 2016-09-08 2021-07-20 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US10934764B2 (en) 2016-09-08 2021-03-02 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
DE102017004579A1 (de) * 2017-05-12 2018-11-15 Diehl Aerospace Gmbh Leuchte und Leuchtenmodul
CN107544271B (zh) * 2017-09-18 2020-08-14 广东美的制冷设备有限公司 终端控制方法、装置及计算机可读存储介质
DE102017011498B4 (de) * 2017-12-13 2022-08-18 Mercedes-Benz Group AG Verfahren zum Betreiben eines Assistenzsystems und ein Assistenzsystem für einen Kraftwagen
JP2019107939A (ja) * 2017-12-15 2019-07-04 株式会社オートネットワーク技術研究所 照度調整装置、照度調整方法及びコンピュータプログラム
WO2019239450A1 (ja) * 2018-06-11 2019-12-19 三菱電機株式会社 入力制御装置、操作装置および入力制御方法
CN110825217B (zh) * 2018-08-13 2023-07-11 珠海格力电器股份有限公司 家电控制方法及装置
CN111231870A (zh) * 2018-11-28 2020-06-05 上海博泰悦臻电子设备制造有限公司 车辆睡眠模式切换方法及装置
JP7220095B2 (ja) * 2019-02-22 2023-02-09 株式会社日立製作所 セキュリティ設計立案支援装置
CN109976515B (zh) * 2019-03-11 2023-07-07 阿波罗智联(北京)科技有限公司 一种信息处理方法、装置、车辆及计算机可读存储介质
DE102019002794A1 (de) * 2019-04-16 2020-10-22 Daimler Ag Verfahren zum Steuern einer Beleuchtung
JP7109866B2 (ja) * 2019-04-19 2022-08-01 矢崎総業株式会社 照明制御システム及び照明制御方法
CN112109729B (zh) * 2019-06-19 2023-06-06 宝马股份公司 用于车载系统的人机交互方法、装置和系统
CN110712590B (zh) * 2019-09-16 2022-12-27 中国第一汽车股份有限公司 一种基于总线通讯的汽车室内灯智能控制系统及控制方法
CN111263498A (zh) * 2020-01-21 2020-06-09 中山市德马汽车零部件有限公司 一种汽车氛围灯控制系统、方法、装置及存储介质
JP7238824B2 (ja) * 2020-02-07 2023-03-14 トヨタ自動車株式会社 車室内照明システム
CN112750437A (zh) * 2021-01-04 2021-05-04 欧普照明股份有限公司 控制方法、控制装置及电子设备
JP2022164192A (ja) * 2021-04-16 2022-10-27 トヨタ自動車株式会社 乗物用通信システム
CN115095843B (zh) * 2022-06-24 2023-11-10 中国第一汽车股份有限公司 一种可实现声光一体的车灯结构及其控制方法
CN115285139A (zh) * 2022-08-04 2022-11-04 中国第一汽车股份有限公司 一种智能座舱控制方法、装置、设备和介质
CN115366789A (zh) * 2022-10-24 2022-11-22 苏州耀腾光电有限公司 一种汽车灯光系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000203357A (ja) * 1999-01-14 2000-07-25 Nissan Shatai Co Ltd 音声操作装置
JP2007099045A (ja) * 2005-10-03 2007-04-19 Matsushita Electric Works Ltd 車室内照明器具
JP2009025714A (ja) * 2007-07-23 2009-02-05 Xanavi Informatics Corp 車載装置および音声認識方法
WO2013136776A1 (ja) * 2012-03-15 2013-09-19 パナソニック株式会社 ジェスチャ入力操作処理装置
JP2014196024A (ja) * 2013-03-29 2014-10-16 株式会社デンソーアイティーラボラトリ クラクション発生装置、クラクション発生方法、プログラム及び乗物用入力装置
JP2015095164A (ja) * 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2015517149A (ja) * 2012-04-08 2015-06-18 サムスン エレクトロニクス カンパニー リミテッド ユーザ端末装置及びその制御方法
JP2015205647A (ja) * 2014-04-23 2015-11-19 スタンレー電気株式会社 車載用ledランプ
JP2017207890A (ja) * 2016-05-18 2017-11-24 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3619380B2 (ja) * 1998-12-25 2005-02-09 富士通株式会社 車載入出力装置
US8768286B2 (en) * 2001-10-24 2014-07-01 Mouhamad Ahmad Naboulsi Hands on steering wheel vehicle safety control system
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8094127B2 (en) * 2003-07-31 2012-01-10 Volkswagen Ag Display device
US7295904B2 (en) * 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
JP2006264472A (ja) * 2005-03-23 2006-10-05 Fujitsu Ten Ltd 車体装備制御装置および車体装備制御方法
JP4930315B2 (ja) * 2007-01-19 2012-05-16 株式会社デンソー 車内情報表示装置およびそれに用いられる光照射装置
JP2009020423A (ja) * 2007-07-13 2009-01-29 Fujitsu Ten Ltd 音声認識装置および音声認識方法
JP5376203B2 (ja) * 2008-09-16 2013-12-25 アイシン精機株式会社 車両用電動シートシステム
US9348417B2 (en) * 2010-11-01 2016-05-24 Microsoft Technology Licensing, Llc Multimodal input system
US20120278729A1 (en) * 2011-04-27 2012-11-01 Vennelakanti Ramadevi Method of assigning user interaction controls
US9866277B2 (en) * 2011-08-15 2018-01-09 Adam James Wang Vehicle wireless hub
US8311973B1 (en) * 2011-09-24 2012-11-13 Zadeh Lotfi A Methods and systems for applications for Z-numbers
KR101305808B1 (ko) * 2011-10-11 2013-09-06 현대자동차주식회사 자동차용 유기 el 라이트 장치
DE112012004767T5 (de) * 2011-11-16 2014-11-06 Flextronics Ap, Llc Vollständiges Fahrzeugökosystem
US8767035B2 (en) * 2011-12-06 2014-07-01 At&T Intellectual Property I, L.P. In-call command control
EP2834774A4 (en) * 2012-04-01 2016-06-08 Intel Corp ANALYSIS OF HUMAN COMMUNICATIONS IN GESTURE
DE102012010044A1 (de) * 2012-05-23 2013-11-28 Volkswagen Aktiengesellschaft Vorrichtung zur Steuerung einer Beleuchtung in einem Fahrzeuginnenraum
DE102012013503B4 (de) * 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
US9798799B2 (en) * 2012-11-15 2017-10-24 Sri International Vehicle personal assistant that interprets spoken natural language input based upon vehicle context
US20140163771A1 (en) * 2012-12-10 2014-06-12 Ford Global Technologies, Llc Occupant interaction with vehicle system using brought-in devices
EP2746805B1 (de) * 2012-12-21 2017-07-12 Delphi Technologies, Inc. Ultraschallinnenraumüberwachungsanlage für ein Kraftfahrzeug
DE102013200512A1 (de) * 2013-01-15 2014-07-17 Hella Kgaa Hueck & Co. Beleuchtungsvorrichtung und Verfahren zum Betätigen der Beleuchtungsvorrichtung
CN203305887U (zh) * 2013-01-17 2013-11-27 欧司朗有限公司 车载照明装置以及具有该照明装置的车辆
US9349365B2 (en) * 2013-03-14 2016-05-24 Accenture Global Services Limited Voice based automation testing for hands free module
KR20140113832A (ko) * 2013-03-15 2014-09-25 현대자동차주식회사 자동차의 음성 전달 시동장치 및 시동방법
US9170724B2 (en) * 2013-04-01 2015-10-27 Jet Optoelectronics Co., Ltd. Control and display system
WO2014172334A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc User gesture control of vehicle features
US9931991B2 (en) * 2013-11-21 2018-04-03 Ford Global Technologies, Llc Rotating garment hook
US9839098B2 (en) * 2013-11-21 2017-12-05 Ford Global Technologies, Llc Light assembly operable as a dome lamp
DE102014011095B4 (de) * 2014-07-25 2017-02-16 Audi Ag Betätigungsanordnung für ein Kraftfahrzeug und Kraftfahrzeug
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
US10928914B2 (en) * 2015-01-29 2021-02-23 Misapplied Sciences, Inc. Individually interactive multi-view display system for non-stationary viewing locations and methods therefor
US20170032783A1 (en) * 2015-04-01 2017-02-02 Elwha Llc Hierarchical Networked Command Recognition
US9802535B2 (en) * 2015-04-27 2017-10-31 Ford Global Technologies, Llc Seat having ambient lighting
CN104966514A (zh) * 2015-04-30 2015-10-07 北京车音网科技有限公司 一种语音识别方法和车载设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000203357A (ja) * 1999-01-14 2000-07-25 Nissan Shatai Co Ltd 音声操作装置
JP2007099045A (ja) * 2005-10-03 2007-04-19 Matsushita Electric Works Ltd 車室内照明器具
JP2009025714A (ja) * 2007-07-23 2009-02-05 Xanavi Informatics Corp 車載装置および音声認識方法
WO2013136776A1 (ja) * 2012-03-15 2013-09-19 パナソニック株式会社 ジェスチャ入力操作処理装置
JP2015517149A (ja) * 2012-04-08 2015-06-18 サムスン エレクトロニクス カンパニー リミテッド ユーザ端末装置及びその制御方法
JP2014196024A (ja) * 2013-03-29 2014-10-16 株式会社デンソーアイティーラボラトリ クラクション発生装置、クラクション発生方法、プログラム及び乗物用入力装置
JP2015095164A (ja) * 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2015205647A (ja) * 2014-04-23 2015-11-19 スタンレー電気株式会社 車載用ledランプ
JP2017207890A (ja) * 2016-05-18 2017-11-24 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理システム、情報処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020001529A (ja) * 2018-06-27 2020-01-09 矢崎総業株式会社 車内照明システム
JP7046734B2 (ja) 2018-06-27 2022-04-04 矢崎総業株式会社 車内照明システム
JP2020069870A (ja) * 2018-10-30 2020-05-07 トヨタ自動車株式会社 車両用パワーウインドウ制御装置
JP7095557B2 (ja) 2018-10-30 2022-07-05 トヨタ自動車株式会社 車両用パワーウインドウ制御装置
US11732523B2 (en) 2018-10-30 2023-08-22 Toyota Jidosha Kabushiki Kaisha Vehicle power window control device
JP2020192899A (ja) * 2019-05-29 2020-12-03 トヨタ紡織株式会社 乗物用調光システム

Also Published As

Publication number Publication date
JP6825947B2 (ja) 2021-02-03
CN107219838A (zh) 2017-09-29
EP3222467A1 (fr) 2017-09-27
US10937419B2 (en) 2021-03-02
FR3049078A1 (fr) 2017-09-22
FR3049078B1 (fr) 2019-11-29
EP3222467B1 (fr) 2023-04-05
US20170270924A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
JP6825947B2 (ja) 車両内照明のための音声および/またはジェスチャー認識を伴う制御デバイスおよび方法
US9970615B1 (en) Light-based vehicle-device communications
JP6814153B2 (ja) 車両用照明装置、車両システム及び車両
US11798290B2 (en) Obstacle detection and notification for motorcycles
JP6914843B2 (ja) 車両用照明装置、車両システム及び車両
US10078966B2 (en) Warning method outside vehicle, driver assistance apparatus for executing method thereof and vehicle having the same
JP7139717B2 (ja) 車両用通信装置、車両用通信方法、及び制御プログラム
US20170036673A1 (en) Driver assistance apparatus and control method for the same
CN109844450B (zh) 分类装置、分类方法以及记录介质
KR102267192B1 (ko) 물체 낙하 감지 장치 및 방법
CN110015308B (zh) 一种人车交互方法、系统及车辆
JP2017185994A (ja) 自動車の室内照明を制御するためのデバイス
US10836390B2 (en) Monitoring driver movement
JPWO2019053890A1 (ja) 照射装置および照射方法
KR101472300B1 (ko) 다중 영상을 이용한 사건/사고 예방 방법 및 시스템
US11981324B2 (en) Method for providing a signal for actuating an at least partially automated vehicle
JP2022551243A (ja) 走行支援装置、方法、車両及び記憶媒体
JP2019131184A (ja) 照射装置および照射方法
JP2021059241A5 (ja)
US11247647B2 (en) Vehicle and control method thereof
US10647299B2 (en) Method and apparatus for monitoring a parked motor vehicle
EP4163762A1 (en) A vision system for a motor vehicle and a method of training
US20180194326A1 (en) Method and apparatus for monitoring a parked motor vehicle
WO2023286375A1 (ja) 情報処理システム、情報処理装置及び情報処理方法
US20240042926A1 (en) Vehicle notification control device and vehicle notification control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210114

R150 Certificate of patent or registration of utility model

Ref document number: 6825947

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250