JP2018531332A - 車両と視覚的に通信する装置および方法 - Google Patents

Abstract

視覚通信装置が車両に装着される。視覚通信装置は、キーレス検出領域内のユーザのキーフォブを検出するスマートキーシステム（登録商標）と、車両が位置する地面に置かれる投射領域に視覚表示を投射するプロジェクタと、車両のユーザのジェスチャを光学的に捕捉するセンサと、車両のキー要素を駆動させることができる電子制御ユニットとを含む。視覚表示は、ユーザからの始動を必要としない受動視覚表示と、ユーザからの始動を必要とする能動視覚表示とを含む。これらの始動は、能動視覚表示上のユーザのジェスチャによって実行される。

Description

本開示は、車両と視覚的に通信する装置および方法に関する。より具体的には、実施形態は、車両に対するコマンドを要求し、車両に関する情報を取得する可能性を提供する。

キーフォブ上のボタンを操作することによって遠隔起動、ドアロック、またはライトの切替など様々な遠隔サービスを提供する車両が知られ、広く利用されるようになった。しかしながら、このようなシステムは少なくとも一方の手の動作を必要とし、ユーザの両手がふさがっている場合は不便である。

近年、ユーザに自分の手を使用させずにユーザの意図を検出する技術的な試みがなされている。このような技術的試みは、スマートキー（登録商標）装置を介したトランクの自動開放に焦点を当てている。たとえば、上記システムでは、ユーザが車両に設けられた動作検出器の下へ片足を移動させつつ、もう片方の足で立っておく必要がある、あるいは、車両に置かれた存在検出器の前で比較的長時間立っておく必要がある。

このようなシステムは、両手が自由でないときにバックドアを開放できることによってユーザにある程度の便利さと快適さを提供するものの、多数の欠点を備える。上記システムは、ユーザに不快な姿勢をとらせる可能性のあるバランスの問題を招く場合がある。大抵の場合、上記システムでは、ユーザと車両との間の通信が大幅に制限されて、車両からの誤解釈が生じる結果、車両の不都合な駆動や未知の症状が発生する。たとえば、バックドアがシステムによってなかなか開かない間、ユーザはトランクの後ろに立ち続けている、あるいは、バックドアは解錠されているが、ユーザから十分明瞭に見えるほどには開いていない。よって、通信の制限という上記の課題を解決する、車両と視覚的に通信する装置および方法が望まれる（特許文献１）。

特開２０１５−０２１２３７号公報

したがって、本開示の目的は、上記制約を克服する、車両と視覚的に通信する装置および方法を提供することである。
該装置は、地面に投射される視覚表示を通じて、ユーザと車両との間の双方向通信を提供することによって、確実に通信を向上させる。これらの視覚表示は、ユーザが車両に対するコマンド（たとえば、ドアの開放／閉鎖、ライトの点灯／消灯）を入力する方法だけでなく、車両が自らの状況に関する情報（たとえば、ドアの開放／閉鎖、点灯／消灯、燃料／バッテリレベル、車両のバックアップ）をユーザまたは車両近傍の人に対して表示する方法を提供する。

視覚表示は、ユーザがジェスチャ（たとえば、歩み出す、足を踏み鳴らす、かかとを上げる、静止する）を実行して、対応する視覚表示によって表される特定コマンドを作動させることによって、コンピュータキーボードのキーと同様に機能する。いったん対応する視覚表示が作動すると、車両はどのコマンドがユーザから要求されているか確実かつ正確に把握する。また、視覚表示は、ユーザにとって明確で理解し易い方法で車両の状況に関する情報を表示することによって、コンピュータ画面と同様に機能する。

さらに、視覚表示は、ユーザの位置を追跡／追従する能力を有し、ユーザにとって簡便な位置に常に配置される。
非限定的な一例示的実施例では、車両の視覚通信装置が提供される。車両の視覚通信装置は、キーレス検出領域内のユーザのキーフォブを検出することによってユーザを識別するスマートキーシステム（登録商標）と、地面の投射領域に視覚表示を投射するプロジェクタと、ユーザのジェスチャを視覚的に捕捉するセンサと、ジェスチャに応答して車両の重要な構成要素を駆動する制御ユニットとを含む。

非限定的な他の例示的実施例では、視覚通信装置を通じて車両と通信する方法が提供される。視覚通信装置は、地面に視覚表示を投射するプロジェクタと、ユーザのジェスチャを光学的に捕捉するセンサとを含む。視覚通信装置を通じて車両と通信する方法は、スマートキーシステム（登録商標）を通じてキーレス検出領域内のユーザのキーフォブの存在を検出することと、投射領域内のユーザの存在を検出することと、投射領域内のユーザの位置と法線方向とを算出することと、ユーザの位置からの所定距離、およびユーザの法線方向からの所定方向で視覚表示を投射することと、視覚表示に応答してユーザのジェスチャを検出することと、ジェスチャに応答して電子制御ユニットを通じて車両のキー要素を駆動することと、キー要素が実行中であることをユーザに知らせることとを含む。

本開示の特定の態様による、車両に固定される視覚通信装置の斜視図である。 本開示の特定の態様による、車両に固定される視覚通信装置の上面図である。 本開示の特定の態様による、一体型モデルの視覚通信装置のハードウェア構成の概略図である。 本開示の特定の態様による、分割モデルの視覚通信装置のハードウェア構成の概略図である。 本開示の特定の態様による、ユーザに対して能動視覚表示を投射する視覚通信装置の上面図である。 本開示の特定の態様による、ユーザおよびその他の人々に対して受動視覚表示を投射する視覚通信装置の上面図である。 本開示の特定の態様による、視覚通信装置によってユーザが車両と通信する方法のフローチャートである。

具体的な要素または行為の説明を特定しやすくするため、参照符号中の最上位数字は当該要素が最初に導入された図番を指す。
本明細書で言及するすべての出願、特許出願、特許、その他の引例は、参照することによりその全文を組み込むものとする。さらに、本明細書に記載される材料、方法、実施例は単なる例示であり、限定することを目的としていない。

図面中、類似の参照符号は、複数の図面全体を通じて同一または対応する部分を示す。さらに、本明細書で使用される際、「一」や「１つ」などの文言は、特段明記されない限り、「１以上」の意味を含む。図面は通常、特段明記されない限り、等縮尺で描かれておらず、概略的な構造またはフローチャートを示す。

図１および図２はそれぞれ、本開示の特定の態様による視覚通信装置１００の斜視図と上面図である。図３Ａおよび図３Ｂはそれぞれ、本開示の特定の態様による一体型モデルおよび分割モデルの視覚通信装置のハードウェア構成の概略図である。視覚通信装置は、投射モジュール１０１によって車両３００とキーフォブ２０２を持つユーザ２００との間の視覚的通信を確立する。

投射モジュール１０１は、電動バックドア（ＰＢＤ：Ｐｏｗｅｒ Ｂａｃｋ Ｄｏｏｒ）車両（たとえば、図１および図２に示すような電動トランクドア３０２ａを有する車両）の場合は車両３００の後ろ側３０２に搭載することができる、あるいは、電動スライドドア（ＰＳＤ：Ｐｏｗｅｒ Ｓｌｉｄｅ Ｄｏｏｒ）車両（たとえば、側面に電動ドアを有する車両）の場合は車両３００の側面に搭載することができる。

投射モジュール１０１は、車両３００の様々な制御要素を含む主回路４００に連結される。たとえば、これらの各種制御要素は、キーレス検出領域２０８内のユーザ２００のキーフォブ２０２を識別するスマートキーシステム（登録商標）３０６を制御するスマートＥＣＵ４１０、あるいは、ＰＢＤ／ＰＳＤアクチュエータ３２０を介してＰＢＤおよびＰＳＤの少なくとも一方を動作させるＰＢＤ／ＰＳＤ ＥＣＵ４３０を伴う本体ＥＣＵ４４０とすることができる。

スマートキーシステム（登録商標）３０６は、車両３０００に装着するアンテナ３０８ａと、キーフォブ２０２に一体化される低周波（ＬＦ：Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）受信機２１０ａおよび無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）送信機２１０ｂと、車両３００に装着されるＲＦ受信機３０８ｂとを含むことができる。アンテナ３０８ａはキーレス検出領域２０８にわたって、たとえば１２０〜１３５ｋＨｚの第１群の電波を送信し、キーレス検出領域２０８は視覚アンテナ３０８ａから所定距離ｄ内に収めることができる。いったんキーフォブ２０２がキーレス検出領域２０８内に入ると、ＬＦ受信機２１０ａがアンテナ３０８ａによって送信される第１群の電波を受信し、ＲＦ送信機２１０ｂがたとえば３００〜４００ＭＨｚの第２群の電波を車両３００ａに戻す。次に、第２群の電波がＲＦ受信機３０８ｂによって受信される。また、主回路４００のスマートＥＣＵ４１０は、キーレス検出領域２０８内における、ユーザ２００のキーフォブ２０２の存在を特定するために、第１群の電波の送信を制御し、第２群の電波の受信を検出する。

スマートキーシステム（登録商標）３０６は、コントローラエリアネットワーク（ＣＡＮ）バスまたはローカルインタコネクトネットワーク（ＬＩＮ）バスなどのバスを介して、本体ＥＣＵ４４０、または主回路４００のその他の構成要素と通信することができる。

視覚通信装置１００は、車両３００のハンドル３１１に置かれるハンドル角度センサ３１０をさらに含むことができる。ハンドル角度センサ３１０により、操舵角を測定して、車両３００が変位する方向を推定することができる。

ハンドル角度センサ３１０は、操舵角を検出する電磁センサまたは電位差計を利用することができる。
投射モジュール１０１は、投射領域１０８に視覚表示１０６（たとえば、シンボルまたはテキストメッセージ）を投射するプロジェクタ１０２と、ユーザ２００に関する重要な情報を光学的に捕捉するセンサ１０４とを含む。投射モジュール１０１は、検出回路１０５を有してセンサ１０４を動作させる回路１０１ａと、プロジェクタ１０２を動作させる投射回路１０３とを含む。ユーザ２００に関する主情報は、投射領域１０８内のユーザ２００の存在、投射領域１０８内のユーザ２００の位置Ｘ、ユーザ２００の法線方向Ｎ、ユーザ２００のジェスチャ（たとえば、歩み出す、足を踏み鳴らす、かかとを上げる、または静止する）を含むことができる。

光学的に捕捉されたユーザ２００に関する主情報は、解析されて、検出回路１０５と投射回路１０３とを含む回路１０１ａが実行するソフトウェア命令によって車両３００に対する特定コマンドに変換される。たとえば、特定コマンドは、車両３００のバックドアまたはサイドドアの開放／閉鎖を含むことができる。たとえば、上記コマンドは、回路１０１ａから主回路４００のＰＢＤ／ＰＳＤ ＥＣＵ４３０まで送信される制御負荷を介して実行することができる。

上記解析は、反射光の配向を利用する光検出と、色強度差、画像分割、周縁検出、または当業者にとって既知な任意の技術などのツールを用いるデジタル画像処理とを通じて実行することができる。

投射領域１０８は、車両３００が位置する地面に配置され、正方形、視覚通信装置１００の下方に頂点を有する三角形、または視覚通信装置１００の下方に中心を有する円盤の一片などの様々な形状をとることができる。また、投射領域１０８は、キーレス検出領域２０８内に含めることができる。

プロジェクタ１０２は、ユーザ２００が車両３００の周囲の光度に関係なく容易に見たり読んだりするのに十分なレベルの解像度とコントラストで、ユーザが裸眼で見られるシンボルおよびテキストメッセージを投射可能な任意の種類の発光装置とすることができる。

センサ１０４は、投射領域１０８およびユーザ２００で反射される光を、回路１０１ａが解析するのに十分な精度と速度で検出し、ユーザ２００に関する主情報を提供することができる任意の種類の光捕捉装置とすることができる。

例示的１実施形態では、プロジェクタ１０２は、裸眼で見えるシンボルとテキストを投射する第１のレーザダイオード１２０を含むことができ、複数の不可視光線１２２ａを投射領域１０８に投射する第２のレーザダイオード１２２をさらに含むことができる。投射領域１０８のユーザ２００は、不可視光線１２２ａの一部を中断し、反射赤外線の形状で光線をセンサ１０４に反射させる。センサ１０４は反射赤外線の画像を検出し捕捉する。次に、反射赤外線の捕捉画像はソフトウェア命令を介して解析されて、投射領域１０８内のユーザ２００の存在、ユーザ２００の位置Ｘ、ユーザ２００の法線方向Ｎ、ユーザ２００のジェスチャなどのユーザ２００に関する主情報を取得する。

別の例示的実施形態では、プロジェクタ１０２は、発光ダイオード（ＬＥＤ）技術、デジタル光処理（ＤＬＰ：Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）技術、液晶ディスプレイ（ＬＣＤ）技術、ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）、または当業者が既知なその他の任意の技術を利用することができる。

センサ１０４に加えて、投射モジュール１０１は、画像および映像の少なくとも一方の形式で、投射領域１０８内のユーザ２００のジェスチャを検出するアナログまたはデジタルカメラ１０４ｂを含むことができる。カメラ１０４ｂは、電子画像ピックアップ装置（たとえば、光電素子）と、可変絞りおよびシャッター付きの光学レンズを有し、画像ピックアップ装置に入る光量を制御する光システムとを含むことができる。

ユーザ２００のジェスチャは、カメラ１０４ａによって捕捉されるユーザ２００の画像および映像の少なくとも一方を解析することによって取得される。この解析は、色強度差、画像分割、周縁検出などの画像処理ツールを介して、回路１０１ａによって実行することができる。

カメラ１０４ａは、投射モジュール１０１に直接組み込むことができる（図３Ａを参照）、あるいは、投射モジュール１０１から分離させて、車両３００のナビゲーションＥＣＵ４２０を介して主回路４００に連結させることができる（図３Ｂを参照）。

カメラ１０４ａが投射モジュール１０１から分離されると、カメラ１０４ａによって捕捉される画像および映像の少なくとも一方は、低電圧差分システム（ＬＶＤＳ：Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｙｓｔｅｍ）プロトコルおよび／またはＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｅｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）プロトコルなどの標準映像プロトコルを介して回路１０１ａに送信することができる。

図４は、本開示の特定の態様による、ユーザ２００に対して能動視覚表示１０６ａを投射する視覚通信装置１００の上面図である。
視覚表示１０６は、ユーザ２００からの入力を必要とする能動視覚表示１０６ａを含むことができる。能動視覚表示１０６ａは、図４に示すように、ユーザ２００の前方または側方など、位置Ｘからの所定距離Ｄおよびユーザ２００の法線方向Ｎからの所定方向Ｕに配置されるシンボル（たとえば、Ｖ字状線、矩形、正方形、円、矢印）またはテキストとすることができる。ユーザ２００からの入力は、能動視覚表示１０６ａ上のユーザ２００のジェスチャによって与えられる。ユーザ２００のジェスチャ（たとえば、歩み出す、踏み鳴らす、かかとを上げる、または静止する）が能動視覚表示１０６ａ上で実行されて、特定コマンド（たとえば、車両３００のライトの点灯／消灯、図４に示すような車両３００のドアの開放／閉鎖）を実行するように車両３００に要求する。

また、能動視覚表示１０６ａは、ジェスチャが認識されたことと、コマンドが車両３００によって実行中であることをユーザ２００に知らせるように変更することができる（たとえば、能動視覚表示１０６ａの色、形状、またはテキストの変更）。

図５は、本開示の特定の態様による、ユーザ２００とその他の人々に対して受動視覚表示１０６ｂを投射する視覚通信装置１００の上面図である。
視覚表示１０６は、ユーザ２００からの入力を必要としない受動視覚表示１０６ｂも含むことができる。受動視覚表示１０６ｂは、車両３００に関する情報（たとえば、矢印の方向に移動する車両、低燃料、低バッテリ、低オイル圧、または低タイヤ圧）をユーザ２００や他の人に提供するシンボル（たとえば、矢印、ゲージ表示、警告信号）またはテキストとすることができる。受動視覚表示１０６ｂは、図４に示すようにユーザ２００が投射領域１０８内に存在するとき、位置Ｘからの所定距離Ｄおよび法線方向Ｎからの所定方向Ｕに配置することができる、あるいは、図５に示すようにユーザ２００が投射領域１０８内に存在しないとき、投射領域１０８内の第２の所定位置Ｙを中心にして配置することができる。

別の例示的実施形態では、車両３００が動き出す準備ができるとすぐに（たとえば、ユーザ２００がバックギアを入れる、あるいはパーキングブレーキを解除する）、受動視覚表示１０６ｂを使用して、車両３００の運動に関して伝えることができる。車両３００に関する運動を示す受動視覚表示１０６ｂは、車両３００の運動方向を指し示す少なくとも１つの矢印とすることができる。車両３００の運動方向はハンドル角度センサ３１０によって検出し、それを利用して図５に示すように投射領域１０８に投射される少なくとも１つの矢印を方向付けることができる。

図６は、本開示の特定の態様による、視覚通信装置１００を通じて車両３００と通信する方法のフローチャートである。
ステップＳ４００では、スマートキーシステム（登録商標）３０６を通じてキーフォブ２０２がキーレス検出領域２０８内に存在するか否かが判定される。たとえば、アンテナ３０８は第１群の電波を送信することができ、第１群の電波がＬＦ受信機２１０ａによって受信された後、ＲＦ受信機３０８ｂはＲＦ送信機２１０ｂから戻ってくる第２群の電波を検出することができる。キーフォブ２０２がキーレス検出領域２０８内に存在すると判定された場合、プロセスはステップＳ４０２に進む。存在しないと判定された場合、プロセスが終了する。

ステップＳ４０２では、プロジェクタ１０２を通じてユーザ２００が投射領域１０８内に存在するか否かが判定される。投射領域１０８内のユーザ２００の存在は、センサ１０４を用いてユーザ２００に対する赤外線の反射を検出することによって検出することができ、赤外線は最初に第２のレーザダイオード１２２によって生成される。また、投射領域１０８内のユーザ２００の存在は、カメラ１０４ａによって捕捉される投射領域１０８のデジタル画像を解析することによって検出することができる。投射領域１０８のデジタル画像は、色強度差、画像分割、周縁検出、または当業者が既知なその他の画像処理ツールなどの画像処理ツールを介して解析することができる。ユーザ２００が投射領域１０８内に存在すると判定された場合、プロセスはステップＳ４０４に進む。存在しないと判定された場合、プロセスが終了する。

ステップＳ４０４では、投射領域１０８内のユーザ２００の位置Ｘと法線方向Ｎ（図２に示す）が算出される。位置Ｘの計算は、投射領域１０８とユーザ２００によって反射され、回路１０１ａが実行するソフトウェア命令を介してセンサ１０４によって捕捉される光を解析することによって実行することができる。

ステップＳ４０６では、視覚表示１０６（すなわち、能動視覚表示１０６ａおよび受動視覚表示１０６ｂの少なくとも一方）は、位置Ｘからの所定距離およびユーザ２００の法線方向Ｎからの所定方向Ｕ（たとえば、前方または側方）でプロジェクタ１０２によって投射される。

受動視覚表示１０６ｂは、車両３００に関する情報（たとえば、「矢印の方向に移動する車両」、「低燃料」、「低バッテリ」、「低オイル圧」、または「低タイヤ圧」）をユーザ２００や他の人々に提供し、ユーザ２００からの始動を不要とするシンボル（たとえば、矢印、ゲージ表示、警告信号）またはテキストとすることができる。

能動視覚表示１０６ａは、ユーザ２００に特定コマンド（たとえば、車両３００のライトの点灯／消灯、車両３００のドアの開放／閉鎖）を実行させる作動を必要とするシンボル（たとえば、Ｖ字状線、矩形、正方形、円形、矢印）またはテキストとすることができ、受動視覚表示１０６ｂは、ユーザ２００からの始動を必要とせずに車両３００に関する情報（たとえば、「矢印方向に移動する車両」、「低燃料」、「低バッテリ」、「低オイル圧」、または「低タイヤ圧」）を提供するシンボルまたはテキストとすることができる。

ステップＳ４０８では、能動視覚表示１０６ａでユーザ２００が実行するジェスチャ（たとえば、歩み出す、足を踏み鳴らす、かかとを上げる、あるいは静止する）が、回路１０１ａの実行するソフトウェア命令を介してセンサ１０４によって検出および特定される。

ステップＳ４１０では、いったん能動視覚表示１０６ａ上のユーザ２００のジェスチャが検出および特定されると、回路１０１ａが主回路４００に信号を送信して、車両３００の構成要素（たとえば、ライトの切替またはドアロック）に、能動視覚表示１０６ａによって表される特定コマンド（たとえば、車両３００の点灯／消灯、車両３００のドアの開放／閉鎖）を実行させる。たとえば、回路１０１は、車両３００のバックドアおよびスライドドアの少なくとも一方を操作するために、主回路４００のＰＢＤ／ＰＳＤ ＥＣＵ４３０に信号を送信してＰＢＤ／ＰＳＤアクチュエータ３２０を駆動することができる。

ステップＳ４１２では、能動表示１０６ａは、ジェスチャが認識されたことと、コマンドが車両３００によって実行中であることをユーザ２００に知らせるように変更することができる。能動表示１０６ａの色、形状、またはテキストは、コマンドが実行中であることをユーザ２００に知らせるように変更することができる。たとえば、プロジェクタ１０２に異なる色の閃光灯を投射させ、テキスト（たとえば、注意：ドア開放）を追加することによって、ユーザ２００は、車両３００がコマンドを実行中であると気づくことができる。

上述の説明は、本開示の目的の単に例示的な実施形態を開示し記載している。当業者によって理解されるように、本開示の目的は、本開示の精神や必須の特徴から逸脱せずに，その多の具体的な形式で具現化することができる。したがって、本開示は、例示的であることを目的とし、本開示の目的および請求項の範囲を限定するものではない。

上記教示に鑑み、本開示の様々な変更および変形が可能である。したがって、添付の請求項の範囲内で、本発明は本明細書に明示される以外の形で実行することができると理解すべきである。

Claims (7)

1. キーレス検出領域内のキーフォブを検出するスマートキーシステム（登録商標）と、
   地面の投射領域に視覚表示を投射するプロジェクタと、
   ジェスチャを光学的に捕捉するセンサと、
   前記ジェスチャに応答して車両のキー要素を駆動する制御ユニットと、
   を備える、車両の視覚通信装置。
2. 前記車両が変位する方向を推定すべく操舵角を測定する操舵角センサをさらに備える、請求項１に記載の視覚通信装置。
3. 前記ジェスチャがユーザの足の運動を含む、請求項１に記載の視覚通信装置。
4. 前記キー要素が前記車両のドアを開閉するシステムを含む、請求項１に記載の視覚通信装置。
5. 前記視覚表示が、前記車両の状態に関する情報を含む、請求項１に記載の視覚通信装置。
6. 前記視覚表示が前記キー要素を駆動すべきか否かに関する問い合わせを含む、請求項１に記載の視覚通信装置。
7. 地面に視覚表示を投射するプロジェクタと、ユーザのジェスチャを光学的に捕捉するセンサとを有する視覚通信装置を通じて車両と通信する方法であって、
   スマートキーシステム（登録商標）を通じてキーレス検出領域内の前記ユーザのキーフォブの存在を検出することと、
   投射領域内の前記ユーザの存在を検出することと、
   前記投射領域内の前記ユーザの位置及び法線方向を算出することと、
   前記ユーザの前記位置からの所定距離において、前記ユーザの法線方向からの所定方向で視覚表示を投射することと、
   前記視覚表示に応答して、前記ユーザのジェスチャを検出することと、
   前記ジェスチャに応答して、電子制御ユニットを通じて前記車両のキー要素を駆動することと、
   前記キー要素が実行されていることを前記ユーザに知らせることと、を備える方法。