JP2021015065A - 車両制御装置 - Google Patents

Abstract

【課題】乗員の挙動の検出を低コストで実現し、車載機器の制御を可能とする車両制御装置を提供する。【解決手段】実施形態の一例としての車両制御装置は、例えば、所定の送信波を送信する送信部と、送信波が車両の車室内の物体で反射して戻ってきたときに得られる受信波を受信する受信部と、送信波と受信波との間におけるドップラシフトによる周波数遷移を検出する測定処理部と、周波数遷移に基づき、車室内に動体が存在するか否かを推定する動体推定部と、動体が存在すると推定された場合に、周波数遷移に対応する相対速度に基づき、動体の挙動内容を推定する挙動推定部と、挙動内容に基づき、車両を制御するための操作信号を出力する操作信号出力部と、を備える。【選択図】図４

Description

本開示は、車両制御装置に関する。

従来、車両の車室内に設置された撮像部（カメラ）によって、乗員の挙動を検出し、検出した挙動に対応する操作を実行するジェスチャ操作装置が提案されている。

特開２０１４−１９７２５２号公報

上記のような従来の技術においては、撮像部（カメラ）が必要になるため、装置コストが高くなるという問題があるとともに、挙動検出のための複雑な画像処理が必要になり、高性能の演算処理部等が必要になり、この点においてもコストが増加してしまうという問題があった。

そこで、本開示の課題の一つは、乗員の挙動の検出を低コストで実現し、車載機器の制御を可能とする車両制御装置を提供することである。

本開示の一例としての車両制御装置は、例えば、所定の送信波を送信する送信部と、上記送信波が車両の車室内の物体で反射して戻ってきたときに得られる受信波を受信する受信部と、上記送信波と上記受信波との間におけるドップラシフトによる周波数遷移を検出する測定処理部と、上記周波数遷移に基づき、上記車室内に動体が存在するか否かを推定する動体推定部と、上記動体が存在すると推定された場合に、上記周波数遷移に対応する相対速度に基づき、上記動体の挙動内容を推定する挙動推定部と、上記挙動内容に基づき、上記車両を制御するための操作信号を出力する操作信号出力部と、を備える。この構成によれば、例えば、波（音波や電磁波など）を用いた送信部が送信する送信波と受信部が受信する受信波とに基づくドップラシフトによる周波数遷移が認められる場合、車室内に動体、例えば乗員が存在すると推定することができる。また、周波数遷移が生じている場合、その周波数遷移に対応する相対速度は、動体の挙動内容に応じて異なるため、相対速度に基づいて挙動内容の推定が可能になる。その結果、挙動内容に対応する操作信号の出力による車両の制御が可能となる。したがって、カメラ等の撮像部に比べて安価な送信部および受信部を用いて得られる情報を用いたコスト軽減が容易な車両制御装置が実現できる。

また、上述した車両制御装置において、上記測定処理部は、上記車両の天井面に配置された上記送信部から送信された上記送信波の反射波を、上記天井面に配置された上記受信部で受信波として受信することにより取得された情報に基づき、上記周波数遷移を検出するようにしてもよい。この構成によれば、例えば、車室内に存在する物体、例えば座席に存在する物体に対する送信波の送信や受信波の受信を車内構造物の干渉を受け難い状態で実行しやすい。その結果、周波数遷移に基づく動体の挙動内容の推定精度を向上することができる。

また、上述した車両制御装置は、例えば、上記送信波が送信されてから上記受信波が受信されるまでの時間を示す時間情報に基づき、上記車室内における車両構成物以外の後乗せ物体の有無を認識する物体認識部を、さらに備え、上記動体推定部は、上記周波数遷移に基づき上記後乗せ物体が上記動体であるか否かを推定するようにしてもよい。この構成によれば、例えば、後乗せ物体を検出した後、その後乗せ物体を優先的に動体であるか否かを推定することができるので、動体の推定精度を容易に向上することができる。

また、上述した車両制御装置において、例えば、上記時間情報に基づき、上記車室内の座席の座面上に存在する上記後乗せ物体の上端位置を推定する上端位置推定部を、さらに備え、上記挙動推定部は、上記上端位置より上の領域における上記挙動内容を推定するようにしてもよい。この構成によれば、例えば、後乗せ物体の挙動内容の推定を上端位置より上の領域に限定して実行することが可能となり、挙動内容の推定処理の負荷軽減が可能になるとともに、後乗せ物体の挙動の検出精度が向上し易く、その内容の推定がより容易になる。

また、上述した車両制御装置において、上記送信波は、例えば音波であってもよい。この構成によれば、例えば、安価に送信部および受信部を構成することが可能であり、車両制御装置のコストの低減に寄与できる。

また、上述した車両制御装置において、上記操作信号は、例えば、サンルーフを制御するための信号を含んでもよい。この構成によれば、例えば、サンルーフの開閉操作を行い易くなる。

図１は、実施形態にかかる車両制御装置で利用可能なセンサの位置の一例を示すために、車両を上方から見た場合の外観を示した例示的かつ模式的な図である。 図２は、実施形態にかかる車両制御装置を含むシステムの一例として、センサと、センサＥＣＵと、アクチュエータＥＣＵと、機器アクチュエータの概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。 図３は、実施形態にかかる車両制御装置に利用可能なセンサの位置と、座席に着座した乗員との関係を示す、例示的かつ模式的な車内側面図である。 図４は、実施形態にかかる車両制御装置の詳細な構成を示した例示的かつ模式的なブロック図である。 図５は、実施形態にかかる車両制御装置において、ドップラシフトを検出しやすい状態に周波数変調を行った送信波形とその受信波形の一例を示す例示的かつ模式的な図である。 図６は、車両制御装置において、物体までの距離を検出するために利用する技術の概要を説明するための例示的かつ模式的な図である。 図７は、実施形態にかかる車両制御装置において、車室内に車両構成物以外の物体（後乗せの物体）が存在しない場合と存在する場合の送受信波に基づく包絡線の一例を示した例示的かつ模式的な図である。 図８は、図７の例において、物体を検出する場合の閾値の一例を示す例示的かつ模式的な図である。 図９は、実施形態にかかる車両制御装置において、座席に着座した乗員の挙動を推定する例と、座高を推定する例を示す例示的かつ模式的な図である。 図１０は、実施形態にかかる車両制御装置において、スライド式のサンルーフを開動作させる場合の乗員の挙動内容を示す相対速度の変化の一例を示す例示的かつ模式的な図である。 図１１は、実施形態にかかる車両制御装置において、スライド式のサンルーフを閉動作させる場合の乗員の挙動内容を示す相対速度の変化の一例を示す例示的かつ模式的な図である。 図１２は、実施形態にかかる車両制御装置が挙動内容の推定を行い、車載機器を制御するために実行する一連の処理を示した例示的なフローチャートである。

以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

図１は、実施形態にかかる車両制御装置で利用可能なセンサの位置の一例を示すために、車両を上方から見た場合の外観を示した例示的かつ模式的な図である。以下に説明するように、実施形態にかかる車両制御装置は、車室内で測定波（音波や電磁波等）の送受信を行い、当該送受信の時間差やドップラシフトによる周波数遷移などを取得することで、車室内に存在する物体（乗員や荷物等を含む）に関する情報を取得する。そして、物体が検出され、それが動体（例えば、乗員）であると認められた場合には、その挙動内容（ジェスチャ）を推定し、車載機器のアクチュエータの制御を実行するシステムである。

図１に示されるように、本実施形態の車両制御装置を運用するため、車両１０の車室１０ａの例えば、天井面１０ｂには、複数のセンサ１２が配置されている。図１の例の場合、車両１０は５人乗りの車両であり、センサ１２は、運転席用のセンサ１２ａ、助手席用のセンサ１２ｂ、後部座席右側用のセンサ１２ｃ、後部座席中央用のセンサ１２ｄ、後部座席左側用のセンサ１２ｅが設置されている。各センサ１２は、乗員や荷物等の物体が車室１０ａ内に設置された座席に存在する場合、略直上の位置から送信波の送信および反射波の受信ができるように配置されている。なお、センサ１２の数や位置は、一例であり、図１に示される例に制限されるものではない。

図２は、実施形態にかかる車両制御装置１００を含むシステムの一例として、センサ１２と、センサＥＣＵ１４と、アクチュエータＥＣＵ１６と、機器アクチュエータ１８の概略的なハードウェア構成を示した例示的かつ模式的なブロック図である。

センサ１２は、例えば、超音波を利用するソナーであり、圧電素子などの振動子を有しており、当該振動子により、超音波の送受信を実現する。より具体的に、センサ１２は、振動子の振動に応じて発生する超音波を送信波として送信し、当該送信波として送信された超音波が車室１０ａ内に存在する物体で反射されて戻ってくることでもたらされる振動子の振動を受信波として受信する。本実施形態の場合、車室１０ａ内に物体（乗員や荷物等）が存在しない場合、座席やステアリングホイール等で反射した反射波が受信波として受信される。また、車室１０ａ内に物体が存在する場合、物体で反射した反射波が受信波として受信される。したがって、事前に基準情報として、車室１０ａ内に車両構成物以外の後乗せの物体（乗員や荷物等）が存在しない状態で、超音波の送受信を行い、座席やステアリングホイール等、元々存在する既物体の反射波に関する情報を取得しておく。そして、車両制御装置１００の運用時に、実際に取得した現在の受信波に基づく情報と、基準情報との差分を算出することにより、（後乗せ）物体の有無や、その物体までの距離（本実施形態では、距離に対応する時間情報をＴＯＦ（Time Of Flight）という場合もある）を取得することができる。また、センサ１２は天井面１０ｂに固定されているので、（後乗せ）物体が動体（例えば乗員）で、動く場合、受信波と送信波との間におけるドップラシフトによる周波数遷移が測定される場合がある。本実施形態では、この周波数遷移が測定された場合、この周波数遷移（または周波数遷移に基づく相対速度）を、動体（乗員）の挙動（挙動内容）の推定に利用する。挙動内容の推定については、後述する。

なお、図２に示される例では、送信波の送信と受信波の受信との両方が単一の振動子を有した単一の送受信部（センサ１２）により実現される構成が例示されている。しかしながら、実施形態の技術は、例えば、送信波の送信用の第１の振動子（送信部）と受信波の受信用の第２の振動子（受信部）とが別々に設けられた構成のような、送信側の構成と受信側の構成とが分離された構成でも本実施形態の車両制御装置に適用可能である。

センサＥＣＵ１４は、センサ１２における超音波の送信制御、受信制御、および送受信波に基づく種々の処理を実行する。図３は、運転席用のセンサ１２ａ（センサ１２）と乗員２０（運転者）との位置関係を示す例示的かつ模式的な図であり、乗員２０の基本姿勢の一例として、座席２２に着座し、ステアリングホイール２４を把持した状態が示されている。図３に示すようにセンサ１２ａは、乗員２０が座席２２に着座した場合に、乗員２０の頭部２０ａの概ね直上の位置に配置される。乗員２０の姿勢は、座席２２によって概ね規制されるため、頭部２０ａの位置は、座高の違いによって上下するものの、車両１０の前後方向および車幅方向においては概ね定まる。したがって、センサ１２ａ（センサ１２）を天井面１０ｂにおいて座席２２（乗員２０）の略直上の位置することにより、座席２２に乗員２０が存在する場合、その乗員２０に対する送信波の送信や送信波としての受信波の受信を車内構造物の干渉を受けに難い状態で実行することができる。また、送信波と受信波との間でドップラシフトによる周波数遷移が生じた場合、その周波数遷移が測定し易く、車室１０ａ内で動く乗員２０の挙動内容の推定精度を向上することができる。他の座席２２（助手席や後部座席）におけるセンサ１２ｂ〜１２ｅ（センサ１２）は、乗員２０が着座する位置の略直上の位置に設けられ、同様な送受信を実行する。

なお、センサＥＣＵ１４の構成の詳細は後述するが、センサＥＣＵ１４が例えば、プロセッサやメモリなどといった通常のコンピュータと同様のハードウェアを有した処理装置として構成されている場合、プロセッサがメモリに記憶されたプログラムを読み出して実行した結果として機能的に（つまりハードウェアとソフトウェアとの協働により）実現される。なお、実施形態では、センサＥＣＵ１４を構成する各部が専用のアナログ回路などによってハードウェア的に実現されてもよい。

図２において、センサ１２ａ〜１２ｅは実質的に同じ構成であり、特に区別する必要がない場合は、単に「センサ１２」と称する。同様に、センサＥＣＵ１４ａ〜１４ｅは実質的に同じ構成であり、特に区別する必要がない場合、単に「センサＥＣＵ１４」と称する。また、図２に示す例の場合、センサ１２ごと（センサ１２ａ〜１２ｅ）にセンサＥＣＵ１４（センサＥＣＵ１４ａ〜１４ｅ）が設けられる例を示しているが、１つのセンサＥＣＵ１４で複数のセンサ１２（例えば、全てのセンサ１２）を制御するようにしてもよい。また、図２の場合、センサ１２とセンサＥＣＵ１４とが別体で示されているが、センサＥＣＵ１４がセンサ１２と一体化されていてもよい。

アクチュエータＥＣＵ１６は、センサＥＣＵ１４の処理結果、具体的には、車室１０ａ内に存在する動体（具体的には乗員）の挙動（腕や手の動き等）の内容（挙動内容）に基づき、その挙動に対応する機器アクチュエータ１８（１８ａ〜１８ｄ等）の制御を実行する制御信号（操作信号）等の生成を行う。例えば、センサＥＣＵ１４により推定された挙動内容が、サンルーフの開動作に対応する場合、アクチュエータＥＣＵ１６は、サンルーフを開閉動作させる機器アクチュエータ１８ａを開動作させる制御信号を生成する。なお、乗員が行う挙動内容と機器アクチュエータ１８の動作との対応関係が付けられていればよく、機器アクチュエータ１８としては、サンルーフの開閉モータの他、例えば、パワーウインドウの開閉モータや、ドアミラーの開閉モータ等を操作するアクチュエータでもよい。また、空気調和装置の動作切替スイッチ、オーディオ装置の動作切替スイッチ等を操作するアクチュエータでもよい。したがって、車両制御装置１００によれば、車室１０ａに設置されている種々の機器の操作を、その機器の物理スイッチからの距離に拘わらす、センサＥＣＵ１４が推定する挙動内容にしたがって容易に操作することが可能になる。

図４は、車両制御装置１００（センサＥＣＵ１４）の詳細な構成を示した例示的かつ模式的なブロック図である。

センサＥＣＵ１４は、ＣＰＵ（Central Processing Unit）１４Ｍの他、図示を省略したＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive、フラッシュメモリ）等を有している。ＣＰＵ１４Ｍは、例えば、ＲＯＭ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することで、信号生成部３０、送信側の増幅回路３２、受信側の増幅回路３４、測定処理部３６、物体検出部３８、ジェスチャ判定部４０、操作信号出力部４２等の機能モジュールを実現する。

信号生成部３０は、連続波形を有する電気信号を送信信号として生成する。上述したように、本実施形態の車両制御装置１００は、送信波と受信波との間でドップラシフトにより周波数遷移が生じているか否かを検出する。したがって、送信信号は、ドップラシフトを検出し易い、つまり、周波数を捕らえやすい形に変調されることが望ましい。図５は、周波数変調した波形の周波数特性を示した例示的かつ模式的な図である。図５において、横軸は時間（経過時間）を示し、縦軸は周波数を示している。波形Ｗ１は、送信信号の時間−周波数特性を示している。波形Ｗ１で示される送信信号は、瞬間周波数がｆｃ−Δｆからｆｃ＋Δｆまでの範囲で変化するチャープ信号である例である。

ところで、センサ１２から送信される送信信号（送信波）が物体で反射する場合に、その物体がセンサ１２に対して移動している場合、反射波である受信信号（受信波）はドップラ効果により周波数がシフトし、図５に示される波形Ｗ２のようになる。この場合、受信信号である波形Ｗ２の時間−周波数特性は、送信信号を基準として周波数および時間がシフトしているものの、送信信号と同じ鋸歯状の形状を有している。したがって、車両制御装置１００は、波形Ｗ１の送信信号（送信波）を送信し、その後、取得される出力信号の時間−周波数特性から、波形Ｗ１と同様の鋸歯状の波形を探索することで、当該出力信号の時間−周波数特性に含まれる受信信号（受信信号の時間−周波数特性）を特定することができる。

車両制御装置１００は、特定した受信信号の時間−周波数特性に基づき、送信信号（送信波）と受信信号（受信波）との周波数遷移（周波数差）ｆｄを取得（算出）することができる。この場合、センサ１２は天井面１０ｂに固定されているので、周波数遷移は、物体の動き（挙動）に応じて変化することになる。また、車両制御装置１００は、周波数遷移ｆｄ用いて、センサ１２に対する物体の相対速度を算出することができる。このときの相対速度は、後述する物体（乗員２０）の挙動内容を推定する際に利用する。なお、センサ１２と物体との距離は、例えば、ＴＯＦ法により算出することができる。ＴＯＦ法の詳細は後述する。なお、図５では、送信信号として、周波数を変調する例を示したが、例えば位相を変調してもよいし、周波数変調と位相変調を組み合わせて送信信号を生成してもよい。

増幅回路３２は信号生成部３０で生成された送信信号を増幅して、送信機として機能するセンサ１２（センサ１２out）に供給し、センサ１２が超音波を送信し、車室１０ａ内で反射して戻ってきた反射信号（反射波）を受信信号（受信波）としてセンサ１２（センサ１２in）が受信する。なお、図４では、説明上、送信側のセンサ１２outと受信側のセンサ１２inを分けて表しているが、送信波の送信と受信波の受信との両方が単一の振動子を有した単一の送受信部（センサ１２）により実現することができる。

センサ１２inで受信された受信信号は、通常、減衰しているので増幅回路３４にて、受信信号の増幅を行う。

続いて、測定処理部３６は、送信信号と受信信号との比較結果に基づいて、ＴＯＦ法を用いた距離の算出、ドップラシフトシフトによる周波数遷移ｆｄの算出、周波数遷移ｆｄに基づく相対速度の算出等を行う。本実施形態にかかる測定処理部３６は、信号生成部３０から送信信号を送信する際の同期信号を取得し、送信信号とセンサ１２in（センサ１２）で受信した受信信号との同期を取る。

ここで、実施形態で利用するＴＯＦ法を用いた物体までの距離の検出の詳細を説明する。ＴＯＦ法とは、送信波が送信された（より具体的には送信され始めた）タイミングと、受信波が受信された（より具体的には受信され始めた）タイミングとの差を考慮して、物体までの距離を算出する技術である。

図６は、物体までの距離を検出するために利用するＴＯＦ法の概要を説明するための例示的かつ模式的な図である。より具体的に、図６は、センサ１２で送受信する超音波の信号レベル（例えば振幅）の時間変化をグラフ形式で例示的かつ模式的に示した図である。図６に示されるグラフにおいて、横軸は時間に対応し、縦軸はセンサ１２が送受信する信号の信号レベルに対応する。

図６に示されるグラフにおいて、実線Ｌ１１は、センサ１２が送受信する信号の信号レベル、つまり振動子の振動の度合の時間変化を表す包絡線の一例を表している。この実線Ｌ１１からは、振動子がタイミングｔ０から時間Ｔａだけ駆動されて振動することで、タイミングｔ１で送信波の送信が完了し、その後タイミングｔ２に至るまでの時間Ｔｂの間は、慣性による振動子の振動が減衰しながら継続する、ということが読み取れる。したがって、図６に示されるグラフにおいては、時間Ｔｂが、いわゆる残響時間に対応する。

実線Ｌ１１は、送信波の送信が開始したタイミングｔ０から時間Ｔｐだけ経過したタイミングｔ４で、振動子の振動の度合が、一点鎖線で表される所定の閾値Ｔｈ１を超える（または以上になる）ピークを迎える。この閾値Ｔｈ１は、振動子の振動が、車室１０ａ内に元々存在する物体（例えば、図３に示される座席２２）により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものか、または、後乗せの物体（例えば、図３に示される乗員２０）により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものか、を識別するために予め設定された値である。

なお、図６には、閾値Ｔｈ１が時間経過によらず変化しない一定値として設定された例が示されているが、実施形態において、閾値Ｔｈ１は、時間経過とともに変化する値として設定されてもよい。

ここで、閾値Ｔｈ１を超えた（または以上の）ピークを有する振動は、後乗せの物体により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものだと見なすことができる。一方、閾値Ｔｈ１以下の（または未満の）ピークを有する振動は、元々車室１０ａ内に既設の物体（例えば、座席２２やステアリングホイール２４等）の物体により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものだと見なすことができる。

したがって、実線Ｌ１１からは、タイミングｔ４における振動子の振動が、検知対象の物体（乗員２０等）により反射されて戻ってきた送信波としての受信波の受信によってもたらされたものである、ということが読み取れる。

なお、実線Ｌ１１においては、タイミングｔ４以降で、振動子の振動が減衰している。したがって、タイミングｔ４は、検知対象の物体により反射されて戻ってきた送信波としての受信波の受信が完了したタイミング、換言すればタイミングｔ１で最後に送信された送信波が受信波として戻ってくるタイミング、に対応する。

また、実線Ｌ１１においては、タイミングｔ４におけるピークの開始点としてのタイミングｔ３は、検知対象の物体により反射されて戻ってきた送信波としての受信波の受信が開始したタイミング、換言すればタイミングｔ０で最初に送信された送信波が受信波として戻ってくるタイミング、に対応する。したがって、実線Ｌ１１においては、タイミングｔ３とタイミングｔ４との間の時間ΔＴが、送信波の送信時間としての時間Ｔａと等しくなる。

上記を踏まえて、ＴＯＦ法により検知対象の物体までの距離を求めるためには、送信波が送信され始めたタイミングｔ０と、受信波が受信され始めたタイミングｔ３と、の間の時間Ｔｆを求めることが必要となる。この時間Ｔｆは、タイミングｔ０と、受信波の信号レベルが閾値Ｔｈ１を超えたピークを迎えるタイミングｔ４と、の差分としての時間Ｔｐから、送信波の送信時間としての時間Ｔａに等しい時間ΔＴを差し引くことで距離を示す情報としてのＴＯＦを求めることができる。

なお、送信波が送信され始めたタイミングｔ０は、センサ１２が動作を開始したタイミングとして容易に特定することができ、送信波の送信時間としての時間Ｔａは、設定などによって予め決められている。したがって、ＴＯＦ法により検知対象の物体までの距離を求めるためには、受信波の信号レベルが閾値Ｔｈ１を超えたピークを迎えるタイミングｔ４を特定すればよいことになる。

図４に戻り、物体検出部３８は、包絡線取得部４４、基準包絡線記憶部４６（記憶領域）、包絡線処理部４８、物体認識部５０等を含む。

包絡線取得部４４は、増幅回路３４から受信信号を取得し、センサ１２の振動の度合の時間変化を表す包絡線を取得する。包絡線取得部４４は、車両制御装置１００の運用中は常時（所定の取得タイミング）で受信信号に基づく包絡線を逐次取得する。また、包絡線取得部４４は、車両制御装置１００の運用前の事前処理として、車室１０ａ内に後乗せの物体（例えば、乗員２０や荷物等）が存在しない状態で、超音波の送受信を行い、車室１０ａ内における物体検出の比較基準となる基準包絡線を取得して、基準包絡線記憶部４６が、図示を省略している、例えばＲＡＭやＳＳＤ等に記憶しておく。なお、この基準包絡線は、座席２２の形状や座席２２周辺の固定物（静物）に変更が無ければ、車両制御装置１００の運用前に一度取得しておけばよい。

包絡線処理部４８は、車両制御装置１００の運用中に取得される現在状態における包絡線（現在包絡線）と、基準包絡線記憶部４６が事前に記憶させている基準包絡線との比較を実行する。図７は、基準包絡線Ｌ２０と現在包絡線Ｌ２１の一例を示す例示的かつ模式的な図である。図７において、横軸は時間に対応し、縦軸はセンサ１２が送受信する信号の信号レベルに対応する。基準包絡線Ｌ２０は、送信時の振動子の振動が減衰しながら継続している様子が示されている。なお、図７は、座席２２等で反射する反射波は、横軸（時間軸）の、より左側で表れているものとし、図示を省略している。

現在包絡線Ｌ２１は、送信時の振動子の振動が減衰しながら継続した後、領域Ａで示す部分で、受信波の顕著な変化が認められる。すなわち、車室１０ａ内で、後乗せの物体にて反射した送信波としての受信波が存在する可能性がある。物体認識部５０は、基準包絡線Ｌ２０と現在包絡線Ｌ２１との差分をとる。その結果を図８に示す。基準包絡線Ｌ２０と現在包絡線Ｌ２１との差分をとることにより、領域Ｂに示すように、波形の差異が明確になる。ただし、受信波には、種々の原因によるノイズが存在する可能性があるため、物体認識部５０は、予め設定した判定閾値Ｓ１を適用し、判定閾値Ｓ１を超える（または、それ以上）の差分部分Ｅが確認できた場合、その差分波形が示すものが、車室１０ａに後乗せで存在した物体（動体または荷物）であると認識する。物体認識部５０は、認識結果をジェスチャ判定部４０に提供する。

続いて、ジェスチャ判定部４０の詳細を説明する。ジェスチャ判定部４０は、動体推定部５２、測定値記憶部５４、上端位置推定部５６、距離・相対速度抽出部５８、挙動推定部６０、閾値記憶部６２等を含む。

動体推定部５２は、物体認識部５０の認識結果に基づき、車室１０ａ内に後乗せの物体が存在する場合に限り、物体が動体であるか否かの推定処理を実行する。すなわち、車室１０ａ内に乗員２０や荷物が存在しないと見なせる場合、動体推定処理を非実行として、不要な処理の実行を回避する。

車室１０ａに後乗せの物体が存在する場合、動体推定部５２は、測定処理部３６の測定結果である値、すなわち、物体認識部５０が物体を検出した場合に参照した、送受信波の周波数解析によって得られた相対速度（周波数遷移）の値、ＴＯＦ法を用いて得られた距離（距離に対応する情報）を取得する。なお、測定処理部３６は、測定によって得られた相対速度の値や距離に関する情報を測定結果が得られるごとに逐次測定値記憶部５４を介して、図示を省略したＲＡＭやＳＳＤに記憶する。測定値記憶部５４は、動体推定部５２が測定処理部３６の測定結果に対して動体推定を実行する場合、測定処理部３６が少なくとも１回前に実行した処理結果をＲＡＭやＳＳＤから読み出す。動体推定部５２は、測定処理部３６が提供される現在の測定結果（相対速度や距離）と前回処理の結果として測定値記憶部５４を介して読み出した測定結果（相対速度や距離）との比較を行う。物体認識部５０が認識した物体が動体（乗員２０）である場合、姿勢の変更等を必ず伴う。したがって、姿勢変更等に基づく位置の変化（センサ１２からの距離の変化）や、その変化に伴う相対速度の変化が表れる。そこで、動体推定部５２は、現在の測定結果（相対速度や距離）と前回処理の測定結果（相対速度や距離）との比較を行うことで、物体認識部５０の認識した物体が動体（乗員２０等）であるか静物（荷物等）であるかの推定を実行する。

続いて、上端位置推定部５６は、現在の測定結果に含まれる距離情報に基づき、動体と推定した物体の上端位置を推定する。例えば、図９に示すように、車室１０ａ内の座席２２に乗員２０が着座していた場合、天井面１０ｂに固定されたセンサ１２が受信する受信波で検出される距離ｈは、乗員２０の頭部２０ａまでの距離（上端位置までの距離）と見なすことができる。この場合、座席２２の座面から天井面１０ｂまでの距離Ｈは、車両１０の仕様により既知である。したがって、上端位置推定部５６は、物体（乗員２０）の上端位置（頭部２０ａ上端）を推定できるとともに、動体の高さＺ（Ｚ＝Ｈ−ｈ）を推定することができる。この場合、上端位置推定部５６は、例えば、動体が所定の高さ以上の人間であるか、高さの低いペット等の動物であるか等の判定を行うことが可能となる。前述したように、本実施形態の車両制御装置１００は、乗員２０の挙動（ジェスチャ）に基づいて、機器アクチュエータ１８の制御を実行する。そのため、動体が人間以外の場合、挙動判定から除外し、以降の挙動に基づく機器アクチュエータ１８の制御の実行を省略（回避）することができる。また、座高の推定により、動体が乗員２０である場合でも、大人であるか子供であるかの判別が可能となる。この場合、挙動に基づく機器アクチュエータ１８の制御が、子供のいたずら等で実行されることを防止し易くなる。また、座高の推定により、機器アクチュエータ１８の操作を意図しない挙動、例えば、膝上や胸前等での腕２０ｂの挙動と、頭部２０ａより高い位置で操作を意図した腕２０ｂの挙動との識別も実行しやすくなる。つまり、上端位置推定部５６が物体の上端位置を推定することにより、以降の挙動推定を行う場合の推定範囲を乗員２０の頭部２０ａ（座高）より高く、天井面１０ｂまでの限定領域（狭い領域）で実行することが可能になり、推定領域の適切な設定が可能になり効率的に挙動内容の推定が実行できる。また、推定処理の負荷軽減にも寄与できる。

距離・相対速度抽出部５８は、上端位置推定部５６で推定された座高より高い限定領域における距離や相対速度の抽出を行う。例えば、図９に示すように、乗員２０が頭部２０ａより高い位置で腕２０ｂを所定のパターンにしたがって動かしている否かを判定するための情報を抽出する。図９の場合、乗員２０は、頭部２０ａより高い位置に腕２０ｂを振り上げ、その姿勢で腕２０ｂを車両前後方向に振るジェスチャ（挙動）を行っている例が示されている。

挙動推定部６０は、距離・相対速度抽出部５８で抽出された頭上の限定領域における距離や相対速度に基づき、乗員２０が行う挙動の内容（挙動内容）の推定を行う。挙動推定部６０は、現在、車室１０ａ内の動体（乗員２０）が行っている挙動に基づく情報と、例えば、閾値記憶部６２がＲＡＭやＳＳＤ等に予め記憶させていた相対速度の変化パターンや閾値等で規定される情報とが所定の相関関係を満たす場合、機器アクチュエータ１８を動作させる挙動内容が乗員２０によって実行されたと推定する。

図１０は、挙動内容の一例として、車両１０のサンルーフを開動作させる場合の乗員２０のジェスチャ（挙動内容）に対応する相対速度の変化を示すラインＬ３０を示す図である。なお、図１０において、縦軸がセンサ１２に対する相対速度で、横軸が時間である。

サンルーフを開けるジェスチャは、例えば、乗員２０は、まず腕２０ｂを勢いよく振り上げ、続いて、天井面１０ｂに沿って平行に前方に移動させ、その後、腕２０ｂを下ろす動作であるとする。図１０に示す相対速度の時間変化は、このジェスチャに対応している。すなわち、ラインＬ３０は、まず、腕２０ｂを勢いよく振り上げる動作に対応して相対速度がプラス側に変化し閾値記憶部６２を介して予め設定された閾値Ｓ２を勢いよく超える（点Ｐ１の通過）。この時点で、サンルーフを開けるジェスチャが開始されたと見なす。その後、ラインＬ３０は、相対速度がほぼ一定のままサンルーフを開けるようなスライド動作（例えば、車両後方へのスライド動作）を示し、その後、腕２０ｂを下ろすジェスチャに対応し、センサ１２に対する相対速度が減少し、さらにセンサ１２から遠ざかる側のマイナス側の勢いを増して変化する。つまり、挙動推定部６０は、距離・相対速度抽出部５８が、図１０に示すラインＬ３０で示すような相対速度の変化を抽出した場合、乗員２０は、頭上でサンルーフを開動作させるジェスチャを行っていると推定する。

なお、図１０において、破線ラインＬ３１は、サンルーフを半開きにするジェスチャに対応する例である。この場合、乗員２０は、サンルーフの開動作のジェスチャの途中で、サンルーフの開閉用の機器アクチュエータ１８を途中で一度止めるように、ジェスチャを一度停止する。この場合、相対速度が一旦「０」になり、その後、腕２０ｂを下ろすために、マイナス側の相対速度が勢いを増して変化する。つまり、挙動推定部６０は、距離・相対速度抽出部５８が、図１０に示す破線ラインＬ３１で示すような相対速度の変化を抽出した場合、乗員２０は、頭上でサンルーフを半開動作させるジェスチャを行っていると推定する。

図１１は、挙動内容の一例として、車両１０のサンルーフを閉動作させる場合のジェスチャ（挙動内容）に対応する相対速度の変化を示すラインＬ３２を示す図である。なお、図１１において、縦軸がセンサ１２に対する相対速度で、横軸が時間である。

サンルーフを閉めるジェスチャは、例えば、乗員２０は、まず腕２０ｂをゆっくりと頭上後方に移動し、一度腕２０ｂの動きを止める（領域Ｍ）。そして、腕２０ｂを前方に勢いよく投げ出し、その後、腕を引き戻す動作であるとする。図１１に示す、相対速度の時間変化は、このジェスチャに対応している。すなわち、ラインＬ３２は、まず、腕２０ｂをゆっくりと頭上に移動させる動作に対応して、相対速度がプラス側にゆっくり増加する。その後、一旦腕２０ｂを止め、勢いよく腕２０ｂを前方に投げ出す動作に対応して相対速度がマイナス側に変化し閾値記憶部６２を介して予め設定された閾値Ｓ３を勢いよく超える（点Ｐ２の通過）。この時点で、サンルーフを閉めるジェスチャが開始されたと見なす。その後、ラインＬ３２は、相対速度がほぼ一定のままサンルーフを閉めるようにスライド動作（例えば、車両前方へのスライド動作）を示し、その後、腕２０ｂを引き戻すジェスチャに対応し、相対速度が減少するように変化する。つまり、挙動推定部６０は、距離・相対速度抽出部５８が、図１１に示すラインＬ３２で示すような相対速度の変化を抽出した場合、乗員２０は、頭上でサンルーフを閉動作させるジェスチャを行っていると推定する。

操作信号出力部４２は、挙動推定部６０で推定された乗員２０の挙動内容にしたがい、機器アクチュエータ１８を動作させる操作信号の生成を行う。例えば、サンルーフを開動作させるような挙動内容が推定された場合、操作信号出力部４２は、サンルーフの開閉モータを開動作させるための操作信号を生成し、アクチュエータＥＣＵ１６に出力する。アクチュエータＥＣＵ１６は、取得した操作信号に基づき機器アクチュエータ１８の制御を実行する。

なお、図１０、図１１に示す例は一例であり、機器アクチュエータ１８が動作させる車載機器の操作に対応するような挙動を示す相対速度の変化パターンが利用可能であり、同様に機器アクチュエータ１８の操作を実行することができる。例えば、パワーウインドウの開閉を、同様に乗員２０の腕２０ｂの挙動によって実行することができる。

以上のように構成される車両制御装置１００が挙動内容の推定を行い、機器アクチュエータ１８を制御するために実行する一連の処理を図１２に示す例示的なフローチャートを用いて説明する。なお、図１２に示すフローチャートの処理は、所定の処理周期で繰り返し実行されるものとする。

まず、信号生成部３０は、所定のタイミングで、送信信号を生成し、センサ１２out（センサ１２）を介して送信波（例えば超音波）の送信を行い（Ｓ１００）、センサ１２in（センサ１２）は、受信波の受信を行う（Ｓ１０２）。続いて、測定処理部３６は、測定処理として、例えば周波数解析による周波数遷移ｆｄや相対速度の算出、ＴＯＦ法を用いた距離の算出を行う（Ｓ１０４）。

また、包絡線取得部４４は、増幅回路３４から受信信号を取得し、センサ１２の振動の度合の時間変化を表す包絡線を取得する（Ｓ１０６）。そして、包絡線処理部４８は、車両制御装置１００の運用中に取得される現在状態の包絡線（現在包絡線）と、基準包絡線記憶部４６が事前にＲＡＭやＳＳＤ等の記憶させていた基準包絡線との比較を実行する（Ｓ１０８）。物体認識部５０は、包絡線比較の結果、車室１０ａに後乗せの物体（動体または荷物）が存在するか否かの判定を行う（Ｓ１１０）。

そして、物体認識部５０において、後乗せの物体が車室１０ａ内に存在すると判定された場合（Ｓ１１０のＹｅｓ）、動体推定部５２は、物体に相対速度の変化が認められるか否か判定し（Ｓ１１２）、相対速度の変化が認められる場合（Ｓ１１２のＹｅｓ）、上端位置推定部５６は、その動体の上端位置を測定処理部３６が算出した距離データ（ＴＯＦ）に基づいて算出する（Ｓ１１４）。この場合、上端位置推定部５６は、算出した上端位置に基づき、物体（乗員２０）の座高を推定するとともに、座高より高い領域を動体の挙動内容の推定を実行するための限定領域として設定する（Ｓ１１６）。

限定領域が設定された場合、距離・相対速度抽出部５８は、測定処理部３６で取得した現在の動体の測定情報のうち限定領域に含まれる距離情報や相対速度情報を抽出し、挙動推定部６０が図１０、図１１で説明したように動体の挙動内容の推定を実行する（Ｓ１１８）。

動体の挙動内容の推定が完了した場合、操作信号出力部４２は、推定された挙動内容が、車載機器の操作に対応する挙動か判定し、車載機器の操作に対応した挙動の場合（Ｓ１２０のＹｅｓ）、機器アクチュエータ１８の制御を実行させる（Ｓ１２２）。つまり、操作信号出力部４２は、アクチュエータＥＣＵ１６に対して、対象となる車載機器の機器アクチュエータ１８を制御するための操作信号の生成を行い、アクチュエータＥＣＵ１６は、操作信号に対応する駆動信号、例えば、サンルーフの開動作を実行するような機器アクチュエータ１８の駆動信号の生成を行い、機器アクチュエータ１８の駆動を実行する。

なお、Ｓ１２０において、動体の挙動が車載機器の操作に対応する挙動ではない場合（Ｓ１２０Ｎｏ）、このフローを一旦終了し、次の制御周期でＳ１００からの処理を再度実行する。また、Ｓ１１２において、検出された後乗せの物体に相対速度の変化が認められない場合（Ｓ１１２のＮｏ）、動体推定部５２は、検出された物体は、静物、例えば荷物であると判定し（Ｓ１２４）、このフローを一旦終了し、次の制御周期でＳ１００からの処理を再度実行する。また、Ｓ１１０において、後乗せの物体が検出されなかった場合（Ｓ１１０のＮｏ）、同様に、このフローを一旦終了し、次の制御周期でＳ１００からの処理を再度実行する。

このように、本実施形態の車両制御装置１００によれば、比較的安価な超音波ソナー等のセンサ１２を用いて、車室１０ａ内に存在する動体の挙動内容（ジェスチャ）の推定が可能であり、その推定結果に基づき、車載機器（機器アクチュエータ１８）の制御を実行することができる。また、車両制御装置１００によれば、車室１０ａ内に後乗せで存在する物体の検出、およびその物体が動体であるか静物であるの判別、さらには、動体が乗員である場合、大人と子供の判別等も併せて容易に実行することができる。

上述した実施形態では、物体が動体（乗員２０）である場合、その上端位置までの高さを推定し、座高を推定し、頭部２０ａより上の限定領域において、挙動内容の推知を実行することで、推定処理の負荷軽減、推定の効率化等が可能な例を示した。別の実施形態では、上端部までの高さの推定や座高の推定処理を省略し、車室１０ａ内の全領域、例えば、天井面１０ｂから座席２２の座面までの領域について、挙動内容の推定を行ってもよい。

また、本実施形態では、センサ１２を天井面１０ｂに設け、座席２２に存在する物体のほぼ直上から送信波の送信を行い、その反射波の受信を行うことで、車両高さ方向で発生するドップラシフトを測定して、上下方向の動作を伴う挙動を検出した例を示した。別の実施形態では、センサ１２を座席２２に存在する物体の前方等、例えば、フロントガラスの内側面等に配置し、物体に対して前方斜め上方から送信波を送信するようにしてもよい。この場合、検出されるドップラシフトが弱くなる場合があるが、車両前後方向の挙動に対応するドップラシフトの測定が可能になり、挙動内容の推定パターン数を増やすことができる。

また、上述した実施形態では、乗員２０の挙動内容に応じて、車載機器、主にモータ等の動作切替制御を実行する例を示したが、例えば、自動走行システムを搭載する車両においては、乗員２０の挙動と走行制御とを関連付け、乗員２０の挙動内容に応じて車両の走行制御を実行するようにしてもよい。

なお、上述した実施形態では、超音波の送受信によって物体に関する情報を検知する構成に適用されているが、超音波以外の波動としての、音波やミリ波、電磁波などの送受信によって物体に関する情報を検知する構成にも適用することが可能である。

上述した実施形態では、運転席に存在する乗員２０の挙動内容の推定について、説明したが、助手席や後部座席等他の座席に存在する乗員２０についても同様な挙動内容の推定が可能であり，同様の効果を得ることができる。

本実施形態のＣＰＵ１４Ｍで実行される車両制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、車両制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される車両制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…車両、１０ａ…車室、１０ｂ…天井面、１２…センサ、１４…センサＥＣＵ、１４Ｍ…ＣＰＵ、１６…アクチュエータＥＣＵ、１８…機器アクチュエータ、２０…乗員、２０ａ…頭部、２０ｂ…腕、２２…座席、３０…信号生成部、３２…増幅回路、３４…増幅回路、３６…測定処理部、３８…物体検出部、４０…ジェスチャ判定部、４２…操作信号出力部、４４…包絡線取得部、４６…基準包絡線記憶部、４８…包絡線処理部、５０…物体認識部、５２…動体推定部、５４…測定値記憶部、５６…上端位置推定部、５８…距離・相対速度抽出部、６０…挙動推定部、６２…閾値記憶部、１００…車両制御装置

Claims (6)

1. 所定の送信波を送信する送信部と、
   前記送信波が車両の車室内の物体で反射して戻ってきたときに得られる受信波を受信する受信部と、
   前記送信波と前記受信波との間におけるドップラシフトによる周波数遷移を検出する測定処理部と、
   前記周波数遷移に基づき、前記車室内に動体が存在するか否かを推定する動体推定部と、
   前記動体が存在すると推定された場合に、前記周波数遷移に対応する相対速度に基づき、前記動体の挙動内容を推定する挙動推定部と、
   前記挙動内容に基づき、前記車両を制御するための操作信号を出力する操作信号出力部と、
   を備える、車両制御装置。
2. 前記測定処理部は、前記車両の天井面に配置された前記送信部から送信された前記送信波の反射波を、前記天井面に配置された前記受信部で受信波として受信することにより取得された情報に基づき、前記周波数遷移を検出する、請求項１に記載の車両制御装置。
3. 前記送信波が送信されてから前記受信波が受信されるまでの時間を示す時間情報に基づき、前記車室内における車両構成物以外の後乗せ物体の有無を認識する物体認識部を、さらに備え、
   前記動体推定部は、前記周波数遷移に基づき前記後乗せ物体が前記動体であるか否かを推定する、請求項１または請求項２に記載の車両制御装置。
4. 前記時間情報に基づき、前記車室内の座席の座面上に存在する前記後乗せ物体の上端位置を推定する上端位置推定部を、さらに備え、
   前記挙動推定部は、前記上端位置より上の領域における前記挙動内容を推定する、請求項３に記載の車両制御装置。
5. 前記送信波は、音波である、請求項１から請求項４のいずれか１項に記載の車両制御装置。
6. 前記操作信号は、サンルーフを制御するための信号を含む、請求項１から請求項５のいずれか１項に記載の車両制御装置。

Images