以下に説明する好ましい実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。なお、説明中、左右とは車両の運転者を基準として左右、前後とは車両の進行方向を基準として前後を指す。また、図中、Lは運転者から見て左、Rは運転者から見て右を示している。
1.第1実施形態
図1に示されるように、車両ドア制御装置10は、カメラ21と、推定部31と、制御部41とを備える。車両ドア制御装置10は、さらに、車載器51、携帯機61、ドアロック装置58及びドア開閉装置46等を備えることができる。車両ドア制御装置10のカメラ21、推定部31、制御部41、車載器51、ドアロック装置58及びドア開閉装置46は車両1に含まれる。
カメラ21は、車両1のドア近傍を含む車外を撮像する。カメラ21は、撮像して得た撮像画像を推定部31に出力する。カメラ21の取り付け位置の例については後述する。また、カメラ21の起動は、例えば制御部41によって制御される。カメラ21は、車両ドア制御装置10の専用のカメラであってもよく、例えば、いわゆるマルチビューシステム用のカメラ、サイドミラーの代わりに車両1の側方及び後方を視認するためのカメラ等の共用のカメラであってもよい。
推定部31は、例えば、処理部32、記憶部33及び入出力部34を有するマイクロコンピュータから構成されている。推定部31は、カメラ21から撮像画像を入力すると、撮像画像に含まれる人物の状態を推定(判断)する。推定部31が推定する撮像画像に含まれる人物の状態とは、例えば、荷物を持っているために両手が塞がっている状態等である。推定部31による撮像画像に含まれる人物の状態の推定方法については後述する。
図1に示される例において、推定部31は、例えば、CAN71(Control Area Network)である車載LAN71(Local Area Network)を介して制御部41と接続されている。CAN71は、例えば、後述する第1のユーザー認証が成立したときに起動する。しかし、推定部31は、制御部41と直接接続されていてもよい。推定部31は、撮像画像に含まれる人物の状態を推定すると、推定結果を制御部41に出力する。
ここで、図1に示される例において、推定部31は、カメラ21とは異なるハードウェアとして図示されているが、例えば、カメラ21が推定部31を有することによって、カメラ21と推定部31とが一体のハードウェアとして構成されていてもよい。この場合、例えば、図示されていないカメラ21の記憶部に記憶されているプログラムを図示されていないカメラ21の処理部が実行することによって、推定部31の機能が実現されてもよい。
制御部41は、例えば、処理部42、記憶部43及び入出力部44を有するマイクロコンピュータから構成されている。制御部41は、入力する推定部31による推定結果に基づいて、ドア開閉装置46を制御し、所定のドアの開動作又は閉動作を実行させる。また、制御部41は、例えば、後述する車載器51による携帯機61との所定の認証が成立したとき等に、カメラ21を起動させる。
ここで、図1に示される例において、制御部41は、推定部31とは異なるハードウェアとして図示されているが、例えば、制御部41が推定部31を有することによって、制御部41と推定部31とが一体のハードウェアとして構成されていてもよい。この場合、例えば、制御部41の記憶部43に記憶されているプログラムを制御部41の処理部42が実行することによって、推定部31の機能が実現されてもよい。
車載器51及び携帯機61は、いわゆるスマートエントリシステムに含まれる車載器51及び携帯機61である。車載器51は、例えば、処理部52、記憶部53、入出力部54及び通信部55を有するマイクロコンピュータから構成されている。車載器51の通信部55は、例えば車外用アンテナ56及び車内用アンテナ57を有している。
携帯機61は、例えば、処理部62、記憶部63及び通信部65を有し、車両1の所有者を含む車両1の利用者が携帯可能に構成されている。以下、「車両1の所有者を含む車両1の利用者」を、「ユーザー」とも呼ぶ。携帯機61の通信部65は、アンテナ66を有している。したがって、車載器51と携帯機61とは無線通信を行うことができる。
車載器51は、携帯機61と無線通信を行うことによって、携帯機61の記憶部63に記憶されている車載器51のID情報と、車載器51の記憶部53に記憶されている車載器51のID情報とが一致するか否かの判定を行う。すなわち、携帯機61を携帯して車両1に接近する人物が、ユーザーであることの認証を行う。以下、「携帯機61を携帯して車両1に接近する人物が、ユーザーであることの認証」を「ユーザー認証」とも呼ぶ。車載器51が、携帯機61の記憶部63に記憶されている車載器51のID情報と、車載器51の記憶部53に記憶されている車載器51のID情報とが一致したと判定したときに、ユーザー認証が成立する。
ユーザー認証が成立したときに、車載器51は、例えば、ドアロック装置58を制御し、所定のドアのドアロックをロック状態又はアンロック状態にさせる。また、ユーザー認証が成立したときに、車載器51は、ユーザー認証成立信号を出力してもよい。
ここで、図1に示される例において、車載器51は、制御部41とは異なるハードウェアとして図示されているが、例えば、車載器51が制御部41を有することによって、車載器51と制御部41とが一体のハードウェアとして構成されていてもよい。この場合、例えば、車載器51の記憶部53に記憶されているプログラムを車載器51の処理部52が実行することによって、制御部41の機能が実現されてもよい。この場合、カメラ21及びドア開閉装置46は、例えば、車載器51の入出力部54に接続される。
図2には、車載器51の車外用アンテナ56及び車内用アンテナ57から送信されるリクエスト信号の送信領域が示されている。領域111は、車載器51の車外用アンテナ56から送信されるリクエスト信号の送信領域であり、例えば車両1から所定の距離を超えない範囲の車外に相当する範囲で設定されている。領域112は、車載器51の車内用アンテナ57から送信されるリクエスト信号の送信領域であり、例えば車両1の車内に相当する範囲で設定されている。以下、「車載器51の車外用アンテナ56から送信されるリクエスト信号」を「第1のリクエスト信号」とも呼び、「車載器51の車内用アンテナ57から送信されるリクエスト信号」を「第2のリクエスト信号」とも呼ぶ。車載器51は、例えば、第1のリクエスト信号又は第2のリクエスト信号を間欠的に送信する。
以下、車両1への乗車時におけるカメラ21の起動タイミングの例と、車両1からの下車時におけるカメラ21の起動タイミングの例を説明する。まず、車両1への乗車時におけるカメラ21の起動タイミングの例について説明する。携帯機61を携帯する人物が領域111に入ると、携帯機61は第1のリクエスト信号を受信する。第1のリクエスト信号を受信した携帯機61は、携帯機61の記憶部63に記憶されている車載器51のID情報を含む応答信号を送信する。応答信号を受信した車載器51は、応答信号に含まれる車載器51のID情報と、車載器51の記憶部53に記憶されている車載器51のID情報とが一致するか否かの判定を行う。
車載器51が、応答信号に含まれる車載器51のID情報と、車載器51の記憶部53に記憶されている車載器51のID情報とが一致すると判定したときに、携帯機61を携帯する人物がユーザーであると認証する。以下、第1のリクエスト信号を用いたユーザー認証を「第1のユーザー認証」とも呼ぶ。
第1のユーザー認証が成立したときに、車載器51は、例えば、ドアロック装置58を制御して、所定のドアのドアロックをアンロック状態にする。所定のドアとは、車両1の全てのドアであってもよく、例えば応答信号の受信強度によりユーザーが接近すると予想されるドアであってもよい。また、第1のユーザー認証が成立したときに、例えば、車載器51は、第1のユーザー認証成立信号を出力する。制御部41は、例えば、第1のユーザー認証成立信号を入力したときに、カメラ21を起動させる。
カメラ21は、第1のユーザー認証が成立したときに起動するため、車両1のユーザーが車両1の近傍に存在しないときにカメラ21が起動する等の状況の発生が抑えられる。その結果、カメラ21の動作に関する消費電力を抑えることができる。また、車両1のユーザーに関係のない人物に対して、推定部31による推定がされることが防止されることによって、セキュリティ性が確保される。
続いて、車両1からの下車時におけるカメラ21の起動タイミングの例について説明する。前提として、携帯機61が領域112に存在するときは、第2のリクエスト信号を用いて、上述した車両1への乗車時のユーザー認証と同様のユーザー認証が行われる。以下、第2のリクエスト信号を用いたユーザー認証を「第2のユーザー認証」とも呼ぶ。第2のユーザー認証が成立したときに、車載器51は、第2のユーザー認証成立信号を出力する。
ユーザーが車両1から下車するときは、携帯機61を携帯して車両1から下車するので、ユーザーが車内から車外へ出ると第2のユーザー認証が成立しなくなる。第2のユーザー認証が成立しなくなると、車載器51は、第2のユーザー認証成立信号を出力しなくなる。制御部41は、例えば、第2のユーザー認証成立信号を入力していた状態から第2のユーザー認証成立信号を入力しなくなったときに、カメラ21を起動する。
ここで、制御部41が、第2のユーザー認証成立信号を入力していた状態から第1のユーザー認証成立信号を入力したときに、カメラ21を起動してもよい。しかし、制御部41が、第2のユーザー認証成立信号を入力していた状態から第2のユーザー認証成立信号を入力しなくなったときに、カメラ21を起動する方が、カメラ21の起動タイミングを早くすることができるため、好ましい。
その後、ユーザーが領域111内から領域111外に移動したとき、すなわち、制御部41が第1のユーザー認証成立信号を入力した後、第1のユーザー認証成立信号を入力しなくなったときに、制御部41は、例えば、ドアロック装置58を制御して、車両1の全てのドアのドアロックをロック状態にする。
図3を用いて、カメラ21の取り付け位置の例を説明する。図3(A)及び図3(B)は、運転席側のドアである右フロントドア3Rと、助手席側のドアである左フロントドア3Lと、右側の後部座席側のドアである右リアドア4Rと、左側の後部座席側のドアである左リアドア4Lとを備える車両1が示されている。図3(A)及び図3(B)に示されている車両1は、例えば、両方のフロントドア3にはヒンジドアが採用されている。また、図3(A)及び図3(B)に示されている車両1は、例えば、両方のリアドア4にはスライドドアが採用されている。図3(A)及び図3(B)には、車両1の右側の側部が示されているが、車両1の左側の側部も同様であるので、以下、車両1の右側についてのみ説明し、左側についての説明は省略する。
図3(A)には、車両ドア制御装置10以外の目的で車両1に取り付けられているカメラを車両ドア制御装置10のカメラ21として用いる例が示されている。図3(A)に示される例は、いわゆるマルチビューシステム用のカメラのうち、車両1の側方及び後方を撮像範囲に含むカメラを備える車両1が示されている。いわゆるマルチビューシステムを採用する車両は、車両1の前方を撮像範囲に含むカメラ、車両1の後方を撮像範囲に含むカメラ等も備えることが一般的であるが、図3(A)では図示されていない。図3(A)に示される例において、カメラ21は、右サイドミラー6Rに内蔵され、例えばミラー部6Raより車幅方向に外側寄りにレンズ部が配置され、車両1の右側方及び後方を撮像可能に車両1に取り付けられている。
いわゆるマルチビューシステム用のカメラのうち、車両1の側方及び後方を撮像範囲に含むカメラを用いるので、車両1の側方に接近したユーザーを撮像範囲に含むことができ、かつ、新たに専用のカメラ21を車両1に取り付けることによるコスト及び重量の増加を抑えることができる。
ここで、図3(A)に示される例において、車両1に右サイドミラー6Rが設けられておらず、右サイドミラー6Rの代わりに車両1の右側方及び後方を視認する目的でカメラが設けられているときは、そのカメラを車両ドア制御装置10のカメラ21として用いてもよい。
図3(B)には、車両ドア制御装置10の専用のカメラ21が車両1に取り付けられている例が示されている。図3(B)に示される例において、カメラ21は、例えば、右フロントドア3Rと右リアドア4Rとの間で、右ルーフレール5R上に、車両1の側方を撮像範囲に含むように車両1に取り付けられる。
車両ドア制御装置10専用のカメラ21を車両1に取り付けるので、車両1の種類によっては、車両ドア制御装置10以外の目的で車両1に取り付けられているカメラでは、車両1の側方に接近したユーザーを撮像範囲に含むことが困難であるときに効果がある。また、サイドミラー6にカメラ21のレンズ部を設けるスペースがないとき等にも効果がある。
図4を用いて、推定部31による撮像画像に含まれるユーザーの両手が塞がっているか否かの推定方法の例を説明する。図4(A)、図4(B)及び図4(C)には、ユーザーの両手が塞がっている具体例が示されている。すなわち、図4(A)にはユーザーが両手で持つ必要のある大きさの荷物を持っている状態、図4(B)にはユーザーが傘を差している状態、図4(C)にはユーザーの両手がそれぞれ別の荷物で塞がっている状態が示されている。もちろん、ユーザーの両手が塞がっている状態は、図4(A)、図4(B)及び図4(C)に示されている具体例に限られるものではない。
まず、第1の推定方法として、推定部31は、例えば、カメラ21より得られる撮像画像に含まれるユーザーの両方の手の先が、同一の物体又はそれぞれ別の物体と接触しているか否かを判定する。推定部31は、例えば、ユーザーの両方の手の先が、同一の物体又はそれぞれ別の物体と接触していると判定したときに、ユーザーの両手が塞がっていると推定する。この推定方法によって、推定部31は、例えば、図4(A)、(B)及び(C)のいずれに示されるユーザーの両手が塞がっている状態も推定することができる。
ここで、例えば、図4(A)に示される例において、ユーザーが持っているものによってユーザーの両手の先を隠されるとき等は、推定部31が、カメラ21より得られる撮像画像に含まれるユーザーの両方の手の先を認識できないことが推定される。このような、推定部31が、ユーザーの両方の手の先を認識することができない状況であっても、ユーザーが両手で物を持っているときは、ユーザーの両手が塞がっていると推定することが望まれる。また、図4(B)に示される例において、ユーザーが片手で傘を差すことも想定される。しかし、例えば、ユーザーが車両1に乗車する直前に傘を閉じるとき等に、ユーザーの両手が塞がれることが予想される。そのため、推定部31は、図4(B)に示される例を、ユーザーの両手が塞がっている状態であると推定してもよい。これらの場合であっても、推定部31がユーザーの両手が塞がっている状態を正確に推定するために、以下に説明する、第2の推定方法及び/又は第3の推定方法が採用されていてもよい。
第2の推定方法として、推定部31は、例えば、カメラ21より得られる撮像画像を解析し、撮像画像に含まれるユーザーの輪郭を抽出する。続いて、推定部31は、例えば、ユーザーに接触している物体であって、抽出したユーザーの輪郭から所定の長さ以上はみ出す物体が存在するか否かを判定する。推定部31は、例えば、ユーザーに接触している物体であって、抽出したユーザーの輪郭から所定の長さ以上はみ出す物体が存在すると判定したときに、ユーザーの両手が塞がっていると推定する。この推定方法によって、推定部31は、例えば図4(A)及び図4(B)に示されるユーザーの両手が塞がれている状態を推定することができる。
第3の推定方法として、推定部31は、例えば、推定部31の記憶部33に少なくとも1つのパターンを予め記憶しておき、撮像画像に含まれるユーザーの状態が記憶されたパターンのいずれかに該当するとき、ユーザーの両手が塞がっていると推定してもよい。推定部31の記憶部33に予め記憶しておくパターンの例としては、例えば、ユーザーの上下方向の略中間に大きな物体が存在するパターン、ユーザーの上下方向の上部に大きな物体が存在するパターン等である。ユーザーの上下方向の略中間に大きな物体が存在するパターンは例えば図4(A)に示される例に相当し、ユーザーの上下方向の上部に大きな物体が存在するパターンは例えば図4(B)に示される例に相当する。
推定部31は、上述した3つの推定方法を同時に並行して実行して、いずれかの推定方法でユーザーの両手が塞がっていることを推定したときに、推定結果を出力してもよい。そうすることで、推定部31は、迅速にユーザーの両手が塞がっていることの推定結果を出力することができる。しかし、推定部31は、3つの推定方法のうち、1又は2つの推定方法のみを実行してもよい。もちろん、上述した3つの推定方法は、単なる具体例であり、推定部31によるユーザーの両手が塞がっていることを推定する方法はこれらに限られるものではない。
図5に示されるフローチャート図を用いて、車両ドア制御装置10の動作例を説明する。図5に示されるフローチャートは、例えば、車載器51が携帯機61から送信される応答信号を受信したときに、ステップS01の判定が実行される。
ステップS01では、車両ドア制御装置10は、カメラ21を起動するタイミングであるか否かを判定する。具体的に、制御部41が、上述した車両1への乗車時におけるカメラ21の起動タイミング、又は、車両1からの下車時におけるカメラ21の起動タイミングのいずれか一方のタイミングであるか否かを判定する。車両ドア制御装置10が、カメラ21を起動するタイミングであると判定したときは、フローはステップS02へ進む。一方、車両ドア制御装置10が、カメラ21を起動するタイミングであると判定しないときは、フローは終了する。
ステップS02では、車両ドア制御装置10は、カメラ21を起動するタイミングが、車両1への乗車時におけるカメラ21の起動タイミング、又は、車両1からの下車時におけるカメラ21の起動タイミングのうち、いずれの起動タイミングであるかを判定する。具体的に、例えば、制御部41が、第1のユーザー認証成立信号を入力したときに、車両1への乗車時におけるカメラ21の起動タイミングであると判定する。また、例えば、制御部41が、第2のユーザー認証成立信号を入力していた状態から第2のユーザー認証成立信号を入力しなくなったときに、車両1からの下車時におけるカメラ21の起動タイミングであると判定する。車両ドア制御装置10が、車両1への乗車時におけるカメラ21の起動タイミングであると判定したときは、フローはステップS03へ進む。一方、車両ドア制御装置10が、車両1からの下車時におけるカメラ21の起動タイミングであると判定したときは、フローはステップS07に進む。
ステップS03では、制御部41は、カメラ21を起動させる。カメラ21が起動すると、フローはステップS04に進む。
ステップS04では、推定部31は、カメラ21から入力する撮像画像に含まれるユーザーの両手が塞がっているか否かを推定する。推定部31が、ユーザーの両手が塞がっていると推定したときは、フローはステップS05に進む。一方、推定部31が、ユーザーの両手が塞がっていると推定しないときは、フローはステップS06に進む。
ステップS05では、制御部41は、ドア開閉装置46を制御して、車両1の後部座席側のドアであるリアドア4の開動作を実行する。具体的に、制御部41は、左右のリアドア4R,4Lのうち少なくとも一方の開動作を実行する。左右のリアドア4R,4Lのうち一方が開動作されるときは、両手が塞がっていると推定されたユーザーが存在する側のリアドア4が開動作されることが好ましい。ここで、車両ドア制御装置10を備える車両1は、図3に示される例のように、リアドア4にスライドドアが採用されている車両1であることが好ましい。スライドドアであれば、車両1より側方のスペースを考慮することなくリアドア4の開動作が可能となるからである。
車両1のリアドア4にヒンジドアが採用されている場合は、例えば、ヒンジ部を回転軸として若干量回動(いわゆるポップアップ)するように開動作が実行されてもよい。ただし、例えば、推定部31がカメラ21から入力する撮像画像を解析することによって、車両1の側方に障害物が存在しないことが確認できるときは、車両1のリアドア4にヒンジドアが採用されている場合であったとしてもリアドア4を開動作してもよい。また、車両1がセダンタイプの車両であるとき等は、制御部41は、ドア開閉装置46を制御して、車両1のリアドア4の代わりに図示されていないトランクの開動作を実行してもよい。
車両ドア制御装置10は、推定部31がユーザーの両手が塞がっていると推定したときに、ユーザーが荷物等を運び入れると推定し、運転席側のドア以外のドアである車両1のリアドア4又はトランクの開動作を実行する。その結果、ユーザーは、ドアハンドルを操作するために、両手で持っている荷物又は傘を一度路面に置くことなく、車内に荷物又は傘を運び入れることができることによって、利便性が向上する。
また、車両1のリアドア4がスライドドアであって、リアドア4から車内に乗車して運転席まで移動(いわゆるウォークスルー)できるような車内構造であるとさらに好ましい。この場合、例えば、雨が降っているため傘を差しているユーザーは、傘を車内に運び入れた後に、再度雨が降っている車外に出ることなく運転席まで移動することができることによって、さらに利便性が向上する。
図5に示されるフローチャートに戻り、ステップS06では、制御部41は、ドア開閉装置46を制御して、車両1の運転席側のドアである右フロントドア3Rの開動作を実行する。右フロントドア3Rは、ヒンジドアが採用されていることが一般的であるので、上述したリアドア4にヒンジドアが採用されている場合の開動作と同様に、右フロントドア3Rの開動作が実行される。
車両ドア制御装置10は、推定部31がユーザーの両手が塞がっていないと推定したときに、ユーザーが運転席に着席すると推定して、運転席側のドアである右フロントドア3Rの開動作をする。その結果、ユーザーは、右フロントドア3Rを開動作するときに、ドアハンドルを操作する必要がないので、利便性が向上する。雨が降った後に車両に乗車するとき等は、ドアが汚れていたとしてもユーザーの手が汚れることを防ぐことができるため、特に効果がある。
ステップS05又はステップS06の動作が実行されると、フローは終了する。ここまでに説明された、ステップS02からステップS03に進むフローは、車両1への乗車時における動作例である。ステップS02からステップS07に進むフローである、車両1からの降車時における動作例については、車両1への乗車時における動作例と対応するところは、その対応関係を示し、詳細な説明を省略して説明する。
ステップS07はステップS03に対応し、ステップS08はステップS04に対応する。ステップS09はステップS05に対応するが、ステップS05ではリアドア4が開動作されるのに対して、ステップS09ではリアドア4が閉動作される。ステップS09の動作が実行されると、フローは終了する。
図5に示されるフローチャートは、車両ドア制御装置10の基本的な動作例である。図5に示されるフローチャートは、適宜変更されてもよい。以下に、図5に示されるフローチャートの変更例を示す。
図5に示されるフローチャートにおいて、例えば、ステップS05のリアドア4の開動作がされた後、所定時間が経過するまでにユーザーによりリアドア4の閉動作がされたときは、車両ドア制御装置10は、再度ステップS04の推定をしてもよい。その後、ステップS04の推定でユーザーの両手が塞がっていないと推定されたときは、ステップS06に進み、右フロンドドア3Rを開動作してもよい。
このように動作することによって、例えば、ユーザーが荷物を後部座席に置いた後に、右フロンドドア3Rを開動作しようとするときに、ユーザーが右フロンドドア3Rのドアハンドルを操作することなく、右フロンドドア3Rを開動作することができる。この結果、ユーザーが荷物を後部座席側に置いて運転席に着席する一連の動作をスムーズに行うことができることによって、利便性が向上する。
また、例えば、図5に示されるフローチャートにおいて、ステップS03とステップS04との間に、推定部31により、撮像画像に含まれる人物の顔認識を実行して車両1のユーザーであることを確認するステップを挿入してもよい。推定部31により車両1のユーザーであることが確認されたときは、フローはステップS04に進み、一方、推定部31により車両1のユーザーであることが確認されないときは、フローは終了する。このステップを挿入することで、ユーザー認証が二重に行われ、セキュリティ性がさらに向上する。
さらに、車両ドア制御装置10は、例えば、車両1への乗車時における動作のみを実行してもよい。この場合、例えば、ステップS01は、制御部41が、第1のユーザー認証が成立したか否かを判定するステップに置き換えられ、ステップS02、ステップS07、ステップS08及びステップS09は削除される。
加えて、例えば、図5に示されるフローチャートにおいて、ステップS01のカメラ21の起動タイミングは、必ずしも上述したタイミングでなくてもよい。例えば、何らのユーザー認証なしで、カメラ21が起動してもよい。ただし、上述した、消費電力を抑える観点又はセキュリティ性の確保の観点から、ユーザー認証が成立したときに、カメラ21が起動することが好ましい。
車両ドア制御装置10は、推定部31による撮像画像に含まれるユーザーの両手が塞がっているか否かの推定結果に基づいて、車両1の所定のドアの開動作又は閉動作を実行する。そのため、車両ドア制御装置10によって車両1の所定のドアの開動作又は閉動作を実行されるための条件を意識する必要がない。したがって、車両ドア制御装置10は、例えば、荷物等によって両手が塞がっているユーザーであってもわずらわしさを感じさせることなく、車両1の所定のドアの開動作又は閉動作を実行することができる。
2.第2実施形態
車両ドア制御装置10の第2実施形態は、上述した車両ドア制御装置10の第1実施形態の変形例である。したがって、第1実施形態と異なる部分についてのみ説明し、第1実施形態と同様の部分は説明を省略する。
車両ドア制御装置10の第2実施形態の構成では、図6に示されるように、プロジェクタ47が、制御部41によって制御可能にさらに備えられている。制御部41は、推定部31からユーザーの両手が塞がっていることの推定結果を入力したときに、プロジェクタ47を制御して所定のドアの近傍の路面上に所定の投影画像を投影させる。
プロジェクタ47の取り付け位置の例は、図7に示される。なお、第1実施形態で説明された図3(A)及び図3(B)のいずれのカメラ21の取り付け位置が採用されていてもプロジェクタ47の取り付け位置は同様であるので、図3(A)に対応する図面のみ用いて説明する。また、図7には、車両1の右側の側部が示されているが、車両1の左側の側部も同様であるので、以下、車両1の右側についてのみ説明し、左側についての説明は省略する。
図7に示されるように、プロジェクタ47は、右サイドミラー6Rに内蔵され、例えばその下面の車幅方向の外側寄りに投影部が配置され、例えば車両1の右リアドア4Rの近傍の路面上に所定の投影画像を投影可能に車両1に取り付けられている。
また、車両1に右サイドミラー6Rが設けられておらず、右サイドミラー6Rの代わりに車両1の右側方及び後方を視認する目的でカメラが設けられているときは、そのカメラが設けられている箇所の下面にプロジェクタ47の投影部が取り付けられてもよい。ただし、プロジェクタ47の投影部は、例えば車両1の右リアドア4Rの近傍の路面上に所定の投影画像を投影可能に車両1に取り付けられる必要がある。
第2実施形態において、推定部31は、撮像画像に含まれる人物の状態として、撮像画像に含まれる人物が、プロジェクタ47によって投影された所定の投影画像に対する操作を行ったか否かをさらに推定する。図8及び図9を用いて、推定部31による、撮像画像に含まれる人物が、プロジェクタ47によって投影された所定の投影画像に対する操作を行った状態の推定方法を説明する。
図8には、車両1の右側の側方に、両手の塞がった状態のユーザーが存在している状況の例が示されている。図8に示されている例において、網掛け部分121は、カメラ21の垂直方向の画角を示す。図8に示されている例において、ユーザーの上半身の全部がカメラ21の垂直方向の画角121に含まれている。すなわち、図8に示されている例において、ユーザーの上半身の全部がカメラ21の撮像範囲に含まれている。ここで、ユーザーが図8に示されている例よりも、さらに車両1に接近すると、ユーザーの上半身の一部、例えばユーザーの肩がカメラ21の撮像範囲に含まれる。このように、図8に示されている例において、ユーザーが車両1の側方の近傍に存在するときに、ユーザーと車両1との距離に応じて、ユーザーの上半身の一部又は全部が撮像範囲に含まれるように、カメラ21が車両1に取り付けられている。
また、図8に示されている例において、プロジェクタ47から投影される所定の投影画像として、「CLOSE」と表された投影画像131又は投影スイッチ131が、車両1の右側の側方の近傍、すなわち車両1の右リアドア4R近傍の路面上に投影されている。すなわち、図8に示されている例は、車両1からの下車時であって、車両1の右リアドア4Rが開状態のときに、ユーザーの両手が塞がっていると推定部31によって推定された状況である。
ここで、図8に示されている例において、ユーザーが足で投影画像131又は投影スイッチ131に対する操作を行ったことが、推定部31によって推定されたときに、制御部41は、ドア開閉装置46を制御することによって、開状態である右リアドア4Rの閉動作を実行させる。ユーザーが足で投影画像131又は投影スイッチ131に対する操作を行ったときに、車両1のドアの閉動作が実行されることによって、ユーザーが車両1のドアを閉動作するために、両手で持っている荷物又は傘を一度路面に置く必要がなく、利便性が向上する。また、投影画像131又は投影スイッチ131に基づき、ユーザーが操作するので操作内容を記憶する必要がない。さらに、ユーザーによる車両1のドアを閉状態にしたいという意思に基づいて車両1のドアが閉動作されることによって、例えば荷物の出し入れの際に、ユーザーの意思に反して車両1のドアが閉動作することが防止される。
なお、図8では、車両1の右側の側方について示されているが、車両1の左側の側方についても同様である。すなわち、例えば、車両1からの下車時であって、車両1のリアドア4Lが開状態のときに、車両1の左側の側方でユーザーの両手が塞がっていると推定部31によって推定されたとする。このとき、例えば、図8には図示されていない車両1の左側に設けられているプロジェクタ47によって、「CLOSE」と表された投影画像131又は投影スイッチ131が、車両1の左側の側方の近傍、すなわち車両1の左リアドア4L近傍の路面上に投影される。
ここで、「CLOSE」と表された投影画像131又は投影スイッチ131は、単なる一例に過ぎず、ユーザーに認識できる他の画像が投影されてもよい。さらに、投影画像131又は投影スイッチ131は、画像として認識できるものである必要はなく、ユーザーが認識できる程度の光が照射されることによって投影画像131又は投影スイッチ131が実現されてもよい。したがって、プロジェクタ47の代わりに、レーザーポインタ等が設けられていてもよい。しかし、投影画像131又は投影スイッチ131は、ユーザーの意思を表すものである等、ユーザーが投影画像131又は投影スイッチ131と開動作又は閉動作との関係を理解できるものが好ましい。以下、「投影画像131又は投影スイッチ131」を「投影画像131」に統一する。
図9を用いて、推定部31による、ユーザーが足で投影画像131に対する操作を行ったことの推定方法を説明する。推定部31は、例えば、ユーザーの上半身の一部が投影画像131に向かって移動したことを検出したときに、ユーザーが足で投影画像131に対する操作を行ったと推定する。図9(A)には、図8に示されている状況のときに、カメラ21が得る撮像画像の例が示されている。図9(A)に示される撮像画像の例では、荷物によって両手が塞がっている状態のユーザーの上半身の全体が含まれている。また、図9(A)に示される撮像画像の例において、例えば、推定部31によって、ユーザーの右肩141R及びユーザーの左肩141Lの位置が認識される。
図9(B)、図9(C)及び図9(D)には、図9(A)に示される撮像画像の例において認識されたユーザーの右肩141R及びユーザーの左肩141Lの位置が、予め推定部31の記憶部33に記憶された条件を満たすように移動したときの撮像画像の例が示されている。なお、図9(A)、図9(B)、図9(C)及び図9(D)に示されている撮像画像の説明において、上下左右は、撮像画像を見て上下左右を指す。
図9(B)には、図9(A)に示される撮像画像の例の状態から、ユーザーが投影画像131を足で操作するために、例えば前のめりの体勢になったことによって、ユーザーの上半身がカメラ21に接近した状況における撮像画像の例が示されている。図9(B)は、後述する図9(C)に示される撮像画像の例の状況と比較して、ユーザーから前方にやや離れた位置に投影された投影画像131を操作したときの撮像画像の例である。図9(B)に示される撮像画像の例において、ユーザーの右肩142Rの位置が図9(A)に示されるユーザーの右肩141Rの位置から左下に移動し、且つ、ユーザーの左肩142Lの位置が図9(A)に示されるユーザーの左肩141Lの位置から右下に移動している。
図9(C)には、図9(A)に示される撮像画像の例の状態から、ユーザーが投影画像131を足で操作するために、例えば腰を落とした体勢になったことによって、ユーザーの上半身が下方向に移動した状況における撮像画像の例が示されている。図9(C)は、上述した図9(B)に示される撮像画像の例の状況と比較して、ユーザーから前方にやや近い位置に投影された投影画像131を操作したときの撮像画像の例である。図9(C)に示される撮像画像の例において、ユーザーの右肩143Rの位置が図9(A)に示されるユーザーの右肩141Rの位置から略真下に移動し、且つ、ユーザーの左肩143Lの位置が図9(A)に示されるユーザーの左肩141Lの位置から略真下に移動している。
図9(D)には、図9(A)に示される撮像画像の例の状態から、ユーザーが投影画像131を足で操作するために、例えば腰を落としながら足を右方向に移動させたことによって、ユーザーの上半身が右下方向に移動した状況における撮像画像の例が示されている。図9(D)は、上述した図9(C)に示される撮像画像の例の状況と比較して、ユーザーからやや右側の位置に投影された投影画像131を操作したときの撮像画像の例である。図9(D)に示される撮像画像の例において、ユーザーの右肩144Rの位置が図9(A)に示されるユーザーの右肩141Rの位置から左下に移動し、且つ、ユーザーの左肩144Lの位置が図9(A)に示されるユーザーの左肩141Lの位置から左下に移動している。
ユーザーが、図9(C)に示される撮像画像の例の状況と比較して、ユーザーからやや左側の位置に投影された投影画像131を足で操作したときは、図9(D)に示される撮像画像の例と左右が逆になるだけであるので、図示及び説明を省略する。
このように、推定部31は、ユーザーが足で投影画像131に対する操作を行う前の撮像画像(操作前の撮像画像)と、ユーザーが足で投影画像131に対する操作を行った後の撮像画像(操作後の撮像画像)とを比較することによって、ユーザーの上半身がどのように移動したかを推定することができる。したがって、例えば、操作前の撮像画像におけるユーザーの両肩の位置と、操作後の撮像画像におけるユーザーの両肩の位置との移動量が、所定の条件を満たすときに、ユーザーが足で投影画像131に対する操作を行ったことを推定することができる。
所定の条件とは、例えば、操作前の撮像画像と操作後の撮像画像とで、ユーザーの両肩の移動量が、複数のパターン別に設定される所定の移動量の範囲に含まれることである。ここで、複数のパターンとは、例えば、ユーザーが足で操作する対象となる投影画像131が投影される位置が、ユーザーの現在の位置から、やや前方に離れたパターン、やや前方に近いパターン、やや右側のパターン及びやや左側のパターン等である。所定の条件である、複数のパターン別に設定される所定の移動量の範囲のデータは、例えば推定部31の記憶部33に記憶されている。
ここでは、ユーザーが足で投影画像131に対する操作を行ったことの推定方法として、ユーザーの上半身の一部である両肩の移動を検出した例を説明したが、検出されるのはユーザーの両肩の移動でなくてもよい。例えば、推定部31は、ユーザーの上半身の一部であるアゴの移動を検出してもよく、上半身全体の移動を検出してもよい。
推定部31が、ユーザーが投影画像131に対して操作を行ったことを、ユーザーの上半身の一部又は全体が投影画像131に向かって移動したことを検出することで推定することによって、ユーザーの足による操作を直接検出する必要がない。したがって、垂直方向に画角の大きいカメラ21を採用する必要がないことによって、車両ドア制御装置10に採用するカメラ21の選択肢が限定されることが抑えられる。
ユーザーが投影画像131に対して操作を行ったことの推定の精度を向上させるために、推定部31は、実際にユーザーが投影画像131に対して操作を行う度に、ユーザーの両肩の移動量を学習し、所定の条件を修正及び更新してもよい。また、ユーザーが投影画像131に対して操作を行ったことの推定の精度を向上させるために、車両ドア制御装置10は、ユーザーに対して、投影画像131への操作を複数回させてもよい。このとき、投影画像131が投影される位置が、回数毎に異なってもよい。また、推定部31によって、ユーザーが投影画像131に対して操作を行う際のユーザーの両肩の移動量がより顕著に検出されるように、投影画像131に対して操作を行う前のユーザーの位置に応じて、投影画像131が投影される位置が決定されてもよい。
加えて、推定部31は、ユーザーが投影画像131に対して操作を行った際のユーザーの両肩の移動速度及び/又は両肩の移動速度の変化をさらに考慮して、ユーザーが投影画像131に対して操作を行ったことを推定してもよい。さらに、推定部31は、カメラ21により得られる撮像画像による推定に加えて、例えば図示されていない超音波センサー等によって得られるユーザーの足による投影画像131に対する操作の検出結果も考慮して推定してもよい。
図10に示されるフローチャート図を用いて、車両ドア制御装置10の第2実施形態の動作例を説明する。図10に示されるフローチャート図は、図5に示されるフローチャート図のステップS04とステップS05との間にステップS105及びステップS106が挿入され、図5に示されるフローチャート図のステップS08とステップS09との間にステップS110及びステップS111が挿入され、さらに図5に示されるフローチャート図のステップS06が削除されたものに相当する。したがって、車両ドア制御装置10の第2実施形態の動作例の説明において、車両ドア制御装置10の第1実施形態の動作例の内容と重複するところは、その対応関係を示して詳細な説明を省略する。
ステップS101は図5に示されるフローチャート図のステップS01に対応し、ステップS102は図5に示されるフローチャート図のステップS02に対応し、ステップS103は図5に示されるフローチャート図のステップS03に対応し、ステップS104は図5に示されるフローチャート図のステップS04に対応する。ここで、ステップS104の判定で、推定部31が、ユーザーの両手が塞がっていると推定したときは、フローはステップS105に進む。一方、推定部31が、ユーザーの両手が塞がっていると推定しないときは、フローは終了する。
ステップS105では、制御部41は、プロジェクタ47を制御して、両手が塞がっていると推定されたユーザーが存在する側の車両1の側方の近傍に投影画像131を投影させる。このとき、ユーザーには、閉状態である車両1のリアドア4を開動作させたい意思が存在する。したがって、ステップS105で投影される投影画像131は、例えば、ユーザーの意思を反映させた「OPEN」と表された投影画像131である。投影画像131が投影されると、フローはステップS106に進む。
ステップS106では、推定部31は、ユーザーが投影画像131に対して操作を行ったか否かの推定をする。推定部31が、ユーザーが投影画像131に対して操作を行ったと推定したときは、フローはステップS107に進む。一方、推定部31が、ユーザーが投影画像131に対して操作を行ったと推定しないときは、フローはステップS106の推定を繰り返す。
ステップS107は、図5に示されるフローチャート図のステップS05に対応する。ステップS107の動作が実行されると、フローは終了する。ここまでに説明された、ステップS102からステップS103に進むフローは、車両1への乗車時における動作例である。ステップS102からステップS108に進むフローである、車両1からの降車時における動作例については、車両1への乗車時における動作例と対応するところは、その対応関係を示し、詳細な説明を省略して説明する。
ステップS108は図5に示されるフローチャート図のステップS07に対応し、ステップS109は図5に示されるフローチャート図のステップS08に対応する。ステップS110は、ステップS105に対応するが、車両1からの降車時であるので、このときのユーザーには、開状態である車両1のリアドア4を閉動作させたい意思が存在する。そのため、ステップS110で投影される投影画像131は、例えば、ユーザーの意思を反映させた「CLOSE」と表された投影画像131である。また、ステップS110で投影される投影画像131は、両手が塞がっていると推定されたユーザーが存在する側の車両1の側方の近傍、すなわち、開状態である側の車両1のリアドア4近傍の路面上に投影される。
ステップS111はステップS106に対応し、ステップS112は図5に示されるフローチャート図のステップS09に対応する。ステップS112の動作が実行されると、フローは終了する。
車両ドア制御装置10の第1実施形態と第2実施形態は、それぞれ分けて説明されたが、第1実施形態と第2実施形態とが組み合わされてもよい。例えば、車両1への乗車時の動作は第1実施形態が採用され、車両1からの降車時の動作は第2実施形態が採用されてもよい。
3.第3実施形態
車両ドア制御装置10の第3実施形態は、上述した車両ドア制御装置10の第1実施形態又は第2実施形態の変形例である。したがって、第1実施形態及び第2実施形態と異なる部分についてのみ説明し、第1実施形態及び第2実施形態と同様の部分は説明を省略する。
第3実施形態において、ユーザーは、例えば、ユーザー情報として、ユーザーとその家族構成を推定部31の記憶部33に記憶させることができる。ユーザーは、例えば、自身の家族構成をテキストデータで推定部31の記憶部33に記憶させることができる。
推定部31は、例えば、車両1への乗車時におけるカメラ21の起動タイミングで起動したカメラ21から得られる撮像画像に含まれる人物の輪郭を抽出する。推定部31は、抽出した撮像画像に含まれる人物の輪郭から、例えば撮像画像に含まれる人物の大きさ及び人数を判定する。
図11を用いて、推定部31によるユーザーのメンバー構成を推定する推定方法の例及びその推定結果に応じた動作の例を説明する。前提として、ユーザーは、例えば、「ユーザー自身(夫)」、「妻」、「子供1」、「子供2」の4人家族であることを、予め推定部31の記憶部33に記憶させているものとする。
図11(A)には、ユーザー自身が撮像画像に含まれている例が示されている。図11(B)には、ユーザー自身とユーザーの妻とが撮像画像に含まれている例が示されている。図11(C)には、ユーザー自身とユーザーの妻と1人の子供とが撮像画像に含まれている例が示されている。図11(D)には、ユーザー自身とユーザーの妻と2人の子供とが撮像画像に含まれている例が示されている。
図11(A)に示される例では、推定部31は、撮像画像上に大きな人物の輪郭が1つ存在すると判定する。その結果、推定部31は、ユーザー自身が車両1に乗車すると推定して、右フロンドドア3Rの開動作を実行する。
図11(B)に示される例では、推定部31は、撮像画像上に大きな人物の輪郭が2つ存在すると判定する。その結果、推定部31は、ユーザー自身及びユーザーの妻が車両1に乗車すると推定して、左右のフロントドア3R,3Lの開動作を実行する。
図11(C)に示される例では、推定部31は、撮像画像上に大きな人物の輪郭が2つと小さな人物の輪郭が1つ存在すると判定する。その結果、推定部31は、ユーザー自身、ユーザーの妻及び1人の子供が車両1に乗車すると推定して、左右のフロントドア3R,3Lと、左右のリアドア4R,4Lのうち子供が接近してきた側のリアドア4の開動作を実行する。
図11(D)に示される例では、推定部31は、撮像画像上に大きな人物の輪郭が2つと小さな人物の輪郭が2つ存在すると判定する。その結果、推定部31は、ユーザー自身、ユーザーの妻及び2人の子供が車両1に乗車すると推定して、左右のフロントドア3R,3L及び左右のリアドア4R,4Lの開動作を実行する。
上述した、推定されたメンバー構成と開動作されるドアとの関係性は一例である。そのため、車両1の種類、ドアの数等によって、推定されたメンバー構成と開動作されるドアとの関係性は異なるものであってもよい。また、ユーザーが、推定されたメンバー構成と開動作されるドアとの関係性を自由に設定できるようにしてもよい。例えば、ユーザーの妻と子供が後部座席に並んで着席するときは、図11(C)に示される例の状況であっても、右フロンドドア3R及び左右のリアドア4R,4Lの開動作が実行されてもよい。
第3実施形態では、車両1に接近するユーザーのメンバー構成に応じて適切なドアが開動作されるので、利便性が向上する。また、ユーザーは、推定されたメンバー構成と開動作されるドアとの関係性を自由に設定できることによって、ユーザーによる車両1の使用実態に即した車両1のドアの開動作を実現でき、さらに利便性が向上する。
また、ユーザーは、推定部31の記憶部33に子供の年齢を記憶させてもよい。そうすることで、推定部31は、例えば、チャイルドシートに着席させる必要がある年齢の子供が撮像画像に含まれるか否かを推定することができる。このとき、チャイルドシートが設置されている座席側のドアが必ず開動作されるようにすることができることによって、利便性が向上する。
さらに、推定部31の記憶部33には、ユーザー情報として、ユーザーとその家族の顔画像をテキストデータの代わり又はテキストデータと併せて記憶させることができるようにしてもよい。この場合、撮像画像に含まれる人物が登録された顔の人物であることが認識されたときに車両1のドアの開動作を許可することができ、セキュリティ性が向上する。
車両ドア制御装置10の第3実施形態は、第1実施形態及び第2実施形態と分けて説明されたが、第1実施形態又は第2実施形態と組み合わされてもよい。例えば、第1実施形態において、図5に示されるフローチャート図のステップS06の代わりに、第3実施形態の動作例が実行されてもよい。同様に、例えば、第2実施形態において、図10に示されるフローチャート図のステップS104でNOと推定されたとき、すなわちユーザーの両手が塞がっていると推定されないときに、第3実施形態の動作例が実行されてもよい。
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。