JP2021147855A - 車両制御装置、車両制御方法、及び車両制御用プログラム - Google Patents

車両制御装置、車両制御方法、及び車両制御用プログラム Download PDF

Info

Publication number
JP2021147855A
JP2021147855A JP2020048070A JP2020048070A JP2021147855A JP 2021147855 A JP2021147855 A JP 2021147855A JP 2020048070 A JP2020048070 A JP 2020048070A JP 2020048070 A JP2020048070 A JP 2020048070A JP 2021147855 A JP2021147855 A JP 2021147855A
Authority
JP
Japan
Prior art keywords
vehicle
registered user
face image
user
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020048070A
Other languages
English (en)
Other versions
JP7419122B2 (ja
Inventor
亮 茂呂澤
Ryo Morosawa
亮 茂呂澤
海嵩 劉
Haisong Liu
海嵩 劉
文彰 山口
Fumiaki Yamaguchi
文彰 山口
章 中島
Akira Nakajima
章 中島
顕至 大熊
Akito Okuma
顕至 大熊
弘明 丸山
Hiroaki Maruyama
弘明 丸山
祥和 松尾
Yoshikazu Matsuo
祥和 松尾
嵩士 東
Takashi Azuma
嵩士 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020048070A priority Critical patent/JP7419122B2/ja
Priority to US17/197,772 priority patent/US11364876B2/en
Priority to CN202110274950.3A priority patent/CN113492799B/zh
Publication of JP2021147855A publication Critical patent/JP2021147855A/ja
Application granted granted Critical
Publication of JP7419122B2 publication Critical patent/JP7419122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/24Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B60R25/246Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user characterised by the challenge triggering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/24Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B60R25/245Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user where the antenna reception area plays a role

Abstract

【課題】登録利用者以外の同乗者についても可能とすることができる車両制御装置、車両制御方法、及び車両制御用プログラムを提供する。【解決手段】車両制御装置10は、非登録利用者乗車認識部15により、非登録利用者が車両1に乗車したことが認識されたときに、非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得部16と、非登録利用者乗車認識部15により、非登録利用者が車両に乗車したことが認識された後、所定時間が経過するまでの間に、利用者候補顔画像取得部14により取得された利用者候補顔画像と、非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、車両1を第1エントリー可能状態とする車両エントリー制御部18と、を備える。【選択図】図2

Description

本発明は、車両制御装置、車両制御方法、及び車両制御用プログラムに関する。
従来、カメラによる車両周囲の撮影画像により、車両に接近する対象者の個人認証を行って車両へのエントリーを許可するエントリーシステムが知られている(例えば、特許文献1参照)。上記エントリーシステムは、車両に接近した対象者の画像から認識した対象者の虹彩データと、予め登録された利用者の虹彩データとの一致度に応じて、対象者が利用者であるか否かを識別する。
特開2003−138817号公報
上記従来のエントリーシステムにおいては、予め登録された利用者(通常は運転者)についてのみ、個人認証が行われる。そのため、利用者以外の同乗者は、画像による車両へのエントリー機能を使用することができない。
この場合、例えば、利用者と同乗者が車両から降車した後に、同乗者が車内に忘れ物をしたことに気づいたときに、同乗者単独では、車両に戻っても車両にエントリーすることができず、利用者と共に車両に戻らなければならないという煩わしさがある。
本発明は、車両へのエントリーを、登録利用者以外の同乗者についても可能とすることができる車両制御装置、車両制御方法、及び車両制御用プログラムを提供することを目的とする。
上記目的を達成するための第1態様として、車両に備えられたカメラにより撮影される前記車両の周囲画像から、前記車両の周囲に所在する前記車両の利用者候補の顔画像である、利用者候補顔画像を取得する利用者候補顔画像取得部と、前記車両に対する利用者登録がなされていない非登録利用者が、前記車両に乗車したことを認識する非登録利用者乗車認識部と、前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識されたときに、前記非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得部と、前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識された後、所定時間が経過するまでの間に、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、前記車両を第1エントリー可能状態とする車両エントリー制御部と、を備える車両制御装置が挙げられる。
上記車両制御装置において、前記車両エントリー制御部は、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記車両に対する利用者登録がなされた登録利用者の認証用顔画像との一致度合が、第2判定レベル以上となったときに、前記車両を、前記車両のドアが解錠されて前記車両の走行操作が可能な第2エントリー可能状態とし、前記第1エントリー可能状態は、前記車両のドアが解錠されて前記車両を走行させるための操作が不能な状態である構成としてもよい。
上記車両制御装置において、前記非登録利用者顔画像取得部は、前記カメラにより撮影される前記車両の周囲画像から、前記非登録利用者の顔画像が抽出されたときに、抽出された前記非登録利用者の顔画像を、前記非登録利用者顔画像として取得する構成としてもよい。
上記車両制御装置において、前記車両の電源の状態を認識する電源状態認識部を備え、前記非登録利用者乗車認識部は、前記電源状態認識部により前記電源がオン状態からオフ状態に移行したことが認識された後に、前記非登録利用者が前記車両に乗車したことを認識する構成としてもよい。
上記車両制御装置において、前記車両の走行速度を認識する走行速度認識部を備え、前記非登録利用者乗車認識部は、前記走行速度認識部により認識される前記車両の走行速度に基づいて、前記車両が走行を開始したことを認識した後に、前記非登録利用者が前記車両に乗車したことを認識する構成としてもよい。
上記車両制御装置において、前記非登録利用者乗車認識部は、前記非登録利用者が所定時間以上前記車両の車室内に留まっていることを認識したときに、前記非登録利用者が前記車両に乗車したと認識する構成としてもよい。
上記車両制御装置において、前記車両に対する利用者登録がなされた登録利用者により使用される登録利用者端末との間で通信を行う通信制御部と、前記非登録利用者顔画像と前記登録利用者端末の情報とを関連付けた登録利用者情報を、記憶部に保存する登録利用者情報保存部と、を備え、前記車両エントリー制御部は、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が、前記第1判定レベル以上となって、前記車両を前記第1エントリー可能状態としたときに、前記登録利用者情報を参照して前記登録利用者端末の情報を取得することにより、前記非登録利用者顔画像又は前記利用者候補顔画像を含んで、前記車両を前記第1エントリー可能状態としたことを通知するエントリー許可通知情報を、前記通信制御部を介して前記登録利用者端末に送信する構成としてもよい。
上記車両制御装置において、前記車両エントリー制御部は、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が、前記第1判定レベルよりも低く、且つ第3判定レベル以上であるときには、前記登録利用者端末に対して、前記利用者候補顔画像を含んで、前記車両を前記第1エントリー可能状態とするか否かを問い合わせるエントリー可否確認情報を、前記通信制御部を介して前記登録利用者端末に送信する構成としてもよい。
上記目的を達成するための第2態様として、コンピュータにより実行される車両制御方法であって、車両に備えられたカメラにより撮影される前記車両の周囲画像から、前記車両の周囲に所在する前記車両の利用者候補の顔画像である、利用者候補顔画像を取得する利用者候補顔画像取得ステップと、前記車両に対する利用者登録がなされていない非登録利用者が、前記車両に乗車したことを認識する非登録利用者乗車認識ステップと、前記非登録利用者乗車認識ステップにより、前記非登録利用者が前記車両に乗車したことが認識されたときに、前記非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得ステップと、前記非登録利用者乗車認識ステップにより、前記非登録利用者が前記車両に乗車したことが認識された後、所定時間が経過するまでの間に、前記利用者候補顔画像取得ステップにより取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、前記車両を第1エントリー可能状態とする車両エントリー制御ステップと、を含む車両制御方法が挙げられる。
上記目的を達成するための第3態様として、コンピュータを、車両に備えられたカメラにより撮影される前記車両の周囲画像から、前記車両の周囲に所在する前記車両の利用者候補の顔画像である、利用者候補顔画像を取得する利用者候補顔画像取得部と、前記車両に対する利用者登録がなされていない非登録利用者が、前記車両に乗車したことを認識する非登録利用者乗車認識部と、前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識されたときに、前記非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得部と、前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識された後、所定時間が経過するまでの間に、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、前記車両を第1エントリー可能状態とする車両エントリー制御部と、して機能させる車両制御用プログラムが挙げられる。
上記車両制御装置によれば、非登録利用者が車両に乗車したときに、非登録利用者顔画像取得部により非登録利用者顔画像が取得される。そして、非登録利用者が車両に乗車したことが認識された後、所定時間が経過するまでの間に、利用者候補顔画像取得部により取得された利用者候補顔画像と非登録利用者顔画像との一致度合が、第2判定レベル以上であるときに、車両エントリー制御部により、車両が第1エントリー可能状態とされる。
これにより、車両へのエントリーを、登録利用者以外の同乗者についても可能とすることができる。
図1は、車両制御装置が搭載された車両の構成図である。 図2は、車両制御装置の構成図である。 図3は、登録利用者についての顔認証による車両へのエントリー態様の説明図である。 図4は、登録利用者と非登録利用者が、車両に乗車した状況の説明図である。 図5は、非登録利用者についての顔認証による車両へのエントリー態様の説明図である。 図6は、非登録利用者に対する車両エントリー制御の第1フローチャートである。 図7は、非登録利用者に対する車両エントリー制御の第2フローチャートである。
[1.車両の構成]
図1を参照して、本実施形態の車両制御装置10が搭載された車両1の構成について説明する。車両制御装置10は、車両1の携帯鍵200を所持した利用者U1について、携帯鍵200による認証を行って、車両1の使用を許可する。
ここで、利用者U1は、車両1の使用者として登録済の登録利用者であり、以下では登録利用者U1とも称する。車両制御装置10は、顔認証により、登録利用者U1による車両1の使用を許可する車両エントリー制御を実行する。さらに、車両制御装置10は、車両1の使用者として登録されていない同乗者(非登録利用者)についても、車両エントリー制御により、所定条件下で顔認証による車両の使用を許可する。車両エントリー制御の詳細については後述する。
図1に示したように、車両1は、乗車定員6名の乗用車であり、運転席7a、助手席7b、2列目右席7c、2列目左席7d、3列目右席7e、及び3列目左席7fを備えている。各席7a〜7fには、図示しないシートベルトの装着の有無を検知するシートベルトスイッチ74a〜74fが設けられている。以下では、2列目右席7cと2列目左席7dをまとめて2列目席とも称し、また、3列目右席7eと3列目左席7fをまとめて3列目席とも称する。
車両1は、右パワーヒンジドア2、左パワーヒンジドア3、右パワースライドドア4、左パワースライドドア5、及びパワーテールゲート6を備えている。以下では、右パワーヒンジドア2、左パワーヒンジドア3、右パワースライドドア4、及び左パワースライドドア5をパワードアとも称する。右パワースライドドア4と左パワースライドドア5は、2列目席と3列目席に対応したパワードアである。
右パワーヒンジドア2のドアノブには、ドアタッチセンサ101が設けられており、車両1の携帯鍵200を所持した利用者U1は、ドアタッチセンサ101に触れることによって、車両1のドア2〜6を解錠することができる。
右パワーヒンジドア2は、電動アクチュエータ(図示しない)により右パワーヒンジドア2を開閉駆動する右PHD(Power Hing Door)駆動部41を備え、左パワーヒンジドア3は、電動アクチュエータにより左パワーヒンジドア3を開閉駆動する左PHD駆動部51を備えている。右パワースライドドア4は、電動アクチュエータにより右パワースライドドア4を開閉駆動する右PSD(Power Slide Door)駆動部42を備え、左パワースライドドア5は、電動アクチュエータにより左パワースライドドア5を開閉駆動する左PSD駆動部52を備えている。パワーテールゲート6は、電動アクチュエータによりパワーテールゲート6を開閉駆動するPTG(Power Tail Gate)駆動部61を備えている。
車両1の前部には車両1の前方を撮影するフロントカメラ30が設けられ、車両1の後部には車両1の後方を撮影するリアカメラ60が設けられている。車両1の右側部には車両1の右側方を撮影する右サイドカメラ40が設けられ、車両1の左側部には車両1の左側方を撮影する左サイドカメラ50が設けられている。
車室のダッシュボードには、運転席7a及び助手席7bに着座している利用者を撮影する前席カメラ70、表示器31、及びスピーカー32が設けられている。車室の天井には、2列目右席7c、2列目左席7d、3列目右席7e、及び3列目左席7に着座している利用者を撮影する後席カメラ71が設けられている。
各ドア2〜5にはドアの開閉を検知するドアスイッチ75a〜75dが設けられている。パワーテールゲート6にも、パワーテールゲート6の開閉を検知するドアスイッチ75eが設けられている。さらに、運転席7aの付近には、バッテリ150のオン及びオフを指示するための電源スイッチ72と、シフトレバー73のシフト位置を検知するシフトスイッチ73aが備えられている。バッテリ150がオン状態であるときは、バッテリ150から負荷151(図2参照)に電力が供給され、バッテリ150がオフ状態であるときには、バッテリ150から負荷への電力供給が遮断される。負荷151には、車両1に備えられた図示しない空調装置(図示しない)、電動モータ等が含まれる。
さらに、車両1は、各ドア2〜5及びパワーテールゲート6を施錠するドアロック機構100a〜100e、車両1の走行速度を検出する速度センサ110、携帯鍵200や登録利用者U1により使用される登録利用者端末210等との間で通信を行う通信ユニット120、及びナビゲーション装置130を備えている。ナビゲーション装置130は、図示しないGPS(Global Positioning System)センサと地図データを有し、GPSセンサにより検出される車両1の位置と地図データとに基づいて、目的地までのルート案内等を実行する。
[2.車両制御装置の構成]
図2を参照して、車両制御装置10の構成について説明する。車両制御装置10は、図示しないCPU(Central Processing Unit、本発明のコンピュータに相当する)、メモリ80、図示しないインターフェース回路等により構成されて、車両1の作動を制御するECU(Electronic Control Unit)である。
車両制御装置10には、フロントカメラ30、右サイドカメラ40、左サイドカメラ50、リアカメラ60に撮影された車両1の周囲の画像が入力される。また、車両制御装置10には、前席カメラ70、及び後席カメラ71により撮影された車室内の画像が入力される。
さらに、車両制御装置10には、電源スイッチ72、シフトスイッチ73a、シートベルトスイッチ74a〜74f、及びドアスイッチ75a〜75eの検出信号、ドアロック機構100a〜100eに備えられたドアロックセンサ(図示しない)による各ドア2〜5及びパワーテールゲート6のロック検出信号が入力される。
また、車両制御装置10には、ドアタッチセンサ101によるタッチ検出信号、速度センサ110の速度検出信号、ナビゲーション装置130により検出される車両1の現在位置の情報が入力される。
車両制御装置10から出力される制御信号により、右PHD駆動部41、右PSD駆動部42、左PHD駆動部51、左PSD駆動部52、PTG駆動部61、ドアロック機構100a〜100e、及びバッテリ150の作動が制御される。また、車両制御装置10から出力される制御信号により、表示器31の画面表示、及びスピーカー32から出力される音(音声ガイダンス、チャイム音等)が制御される。車両制御装置10は、通信ユニット120を介して、登録利用者U1が所持している携帯鍵200、及び登録利用者U1により使用される登録利用者端末210(図1参照)との間で通信を行う。
CPUは、メモリ80に保存された車両制御装置10の制御用プログラム81を読み込んで実行することにより、鍵認証部11、通信制御部12、電源状態認識部13、利用者候補顔画像取得部14、非登録利用者乗車認識部15、非登録利用者顔画像取得部16、登録利用者情報保存部17、及び車両エントリー制御部18として機能する。制御用プログラム81は、本発明の車両制御用プログラムを含んでいる。
メモリ80には、携帯鍵200による利用者の認証を行う際に使用される認証用IDコード82が保存されている。さらに、メモリ80には、車両1の登録利用者の情報が記録された登録利用者情報83が保存されている。登録利用者情報83には、車両エントリー制御による顔認証を行うための登録利用者U1の顔画像、登録利用者U1により使用される登録利用者端末210の通信用アドレス等が記録されている。
利用者候補顔画像取得部14により実行される処理は本発明の車両制御方法における利用者候補顔画像取得ステップに相当し、非登録利用者乗車認識部15により実行される処理は本発明の車両制御方法における非登録利用者乗車認識ステップに相当する。非登録利用者顔画像取得部16により実行される処理は本発明の車両制御方法における非登録利用者顔画像取得ステップに相当し、車両エントリー制御部18により実行される処理は本発明の車両制御方法における車両エントリー制御ステップに相当する。
鍵認証部11は、図1に示したように、携帯鍵200を所持した登録利用者U1が車両1に近づいたときに、通信ユニット120を介して携帯鍵200との間で通信を行って、携帯鍵200からIDコードを受信する。そして、鍵認証部11は、受信したIDコードとメモリ80に保存された認証用IDコード82とが一致したときに、登録利用者U1により車両1の使用を許可する。これにより、登録利用者U1は、車両1を操作することができるようになる。また、登録利用者U1から携帯鍵200を貸与された他の利用者も、携帯鍵200を所持することで、車両1を使用することができる。
図1に示したように、携帯鍵200には、車両1の施錠と解錠を指示するための施解錠ボタン201、右パワーヒンジドア2の開閉を指示するための右パワーヒンジドアボタン202、左パワーヒンジドア3の開閉を指示するための左パワーヒンジドアボタン203、右パワースライドドア4の開閉を指示するための右パワースライドドアボタン204、左パワースライドドア5の開閉を指示するための左パワースライドドアボタン205、及びパワーテールゲート6の開閉を指示するためのパワーテールゲートボタン206が備えられている。
登録利用者U1は、携帯鍵200の施解錠ボタン201を操作して車両1の各ドア2〜6を解錠し、車両1に乗車することができる。また、登録利用者U1は、携帯鍵200のボタン202〜206の操作により、車両1に対してパワードアの開及び閉指示を行うことができる。携帯鍵200を所持して車両1に乗車した利用者U1は、電源スイッチ72をオン操作して車両1を起動し、車両1の使用を開始する。
通信制御部12は、通信ユニット120を介して登録利用者端末210(図1参照)との間の通信制御を行う。電源状態認識部13は、電源スイッチ72の操作に応じて、バッテリ150がオン状態あるかオフ状態であるかを認識する。なお、バッテリ150から負荷151に出力される電力を検出して、バッテリ150がオン状態であるかオフ状態であるかを認識するようにしてよい。
[3.登録利用者に対する車両エントリー制御]
図3を参照して、登録利用者U1に対する車両エントリー制御について説明する。車両エントリー制御は、車両エントリー制御部18によって実行される。車両エントリー制御部18は、利用者候補顔画像取得部14により取得される車両1の周囲に所在する利用者候補の顔画像(利用者候補顔画像)を用いて、登録利用者U1の顔認証を行う。
利用者候補顔画像取得部14は、右サイドカメラ40の撮影画像、及び左サイドカメラ50の撮影画像から、車両1に周囲に所在する人の顔画像を抽出することにより、車両1に近づいた利用者の候補の顔画像(利用者候補顔画像)を取得する。図3のAr1は右サイドカメラ40の撮影範囲であり、Ar2は左サイドカメラ50の撮影範囲である。なお、フロントカメラ30、及びリアカメラ60の撮影画像からも、人の顔画像を抽出して、利用者候補顔画像を取得するようにしてもよい。
図3は、登録利用者U1、及び、車両1の使用者として登録されていない非登録利用者U2、U3、U4が、車両1に乗車するために車両1に近づいた状況を示している。この状況では、右サイドカメラ40により、登録利用者U1と非登録利用者U2が撮影され、利用者候補顔画像取得部14により、登録利用者U1の顔画像と非登録利用者U2の顔画像が、利用者候補顔画像として取得される。
車両エントリー制御部18は、登録利用者U1と非登録利用者U2の顔画像を、登録利用者情報83に記録された登録利用者U1の認証用顔画像である登録利用者顔画像と照合する。そして、車両エントリー制御部18は、登録利用者U1の顔画像と認証用顔画像の一致率(本発明の一致度合に相当する)が第2判定レベル(例えば90%)以上であるときに、車両1へのエントリーを許可する。
すなわち、車両エントリー制御部18は、車両1のパワードアを解錠すると共に、車両1の走行操作が可能な第2エントリー可能状態とする。これにより、登録利用者U1は、車両1に乗車して電源スイッチ72をオン操作し、車両1を走行させることができる。なお、顔画像の一致度合としては、一致率の他に、特徴量の差等を用いてもよい。
一方、非登録利用者U2については、車両エントリー制御部18は、利用者候補顔画像として取得された非登録利用者U2の顔画像と、登録利用者情報83に記録された登録利用者顔画像(登録利用者U1の認証用顔画像)との一致率が第2判定レベル以上とならないので、車両1へのエントリーを許可しない。非登録利用者U3、U4の顔画像が、利用者候補顔画像取得部14により取得された場合も同様である。非登録利用者U2〜U4は、車両エントリー制御部18により登録利用者U1に対して車両1へのエントリーが許可されて、車両1のパワードアが解錠された後に、車両1に乗車する。
[4.非登録利用者に対する車両エントリー制御]
図4、図5を参照しつつ、図6〜図7に示したフローチャートに従って、非登録利用者U2〜U4に対する車両エントリー制御について説明する。車両エントリー制御部18は、図4に示したように、車両1に同乗した非登録利用者U2〜U4に対する車両エントリー制御として、車両1から降車した非登録利用者U2〜U4に対して、一時的に車両1へのエントリーを許可する制御を実行する。
図6のステップS1〜ステップS3は、非登録利用者乗車認識部15による処理である。非登録利用者乗車認識部15は、ステップS1で、電源状態認識部13により、電源150がオフ状態からオン状態に切替わったことが認識されたときに、ステップS2に処理を進める。そして、非登録利用者乗車認識部15は、前席カメラ70又は後席カメラ71による撮影画像から、登録利用者U1以外の非登録利用者(図4では非登録利用者U2〜U4)が車両1に乗車したか否かを判断する。
非登録利用者乗車認識部15は、非登録利用者が車両1に乗車したときはステップS3に処理を進める。一方、非登録利用者が車両1に乗車しなかったときには、非登録利用者乗車認識部15は、ステップS9に処理を進め、この場合は、非登録利用者に対する車両エントリー制御は実行されない。
ステップS3は、非登録利用者顔画像取得部16、及び登録利用者情報保存部17による処理である。非登録利用者顔画像取得部16は、前席カメラ70又は後席カメラ71の撮影画像から抽出した非登録利用者の顔画像(図4では非登録利用者U2〜U4の顔画像)を、非登録利用者顔画像として取得する。登録利用者情報保存部17は、非登録利用者顔画像取得部16により取得された非登録利用者顔画像を、登録利用者情報83に記録して保存する。これにより、非登録利用者顔画像と登録利用者端末の情報とが関連付けられて、メモリ80に保存される。
続くステップS4〜S6は、車両エントリー制御部18による処理である。車両エントリー制御部18は、ステップS4で、電源状態認識部13により、電源150がオン状態からオフ状態に切替わったことが認識されたときに、ステップS5に処理を進めてタイマをスタートさせる。タイマの設定時間は、例えば30分に設定される。タイマの設定時間は、本発明の所定時間に相当する。
なお、電源状態認識部13により電源150がオン状態からオフ状態に切替わったことの判断は、車両1の使用が終了したことを認識するために行われる。車両1の使用が終了したことを、電源150がオン状態からオフ状態に切替わったことに加えて、或いは、電源150がオン状態からオフ状態に切替わったことに代えて、速度センサ110により車両1が停止していることが検出されていること、シフトスイッチ73aによりシフトレバー73がパーキングポジションであることが検出されていること、ドアスイッチ75a〜75dによりパワードアが開閉されたことが検出されたこと、シートベルトスイッチ74a〜74fによりシートベルトが外されたことが検出されたこと、ドアロック機構100a〜100dのロックセンサによりパワードアが解錠された後に施錠されたこと、等により、車両1の使用が終了したことを認識してもよい。
続くステップS6及びS30は、非登録利用者顔画像取得部16、及び登録利用者情報保存部17による処理である。ステップS6で、非登録利用者顔画像取得部16は、車外カメラ(右サイドカメラ40、左サイドカメラ50)の撮影画像から、非登録利用者顔画像を探索し、非登録利用者顔画像を取得したときはステップS30に処理を進める。一方、車外カメラの撮影画像から非登録利用者顔画像を取得しなかったときには、非登録利用者顔画像取得部16は、ステップS6からステップS7に処理を進める。
非登録利用者顔画像取得部16は、車外カメラの撮影画像から抽出した顔画像と、ステップS3で登録利用者情報83に記録された非登録利用者顔画像との一致率が所定の採用判定レベル以上であるときに、抽出した顔画像が非登録利用者の顔画像であると判断し、非登録利用者顔画像として取得する。
ステップS30で、登録利用者情報保存部17は、ステップS6で非登録利用者顔画像取得部16により取得された非登録利用者顔画像を、登録利用者情報83に追加して記録するか、或いはステップS3で既に記録された非登録利用者顔画像と入れ替える。そして、登録利用者情報保存部17は、ステップS7に処理を進める。
ステップS7以降は、車両エントリー制御部18による処理である。車両エントリー制御部18は、ステップS7とステップS8のループ処理により、ステップS8でタイマがタイムアップするまで、ステップS8で、利用者候補顔画像取得部14により、利用者候補顔画像が取得されたか否かを判断する。そして、車両エントリー制御部18は、利用者候補顔画像が取得されたときは図7のステップS40に処理を進める。
図7のステップS40で、車両エントリー制御部18は、利用者候補顔画像取得部14により取得された利用者候補顔画像と、登録利用者情報83に記録された非登録利用者顔画像との一致率が第1判定レベル(例えば90%)以上であるか否かを判断する。そして、車両エントリー制御部18は、利用者候補顔画像と非登録利用者顔画像との一致率が第1判定レベル以上であるときはステップS41に処理を進め、利用者候補顔画像と非登録利用者顔画像との一致率が第1判定レベル未満であるときはステップS50に処理を進める。
ステップS41で、車両エントリー制御部18は、車両1のパワードアを解錠して、車両1の走行操作が不能な第1エントリー可能状態とする。第1エントリー可能状態では、非登録利用者は解錠されたパワードアを開けて車両1に乗車することができ、また、車両1から降車したときにパワードアを施錠することができる。但し、電源スイッチ72のオン操作等の車両1の走行に必要な操作は不能な状態とされる。
図5は、非登録利用者U2が、車両1から降りた後に、車両1の車室に置き忘れた物を取りに戻った状況を示している。この状況においては、利用者候補顔画像取得部14により、非登録利用者U2の顔画像が利用者候補顔画像として取得される。そして、車両エントリー制御部18により、利用者候補顔画像と登録利用者情報83に記録された非登録利用者U2の非登録利用者顔画像との一致率が、第1判定レベル以上であると判断されて、車両1のパワードアが解錠される。これにより、非登録利用者U2は、車両1のパワードアを開けて車室内に入ることができる。但し、非登録利用者U2は、電源スイッチ72をオン操作して車両1を走行させることはできない。
次のステップS42で、車両エントリー制御部18は、登録利用者情報83に記録された非登録利用者顔画像、又はステップS40で非登録利用者顔画像との一致率が第1判定レベル以上であると判断された利用者候補顔画像を含んで、車両1を第1エントリー状態としたことを通知するエントリー許可通知情報を、通信制御部12及び通信ユニット120を介して、登録利用者端末210に送信する。そして、車両エントリー制御部18は、図6のステップS7に処理を進める。
図5の例では、非登録利用者U2の顔画像(登録利用者情報83に記録されたU2の非登録利用者顔画像、又はステップS40で非登録利用者顔画像との一致率が第3判定レベル以上であると判断された利用者候補顔画像)を含むエントリー許可情報が、登録利用者端末210に送信される。登録利用者U1は、登録利用者端末210の表示に表示される非登録利用者U2の顔画像を視認することで、非登録利用者U2に対して、車両1への乗車が許可されたことを認識することができる。
ステップS50で、車両エントリー制御部18は、利用者候補顔画像取得部14により取得された利用者候補顔画像と、登録利用者情報83に記録された非登録利用者顔画像との一致率が第3判定レベル(例えば60%)以上であるか否かを判断する。そして、車両エントリー制御部18は、利用者候補顔画像と非登録利用者顔画像との一致率が第3判定レベル以上であるときはステップS54に処理を進め、利用者候補顔画像と非登録利用者顔画像との一致率が第3判定レベル未満であるときは図6のステップS7に処理を進める。
ステップS51で、車両エントリー制御部18は、ステップS50で、非登録利用者顔画像との一致率が第3判定レベル以上であると判断された利用者候補顔画像を含んで、車両1を第1エントリー可能状態とするか否かを問い合わせるエントリー可否確認情報を、通信制御部12及び通信ユニット120を介して、登録利用者端末210に送信する。
エントリー可否確認情報を受信した登録利用者端末210は、利用者候補顔画像を表示部に表示してエントリーの可否の指示を促すエントリー確認画面を、表示部に表示する。登録利用者U1は、登録利用者端末210によりエントリー確認画面を視認して、利用者候補顔画像により特定される非登録利用者に対して、車両1のエントリーを許可するか否かを判断する。そして、登録利用者U1は、非登録利用者に対して車両1へのエントリーを許可する場合は、エントリー指示情報を、車両1の車両制御装置10に対して送信する。
車両エントリー制御部18は、登録利用者端末210からエントリー指示情報を受信したときに、ステップS52からステップS53に処理を進める。そして、車両エントリー制御部18は、車両1のパワードアを解錠して第1エントリー可能状態とし、図6のステップS7に処理を進める。
以上説明したように、車両エントリー制御部18は、車両1に同乗した非登録利用者に対して、非登録利用者顔画像を登録利用者情報83に記録することにより、車両1の使用が終了した時点から所定時間が経過するまでの間、顔認証による車両1へのエントリーを許可する。これにより、非登録利用者は、車両1の携帯鍵200を所持していない場合であっても、また、登録利用者U1が同行していない場合であっても、顔認証により車両1のパワードアを解錠して、忘れ物の回収等を行うことができる。
[5.他の実施形態]
上記実施形態では、図6のステップS6、ステップS7の処理により、非登録利用者顔画像取得部16は、車外カメラの撮影画像からも非登録利用者顔画像を取得し、登録利用者情報保存部17は、車外カメラの撮影画像から取得した非登録利用者顔画像を登録利用者情報83に記録した。他の実施形態として、ステップS6とステップS7の処理を省略して、車内カメラ(前席カメラ70、後席カメラ71)の撮影画像から取得された登録利用者顔画像のみを用いるようにしてもよい。
また、非登録利用者顔画像を、車両1に備えられたカメラではなく、他のカメラにより撮影された画像から、非登録利用者顔画像を取得するようにしてもよい。例えば、登録利用者により使用される非登録利用者端末に備えられたカメラにより撮影された非登録利用者の画像を非登録利用者端末から受信し、受信した非登録利用者の画像から非登録利用者顔画像を取得するようにしてもよい。
上記実施形態では、図7のステップS42で、車両エントリー制御部18は、登録利用者端末210に送信したが、ステップS42の処理を省略してもよい。
上記実施形態では、図7のステップS50〜S53で、利用者候補顔画像と非登録利用者顔画像との一致率が、第1判定レベルよりも低く且つ第3判定レベル以上であるときに、エントリー許可確認情報を登録利用者端末210に送信して、登録利用者U1に対して、車両1を第1エントリー状態とすることの可否を問い合わせた。他の実施形態として、ステップS50〜S53の処理を省略して、利用者候補顔画像と非登録利用者顔画像との一致率が第1判定レベル未満であるときには、車両1を第1エントリー状態とすることを禁止してもよい。
上記実施形態において、非登録利用者乗車認識部15は、電源状態認識部13により、電源150がオフ状態からオン状態に切替わったことが認識されたときに、登録利用者U1以外の非登録利用者が車両1に乗車したか否かを判断した。他の実施形態として、速度センサ110の検出信号から車両1の走行速度を認識する走行速度認識部を備えて、非登録利用者認識部15が、走行速度認識部により認識される前記車両の走行速度に基づいて、車両1が走行を開始したことを認識した後に、非登録利用者が前記車両に乗車したことを認識するようにしてもよい。また、非登録利用者乗車認識部15が、車内カメラの撮影画像に基づいて、非登録利用者が所定時間(例えば3分)以上車両1の車室内に留まっていることを認識したときに、非登録利用者が車両に乗車したと認識するようにしてもよい。
なお、図1、図2は、本願発明の理解を容易にするために、車両1及び車両制御装置10の構成を、主な処理内容により区分して示した概略図であり、車両1及び車両制御装置10の構成を、他の区分によって構成してもよい。また、各構成要素の処理は、1つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、図6〜図7に示した各構成要素による処理は、1つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。
[6.上記実施形態によりサポートされる構成]
上記実施形態は、以下の構成の具体例である。
(第1項)車両に備えられたカメラにより撮影される前記車両の周囲画像から、前記車両の周囲に所在する前記車両の利用者候補の顔画像である、利用者候補顔画像を取得する利用者候補顔画像取得部と、前記車両に対する利用者登録がなされていない非登録利用者が、前記車両に乗車したことを認識する非登録利用者乗車認識部と、前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識されたときに、前記非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得部と、前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識された後、所定時間が経過するまでの間に、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、前記車両を第1エントリー可能状態とする車両エントリー制御部と、を備える車両制御装置。
第1項の車両制御装置によれば、非登録利用者が車両に乗車したときに、非登録利用者顔画像取得部により非登録利用者顔画像が取得される。そして、非登録利用者が車両に乗車したことが認識された後、所定時間が経過するまでの間に、利用者候補顔画像取得部により取得された利用者候補顔画像と非登録利用者顔画像との一致度合が、第1判定レベル以上であるときに、車両エントリー制御部により、車両が第1エントリー可能状態とされる。
これにより、車両へのエントリーを、登録利用者以外の同乗者についても可能とすることができる。
(第2項)前記車両エントリー制御部は、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記車両に対する利用者登録がなされた登録利用者の認証用顔画像との一致度合が、第2判定レベル以上となったときに、前記車両を、前記車両のドアが解錠されて前記車両の走行操作が可能な第2エントリー可能状態とし、前記第1エントリー可能状態は、前記車両のドアが解錠されて前記車両を走行させるための操作が不能な状態である第1項に記載の車両制御装置。
第2項の車両制御装置によれば、登録利用者に対しては、車両のドアが解錠されて車両を走行させる操作が許可されるのに対して、非登録利用者に対しては、車両のドアは解錠されるが、車両を走行させるための操作は禁止される。これにより、非登録利用者に対して、車両の使用を制限することができる。
(第3項)前記非登録利用者顔画像取得部は、前記カメラにより撮影される前記車両の周囲画像から、前記非登録利用者の顔画像が抽出されたときに、抽出された前記非登録利用者の顔画像を、前記非登録利用者顔画像として取得する第1項又は第2項に記載の車両制御装置。
第3項の車両制御装置によれば、車両から降車した非登録利用者が車両に戻るときに近い状況で、カメラにより撮影される非登録利用者の顔画像を、非登録利用者の認証用顔画像とすることができる。これにより、非登録利用者の認証精度を高めることができる。
(第4項)前記車両の電源の状態を認識する電源状態認識部を備え、前記非登録利用者乗車認識部は、前記電源状態認識部により前記電源がオン状態からオフ状態に移行したことが認識された後に、前記非登録利用者が前記車両に乗車したことを認識する第1項から第3項のうちいずれか1項に記載の車両制御装置。
第4項の車両制御装置によれば、電源がオン状態からオフ状態に移行して、車両の使用が終了したと推測される場合に、車両に戻ったときに近い状況で、第1カメラにより撮影される非登録利用者の顔画像を、非登録利用者の認証用顔画像とすることができる。
(第5項)前記車両の走行速度を認識する走行速度認識部を備え、前記非登録利用者乗車認識部は、前記走行速度認識部により認識される前記車両の走行速度に基づいて、前記車両が走行を開始したことを認識した後に、前記非登録利用者が前記車両に乗車したことを認識する第1項から第4項のうちいずれか1項に記載の車両制御装置。
第5項の車両制御装置によれば、車両が走行を開始した後に、非登録利用者が車両に乗車したことを認識することにより、例えば、車両が走行を開始する前に車両の点検を行ったサービス員等に対して、車両へのエントリーが許可されることを回避することができる。
(第6項)前記非登録利用者乗車認識部は、前記非登録利用者が所定時間以上前記車両の車室内に留まっていることを認識したときに、前記非登録利用者が前記車両に乗車したと認識する第1項から第5項のうちいずれか1項に記載の車両制御装置。
第6項の車両制御装置によれば、例えば、車両への飲食物の受け渡し等のために、車両に一時的に乗り込んだ販売員等に対して、車両へのエントリーが許可されることを回避することができる。
(第7項)前記車両に対する利用者登録がなされた登録利用者により使用される登録利用者端末との間で通信を行う通信制御部と、前記非登録利用者顔画像と前記登録利用者端末の情報とを関連付けた登録利用者情報を、記憶部に保存する登録利用者情報保存部と、を備え、前記車両エントリー制御部は、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が、前記第1判定レベル以上となって、前記車両を前記第1エントリー可能状態としたときに、前記登録利用者情報を参照して前記登録利用者端末の情報を取得することにより、前記非登録利用者顔画像又は前記利用者候補顔画像を含んで、前記車両を前記第1エントリー可能状態としたことを通知するエントリー許可通知情報を、前記通信制御部を介して前記登録利用者端末に送信する第1項から第4項のうちいずれか1項に記載の車両制御装置。
第7項に記載の車両制御装置によれば、非登録利用者に対して車両へのエントリーが許可されたことを、登録利用者に通知することができる。
(第8項)前記車両エントリー制御部は、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が、前記第1判定レベルよりも低く、且つ第3判定レベル以上であるときには、前記登録利用者端末に対して、前記利用者候補顔画像を含んで、前記車両を前記第1エントリー可能状態とするか否かを問い合わせるエントリー可否確認情報を、前記通信制御部を介して前記登録利用者端末に送信する第5項に記載の車両制御装置。
第8項に記載の車両制御装置によれば、非登録利用者の認識確度が低い場合に、エントリー可否確認情報を登録利用者端末に送信することにより、非登録利用者に対して車両へのエントリーを許可するか否かの判断を、登録利用者に委ねることができる。
(第9項)コンピュータにより実行される車両制御方法であって、車両に備えられたカメラにより撮影される前記車両の周囲画像から、前記車両の周囲に所在する前記車両の利用者候補の顔画像である、利用者候補顔画像を取得する利用者候補顔画像取得ステップと、前記車両に対する利用者登録がなされていない非登録利用者が、前記車両に乗車したことを認識する非登録利用者乗車認識ステップと、前記非登録利用者乗車認識ステップにより、前記非登録利用者が前記車両に乗車したことが認識されたときに、前記非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得ステップと、前記非登録利用者乗車認識ステップにより、前記非登録利用者が前記車両に乗車したことが認識された後、所定時間が経過するまでの間に、前記利用者候補顔画像取得ステップにより取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、前記車両を第1エントリー可能状態とする車両エントリー制御ステップと、を含む車両制御方法。
第9項の車両制御方法をコンピュータにより実行することによって、上記第1項の車両制御装置と同様の作用効果を得ることができる。
(第10項)コンピュータを、車両に備えられたカメラにより撮影される前記車両の周囲画像から、前記車両の周囲に所在する前記車両の利用者候補の顔画像である、利用者候補顔画像を取得する利用者候補顔画像取得部と、前記車両に対する利用者登録がなされていない非登録利用者が、前記車両に乗車したことを認識する非登録利用者乗車認識部と、前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識されたときに、前記非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得部と、前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識された後、所定時間が経過するまでの間に、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、前記車両を第1エントリー可能状態とする車両エントリー制御部と、して機能させる車両制御用プログラム。
第10項の車両制御用プログラムをコンピュータにより実行させることによって、上記第1項の車両制御装置の構成を実現することができる。
1…車両、2…右パワーヒンジドア、3…左パワーヒンジドア、4…右パワースライドドア、5…左パワースライドドア、6…パワーテールゲート、10…車両制御装置、11…鍵認証部、12…通信制御部、13…電源状態認識部、14…利用者候補顔画像取得部、15…非登録利用者乗車認識部、16…非登録利用者顔画像取得部、17…登録利用者情報保存部、18…車両エントリー制御部、80…メモリ、81…制御用プログラム、82…認証用IDコード、83…登録利用者情報、210…登録利用者端末。

Claims (10)

  1. 車両に備えられたカメラにより撮影される前記車両の周囲画像から、前記車両の周囲に所在する前記車両の利用者候補の顔画像である、利用者候補顔画像を取得する利用者候補顔画像取得部と、
    前記車両に対する利用者登録がなされていない非登録利用者が、前記車両に乗車したことを認識する非登録利用者乗車認識部と、
    前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識されたときに、前記非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得部と、
    前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識された後、所定時間が経過するまでの間に、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、前記車両を第1エントリー可能状態とする車両エントリー制御部と、
    を備える車両制御装置。
  2. 前記車両エントリー制御部は、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記車両に対する利用者登録がなされた登録利用者の認証用顔画像との一致度合が、第2判定レベル以上となったときに、前記車両を、前記車両のドアが解錠されて前記車両の走行操作が可能な第2エントリー可能状態とし、
    前記第1エントリー可能状態は、前記車両のドアが解錠されて前記車両を走行させるための操作が不能な状態である
    請求項1に記載の車両制御装置。
  3. 前記非登録利用者顔画像取得部は、前記カメラにより撮影される前記車両の周囲画像から、前記非登録利用者の顔画像が抽出されたときに、抽出された前記非登録利用者の顔画像を、前記非登録利用者顔画像として取得する
    請求項1又は請求項2に記載の車両制御装置。
  4. 前記車両の電源の状態を認識する電源状態認識部を備え、
    前記非登録利用者乗車認識部は、前記電源状態認識部により前記電源がオン状態からオフ状態に移行したことが認識された後に、前記非登録利用者が前記車両に乗車したことを認識する
    請求項1から請求項3のうちいずれか1項に記載の車両制御装置。
  5. 前記車両の走行速度を認識する走行速度認識部を備え、
    前記非登録利用者乗車認識部は、前記走行速度認識部により認識される前記車両の走行速度に基づいて、前記車両が走行を開始したことを認識した後に、前記非登録利用者が前記車両に乗車したことを認識する
    請求項1から請求項4のうちいずれか1項に記載の車両制御装置。
  6. 前記非登録利用者乗車認識部は、前記非登録利用者が所定時間以上前記車両の車室内に留まっていることを認識したときに、前記非登録利用者が前記車両に乗車したと認識する
    請求項1から請求項5のうちいずれか1項に記載の車両制御装置。
  7. 前記車両に対する利用者登録がなされた登録利用者により使用される登録利用者端末との間で通信を行う通信制御部と、
    前記非登録利用者顔画像と前記登録利用者端末の情報とを関連付けた登録利用者情報を、記憶部に保存する登録利用者情報保存部と、を備え、
    前記車両エントリー制御部は、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が、前記第1判定レベル以上となって、前記車両を前記第1エントリー可能状態としたときに、前記登録利用者情報を参照して前記登録利用者端末の情報を取得することにより、前記非登録利用者顔画像又は前記利用者候補顔画像を含んで、前記車両を前記第1エントリー可能状態としたことを通知するエントリー許可通知情報を、前記通信制御部を介して前記登録利用者端末に送信する
    請求項1から請求項6のうちいずれか1項に記載の車両制御装置。
  8. 前記車両エントリー制御部は、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が、前記第1判定レベルよりも低く、且つ第3判定レベル以上であるときには、前記登録利用者端末に対して、前記利用者候補顔画像を含んで、前記車両を前記第1エントリー可能状態とするか否かを問い合わせるエントリー可否確認情報を、前記通信制御部を介して前記登録利用者端末に送信する
    請求項7に記載の車両制御装置。
  9. コンピュータにより実行される車両制御方法であって、
    車両に備えられたカメラにより撮影される前記車両の周囲画像から、前記車両の周囲に所在する前記車両の利用者候補の顔画像である、利用者候補顔画像を取得する利用者候補顔画像取得ステップと、
    前記車両に対する利用者登録がなされていない非登録利用者が、前記車両に乗車したことを認識する非登録利用者乗車認識ステップと、
    前記非登録利用者乗車認識ステップにより、前記非登録利用者が前記車両に乗車したことが認識されたときに、前記非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得ステップと、
    前記非登録利用者乗車認識ステップにより、前記非登録利用者が前記車両に乗車したことが認識された後、所定時間が経過するまでの間に、前記利用者候補顔画像取得ステップにより取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、前記車両を第1エントリー可能状態とする車両エントリー制御ステップと、
    を含む車両制御方法。
  10. コンピュータを、
    車両に備えられたカメラにより撮影される前記車両の周囲画像から、前記車両の周囲に所在する前記車両の利用者候補の顔画像である、利用者候補顔画像を取得する利用者候補顔画像取得部と、
    前記車両に対する利用者登録がなされていない非登録利用者が、前記車両に乗車したことを認識する非登録利用者乗車認識部と、
    前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識されたときに、前記非登録利用者の顔画像である非登録利用者顔画像を取得する非登録利用者顔画像取得部と、
    前記非登録利用者乗車認識部により、前記非登録利用者が前記車両に乗車したことが認識された後、所定時間が経過するまでの間に、前記利用者候補顔画像取得部により取得された前記利用者候補顔画像と、前記非登録利用者顔画像との一致度合が第1判定レベル以上となったときに、前記車両を第1エントリー可能状態とする車両エントリー制御部と、
    して機能させる車両制御用プログラム。
JP2020048070A 2020-03-18 2020-03-18 車両制御装置、車両制御方法、及び車両制御用プログラム Active JP7419122B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020048070A JP7419122B2 (ja) 2020-03-18 2020-03-18 車両制御装置、車両制御方法、及び車両制御用プログラム
US17/197,772 US11364876B2 (en) 2020-03-18 2021-03-10 Vehicle control device, vehicle control method, and recording medium
CN202110274950.3A CN113492799B (zh) 2020-03-18 2021-03-15 车辆控制装置、车辆控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020048070A JP7419122B2 (ja) 2020-03-18 2020-03-18 車両制御装置、車両制御方法、及び車両制御用プログラム

Publications (2)

Publication Number Publication Date
JP2021147855A true JP2021147855A (ja) 2021-09-27
JP7419122B2 JP7419122B2 (ja) 2024-01-22

Family

ID=77747437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020048070A Active JP7419122B2 (ja) 2020-03-18 2020-03-18 車両制御装置、車両制御方法、及び車両制御用プログラム

Country Status (3)

Country Link
US (1) US11364876B2 (ja)
JP (1) JP7419122B2 (ja)
CN (1) CN113492799B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195113A1 (ja) * 2022-04-07 2023-10-12 三菱電機株式会社 ドアロック制御装置、およびドアロック制御方法
WO2023233990A1 (ja) * 2022-05-31 2023-12-07 株式会社デンソー 認証装置及び認証方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795356B2 (en) * 2017-08-31 2020-10-06 Uatc, Llc Systems and methods for determining when to release control of an autonomous vehicle
KR20210050938A (ko) * 2019-10-29 2021-05-10 현대자동차주식회사 얼굴 인식 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005119528A (ja) * 2003-10-17 2005-05-12 Alpine Electronics Inc 車両用顔画像処理装置
JP2008162498A (ja) * 2006-12-28 2008-07-17 Toshiba Corp 乗り物管理システム
JP2013036251A (ja) * 2011-08-09 2013-02-21 Aisin Seiki Co Ltd 車載カメラと携帯情報端末機による車両開閉体操作装置及びシステム並びにその制御方法
WO2015151862A1 (ja) * 2014-04-01 2015-10-08 みこらった株式会社 自動車及び自動車用プログラム
JP2017001615A (ja) * 2015-06-15 2017-01-05 トヨタ自動車株式会社 認証装置、認証システムおよび認証方法
US20170316254A1 (en) * 2016-04-29 2017-11-02 Faraday&Future Inc. Remote camera access
JP2018120293A (ja) * 2017-01-23 2018-08-02 株式会社デンソー 車両運行管理システム
JP2018120294A (ja) * 2017-01-23 2018-08-02 コニカミノルタ株式会社 画像処理装置、入力パターン確認方法、およびコンピュータプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003138817A (ja) 2001-10-31 2003-05-14 Denso Corp 車両のキーレスエントリーシステム、個人識別方法及び個人識別システム
AU2003289313A1 (en) * 2002-12-13 2004-07-09 Matsushita Electric Industrial Co., Ltd. Onboard device control system, onboard device controller, and onboard device control method
JP2004276782A (ja) * 2003-03-17 2004-10-07 Aisin Seiki Co Ltd 車両監視装置
JP2005001642A (ja) * 2003-04-14 2005-01-06 Fujitsu Ten Ltd 盗難防止装置、監視装置、及び盗難防止システム
JP4564320B2 (ja) * 2004-09-29 2010-10-20 アイシン精機株式会社 ドライバモニタシステム
JP4713932B2 (ja) * 2005-04-25 2011-06-29 株式会社東海理化電機製作所 車両セキュリティ装置、及び車両セキュリティシステム
JP5360491B2 (ja) * 2009-11-13 2013-12-04 アイシン精機株式会社 多機能カメラシステム
US10164985B2 (en) * 2010-11-29 2018-12-25 Biocatch Ltd. Device, system, and method of recovery and resetting of user authentication factor
US9082239B2 (en) * 2012-03-14 2015-07-14 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
US9488982B2 (en) * 2013-02-03 2016-11-08 Michael H Gurin Systems for a shared vehicle
US9440658B2 (en) * 2014-05-05 2016-09-13 GM Global Technology Operations LLC System and method for controlling an automobile using eye gaze data
KR101586228B1 (ko) * 2014-08-27 2016-01-18 주식회사 켐트로닉스 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
JP6590281B2 (ja) * 2016-02-04 2019-10-16 みこらった株式会社 自動車及び自動車用プログラム
US10824704B2 (en) * 2017-02-24 2020-11-03 Gentex Corporation Two factor biometric authentication for auto
US10440536B2 (en) * 2017-05-19 2019-10-08 Waymo Llc Early boarding of passengers in autonomous vehicles
JP6534430B2 (ja) * 2017-09-29 2019-06-26 本田技研工業株式会社 鞍乗り型車両
US11014533B2 (en) * 2018-01-05 2021-05-25 Byton Limited Platform for automotive personalization
CN110619256A (zh) * 2018-06-19 2019-12-27 杭州海康威视数字技术股份有限公司 道路监控检测方法及装置
JP7161318B2 (ja) * 2018-06-20 2022-10-26 矢崎総業株式会社 乗車人数監視システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005119528A (ja) * 2003-10-17 2005-05-12 Alpine Electronics Inc 車両用顔画像処理装置
JP2008162498A (ja) * 2006-12-28 2008-07-17 Toshiba Corp 乗り物管理システム
JP2013036251A (ja) * 2011-08-09 2013-02-21 Aisin Seiki Co Ltd 車載カメラと携帯情報端末機による車両開閉体操作装置及びシステム並びにその制御方法
WO2015151862A1 (ja) * 2014-04-01 2015-10-08 みこらった株式会社 自動車及び自動車用プログラム
JP2017001615A (ja) * 2015-06-15 2017-01-05 トヨタ自動車株式会社 認証装置、認証システムおよび認証方法
US20170316254A1 (en) * 2016-04-29 2017-11-02 Faraday&Future Inc. Remote camera access
JP2018120293A (ja) * 2017-01-23 2018-08-02 株式会社デンソー 車両運行管理システム
JP2018120294A (ja) * 2017-01-23 2018-08-02 コニカミノルタ株式会社 画像処理装置、入力パターン確認方法、およびコンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195113A1 (ja) * 2022-04-07 2023-10-12 三菱電機株式会社 ドアロック制御装置、およびドアロック制御方法
WO2023233990A1 (ja) * 2022-05-31 2023-12-07 株式会社デンソー 認証装置及び認証方法

Also Published As

Publication number Publication date
US11364876B2 (en) 2022-06-21
JP7419122B2 (ja) 2024-01-22
CN113492799A (zh) 2021-10-12
CN113492799B (zh) 2023-08-01
US20210291790A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP7419122B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
US11518344B2 (en) Vehicular security system with biometric authorization feature
CN113494230B (zh) 车辆控制装置、车辆控制方法及记录介质
JPH09273337A (ja) キーレスエントリシステム
CN113799728A (zh) 车辆控制系统以及车辆控制方法
JP7410764B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
CN113744433B (zh) 进入辅助系统、进入辅助方法以及记录介质
CN115705422A (zh) 与乘员相应的车辆设定系统和车辆
US11691578B2 (en) Vehicle control device, vehicle control method, and recording medium
CN113494231B (zh) 车辆控制装置、车辆控制方法及记录介质
JP7358297B2 (ja) エントリー支援システム、エントリー支援方法、及びエントリー支援プログラム
JP2019218057A (ja) 自動車及び自動車用プログラム
JP2004330979A (ja) 車両の駆動制御装置
JP2021189611A (ja) 車両制御システム、車両制御方法、及び車両制御プログラム
CN115705421A (zh) 与乘员相应的车辆设定系统和车辆
CN115705423A (zh) 与乘员相应的车辆设定系统和车辆
CN115705420A (zh) 与乘员相应的车辆设定系统和车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240110

R150 Certificate of patent or registration of utility model

Ref document number: 7419122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150