JP2022133769A - 車両制御装置、及び車両制御方法 - Google Patents

車両制御装置、及び車両制御方法 Download PDF

Info

Publication number
JP2022133769A
JP2022133769A JP2021032648A JP2021032648A JP2022133769A JP 2022133769 A JP2022133769 A JP 2022133769A JP 2021032648 A JP2021032648 A JP 2021032648A JP 2021032648 A JP2021032648 A JP 2021032648A JP 2022133769 A JP2022133769 A JP 2022133769A
Authority
JP
Japan
Prior art keywords
vehicle
person
camera
user authentication
registered user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2021032648A
Other languages
English (en)
Inventor
海嵩 劉
Haisong Liu
亮 茂呂澤
Ryo Morosawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021032648A priority Critical patent/JP2022133769A/ja
Priority to CN202210124391.2A priority patent/CN114987390A/zh
Priority to US17/675,305 priority patent/US20220281413A1/en
Publication of JP2022133769A publication Critical patent/JP2022133769A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/2081Means to switch the anti-theft system on or off combined with personal settings of other vehicle devices, e.g. mirrors, seats, steering wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/40Features of the power supply for the anti-theft system, e.g. anti-theft batteries, back-up power supply or means to save battery power
    • B60R25/403Power supply in the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/32Detection related to theft or to other events relevant to anti-theft systems of vehicle dynamic parameters, e.g. speed or acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Lock And Its Accessories (AREA)

Abstract

【課題】車載カメラの消費電力を抑制して、車載カメラの撮像画像により、車両の周辺に存在する対象者を精度良く認証する。【解決手段】車両制御装置10は、物体検出センサ45の検出信号に基づいて、車両1の周辺に存在する対象物を認識する周辺対象物認識部21と、対象物Uが認識されたときに、第1解像度を有する第1カメラ41aにより対象物Uを撮影して、対象物Uが人であるか否かを判定する人判定処理を実行する人判定部22と、対象物Uが人であると判定されたときに、第1解像度よりも高い第2解像度を有する第2カメラ41bにより、人判定部22により人であると判定された第1対象者Uを撮影して、第1対象者Uの顔画像と車両1の登録利用者の顔画像とを照合することにより、第1対象者Uが登録利用者であるか否かを判断する第1利用者認証処理を実行する利用者認証部23と、を備える。【選択図】図2

Description

本発明は、車両制御装置、及び車両制御方法に関する。
従来、自車両の周辺を車載カメラにより撮影し、自車両に接近する対象者の画像から抽出した対象者の虹彩情報を用いて利用者認証を行うことによって、車両へのエントリー制御を行うスマートエントリーシステムが提案されている(例えば、特許文献1参照)。
特開2003-138817号公報
上記スマートエントリーシステムにように、車両に接近する対象者を、カメラの撮影画像によって認識する場合には、対象者の接近に備えて、カメラによる撮影と撮影画像から対象者を認識する処理を常時実行する必要がある。そのため、カメラの消費電力が多くなるという不都合がある。
本発明はかかる背景に鑑みてなされたものであり、車載カメラの消費電力を抑制して、車載カメラの撮像画像により、車両の周辺に存在する対象者を精度良く認証することができる車両制御装置、及び車両制御方法を提供することを目的とする。
上記目的を達成するための第1態様として、車両に搭載されて前記車両の周辺に存在する物体を検出する物体検出センサの検出信号に基づいて、前記車両の周辺に存在する対象物を認識する周辺対象物認識部と、前記周辺対象物認識部により前記対象物が認識されたときに、前記車両に搭載されて第1解像度を有する第1カメラにより前記対象物を撮影して、前記対象物の画像に基づいて前記対象物が人であるか否かを判定する人判定処理を実行する人判定部と、前記人判定部により前記対象物が人であると判定されたときに、前記車両に搭載されて前記第1解像度よりも高い第2解像度を有する第2カメラにより、前記人判定部により人であると判定された第1対象者を撮影して、前記第1対象者の顔画像と前記車両の登録利用者の顔画像とを照合することにより、前記第1対象者が前記登録利用者であるか否かを判断する第1利用者認証処理を実行する利用者認証部と、を備える車両制御装置が挙げられる。
上記車両制御装置において、前記周辺対象物認識部により認識された複数の前記対象物のうち、前記人判定部により人であると判定された前記対象物の割合が所定値以下であるときに、前記物体検出センサによる物体の検出感度を低下させる処理と、前記物体検出センサの検出範囲を縮小する処理と、前記物体検出センサの作動を所定時間禁止する処理とのうちの、少なくともいずれか一つの処理を実行する物体検出センサ制御部を備える構成としてもよい。
上記車両制御装置において、前記利用者認証部は、前記第1利用者認証処理により前記第1対象者が前記登録利用者ではないと判断される場合が所定回数以上続いた場合に、前記人判定処理により、前記第1カメラの撮影画像から人であると判定される対象物が抽出されなくなるまで、前記第1利用者認証処理の実行を禁止する構成としてもよい。
上記車両制御装置において、前記利用者認証部は、前記第1利用者認証処理により前記第1対象者が前記登録利用者ではないと判断される場合が所定回数以上続いた場合に、前記物体検出センサの作動を停止し、前記車両のドアに設けられたタッチセンサの操作を認識したときに、前記タッチセンサを操作した第2対象者を、前記第2カメラにより撮影して、前記第2対象者の顔画像と前記登録利用者の顔画像とを照合することにより、前記第2対象者が前記登録利用者であるか否かを判断する第2利用者認証処理を実行する構成としてもよい。
上記車両制御装置において、前記利用者認証部は、前記第2利用者認証処理により、前記第2対象者が前記登録利用者ではないと判断したときには、前記登録利用者により使用される利用者端末に対して、所定通知を送信する構成としてもよい。
上記車両制御装置において、前記利用者認証部は、前記車両が停止した後に、前記第1利用者認証処理により、前記車両周辺に存在する前記第1対象者が前記登録利用者でないと判断したときには、前記物体検出センサの作動を停止する構成としてもよい。
上記車両制御装置において、前記利用者認証部は、前記車両が停止した後に、前記第1利用者認証処理により、前記車両の周辺に存在する前記第1対象者が前記登録利用者であると判断したときには、前記物体検出センサの作動を継続する構成としてもよい。
上記車両制御装置において、前記利用者認証部は、前記第2カメラの撮影画像により前記登録利用者が前記車両から降車したことを認識したときに、その後、前記第2カメラの撮影画像による前記登録利用者の認識が不能になった時に前記物体検出センサの作動を停止する構成としてもよい。
上記目的を達成するための第2態様として、コンピュータにより実行される車両制御方法であって、車両に搭載されて前記車両の周辺に存在する物体を検出する物体検出センサの検出信号に基づいて、前記車両の周辺に存在する対象物を認識する周辺対象物認識ステップと、前記周辺対象物認識ステップにより前記対象物が認識されたときに、前記車両に搭載されて第1解像度を有する第1カメラにより前記対象物を撮影して、前記対象物の画像に基づいて前記対象物が人であるか否かを判定する人判定処理を実行する人判定ステップと、前記人判定ステップにより前記対象物が人であると判定されたときに、前記車両に搭載されて前記第1解像度よりも高い第2解像度を有する第2カメラにより、前記人判定ステップにより人であると判定された第1対象者を撮影して、前記第1対象者の顔画像と前記車両の登録利用者の顔画像とを照合することにより、前記第1対象者が前記登録利用者であるか否かを判断する第1利用者認証処理を実行する利用者認証ステップと、を含む車両制御方法が挙げられる。
上記車両制御装置によれば、物体を検出する処理のみを行えばよいために第1カメラ及び第2カメラよりも消費電力が少ない物体検出センサと、解像度が低いために第2カメラよりも消費電力が少ない第1カメラとを、解像度が高い第2カメラと組み合わせて用いることにより、車載カメラの消費電力を抑制して、車載カメラの撮像画像により、車両の周辺に存在する対象者を精度良く認証することができる。
図1は、車両制御装置が搭載された車両の構成図である。 図2は、車両制御装置の構成図である。 図3は、車両エントリー処理の第1のフローチャートである。 図4は、車両エントリー処理の第2のフローチャートである。
[1.車両の構成]
図1を参照して、本実施形態の車両制御装置10が搭載された車両1の構成について説明する。車両1の前部には、車両1の前方を撮影する第1フロントカメラ40a及び第2フロントカメラ40bが備えられている。第2フロントカメラ40bは第1フロントカメラ40aよりも解像度が高い。また、第2フロントカメラ40bは第1フロントカメラ40aよりも消費電力が多い。
さらに、車両の前部には、フロント人感センサ44とフロント照射LED60が備えられている。フロント人感センサ44は、車両1の前方に存在する対象物を検出する。フロント人感センサ44はPIR(Passive Infrared Ray)センサであり、対象物から発せられる赤外線を検出して、人や小動物等の対象物を検出する。フロント人感センサ44の消費電力は、第1フロントカメラ40aよりも少ない。フロント照射LED60は、第1フロントカメラ40a及び第2フロントカメラ40bによる夜間の撮影時に使用される。フロント照射LED60は、第1フロントカメラ40a及び第2フロントカメラ40bの撮影範囲を照射する。
車両1の後部には、車両1の後方を撮影する第1リアカメラ43a及び第2リアカメラ43bが備えられている。第2リアカメラ43bは第1リアカメラ43aよりも解像度が高い。また、第2リアカメラ43bは第1リアカメラ43aよりも消費電力が多い。
さらに、車両1の後部には、リア人感センサ47とリア照射LED63が備えられている。リア人感センサ47は、車両1の後方に存在する対象物を検出する。リア人感センサ47はPIRセンサであり、リア人感センサ47の消費電力は、第1リアカメラ43aよりも少ない。リア照射LED63は、第1リアカメラ43a及び第2リアカメラ43bによる夜間の撮影時に使用される。リア照射LED63は、第1リアカメラ43a及び第2リアカメラ43bの撮影範囲を照射する。
車両1の右側部には、車両1の右側方を撮影する第1右サイドカメラ41a及び第2右サイドカメラ41bが備えられている。第2右サイドカメラ41bは第1右サイドカメラ41aよりも解像度が高い。また、第2右サイドカメラ41bは第1右サイドカメラ41aよりも消費電力が多い。また、車両1の右側部には、運転席ドア2に向けた誘導表示51を、運転席ドア2の付近の路面に照射するウェルカムライト50が備えられている。また、運転席ドア2のドアハンドル(図示しない)には、タッチセンサ55が備えられている。タッチセンサ55は、運転席ドア2の窓枠に設けられていてもよいし、第1右サイドカメラ41a或いは第2右サイドカメラ41bの周辺あたりに設けられていてもよい。
さらに、車両1の右側部には、右サイド人感センサ45と右サイド照射LED61が備えられている。右サイド人感センサ45は、車両1の右側方に存在する対象物を検出する。右サイド人感センサ45はPIRセンサであり、右サイド人感センサ45の消費電力は、第1右サイドカメラ41aよりも少ない。右サイド照射LED61は、第1右サイドカメラ41a及び第2右サイドカメラ41bによる夜間の撮影時に使用される。右サイド照射LED61は、第1右サイドカメラ41a及び第2右サイドカメラ41bの撮影範囲を照射する。
車両1の左側部には、車両1の左側方を撮影する第1左サイドカメラ42a及び第2左サイドカメラ42bが備えられている。第2左サイドカメラ42bは第1左サイドカメラ42aよりも解像度が高い。また、第2左サイドカメラ42bは第1左サイドカメラ42aよりも消費電力が多い。
さらに、車両1の左側部には、左サイド人感センサ46と左サイド照射LED62が備えられている。左サイド人感センサ46は、車両1の左側方に存在する対象物を検出する。左サイド人感センサ46はPIRセンサであり、左サイド人感センサ46の消費電力は、第1左サイドカメラ42aよりも少ない。左サイド照射LED62は、第1左サイドカメラ42a及び第2左サイドカメラ42bによる夜間の撮影時に使用される。左サイド照射LED62は、第1左サイドカメラ42a及び第2左サイドカメラ42bの撮影範囲を照射する。
第1フロントカメラ40a、第1右サイドカメラ41a、第1左サイドカメラ42a、及び第1リアカメラ43aは、本開示の第1カメラに相当する。第1フロントカメラ40a、第1右サイドカメラ41a、第1左サイドカメラ42a、及び第1リアカメラ43aの解像度は、本開示の第1解像度に相当する。第2フロントカメラ40b、第2右サイドカメラ41b、第2左サイドカメラ42b、及び第2リアカメラ43bは、本開示の第2カメラに相当する。第2フロントカメラ40b、第2右サイドカメラ41b、第2左サイドカメラ42b、及び第2リアカメラ43bの解像度は、本開示の第2解像度に相当する。
さらに、車両1には、通信ユニット80が備えられている。通信ユニット80は、車両1の周辺に位置する歩行者により使用される携帯端末、他車両、外部サーバー、路側機、等との間で通信を行う。
車両制御装置10は、車両1の周辺に存在する対象者Uを、フロント人感センサ44、右サイド人感センサ45、左サイド人感センサ46、及びリア人感センサ47の検出信号と、第1フロントカメラ40a、第2フロントカメラ40b、第1右サイドカメラ41a、第2右サイドカメラ41b、第1左サイドカメラ42a、第2左サイドカメラ42b、第1リアカメラ43a、及び第2リアカメラ43bによる撮影画像に基づいて、認識する。
そして、車両制御装置10は、対象者Uが、予め登録された車両1の利用者(登録利用者)であると認証したときに、ウェルカムライト50の点灯、運転席ドア2の解錠等の車両1へのエントリー処理を実行する。
[2.車両制御装置の構成]
図2を参照して、車両制御装置の構成について説明する。車両制御装置10には、第1フロントカメラ40a、第2フロントカメラ40b、第1右サイドカメラ41a、第2右サイドカメラ41b、第1左サイドカメラ42a、第2左サイドカメラ42b、第1リアカメラ43a、及び第2リアカメラ43bによる撮影画像が入力される。また、車両制御装置10には、フロント人感センサ44、右サイド人感センサ45、左サイド人感センサ46、及びリア人感センサによる対象物の検出信号が入力される。
車両制御装置10から出力される制御信号により、ウェルカムライト50、フロント照射LED60、右サイド照射LED61、左サイド照射LED62、及びリア照射LED63の点灯と消灯、及び図示しない各ドアのロック機構の作動が制御される。また、車両制御装置10は、通信ユニット80を介して他車両等と通信を行う。
車両制御装置10は、プロセッサ20、メモリ30、及び図示しないインターフェース回路等により構成される制御ユニットである。プロセッサ20は、本開示のコンピュータに相当する。プロセッサ20は、メモリ30に保存された制御用プログラム31を読み込んで実行することにより、周辺対象物認識部21、人判定部22、利用者認証部23、物体検出センサ制御部24、及び制御部25として機能する。
周辺対象物認識部21により実行される処理は、本開示の車両制御方法における周辺対象物認識ステップに相当し、人判定部22により実行される処理は、本開示の車両制御方法における人判定ステップに相当する。利用者認証部23により実行される処理は、本開示の利用者認証ステップに相当し、物体検出センサ制御部24により実行される処理は、本開示の物体検出センサ制御ステップに相当する。
周辺対象物認識部21は、フロント人感センサ44、右サイド人感センサ45、左サイド人感センサ46、及びリア人感センサ47による検出信号に基づいて、車両1の周辺に存在する対象物を認識する。人判定部22は、周辺対象物認識部21により認識された対象物を、第1フロントカメラ40a、第1右サイドカメラ41a、第1左サイドカメラ42a、又は第1リアカメラ43aにより撮影する。そして、人判定部22は、第1フロントカメラ40a、第1右サイドカメラ41a、第1左サイドカメラ42a、又は第1リアカメラ43aにより撮影された対象物の画像の特徴量に基づいて、対象物が人であるか否かを判定する人判定処理を実行する。
利用者認証部23は、人判定部22により人であると判定された第1対象者を、第2フロントカメラ40b、第2右サイドカメラ41b、第2左サイドカメラ42b、又は第2リアカメラ43bにより撮影する。そして、利用者認証部23は、第2フロントカメラ40b、第2右サイドカメラ41b、第2左サイドカメラ42b、又は第2リアカメラ43bにより撮影された第1対象者の顔画像と、メモリ30に保存された車両1の登録利用者の顔画像とを照合することにより、対象者が登録利用者であるか否かを判断する第1利用者認証処理を実行する。
物体検出センサ制御部24は、周辺対象物認識部21により認識された複数の対象物のうち、人判定部22により人であると判定された対象物の割合が所定値以下であるときに、フロント人感センサ44、右サイド人感センサ45、左サイド人感センサ46、及びリア人感センサ47に対して、以下の(1)~(3)のうちの少なくともいずれか1つの処理を実行する。(1)物体の検出感度を低下させる。(2)物体の検出範囲を縮小する処理、(3)作動を所定時間禁止する。
制御部25は、利用者認証部23により対象者が登録利用者であると判断されたときに、利用者の位置に応じた車両1のドアを解錠する等の車両1へのエントリー処理を実行する。図1に示した例では、対象者Uが運転席ドア2に接近しているため、対象者Uが登録利用者であると判断されたきに、制御部25は、ウェルカムライト50を点灯させて、運転席ドア2を解錠するエントリー処理を実行する。
[3.車両エントリー処理]
図3~図4に示したフローチャートに従って、図1に示したように、車両1の登録利用者である対象者Uが車両1の右側方から運転席ドア2に近づく場合に、車両制御装置10により実行される車両エントリー処理について説明する。
以下では、フロント人感センサ44、右サイド人感センサ45、左サイド人感センサ46、及びリア人感センサ47を、まとめて人感センサと称する。また、第1フロントカメラ40a、第1右サイドカメラ41a、第1左サイドカメラ42a、及び第1リアカメラ43aを、まとめて第1カメラと称する。また、第2フロントカメラ40b、第2右サイドカメラ41b、第2左サイドカメラ42b、及び第2リアカメラ43bを、まとめて第2カメラと称する。また、フロント照射LED60、右サイド照射LED61、左サイド照射LED62、及びリア照射LED63を、まとめて照射LEDと称する。
図3のステップS1で、周辺対象物認識部21は、第1カメラの撮影画像から、車両1の周辺の照度を認識する。具体的には、周辺対象物認識部21は、第1カメラの1枚の撮影画像の各画素のGray Levelの平均値を算出する。続くステップS2で、周辺対象物認識部21は、Gray Levelの平均値が所定閾値を超えているか否かを判断する。そして、周辺対象物認識部21は、Gray Levelの平均値が所定閾値を超えているとき(夜間であると判断できるとき)はステップS20に処理を進め、Gray Lebelが所定閾値以下であるとき(昼間であると判断できるとき)には、ステップS3に処理を進める。
なお、周辺対象物認識部21が、現在時刻によって夜間であるか昼間であるかを判断するようにしてもよい。或いは、車両1に照度センサを備えて、周辺対象物認識部21が、照度センサの検出信号に基づいて夜間であるか昼間であるかを判断するようにしてもよい。
ステップS20で、周辺対象物認識部21は、人感センサを常時ON(作動状態)とする。続くステップS21で、周辺対象物認識部21は、人感センサの検出信号により、対象物を認識したときはステップS22に処理を進める。一方、対象物を認識しなかったときには、周辺対象物認識部21は、図4のステップS12に処理を進め、この場合は、後述する車両1のエントリー処理は実行されない。
ステップS22、S23で、人判定部22は、対象物を検出した人感センサに対応した第1カメラと照射LEDをONする。図1の例では、右サイド人感センサ45により対象者Uが検出されるため、人判定部22は、第1右サイドカメラ41aと右サイド照射LED61をONする。続くステップS24で、人判定部22は、第1右サイドカメラ41aにより対象物(ここでは対象者U)を撮影して、ステップS6に処理を進める。
また、ステップS3で、人判定部22は、第1カメラを常時ON(作動状態)とし、人感センサをOFFに維持する。続くステップS4で、人判定部22は、第1カメラにより車両1の周辺を撮影する。次のステップS5で、人判定部22は、第1カメラの撮影画像により対象物を認識したときはステップS6に処理を進め、対象物を認識しなかったときには図4のステップS15に処理を進める。図1の例では、第1右サイドカメラ41aの撮像画像により、対象物として対象者Uが認識される。
ステップS6で、人判定部22は、第1右サイドカメラ41aの撮影画像から、対象物の画像部分を抽出する。続くステップS7で、人判定部22は、対象物の画像部分が人の特徴を有しているか否かを判断して、対象物が人であるか否かを判定する。次のステップS8で、人判定部22は、対象物が人であると判定したときは図4のステップS9に処理を進め、対象物が人ではないと判定したときには図4のステップS15に処理を進める。
図4のステップS9で、利用者認証部23は、第2右サイドカメラ41bをONし、ステップS10で、第2右サイドカメラ41bにより対象者Uを撮影する。続くステップS11で、利用者認証部23は、第2右サイドカメラ41bの撮影画像から、対象者Uの画像部分を抽出する。次のステップS12で、利用者認証部23は、対象者Uの顔画像を、メモリ30に保存された登録利用者の顔画像と照合することにより、対象者Uが登録利用者であるか否かを判断する。
次のステップS13で、利用者認証部23は、対象者Uが登録利用者であると判断したときはステップS14に処理を進め、対象者Uが登録利用者ではないと判断したときにはステップS15に処理を進める。ステップS14で、制御部25は、車両1のエントリー処理として、ウェルカムライト50の点灯と、運転席ドア2の解錠とを行う。
[4.他の実施形態]
上記実施形態において、利用者認証部23による利用者認証処理によって、対象者が登録利用者ではないと判断される場合が所定回数以上続いた場合に、人判定部22による人判定処理によって人であると判定される対象物が、周辺対象物認識部21により認識されなくなるまで、利用者認証処理の実行を禁止してもよい。
上記実施形態において、利用者認証部23が、利用者認証処理により対象者が登録利用者ではないと判断される場合が所定回数以上続いた場合に、人感センサの作動を停止し、タッチセンサ55の操作を認識したときに、第2右サイドカメラ41bによりタッチセンサ55を操作した対象者(本開示の第2対象者に相当する)を撮影し、第2右サイドカメラ41bの撮影画像から、対象者の画像部分を抽出してもよい。そして、利用者認証部23が、対象者の顔画像を登録利用者の顔画像と照合して、対象者が登録利用者であるか否かを判断する処理(第2利用者認証処理)を実行するようにしてもよい。また、利用者認証部23が、第2利用者認証処理により、対象者が登録利用者ではないと判断したときに、登録利用者により使用される利用者端末に対して、不審者の存在等を通知する所定通知を送信するようにしてもよい。
上記実施形態において、利用者認証部23が、車両1が停止した後に、利用者認証処理により、車両1の周辺に存在する対象者が登録利用者でないと判断したときには、人感センサの作動を停止するようにしてもよい。一方、利用者認証部23が、車両1が停止した後に、利用者認証処理により、車両1の周辺に存在する対象者が登録利用者であると判断したときには、人感センサの作動を継続するようにしてもよい。
上記実施形態において、利用者認証部23が、第2カメラの撮影画像により登録利用者が車両1から降車したことを認識したときに、その後、第2カメラの撮影画像による登録利用者の認識が不能になった時点で、人感センサの作動を停止するようにしてもよい。
上記実施形態では、本開示の物体検出センサとしてPIRセンサを用いたが、本開示の物体検出センサはこれに限らず、第1カメラよりも少ない消費電力で対象物の検出が可能なセンサであればよい。
上記実施形態では、物体検出センサ制御部24を備えて、人感センサの作動条件を制御する処理を行ったが、物体検出センサ制御部24を省略した構成としてもよい。
上記実施形態では、車両制御装置10に備えられたプロセッサ20(本開示のコンピュータに相当する)により、本開示の車両制御方法を実行したが、車両1と通信を行う外部サーバーを構成するコンピュータ等により、本開示の車両制御方法を実行するようにしてもよい。この場合は、車両1から外部サーバーに車両1の周辺に存在する対象物の情報が送信され、外部サーバーから車両1に対して、ウェルカムライト50の点灯又は消灯、車両1のドアの解錠等を指示する制御情報が送信される。また、周辺対象物認識部21、人判定部22、利用者認証部23、物体検出センサ制御部24、及び制御部25を、車両制御装置10と外部サーバーに分散させる構成としてもよい。
なお、図1、図2は、本願発明の理解を容易にするために、車両1及び車両制御装置10の構成を、主な処理内容により区分して示した概略図であり、車両1及び車両制御装置10の構成を、他の区分によって構成してもよい。また、各構成要素の処理は、1つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、図3、図4に示したフローチャートによる各構成要素の処理は、1つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。
[5.上記実施形態によりサポートされる構成]
上記実施形態は、以下の構成の具体例である。
(第1項)車両に搭載されて前記車両の周辺に存在する物体を検出する物体検出センサの検出信号に基づいて、前記車両の周辺に存在する対象物を認識する周辺対象物認識部と、前記周辺対象物認識部により前記対象物が認識されたときに、前記車両に搭載されて第1解像度を有する第1カメラにより前記対象物を撮影して、前記対象物の画像に基づいて前記対象物が人であるか否かを判定する人判定処理を実行する人判定部と、前記人判定部により前記対象物が人であると判定されたときに、前記車両に搭載されて前記第1解像度よりも高い第2解像度を有する第2カメラにより、前記人判定部により人であると判定された第1対象者を撮影して、前記第1対象者の顔画像と前記車両の登録利用者の顔画像とを照合することにより、前記第1対象者が前記登録利用者であるか否かを判断する第1利用者認証処理を実行する利用者認証部と、を備える車両制御装置。
第1項の車両制御装置によれば、物体を検出する処理のみを行えばよいために第1カメラ及び第2カメラよりも消費電力が少ない物体検出センサと、解像度が低いために第2カメラよりも消費電力が少ない第1カメラとを、解像度が高い第2カメラと組み合わせて用いることにより、車載カメラの消費電力を抑制して、車載カメラの撮像画像により、車両の周辺に存在する対象者を精度良く認証することができる。
(第2項)前記周辺対象物認識部により認識された複数の前記対象物のうち、前記人判定部により人であると判定された前記対象物の割合が所定値以下であるときに、前記物体検出センサによる物体の検出感度を低下させる処理と、前記物体検出センサの検出範囲を縮小する処理と、前記物体検出センサの作動を所定時間禁止する処理とのうちの、少なくともいずれか一つの処理を実行する物体検出センサ制御部を備える第1項に記載の車両制御装置。
第2項の車両制御装置によれば、小動物等の人以外の対象物が車両1の周辺をうろついているような状況であって、利用者の認証を行う必要がないと想定される場合に、物体検出センサの作動を制限することによって、登録利用者の認証を行うための消費電力を抑制することができる。
(第3項)前記利用者認証部は、前記第1利用者認証処理により前記第1対象者が前記登録利用者ではないと判断される場合が所定回数以上続いた場合に、前記人判定処理により、前記第1カメラの撮影画像から人であると判定される対象物が抽出されなくなるまで、前記第1利用者認証処理の実行を禁止する第1項又は第2項に記載の車両制御装置。
第3項の車両制御装置によれば、車両1が歩行者の通行者が多い場所に停車していて、登録利用者以外の対象者が頻繁に車両のそばを通行するような状況にあるときに、第1利用者認証処理の実行を禁止することにより、第2カメラの消費電力を抑制することができる。
(第4項)前記利用者認証部は、前記第1利用者認証処理により前記第1対象者が前記登録利用者ではないと判断される場合が所定回数以上続いた場合に、前記物体検出センサの作動を停止し、前記車両のドアに設けられたタッチセンサの操作を認識したときに、前記タッチセンサを操作した第2対象者を、前記第2カメラにより撮影して、前記第2対象者の顔画像と前記登録利用者の顔画像とを照合することにより、前記第2対象者が前記登録利用者であるか否かを判断する第2利用者認証処理を実行する第1項又は第2項に記載の車両制御装置。
第4項の車両制御装置によれば、車両1が歩行者の通行者が多い場所に停車していて、登録利用者以外の対象者が頻繁に車両のそばを通行するような状況にあるときに、タッチセンサの操作に応じた第2利用者認証処理による車両へのエントリーを確保した上で、物体検出センサと第1カメラの作動による消費電力を低減することができる。
(第5項)前記利用者認証部は、前記第2利用者認証処理により、前記第2対象者が前記登録利用者ではないと判断したときには、前記登録利用者により使用される利用者端末に対して、所定通知を送信する第4項に記載の車両制御装置。
第5項の車両制御装置によれば、登録利用者以外の対象者が車両にエントリーしようとしていることを、登録利用者に通知することができる。
(第6項)前記利用者認証部は、前記車両が停止した後に、前記第1利用者認証処理により、前記車両周辺に存在する前記第1対象者が前記登録利用者でないと判断したときには、前記物体検出センサの作動を停止する第1項から第5項のうちいずれか1項に記載の車両制御装置。
第6項の車両制御装置によれば、車両の周辺に登録利用者以外の第1対象者が存在していることから、車両が人通りの多い場所に停止していると想定される場合に、物体検出センサの作動を停止して消費電力を削減することができる。
(第7項)前記利用者認証部は、前記車両が停止した後に、前記第1利用者認証処理により、前記車両の周辺に存在する前記第1対象者が前記登録利用者であると判断したときには、前記物体検出センサの作動を継続する第6項に記載の車両制御装置。
第7項の車両制御装置によれば、車両の周辺に登録利用者が存在している場合に、車両へのエントリーを可能として、登録利用者による使い勝手を向上させることができる。
(第8項)前記利用者認証部は、前記第2カメラの撮影画像により前記登録利用者が前記車両から降車したことを認識したときに、その後、前記第2カメラの撮影画像による前記登録利用者の認識が不能になった時に前記物体検出センサの作動を停止する第1項から第7項のうちいずれか1項に記載の車両制御装置。
第8項の車両制御装置によれば、車両から降りた登録利用者が車両からある程度離れたタイミングで、物体検出センサの作動を停止することにより、物体検出センサの消費電力を削減することができる。
(第9項)コンピュータにより実行される車両制御方法であって、車両に搭載されて前記車両の周辺に存在する物体を検出する物体検出センサの検出信号に基づいて、前記車両の周辺に存在する対象物を認識する周辺対象物認識ステップと、前記周辺対象物認識ステップにより前記対象物が認識されたときに、前記車両に搭載されて第1解像度を有する第1カメラにより前記対象物を撮影して、前記対象物の画像に基づいて前記対象物が人であるか否かを判定する人判定処理を実行する人判定ステップと、前記人判定ステップにより前記対象物が人であると判定されたときに、前記車両に搭載されて前記第1解像度よりも高い第2解像度を有する第2カメラにより、前記人判定ステップにより人であると判定された第1対象者を撮影して、前記第1対象者の顔画像と前記車両の登録利用者の顔画像とを照合することにより、前記第1対象者が前記登録利用者であるか否かを判断する第1利用者認証処理を実行する利用者認証ステップと、を含む車両制御方法。
第9項の車両制御方法をコンピュータにより実行することにより、第1項の車両制御装置と同様の作用効果を得ることができる。
1…車両、2…運転席ドア、10…車両制御装置、20…プロセッサ、21…周辺対象物認識部、22…人判定部、23…利用者認証部、24…物体検出センサ制御部、25…制御部、30…メモリ、31…制御用プログラム、40a…第1フロントカメラ、40b…第2フロントカメラ、41a…第1右サイドカメラ、41b…第2右サイドカメラ、42a…第1左サイドカメラ、42b…第2左サイドカメラ、43a…第1リアカメラ、43b…第2リアカメラ、44…フロント人感センサ、45…右サイド人感センサ、46…左サイド人感センサ、47…リア人感センサ、55…タッチセンサ、U…対象者。

Claims (9)

  1. 車両に搭載されて前記車両の周辺に存在する物体を検出する物体検出センサの検出信号に基づいて、前記車両の周辺に存在する対象物を認識する周辺対象物認識部と、
    前記周辺対象物認識部により前記対象物が認識されたときに、前記車両に搭載されて第1解像度を有する第1カメラにより前記対象物を撮影して、前記対象物の画像に基づいて前記対象物が人であるか否かを判定する人判定処理を実行する人判定部と、
    前記人判定部により前記対象物が人であると判定されたときに、前記車両に搭載されて前記第1解像度よりも高い第2解像度を有する第2カメラにより、前記人判定部により人であると判定された第1対象者を撮影して、前記第1対象者の顔画像と前記車両の登録利用者の顔画像とを照合することにより、前記第1対象者が前記登録利用者であるか否かを判断する第1利用者認証処理を実行する利用者認証部と、
    を備える車両制御装置。
  2. 前記周辺対象物認識部により認識された複数の前記対象物のうち、前記人判定部により人であると判定された前記対象物の割合が所定値以下であるときに、前記物体検出センサによる物体の検出感度を低下させる処理と、前記物体検出センサの検出範囲を縮小する処理と、前記物体検出センサの作動を所定時間禁止する処理とのうちの、少なくともいずれか一つの処理を実行する物体検出センサ制御部を備える
    請求項1に記載の車両制御装置。
  3. 前記利用者認証部は、前記第1利用者認証処理により前記第1対象者が前記登録利用者ではないと判断される場合が所定回数以上続いた場合に、前記人判定処理により、前記第1カメラの撮影画像から人であると判定される対象物が抽出されなくなるまで、前記第1利用者認証処理の実行を禁止する
    請求項1又は請求項2に記載の車両制御装置。
  4. 前記利用者認証部は、前記第1利用者認証処理により前記第1対象者が前記登録利用者ではないと判断される場合が所定回数以上続いた場合に、前記物体検出センサの作動を停止し、前記車両のドアに設けられたタッチセンサの操作を認識したときに、前記タッチセンサを操作した第2対象者を、前記第2カメラにより撮影して、前記第2対象者の顔画像と前記登録利用者の顔画像とを照合することにより、前記第2対象者が前記登録利用者であるか否かを判断する第2利用者認証処理を実行する
    請求項1又は請求項2に記載の車両制御装置。
  5. 前記利用者認証部は、前記第2利用者認証処理により、前記第2対象者が前記登録利用者ではないと判断したときには、前記登録利用者により使用される利用者端末に対して、所定通知を送信する
    請求項4に記載の車両制御装置。
  6. 前記利用者認証部は、前記車両が停止した後に、前記第1利用者認証処理により、前記車両周辺に存在する前記第1対象者が前記登録利用者でないと判断したときには、前記物体検出センサの作動を停止する
    請求項1から請求項5のうちいずれか1項に記載の車両制御装置。
  7. 前記利用者認証部は、前記車両が停止した後に、前記第1利用者認証処理により、前記車両の周辺に存在する前記第1対象者が前記登録利用者であると判断したときには、前記物体検出センサの作動を継続する
    請求項6に記載の車両制御装置。
  8. 前記利用者認証部は、前記第2カメラの撮影画像により前記登録利用者が前記車両から降車したことを認識したときに、その後、前記第2カメラの撮影画像による前記登録利用者の認識が不能になった時に前記物体検出センサの作動を停止する
    請求項1から請求項7のうちいずれか1項に記載の車両制御装置。
  9. コンピュータにより実行される車両制御方法であって、
    車両に搭載されて前記車両の周辺に存在する物体を検出する物体検出センサの検出信号に基づいて、前記車両の周辺に存在する対象物を認識する周辺対象物認識ステップと、
    前記周辺対象物認識ステップにより前記対象物が認識されたときに、前記車両に搭載されて第1解像度を有する第1カメラにより前記対象物を撮影して、前記対象物の画像に基づいて前記対象物が人であるか否かを判定する人判定処理を実行する人判定ステップと、
    前記人判定ステップにより前記対象物が人であると判定されたときに、前記車両に搭載されて前記第1解像度よりも高い第2解像度を有する第2カメラにより、前記人判定ステップにより人であると判定された第1対象者を撮影して、前記第1対象者の顔画像と前記車両の登録利用者の顔画像とを照合することにより、前記第1対象者が前記登録利用者であるか否かを判断する第1利用者認証処理を実行する利用者認証ステップと、
    を含む車両制御方法。
JP2021032648A 2021-03-02 2021-03-02 車両制御装置、及び車両制御方法 Withdrawn JP2022133769A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021032648A JP2022133769A (ja) 2021-03-02 2021-03-02 車両制御装置、及び車両制御方法
CN202210124391.2A CN114987390A (zh) 2021-03-02 2022-02-10 车辆控制装置和车辆控制方法
US17/675,305 US20220281413A1 (en) 2021-03-02 2022-02-18 Vehicle control device and vehicle control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021032648A JP2022133769A (ja) 2021-03-02 2021-03-02 車両制御装置、及び車両制御方法

Publications (1)

Publication Number Publication Date
JP2022133769A true JP2022133769A (ja) 2022-09-14

Family

ID=83023381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021032648A Withdrawn JP2022133769A (ja) 2021-03-02 2021-03-02 車両制御装置、及び車両制御方法

Country Status (3)

Country Link
US (1) US20220281413A1 (ja)
JP (1) JP2022133769A (ja)
CN (1) CN114987390A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5360491B2 (ja) * 2009-11-13 2013-12-04 アイシン精機株式会社 多機能カメラシステム
US9065955B2 (en) * 2012-10-15 2015-06-23 Fuji Xerox Co., Ltd. Power supply control apparatus, image processing apparatus, non-transitory computer readable medium, and power supply control method
JP2016178348A (ja) * 2015-03-18 2016-10-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2016177393A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、顔認識方法、及びプログラム
US11113938B2 (en) * 2016-12-09 2021-09-07 Amazon Technologies, Inc. Audio/video recording and communication devices with multiple cameras
WO2019003826A1 (ja) * 2017-06-27 2019-01-03 ソニーセミコンダクタソリューションズ株式会社 撮像装置、車両利用システム、および車両監視システム
US11820289B2 (en) * 2018-07-31 2023-11-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
EP3633641A1 (en) * 2018-10-04 2020-04-08 Volvo Car Corporation Method and vehicle system for handling parameters associated with surroundings of a vehicle
US10486649B1 (en) * 2018-12-03 2019-11-26 Ford Global Technologies, Llc Vehicle security monitoring in a key-off state

Also Published As

Publication number Publication date
CN114987390A (zh) 2022-09-02
US20220281413A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
US10227813B2 (en) Device and method for opening trunk of vehicle, and recording medium for recording program for executing method
US11383676B2 (en) Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems
JP5895201B2 (ja) 車両開閉体制御装置
EP3647129A1 (en) Vehicle, vehicle door unlocking control method and apparatus, and vehicle door unlocking system
US9637088B2 (en) Vehicle access system
KR100826309B1 (ko) 얼굴 화상 인증 장치
US10829034B2 (en) Vehicle control device
US10465429B2 (en) Controller, control method, and computer-readable recording medium
US11174665B2 (en) Camera based hands-free power lift gate
KR102420289B1 (ko) 자동차 상에 존재하는 적어도 하나의 오브젝트를 검출하기 위한 방법, 제어 장치 및 자동차
KR101663096B1 (ko) 차량의 도난 방지 장치
JP2022133769A (ja) 車両制御装置、及び車両制御方法
US20190299848A1 (en) User guidance device
US20220306042A1 (en) Vehicle control device, vehicle control method, and storage medium
US20210250554A1 (en) Vehicle control system, vehicle control method, and recording medium in which vehicle control program is recorded
US20230036233A1 (en) Information processing device, information processing method, and storage medium
JP7061709B1 (ja) 撮影サポート装置、及び撮影サポート方法
US20230097220A1 (en) Vehicle control apparatus and vehicle control method
WO2023175686A1 (ja) 乗員情報取得装置、乗員情報取得システム、乗員情報取得方法及び非一時的なコンピュータ可読媒体
US11713021B2 (en) Vehicle control device and vehicle control method
US11645847B2 (en) Vehicle control system, vehicle control method, and recording medium in which vehicle control program is recorded
WO2024127449A1 (ja) 車両ドア制御装置、方法、及びコンピュータ可読媒体
JP2011034292A (ja) 周辺監視装置
KR20230087760A (ko) 차량 및 차량의 제어방법
JP2008107961A (ja) 車両接近不審物検知システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20221215