JP2022045460A - 車載器制御システム、車載器及び車載器制御方法 - Google Patents

車載器制御システム、車載器及び車載器制御方法 Download PDF

Info

Publication number
JP2022045460A
JP2022045460A JP2020151066A JP2020151066A JP2022045460A JP 2022045460 A JP2022045460 A JP 2022045460A JP 2020151066 A JP2020151066 A JP 2020151066A JP 2020151066 A JP2020151066 A JP 2020151066A JP 2022045460 A JP2022045460 A JP 2022045460A
Authority
JP
Japan
Prior art keywords
mobile terminal
vehicle
seating position
unit
mounted device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020151066A
Other languages
English (en)
Other versions
JP7518706B2 (ja
Inventor
弘恵 生塩
Hiroe Namajio
真悟 竹井
Shingo Takei
裕一朗 仲川
Yuichiro Nakagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faurecia Clarion Electronics Co Ltd filed Critical Faurecia Clarion Electronics Co Ltd
Priority to JP2020151066A priority Critical patent/JP7518706B2/ja
Priority claimed from JP2020151066A external-priority patent/JP7518706B2/ja
Priority to US17/469,732 priority patent/US20220073081A1/en
Publication of JP2022045460A publication Critical patent/JP2022045460A/ja
Priority to US18/106,553 priority patent/US20230173921A1/en
Application granted granted Critical
Publication of JP7518706B2 publication Critical patent/JP7518706B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881Seat occupation; Driver or passenger presence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/227Position in the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Collating Specific Patterns (AREA)

Abstract

Figure 2022045460000001
【課題】車室内における使用者の位置を簡易且つ確実に判定し、使用者の位置に応じた制御を提供すること。
【解決手段】車両に設置された車載器と携帯端末とを通信可能に接続した車載器制御システムであって、前記携帯端末の使用者の顔画像を前記携帯端末の識別情報に対応付けて記憶する記憶部と、車室内を撮影した車室内画像と前記顔画像とを用いた顔認識により、前記使用者の着座位置を判定する着座位置判定部とを備え、前記車載器は、前記携帯端末から所定の制御要求を受け付けた場合に、当該携帯端末の使用者の着座位置に係る制御を実行する。
【選択図】図1

Description

本発明は、車載器制御システム、車載器及び車載器制御方法に関する。
背景技術として、特開2019-22012(以下、特許文献1と呼ぶ。)がある。特許文献1では、「携帯情報端末2は超音波を送信する機能を有している。車両Vの車室内に3個以上の超音波センサが配置されており、これらの超音波センサを用いて超音波を受信する超音波受信装置が車両Vに設けられている。位置検出部12は、携帯情報端末2が送信した超音波を各超音波センサが受信した場合における、携帯情報端末2から各超音波センサまでの超音波の伝搬時間を示す情報、又は各超音波センサによる超音波の受信強度を示す情報などを超音波受信装置から取得する。位置検出部12は、伝搬時間又は受信強度などを距離に換算して、いわゆる「三点測位」により携帯情報端末2の位置を検出する。」と記載されている。
特開2019-22012号公報
特許文献1では、三点測位を用いて携帯端末の位置を検出するため、超音波センサ等を車室内に複数配置する必要がある。携帯端末の位置検出のためだけにセンサ等を複数設置するのは、コストの増大を招き、携帯情報端末の位置を検出する機能を後付けすることも困難となる。また、特許文献1では、携帯端末と使用者の位置が異なると、使用者の位置に応じた制御を実行することができない。そこで、本発明では、車室内における使用者の位置を簡易且つ確実に判定し、使用者の位置に応じた制御を提供することを目的とする。
本発明による車載器制御システムは、携帯端末の使用者の顔画像を携帯端末の識別情報に対応付けて記憶し、車室内を撮影した車室内画像と顔画像とを用いた顔認識により、使用者の着座位置を判定し、携帯端末から所定の制御要求を受け付けた場合に、当該携帯端末の使用者の着座位置に係る制御を実行する。
本発明によれば、車室内における使用者の位置を簡易且つ確実に判定し、使用者の位置に応じた制御を提供することができる。
本発明の実施形態に係る車載器制御システムの説明図である。 携帯端末の構成を示す構成図である。 サーバの構成を示す構成図である。 車載器の構成を示す構成図である。 車室内画像の具体例を示す説明図である。 着座位置に基づく制御の説明図である。 携帯端末の処理手順を示すフローチャートである。 サーバの処理手順を示すフローチャートである。 車載器の処理手順を示すフローチャートである。 変形例1の説明図である。 変形例2の説明図である。 変形例3の説明図である。
以下、図面を用いて本発明の実施形態について説明する。
図1は、本発明の実施形態に係る車載器制御システムの説明図である。実施形態に係る車載器制御システムは、車両20に搭載された携帯端末30と、車載器40と、サーバ10とを含む。
携帯端末30は、例えばスマートフォンであり、近距離無線通信によって車載器40と通信接続し、車載器40の識別情報である車載器IDを取得することができる。携帯端末30は、車室内で所定のアプリケーションを起動した際に、使用者の顔画像を撮像し、サーバ10に顔画像の登録を行う(1)。このとき、携帯端末30は、携帯端末30の識別情報である携帯端末IDと車載器IDを顔画像と共にサーバ10に送信し、サーバ10は、顔画像と携帯端末ID及び車載器IDを顔画像に対応づけて記憶する。
車載器40は、車室内画像を取得して、車載器IDとともにサーバ10に送信する(2)。例えば、ドライブレコーダーの記録用に撮像した画像に車室内の像が含まれているならば、その画像を車室内画像として用いることができる。
サーバ10は、車載器40から車室内画像及び車載器IDを受信したならば、受信した車載器IDに対応付けて登録された顔画像を抽出する(3)。サーバ10は、抽出した顔画像と車室内画像とを用いて顔認識を行う。車室内画像に含まれる人物の顔と一致する顔画像を特定したならば、サーバ10は、車室内画像における位置から着座位置を判定し、顔画像に対応付けられた携帯端末30の使用者の着座位置とする(4)。サーバ10は、この携帯端末30に着座位置を通知する(5)。
携帯端末30は、サーバ10から着座位置の通知を受信し、自端末の使用者の着座位置として記憶する。その後、携帯端末30は、車載器40に対して制御要求を送信する際に、記憶した着座位置を指定することができる(6)。
車載器40は、携帯端末30から着座位置を指定した制御要求を受信したならば、指定された着座位置に係る制御を実行する(7)。
具体的には、携帯端末30は、使用者の着座位置を指定して音量制御の要求を車載器40に送信することができる。この場合には、車載器40は、指定された着座位置での音量が要求を満たすようにスピーカの制御を行うことになる。
着座位置を指定した制御要求は、音量の制御の他、空調制御、座席角度などの制御、施解錠、室内照明の制御などに用いることができる。なお、携帯端末30から車載器40に制御要求を送る場合に、着座位置を指定することは必須ではなく、着座位置の指定が不要な制御要求を送ることを妨げるものではない。
このように、図1に示した車載器制御システムでは、サーバ10は、携帯端末30の使用者の顔画像を携帯端末IDに対応付けて記憶し、車室内を撮影した車室内画像と顔画像とを用いた顔認識を実行して使用者の着座位置を判定する。そして、車載器40は、携帯端末30から所定の制御要求を受け付けた場合に、当該携帯端末30の使用者の着座位置に係る制御を実行する。このため、車室内における使用者の位置を簡易且つ確実に判定し、使用者の位置に応じた制御を提供することができる。
図2は、携帯端末30の構成を示す構成図である。携帯端末30は、例えばスマートフォンであり、タッチパネルディスプレイ31、携帯端末カメラ32、車載器通信部33、サーバ通信部34、記憶部35及び制御部36を有する。
タッチパネルディスプレイ31は、使用者からの入力の受付と表示出力とを行う入出力インタフェースである。携帯端末カメラ32は、本実施形態においては、使用者の顔画像の撮像に用いられる。車載器通信部33は、近距離無線通信によって車載器40と通信接続する通信インタフェースである。近距離無線としては、例えばbluetooth(登録商標)などを用いればよい。サーバ通信部34は、サーバ10と通信接続する通信インタフェースである。
記憶部35は、フラッシュメモリなどの記憶デバイスである。記憶部35は、アプリケーションプログラム35a、携帯端末ID35b、車載器ID35c及び着座位置データ35dなどを記憶する。
アプリケーションプログラム35aは、制御部36によって実行されることで、各種の機能を実現する。本実施形態では、アプリケーションプログラム35aは、車載器40に制御を要求するリモートコントローラとしての機能を実現し、また、その為に使用者の顔画像の撮像やサーバ10との通信を行うことができる。
携帯端末ID35bは、携帯端末30を一意に特定するための識別情報である。車載器ID35cは、車載器40との近距離無線通信が確立したときに車載器40から取得し、記憶したものである。車載器40は、車両20に対して固定されているので、車載器IDは、携帯端末30がどの車両の中にあるかを示すことになる。
着座位置データ35dは、サーバ10から受信した着座位置を示すデータである。この着座位置データ35dにより、携帯端末30の使用者が車両内のどの位置に着座しているかを特定することができる。具体的には、運転席、助手席、後部座席右側、後部座席左側などが着座位置として用いられる。
なお、使用者が車両を降りて携帯端末30と車載器40との近距離無線通信が切断された場合には、記憶部35から車載器ID35c及び着座位置データ35dを削除することが望ましい。
制御部36は、例えばCPU(Central Processing Unit)などであり、アプリケーションプログラム35aを読み出して実行することで、車載器40の遠隔操作機能を実現する。具体的には、アプリケーションプログラム35aの実行により、制御部36は、車載器接続部36a、顔画像送信部36b及びコマンド送信部36cとして動作する。
車載器接続部36aは、アプリケーションプログラム35aの起動時に車載器40との通信を確立し、車載器40から車載器IDを取得して、車載器ID35cとして記憶部35に記憶する処理を行う。
顔画像送信部36bは、アプリケーションプログラム35aの起動時に車載器IDを取得した後、使用者の顔画像を携帯端末カメラ32により撮像し、携帯端末ID35b及び車載器ID35cとともにサーバ10に送信することで、顔画像の登録を要求する。また、顔画像送信部36bは、サーバ10から着座位置を受信したならば、受信した着座位置を示す着座位置データ35dを記憶部35に格納する。
コマンド送信部36cは、使用者からの操作を受け付けて、車載器40に対して送信する制御要求、すなわちコマンドを生成し、車載器40に送信する処理部である。このとき、コマンド送信部36cは、着座位置データ35dをコマンドと共に送信することができる。
図3は、サーバ10の構成を示す構成図である。図3に示すように、サーバ10は、通信部11、記憶部12及び制御部13を有する。通信部11は、携帯端末30や車載器40と通信接続する通信インタフェースである。
記憶部12は、ハードディスクドライブやフラッシュメモリなどの記憶デバイスであり、顔画像管理データ12aを記憶する。顔画像管理データ12aには、携帯端末30から受信した顔画像、携帯端末ID及び車載器IDが対応付けて登録されている。
制御部13は、例えばCPUなどであり、所定のプログラムを実行することで、顔画像管理部13a、顔認識処理部13b及び着座位置判定部13cとして動作する。顔画像管理部13aは、携帯端末30から顔画像、携帯端末ID及び車載器IDを受信した場合に、顔画像に携帯端末ID及び車載器IDを対応付けて顔画像管理データ12aに登録する。
顔認識処理部13bは、車載器40から車室内画像及び車載器IDを受信した場合に、受信した車載器IDに対応付けて登録された顔画像を顔画像管理データ12aから抽出し、抽出した顔画像と車室内画像とを用いて顔認識を行う。
着座位置判定部13cは、顔認識処理部13bによって車室内画像に含まれる人物の顔と一致する顔画像が特定された場合に、車室内画像における位置から着座位置を判定し、顔画像に対応付けられた携帯端末30の使用者の着座位置とする。着座位置判定部13cは、この携帯端末30に着座位置を通知する。
図4は、車載器40の構成を示す構成図である。車載器40は、タッチパネルディスプレイ41、車載器カメラ42、携帯端末通信部43、サーバ通信部44、記憶部45及び制御部46を有する。
タッチパネルディスプレイ41は、使用者からの入力の受付と表示出力とを行う入出力インタフェースである。車載器カメラ42は、車室内画像を撮像可能なカメラである。このカメラは、ドライブレコーダーのカメラを用いることが好適である。すなわち、車載器40がドライブレコーダーとしての機能を有していてもよいし、ドライブレコーダーと車載器カメラ42を共用する構成であってもよい。携帯端末通信部43は、近距離無線通信によって携帯端末30と通信接続する通信インタフェースである。サーバ通信部44は、サーバ10と通信接続する通信インタフェースである。
記憶部45は、フラッシュメモリなどの記憶デバイスである。記憶部45は、車載器ID45aなどを記憶する。車載器ID45aは、車載器40を一意に特定するための識別情報である。
制御部46は、例えばCPUなどであり、所定のプログラムを読み出して実行することで、携帯端末接続部46a、車室内画像送信部46b及びコマンド処理部46cを有する。
携帯端末接続部46aは、携帯端末30との通信を確立し、車載器ID45aを携帯端末30に送信する処理を行う。
車室内画像送信部46bは、車載器カメラ42により撮像された車室内画像と車載器ID45aをサーバに送信する処理部である。車室内画像の送信は、例えば一定の間隔で定期的に行えばよい。
コマンド処理部46cは、携帯端末30から受信したコマンドを実行する処理部である。具体的には、コマンド処理部46cは、音量制御、空調制御、座席角度の制御、施解錠、室内照明の制御に係るコマンドなどを実行することができる。コマンドの実行は、車両20に搭載されたスピーカ、空調器、座席角度調節機構、施錠機構、室内照明器などの動作を制御することで行う。このとき、コマンドと共に着座位置を受信したならば、コマンド処理部46cは、受信した着座位置においてコマンドの指定を満たすように、各種機器の動作を制御する。
図5は、車室内画像の具体例を示す説明図である。図5では、車室内画像F1に複数の人物の顔の像が含まれている。車室内画像F1の部分画像F2は、運転席に着座した人物の顔の像を含み、部分画像F3は、助手席に着座した人物の顔の像を含む。同様に、部分画像F4は、後部座席右側に着座した人物の顔の像を含み、部分画像F5は、後部座席左側に着座した人物の顔の像を含む。
車載器カメラ42は車両20に固定されているため、部分画像F2~F5の車室内画像F1における位置は着座位置と対応する。したがって、顔認識を用いて車室内画像F1に含まれる人物を特定すれば、その顔の像が車室内画像F1のどの位置にあるかによって、その人物の着座位置を判定することができる。
図6は、着座位置に基づく制御の説明図である。図6では、携帯端末30の使用者の着座位置が車両20の後部座席右側である。この状態で、携帯端末30が音量の制御を求めるコマンドを着座位置とともに送信したならば、後部座席右側でコマンドに示された音量となるように車載のスピーカの制御が行われることになる。なお、図6では便宜上、携帯端末30の位置と使用者の着座位置が一致する場合を示したが、携帯端末30が送信するのは使用者の着座位置であるため、携帯端末30の位置と使用者の着座位置が異なったとしても、使用者の着座位置に対して制御を行うことができる。
図7は、携帯端末30の処理手順を示すフローチャートである。まず、制御部36がアプリケーションプログラム35aを起動すると、車載器接続部36aが車載器40との通信を確立する(ステップS101)。通信を確立した車載器接続部36aは、車載器40から車載器IDを取得して、車載器ID35cとして記憶部35に記憶する(ステップS102)。
車載器IDを取得して記憶した後、顔画像送信部36bは、使用者の顔画像を携帯端末カメラ32により撮像し(ステップS103)、顔画像を携帯端末ID35b及び車載器ID35cとともにサーバ10に送信することで、顔画像の登録を要求する(ステップS104)。顔画像送信部36bは、サーバ10から着座位置を受信したならば(ステップS105)、受信した着座位置を示す着座位置データ35dを記憶部35に格納する(ステップS106)。
ステップS106の後、コマンド送信部36cは、コマンドの発生を監視する(ステップS107)。コマンドは、例えば使用者からの操作を受け付けて発生する。コマンドが発生していなければ(ステップS107;No)、コマンド送信部36cは、ステップS107を繰り返す。
コマンドが発生したならば(ステップS107;Yes)、コマンド送信部36cは、着座位置に依存するコマンドであるか否かを判定する(ステップS108)。着座位置に依存するコマンドでなければ(ステップS108;No)、コマンド送信部36cは、発生したコマンドを車載器40に送信し(ステップS111)、ステップS107に戻る。
着座位置に依存するコマンドであれば(ステップS108;Yes)、コマンド送信部36cは、記憶部35から着座位置データ35dを読み出し(ステップS109)、着座位置データとともにコマンドを車載器40に送信し(ステップS110)、ステップ107に戻る。
図8は、サーバ10の処理手順を示すフローチャートである。サーバ10の顔画像管理部13aは、携帯端末30から顔画像を受信したか否かを判定する(ステップS201)。携帯端末30から顔画像を受信したならば(ステップS201;Yes)、顔画像管理部13aは、顔画像とともに受信した携帯端末ID及び車載器IDを対応付けて顔画像管理データ12aに登録する(ステップS202)。
ステップS202の後、もしくは顔画像を受信していない場合(ステップS201;No)、顔認識処理部13bは、車載器40から車室内画像を受信したか否かを判定する(ステップS203)。車室内画像を受信していなければ(ステップS203;No)、ステップS201に戻る。
車室内画像を受信した場合(ステップS203;Yes)、顔認識処理部13bは、車室内画像ととも受信した車載器IDに対応付けて登録された顔画像を顔画像管理データ12aから抽出し(ステップS204)、抽出した顔画像と車室内画像とを用いて顔認識を行う(ステップS205)。
ステップS205の後、着座位置判定部13cは、顔認識により特定された人物の像の車室内画像における位置から着座位置を判定する(ステップS206)。着座位置判定部13cは、顔認識で特定された人物の携帯端末30に着座位置を通知し(ステップS207)、ステップS201に戻る。
図9は、車載器40の処理手順を示すフローチャートである。車載器40の携帯端末接続部46aは、まず、携帯端末30との通信を確立して、車載器ID45aを携帯端末30に送信する(ステップS301)。
ステップS301の後、車室内画像送信部46bは、車載器カメラ42で車室内画像を撮像し(ステップS302)、車室内画像と車載器ID45aをサーバに送信する(ステップS303)。
コマンド処理部46cは、携帯端末30からコマンドを受信したか否かを監視する(ステップS304)。コマンドを受信していなければ(ステップS304;No)、ステップS302に戻る。
コマンドを受信したならば(ステップS304;Yes)、コマンド処理部46cは、コマンドと共に着座位置データを受信したか否かを判定する(ステップS305)。コマンドと共に着座位置データを受信したならば(ステップS305;Yes)、コマンド処理部46cは、着座位置に対してコマンドを実行し(ステップS306)、ステップS302に戻る。一方、着座位置データを受信していなければ(ステップS305;No)、コマンド処理部46cは、コマンドを実行し(ステップS307)、ステップS302に戻る。
これまでの説明では、サーバが着座位置を判定し、携帯端末30が着座位置を記憶する構成を例示したが、本発明は上記構成に限定されるものではなく、各種変形して実施することができる。
(変形例1)
図10は、変形例1の説明図である。変形例1の車載器制御システムでは、サーバ10が判定した着座位置を車載器40に送信し、車載器40が着座位置を記憶している。以下、変形例1の車載器制御システムの動作を説明する。
まず、(1)顔画像登録から(4)着座位置判定までの処理は図1と同様である。サーバ10は、着座位置の判定後、顔画像に対応付けられた携帯端末IDと着座位置を車載器40に通知する(5)。通知を受けた車載器40は、着座位置と携帯端末IDを対応付けて記憶する。
その後、携帯端末30は、車載器40に対して制御要求を送信する(6)。この制御要求の送信時には、着座位置を直接指定することはできないが、「携帯端末30の使用者の着座位置を制御対象とする」旨の指定は可能である。
車載器40は、携帯端末30から制御要求を受信したならば、携帯端末IDに基づいて携帯端末30の着座位置を特定し、指定された制御を実行する(7)。このため、車載器40は、携帯端末30の使用者の着座位置を対象として制御を実行することができる。
(変形例2)
図11は、変形例2の説明図である。変形例2の車載器制御システムでは、車載器40が着座位置を判定し、携帯端末30が着座位置を記憶している。以下、変形例2の車載器制御システムの動作を説明する。
携帯端末30は、車室内で所定のアプリケーションを起動した際に、使用者の顔画像を撮像し、顔画像を携帯端末IDと共に車載器40に送信することで顔画像の登録を行う(1)。車載器40は、顔画像と携帯端末IDを対応づけて記憶する。
車載器40は、定期的に車室内画像を撮像し(2)、記憶した顔画像と車室内画像とを用いて顔認識を行う。車室内画像に含まれる人物の顔と一致する顔画像を特定したならば、車載器40は、車室内画像における位置から着座位置を判定し、顔画像に対応付けられた携帯端末30の使用者の着座位置とする(3)。車載器40は、この携帯端末30に着座位置を通知する(4)。
携帯端末30は、車載器40から着座位置の通知を受信し、自端末の使用者の着座位置として記憶する。その後、携帯端末30は、車載器40に対して制御要求を送信する際に、記憶した着座位置を指定することができる(5)。
車載器40は、携帯端末30から着座位置を指定した制御要求を受信したならば、指定された着座位置に係る制御を実行する(6)。
(変形例3)
図12は、変形例3の説明図である。変形例3の車載器制御システムでは、車載器40が着座位置を判定し、記憶している。以下、変形例3の車載器制御システムの動作を説明する。
携帯端末30は、車室内で所定のアプリケーションを起動した際に、使用者の顔画像を撮像し、顔画像を携帯端末IDと共に車載器40に送信することで顔画像の登録を行う(1)。車載器40は、顔画像と携帯端末IDを対応づけて記憶する。
車載器40は、定期的に車室内画像を撮像し(2)、記憶した顔画像と車室内画像とを用いて顔認識を行う。車室内画像に含まれる人物の顔と一致する顔画像を特定したならば、車載器40は、車室内画像における位置から着座位置を判定し、顔画像に対応付けられた携帯端末30の使用者の着座位置とする(3)。車載器40は、この携帯端末30の携帯端末IDに着座位置を対応付けて記憶する。
その後、携帯端末30は、車載器40に対して制御要求を送信する(4)。この制御要求の送信時には、着座位置を直接指定することはできないが、「携帯端末30の使用者の着座位置を制御対象とする」旨の指定は可能である。
車載器40は、携帯端末30から制御要求を受信したならば、携帯端末IDに基づいて携帯端末30の着座位置を特定し、指定された制御を実行する(5)。このため、車載器40は、携帯端末30の使用者の着座位置を対象として制御を実行することができる。
上述してきたように、本実施形態によれば、車両に設置された車載器40と携帯端末30とを通信可能に接続した車載器制御システムは、携帯端末30の使用者の顔画像を携帯端末30の識別情報に対応付けて記憶し、車室内を撮影した車室内画像と前記顔画像とを用いた顔認識により、使用者の着座位置を判定する。そして、車載器40は、携帯端末30から所定の制御要求を受け付けた場合に、当該携帯端末の使用者の着座位置に係る制御を実行する。かかる構成及び動作により、車室内における使用者の位置を簡易且つ確実に判定し、使用者の位置に応じた制御を提供することができる。
具体的には、携帯端末30が使用者の顔画像を撮像して、顔画像に携帯端末30の識別情報を対応付けてサーバ10に送信し、車載器40が車室内画像を撮像してサーバ10に送信し、サーバ10が顔画像と携帯端末30の識別情報の記憶と着座位置の判定部とを行う構成とすることができる。このように顔画像の管理と着座位置の判定をサーバ10が行うことで、携帯端末30や車載器40のコストを抑えつつ、使用者の位置に応じた制御を提供することができる。
また、携帯端末30が使用者の顔画像を撮像して、顔画像に携帯端末30の識別情報を対応付けて車載器40に送信し、車載器40が車室内画像の撮像、顔画像の管理、着座位置の判定を行う構成としてもよい。かかる構成では、サーバの管理運用が不要であり、また、車両外との通信を必要とすることなく、使用者の位置に応じた制御を提供することができる。
また、携帯端末30が着座位置を記憶し、所定の制御要求と共に着座位置を車載器40に送信する構成とすれば、車載器40の負担を抑制して使用者の位置に応じた制御を提供することができる。
同様に、車載器40が着座位置と携帯端末30の識別情報を対応付けて記憶し、携帯端末30から所定の制御要求を受信した場合に、当該携帯端末の識別情報に基づいて着座位置を特定する構成とすれば、携帯端末30の負担を抑制して使用者の位置に応じた制御を提供することができる。
着座位置を対象とした制御には、音響に係る制御が含まれる。すなわち、車載器40は、携帯端末30から音響に係る制御要求を受け付けた場合に、当該携帯端末30の使用者の着座位置における音響について制御を実行することができる。
また、車室内画像を撮像可能な車載器撮像部としてドライブレコーダーのカメラを用いれば、既存の装備を有効に活用し、追加の装備を必要とすることなく低コストで使用者の位置に応じた制御を提供することができる。
なお、本発明は上述した実施の形態に限定されるものではなく、構成及び動作を適宜変形して実施することができる。
例えば、実施形態では説明を簡明にするために顔画像を送信し、記憶する構成を例示したが、顔画像から抽出した特徴量を送信及び記憶する構成としてもよい。また、車室内画像の全体を送信するのではなく、着座位置に対応する部分画像などを切り出して送信する構成とすることもできる。
また、後部座席の中央を着座位置の1つとすることも可能であり、後部座席が2列となっていてもよい。
また、車室内画像と着座位置の対応関係を示すデータを車両や車種に応じて生成しておき、車載器40やサーバ10が保持する構成としてもよい。
10…サーバ、11…通信部、12…記憶部、12a…顔画像管理データ、13…制御部、13a…顔画像管理部、13b…顔認識処理部、13c…着座位置判定部、20…車両、30…携帯端末、31…タッチパネルディスプレイ、32…携帯端末カメラ、33…車載器通信部、34…サーバ通信部、35…記憶部、35a…アプリケーションプログラム、35b…携帯端末ID、35c…車載器ID、35d…着座位置データ、36…制御部、36a…車載器接続部、36b…顔画像送信部、36c…コマンド送信部、40…車載器、41…タッチパネルディスプレイ、42…車載器カメラ、43…携帯端末通信部、44…サーバ通信部、45…記憶部、45a…車載器ID

Claims (10)

  1. 車両に設置された車載器と携帯端末とを通信可能に接続した車載器制御システムであって、
    前記携帯端末の使用者の顔画像を前記携帯端末の識別情報に対応付けて記憶する記憶部と、
    車室内を撮影した車室内画像と前記顔画像とを用いた顔認識により、前記使用者の着座位置を判定する着座位置判定部と
    を備え、
    前記車載器は、前記携帯端末から所定の制御要求を受け付けた場合に、当該携帯端末の使用者の着座位置に係る制御を実行する
    ことを特徴とする車載器制御システム。
  2. 前記携帯端末は、
    前記顔画像を撮像する携帯端末撮像部と、
    前記顔画像に前記携帯端末の識別情報を対応付けてサーバに送信する顔画像送信部とを備え、
    前記車載器は、
    前記車室内画像を撮像可能な車載器撮像部と、
    前記車室内画像を前記サーバに送信する車室内画像送信部とを備え、
    前記サーバは、
    前記記憶部と、前記着座位置判定部とを備える
    ことを特徴とする請求項1に記載の車載器制御システム。
  3. 前記携帯端末は、
    前記顔画像を撮像する携帯端末撮像部と、
    前記顔画像に前記携帯端末の識別情報を対応付けて前記車載器に送信する顔画像送信部とを備え、
    前記車載器は、
    前記車室内画像を撮像可能な車載器撮像部と、
    前記記憶部と、
    前記着座位置判定部とを備える
    ことを特徴とする請求項1に記載の車載器制御システム。
  4. 前記着座位置判定部は、判定結果である着座位置を前記携帯端末に送信し、
    前記携帯端末は、前記着座位置判定部から受信した前記着座位置を記憶し、前記所定の制御要求と共に前記着座位置を前記車載器に送信する
    ことを特徴とする請求項1に記載の車載器制御システム。
  5. 前記着座位置判定部は、判定結果である着座位置と対応する携帯端末の識別情報とを前記車載器に送信し、
    前記車載器は、前記着座位置判定部から受信した前記着座位置と前記携帯端末の識別情報とを対応付けて記憶し、前記携帯端末から前記所定の制御要求を受信した場合に、当該携帯端末の識別情報に基づいて前記着座位置を特定する
    ことを特徴とする請求項1に記載の車載器制御システム。
  6. 前記携帯端末は、前記車載器が管理する音響に係る制御要求を前記所定の制御要求として送信し、
    前記車載器は、前記携帯端末から前記音響に係る制御要求を受け付けた場合に、当該携帯端末の使用者の着座位置における音響について制御を実行する
    ことを特徴とする請求項1に記載の車載器制御システム。
  7. 前記車室内画像を撮像可能な車載器撮像部としてドライブレコーダーのカメラを用いることを特徴とする請求項1に記載の車載器制御システム。
  8. 車両に設置されて携帯端末と通信可能な車載器であって、
    車室内画像を撮像可能な車載器撮像部と、
    前記車室内画像をサーバに送信する車室内画像送信部と、
    前記携帯端末から所定の制御要求と共に、前記車室内画像に基づいて判定された着座位置を受信した場合に、当該着座位置に係る制御を実行する制御処理部と
    を備えたことを特徴とする車載器。
  9. 車両に設置されて携帯端末と通信可能な車載器であって、
    前記携帯端末の使用者の顔画像を前記携帯端末の識別情報に対応付けて記憶する記憶部と、
    車室内画像を撮像可能な車載器撮像部と、
    前記車室内画像と前記顔画像とを用いた顔認識により、前記使用者の着座位置を判定する着座位置判定部と、
    前記携帯端末から所定の制御要求を受け付けた場合に、当該携帯端末の使用者の着座位置に係る制御を実行する制御処理部と
    を備えたことを特徴とする車載器。
  10. 車両に設置され、携帯端末と通信可能な車載器を制御する車載器制御方法であって、
    記憶部が、前記携帯端末の使用者の顔画像を前記携帯端末の識別情報に対応付けて記憶するステップと、
    着座位置判定部が、車室内を撮影した車室内画像と前記顔画像とを用いた顔認識により、前記使用者の着座位置を判定するステップと、
    前記車載器が、前記携帯端末から所定の制御要求を受け付けた場合に、当該携帯端末の使用者の着座位置に係る制御を実行する実行ステップと
    を含むことを特徴とする車載器制御方法。
JP2020151066A 2020-09-09 2020-09-09 車載器制御システム、車載器及び車載器制御方法 Active JP7518706B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020151066A JP7518706B2 (ja) 2020-09-09 車載器制御システム、車載器及び車載器制御方法
US17/469,732 US20220073081A1 (en) 2020-09-09 2021-09-08 In-vehicle apparatus control system, in-vehicle apparatus, and in-vehicle apparatus control method
US18/106,553 US20230173921A1 (en) 2020-09-09 2023-02-07 Vehicle-mounted device and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020151066A JP7518706B2 (ja) 2020-09-09 車載器制御システム、車載器及び車載器制御方法

Publications (2)

Publication Number Publication Date
JP2022045460A true JP2022045460A (ja) 2022-03-22
JP7518706B2 JP7518706B2 (ja) 2024-07-18

Family

ID=

Also Published As

Publication number Publication date
US20220073081A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
US10917614B2 (en) Multi-functional remote monitoring system
US20190092345A1 (en) Driving method, vehicle-mounted driving control terminal, remote driving terminal, and storage medium
US10414376B1 (en) Systems and methods for vehicle lock/unlock alerts
JP2022526932A (ja) 車両ユーザの安全性
CN110126783B (zh) 车辆控制方法及装置
CN107810506B (zh) 具有隐私保护的远程查看系统
JP2008217218A (ja) 事故情報取得システム
US11221627B2 (en) Directed interaction of customers with autonomous vehicles
JP6705470B2 (ja) 記録再生装置、記録再生方法、およびプログラム
JP6978247B2 (ja) 操作監視システム
JP2007199791A (ja) ドライブレコーダ
KR20140128840A (ko) 차량용 영상 처리 장치 및 그 제어 방법
JP7518706B2 (ja) 車載器制御システム、車載器及び車載器制御方法
US20200180533A1 (en) Control system, server, in-vehicle control device, vehicle, and control method
JP2022045460A (ja) 車載器制御システム、車載器及び車載器制御方法
CN115151957A (zh) 车辆用记录装置、车辆用记录控制方法以及程序
WO2009095989A1 (ja) 画像取得装置、画像取得方法、画像取得プログラム及び記憶媒体
US11705003B2 (en) Information processing apparatus, method, and non-transitory computer readable medium for providing comfortable in-vehicle environment
CN110874947B (zh) 交通控制方法、装置及系统
US11754988B2 (en) Information processing device, information processing method and recording medium
KR20170055739A (ko) 차량 위치 정보 확인 시스템
US20200293957A1 (en) Wireless operation system and non-transitory tangible computer readable storage medium
CN112572793B (zh) 管理装置
JP2023129151A (ja) 車載器及びサーバ
US20230173921A1 (en) Vehicle-mounted device and server

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240313

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611