JP2022178626A - 表示制御装置、表示制御方法、及び表示制御プログラム - Google Patents

表示制御装置、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
JP2022178626A
JP2022178626A JP2021085568A JP2021085568A JP2022178626A JP 2022178626 A JP2022178626 A JP 2022178626A JP 2021085568 A JP2021085568 A JP 2021085568A JP 2021085568 A JP2021085568 A JP 2021085568A JP 2022178626 A JP2022178626 A JP 2022178626A
Authority
JP
Japan
Prior art keywords
driver
display
unit
face image
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021085568A
Other languages
English (en)
Inventor
宏太 鷲尾
Kota Washio
周平 真鍋
Shuhei Manabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021085568A priority Critical patent/JP2022178626A/ja
Priority to US17/724,494 priority patent/US20220377286A1/en
Priority to CN202210507699.5A priority patent/CN115366798A/zh
Publication of JP2022178626A publication Critical patent/JP2022178626A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

Figure 2022178626000001
【課題】本発明は、運転継続に適さない運転者に対して煩わしさを与えることなく好適なタイミングで警告を行うように管理者を誘導することを可能とする表示制御装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。
【解決手段】撮像部により撮像された車両の運転者の顔画像を取得する取得部と、前記取得部が取得した前記顔画像に基づいて、前記運転者の運転継続の適否を判定する判定部と、前記判定部により前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者を管理する管理者側の表示部に、前記運転者の運転継続が適当でない可能性があると判定された際の前記顔画像を表示させる制御部と、を備える。
【選択図】図1

Description

本発明は、表示制御装置、表示制御方法、及び表示制御プログラムに関する。
特許文献1には、運転者に対して、より強い覚醒を促す技術が開示されている。
特開2007-304705号公報
特許文献1の技術は、電子制御装置が、カメラにより撮影された運転者の顔の画像に基づいて運転者の瞬きの状態を検出し、この検出された運転者の瞬きの状態に基づいて運転者が眠気を感じているか否かについて判定するものである。
しかし、上記の電子制御装置が運転者の瞬きの状態に基づいて眠気の有無を判定する場合は、例えば、偶々眼に異物が入って眼を長時間閉じている際に眠気があると誤判定されるおそれがある。このような誤判定に基づいて運転者に警告した場合、運転者に煩わしさを与える。また例えば、眼鏡があるために運転者の瞬きの検出が不十分な場合、眠気があるにもかかわらず、眠気がないと誤判定されるおそれがある。このような誤判定に基づいて運転者に警告しない場合、車両の安全な運行に支障を来すおそれがある。したがって、眠気を有するような運転継続に適さない運転者に対し、煩わしさを与えることなく好適なタイミングで警告を行うには改善の余地がある。
そこで、本発明は、運転継続に適さない運転者に対して煩わしさを与えることなく好適なタイミングで警告を行うように管理者を誘導することを可能とする表示制御装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。
請求項1に係る表示制御装置は、撮像部により撮像された車両の運転者の顔画像を取得する取得部と、前記取得部が取得した前記顔画像に基づいて、前記運転者の運転継続の適否を判定する判定部と、前記判定部により前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者を管理する管理者側の表示部に、前記運転者の運転継続が適当でない可能性があると判定された際の前記顔画像を表示させる制御部と、を備える。
請求項1に係る表示制御装置では、取得部は、撮像部により撮像された車両の運転者の顔画像を取得する。また、判定部は、取得部が取得した顔画像に基づいて、運転者の運転継続の適否を判定する。そして、制御部は、判定部により運転者の運転継続が適当でない可能性があると判定された場合、運転者を管理する管理者側の表示部に、運転者の運転継続が適当でない可能性があると判定された際の顔画像を表示させる。これにより、当該表示制御装置では、運転者の運転継続が適当でない可能性があると判定された際の顔画像を管理者側の表示部に表示させることで、当該顔画像に基づいて管理者が運転者に注意及び警告等の指示出しを行うか否かを決定できる。したがって、当該表示制御装置では、運転継続に適さない運転者に対して煩わしさを与えることなく好適なタイミングで警告を行うように管理者を誘導することが可能となる。
請求項2に係る表示制御装置は、請求項1において、前記制御部は、前記判定部により前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者を一意に特定可能な情報を前記表示部に表示させる。
請求項2に係る表示制御装置では、制御部は、判定部により運転者の運転継続が適当でない可能性があると判定された場合、運転者を一意に特定可能な情報を管理者側の表示部に表示させる。これにより、当該表示制御装置では、運転者を一意に特定可能な情報を管理者側の表示部に表示させることで、当該情報に基づいて管理者は運転継続が適当でない可能性がある運転者を特定できる。
請求項3に係る表示制御装置は、請求項1又は2において、前記制御部は、前記判定部により前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者の連絡先を前記表示部に表示させる。
請求項3に係る表示制御装置では、制御部は、判定部により運転者の運転継続が適当でない可能性があると判定された場合、運転者の連絡先を管理者側の表示部に表示させる。これにより、当該表示制御装置では、運転者の連絡先を管理者側の表示部に表示させることで、当該連絡先を用いて管理者は運転継続が適当でない可能性がある運転者に容易に連絡できる。
請求項4に係る表示制御装置は、請求項1から3の何れか1項において、前記判定部は、前記取得部が取得した前記顔画像に基づいて、前記運転者の運転継続の適否として、前記運転者の眠気の有無を判定し、前記制御部は、前記判定部により前記運転者に眠気がある可能性があると判定された場合、前記運転者に眠気がある可能性があると判定された際の前記顔画像を前記表示部に表示させる。
請求項4に係る表示制御装置では、判定部は、取得部が取得した顔画像に基づいて、運転者の運転継続の適否として、運転者の眠気の有無を判定する。そして、制御部は、判定部により運転者に眠気がある可能性があると判定された場合、運転者に眠気がある可能性があると判定された際の顔画像を管理者側の表示部に表示させる。これにより、当該表示制御装置では、運転者に眠気がある可能性があると判定された際の顔画像を管理者側の表示部に表示させることで、当該顔画像に基づいて管理者が運転者に注意及び警告等の指示出しを行うか否かを決定できる。したがって、当該表示制御装置では、運転継続に適さない運転者に対して煩わしさを与えることなく好適なタイミングで警告を行うように管理者を誘導することが可能となる。
請求項5に係る表示制御装置は、請求項4において、前記制御部は、前記判定部により前記運転者に眠気がある可能性があると判定された場合、前記運転者に眠気がある可能性があると判定された際の状況に関する情報を前記表示部に表示させる。
請求項5に係る表示制御装置では、制御部は、判定部により運転者に眠気がある可能性があると判定された場合、運転者に眠気がある可能性があると判定された際の状況に関する情報を管理者側の表示部に表示させる。これにより、当該表示制御装置では、運転者に眠気がある可能性があると判定された際の当該情報を管理者側の表示部に表示させることで、管理者による運転者の眠気の有無の予測精度を高められる。
請求項6に係る表示制御方法は、撮像部により撮像された車両の運転者の顔画像を取得し、取得した前記顔画像に基づいて、前記運転者の運転継続の適否を判定し、前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者を管理する管理者側の表示部に、前記運転者の運転継続が適当でない可能性があると判定された際の前記顔画像を表示させる処理をコンピュータが実行する。
請求項7に係る表示制御プログラムは、コンピュータに、撮像部により撮像された車両の運転者の顔画像を取得し、取得した前記顔画像に基づいて、前記運転者の運転継続の適否を判定し、前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者を管理する管理者側の表示部に、前記運転者の運転継続が適当でない可能性があると判定された際の前記顔画像を表示させる、処理を実行させる。
以上説明したように、本発明に係る表示制御装置、表示制御方法、及び表示制御プログラムでは、運転継続に適さない運転者に対して煩わしさを与えることなく好適なタイミングで警告を行うように管理者を誘導することが可能となる。
本実施の形態に係る表示制御システムの概略構成を示す図である。 本実施の形態に係る表示制御装置、管理者端末及び運転者端末のハードウェア構成を示すブロック図である。 本実施の形態に係る表示制御装置の機能構成の例を示すブロック図である。 本実施の形態に係る車両のハードウェア構成を示すブロック図である。 本実施の形態に係る表示制御装置による表示処理の流れを示すフローチャートである。 本実施の形態に係る管理者端末に表示されるWebアプリケーションの表示例である。
以下、本実施の形態に係る表示制御システム10について説明する。
本実施の形態に係る表示制御システム10は、タクシー会社及び運送会社等、車両を運行する事業者の運転者を管理する管理者が閲覧可能なWebアプリケーションの表示制御を行うシステムである。
図1は、表示制御システム10の概略構成を示す図である。
図1に示すように、表示制御システム10は、表示制御装置20と、管理者端末40と、車両60と、運転者端末80とを含む。表示制御装置20、管理者端末40、車両60、及び運転者端末80は、ネットワークNを介して接続され、互いに通信可能となっている。そして、ネットワークNに接続された車両60は、一例として、利用者を乗せて走行する自動車である。
表示制御装置20は、車両60を管理する事業者が保有するサーバコンピュータである。
管理者端末40は、管理者が保有する端末である。管理者端末40には、一例として、サーバコンピュータ、若しくはPC等の汎用的なコンピュータ装置、又は携帯可能なパーソナルコンピュータ(ノートPC)、スマートフォン、若しくはタブレット端末等の携帯端末が適用される。本実施の形態では、一例として、管理者端末40はPCとする。
車両60は、ガソリン車両、ハイブリッド車両、又は電気自動車の何れであってもよいが、本実施の形態では、一例として、車両60はガソリン車両とする。
運転者端末80は、車両60の運転者が保有する携帯端末である。運転者端末80には、一例として、ノートPC、スマートフォン、又はタブレット端末等が適用される。本実施の形態では、一例として、運転者端末80はスマートフォンとする。
次に、表示制御装置20、管理者端末40及び運転者端末80のハードウェア構成を説明する。図2は、表示制御装置20、管理者端末40及び運転者端末80のハードウェア構成を示すブロック図である。なお、表示制御装置20、管理者端末40及び運転者端末80は、基本的には一般的なコンピュータ構成であるため、表示制御装置20を代表して説明する。
図2に示すように、表示制御装置20は、CPU21(Central Processing Unit)、ROM22(Read Only Memory)、RAM23(Random Access Memory)、記憶部24、入力部25、表示部26、及び通信部27を備えている。各構成は、バス28を介して相互に通信可能に接続されている。
CPU21は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU21は、ROM22又は記憶部24からプログラムを読み出し、RAM23を作業領域としてプログラムを実行する。CPU21は、ROM22又は記憶部24に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。
ROM22は、各種プログラム及び各種データを格納する。RAM23は、作業領域として一時的にプログラム又はデータを記憶する。
記憶部24は、HDD(Hard Disk Drive)、SSD(Solid State Drive)又はフラッシュメモリ等の記憶装置により構成され、各種プログラム、及び各種データを格納する。本実施の形態では、記憶部24には、少なくとも後述する表示処理を実行するための表示制御プログラム24Aが格納されている。
入力部25は、マウス等のポインティングデバイス、キーボード、マイク、及びカメラ等を含み、各種の入力を行うために使用される。
表示部26は、例えば、液晶ディスプレイであり、種々の情報を表示する。表示部26は、タッチパネル方式を採用して、入力部25として機能してもよい。
通信部27は、他の機器と通信するためのインターフェースである。当該通信には、たとえば、イーサネット(登録商標)若しくはFDDI等の有線通信の規格、又は、4G、5G、若しくはWi-Fi(登録商標)等の無線通信の規格が用いられる。
上記の表示制御プログラム24Aを実行する際に、表示制御装置20は、上記のハードウェア資源を用いて、当該表示制御プログラム24Aに基づく処理を実行する。
次に、表示制御装置20の機能構成について説明する。
図3は、本実施の形態に係る表示制御装置20の機能構成の例を示すブロック図である。
図3に示すように、表示制御装置20のCPU21は、機能構成として、取得部21A、判定部21B、及び制御部21Cを有する。各機能構成は、CPU21が記憶部24に記憶された表示制御プログラム24Aを読み出し、実行することにより実現される。
取得部21Aは、後述するカメラ75により撮像された車両60の運転者の顔画像を取得する。当該顔画像は、運転者の顔の画像が含まれていればよく、運転者の顔の画像のみで構成されていてもよいし、運転者の顔の画像に加えて、身体の画像を含んで構成されていてもよい。
判定部21Bは、取得部21Aが取得した顔画像に基づいて、運転者の運転継続の適否を判定する。本実施の形態では、判定部21Bは、取得部21Aが取得した顔画像に基づいて、運転者の運転継続の適否として、運転者の眠気の有無を判定する。具体的には、判定部21Bは、取得部21Aが取得した顔画像を用いて、例えば、特開平8-153288号公報に記載されているような公知の眠気判定処理を実行することで、運転者の眠気の有無を判定する。
制御部21Cは、判定部21Bにより運転者に眠気がある可能性があると判定された場合、管理者端末40の表示部46に、運転者に眠気がある可能性があると判定された際の運転者情報を表示させる。表示部46は「管理者側の表示部」の一例である。運転者情報には、一例として、運転者の顔画像、運転者を一意に特定可能な情報である運転者ID(identification)、運転者の連絡先、及び後述する時間情報が含まれる。なお、表示部46に表示される運転者情報の具体例は、後述する。また、運転者情報は、一例として、記憶部24に記憶される。
次に、車両60のハードウェア構成を説明する。図4は、車両60のハードウェア構成を示すブロック図である。
図4に示すように、車両60は、車載器15と、複数のECU(Electronic Control Unit)70と、操舵角センサ71と、加速度センサ72と、車速センサ73と、マイク74と、カメラ75と、入力スイッチ76と、モニタ77と、スピーカ78と、GPS装置79と、を含んで構成されている。
車載器15は、CPU61、ROM62、RAM63、記憶部64、車内通信I/F(InterFace)65、入出力I/F66及び無線通信I/F67を含んで構成されている。CPU61、ROM62、RAM63、記憶部64、車内通信I/F65、入出力I/F66及び無線通信I/F67は、内部バス68を介して相互に通信可能に接続されている。
CPU61は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU61は、ROM62又は記憶部64からプログラムを読み出し、RAM63を作業領域としてプログラムを実行する。CPU61は、ROM62又は記憶部64に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。
ROM62は、各種プログラム及び各種データを格納する。RAM63は、作業領域として一時的にプログラム又はデータを記憶する。
記憶部64は、HDD、SSD又はフラッシュメモリ等の記憶装置により構成され、各種プログラム、及び各種データを格納する。
車内通信I/F65は、ECU70と接続するためのインターフェースである。当該インターフェースは、CANプロトコルによる通信規格が用いられる。車内通信I/F65は、外部バス90に対して接続されている。
ECU70は、車両60の機能毎に複数設けられており、本実施の形態では、ECU70A及びECU70Bが設けられている。ECU70Aは、電動パワーステアリング用ECUが例示され、ECU70Aには操舵角センサ71が接続されている。また、ECU70Bは、VSC(Vehicle Stability Control)用ECUが例示され、ECU70Bには加速度センサ72及び車速センサ73が接続されている。なお、ECU70Bには加速度センサ72及び車速センサ73に加えて、ヨーレートセンサが接続されていてもよい。
操舵角センサ71は、ステアリングホイールの操舵角を検出するためのセンサである。操舵角センサ71において検出された操舵角は、記憶部64に記憶されるとともに、表示制御装置20に送信される。
加速度センサ72は、車両60に作用する加速度を検出するためのセンサである。加速度センサ72は、一例として、3軸の加速度センサであり、X軸方向として車両前後方向、Y軸方向として車幅方向、Z軸方向として車両高さ方向に加わった加速度を検出する。加速度センサ72において検出された加速度は、記憶部64に記憶されるとともに、表示制御装置20に送信される。
車速センサ73は、車両60の車速を検出するためのセンサである。車速センサ73は例えば、車輪に設けられたセンサである。車速センサ73において検出された車速は、記憶部64に記憶されるとともに、表示制御装置20に送信される。
入出力I/F66は、車両60に搭載されるマイク74、カメラ75、入力スイッチ76、モニタ77、スピーカ78、及びGPS装置79と通信するためのインターフェースである。
マイク74は、車両60のフロントピラー、又はダッシュボード等に設けられ、車両60の運転者が発した音声を集音する装置である。なお、マイク74は、後述するカメラ75に設けられていてもよい。
カメラ75は、一例として、CCD(Charge Coupled Device)イメージセンサを含んで構成されている。カメラ75は、一例として、車両60においてフロントウィンドウの上部、又はダッシュボードに設けられ、運転者へ向けられている。そして、カメラ75は、運転者の顔を含む範囲を撮像する。カメラ75により撮像された運転者の顔画像は、記憶部64に記憶されるとともに表示制御装置20に送信される。なお、カメラ75は、ECU70(例えば、カメラECU)を経由して車載器15に接続されていてもよい。カメラ75は「撮像部」の一例である。
入力スイッチ76は、インストルメントパネル、センタコンソール、ステアリングホイール等に設けられ、運転者の手指による操作を入力するスイッチである。入力スイッチ76としては、例えば、押しボタン式のテンキー、及びタッチパッド等を採用することができる。
モニタ77は、インストルメントパネル、又はメータパネル等に設けられ、車両60の機能に係る作動の提案、及び当該機能の説明に係る画像を表示するための液晶モニタである。モニタ77は、入力スイッチ76を兼ねたタッチパネルとして設けてもよい。
スピーカ78は、インストルメントパネル、センタコンソール、フロントピラー、又はダッシュボード等に設けられ、車両60の機能に係る作動の提案、及び当該機能の説明に係る音声を出力するための装置である。なお、スピーカ78は、モニタ77に設けられていてもよい。
GPS装置79は、車両60の現在位置を測定する装置である。GPS装置79は、GPS衛星からの信号を受信する図示しないアンテナを含んでいる。なお、GPS装置79は、ECU70(例えば、マルチメディアECU)に接続されるカーナビゲーションシステムを経由して車載器15に接続されていてもよい。
無線通信I/F67は、表示制御装置20と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、5G、LTE、Wi-Fi(登録商標)等の通信規格が用いられる。無線通信I/F67は、ネットワークNに対して接続されている。
図5は、表示制御装置20による運転者に眠気がある可能性があると判定された際の運転者情報を表示部46に表示させる表示処理の流れを示すフローチャートである。CPU21が記憶部24から表示制御プログラム24Aを読み出して、RAM23に展開して実行することにより、表示処理が行われる。
図5に示すステップS10において、CPU21は、車両60から運転者の顔画像を取得する。そして、ステップS11に進む。本実施の形態では、定期的に車両60から表示制御装置20に当該顔画像が送信される。
ステップS11において、CPU21は、ステップS10で取得した顔画像に基づいて、運転者の運転継続の適否として、運転者の眠気の有無を判定する。そして、ステップS12に進む。
ステップS12において、CPU21は、運転者に眠気がある可能性があるか否かを判定し、運転者に眠気がある可能性があると判定した場合(ステップS12:YES)はステップS13に進む。一方、CPU21により運転者に眠気がある可能性がないと判定された場合(ステップS12:NO)は当該処理を終了する。一例として、CPU21は、ステップS10で取得した顔画像を用いて公知の眠気判定処理を実行し、運転者の眠気の有無を判定する。
ステップS13において、CPU21は、管理者端末40の表示部46に、運転者に眠気がある可能性があると判定された際の運転者情報を表示させる。そして、当該処理を終了する。
次に、図5に示すステップS13において、管理者端末40の表示部46に表示されるWebアプリケーションの表示例について説明する。
図6は、管理者端末40の表示部46に表示されるWebアプリケーションの表示例である。CPU21は、図5に示すステップS12において「運転者に眠気がある可能性がある」と判定した場合、管理者端末40にプッシュ通知を送信する。そして、図6に示す表示例は、一例として、表示制御装置20から送信されたプッシュ通知を管理者端末40で開くことにより表示される。
図6に示す表示例には、第1表示部50と、第2表示部51と、第3表示部52と、第4表示部53と、第5表示部54と、が表示されている。
第1表示部50は、運転者に眠気がある可能性があると判定された際の運転者の顔画像として、図5に示すステップS10で取得した顔画像を表示する部分である。図6に示す第1表示部50には、一例として、図5に示すステップS10で取得した運転者Aの顔画像Fが表示されている。
第2表示部51は、運転者に眠気がある可能性があると判定された運転者の運転者IDを表示する部分である。図6に示す第2表示部51には、一例として、運転者Aの運転者IDが「12345」であることが表示されている。
第3表示部52は、運転者に眠気がある可能性があると判定された運転者の連絡先として、運転者端末80の電話番号を表示する部分である。図6に示す第3表示部52には、一例として、運転者Aが保有する運転者端末80の電話番号が「012-3456-7890」であることが表示されている。
第4表示部53は、運転者に眠気がある可能性があると判定された際の状況に関する情報として、時間に関する時間情報を表示する部分である。具体的には、第4表示部53には、時間情報として、運転者に眠気がある可能性があると判定された際の時刻が表示される。図6に示す第4表示部53には、一例として、運転者Aに眠気がある可能性があると判定された際の時刻が「5時30分」であることが表示されている。
第5表示部54は、運転者に眠気がある可能性があると判定された際の時間情報を表示する部分である。具体的には、第5表示部54には、時間情報として、運転者に眠気がある可能性があると判定された際の車両60の連続運転時間が表示される。図6に示す第5表示部54には、一例として、運転者Aに眠気がある可能性があると判定された際の車両60の連続運転時間が「6時間」であることが表示されている。なお、本実施の形態では、一例として、図示しないイグニッションセンサがオンとなった時点を車両60の走行開始時点、イグニッションセンサがオフとなった時点を車両60の走行終了時点とみなして連続運転時間が算出される。
上記のように、本実施の形態では、CPU21は、カメラ75により撮像された車両60の運転者の顔画像を取得する。また、CPU21は、取得した顔画像に基づいて、運転者の運転継続の適否として、運転者の眠気の有無を判定する。そして、CPU21は、運転者に眠気がある可能性があると判定した場合、運転者に眠気がある可能性があると判定した際の顔画像を管理者端末40の表示部46に表示させる。これにより、本実施の形態では、運転者に眠気がある可能性があると判定した際の顔画像を表示部46に表示させることで、当該顔画像に基づいて管理者が運転者に注意及び警告等の指示出しを行うか否かを決定できる。したがって、本実施の形態では、運転継続に適さない運転者に対して煩わしさを与えることなく好適なタイミングで警告を行うように管理者を誘導することが可能となる。
また、本実施の形態では、CPU21は、運転者に眠気がある可能性があると判定した場合、当該運転者の運転者IDを管理者端末40の表示部46に表示させる。これにより、本実施の形態では、運転者IDを表示部46に表示させることで、当該運転者IDに基づいて管理者は眠気がある可能性がある運転者を特定できる。
また、本実施の形態では、CPU21は、運転者に眠気がある可能性があると判定した場合、当該運転者の連絡先を管理者端末40の表示部46に表示させる。これにより、本実施の形態では、運転者の連絡先を表示部46に表示させることで、当該連絡先を用いて管理者は眠気がある可能性がある運転者に容易に連絡できる。
また、本実施の形態では、CPU21は、運転者に眠気がある可能性があると判定した場合、運転者に眠気がある可能性があると判定した際の状況に関する情報として、時間に関する時間情報を管理者端末40の表示部46に表示させる。具体的には、CPU21は、時間情報として、運転者に眠気がある可能性があると判定した際の時刻及び車両60の連続運転時間を表示部46に表示させる。ここで、出願人による調査の結果、タクシー会社及び運送会社等、車両を運行する事業者の運転者の中で勤務中に眠気を感じない運転者はいないことが判明した。また、出願人による調査の結果、当該事業者の運転者による事故は、明け方に発生する割合が高く、また、明け方の事故は重大な事故である割合が高いことが判明した。そのため、本実施の形態では、運転者に眠気がある可能性があると判定した際の時刻を表示部46に表示させることで、管理者は当該時刻を考慮して運転者の眠気の有無について予測を立てることができる。また、本実施の形態では、運転者に眠気がある可能性があると判定した際の車両60の連続運転時間を表示部46に表示させることで、管理者は当該連続運転時間を考慮して運転者の眠気の有無について予測を立てることができる。したがって、本実施の形態では、運転者に眠気がある可能性があると判定した際の時間情報を表示部46に表示させることで、管理者による運転者の眠気の有無の予測精度を高められる。
(その他)
上記の実施形態では、運転者の運転継続の適否として、運転者の眠気の有無を判定したが、これに限らず、運転者の運転継続の適否として、運転者の体調の良し悪し及び所謂ながら運転の有無等を判定してもよい。
上記の実施形態では、取得した運転者の顔画像に基づいて、運転者の運転継続の適否を判定したが、運転継続の適否の判定は顔画像を用いることに限らず、他の要素を用いて行ってもよい。他の例として、運転者の顔画像のような運転者に関する情報として、運転者の心電、心拍、脈派、呼吸、及び脳波等の情報を取得し、取得した当該情報を用いて運転者の運転継続の適否を判定してもよい。また、運転者に関する情報を用いることに代えて又は加えて、車両に関する車両情報を用いて、運転者の運転継続の適否を判定してもよい。この場合、車両情報として取得したステアリングホイールの操舵角及び各ペダル操作等を用いて運転者の運転継続の適否を判定してもよい。
上記の実施形態では、運転者に眠気がある可能性があると判定された場合、管理者端末40の表示部46に、運転者に眠気がある可能性があると判定された際の運転者情報として、運転者の顔画像、運転者の運転者ID、運転者の連絡先、及び時間情報を表示させた。しかし、運転者情報として表示する情報は、少なくとも運転者の顔画像が含まれていればよく、その他の運転者の運転者ID、運転者の連絡先、及び時間情報は含まれていてもよいし、一部の情報が含まれていなくてもよい。
上記の実施形態では、運転者を一意に特定可能な情報の一例を運転者IDとしたが、これに限らず、運転者を一意に特定可能な情報の一例は「運転者の氏名」等の別の情報であってもよい。
上記の実施形態では、運転者の連絡先の一例を運転者端末80の電話番号としたが、これに限らず、運転者の連絡先の一例は「運転者端末80のメールアドレス」等の別の情報であってもよい。
上記の実施形態では、表示制御システム10は、表示制御装置20と、管理者端末40と、車両60と、運転者端末80とを含んで構成されていた。しかし、これに限らず、表示制御システム10に管理者端末40を含まず、1台の装置が表示制御装置20及び管理者端末40の機能を備えることとしてもよい。
なお、上記の実施形態でCPU21がソフトウェア(プログラム)を読み込んで実行した表示処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、表示処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記の実施形態では、表示制御プログラム24Aが記憶部24に予め記憶(インストール)されている態様を説明したが、これに限定されない。表示制御プログラム24Aは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、表示制御プログラム24Aは、ネットワークNを介して外部装置からダウンロードされる形態としてもよい。
20 表示制御装置
21A 取得部
21B 判定部
21C 制御部
24A 表示制御プログラム

Claims (7)

  1. 撮像部により撮像された車両の運転者の顔画像を取得する取得部と、
    前記取得部が取得した前記顔画像に基づいて、前記運転者の運転継続の適否を判定する判定部と、
    前記判定部により前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者を管理する管理者側の表示部に、前記運転者の運転継続が適当でない可能性があると判定された際の前記顔画像を表示させる制御部と、
    を備える表示制御装置。
  2. 前記制御部は、前記判定部により前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者を一意に特定可能な情報を前記表示部に表示させる請求項1に記載の表示制御装置。
  3. 前記制御部は、前記判定部により前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者の連絡先を前記表示部に表示させる請求項1又は2に記載の表示制御装置。
  4. 前記判定部は、前記取得部が取得した前記顔画像に基づいて、前記運転者の運転継続の適否として、前記運転者の眠気の有無を判定し、
    前記制御部は、前記判定部により前記運転者に眠気がある可能性があると判定された場合、前記運転者に眠気がある可能性があると判定された際の前記顔画像を前記表示部に表示させる請求項1から3の何れか1項に記載の表示制御装置。
  5. 前記制御部は、前記判定部により前記運転者に眠気がある可能性があると判定された場合、前記運転者に眠気がある可能性があると判定された際の状況に関する情報を前記表示部に表示させる請求項4に記載の表示制御装置。
  6. 撮像部により撮像された車両の運転者の顔画像を取得し、
    取得した前記顔画像に基づいて、前記運転者の運転継続の適否を判定し、
    前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者を管理する管理者側の表示部に、前記運転者の運転継続が適当でない可能性があると判定された際の前記顔画像を表示させる、
    処理をコンピュータが実行する表示制御方法。
  7. コンピュータに、
    撮像部により撮像された車両の運転者の顔画像を取得し、
    取得した前記顔画像に基づいて、前記運転者の運転継続の適否を判定し、
    前記運転者の運転継続が適当でない可能性があると判定された場合、前記運転者を管理する管理者側の表示部に、前記運転者の運転継続が適当でない可能性があると判定された際の前記顔画像を表示させる、
    処理を実行させるための表示制御プログラム。
JP2021085568A 2021-05-20 2021-05-20 表示制御装置、表示制御方法、及び表示制御プログラム Pending JP2022178626A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021085568A JP2022178626A (ja) 2021-05-20 2021-05-20 表示制御装置、表示制御方法、及び表示制御プログラム
US17/724,494 US20220377286A1 (en) 2021-05-20 2022-04-20 Display control device, display control method, and display control program
CN202210507699.5A CN115366798A (zh) 2021-05-20 2022-05-11 显示控制装置、显示控制方法及显示控制程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021085568A JP2022178626A (ja) 2021-05-20 2021-05-20 表示制御装置、表示制御方法、及び表示制御プログラム

Publications (1)

Publication Number Publication Date
JP2022178626A true JP2022178626A (ja) 2022-12-02

Family

ID=84060622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021085568A Pending JP2022178626A (ja) 2021-05-20 2021-05-20 表示制御装置、表示制御方法、及び表示制御プログラム

Country Status (3)

Country Link
US (1) US20220377286A1 (ja)
JP (1) JP2022178626A (ja)
CN (1) CN115366798A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240034335A1 (en) * 2022-07-26 2024-02-01 Toyota Research Institute, Inc. Adaptive dynamic driver training systems and methods

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043571A (ja) * 2019-09-09 2021-03-18 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム

Also Published As

Publication number Publication date
CN115366798A (zh) 2022-11-22
US20220377286A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
CN111845757A (zh) 分心驾驶消除系统
JP6458438B2 (ja) 情報処理装置、警告方法、およびプログラム
US20220377286A1 (en) Display control device, display control method, and display control program
US11260874B2 (en) Driver assistance device that can be mounted on a vehicle
Bautu et al. In-vehicle software system for fostering driver’s attentiveness
EP3606018B1 (en) Mobile apparatus, information processing method, mobile device program
CN113903191B (zh) 危险预测装置、系统、方法及记录有程序的记录介质
CN111002989A (zh) 驾驶安全监测方法、车载终端及计算机可读存储介质
JP2024013149A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US20220405421A1 (en) Information processing device, information processing method and storage medium
US11654930B2 (en) Display control device, display control method, and display control program
US20230356722A1 (en) Information processing device, information processing method, and storage medium
US20230401905A1 (en) Information processing device, information processing method, and storage medium
JP7496484B2 (ja) 車両運行情報表示システム、方法及びプログラム
US20220375282A1 (en) Display control device, display control method, and display control program
US20230401907A1 (en) Information processing device, information processing method, and storage medium
US12094263B2 (en) Driving evaluation device, driving evaluation method, and driving evaluation program
JP2023017453A (ja) 部品診断装置、部品診断システム、部品診断方法、及び部品診断プログラム
JP2024026499A (ja) 情報提供装置、制御方法、及びプログラム
JP2024049060A (ja) 提案装置及び提案システム
JP2022165339A (ja) エージェント装置
JP2022054295A (ja) 運転評価装置、運転評価システム、運転評価方法及び運転評価プログラム
CN116233731A (zh) 用于车辆的方法、装置、系统、介质和车辆