JP2008210375A - ドライバ管理装置および運行管理システム - Google Patents

ドライバ管理装置および運行管理システム Download PDF

Info

Publication number
JP2008210375A
JP2008210375A JP2008014248A JP2008014248A JP2008210375A JP 2008210375 A JP2008210375 A JP 2008210375A JP 2008014248 A JP2008014248 A JP 2008014248A JP 2008014248 A JP2008014248 A JP 2008014248A JP 2008210375 A JP2008210375 A JP 2008210375A
Authority
JP
Japan
Prior art keywords
driver
information
capture
estimation result
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008014248A
Other languages
English (en)
Other versions
JP4985428B2 (ja
Inventor
Takuhiro Omi
拓寛 大見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2008014248A priority Critical patent/JP4985428B2/ja
Priority to DE112008000301.7T priority patent/DE112008000301B4/de
Priority to US12/449,027 priority patent/US8164463B2/en
Priority to PCT/JP2008/051377 priority patent/WO2008093712A1/ja
Priority to CN2008800038092A priority patent/CN101601077B/zh
Publication of JP2008210375A publication Critical patent/JP2008210375A/ja
Application granted granted Critical
Publication of JP4985428B2 publication Critical patent/JP4985428B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/04Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to presence or absence of the driver, e.g. to weight or lack thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

【課題】車両の運行を管理する際に、車両のドライバの状態をより適切に判断すること。
【解決手段】取得した顔画像を画像処理した後の顔画像に基づいてドライバの眠気レベルDを判定する(S130)。眠気レベルDの値が閾値Thよりも大きい場合には(S140:YES)、判定寄与度を分析してファクターを抽出する(S150)。そして、ドライバの状態を端的に示す画像が記録された前後のタイムスタンプをキャプチャ領域として抽出し(S160)、その抽出したキャプチャ領域に対応する画像をキャプチャ情報として記憶しておき、必要に応じて読み出す(S170)。その読み出した画像について、必要により画像圧縮をかけ(S180)、その圧縮後のキャプチャ情報、推定結果および付加情報から送信用データを作成してセンタに送信するとともに、ドライバレコーダ17にも記録させる(S190)。センタでは受け取った画像を記憶したり表示したりする。
【選択図】図4

Description

本発明は、車両の運行を管理する運行管理システム、および運行管理システムを構成する、車両のドライバを管理するドライバ管理装置に関する。
運行管理センタと車両のドライバ管理装置とを通信で結び、両者の間で情報を交換しながら車両の運行を適切に管理するため運行管理システムが知られている。このような運行管理システムにおいては、車両のドライバ管理装置から運行管理センタへ送られるドライバや車両に関するデータを運行管理センタの運行管理者が確認して、ドライバ状態が異常かどうか等を判断し、指示や警告を発している。
しかし、このような運行管理システムにおいては、ドライバや車両に関するデータが所定の送信タイミングにのみ送られてくるので、例えばドライバが急病になりそうな場合には対応が遅れていた。
そこで、ドライバの生理データ(心拍数など)に基づき、ドライバの状態が正常か否かをドライバ管理装置側のドライバ状態判断部にて判断し、異常と判断された場合には、1枚のドライバの顔画像(あるいは顔画像と生理データと)を運行管理センタに送信し、運行管理センタの運行管理者がその顔画像に基づいてドライバの状態などの事態を総合的に判断して、ドライバへ指示や命令を伝えるドライバ管理装置を備える運行管理システムがある(例えば、特許文献1参照。)。
また、実際に運転している乗員の情報を正確に取得し、セキュリティを向上させることが可能な乗員顔画像処理システムが知られている。このような乗員顔画像処理システムは、乗員の顔画像を取得する顔画像収集手段と、この顔画像のデータを送信用のデータ形式に変換する変換手段と、この変換された送信用データを路上機に送信する一方、この路上機から前記乗員の顔画像を取得するための指示情報を受信する通信制御手段と、を備える(例えば、特許文献2参照。)。
特開2002−74599号公報 特開2001−126091号公報
しかしながら、特許文献1に記載の運行管理システムにおいては、ドライバ管理装置が、ドライバの生理データから判定したドライバの状態に基づき、判定と同時に1枚の顔画像を送信するが、その顔画像の撮像タイミングについては規定されておらず、運行管理センタの運行管理者がその1枚の顔画像のみに基づいてドライバの状態などの事態を適切に判断することは困難であるという問題があった。
また、特許文献2に記載の乗員顔画像処理システムにおいては、上述の画像を送信可能なデータ形式に変換して送信するが、どのシーンを切り出して送信するかについては規定されておらず、運行管理センタの運行管理者がその切り出された顔画像のみに基づいてドライバの状態などの事態を適切に判断することは困難であるという問題があった。
本発明は、このような不具合に鑑みなされたものであり、その目的とするところは、車両の運行を管理する際に、車両のドライバの状態をより適切に判断することにある。
上記課題を解決するためになされた請求項1に係るドライバ管理装置は、ドライバをセンシングしたセンシング情報に基づくドライバの状態の推定結果が報告条件を満たしている場合に、推定結果に基づいてセンシング情報から抽出した「キャプチャ情報」を推定結果とともにセンタに送信することを特徴とする。
具体的には、請求項1のドライバ管理装置(10:この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄で用いた符号を付すが、この符号によって請求の範囲を限定することを意味するものではない。)は、車両の運行を管理し、センタとの間で各種データの授受が可能である。ここでいう「データの授受」とは無線によるリアルタイムなデータ授受のみでなく、携帯型メモリデバイスなどハードウェアを介したデータ授受や、有線によるデータ授受も含む。
まず、センシング手段(11,12)がドライバをセンシングし、センシング情報記憶手段(15)が、センシング手段がセンシングした結果である「センシング情報」を一時記憶する。さらに、状態推定手段(14)が、例えば情報処理ECUがセンシング情報をもとに検出した処理結果に基づいてドライバの状態を推定し、キャプチャ情報記憶手段(16)が、状態推定手段による推定結果に基づき抽出手段が抽出したキャプチャ領域をもとに、センシング情報記憶手段が記憶するセンシング情報の一部をキャプチャ情報として抽出し記憶する。判断手段(14)が、状態推定手段による推定結果をセンタへ知らせるべきと判断するための報告条件を上述の推定結果が満たしているか否かを判断する。推定結果が報告条件を満たしていると判断手段によって判断された場合には、制御手段(23,24)が、その判断された推定結果に対応するキャプチャ情報をキャプチャ情報記憶手段から読み出し、その読み出したキャプチャ情報をその判断された推定結果とともにセンタへ送信させる。
このように構成された本発明のドライバ管理装置によれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
この場合、上述のように推定結果およびキャプチャ情報を送信する際には、付加情報を付加して送信することが考えられる。具体的には、請求項2のように、制御手段が、推定結果およびキャプチャ情報をセンタに送信させる際に付加情報を付加して送信させることが考えられる。このように構成すれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による推定結果およびキャプチャ情報に加えて付加情報を考慮して総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
なお、付加情報の具体例としては、(イ)車両自身に関する車両情報(請求項3)、(ロ)ドライバによる操作を示す操作情報(請求項4)、(ハ)車両の周囲の状況に関する車両周囲情報(請求項5)、が挙げられる。
(イ)まず、付加情報の具体例としては、車両自身に関する車両情報であることが考えられる。具体的には、請求項3のように、制御手段が、車両自身に関する車両情報を取得可能であり、推定結果およびキャプチャ情報をセンタに送信させる際には、取得した車両情報を付加情報として付加してセンタに送信させることが考えられる。
なお、車両情報の具体例としては、車両の挙動に関する情報や、時刻に関する情報、などが挙げられる。なお、車両の挙動に関する情報としては、車両の現在位置を示す情報、車線に対する自車位置を示す情報、車両速度を示す情報、車両の姿勢を示す情報などが挙げられる。
このように構成すれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による推定結果およびキャプチャ情報に加えて付加情報としての車両情報を考慮して総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
(ロ)また、付加情報の具体例としては、ドライバによる操作を示す操作情報であることが考えられる。具体的には、請求項4のように、制御手段が、ドライバによる操作を示す操作情報を取得可能であり、推定結果およびキャプチャ情報をセンタに送信させる際には、取得した操作情報を付加情報として付加してセンタに送信させることが考えられる。
なお、操作情報としては、ステアリング角度に関する情報や、ブレーキ操作に関する情報、アクセル操作に関する情報、クラクション操作に関する情報、方向指示などの投光器類の操作に関する情報、エアコンディショナーやオーディオ装置などの車載機器の操作に関する情報などが挙げられる。
このように構成すれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による推定結果およびキャプチャ情報に加えて付加情報としての操作情報を考慮して総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
(ハ)付加情報の具体例としては、車両の周囲の状況に関する車両周囲情報であることが考えられる。具体的には、請求項5のように、制御手段が、車両の周囲の状況に関する車両周囲情報を取得可能であり、推定結果およびキャプチャ情報をセンタに送信させる際には、取得した車両周囲情報を付加情報として付加してセンタに送信させることが考えられる。
なお、車両周囲情報の具体例としては、道路環境に関する情報や、渋滞や工事などの交通状態に関する情報、現在の天候に関する情報、天気予報に関する情報、照度に関する情報、時刻や時間帯に関する情報、などが挙げられる。なお、道路環境に関する情報については、ナビゲーション装置や車載カメラなどから得ることができる。また、渋滞や工事などの交通状態に関する情報については、例えば車載カメラやVICS等の外部との通信によって得ることができる。また、現在の天候に関する情報については、例えば雨センサなどの車載センサやVICS等の外部との通信によって得ることができる。また、天気予報に関する情報については、例えばVICS等の外部との通信によって得ることができる。また、照度に関する情報については、例えば車載された照度計によって得ることができる。また、時刻や時間帯に関する情報については、例えば車載された時計から得ることができる。
このように構成すれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による推定結果およびキャプチャ情報に加えて付加情報としての車両周囲情報を考慮して総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
ところで、上記課題を解決するためになされた請求項6に係るドライバ管理装置は、ドライバをセンシングしたセンシング情報に基づくドライバの状態の推定結果が報告条件を満たしている場合に、推定結果に基づいてセンシング情報から抽出した「キャプチャ情報」を推定結果とともに保存することを特徴とする。
まず、センシング手段(11,12)がドライバをセンシングし、センシング情報記憶手段(15)が、センシング手段がドライバの状態をセンシングした結果である「センシング情報」を一時記憶する。さらに、状態推定手段(14)が、例えば情報処理ECUがセンシング情報をもとに検出した処理結果に基づいてドライバの状態を推定し、キャプチャ情報記憶手段(16)が、状態推定手段による推定結果に基づき抽出手段が抽出したキャプチャ領域をもとに、センシング情報記憶手段が記憶するセンシング情報の一部をキャプチャ情報として抽出し記憶する。判断手段(14)が、状態推定手段による推定結果をセンタへ知らせるべきと判断するための報告条件を上述の推定結果が満たしているか否かを判断する。推定結果が報告条件を満たしていると判断手段によって判断された場合には、制御手段(23,24)が、その判断された推定結果に対応するキャプチャ情報をキャプチャ情報記憶手段から読み出し、その読み出したキャプチャ情報をその判断された推定結果とともに、車両の運行に関する情報を記憶可能な運行情報記憶手段(17)に記憶させる。
このように構成された本発明のドライバ管理装置によれば、仮に電波障害などにより、センシング情報に基づくドライバの状態の推定結果およびキャプチャ情報をセンタに送信できないことや、センタに届かないことがあっても、例えば車両の運行終了後に推定結果およびキャプチャ情報をセンタが回収し、センタの管理者が、ドライバの状態について、その回収したドライバ管理装置による推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
この場合、上述のように推定結果およびキャプチャ情報を運行情報記憶手段に記憶させる際には、付加情報を付加することが考えられる。具体的には、請求項7のように、制御手段が、推定結果およびキャプチャ情報を運行情報記憶手段に記憶させる際に付加情報を付加して記憶させることが考えられる。このように構成すれば、例えば車両の運行終了後に推定結果およびキャプチャ情報をセンタが回収し、センタの管理者が、ドライバの状態について、その回収したドライバ管理装置による推定結果およびキャプチャ情報に加えて付加情報を考慮して総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
なお、付加情報の具体例としては、上述のように、(イ)車両自身に関する車両情報(請求項8)、(ロ)ドライバによる操作を示す操作情報(請求項9)、(ハ)車両の周囲の状況に関する車両周囲情報(請求項10)、が挙げられる。
ところで、上述のセンシング情報の具体例としては、上述のドライバの顔画像や、ドライバの姿画像、ドライバの心電、ドライバの脈波、ドライバの呼吸状態、ドライバの特徴ある操作、ドライバの特徴あるしぐさなどが挙げられる。例えば、ドライバの顔画像については、瞬きや表情、顔に手を持っていくしぐさなどを判断するのに用いるといった具合である。また、ドライバの姿画像についてはドライバの座り方などを判断するのに用いるといった具合である。
まず、センシング手段が、ドライバの生体情報を取得し、その取得した生体情報からドライバをセンシングすることが考えられる(請求項11)。なお、ドライバの生体情報の具体例としては、ドライバの心電を示す情報、血圧を示す情報、脈波を示す情報、呼吸状態を示す情報などが挙げられる。なお、センシング手段が、ドライバの生体情報として、ドライバの心電を示す情報、血圧を示す情報、脈波を示す情報、呼吸状態を示す情報のうちの少なくとも一つを取得することが考えられる。このように構成すれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による心電や血圧、脈波、呼吸状態に基づく推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
また、センシング手段が、ドライバの顔画像を取得し、その取得したドライバの顔画像からドライバをセンシングすることが考えられる(請求項12)。さらに、上述のようにセンシング情報にドライバの顔画像が含まれる場合において、ドライバの顔画像が動画または連続する複数の静止画像であることが考えられる。具体的には、請求項13のように、センシング手段が、ドライバの顔画像を動画または連続する複数の静止画像として取得することが考えられる。このように構成すれば、センタの管理者が、車両のドライバの状態をより適切に判断することができる。
ところで、上記課題を解決するためになされた請求項14に係るドライバ管理装置は、ドライバの生体情報をセンシングしたセンシング情報に基づくドライバの状態の推定結果が報告条件を満たしている場合に、推定結果に基づいてドライバの生体情報または顔画像の少なくとも一方から抽出した「キャプチャ情報」を推定結果とともにセンタに送信することを特徴とする。
具体的には、請求項14のドライバ管理装置は、車両の運行を管理し、センタとの間で各種データの授受が可能である。ここでいう送受信とは無線によるリアルタイムなデータ授受のみでなく、携帯型メモリデバイスなどハードウェアを介したデータ授受や、有線によるデータ授受も含む。
まず、センシング手段(25)がドライバの生体情報をセンシングし、センシング情報記憶手段(15)が、センシング手段がドライバの状態をセンシングした結果である「センシング情報」を一時記憶する。なお、ドライバの生体情報の具体例としては、ドライバの心電を示す情報、血圧を示す情報、脈波を示す情報、呼吸状態を示す情報などが挙げられる。さらに、状態推定手段(14)が、センシング情報をもとに例えば情報処理ECUにより検出された処理結果に基づいてドライバの状態を推定する。一方、顔画像取得手段(11,12)が、前記ドライバの顔画像を取得し、顔画像記憶手段(26)が、顔画像取得手段が取得したドライバの顔画像を一時記憶する。さらに、状態推定手段による推定結果に基づき、抽出手段(14)が、センシング情報記憶手段または顔画像記憶手段の少なくとも一方からキャプチャ領域を抽出し、キャプチャ情報記憶手段がキャプチャ領域の情報に基づいてセンシング情報記憶手段または顔画像記憶手段の少なくとも一方からキャプチャ情報を取り出し記憶する。判断手段(14)が、状態推定手段による推定結果をセンタへ知らせるべきと判断するための報告条件を上述の推定結果が満たしているか否かを判断する。推定結果が報告条件を満たしていると判断手段によって判断された場合には、制御手段(23,24)が、その判断された推定結果に対応するキャプチャ情報をキャプチャ情報記憶手段から読み出し、その読み出したキャプチャ情報をその判断された推定結果とともにセンタへ送信させる。
このように構成された本発明のドライバ管理装置によれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
この場合、上述のように推定結果およびキャプチャ情報を送信する際には、付加情報を付加して送信することが考えられる。具体的には、請求項15のように、制御手段が、推定結果およびキャプチャ情報をセンタに送信させる際に付加情報を付加して送信させることが考えられる。このように構成すれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による推定結果およびキャプチャ情報に加えて付加情報を考慮して総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
なお、付加情報の具体例としては、次の(イ)車両自身に関する車両情報(請求項16)、(ロ)ドライバによる操作を示す操作情報(請求項17)、(ハ)車両の周囲の状況に関する車両周囲情報(請求項18)、が挙げられる。
ところで、上記課題を解決するためになされた請求項19に係るドライバ管理装置は、ドライバの生体情報をセンシングしたセンシング情報に基づくドライバの状態の推定結果が報告条件を満たしている場合に、推定結果に基づいてドライバの生体情報または顔画像の少なくとも一方から抽出した「キャプチャ情報」を推定結果とともに保存することを特徴とする。
まず、センシング手段(25)がドライバの生体情報をセンシングし、センシング情報記憶手段(15)が、センシング手段がドライバの状態をセンシングした結果である「センシング情報」を一時記憶する。さらに、状態推定手段(14)が、センシング情報をもとに例えば情報処理ECUにより検出された情報に基づいてドライバの状態を推定する。一方、顔画像取得手段(11,12)が、前記ドライバの顔画像を取得し、顔画像記憶手段(26)が、顔画像取得手段が取得したドライバの顔画像を一時記憶する。さらに、状態推定手段による推定結果に基づき、抽出手段(14)が、センシング情報記憶手段または顔画像記憶手段の少なくとも一方からキャプチャ領域を抽出し、キャプチャ情報記憶手段がキャプチャ領域の情報に基づいてセンシング情報記憶手段または顔画像記憶手段の少なくとも一方からキャプチャ情報を取り出し記憶する。判断手段(14)が、状態推定手段による推定結果をセンタへ知らせるべきと判断するための報告条件を上述の推定結果が満たしているか否かを判断する。推定結果が報告条件を満たしていると判断手段によって判断された場合には、制御手段(23,24)が、その判断された推定結果に対応するキャプチャ情報をキャプチャ情報記憶手段から読み出し、その読み出したキャプチャ情報をその判断された推定結果とともに、車両の運行に関する情報を記憶可能な運行情報記憶手段(17)に記憶させる。
このように構成された本発明のドライバ管理装置によれば、仮に電波障害などにより、センシング情報に基づくドライバの状態の推定結果およびキャプチャ情報をセンタに送信できないことや、センタに届かないことがあっても、例えば車両の運行終了後に推定結果およびキャプチャ情報をセンタが回収し、センタの管理者が、ドライバの状態について、その回収したドライバ管理装置による推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
この場合、上述のように推定結果およびキャプチャ情報を運行情報記憶手段に記憶させる際には、付加情報を付加することが考えられる。具体的には、請求項20のように、制御手段が、推定結果およびキャプチャ情報を運行情報記憶手段に記憶させる際に付加情報を付加して記憶させることが考えられる。このように構成すれば、例えば車両の運行終了後に推定結果およびキャプチャ情報をセンタが回収し、センタの管理者が、ドライバの状態について、その回収したドライバ管理装置による推定結果およびキャプチャ情報に加えて付加情報を考慮して総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
なお、付加情報の具体例としては、上述のように、(イ)車両自身に関する車両情報(請求項21)、(ロ)ドライバによる操作を示す操作情報(請求項22)、(ハ)車両の周囲の状況に関する車両周囲情報(請求項23)、が挙げられる。
なお、ドライバの顔画像については動画または連続する複数の静止画像であることが考えられる。具体的には、請求項24のように、顔画像取得手段が、ドライバの顔画像を動画または連続する複数の静止画像として取得することが考えられる。このように構成すれば、センタの管理者が、車両のドライバの状態をより適切に判断することができる。
ところで、上述のようにセンシング手段がドライバの顔画像や生体情報を取得し、その取得した顔画像や生体情報からドライバをセンシングする場合には、キャプチャ情報のデータ量が大きくなることがある。このような場合、キャプチャ情報を取り扱うキャプチャ情報記憶手段や制御手段に過大な負荷が発生する。そこで、キャプチャ情報のデータ量を小さくするために、キャプチャ情報に含まれるデータに対して圧縮処理を実行することが考えられる。具体的には、請求項25のように、さらに、キャプチャ情報に含まれるデータに対して圧縮処理を行うデータ圧縮手段(16)を備えることが考えられる。このように構成すれば、キャプチャ情報を取り扱うキャプチャ情報記憶手段や制御手段の負荷を軽減することができる。
なお、キャプチャ情報に含まれるデータを圧縮する時期としては、キャプチャ情報をキャプチャ情報記憶手段に記憶させるときが考えられる。具体的には、請求項26のように、センシング情報からキャプチャ領域に従って取り出されたキャプチャ情報をキャプチャ情報記憶手段に記憶させる際に、キャプチャ情報に含まれるデータに対して圧縮処理を実行することが考えられる。このように構成すれば、キャプチャ情報を記憶するのに必要なキャプチャ情報記憶手段の容量を軽減することができる。また、制御手段によるキャプチャ情報の送信時の負荷を軽減することができる。
その他にも、制御手段によるキャプチャ情報の送信時に、キャプチャ情報に含まれるデータを圧縮することが考えられる。このように構成すれば、制御手段によるキャプチャ情報の送信時の負荷を軽減することができる。また、キャプチャ情報を運行情報記憶手段に記憶させるときにキャプチャ情報に含まれるデータを圧縮することが考えられる。このように構成すれば、キャプチャ情報を記憶するのに必要な運行情報記憶手段の容量を軽減することができる。
また、上述の圧縮処理の具体例としては、(ニ)キャプチャ情報に含まれる画像のドライバの顔領域以外に対して圧縮処理を行うこと、(ホ)キャプチャ情報に含まれる画像のドライバの顔領域以外を切り取ること、(ヘ)キャプチャ情報に含まれる画像のドライバの顔領域以外を単色化すること、(ト)顔領域と顔領域以外とで圧縮率を変更すること、が挙げられる。なお、ドライバの顔領域については、画像処理時にドライバの顔の外形線を識別可能とするために、ドライバの顔の周囲領域も含まれるように設定される。
(ニ)まず、上述の圧縮処理の具体例としては、キャプチャ情報に含まれる画像のドライバの顔領域以外に対して圧縮処理を行うことが考えられる。具体的には、請求項27のように、データ圧縮手段が、キャプチャ情報に画像が含まれる場合に、その画像からドライバの顔領域以外を判別し、その判別した顔領域以外の全域または一部領域に対してのみ圧縮処理を行うことが考えられる。このように構成すれば、ドライバ状態の推定に不可欠な画像の顔領域をそのまま残しつつ、キャプチャ情報のデータ量を小さくすることができる。
(ホ)また、上述の圧縮処理の具体例としては、キャプチャ情報に含まれる画像のドライバの顔領域以外を切り取ることが考えられる。具体的には、請求項28のように、データ圧縮手段が、キャプチャ情報に画像が含まれる場合に、その画像からドライバの顔領域以外を判別し、その判別した顔領域以外の全域または一部領域を削除することが考えられる。このように構成すれば、ドライバ状態の推定に不可欠な画像の顔領域をそのまま残しつつ、キャプチャ情報のデータ量を小さくすることができる。
(ヘ)また、上述の圧縮処理の具体例としては、キャプチャ情報に含まれる画像のドライバの顔領域以外を単色化することが考えられる。具体的には、請求項29のように、データ圧縮手段が、キャプチャ情報に画像が含まれる場合に、その画像からドライバの顔領域以外を判別し、その判別した顔領域以外の全域または一部領域を黒色や白色などに単色化することが考えられる。このように構成すれば、ドライバ状態の推定に不可欠な画像の顔領域をそのまま残しつつ、キャプチャ情報のデータ量を小さくすることができる。
(ト)また、上述の圧縮処理の具体例としては、顔領域と顔領域以外とで圧縮率を変更することが考えられる。具体的には、請求項30のように、データ圧縮手段が、キャプチャ情報に画像が含まれる場合に、その画像からドライバの顔領域を判別し、その判別した顔領域と顔領域以外とでその圧縮率を変更することが考えられる。一例を挙げると、顔領域に対する圧縮率を顔領域以外に対する圧縮率よりも小さく設定するといった具合である。このように構成すれば、目視によるドライバ状態の推定に不可欠な顔領域の画質劣化を抑えつつ、キャプチャ情報のデータ量を小さくすることができる。
なお、ここでは画像圧縮の例について説明したが、心電波形等の生体センシング情報に対しても同様の圧縮処理はデータ容量低減に効果的である。
なお、上述のキャプチャ領域とは、状態推定手段によってドライバの状態を推定する上で大きな要因となった事象が存在する部分であることが考えられる(請求項31)。
また、上述の報告条件の具体例としては、ドライバに眠気があること(請求項32)や、ドライバが脇見運転を行っていること(請求項33)、ドライバが酪酊状態であること(請求項34)、ドライバが疲労状態であること(請求項35)、推定結果およびキャプチャ情報を送信するようセンタから要請があること(請求項36)、推定結果およびキャプチャ情報をドライバ自らがセンタへ送信したい意向であること(請求項37)、車両の周囲の状況に基づいて推定結果およびキャプチャ情報をセンタへ送信することが望ましいと判断されること(請求項38)、ドライバの生体リズムに基づいて推定結果およびキャプチャ情報をセンタへ送信することが望ましいと判断されること(請求項39)、現在の時刻が、推定結果およびキャプチャ情報をセンタへ送信することが予め設定された時刻であること(請求項40)、車両の現在位置が、推定結果およびキャプチャ情報をセンタへ送信することが予め設定された地点であること(請求項41)、などが挙げられる。
なお、車両の周囲の状況としては、発車時や渋滞時、高速道路へ進入した際、昼や夜などの時間帯、などが挙げられる。また、生体リズムについては、サーカディアンリズムやサーカセミディアンリズムに基づいて設定されることが考えられる。また、推定結果およびキャプチャ情報をセンタへ送信することが予め設定された時刻については、所定時間ごとや所定距離ごとに設定されることが考えられる。また、推定結果およびキャプチャ情報をセンタへ送信することが予め設定された地点については、例えば毎回決まった区間を運行している定期便などの場合に、センタの管理者がチェックポイントとして設定し、そのチェックポイントを通った時間やそのときの道路環境、ドライバ状態をモニタしたい場合があるために有効である。なお、予め設定された地点についてはGPSやDSRC(ETC)などで検出することが考えられる。
なお、本発明は、車両の運行を管理する運行管理システム(1)として実現することができる。具体的には、上述の運行管理システム(1)は、請求項42のように、センタ(30)と、請求項1〜請求項41の何れかに記載のドライバ管理装置(10)と、を備え、センタとドライバ管理装置との間で、各種データの授受が可能に構成されている、車両の運行を管理する運行管理システムであって、センタは、ドライバ管理装置から提供された情報を受け取る入力手段と、入力手段が受け取った情報を記憶する記憶手段と、を備えることを特徴とする。また、請求項43のように、センタが、さらに、記憶手段が記憶する情報を読み出してセンタの管理者に報知する報知手段を備えることが考えられる。
このように構成された本発明の運行管理システムによれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
以下に本発明の実施形態を図面とともに説明する。
[第一実施形態]
図1は第一実施形態の運行管理システム1の概略構成を示すブロック図である。また、図2はドライバの顔画像を画像処理したときに得られる上下瞼間の距離の時間的推移を模式的に示す説明図である。また、図3は眠気レベルを推定した推定結果を説明する説明図である。
[ドライバ管理システム1の構成の説明]
図1に示すように、運行管理システム1は、車両の運行を管理するシステムであり、ドライバ管理装置10と、センタ30と、を備え、ドライバ管理装置10とセンタ30との間で各種データの授受が可能である。ここでいう「データの授受」とは無線によるリアルタイムなデータ授受のみでなく、携帯型メモリデバイスなどハードウェアを介したデータ授受や、有線によるデータ授受も含む。
[ドライバ管理装置10の構成の説明]
図1に示すように、ドライバ管理装置10は、カメラ11と、投光器12と、情報処理ECU13と、状態推定ECU14と、センシング情報記憶部15と、キャプチャ情報記憶部16と、ドライブレコーダ17と、表示装置18と、スピーカ19と、シート振動装置20と、空調装置21と、データ送受信部22と、情報取得部23と、データ作成部24と、を備える。
カメラ11は、撮影素子を有し、当該ドライバ管理装置10が搭載された車両の室内にてドライバの顔を撮影してその撮影画像を情報処理ECU13に送る。
投光器12は、カメラ11の撮影における照明手段であり、省電力・長寿命のために、カメラ11の露光時間のみに同期させて発光させるのが望ましい。また、夜間においてもドライバに眩しさを感じさせないために近赤外光などの不可視光であることが望ましい。
情報処理ECU13は、カメラ11から受け取った撮像画像を分析し、画像中のドライバの顔領域を抽出、顔領域の中から目、鼻、口といった器官を検出、さらに目を詳細に分析し瞬き状態を含む開眼度を検出し、状態推定ECU14に検出結果を送出する。また、カメラ11から受け取った撮像画像をセンシング情報としてセンシング情報記憶手段15に送出する。
状態推定ECU14は、情報処理ECU13からの処理結果に基づき、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定し、推定する上で大きな要因となった事象が存在する画像のキャプチャ領域をドライバの顔画像(センシング情報)から抽出し、その抽出したキャプチャ領域をキャプチャ情報記憶部16に送出する。キャプチャ情報記憶部16は、キャプチャ領域抽出情報に基づき、センシング情報記憶部15から該当するセンシング情報を取り出しキャプチャ情報として記憶する。なお、本実施形態では、上述のようなドライバの心身の状態として眠気レベルDを、後述するアルゴリズムを用いて判定周期(例えば1分)毎に推定する。なお、ドライバの心身の状態として推定された眠気レベルDが特許請求の範囲における推定結果に相当する。そして、状態推定ECU14は、推定した眠気レベルD(推定結果)をデータ作成部24に送出する。
また、状態推定ECU14は、スピーカ19、シート振動装置20および空調装置21を制御するための制御信号を各部に送出する。
センシング情報記憶部15は、情報処理ECU13に入力されるセンシング情報を一時的に記憶するのに利用される。また、センシング情報記憶部15は、記憶するセンシング情報の一部を、キャプチャ情報としてキャプチャ情報記憶部16に送出する。
キャプチャ情報記憶部16は、状態推定ECU14が抽出したキャプチャ領域抽出結果に基づきセンシング情報記憶部15から必要なセンシング情報を取り出してキャプチャ情報として記憶するのに利用される。また、キャプチャ情報記憶部16は、キャプチャ情報に含まれるデータを圧縮する機能を有する。
情報取得部23は、車両情報や操作情報、車両周囲情報を外部から取得する。なお、車両情報とは、車両自身に関する情報を云い、例えば、車両の挙動に関する情報や、時刻に関する情報、などが挙げられる。なお、車両の挙動に関する情報としては、車両の現在位置を示す情報、車線に対する自車位置を示す情報、車両速度を示す情報、車両の姿勢を示す情報などが挙げられる。また、操作情報とは、ドライバによる操作を示す情報を云い、例えば、ステアリング角度に関する情報や、ブレーキ操作に関する情報、アクセル操作に関する情報、クラクション操作に関する情報、方向指示などの投光器類の操作に関する情報、エアコンディショナーやオーディオ装置などの車載機器の操作に関する情報などが挙げられる。また、車両周囲情報とは、車両の周囲の状況に関する情報を云い、例えば、道路環境に関する情報や、渋滞や工事などの交通状態に関する情報、現在の天候に関する情報、天気予報に関する情報、照度に関する情報、時刻や時間帯に関する情報、などが挙げられる。なお、道路環境に関する情報については、ナビゲーション装置や車載カメラなどから得ることができる。また、渋滞や工事などの交通状態に関する情報については、例えば車載カメラやVICS等の外部との通信によって得ることができる。また、現在の天候に関する情報については、例えば雨センサなどの車載センサやVICS等の外部との通信によって得ることができる。また、天気予報に関する情報については、例えばVICS等の外部との通信によって得ることができる。また、照度に関する情報については、例えば車載された照度計によって得ることができる。また、時刻や時間帯に関する情報については、例えば車載された時計から得ることができる。
そして、情報取得部23は、取得した車両情報や操作情報、車両周囲情報をデータ作成部24に送出する。なお、車両情報や操作情報、車両周囲情報は特許請求の範囲における付加情報に相当する。
データ作成部24は、状態推定ECU14から送出された「推定結果」、およびキャプチャ情報記憶部16から送出された「キャプチャ情報」を用いてセンタ30に送出するための送信用データを作成する。なおこの場合、情報取得部23から送出された「付加情報」があれば、この付加情報も加えて送信用データを作成する。そして、データ作成部24は、作成した送信用データをデータ送受信部22を介してセンタ30に送出する。なお、推定結果に基づきドライバの状態に問題がない場合には推定結果のみをセンタ30に送出し、ドライバの状態に問題がある場合には推定結果およびキャプチャ情報をセンタ30に送出するようにしてもよい。送出するデータは、キャプチャ情報(例えば画像情報)と付加情報(例えば文字データ)を別情報としてパッケージ化してもよいし、画像情報上に文字を重畳させる画像を生成して送信するようにしてもよい。
また、データ作成部24は、ドライブレコーダ17および表示装置18へも送信用データを送出する。
ドライブレコーダ17は、自動車が交通事故を起こしたり、急ブレーキなどの事故回避行動を行ったりした際に、車両の挙動(速度、衝撃)を示す挙動データや乗員の操作状況(ハンドルやブレーキ操作)を示す操作データ等を記録する。また、ドライブレコーダ17は、データ作成部24から送出された送信用データを記録する。
表示装置18は、液晶ディスプレイや有機ELディスプレイ等から構成され、データ作成部24から送出された送信用データに含まれる推定結果やキャプチャ情報、付加情報を映像として表示する。
スピーカ19は、状態推定ECU14からの制御信号に基づき、各種の警告音や音声を出力する。
シート振動装置20は、状態推定ECU14からの制御信号に基づき、ドライバが座るシートを振動させる。
空調装置21は、状態推定ECU14からの制御信号に基づき、車室外部から空気を導入してこれを加熱あるいは冷却して車室内に供給したり、車室内の空気を循環しながら空気を加熱あるいは冷却したりする。
データ送受信部22は、センタ30のデータ送受信部32と通信を行う。
ここで特許請求の範囲に記載の用語との対応を示す。カメラ11、投光器12がセンシング手段に相当し、センシング情報記憶部15がセンシング情報記憶手段に相当し、状態推定ECU14が状態推定手段、抽出手段および判断手段に相当し、キャプチャ情報記憶部16がキャプチャ情報記憶手段およびデータ圧縮手段に相当し、情報取得部23およびデータ作成部24が制御手段に相当する。
[ドライバの眠気状態のレベルを判定するアルゴリズムの説明]
ドライバの眠気状態のレベルをリアルタイムに判定するアルゴリズムは、ドライバのさまざまな事象に基づいて算出される。例えば、瞬き回数(回/分)、閉眼時間率(秒/分)、開度(%)など多くのファクターを利用する。図2にドライバの顔画像を画像処理したときに得られる上下瞼間の距離の時間的推移を模式的に示す。波形の中で下に凸になっているところが瞬きを示す。この瞬きに関する情報には、瞬きに要する時間(閉じる−閉じている−開く)の情報や、半眼状態、瞬き回数など多くの情報が含まれる。眠気を推定するには、それらのファクターに、実験的に求めた重み付け係数を掛け合わせてレベルを算出する。例えば、眠気レベルDを次の計算式(1)にて算出する。

眠気レベルD=a×f1+b×f2+c×f3…・・+z×fn・・・式(1)

また、図3に示すように、様々なファクターを加算して眠気レベルDを用いる中で、どれか1つのファクターに大きな値が観測されると、それが眠気推定レベルを押し上げる。この眠気レベルDはリアルタイム、または一定時間おき(例えば1分)に推定するが、その間は、本システムはセンシング情報記憶部15に画像を一時記録している。つまり、眠気レベルD判定を行うまでの間は画像を内部的に記録保持しており、判定後は不要なデータ(後述)は消去(常に上書き)していく。
眠気レベルDがある閾値を超えた時の、顕著な事象を眠気推定に至った因子として画像記録(含む画像圧縮)しておき、運行管理者に映像を送信したり、ドライブレコーダに記録したりする。図3の例では、f2の数値が他に比べて優位に上昇しており、この状態が眠気レベルDを高く算出したといえる。したがって、そのf2の数値が高くなったときのタイムスタンプからその画像を切り出す。ここでいうタイムスタンプがキャプチャ領域に相当する。
こうすることにより、眠気推定結果があくまでも推定にすぎない状態であっても、この推定をする上での顕著な事象が動かぬ証拠として残ることにより、ドライバの運転に対する緊張感を維持向上したり、運行管理者からの指令で休息をとったりするきっかけとなり、予防安全に貢献する。また、ドライバの顔画像を闇雲に記録送信することなく、眠気推定に最も寄与したファクターを抽出することで、メモリや送信データの効率化、および管理者の時間削減、また、その事象の証拠を残すことができる。
[センタ30の構成の説明]
図1に示すように、センタ30は、記憶部31と、データ送受信部32と、制御部33と、表示装置34と、を備える。
記憶部31は、不揮発性メモリを有し、ドライバ管理装置10からの顔画像などの各種データを記憶するのに利用される。
データ送受信部32は、ドライバ管理装置10のデータ送受信部22と通信を行う。
表示装置34は、液晶ディスプレイやCRT等から構成され、各種情報を映像として表示する。
制御部33は、センタ30の各部を制御する。また、制御部33は、データ送受信部32が受信した各種情報を記憶部31に記憶したり表示装置34に表示させたりする。
[ドライバ状態推定処理の説明]
次に、ドライバ管理装置10が実行するドライバ状態推定処理を、図4のフローチャートを参照して説明する。この処理は、ドライバ管理装置10の電源が投入された際に実行される。
まず、ドライバの顔画像を動画として取得する(S110)。具体的には、車内のメータ付近に設置した投光器12でドライバの顔を照明し、その反射像をカメラ11が撮像して情報処理ECU13に送り、情報処理ECU13が、カメラ11から送られた画像を受け取る。
続いて、カメラ11より入力された顔画像を画像処理する(S120)。具体的には、情報処理ECU13が、カメラ11から受け取った撮影画像を分析し、画像中のドライバの顔位置を探索するとともに画像におけるドライバの顔部品を検出し、その検出した顔部品の中の眼の部分を確定した後、顔部品の中の瞼の部分の形状変化から瞬きの状態を検出する(図2参照)。そして、情報処理ECU13が、抽出した瞬きパターンを処理結果として状態推定ECU14に送出する。なお、撮像画像は情報処理ECU13を通して一時記憶のためにセンシング情報記憶部15に送出される。
続いて、眠気レベルを判定する(S130)。具体的には、状態推定ECU14が、情報処理ECU13からの瞬きパターンに基づき、運転時の運転操作に影響を及ぼす可能性のある運転者の心身の状態を推定する(図3参照)。より具体的には、覚醒時の瞬き挙動と眠気を有する際の瞬き挙動には明らかに差があるので、その挙動変化に基づき、上述のアルゴリズムを用いて眠気レベルDを判定する。眠気が発生するとともに変化する瞬き挙動には、例えば、遅い瞬きや半眼状態、などいくつか特徴的なものがある。それらの特徴と、ある定義に基づいた眠気指標との相関を実験的に求め数式化することで眠気レベルDを判定する。なお、眠気レベルDの区分方法はいくつか提案されているが、例えば、0:全く眠くなさそう、1:やや眠そう、2:眠そう、3:かなり眠そう、4:非常に眠そう、5:居眠り、など5段階程度に分類されることが多い。
続いて、状態推定ECU14が、眠気レベルDの値が閾値Thよりも大きいか否かを判断する(S140)。具体的には、以上により求めた眠気レベルDと、ドライバに対し何らかのアクションをすべきと考えて予め運行管理者などにより設定された閾値Thとを比較し、閾値Thを眠気レベルDが超えていたら、数式の中でどんな瞬き特徴がその数値を押し上げたかを分析する。ここで、眠気レベルDの値が閾値Th以下であると判断した場合には(S140:NO)、S110に戻る。
一方、眠気レベルDの値が閾値Thよりも大きいと判断した場合には(S140:YES)、状態推定ECU14が、判定寄与度を分析し、ファクターを抽出する(S150)。つまり、ドライバの眠くなるときの特異パターンが予め把握されている場合などは、眠気推定アルゴリズムをその個人にカスタマイズすることがあるが、その際には、S150のように、判定寄与度についてはそのドライバの関数に合わせてファクターを抽出する。また、推定結果の個人差解消のために、推定ロジックを途中で変更することがあり、重み付け係数が変化していくことがあるが、それに常に対応して寄与度分析を実施する。そして、数式の中でどんな瞬き特徴がその数値を押し上げたかを分析した結果が例えば、長い閉眼だったとしたら、それを端的に示す画像が記録された前後のタイムスタンプをキャプチャ領域として抽出する(S160)。そして、その抽出したキャプチャ領域に基づきセンシング記憶部15から画像を取り出し、それをキャプチャ情報としてキャプチャ情報記憶部16に記憶しておき、データ作成部24が、そのキャプチャ情報を必要に応じてキャプチャ情報記憶部16から読み出す(S170)。なお、その読み出したキャプチャ情報を、運行管理者にデータ送受信部22を介して送信したり、ドライバレコーダ17等に記録したりすることで、ドライバへの適度な緊張感保持を狙うが、画像記録容量やデータ配信上の制約からデータ量を削減したい場合がある。そのため、予め制限された容量に抑えられるように、キャプチャ情報記憶部16が、必要に応じてキャプチャ情報に対して画像圧縮をかける(S180)。なお、画像圧縮の方法としては、次のような方法がある。(1)顔領域以外の背景の全域または一部領域を大幅に圧縮し、顔領域についてはそのままとする(図6(a)参照)。なお、ドライバの顔領域については、画像処理時にドライバの顔の外形線を識別可能とするために、ドライバの顔の周囲領域も含まれるように設定される。(2)顔領域以外の背景を完全に削除し、顔領域のみをそのまま切り取る(図6(b)参照)。なお、顔領域以外の背景の一部を削除してもよい。(3)画像の圧縮率を、顔領域と顔領域以外とで変更する。具体的には、顔領域に対する圧縮率Bを顔領域以外に対する圧縮率Aよりも小さくする(図6(c)参照)。(4)顔領域以外の背景の全域または一部領域を黒色や白色などに単色化し、顔領域についてはそのままとする(図6(b)参照)。また、特に制約がない場合にはこのような圧縮不要とする。さらに余裕があれば、タイムスタンプ前後で画像をカットするのではなく、そのシーンを含む5秒とかで一律にしても良い。そして、データ作成部24が、その圧縮後のキャプチャ情報、推定結果および付加情報から送信用データを作成してセンタ30に送信するとともに、ドライバレコーダ17にも記録させる(S190)。
[画像記憶処理の説明]
次に、ドライバ管理装置10が実行する画像記憶処理を、図5のフローチャートを参照して説明する。この処理は、ドライバ管理装置10の電源が投入された際に、上述のドライバ状態推定処理からは独立して実行される。
まず、情報処理ECU13が、タイマーをリセットしスタートさせる(S200)。続いて、情報処理ECU13が、タイマーをカウントアップさせる(S210)。さらに、センシング情報記憶部15が、情報処理ECU13からの顔画像を記録する(S220)。そして、情報処理ECU13が、タイマーの値がTmaxよりも大きいか否かを判断する(S230)。タイマーの値がTmax以下であると判断した場合には(S230:NO)、S210に戻る。一方、タイマーの値がTmaxよりも大きいと判断した場合には(S230:YES)、センシング情報記憶部15が、記録する顔画像のうち最も古い顔画像を消去し(S240)、S200に戻る。
なお、画像記憶処理を実行することにより、センシング情報記憶部15の容量を超えて次々に新たな画像を取得することになるが、図9(a)の例1に示したように、その際はセンシング情報記憶部15に格納されている古い画像をすべて廃棄し新しい画像を記録していくこととなる。または、図9(b)の例2に示したように、センシング情報記憶部15内の画像を1フレーム1フレームごとに上書き保存していくことでも良い。
なお、上述のドライバ状態推定処理および画像記憶処理については、ドライバ管理装置10が通電状態である場合に実行可能である。例えば、車両が運転中である場合だけでなく、運転開始前においても実行してもよい。また、ドライバの操作によって実行を開始してもよいし、ドアロックが解除されたときや、ドアが開閉したとき、ドライバが運転席に着座したとき、イグニッションがオンされたときなどに、実行を開始してもよい。
[第一実施形態の効果]
(1)このように第一実施形態の運行管理システム1によれば、次のような作用効果を奏する。すなわち、ドライバ管理装置10が実行するドライバ状態推定処理において、ドライバの顔画像を動画として取得し(S110)、取得した顔画像を画像処理する(S120)、続いて、その画像処理後の顔画像に基づいてドライバの眠気レベルDを判定する(S130)。眠気レベルDの値が閾値Thよりも大きいと判断した場合には(S140:YES)、状態推定ECU14が、判定寄与度を分析し、ファクターを抽出する(S150)。そして、どの瞬き特徴がその数値を押し上げたかを分析した結果が例えば、長い閉眼だったとしたら、それを端的に示す画像が記録された前後のタイムスタンプをキャプチャ領域として抽出し(S160)、その抽出したキャプチャ領域に対応する画像をキャプチャ情報として記憶しておき、必要に応じて読み出す(S170)。さらに、その読み出した画像について、予め制限された容量に抑えられるように、必要により画像圧縮をかけ(S180)、その圧縮後のキャプチャ情報、推定結果および付加情報から送信用データを作成してセンタ30に送信するとともに、ドライバレコーダ17にも記録させる(S190)。一方、センタ30では、受け取った画像を記憶部31に記憶したり表示装置34に表示させたりする。
したがって、センタ30の運行管理者が、ドライバの状態について、ドライバ管理装置10による推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
また、仮に電波障害などにより、センシング情報に基づくドライバの状態の推定結果およびキャプチャ情報をセンタに送信できないことや、センタに届かないことがあっても、例えば車両の運行終了後に推定結果およびキャプチャ情報をセンタが回収し、センタ30の管理者が、ドライバの状態について、その回収したドライバ管理装置10による推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
(2)また、第一実施形態のドライバ管理装置10によれば、予め制限された容量に抑えられるように、必要により画像圧縮をかけ(S180)、圧縮後の画像をセンタ30に送信するので、目視によるドライバ状態の推定に不可欠な顔領域の画質劣化を抑えつつ、キャプチャ情報のデータ量を小さくすることができる。また、データ作成部24による推定結果およびキャプチャ情報の送信時の負荷を軽減することができる。
(3)また、第一実施形態のドライバ管理装置10によれば、ドライバ状態推定処理のS120において、カメラ11から受け取った撮影画像を分析し、画像中のドライバの顔位置を探索するとともに画像におけるドライバの顔部品を検出し、その検出した顔部品の中の眼の部分を確定した後、顔部品の中の瞼の部分の形状変化から瞬きの状態を検出し、さらに、情報処理ECU13が、検出した瞬きの状態からドライバの瞬きパターンを抽出する(図2参照)。つまり、上述の顔画像からドライバの状態を表す部分を抽出するよう編集または加工し、その編集または加工後の情報をセンタ30に送信する。このことにより、編集・加工後の情報を取得したセンタ30がその情報を報知することで、運行管理者が、車両のドライバの状態をより適切に判断することができる。
(4)また、第一実施形態のドライバ管理装置10によれば、推定結果およびキャプチャ情報をセンタ30へ送信したりドライブレコーダに記録したりする際には、情報取得部23から送出された「付加情報」があれば、この付加情報も加えてセンタ30へ送信したりドライブレコーダに記録したりする。このことにより、センタ30の管理者が、ドライバの状態について、ドライバ管理装置10による推定結果およびキャプチャ情報に加えて付加情報を考慮して総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
[第二実施形態]
図7は第二実施形態の運行管理システム2の概略構成を示すブロック図である。
以下に、ドライバの心電やドライバの血圧、ドライバの脈波、ドライバの呼吸状態などをセンシングする例について説明する。
図7に示すように、本実施形態の運行管理システム2では、ドライバ管理装置40が、生体情報取得部25と、情報処理ECU13と、状態推定ECU14と、センシング情報記憶部15と、キャプチャ情報記憶部16と、ドライブレコーダ17と、表示装置18と、スピーカ19と、シート振動装置20と、空調装置21と、データ送受信部22と、情報取得部23と、データ作成部24と、を備える。
このうち生体情報取得部25は、ドライバの生体情報を取得し、その取得した生体情報からドライバの状態をセンシングする。なお、ドライバの生体情報の具体例としては、ドライバの心電を示す情報、血圧を示す情報、脈波を示す情報、呼吸状態を示す情報などが挙げられ、生体情報取得部25が、ドライバの生体情報として、ドライバの心電を示す情報、血圧を示す情報、脈波を示す情報、呼吸状態を示す情報のうちの少なくとも一つを取得する。また、情報処理ECU13は、生体情報取得部25から受け取った生体情報を分析し、その処理結果を、状態推定ECU14に送出するとともに、センシングした生体情報を情報処理ECU13を通してセンシング情報記憶部15に送出する。さらに、状態推定ECU14は、情報処理ECU13からの処理結果に基づき、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定し、推定する上で大きな要因となった事象が存在する部分を処理結果からキャプチャ領域として抽出し、キャプチャ情報記憶部16に送出する。キャプチャ情報記憶部16は、状態推定ECU14による抽出結果に基づき、センシング情報記憶部15からキャプチャ情報を取り出して記憶する。
また、データ作成部24は、状態推定ECU14から送出された「推定結果」、およびキャプチャ情報記憶部16から送出された「キャプチャ情報」を用いてセンタ30に送出するための送信用データを作成する。なおこの場合、情報取得部23から送出された「付加情報」があれば、この付加情報も加えて送信用データを作成する。そして、データ作成部24は、作成した送信用データをデータ送受信部22を介してセンタ30に送出する。なお、推定結果に基づきドライバの状態に問題がない場合には推定結果のみをセンタ30に送出し、ドライバの状態に問題がある場合には推定結果およびキャプチャ情報をセンタ30に送出するようにしてもよい。また、データ作成部24は、ドライブレコーダ17および表示装置18へも送信用データを送出する。
このようにすれば、センタ30の管理者が、ドライバの状態について、ドライバ管理装置40による心電や血圧、脈波、呼吸状態に基づく推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
[第三実施形態]
図8は第三実施形態の運行管理システム3の概略構成を示すブロック図である。
以下に、ドライバの心電やドライバの血圧、ドライバの脈波、ドライバの呼吸状態などをセンシングするとともに、ドライバの顔画像からキャプチャ情報を抽出する例について説明する。
図8に示すように、本実施形態の運行管理システム3では、ドライバ管理装置50が、カメラ11と、投光器12と、生体情報取得部25と、情報処理ECU13と、状態推定ECU14と、センシング情報記憶部15と、顔画像記憶部26と、キャプチャ情報記憶部16と、ドライブレコーダ17と、表示装置18と、スピーカ19と、シート振動装置20と、空調装置21と、データ送受信部22と、情報取得部23と、データ作成部24と、を備える。
このうち生体情報取得部25は、ドライバの生体情報を取得し、その取得した生体情報からドライバの状態をセンシングする。なお、ドライバの生体情報の具体例としては、ドライバの心電を示す情報、血圧を示す情報、脈波を示す情報、呼吸状態を示す情報などが挙げられ、生体情報取得部25が、ドライバの生体情報として、ドライバの心電を示す情報、血圧を示す情報、脈波を示す情報、呼吸状態を示す情報のうちの少なくとも一つを取得する。
また、カメラ11は、ドライバの顔画像を取得し、情報処理ECU13を介して、その取得した顔画像を一時記憶のために顔画像記憶部26に送出する。
また、情報処理ECU13は、生体情報取得部25から受け取った生体情報を分析し、その処理結果を、状態推定ECU14に送出する。また、生体情報取得部25は情報処理ECU13を介して、その生体情報を一時記憶のためにセンシング情報記憶部15に送出する。
また、顔画像記憶部26は、カメラ11から送出された顔画像を一時的に記憶するのに利用される。
さらに、状態推定ECU14は、情報処理ECU13からの処理結果に基づき、運転時の運転操作に影響を及ぼすような運転者の心身の状態を推定し、推定する上で大きな要因となった事象が存在する部分をキャプチャ領域として抽出する。キャプチャ情報記憶部16は、状態推定ECU14が検出したキャプチャ領域抽出結果に基づきセンシング情報記憶部15が記憶するセンシング情報または顔画像記憶部26が記憶する顔画像の少なくとも一方からキャプチャ情報を抽出し、その抽出したキャプチャ情報を記憶する。
また、データ作成部24は、状態推定ECU14から送出された「推定結果」、およびキャプチャ情報記憶部16から送出された「キャプチャ情報」を用いてセンタ30に送出するための送信用データを作成する。なおこの場合、情報取得部23から送出された「付加情報」があれば、この付加情報も加えて送信用データを作成する。そして、データ作成部24は、作成した送信用データをデータ送受信部22を介してセンタ30に送出する。なお、推定結果に基づきドライバの状態に問題がない場合には推定結果のみをセンタ30に送出し、ドライバの状態に問題がある場合には推定結果およびキャプチャ情報をセンタ30に送出するようにしてもよい。また、データ作成部24は、ドライブレコーダ17および表示装置18へも送信用データを送出する。
このように構成された本発明のドライバ管理装置によれば、センタの管理者が、ドライバの状態について、ドライバ管理装置による推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
また、仮に電波障害などにより、センシング情報に基づくドライバの状態の推定結果およびキャプチャ情報をセンタに送信できないことや、センタに届かないことがあっても、例えば車両の運行終了後に推定結果およびキャプチャ情報をセンタが回収し、センタ30の管理者が、ドライバの状態について、その回収したドライバ管理装置10による推定結果およびキャプチャ情報を考慮した総合的な判断を行うことができ、車両のドライバの状態をより適切に判断することができるとともに、ドライバ管理や今後のドライバ教育等に活用することができる。
[他の実施形態]
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のような様々な態様にて実施することが可能である。
(1)上記実施形態では、ドライバ状態推定処理のS110において、ドライバの顔画像を動画として取得しているが、記録または画像配信するのは必ずしも動画である必要はなく、運行管理者があとで目視確認した際に、そのときのドライバの状態が理解できるものであればよい。例えば静止画でもよいし、複数の静止画でも良い。瞬きの状態を示すには動画が良いのは言うまでもないが、例えば、首の筋肉が弛緩して居眠りをしてしまっている状態などは静止画でも良い。また、連続する複数の静止画でもよい。
(2)また、上記実施形態のドライバ状態推定処理のように、1分間に1回の判定の場合、眠気を示す事象が途中で起きても、判定タイミングを待つことになるが、瞬眠状態など緊急性を要すると眠気推定アルゴリズムが判定した場合は、都度、画像を切り出して運行管理者に送信するなど、リアルタイム性を持たせるのも有効である。
(3)また、上記実施形態のドライバ状態推定処理において、複数の事象が絡み合って眠気であると推定した場合は複数の画像をキャプチャして送信しても良い。なお、キャプチャする画像の時間については、事象により時間が異なるので、同じ事象が何度も出現した場合はその中の代表的なものを選定すればよい。
(4)また、ドライバが、記録された映像を自ら確認することができるようにしても良い。また、個人情報保護の観点から、画像を送信したり記録したりすることに対してドライバに拒否権を与えても良い。つまり、ドライバが同意する場合には、画像送信や画像記録を行い、ドライバが同意しない場合には、画像送信や画像記録を行わないようにするのである。なお、このようなドライバの意向の確認については、予め行っておいてもよいし、定期的に行うようにしてもよいし、画像送信や画像記録を行う際に行うようにしてもよい。その場合、運行管理者がそのことを知るために、ドライバによる画像の確認や削除等の記録が残るようにすると好ましい。また、画像が記録された後に、ドライバがその記録内容を確認しながら削除するか否かを判断できるようにしてもよい。
(5)また、上記実施形態のドライバ状態推定処理において、閾値Thは途中で変更しても良いし、複数の閾値Thを設定しても良い。なお、データ送受信部22を通じてリモートで変更もできる。
(6)また、上記実施形態では、眠気を例に説明したが、それ以外にも脇見運転や、酪酊状態、疲労状態など、特に検出対象は限定しない。ドライバの不安全な状態または体調不良など等であってもよい。また画像以外の例として、心電、心拍、脈波などでもよく、何かをモニタしていて異常などが予想されたら、それを端的に示す代表的な画像や信号を抽出し、送るということでも同様である。
(7)また、上記実施形態では、ドライバの顔画像を用いてドライバの状態を推定しているが、これには限られず、例えば、ドライバの姿画像や、ドライバの心電、ドライバの血圧、ドライバの脈波、ドライバの呼吸状態、ドライバの特徴ある操作、ドライバの特徴あるしぐさなどを用いてドライバの状態を推定してもよい。また、ドライバの顔画像ついては、上記実施形態の瞬きの他に、表情、顔に手を持っていくしぐさなどを用いてドライバの状態を推定してもよい。また、ドライバの姿画像についてはドライバの座り方などを用いてドライバの状態を推定するといった具合である。
(8)また、上記実施形態のドライバ状態推定処理のS150では、「ドライバに眠気があること」を、ドライバの状態の推定結果がセンシング情報をセンタ30へ知らせるべきと判断するための報告条件としており、より具体的には「眠気レベルDの値が閾値Thよりも大きいこと」を報告条件としているが、これには限られず、例えば、ドライバが脇見運転を行っていることや、ドライバが酪酊状態であること、ドライバが疲労状態であること、推定結果およびキャプチャ情報を送信するようセンタから要請があること、推定結果およびキャプチャ情報をドライバ自らがセンタへ送信したい意向であること、車両の周囲の状況に基づいて推定結果およびキャプチャ情報をセンタへ送信することが望ましいと判断されること、ドライバの生体リズムに基づいて推定結果およびキャプチャ情報をセンタへ送信することが望ましいと判断されること、現在の時刻が、推定結果およびキャプチャ情報をセンタへ送信することが予め設定された時刻であること、車両の現在位置が、推定結果およびキャプチャ情報をセンタへ送信することが予め設定された地点であること、などを報告条件としてもよい。
なお、車両の周囲の状況としては、発車時や渋滞時、高速道路へ進入した際、昼や夜などの時間帯、などが挙げられる。また、生体リズムについては、ドライバの生活パターンに応じたサーカディアンリズムやサーカセミディアンリズム等、と運行状況を考慮して設定されることが考えられる。また、推定結果およびキャプチャ情報をセンタへ送信することが予め設定された時刻については、所定時間ごとや所定距離ごとに設定されることが考えられる。また、推定結果およびキャプチャ情報をセンタへ送信することが予め設定された地点については、例えば毎回決まった区間を運行している定期便などの場合に、センタの管理者がチェックポイントとして設定し、そのチェックポイントを通った時間やそのときの道路環境、ドライバ状態をモニタしたい場合があるために有効である。なお、予め設定された地点についてはGPSやDSRC(ETC)などで検出することが考えられる。
なお、眠気レベルが閾値Thを超えていない状態で、例えばセンタ30側からのリクエストによりその時点の推定結果およびキャプチャ情報を送出する必要が生じるときがある。したがって、キャプチャ領域の抽出は、眠気レベルDが閾値Th以下であっても、常に、そのドライバの状態を端的に示す部分を抽出するようにすると良い。
(9)なお、眠気レベルDの判定において、瞬き回数のファクターが支配的となって眠気レベルDが押し上げられた場合、切り取る画像の選択条件を眠気レベルDの値によって変更する。つまり、瞬き回数(瞬きの間隔)は、眠気レベルDと正の相関を持っているわけではなく、眠気レベルDによって回数が増加したり減少したりする関係が統計的に明らかになっている。したがって、その眠気レベルDに最も合致した特徴を抽出してセンタ30に送信するよう選択すると効果的である。
(10)上記実施形態では画像に対する圧縮処理の例について説明したが、心電波形等の生体センシング情報に対しても同様の圧縮処理はデータ容量低減に効果的である。
第一実施形態のドライバ管理システムの概略構成を示すブロック図である。 ドライバの顔画像を画像処理したときに得られる上下瞼間の距離の時間的推移を模式的に示す説明図である。 眠気レベルDを推定した推定結果を説明する説明図である。 ドライバ状態推定処理を示すフローチャートである。 画像記憶処理を示すフローチャートである。 顔画像圧縮を説明する説明図である。 第二実施形態のドライバ管理システムの概略構成を示すブロック図である。 第三実施形態のドライバ管理システムの概略構成を示すブロック図である。 (a)は画像記憶処理を説明する説明図(1)であり、(b)は画像記憶処理を説明する説明図(2)である。
符号の説明
1,2,3…運行管理システム、10,40,50…ドライバ管理装置、11…カメラ、12…投光器、13…情報処理ECU、14…状態推定ECU、15…センシング情報記憶部、16…キャプチャ情報記憶部、17…ドライブレコーダ、18…表示装置、19…スピーカ、20…シート振動装置、21…空調装置、22,32…データ送受信部、23…情報取得部、24…データ作成部、25…生体情報取得部、26…顔画像記憶部、30…センタ、31…記憶部、33…制御部、34…表示装置

Claims (43)

  1. 外部のセンタとの間で各種データの授受が可能であり、車両のドライバを管理するドライバ管理装置であって、
    ドライバをセンシングするセンシング手段と、
    前記センシング手段が前記ドライバをセンシングした結果であるセンシング情報を一時記憶するセンシング情報記憶手段と、
    前記センシング情報に基づいて前記ドライバの状態を推定する状態推定手段と、
    前記状態推定手段による推定結果に基づき、前記センシング情報記憶手段が記憶するセンシング情報の一部をキャプチャ領域として抽出する抽出手段と、
    前記抽出手段によって抽出されたキャプチャ領域に対応するセンシング情報を前記センシング情報記憶手段から抽出してキャプチャ情報として記憶するキャプチャ情報記憶手段と、
    前記状態推定手段による推定結果を前記センタへ知らせるべきと判断するための報告条件を前記推定結果が満たしているか否かを判断する判断手段と、
    前記推定結果が前記報告条件を満たしていると前記判断手段によって判断された場合に、その判断された推定結果に対応するキャプチャ情報を前記キャプチャ情報記憶手段から読み出し、その読み出したキャプチャ情報をその判断された推定結果とともに前記センタへ送信させる制御手段と、
    を備えることを特徴とするドライバ管理装置。
  2. 請求項1に記載のドライバ管理装置において、
    前記制御手段は、前記推定結果および前記キャプチャ情報を前記センタに送信させる際に付加情報を付加して送信させることを特徴とするドライバ管理装置。
  3. 請求項2に記載のドライバ管理装置において、
    前記制御手段は、前記車両自身に関する車両情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記センタに送信させる際には、取得した車両情報を前記付加情報として付加して前記センタに送信させることを特徴とするドライバ管理装置。
  4. 請求項2または請求項3に記載のドライバ管理装置において、
    前記制御手段は、ドライバによる操作を示す操作情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記センタに送信させる際には、取得した操作情報を前記付加情報として付加して前記センタに送信させることを特徴とするドライバ管理装置。
  5. 請求項2〜請求項4の何れかに記載のドライバ管理装置において、
    前記制御手段は、前記車両の周囲の状況に関する車両周囲情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記センタに送信させる際には、取得した車両周囲情報を前記付加情報として付加して前記センタに送信させることを特徴とするドライバ管理装置。
  6. 外部のセンタとの間で各種データの授受が可能であり、車両のドライバを管理するドライバ管理装置であって、
    ドライバをセンシングするセンシング手段と、
    前記センシング手段が前記ドライバをセンシングした結果であるセンシング情報を一時記憶するセンシング情報記憶手段と、
    前記センシング情報に基づいて前記ドライバの状態を推定する状態推定手段と、
    前記状態推定手段による推定結果に基づき、前記センシング情報記憶手段が記憶するセンシング情報の一部をキャプチャ領域として抽出する抽出手段と、
    前記抽出手段によって抽出されたキャプチャ領域に対応するセンシング情報を前記センシング情報記憶手段から抽出してキャプチャ情報として記憶するキャプチャ情報記憶手段と、
    前記状態推定手段による推定結果を前記センタへ知らせるべきと判断するための報告条件を前記推定結果が満たしているか否かを判断する判断手段と、
    前記車両の運行に関する情報を記憶可能な運行情報記憶手段と、
    前記推定結果が前記報告条件を満たしていると前記判断手段によって判断された場合に、その判断された推定結果に対応するキャプチャ情報を前記キャプチャ情報記憶手段から読み出し、その読み出したキャプチャ情報をその判断された推定結果とともに前記運行情報記憶手段へ記憶させる制御手段と、
    を備えることを特徴とするドライバ管理装置。
  7. 請求項6に記載のドライバ管理装置において、
    前記制御手段は、前記推定結果および前記キャプチャ情報を前記運行情報記憶手段に記憶させる際に付加情報を付加して記憶させることを特徴とするドライバ管理装置。
  8. 請求項7に記載のドライバ管理装置において、
    前記制御手段は、前記車両自身に関する車両情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記運行情報記憶手段に記憶させる際には、取得した車両情報を前記付加情報として付加して記憶させることを特徴とするドライバ管理装置。
  9. 請求項7または請求項8に記載のドライバ管理装置において、
    前記制御手段は、ドライバによる操作を示す操作情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記運行情報記憶手段に記憶させる際には、取得した操作情報を前記付加情報として付加して記憶させることを特徴とするドライバ管理装置。
  10. 請求項7〜請求項9の何れかに記載のドライバ管理装置において、
    前記制御手段は、前記車両の周囲の状況に関する車両周囲情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記運行情報記憶手段に記憶させる際には、取得した車両周囲情報を前記付加情報として付加して記憶させることを特徴とするドライバ管理装置。
  11. 請求項1〜請求項10の何れかに記載のドライバ管理装置において、
    前記センシング手段は、前記ドライバの生体情報を取得し、その取得した生体情報から前記ドライバをセンシングすることを特徴とするドライバ管理装置。
  12. 請求項1〜請求項11の何れかに記載のドライバ管理装置において、
    前記センシング手段は、前記ドライバの顔画像を取得し、その取得した顔画像から前記ドライバをセンシングすることを特徴とするドライバ管理装置。
  13. 請求項12に記載のドライバ管理装置において、
    前記センシング手段は、前記ドライバの顔画像を動画または連続する複数の静止画像として取得することを特徴とするドライバ管理装置。
  14. 外部のセンタとの間で各種データの授受が可能であり、車両のドライバを管理するドライバ管理装置であって、
    ドライバの生体情報をセンシングするセンシング手段と、
    前記センシング手段が前記ドライバの生体情報をセンシングした結果であるセンシング情報を一時記憶するセンシング情報記憶手段と、
    前記センシング情報に基づいて前記ドライバの状態を推定する状態推定手段と
    前記ドライバの顔画像を取得する顔画像取得手段と、
    前記顔画像取得手段が取得した前記ドライバの顔画像を一時記憶する顔画像記憶手段と、
    前記状態推定手段による推定結果に基づき、前記顔画像記憶手段が記憶する顔画像の一部をキャプチャ領域として抽出する抽出手段と、
    前記抽出手段によって抽出されたキャプチャ領域に対応するセンシング情報または前記キャプチャ領域に対応する顔画像の少なくとも1種を抽出してキャプチャ情報として記憶するキャプチャ情報記憶手段と、
    前記状態推定手段による推定結果を前記センタへ知らせるべきと判断するための報告条件を前記推定結果が満たしているか否かを判断する判断手段と、
    前記推定結果が前記報告条件を満たしていると前記判断手段によって判断された場合に、その判断された推定結果に対応するキャプチャ情報を前記キャプチャ情報記憶手段から読み出し、その読み出したキャプチャ情報をその判断された推定結果とともに前記センタへ送信させる制御手段と、
    を備えることを特徴とするドライバ管理装置。
  15. 請求項14に記載のドライバ管理装置において、
    前記制御手段は、前記推定結果および前記キャプチャ情報を前記センタに送信させる際に付加情報を付加して送信させることを特徴とするドライバ管理装置。
  16. 請求項15に記載のドライバ管理装置において、
    前記制御手段は、前記車両自身に関する車両情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記センタに送信させる際には、取得した車両情報を前記付加情報として付加して前記センタに送信させることを特徴とするドライバ管理装置。
  17. 請求項15または請求項16に記載のドライバ管理装置において、
    前記制御手段は、ドライバによる操作を示す操作情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記センタに送信させる際には、取得した操作情報を前記付加情報として付加して前記センタに送信させることを特徴とするドライバ管理装置。
  18. 請求項15〜請求項17の何れかに記載のドライバ管理装置において、
    前記制御手段は、前記車両の周囲の状況に関する車両周囲情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記センタに送信させる際には、取得した車両周囲情報を前記付加情報として付加して前記センタに送信させることを特徴とするドライバ管理装置。
  19. 外部のセンタとの間で各種データの授受が可能であり、車両のドライバを管理するドライバ管理装置であって、
    ドライバの生体情報をセンシングするセンシング手段と、
    前記センシング手段が前記ドライバの生体情報をセンシングした結果であるセンシング情報を一時記憶するセンシング情報記憶手段と、
    前記センシング情報に基づいて前記ドライバの状態を推定する状態推定手段と、
    前記ドライバの顔画像を取得する顔画像取得手段と、
    前記顔画像取得手段が取得した前記ドライバの顔画像を一時記憶する顔画像記憶手段と、
    前記状態推定手段による推定結果に基づき、前記顔画像記憶手段が記憶する顔画像の一部をキャプチャ領域として抽出する抽出手段と、
    前記抽出手段によって抽出されたキャプチャ領域に対応するセンシング情報または前記キャプチャ領域に対応する顔画像の少なくとも1種を抽出してキャプチャ情報として記憶するキャプチャ情報記憶手段と、
    前記状態推定手段による推定結果を前記センタへ知らせるべきと判断するための報告条件を前記推定結果が満たしているか否かを判断する判断手段と、
    前記車両の運行に関する情報を記憶可能な運行情報記憶手段と、
    前記推定結果が前記報告条件を満たしていると前記判断手段によって判断された場合に、その判断された推定結果に対応するキャプチャ情報を前記キャプチャ情報記憶手段から読み出し、その読み出したキャプチャ情報をその判断された推定結果とともに前記運行情報記憶手段へ記憶させる制御手段と、
    を備えることを特徴とするドライバ管理装置。
  20. 請求項19に記載のドライバ管理装置において、
    前記制御手段は、前記推定結果および前記キャプチャ情報を前記運行情報記憶手段に記憶させる際に付加情報を付加して記憶させることを特徴とするドライバ管理装置。
  21. 請求項20に記載のドライバ管理装置において、
    前記制御手段は、前記車両自身に関する車両情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記運行情報記憶手段に記憶させる際には、取得した車両情報を前記付加情報として付加して記憶させることを特徴とするドライバ管理装置。
  22. 請求項20または請求項21に記載のドライバ管理装置において、
    前記制御手段は、ドライバによる操作を示す操作情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記運行情報記憶手段に記憶させる際には、取得した操作情報を前記付加情報として付加して記憶させることを特徴とするドライバ管理装置。
  23. 請求項20〜請求項22の何れかに記載のドライバ管理装置において、
    前記制御手段は、前記車両の周囲の状況に関する車両周囲情報を取得可能であり、前記推定結果および前記キャプチャ情報を前記運行情報記憶手段に記憶させる際には、取得した車両周囲情報を前記付加情報として付加して記憶させることを特徴とするドライバ管理装置。
  24. 請求項14〜請求項23の何れかに記載のドライバ管理装置において、
    前記顔画像取得手段は、前記ドライバの顔画像を動画または連続する複数の静止画像として取得することを特徴とするドライバ管理装置。
  25. 請求項1〜請求項24の何れかに記載のドライバ管理装置において、
    さらに、前記キャプチャ情報に含まれるデータに対して圧縮処理を行うデータ圧縮手段を備えることを特徴とするドライバ管理装置。
  26. 請求項25に記載のドライバ管理装置において、
    前記データ圧縮手段は、前記キャプチャ情報を前記キャプチャ情報記憶手段に記憶させる際に前記キャプチャ情報に含まれるデータに対して圧縮処理を実行することを特徴とするドライバ管理装置。
  27. 請求項25または請求項26に記載のドライバ管理装置において、
    前記データ圧縮手段は、前記キャプチャ情報に画像が含まれる場合に、その画像からドライバの顔領域以外を判別し、その判別した顔領域以外の全域または一部領域に対してのみ圧縮処理を行うことを特徴とするドライバ管理装置。
  28. 請求項25または請求項26に記載のドライバ管理装置において、
    前記データ圧縮手段は、前記キャプチャ情報に画像が含まれる場合に、その画像からドライバの顔領域以外を判別し、その判別した顔領域以外の全域または一部領域を削除することを特徴とするドライバ管理装置。
  29. 請求項25または請求項26に記載のドライバ管理装置において、
    前記データ圧縮手段は、前記キャプチャ情報に画像が含まれる場合に、その画像からドライバの顔領域以外を判別し、その判別した顔領域以外の全域または一部領域を単色化することを特徴とするドライバ管理装置。
  30. 請求項25または請求項26に記載のドライバ管理装置において、
    前記データ圧縮手段は、前記キャプチャ情報に画像が含まれる場合に、その画像からドライバの顔領域を判別し、その判別した顔領域と顔領域以外とでその圧縮率を変更することを特徴とするドライバ管理装置。
  31. 請求項1〜請求項30の何れかに記載のドライバ管理装置において、
    前記キャプチャ領域とは、前記ドライバの状態を推定する上で大きな要因となった事象が存在する部分であることを特徴とするドライバ管理装置。
  32. 請求項1〜請求項31の何れかに記載のドライバ管理装置において、
    前記報告条件には、前記ドライバに眠気があることが含まれることを特徴とするドライバ管理装置。
  33. 請求項1〜請求項32の何れかに記載のドライバ管理装置において、
    前記報告条件には、前記ドライバが脇見運転を行っていることが含まれることを特徴とするドライバ管理装置。
  34. 請求項1〜請求項33の何れかに記載のドライバ管理装置において、
    前記報告条件には、前記ドライバが酪酊状態であることが含まれることを特徴とするドライバ管理装置。
  35. 請求項1〜請求項34の何れかに記載のドライバ管理装置において、
    前記報告条件には、前記ドライバが疲労状態であることが含まれることを特徴とするドライバ管理装置。
  36. 請求項1〜請求項35の何れかに記載のドライバ管理装置において、
    前記報告条件には、前記推定結果および前記キャプチャ情報を送信するよう前記センタから要請があることが含まれることを特徴とするドライバ管理装置。
  37. 請求項1〜請求項36の何れかに記載のドライバ管理装置において、
    前記報告条件には、前記推定結果および前記キャプチャ情報を前記ドライバ自らが前記センタへ送信したい意向であることが含まれることを特徴とするドライバ管理装置。
  38. 請求項1〜請求項37の何れかに記載のドライバ管理装置において、
    前記報告条件には、前記車両の周囲の状況に基づき、前記推定結果および前記キャプチャ情報を前記センタへ送信することが望ましいと判断されることが含まれることを特徴とするドライバ管理装置。
  39. 請求項1〜請求項38の何れかに記載のドライバ管理装置において、
    前記報告条件には、前記ドライバの生体リズムに基づき、前記推定結果および前記キャプチャ情報を前記センタへ送信することが望ましいと判断されることが含まれることを特徴とするドライバ管理装置。
  40. 請求項1〜請求項39の何れかに記載のドライバ管理装置において、
    前記報告条件には、現在の時刻が、前記推定結果および前記キャプチャ情報を前記センタへ送信することが予め設定された時刻であることが含まれることを特徴とするドライバ管理装置。
  41. 請求項1〜請求項40の何れかに記載のドライバ管理装置において、
    前記報告条件には、前記車両の現在位置が、前記推定結果および前記キャプチャ情報を前記センタへ送信することが予め設定された地点であることが含まれることを特徴とするドライバ管理装置。
  42. センタと、請求項1〜請求項41の何れかに記載のドライバ管理装置と、を備え、前記センタと前記ドライバ管理装置との間で、各種データの授受を可能に構成されている、車両の運行を管理する運行管理システムであって、
    前記センタは、前記ドライバ管理装置から提供された情報を受け取る入力手段と、前記入力手段が受け取った情報を記憶する記憶手段と、を備えることを特徴とする運行管理システム。
  43. 請求項42に記載の運行管理システムにおいて、
    前記センタは、さらに、前記記憶手段が記憶する情報を読み出して報知する報知手段を備えることを特徴とする運行管理システム。
JP2008014248A 2007-02-01 2008-01-24 ドライバ管理装置および運行管理システム Active JP4985428B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008014248A JP4985428B2 (ja) 2007-02-01 2008-01-24 ドライバ管理装置および運行管理システム
DE112008000301.7T DE112008000301B4 (de) 2007-02-01 2008-01-30 Fahrermanagementvorrichtung und Fahrtmanagementsystem
US12/449,027 US8164463B2 (en) 2007-02-01 2008-01-30 Driver management apparatus and travel management system
PCT/JP2008/051377 WO2008093712A1 (ja) 2007-02-01 2008-01-30 ドライバ管理装置および運行管理システム
CN2008800038092A CN101601077B (zh) 2007-02-01 2008-01-30 驾驶员管理装置和行驶管理系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007022809 2007-02-01
JP2007022809 2007-02-01
JP2008014248A JP4985428B2 (ja) 2007-02-01 2008-01-24 ドライバ管理装置および運行管理システム

Publications (2)

Publication Number Publication Date
JP2008210375A true JP2008210375A (ja) 2008-09-11
JP4985428B2 JP4985428B2 (ja) 2012-07-25

Family

ID=39786582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008014248A Active JP4985428B2 (ja) 2007-02-01 2008-01-24 ドライバ管理装置および運行管理システム

Country Status (4)

Country Link
US (1) US8164463B2 (ja)
JP (1) JP4985428B2 (ja)
CN (1) CN101601077B (ja)
DE (1) DE112008000301B4 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011084224A (ja) * 2009-10-18 2011-04-28 Masahide Tanaka モータ駆動可能な車両
JP2015061787A (ja) * 2014-12-27 2015-04-02 Nl技研株式会社 モータ駆動可能な車両
CN105096656A (zh) * 2015-06-30 2015-11-25 北京奇虎科技有限公司 基于行车记录仪的疲劳驾驶监控方法、装置及系统
JP2015214171A (ja) * 2014-05-07 2015-12-03 株式会社デンソー 運転者体調検知装置、運転者体調検知方法、運転支援装置
CN105898239A (zh) * 2016-06-03 2016-08-24 北京中电万联科技股份有限公司 一种公交车司机行为异常监测系统及监测方法
WO2017026506A1 (ja) * 2015-08-10 2017-02-16 株式会社デンソー 退避走行支援装置及び退避走行支援システム
WO2018061474A1 (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
JP2018055445A (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
JP2019159642A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム
JP2019537159A (ja) * 2016-11-30 2019-12-19 ニッサン ノース アメリカ,インク 生成されたインターフェースを使用する自律走行車の監視
JP2020046770A (ja) * 2018-09-14 2020-03-26 いすゞ自動車株式会社 運行管理システム
JPWO2021024496A1 (ja) * 2019-08-08 2021-02-11
WO2021024497A1 (ja) * 2019-08-08 2021-02-11 株式会社日立物流 運行インシデント画像表示システム、方法及びプログラム
JP2021149488A (ja) * 2020-03-19 2021-09-27 いすゞ自動車株式会社 画像記憶制御装置及び画像記憶制御方法
JP2022012358A (ja) * 2020-07-01 2022-01-17 トヨタ自動車株式会社 眠気兆候通知システム
US11904869B2 (en) 2019-10-17 2024-02-20 Nuvoton Technology Corporation Japan Monitoring system and non-transitory storage medium

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008088070A1 (ja) * 2007-01-19 2008-07-24 Asahi Kasei Kabushiki Kaisha 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置
US10922567B2 (en) * 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US8825304B2 (en) * 2010-06-30 2014-09-02 Microsoft Corporation Mediation of tasks based on assessments of competing cognitive loads and needs
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
KR101441527B1 (ko) * 2012-05-31 2014-09-17 주식회사 코아로직 차량 주행 정보 관리 및 검증 방법, 장치 및 이를 이용한 차량 주행 정보 관리 시스템
CN102867395A (zh) * 2012-10-11 2013-01-09 南京艾酷派物联网有限公司 驾驶员疲劳远程实时监控装置
JP6107595B2 (ja) * 2013-10-23 2017-04-05 株式会社デンソー 状態監視装置
CN103692913B (zh) * 2013-12-23 2017-01-18 杭州电子科技大学 一种酒后驾车监控装置
US9475387B2 (en) * 2014-03-16 2016-10-25 Roger Li-Chung Wu Drunk driving prevention system and method with eye symptom detector
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
US9628565B2 (en) 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
US9766625B2 (en) 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
US9189897B1 (en) 2014-07-28 2015-11-17 Here Global B.V. Personalized driving ranking and alerting
JP6303907B2 (ja) * 2014-08-08 2018-04-04 株式会社デンソー 運転者監視装置
JP6442942B2 (ja) * 2014-09-11 2018-12-26 株式会社デンソー ドライバ状態判定装置
DE102014220759B4 (de) * 2014-10-14 2019-06-19 Audi Ag Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
DE102015112637A1 (de) * 2015-07-31 2017-02-02 Volkswagen Aktiengesellschaft Vorrichtung, Fahrzeug, Verfahren und Computerprogramm zur Berechnung zumindest eines Video- oder Steuersignals basierend auf Information entsprechend einem potentiellen Interesse
CN105354986B (zh) * 2015-11-12 2017-12-01 熊强 汽车司机驾驶状态监测系统及方法
CN107139934B (zh) * 2017-07-03 2023-04-28 吉林大学 基于掩蔽效应的轿车驾驶员疲劳缓解与唤醒系统及方法
DE102018111596A1 (de) * 2018-05-15 2019-11-21 Motherson Innovations Company Limited Verfahren, Vorrichtung und System zum Beeinflussen zumindest eines Fahrassistenzsystems eines Kraftfahrzeugs
WO2020157989A1 (ja) * 2019-02-01 2020-08-06 日本電気株式会社 覚醒度推定装置、覚醒度推定方法、及びコンピュータ読み取り可能な記録媒体
US11516295B1 (en) 2019-12-06 2022-11-29 State Farm Mutual Automobile Insurance Company Using contextual information for vehicle trip loss risk assessment scoring
JP7428236B2 (ja) * 2020-03-05 2024-02-06 日本電気株式会社 時間管理システム、時間管理方法、及び、プログラム

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0420192A (ja) * 1990-05-15 1992-01-23 Nec Corp 動画像信号の符号化・復号化方法およびその装置
JPH1053165A (ja) * 1996-08-07 1998-02-24 Nippon Soken Inc 事故状況記録装置
JPH1134688A (ja) * 1997-07-15 1999-02-09 Omron Corp 車両運転業務従事者の心身情報監視システム及び安全運行管理システム
JPH11195198A (ja) * 1997-12-26 1999-07-21 Isuzu Motors Ltd 運行管理システム
JPH11283194A (ja) * 1998-03-30 1999-10-15 Aisin Seiki Co Ltd 到着報知システム
JPH11298940A (ja) * 1998-04-14 1999-10-29 Isa:Kk 情報端末装置および移動体運行管理システム
JP2001045438A (ja) * 1999-08-04 2001-02-16 Suzuki Motor Corp 画像処理方法および画像処理装置
JP2001122163A (ja) * 1999-10-29 2001-05-08 Suzuki Motor Corp ドライブレコーダ
JP2002042288A (ja) * 2000-07-26 2002-02-08 Yazaki Corp 運行状態記録装置及びそれを利用した運行管理システム
JP2002074599A (ja) * 2000-08-25 2002-03-15 Isuzu Motors Ltd 運行管理装置
JP2002132898A (ja) * 2000-10-18 2002-05-10 Orix Corp 交通事故示談サービス提供方法および交通事故分析処理装置
JP2004110615A (ja) * 2002-09-20 2004-04-08 Ftc:Kk 手話通訳システム
JP2004512609A (ja) * 2000-10-14 2004-04-22 モトローラ・インコーポレイテッド 車両運転手の能力評価及び向上のための方法及び装置
JP2004157880A (ja) * 2002-11-07 2004-06-03 Toyota Central Res & Dev Lab Inc 確認行動評価装置
JP2005348439A (ja) * 2005-07-29 2005-12-15 Sanyo Electric Co Ltd 画像処理装置
JP2006120137A (ja) * 2001-02-19 2006-05-11 Hitachi Kokusai Electric Inc 画像情報通報システム
JP2006235732A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd ドライブレコーダ

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US151297A (en) * 1874-05-26 Improvement in miners candle-holders
US116156A (en) * 1871-06-20 Improvement in elevators
US120374A (en) * 1871-10-31 Improvement in sofa-bedsteads
US120371A (en) * 1871-10-31 Improvement in propulsion of canal-boats
US91473A (en) * 1869-06-15 Fisk mills
US35422A (en) * 1862-05-27 Improvement in cultivators
JPH06233306A (ja) 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用表示装置
US6704434B1 (en) * 1999-01-27 2004-03-09 Suzuki Motor Corporation Vehicle driving information storage apparatus and vehicle driving information storage method
JP2001023090A (ja) 1999-07-02 2001-01-26 Nec Corp 車両救援システム
JP2001018717A (ja) 1999-07-06 2001-01-23 Matsushita Electric Ind Co Ltd 運転車両周辺監視装置
JP2001126091A (ja) 1999-10-27 2001-05-11 Toshiba Corp 乗員顔画像処理システムおよび通行料金収受システム
JP2001194161A (ja) 2000-01-11 2001-07-19 Alpine Electronics Inc 視線移動検出情報提示装置
US6580973B2 (en) * 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
US7565230B2 (en) * 2000-10-14 2009-07-21 Temic Automotive Of North America, Inc. Method and apparatus for improving vehicle operator performance
US6909947B2 (en) * 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
US20020151297A1 (en) 2000-10-14 2002-10-17 Donald Remboski Context aware wireless communication device and method
EP1233387A2 (en) * 2001-02-19 2002-08-21 Hitachi Kokusai Electric Inc. Vehicle emergency reporting system and method
US7039551B2 (en) * 2002-02-04 2006-05-02 Hrl Laboratories, Llc Method and apparatus for calculating an operator distraction level
US7138922B2 (en) * 2003-03-18 2006-11-21 Ford Global Technologies, Llc Drowsy driver monitoring and prevention system
JP4254501B2 (ja) * 2003-11-20 2009-04-15 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
CN2754929Y (zh) * 2004-07-05 2006-02-01 福建省天通电讯科技有限公司 客车疲劳驾驶及超载运输的远程监控装置
JP2006195580A (ja) 2005-01-11 2006-07-27 Toyota Motor Corp 緊急通報システム
DE602005017144D1 (de) * 2005-08-18 2009-11-26 Honda Res Inst Europe Gmbh Fahrerassistenzsystem
JP4313808B2 (ja) 2006-09-06 2009-08-12 本田技研工業株式会社 車両用監視システム、データ記録装置及び車両用監視装置
US7692548B2 (en) * 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0420192A (ja) * 1990-05-15 1992-01-23 Nec Corp 動画像信号の符号化・復号化方法およびその装置
JPH1053165A (ja) * 1996-08-07 1998-02-24 Nippon Soken Inc 事故状況記録装置
JPH1134688A (ja) * 1997-07-15 1999-02-09 Omron Corp 車両運転業務従事者の心身情報監視システム及び安全運行管理システム
JPH11195198A (ja) * 1997-12-26 1999-07-21 Isuzu Motors Ltd 運行管理システム
JPH11283194A (ja) * 1998-03-30 1999-10-15 Aisin Seiki Co Ltd 到着報知システム
JPH11298940A (ja) * 1998-04-14 1999-10-29 Isa:Kk 情報端末装置および移動体運行管理システム
JP2001045438A (ja) * 1999-08-04 2001-02-16 Suzuki Motor Corp 画像処理方法および画像処理装置
JP2001122163A (ja) * 1999-10-29 2001-05-08 Suzuki Motor Corp ドライブレコーダ
JP2002042288A (ja) * 2000-07-26 2002-02-08 Yazaki Corp 運行状態記録装置及びそれを利用した運行管理システム
JP2002074599A (ja) * 2000-08-25 2002-03-15 Isuzu Motors Ltd 運行管理装置
JP2004512609A (ja) * 2000-10-14 2004-04-22 モトローラ・インコーポレイテッド 車両運転手の能力評価及び向上のための方法及び装置
JP2002132898A (ja) * 2000-10-18 2002-05-10 Orix Corp 交通事故示談サービス提供方法および交通事故分析処理装置
JP2006120137A (ja) * 2001-02-19 2006-05-11 Hitachi Kokusai Electric Inc 画像情報通報システム
JP2004110615A (ja) * 2002-09-20 2004-04-08 Ftc:Kk 手話通訳システム
JP2004157880A (ja) * 2002-11-07 2004-06-03 Toyota Central Res & Dev Lab Inc 確認行動評価装置
JP2006235732A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd ドライブレコーダ
JP2005348439A (ja) * 2005-07-29 2005-12-15 Sanyo Electric Co Ltd 画像処理装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011084224A (ja) * 2009-10-18 2011-04-28 Masahide Tanaka モータ駆動可能な車両
JP2015214171A (ja) * 2014-05-07 2015-12-03 株式会社デンソー 運転者体調検知装置、運転者体調検知方法、運転支援装置
JP2015061787A (ja) * 2014-12-27 2015-04-02 Nl技研株式会社 モータ駆動可能な車両
CN105096656A (zh) * 2015-06-30 2015-11-25 北京奇虎科技有限公司 基于行车记录仪的疲劳驾驶监控方法、装置及系统
JP2017037464A (ja) * 2015-08-10 2017-02-16 株式会社デンソー 退避走行支援装置、及び退避走行支援システム
WO2017026506A1 (ja) * 2015-08-10 2017-02-16 株式会社デンソー 退避走行支援装置及び退避走行支援システム
US10829124B2 (en) 2015-08-10 2020-11-10 Denso Corporation Evacuation driving assistance system
CN105898239A (zh) * 2016-06-03 2016-08-24 北京中电万联科技股份有限公司 一种公交车司机行为异常监测系统及监测方法
WO2018061474A1 (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
JP2018055445A (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
JP2018055446A (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
JP2019537159A (ja) * 2016-11-30 2019-12-19 ニッサン ノース アメリカ,インク 生成されたインターフェースを使用する自律走行車の監視
US10839473B2 (en) 2016-11-30 2020-11-17 Nissan North America, Inc. Autonomous vehicle monitoring using generated interfaces
JP7114953B2 (ja) 2018-03-12 2022-08-09 オムロン株式会社 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム
JP2019159642A (ja) * 2018-03-12 2019-09-19 オムロン株式会社 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム
JP2020046770A (ja) * 2018-09-14 2020-03-26 いすゞ自動車株式会社 運行管理システム
WO2021024497A1 (ja) * 2019-08-08 2021-02-11 株式会社日立物流 運行インシデント画像表示システム、方法及びプログラム
JPWO2021024497A1 (ja) * 2019-08-08 2021-02-11
WO2021024496A1 (ja) * 2019-08-08 2021-02-11 株式会社日立物流 車両運行情報表示システム、方法及びプログラム
JPWO2021024496A1 (ja) * 2019-08-08 2021-02-11
JP7369776B2 (ja) 2019-08-08 2023-10-26 ロジスティード株式会社 運行インシデント画像表示システム、方法及びプログラム
JP7496484B2 (ja) 2019-08-08 2024-06-07 ロジスティード株式会社 車両運行情報表示システム、方法及びプログラム
US11904869B2 (en) 2019-10-17 2024-02-20 Nuvoton Technology Corporation Japan Monitoring system and non-transitory storage medium
JP2021149488A (ja) * 2020-03-19 2021-09-27 いすゞ自動車株式会社 画像記憶制御装置及び画像記憶制御方法
JP7392536B2 (ja) 2020-03-19 2023-12-06 いすゞ自動車株式会社 画像記憶制御装置及び画像記憶制御方法
JP2022012358A (ja) * 2020-07-01 2022-01-17 トヨタ自動車株式会社 眠気兆候通知システム
JP7375691B2 (ja) 2020-07-01 2023-11-08 トヨタ自動車株式会社 眠気兆候通知システム

Also Published As

Publication number Publication date
CN101601077B (zh) 2013-01-02
JP4985428B2 (ja) 2012-07-25
US8164463B2 (en) 2012-04-24
DE112008000301T5 (de) 2009-12-31
DE112008000301B4 (de) 2020-03-26
US20100090839A1 (en) 2010-04-15
CN101601077A (zh) 2009-12-09

Similar Documents

Publication Publication Date Title
JP4985428B2 (ja) ドライバ管理装置および運行管理システム
US11027608B2 (en) Driving assistance apparatus and driving assistance method
US8823792B2 (en) Wakefulness level estimation apparatus
CN112041910B (zh) 信息处理装置、移动设备、方法和程序
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
US10046618B2 (en) System and method for vehicle control integrating environmental conditions
CN113223270B (zh) 基于计算机视觉技术的疲劳驾驶监测提醒预警方法及系统
US20170001520A1 (en) Direct observation event triggering of drowsiness
WO2010092860A1 (ja) 生体状態推定装置及び車両制御装置
JPWO2019202881A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP2010211613A (ja) 情報処理装置及び方法、プログラム、並びに情報処理システム
US20190265699A1 (en) Concentration degree determination device, concentration degree determination method, and program for determining concentration degree
JP2019195377A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
CN111645694B (zh) 一种基于姿态估计的驾驶员驾驶状态监测系统及方法
CN113715837B (zh) 车辆安全隐患管理系统和方法
JP2018124825A (ja) ドライブレコーダ、画像記録方法及び監視装置
JP2022155584A (ja) 検知システム及び空間利用システム
US11433916B1 (en) System to generate an alert to wake a driver of a vehicle and a method thereof
JP2007188476A (ja) 運転指導装置
CN210639724U (zh) 一种疲劳检测及驾驶行为识别预警系统
KR102643541B1 (ko) 인공지능을 이용한 졸음 운전 방지 시스템
WO2023210491A1 (ja) 車両制御システム及び車両データ収集方法
GB2556410A (en) System for managing alertness of a driver
JP2022155393A (ja) 運転支援システム
Kommey et al. Drowsing Driver Alert System for Commercial Vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R151 Written notification of patent or utility model registration

Ref document number: 4985428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250