JP2021157831A - 余所見判定装置、余所見判定システム、余所見判定方法、プログラム - Google Patents

余所見判定装置、余所見判定システム、余所見判定方法、プログラム Download PDF

Info

Publication number
JP2021157831A
JP2021157831A JP2021104289A JP2021104289A JP2021157831A JP 2021157831 A JP2021157831 A JP 2021157831A JP 2021104289 A JP2021104289 A JP 2021104289A JP 2021104289 A JP2021104289 A JP 2021104289A JP 2021157831 A JP2021157831 A JP 2021157831A
Authority
JP
Japan
Prior art keywords
extra
finding
weather information
face
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021104289A
Other languages
English (en)
Other versions
JP7124935B2 (ja
Inventor
奈々 佐久間
Nana SAKUMA
奈々 佐久間
英徳 塚原
Hidenori Tsukahara
英徳 塚原
雄太 清水
Yuta Shimizu
雄太 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021104289A priority Critical patent/JP7124935B2/ja
Publication of JP2021157831A publication Critical patent/JP2021157831A/ja
Application granted granted Critical
Publication of JP7124935B2 publication Critical patent/JP7124935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】撮影画像に顔が映っていない場合でも運転状況に応じて適切に余所見判定を行う余所見判定装置、余所見判定システム、余所見判定方法、プログラムを提供する。【解決手段】車両の運転時の天候情報を取得し、取得した天候情報が所定の天候情報である場合に、車両の内部を撮影した撮影画像に基づいて顔が検出できたか否かを判定し、顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。【選択図】図1

Description

本発明は、余所見判定装置、余所見判定システム、余所見判定方法、プログラムに関する。
車等の移動体を操作する運転者の余所見を検知する技術が特許文献１に開示されている。
国際公開第２０１６／０５２５０７号
上述のような運転時の余所見を判定する技術では撮影画像に映る顔の視線に基づいて余所見の検知を行う。しかしながら撮影画像に顔が映っていない場合にはそもそも余所見判定を行っておらず、顔が映っていない場合でも運転状況に応じて適切に余所見判定を行うことが求められている。
そこでこの発明は、上述の課題を解決する余所見判定装置、余所見判定システム、余所見判定方法、プログラムを提供することを目的としている。
本発明の第１の態様によれば、余所見判定装置は、撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、を備えることを特徴とする。
本発明の第２の態様によれば、撮影装置と余所見判定装置とを備え、前記撮影装置と前記余所見判定装置とが通信ネットワークで接続された余所見判定システムは、前記余所見判定装置が、撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定部と、を備えることを特徴とする。
本発明の第３の態様によれば、余所見判定方法は、撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定することを特徴とする。
本発明の第４の態様によれば、プログラムは、余所見判定装置のコンピュータを、撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、として機能させることを特徴とする。
本発明によれば、撮影画像に基づいて顔が映っていないと判定された場合に運転状況に応じて余所見であるか否かを判定することができる。
本実施形態による運転状況監視システムを示す図である。 本実施形態による余所見判定装置のハードウェア構成図である。 本実施形態による余所見判定装置の機能ブロック図である。 本実施形態によるドライブレコーダのハードウェア構成を示す図である。 本実施形態によるドライブレコーダの制御装置の機能ブロック図である。 本実施形態によるドライブレコーダの処理フローを示す図である。 本実施形態による余所見判定装置の処理フローを示す図である。 本実施形態による余所見判定装置の最小構成を示す図である。
以下、本発明の一実施形態による余所見判定装置を図面を参照して説明する。
図１は同実施形態による運転状況監視システムを示す図である。
図１で示すように運転状況監視システム１００は余所見判定装置１と、運転状況センシング装置の一態様であるドライブレコーダ２と含んで構成される。余所見判定装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。ドライブレコーダ２は一例としては車両に設けられている。余所見判定装置１は市中を走る複数の車両にそれぞれ設置されたドライブレコーダ２と通信接続する。
図２は余所見判定装置のハードウェア構成図である。
この図が示すように余所見判定装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
図３は余所見判定装置の機能ブロック図である。
余所見判定装置１は電源が投入されると起動し、予め記憶する余所見判定プログラムを実行する。これにより余所見判定装置１には、制御部１１、情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、を少なくとも備える。
制御部１１は他の機能部を制御する。
情報取得部１２は撮影画像、車両情報、天候情報、加速度情報などのドライブレコーダ２から送信された情報を取得する。
余所見開始判定部１３は余所見判定を開始するかを判定する。
余所見判定部１４は顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。
判定結果出力部１５は余所見判定結果を出力する。
図４はドライブレコーダのハードウェア構成を示す図である。
ドライブレコーダ２は、加速度センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５などを含んで構成される。加速度センサ２１は車両の加速度を検知する。通信装置２２は余所見判定装置１と通信接続する。カメラ２３は車両の外部や内部を撮影して動画像、静止画像を生成する。
制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は動画像、静止画像、加速度センサ２１で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２は基地局等を介して余所見判定装置１と通信接続する。なおドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
図５はドライブレコーダに備わる制御装置の機能ブロック図である。
制御装置２４はドライブレコーダが起動すると制御プログラムを実行する。これにより制御装置２４には、車両情報取得部２４１、天候情報取得部２４２、加速度情報取得部２４３、撮影画像取得部２４４、運転状況データ送信部２４５、撮影画像送信部２４６の各機能部が備わる。
図６はドライブレコーダの処理フローを示す図である。
次に運転状況監視システムの処理フローについて順を追って説明する。
まずドライブレコーダ２における運転状況情報の送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２１はドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。またカメラ２３は車内および車外の撮影を開始する（ステップＳ１０３）。なおカメラ２３は車内側レンズと車外側レンズを備える。カメラ２３は車内側レンズを用いて車内を車内の運転者の顔の方向の対象物を撮影する。カメラ２３は車外側レンズを用いて車外の進行方向の対象物を撮影する。
そしてドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報を取得する（ステップＳ１０４）。車両情報取得部２４１が取得する車両情報は車両に備わる各センサによって検出された車速、ハンドル角度、ウィンカー指示方向などであってよい。また天候情報取得部２４２は天候情報を取得する（ステップＳ１０５）。天候情報は気象庁や天候情報提供企業に備わるサーバ装置から取得してもよい。または天候情報は車両に備わるセンサ（ワイパー動作検出器や雨滴検出器）などからえられる情報であってよい。制御装置２４は、ワイパーが動作している場合、雨滴検出器が雨滴を検出している場合には雨天であると判定してよい。加速度情報取得部２４３は、加速度センサ２１から所定の時間間隔で加速度を取得する（ステップＳ１０６）。制御装置２４は車両情報、天候情報、加速度を所定の間隔で取得する。
運転状況データ送信部２４５は所定の間隔で車両情報、天候情報、加速度情報を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は車両情報、天候情報、加速度情報を余所見判定装置１へ送信する（ステップＳ１０７）。撮影画像送信部２４６は撮影画像を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は撮影画像を余所見判定装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了までステップＳ１０２からの処理を繰り返す。車両情報、天候情報、加速度情報、撮影画像には、ドライブレコーダ２のＩＤ、運転者のＩＤ、センシング時刻が付与されてよい。なお上述の処理において加速度や、天候情報を送信しているが、車両情報のみで余所見判定を行う場合には、それらの情報を送信しなくてもよい。
図７は余所見判定装置の処理フローを示す図である。
余所見判定装置１において情報取得部１２はドライブレコーダ２のＩＤ、運転者のＩＤに基づいて、対応する車両情報、天候情報、加速度情報、撮影画像の組を、当該各ＩＤに紐づけて順次データベース１０４へ記録する（ステップＳ２０１）。そして制御部１１は余所見判定処理を行うよう余所見開始判定部１３、余所見判定部１４に指示する。
余所見開始判定部１３はある一つのドライブレコーダ２を特定し、そのＩＤに紐づいて記録されているセンシング時刻、車両情報、天候情報、加速度情報、撮影画像を取得する。余所見判定部１４は車両情報に含まれる車速が前方方向の速度（前進）を示し、かつウィンカー指示方向が方向指示を指定しておらず、所定の速度以上であるかを判定する（ステップＳ２０２）。所定の速度は一例としては２０ｋｍ／ｈなど値であてよい。余所見判定部１４は車速が前進を示し、ウィンカー指示を指定しておらず、所定の速度以上である場合に余所見判定を開始すると決定する。
余所見開始判定部１３は他の情報を利用して、または他の情報を追加で利用して余所見判定を開始すると決定してもよい。例えば、余所見判定部１４は加速度が０以上かを判定して、加速度が０以上である場合に余所見判定を開始すると決定してもよい。また余所見判定部１４はハンドル角度が所定の範囲内か否かによって余所見判定を開始すると決定してもよい。ハンドル角度の所定の範囲は例えば直進方向を基準とする左右１０度などであってよい。また余所見判定部１４は天候情報が雨を示す場合に余所見判定を開始すると決定してもよい。余所見判定部１４は車外の撮影画像に基づいて余所見判定を開始すると決定してもよい。例えば、撮影画像の直進方向に対象物が映る場合、撮影画像に車線のカーブが映る場合、余所見判定を開始すると決定してよい。余所見判定部１４は余所見判定を開始すると決定すると、余所見判定部１４は開始を指示する。余所見判定部１４は余所見判定を開始するかどうかの判定処理を所定の間隔で繰り返す。
余所見判定部１４は現在の処理対象のドライブレコーダ２のＩＤに基づいて情報取得部１２の既に取得している撮影画像を当該情報取得部１２から入力する。余所見判定部１４は余所見判定を開始すると決定した場合、所定の間隔でドライブレコーダ２から受信する撮影画像を順次読み取る。
余所見判定部１４は撮影画像を読み取ると、余所見判定を続けることが出来る程度に撮影画像に顔が映っているかを判定する顔検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できるかを判定する（ステップＳ２０３）。余所見判定部１４は新たに取得した撮影画像内に顔を検出した場合次の顔方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間のセンシング時刻の撮影画像について、所定割合以上の回数で顔が映っていないかを判定する（ステップＳ２０４）。余所見判定部１４は、所定期間の間に取得した撮影画像について、所定割合以上の回数で顔が映っていない場合、余所見をしていると判定する（ステップＳ２０５）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔が映っていない回数が所定割合未満の場合、余所見と判定せずに、余所見判定を開始するかを判定する処理に戻る。
上述の顔検出処理において余所見判定部１４は、運転者が眼鏡やマスクをかけている場合、余所見判定を続けることが出来る程度に撮影画像に顔が映っていないと判定されてもよい。この場合、余所見判定部１４は処理を終了すると判定してもよい。
余所見判定部１４は顔方向検出処理において、新たに取得した撮影画像内の顔方向が直進方向を基準とする所定の範囲内かを判定する（ステップＳ２０６）。所定範囲は直進方向を基準として左右１０度などの範囲であってよい。余所見判定部１４は現在の車速に基づいて所定範囲の広さを変更してもよい。例えば余所見判定部１４は速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなるため、直進方向を基準とする幅を左右２０度などと広げるようにしてもよい。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の範囲内である場合、視線方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の範囲内でない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、顔が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する（ステップＳ２０７）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔が直進方向を基準とする所定範囲内となる回数が所定割合以上でない場合、余所見をしていると判定する（ステップＳ２０８）。余所見判定部１４は、顔が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において当該所定割合の値を変動させてもよい。例えば余所見判定部１４は、当該所定割合の値を速度が低下するほど減少させる。これにより車両が低速の場合には、広範囲を目視する可能性が高いが、広範囲を目視したとした場合でも余所見判定とされず運転者に対する必要以上の余所見アラートの出力を削減することができる。
余所見判定部１４は視線方向検出処理において、新たに取得した撮影画像内の視線方向が直進方向を基準とする所定の範囲内かを判定する（ステップＳ２０９）。所定範囲は直進方向を基準として左右１０度などの範囲であってよい。余所見判定部１４は速度が低速の場合には、運転者が広い範囲を目視する可能性が高くなるため、直進方向を基準とする幅を左右２０度などと広げるようにしてもよい。余所見判定部１４は新たに取得した撮影画像内の視線方向が所定の範囲内である場合、余所見と判定せずに、余所見判定を開始するかを判定する処理に戻る。余所見判定部１４は新たに取得した撮影画像内の視線方向が所定の範囲内でない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する（ステップＳ２１０）。余所見判定部１４は、所定期間の間に取得した撮影画像について、視線が直進方向を基準とする所定範囲内となる回数が所定割合以上でない場合、余所見をしていると判定する（ステップＳ２１１）。余所見判定部１４は、視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において当該所定割合の値を変動させてもよい。例えば余所見判定部１４は、当該所定割合の値を速度が低下するほど減少させる。これにより車両が低速の場合には、広範囲を目視する可能性が高いが、広範囲を目視したとした場合でも余所見判定とされず運転者に対する必要以上の余所見アラートの出力を削減することができる。
余所見判定部１４は余所見が行われていると判定した場合には、判定結果出力部１５へ余所見判定結果を出力するよう指示する。判定結果出力部１５は余所見が行われていると判定したドライブレコーダ２のＩＤを取得する。判定結果出力部１５はドライブレコーダ２のＩＤに基づいてその送信先となるネットワークアドレスをデータベース１０４から取得する。送信先のネットワークアドレスは予めデータベース１０４に記録されているものとする。判定結果出力部１５は当該送信先に余所見検知を示す情報を送信する（ステップＳ２１２）。判定結果出力部１５は余所見検知を示す情報を、ドライブレコーダ２のＩＤや運転者のＩＤに紐づけてデータベース１０４に記録してもよい。余所見判定部１４は終了するかを判定する（ステップＳ２１３）。終了しない場合、余所見判定装置１は次にドライブレコーダ２から受信した処理を用いて同様の処理を所定間隔で繰り返す。
ドライブレコーダ２は余所見検知の情報を受信する。ドライブレコーダ２は余所見検知の情報を受信すると、アラーム音を発信するなど、余所見検知を運転者に知らせる処理を行う。これにより運転者は余所見運転を認識することができる。
上述の処理においてはクラウドサーバとして通信ネットワークに接続された余所見判定装置１が余所見判定を行っている。しかしながら上述の余所見判定の処理はドライブレコーダ２が単独で行うようにしてもよい。つまりドライブレコーダ２が余所見判定装置１として動作してもよい。この場合、ドライブレコーダ２が上述の情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５と同様の処理を行うようにしてもよい。またはドライブレコーダ２と接続された車内に搭載されている車載器が情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５の処理を備えてもよい。この場合、車載器が余所見判定装置１として動作する。この場合、車載器の情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５と同様の処理を行う。
上述の処理によれば顔の方向や視線の方向が検知できない場合でも顔が検出できたかどうかで余所見検知を行うことができる。
また上述の処理によれば顔方向や視線方向が少しずれただけで余所見検知アラートをすることはなく、所定期間内において所定割合で顔方向や視線方向がずれた場合に余所見検知アラートを出力する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の余所見判定装置１によれば、低速での運転などの所定の速度以下など視線方向が前方から離れるような場合に余所見であると判定されてしまうことを回避する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
また上述の処理によれば余所見判定装置１は車両の速度低下に応じて余所見判定の可能性があると判定する場合の直進方向を基準とする範囲を広げる処理を行うことで、速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
また上述の処理によれば余所見判定装置１は視線が直進方向を基準とする所定範囲内となる回数が所定割合以上かを判定する処理において速度が低下するほど当該所定割合の値を減少させる。これにより速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
図８は余所見判定装置の最小構成を示す図である。
余所見判定装置１は少なくとも余所見判定部１４を備えればよい。余所見判定部１４は撮影画像に基づいて顔が検出できたか否かを判定し、顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。
上述の余所見判定装置１およびドライブレコーダ２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
１・・・余所見判定装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・情報取得部
１３・・・余所見開始判定部
１４・・・余所見判定部
１５・・・判定結果出力部
２１・・・加速度センサ
２３・・・カメラ
２４・・・制御装置
２４１・・・車両情報取得部
２４２・・・天候情報取得部
２４３・・・加速度情報取得部
２４４・・・撮影画像取得部
２４５・・・運転状況データ送信部
２４６・・・撮影画像送信部

Claims (10)

  1. 車両の運転時の天候情報を取得する天候情報取得手段と、
    取得した前記天候情報が所定の天候情報である場合に、前記車両の内部を撮影した撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段と、
    を備える余所見判定装置。
  2. 前記天候情報取得手段は、前記車両に備わるセンサから前記天候情報を取得する、
    請求項１に記載の余所見判定装置。
  3. 前記天候情報取得手段は、前記車両の遠隔にある装置から前記天候情報を取得する、
    請求項１に記載の余所見判定装置。
  4. 前記余所見判定手段は、前記撮影画像に基づいて顔方向が所定の条件範囲か否かを判定し、前記顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する
    請求項１から請求項３の何れか一項に記載の余所見判定装置。
  5. 前記余所見判定手段は、前記撮影画像に基づいて視線方向が所定の条件範囲か否かを判定し、
    前記余所見判定手段は、前記視線方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する
    請求項４に記載の余所見判定装置。
  6. 前記余所見判定手段は、前記車両の速度に基づいて、前記顔方向についての前記所定の条件範囲、又は、前記視線方向についての前記所定の条件範囲のうちの少なくとも何れかを変更する、
    請求項５に記載の余所見判定装置。
  7. 車両の運転時に取得した天候情報が所定の天候情報である場合に、
    前記車両の内部を撮影した撮影画像に基づいて顔が検出できたか否かを判定する第一判定と、
    前記第一判定において顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する第二判定と、
    前記第一判定において顔が検出できた場合であって、さらに前記撮影画像に基づいて検出された顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する第三判定と、
    を行う余所見判定手段
    を備える余所見判定装置。
  8. 撮影装置と余所見判定装置とを備え、前記撮影装置と前記余所見判定装置とが通信ネットワークで接続された余所見判定システムであって、
    前記余所見判定装置が、
    車両の運転時の天候情報を取得する天候情報取得手段と、
    取得した前記天候情報が所定の天候情報である場合に、前記車両の内部を撮影した撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段と、
    を備える余所見判定システム。
  9. 車両の運転時の天候情報を取得し、
    取得した前記天候情報が所定の天候情報である場合に、前記車両の内部を撮影した撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する
    余所見判定方法。
  10. 余所見判定装置のコンピュータを、
    車両の運転時の天候情報を取得する天候情報取得手段、
    取得した前記天候情報が所定の天候情報である場合に、前記車両の内部を撮影した撮影画像に基づいて顔が検出できたか否かを判定し、前記顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する余所見判定手段、
    として機能させるプログラム。
JP2021104289A 2018-03-19 2021-06-23 余所見判定装置、余所見判定システム、余所見判定方法、プログラム Active JP7124935B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021104289A JP7124935B2 (ja) 2018-03-19 2021-06-23 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018051590A JP7020215B2 (ja) 2018-03-19 2018-03-19 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP2021104289A JP7124935B2 (ja) 2018-03-19 2021-06-23 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018051590A Division JP7020215B2 (ja) 2018-03-19 2018-03-19 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Publications (2)

Publication Number Publication Date
JP2021157831A true JP2021157831A (ja) 2021-10-07
JP7124935B2 JP7124935B2 (ja) 2022-08-24

Family

ID=67986418

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018051590A Active JP7020215B2 (ja) 2018-03-19 2018-03-19 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP2021104289A Active JP7124935B2 (ja) 2018-03-19 2021-06-23 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018051590A Active JP7020215B2 (ja) 2018-03-19 2018-03-19 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Country Status (3)

Country Link
US (1) US20210027078A1 (ja)
JP (2) JP7020215B2 (ja)
WO (1) WO2019181231A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022172763A (ja) 2021-05-07 2022-11-17 有限会社最上蘭園 菌根菌 子嚢菌白色木材腐朽菌醗酵及び醗酵産生物質食糧、加工食品、飲料、茶、生薬、家畜飼料製造及び当該菌醗酵による生理活性物質抽出法及び当該菌産生物質製造法。

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033126A (ja) * 2015-07-30 2017-02-09 いすゞ自動車株式会社 安全運転促進装置及び安全運転促進方法
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158987A (ja) * 2006-12-26 2008-07-10 Mitsubishi Fuso Truck & Bus Corp ドライブレコーダ
US8442490B2 (en) * 2009-11-04 2013-05-14 Jeffrey T. Haley Modify function of driver's phone during acceleration or braking
US20160191995A1 (en) * 2011-09-30 2016-06-30 Affectiva, Inc. Image analysis for attendance query evaluation
US20190034706A1 (en) * 2010-06-07 2019-01-31 Affectiva, Inc. Facial tracking with classifiers for query evaluation
US11360107B1 (en) * 2014-02-25 2022-06-14 Labrador Diagnostics Llc Systems and methods for sample handling
US9639231B2 (en) * 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
US9703373B2 (en) * 2014-04-23 2017-07-11 Google Inc. User interface control using gaze tracking
KR102051142B1 (ko) * 2014-06-13 2019-12-02 현대모비스 주식회사 차량용 운전자 위험 지수 관리 시스템 및 그 방법
JP6524501B2 (ja) * 2015-06-11 2019-06-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
WO2017018012A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
GB201520398D0 (en) * 2015-11-19 2016-01-06 Realeyes Oü Method and apparatus for immediate prediction of performance of media content
US11311210B2 (en) * 2016-07-14 2022-04-26 Brightday Technologies, Inc. Posture analysis systems and methods
WO2018070139A1 (ja) * 2016-10-11 2018-04-19 株式会社デンソー 運転車両の防曇部を制御する車両用制御装置、車両用制御装置に用いられるプログラム
WO2018097177A1 (ja) * 2016-11-24 2018-05-31 株式会社ガイア・システム・ソリューション エンゲージメント測定システム
EP3556607A4 (en) * 2016-12-15 2020-10-07 Koito Manufacturing Co., Ltd. VEHICLE LIGHTING SYSTEM AND VEHICLE
DE112017007073B4 (de) * 2017-02-15 2024-03-07 Mitsubishi Electric Corporation Fahrzustandsbestimmungsvorrichtung, Bestimmungsvorrichtung und Fahrzustandsbestimmungsverfahren
US11164459B2 (en) * 2017-03-14 2021-11-02 Hyundai Mobis Co., Ltd. Apparatus and method of safety support for vehicle
US10446031B2 (en) * 2017-03-14 2019-10-15 Hyundai Mobis Co., Ltd. Apparatus and method of safety support for vehicle
JP6686959B2 (ja) * 2017-04-11 2020-04-22 株式会社デンソー 車両用報知装置
JP6885222B2 (ja) * 2017-06-30 2021-06-09 いすゞ自動車株式会社 車両用情報処理装置
KR102301599B1 (ko) * 2017-09-09 2021-09-10 애플 인크. 생체측정 인증의 구현
US11150918B2 (en) * 2017-09-20 2021-10-19 Ford Global Technologies, Llc Method and apparatus for user-designated application prioritization
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
US10572745B2 (en) * 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
JP6683185B2 (ja) * 2017-11-15 2020-04-15 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
DE102018127756A1 (de) * 2017-11-15 2019-05-16 Omron Corporation Fahrerüberwachungsvorrichtung, verfahren und programm
WO2019099033A1 (en) * 2017-11-17 2019-05-23 Ford Global Technologies, Llc Trip information control scheme
JP2021509470A (ja) * 2017-12-29 2021-03-25 ハーマン インターナショナル インダストリーズ， インコーポレイテッド 車両向けの空間インフォテインメントレンダリングシステム
JP6981305B2 (ja) * 2018-02-27 2021-12-15 トヨタ自動車株式会社 情報処理装置、画像配信システム、情報処理方法、及びプログラム
JP7307558B2 (ja) * 2019-03-06 2023-07-12 株式会社Subaru 車両の運転制御システム
US11361593B2 (en) * 2020-08-31 2022-06-14 Alipay Labs (singapore) Pte. Ltd. Methods and devices for face anti-spoofing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017033126A (ja) * 2015-07-30 2017-02-09 いすゞ自動車株式会社 安全運転促進装置及び安全運転促進方法
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Also Published As

Publication number Publication date
JP7124935B2 (ja) 2022-08-24
WO2019181231A1 (ja) 2019-09-26
US20210027078A1 (en) 2021-01-28
JP2019164530A (ja) 2019-09-26
JP7020215B2 (ja) 2022-02-16

Similar Documents

Publication Publication Date Title
JP6844568B2 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP6947099B2 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
US10399106B2 (en) Camera and washer spray diagnostic
US20190143993A1 (en) Distracted driving determination apparatus, distracted driving determination method, and program
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2003168197A (ja) 走行環境認識方法および装置
JP2008254487A (ja) 横風警告装置、横風警告装置を搭載した自動車、および横風警告方法
JP6806107B2 (ja) 障害物認識支援装置、障害物認識支援方法、プログラム
JP2021157831A (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP7125893B2 (ja) 走行制御装置、制御方法およびプログラム
JP7207434B2 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6933161B2 (ja) 画像処理装置、画像処理方法、プログラム
JP7069726B2 (ja) 通知装置及び車載機
JP2020067818A (ja) 画像選択装置及び画像選択方法
CN113424243B (zh) 信息处理装置、信息处理方法和信息处理程序
US11417123B2 (en) Driving state monitoring device, driving state monitoring system, driving state monitoring method, and recording medium
CN115136578B (zh) 用于控制摄像机的方法和控制单元
JP6919467B2 (ja) 道路情報送信システムおよび道路情報送信プログラム
KR20220031561A (ko) 이상 검출 장치와 이상 검출 방법 및 프로그램과 정보 처리 시스템
CN117649709A (zh) 一种碰撞视频录制方法、装置、车载芯片及存储介质
KR20200082463A (ko) 영상 기록 장치 및 그 동작 방법
KR20200119790A (ko) 인식 장치와 인식 방법 그리고 프로그램
JP2020086815A (ja) 車両制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220725

R151 Written notification of patent or utility model registration

Ref document number: 7124935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151