JP2022502788A - 運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体 - Google Patents

運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体 Download PDF

Info

Publication number
JP2022502788A
JP2022502788A JP2021518896A JP2021518896A JP2022502788A JP 2022502788 A JP2022502788 A JP 2022502788A JP 2021518896 A JP2021518896 A JP 2021518896A JP 2021518896 A JP2021518896 A JP 2021518896A JP 2022502788 A JP2022502788 A JP 2022502788A
Authority
JP
Japan
Prior art keywords
image
vehicle
driver
acquired
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021518896A
Other languages
English (en)
Other versions
JP7167325B2 (ja
Inventor
ジエ シアン
シャオポン イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2022502788A publication Critical patent/JP2022502788A/ja
Application granted granted Critical
Publication of JP7167325B2 publication Critical patent/JP7167325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0225—Monitoring making use of different thresholds, e.g. for different alarm levels
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths

Abstract

本開示の実施例は、運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体を提供する。前記方法は、車載画像取得装置が遮られていないことを確認するステップと、車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するステップと、取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するステップと、を含む。そのようにして、本開示の実施例では、車載画像取得装置が遮られていないと決定した後、車載画像取得装置の画像に顔画像を含むか否かを判断することによって、運転者の在席状態を決定することができるので、車載画像取得装置が遮られていることで運転者在席状態検出に及ぼす影響を低減でき、運転者在席状態の検出の正確性や信頼性を向上できる。

Description

（関連出願の相互参照）
本願は、２０１９年６月２８日に中国特許局に提出された、出願の番号２０１９１０５８０６１８．２、出願の名称「運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示は、運転監視に関し、特に運転者在席状態検出方法及び装置、電子機器並びにコンピュータ記憶媒体に関する。
関連技術において、運転者監視システムの機能としては、主に運転者の疲労状態を監視する機能及び危険運転行動等を監視する機能を含み、監視結果に基づいて運転者に報知して、インテリジェントドライブのセキュリティレベルを好適に向上して、車両走行の安全性を高くすることができる。
本開示の実施例は、運転者在席状態検出の技術的解決手段を提供することを目的とする。
本開示の実施例は、
車載画像取得装置が遮られていないことを確認するステップと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するステップと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するステップと、を含む運転者在席状態検出方法を提供する。
任意選択的に、前記方法は、
取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定するステップと、
前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を更に含む。
任意選択的に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を含む。
任意選択的に、前記方法は、
前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップを更に含む。
任意選択的に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、前記運転者が在席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を含む。
任意選択的に、前記方法は、
運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すステップを更に含む。
任意選択的に、第１警告情報を出した後、前記方法は、
運転者が在席していると決定した後、前記第１警告情報を出すことを止めるステップを更に含む。
任意選択的に、前記方法は、
前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするステップを更に含む。
任意選択的に、携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶する。
任意選択的に、車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶する。
任意選択的に、前記車載画像取得装置が遮られていないことを確認するステップは、
前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを含む。
任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、
前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を含む。
任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に含む。
任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む。
任意選択的に、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む。
任意選択的に、前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される。
任意選択的に、前記車載画像取得装置は赤外線カメラである。
任意選択的に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記方法は、
前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すステップを更に含む。
任意選択的に、第２警告情報を出した後、前記方法は、
前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるステップを更に含む。
任意選択的に、前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む。
本開示の実施例は、
車載画像取得装置が遮られていないことを確認するように構成される第１処理モジュールと、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するように構成される抽出モジュールと、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するように構成される第２処理モジュールと、を含む運転者在席状態検出装置を更に提供する。
任意選択的に、前記第２処理モジュールは、更に、取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定し、前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するように構成される。
任意選択的に、前記第２処理モジュールは、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される。
任意選択的に、前記第２処理モジュールは、更に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するように構成される。
任意選択的に、前記第２処理モジュールは、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を実行するように構成される。
任意選択的に、前記第２処理モジュールは、更に、運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すように構成される。
任意選択的に、前記第２処理モジュールは、更に、第１警告情報を出した後、運転者が在席していると決定した後、前記第１警告情報を出すことを止めるように構成される。
任意選択的に、前記第２処理モジュールは、更に、前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするように構成される。
任意選択的に、前記第１処理モジュールは、更に、
携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶するように構成される。
任意選択的に、前記第１処理モジュールは、更に、
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶するように構成される。
任意選択的に、前記第１処理モジュールは、車載画像取得装置が遮られていないことを確認するステップは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを実行するように構成される。
任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を実行するように構成される。
任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に実行するように構成される。
任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。
任意選択的に、前記第１処理モジュールは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。
任意選択的に、前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される。
任意選択的に、前記車載画像取得装置は赤外線カメラである。
任意選択的に、前記第１処理モジュールは、更に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すように構成される。
任意選択的に、前記第１処理モジュールは、更に、第２警告情報を出した後、前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるように構成される。
任意選択的に、前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む。
本開示の実施例は、プロセッサと、プロセッサ上で実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を含み、
前記プロセッサは、前記コンピュータプログラムを実行させて、上記のいずれか１種の運転者在席状態検出方法を実行するように構成される電子機器を更に提供する。
本開示の実施例は、コンピュータ読み取り可能な記憶媒体を更に提供する。前記コンピュータ読み取り可能な記憶媒体は、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのコンピュータプログラムを記憶する。
本開示の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのものである。
本開示の実施例で提供された運転者在席状態検出方法及び装置、電子機器並びにコンピュータ読み取り可能な記憶媒体において、車載画像取得装置が遮られていないことを確認し、車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出し、取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定する。そのようにして、本開示の実施例では、車載画像取得装置が遮られていないと決定した後、車載画像取得装置の画像に顔画像を含むか否かを判断することによって、運転者の在席状態を決定することができるので、車載画像取得装置が遮られていることで運転者在席状態検出に及ぼす影響を低減でき、運転者在席状態の検出の正確性や信頼性を向上できる。
以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示を制限しないことを理解すべきである。
本開示の実施例の運転者在席状態検出方法のフローチャートである。 本開示の実施例の運転者在席状態検出装置の構成の構造模式図である。 本開示の実施例の電子機器の構造模式図である。
ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
以下、図面及び実施例を参照しながら、本開示を更に詳細に説明する。ここで提供される実施例は、本開示を限定するためのものではなく、ただ本開示を解釈することを目的とすることを理解すべきである。なお、以下で提供される実施例は、本開示を実施する全ての実施例ではなく、本開示を実施するための一部の実施例となり、本開示の実施例に記載の技術的解決手段は、矛盾しない限り、任意に組み合わせた形態で実施可能である。
本開示の実施例では、用語「含む」、「からなる」またはその他のあらゆる変形は非排他的包含を含むように意図され、それにより一連の要素を含む方法または装置は、明確に記載された要素のみならず、明示されていない他の要素、または実施方法または装置に固有の要素をも含むことを説明する必要がある。特に断らない限り、語句「一つの……を含む」により限定される要素は、該要素を含む方法または装置に別の関連要素がさらに存在することを排除するものではない（例えば、方法のステップ又は装置のユニットが挙げられ、例えば、ユニットが一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェア等であってもよい）。
本明細書の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本明細書の用語の「少なくとも１種」は多種のうちのいずれか１種又は多種のうちの少なくとも２種の任意の組合を示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むということは、Ａ、Ｂ及びＣから構成される集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。
例えば、本開示の実施例で提供された運転者在席状態検出方法は、一連のステップを含むが、記載されたステップに限定されることがなく、同様に、本開示の実施例で提供された運転者在席状態検出装置は、一連のモジュールを含むが、明確に記載されたモジュールを含むことに限定されることがなく、更に、関連情報を取得してもよく、情報に基づいて処理する時に必要とされるモジュールを含んでも良い。
本開示の実施例は端末に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。ここで、端末は、車載端末、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム等であってよい。
端末等の電子機器は、コンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
以上で記載した内容によれば、本開示のいくつかの実施例では、運転者監視システム、インテリジェント車室等に実施可能な運転者在席状態検出方法及び装置を提供する。
図１は本開示の実施例の運転者在席状態検出方法のフローチャートであり、図１に示すように、このフローは、以下のステップを含んでもよい。
ステップ１０１：車載画像取得装置が遮られていないことを確認する。ここで、いわゆる車載画像取得装置が遮られているのは、不透明材料によって車載画像取得装置の視野の７５％以上が遮られていることである。
ここで、車載画像取得装置はカメラであってもよく、任意選択的に、車載画像取得装置は夜や他の光線が足りない時に車内画像データを取得できる赤外線カメラであってもよい。
実際に適用するに際して、車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、車載画像取得装置が遮られている状態にあるか否かを決定することができる。一例として、車載画像取得装置によって取得された画像の特徴情報に基づいて、車載画像装置が遮られているか否かを判断できる。
一実施形態として、上記の取得された画像の特徴情報は、平均輝度、前景面積と有効面積の割合、画像輪郭数の少なくとも一項を含んでもよく、そのうち、画像の平均輝度は全画像の平均輝度を表し、画像の前景面積は取得された画像から認識された画像の前景部分の面積を表し、画像の有効面積は事前に設定されたものであり、画像の有効面積は取得された画像の面積以下であり、画像の輪郭数量は取得された画像に対して目標認識を行うことで得られた目標輪郭数である。
実際に適用するに際して、いろいろな方法で画像の前景部分と背景部分の分離を実現可能であり、一例として、動的閾値分割法を用いて画像の前景部分と背景部分の分離を実現でき、動的閾値分割法で画像の前景部分と背景部分の分離を実現する過程において、具体的には、画像の異なる領域に異なる濃淡閾値を設置してもよく、画像中の画素点に対して画素点の濃淡値と対応の濃淡閾値を比較することによって、画素点が前景点であるか背景点であるかを決定でき、更に画像の前景部分と背景部分を決定できる。
実際に適用するに際して、輪郭検出方法で画像に対して目標検出と認識を行って目標の輪郭を取得でき、更に、目標の輪郭数量を決定でき、例えば、画像に対して輪郭検出を行った後、シート、人体等の５つの目標輪郭を取得でき、そのように画像輪郭数を５とする。本開示の実施例では、輪郭検出方法が限定されるものではない。
任意選択的に、上記の取得された画像の有効面積は、車載画像取得装置と車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定されてもよい。画像取得装置が赤外線カメラである時に、補光用ランプが赤外線補光用ランプである。具体的な一例では、補光用ランプが画像取得装置のレンズの周りに均一に分布され、即ち、補充光が取得された全画像に均一に分布された時に、画像の有効面積は取得された画像画面全体の面積であってもよく、また、補充光が主に取得された画像画面の中央に分布された時に、取得された画像画面の短辺の長さを直径とする円の面積を有効面積としてもよい。
実際に適用するに際して、車載画像取得装置は画像を取得した後、更に処理するために、取得された画像をプロセッサ等の装置に送信してもよく、車載画像取得装置は画像をリアルタイムに取得して、連続的に取得された複数の画像を得ることができ、例えば、Ｎ秒ごとに画像を取得してもよく、Ｎが事前に設定されたものであってもよい。
ステップ１０２：車両に取り付けられ、少なくとも車両の運転席領域の画像を取得するために用いられる車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出する。
ここで、車両の起動状態とは、車両が起動した時及び起動した後から車両がシャットダウンするまでの状態を指す。
実際に適用するに際して、運転席に人がいる時に運転席での人員画像を撮影できるように、車載画像取得装置を運転席領域に向かって取り付けてもよい。一例として、車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含み、設定速度を実際の要求に応じて設定可能であり、例えば、設定速度を１ｋｍ／ｈ又は他の速度値にしてもよい。実際に適用するに際して、取得された画像から顔認識技術で顔画像を抽出してもよく、本開示の実施例では、顔認識技術の種類が限定されるものではなく、例えば、深層学習に基づく顔認識技術を用いてもよい。
ステップ１０３：取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定する。
本開示の実施例では、運転者が欠席しているのは、特定の運転者が運転席にいない状態又は運転席に人がいない状態を示し、取得された画像から顔画像が抽出されなかった場合に、運転席に人がいないと直接決定でき、更に運転者が欠席していると決定できる。
実際に適用するに際して、ステップ１０１〜ステップ１０３は、運転者欠席検出装置におけるプロセッサ等に基づいて実現可能であり、上記プロセッサは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理装置（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサのうち少なくとも１種であってもよい。運転者欠席検出装置によっては、上記プロセッサ機能を実現するための電子デバイスが他のものであってもよく、本開示の実施例で具体的に限定されないことが理解される。
運転者監視システムを実際に使用している過程で、一部の運転者は監視されることに反感を抱く等の原因で、例えば、衣類、紙コップやテープ等の物体を用いて監視カメラを遮って、監視システムが無効になって運転者の在席状態を正確に判断できなくなる。
本開示の実施例では、車載画像取得装置が遮られていないと決定した後、車載画像取得装置の画像に顔画像を含むか否かを判断することによって、運転者の在席状態を決定することができるので、車載画像取得装置が遮られていることで運転者在席状態検出に及ぼす影響を回避でき、運転者在席状態の検出の正確性や信頼性を向上できる。更に、取得された画像から顔画像が抽出された時に、画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチング可能か否かを決定でき、取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定できる。
任意選択的に、取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定できる。
実際に適用するに際して、運転者登録手法で運転者の顔画像を事前に記憶しておくことができる。
任意選択的に、携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶することができる。具体的には、携帯端末にインストールされたアプリ（ＡＰＰｌｉｃａｔｉｏｎ、ＡＰＰ）によってクラウドサーバで運転者登録を行うことができ、携帯端末によって運転者登録を行う時にこの携帯端末によってクラウドサーバに運転者の顔画像をアップロードし、ここで、車両が起動しない時にクラウドサーバで運転者登録を行ってもよく、車両が起動したが走行していない状態にある場合にクラウドサーバで運転者登録を行ってもよい。
任意選択的に、車両が起動したが走行していない状態にある場合に、権限認証が成功した後、車載画像取得装置によって運転者の顔画像を取得し保存するステップを使用することによって運転者の顔画像を事前に記憶しておく。
本開示の実施例では、取得された画像中の顔画像が事前に記憶された運転者の顔画像とマッチング可能か否かを判断することによって運転者の欠席又は在席を正確に検出することを実現できる。顔画像がマッチング可能か否かについての検出によって、運転席に非関係者又は運転資格のない人員が現れた時に運転席に人がいるか否かのみについて検出するので、車両が不安全になるか、又は運転が不安全になることを回避する。以上から分かるように、本開示の実施例では、在席すべき運転者の顔画像を事前に取得し、次に現在抽出されている顔画像が事前に記憶された在席すべき運転者の顔画像とマッチング可能か否かを判断することによって、在席すべき運転者の在席状態を決定することができ、運転の安全性を更に向上した。
本開示の実施例では、上記の取得された画像中の顔画像として１つの顔画像を含んでもよく、複数の顔画像を含んでもよく、取得された画像中の顔画像が複数の顔画像である時に、上記の取得された画像中の各顔画像については、それぞれ所在する画像領域を決定でき、例えば、上記の取得された画像中の１つの顔画像が取得された画像の運転席領域に位置してもよく、取得された画像の非運転席領域に位置してもよく、画像の運転席領域が事前に設置されてもよく、例えば、画像の左半分を画像の運転席領域としてもよい。
一実施形態として、取得された画像から抽出された顔画像に複数の顔画像を含む時に、複数の顔画像から取得された画像の運転席領域に位置する顔画像を選択し、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するようにしてもよい。
任意選択的に、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定する。
以上から分かるように、本開示の実施例では、選択された画像運転席領域に位置する顔画像に対して更に顔画像の特徴がマッチング可能か否かについて判断して、現在運転席領域に現れた人員が在席すべき運転者であるか否かを決定でき、運転者在席状態検出の正確性を更に向上した。
一実施形態として、取得された画像中の顔画像が事前に記憶された運転者の顔画像の特徴とマッチング可能か否かをリアルタイムに判断することによって、運転者の欠席持続時間を決定してもよい。
つまり、複数フレームの画像を連続的に取得した場合に、取得された各画像フレームに対して、その中の顔画像が事前に記憶された運転者の顔画像の特徴とマッチング可能か否かを判断し、複数回連続的に判断した結果、いずれもマッチングしない時に、複数フレームの画像の取得時間によって運転者の欠席持続時間を決定でき、例えば、１分間内に取得された複数フレームの画像について判断した結果、いずれもマッチング不可能であれば、運転者の欠席持続時間が少なくとも１分間であると決定できる。
更に、運転者の欠席持続時間が第１設定時間を超えたか否かを判断してもよく、運転者の欠席持続時間が第１設定時間を超えた場合に（即ち、第１設定時間以上の場合に）、第１警告情報を出してもよく、運転者の欠席持続時間が第１設定時間を超えていない時に、運転者の欠席持続時間を計測し続けてもよい。
ここで、第１設定時間は実際の応用シーンに応じて事前に設置しておいてもよく、例えば、第１設定時間は２秒間であってもよい。第１警告情報の形式は、音声警告情報、発光警告情報、振動警告情報等を含むが、それらに限定されない。
更に、第１警告情報を出した後、運転者が在席していると決定した後、第１警告情報を出すことを止めてもよく、そのようにして、運転者在席状態の変化に応じて第１警告情報を柔軟的に処理でき、実際の要求に更に応えられる。
更に、第１警告情報を出した後、後に調べることができるように、第１警告情報をローカルに保存してもよく、また、第１警告情報を出した後、遠隔監視人員に通知できるように、第１警告情報をクラウドにアップロードしてもよい。
任意選択的に、後に分析できるように、更に車載画像取得装置によって運転者の欠席状態で取得された画像をローカルに保存するか、又はクラウドにアップロードするようにしてもよい。
車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、車載画像取得装置が遮られている状態にあるか否かを決定する実施形態では、一例として、取得された画像に基づいて取得された画像の平均輝度を決定してもよく、取得された画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は取得された画像の平均輝度が第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上である場合に、車載画像取得装置が遮られている状態にあると決定できる。
任意選択的に、取得された画像の平均輝度が第１輝度閾値以上且つ第２輝度閾値以下であると決定した場合に、取得された画像の前景面積と有効面積の割合を決定してもよく、取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上である場合に、車載画像取得装置が遮られている状態にあると決定できる。
具体的な一例では、遮られた面積（前景面積）が画像全体の有効面積の７５％以上であると定義された時に、車載画像取得装置（例えば、赤外線カメラ）が遮られていると考えられる。
任意選択的に、前記取得された画像の平均輝度が第１輝度閾値以上且つ第２輝度閾値以下であると決定し、且つ取得された画像の前景面積と有効面積の割合が設定値以下であると決定した場合に、取得された画像中の輪郭数量を決定してもよく、取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上である場合に、車載画像取得装置が遮られている状態にあると決定でき、取得された画像中の輪郭数量が設定数量以上である場合に、車載画像取得装置が遮られていない状態にあると決定できる。
本開示の実施例では、第１輝度閾値、第２輝度閾値、設定値、設定数量はいずれも実際の応用シーンに応じて事前に設置してもよく、例えば、６５％〜８５％を設定値の範囲としてもよく、８〜１２を設定数量の範囲としてもよく、第２設定時間、第３設定時間及び第４設定時間はいずれも実際の応用シーンに応じて事前に設置してもよく、第２設定時間、第３設定時間及び第４設定時間は２つずつに同様であってもよく、異なってもよく、一例において、第２設定時間、第３設定時間及び第４設定時間の範囲はいずれも４秒〜７秒である。
更に、車載画像取得装置が遮られていないと決定した時刻から時間を計測して車載画像取得装置が遮られていた持続時間を取得し、且つ車載画像取得装置が遮られていた持続時間が第５設定時間を超えた（即ち、第５設定時間以上）か否かを判断し、車載画像取得装置が遮られていた持続時間が第５設定時間を超えた場合に、第２警告情報を出してもよく、車載画像取得装置が遮られていた持続時間が第５設定時間を超えていない場合に、時間を計測し続けて、車載画像取得装置が遮られていた持続時間を取得し続けるようにしてもよい。
ここで、第５設定時間は、実際の応用シーンに応じて事前に設置してもよく、第１設定時間と同じであってもよいし、異なってもよい。例えば、５秒間を第５設定時間としてもよい。第２警告情報の形式は、音声警告情報、発光警告情報、振動警告情報等を含むが、それらに限定されない。
更に、第２警告情報を出した後、車載画像取得装置が遮られていない状態にあると決定した後、第２警告情報を出すことを止めてもよく、そのようにして、車載画像取得装置が遮られているか否かに応じて、第２警告情報を出すか否かを柔軟的に決定でき、実際の要求に更に応えられる。
更に、第２警告情報を出した後、後に調べることができるように、第２警告情報をローカルに保存してもよく、第２警告情報を出した後、遠隔監視人員に通知できるように、第２警告情報をクラウドにアップロードしてもよい。
実際に適用するに際して、画像取得装置が赤外線カメラである時に、赤外線カメラの特徴を考慮しなければならず、運転者がテープ等によって赤外線補光用ランプ全体を遮った時に、前景面積が必ず７５％より大きいというわけではなく、この時に画像の平均輝度によって赤外線カメラが遮られているか否かを判断する必要があり、例えば、画像の平均輝度が第１輝度閾値より小さいか否かを判断し、画像の平均輝度が第１輝度閾値より小さいか、又は第２輝度閾値より大きい場合に、時間の計測を開始し、持続時間が５秒に到達すると、赤外線カメラが遮られていると考えられ、画像の平均輝度が第１輝度閾値以上且つ第２輝度閾値以下である場合に、動的閾値分割法で画像の前景背景分割を行い、前景面積が有効面積の７５％より大きければ、時間の計測を開始し、持続時間が５秒に到達すると、赤外線カメラが遮られていると考えられ、前景面積が有効面積の７５％より大きくなければ、輪郭検出によって画像の輪郭数を取得し、輪郭数量が１０より少なく且つ持続時間が５秒に到達すると、赤外線カメラが遮られていると考えられ、輪郭数量が１０より少なくなければ、赤外線カメラが遮られていないと考えられる。
一実施形態として、赤外線カメラが遮られており、且つ持続時間が第５設定時間を超えたことが検出されると、第２警告情報を出してもよく、例えば、「カメラを遮らないでください」という音声警告を第２警告情報としてもよく、また、運転者が欠席しており、且つ運転者の欠席持続時間が第１設定時間を超えたことが検出されると、第１警告情報を出してもよく、例えば、「運転席に帰ってください」という音声警告を第１警告情報としてもよい。
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならなく、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
前記実施例で提供された運転者在席状態検出方法をもとに、本開示の実施例は運転者在席状態検出装置を提供する。
図２は本開示の実施例の運転者在席状態検出装置の構成の構造模式図であり、図２に示すように、前記装置は、
車載画像取得装置が遮られていないことを確認するように構成される第１処理モジュール２０１と、
車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するように構成される抽出モジュール２０２と、
取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するように構成される第２処理モジュール２０３と、を含む。
一実施形態では、前記第２処理モジュール２０３は、更に、取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定し、前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するように構成される。
一実施形態では、前記第２処理モジュール２０３は、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される。
一実施形態では、前記第２処理モジュール２０３は、更に、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するように構成される。
一実施形態では、前記第２処理モジュール２０３は、前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップは、前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップとを実行するように構成される。
一実施形態では、前記第２処理モジュール２０３は、更に、運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すように構成される。
一実施形態では、前記第２処理モジュール２０３は、更に、第１警告情報を出した後、運転者が在席していると決定した後、前記第１警告情報を出すことを止めるように構成される。
一実施形態では、前記第２処理モジュール２０３は、更に、前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするように構成される。
一実施形態では、前記第１処理モジュール２０１は、更に、携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶するように構成される。
一実施形態では、前記第１処理モジュール２０１は、更に、
車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶するように構成される。
一実施形態では、前記第１処理モジュール２０１は、車載画像取得装置が遮られていないことを確認するステップは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを実行するように構成される。
一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を実行するように構成される。
一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に実行するように構成される。
一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。
一実施形態では、前記第１処理モジュール２０１は、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される。
一実施形態では、前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される。
一実施形態では、前記車載画像取得装置は赤外線カメラである。
一実施形態では、前記第１処理モジュール２０１は、更に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すように構成される。
一実施形態では、前記第１処理モジュール２０１は、更に、第２警告情報を出した後、前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるように構成される。
一実施形態では、前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む。
実際に適用するに際して、上記第１処理モジュール２０１、抽出モジュール２０２及び第２処理モジュール２０３はいずれも電子機器に位置するプロセッサによって実現可能であり、このプロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクプロセッサのうち少なくとも１種であってもよい。
また、本実施例における各機能モジュールは一つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、二つ以上で一つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現してもよく、ソフトウェア機能モジュールの形式で実現してもよい。
前記の統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用されない場合、コンピュータ読み取り可能記憶媒体に記憶されてもよく、このような見解をもとに、本実施例の技術的解決手段は実質的に従来技術に寄与する部分又はこの技術的解決手段の全部又は一部がソフトウェア製品の形で実施できると言え、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい）又はｐｒｏｃｅｓｓｏｒ（プロセッサ）に本実施例に記載の方法のステップの全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能な様々な媒体を含む。
具体的には、本実施例の運転者在席状態検出方法に対応するコンピュータプログラムコマンドは、光ディスク、ハードディスク、ＵＳＢメモリ等の記憶媒体に記憶可能であり、記憶媒体における運転者在席状態検出方法に対応するコンピュータプログラムコマンドが電子機器により読み取られて実行される時に、上記実施例のいずれか１種の運転者在席状態検出方法を実現する。
前記実施例と同じ技術的構想によれば、図３に示すように、本開示の実施例で提供された電子機器３０は、コンピュータプログラムやデータを記憶するように構成されるメモリ３１と、前記メモリに記憶されているコンピュータプログラムを実行させて上記実施例のいずれか１種の運転者在席状態検出方法を実現するように構成されるプロセッサ３２と、を含んでもよい。
実際に適用するに際して、上記メモリ３１は、ＲＡＭのような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、又はＲＯＭ、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）或いは半導体ディスク（Ｓｏｌｉｄ−Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）のような非揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、又は上記の種類のメモリの組合せであってもよく、プロセッサ３２にコマンドやデータを提供する。上記プロセッサ３２は、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクプロセッサのうち少なくとも１種であってもよい。装置によっては、上記プロセッサ機能を実現するための電子デバイスは他のものであってもよく、本開示の実施例では限定されないことが理解される。
本開示の実施例は、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体を更に提供する。
本開示の実施例は、コンピュータに、本開示の実施例で開示されたいずれか１種の運転者在席状態検出方法を実行させるためのコンピュータプログラムを更に提供する。
いくつかの実施例では、本開示の実施例で提供された装置に備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してもよく、簡単化するために、ここで重複説明は割愛する。以上の各実施例についての説明はそれぞれの実施例の相違点を強調する傾向があり、その同一又は類似的な点について相互に参照してもよく、簡単化するために、本明細書で一つずつに繰り返して説明しない。本願で提供される各方法の実施例が開示した方法は、矛盾なく任意に組み合わせて新たな方法の実施例を得ることができる。本願で提供される各製品の実施例が開示した特徴は、矛盾なく任意に組み合わせて新たな製品の実施例を得ることができる。本願で提供される各方法又は装置の実施例が開示した特徴は、矛盾なく任意に組み合わせて新たな方法の実施例又は装置の実施例を得ることができる。
以上の実施形態に対する説明によって、当業者であれば上記実施例の方法はソフトウェアと必要な共通ハードウェアプラットフォームとの組み合わせという形態で実現できることを明らかに理解可能であり、当然ながら、ハードウェアによって実現してもよいが、多くの場合において前者はより好ましい実施形態である。このような見解をもとに、本開示の技術的解決手段は実質的にまたは従来技術に寄与する部分はソフトウェアの形で実施することができ、該コンピュータソフトウェア製品は記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、端末（携帯電話、コンピュータ、サーバ、エアコン、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法を実行させる複数の命令を含む。
以上、図面を参照しながら本開示の実施例を説明したが、本開示は上記の具体的実施形態に限定されるものではなく、上記の具体的実施形態は例示的なものにすぎず、限定する意図がなく、当業者であれば、本開示に示唆された場合に、本開示の趣旨や特許請求の範囲を逸脱しない限り、様々な変形を加えることができ、それらは全て本開示の保護範囲に含まれる。

Claims (43)

  1. 車載画像取得装置が遮られていないことを確認するステップと、
    車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するステップと、
    取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するステップと、を含む、運転者在席状態検出方法。
  2. 取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定するステップと、
    前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を更に含む請求項１に記載の方法。
  3. 前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、
    前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
    選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を含む請求項２に記載の方法。
  4. 前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップを更に含む請求項２又は３に記載の方法。
  5. 前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、前記運転者が在席していると決定するステップは、
    前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、
    選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を含む請求項４に記載の方法。
  6. 運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すステップを更に含む請求項１〜５のいずれか一項に記載の方法。
  7. 前記第１警告情報を出した後、
    運転者が在席していると決定した後、前記第１警告情報を出すことを止めるステップを更に含む請求項６に記載の方法。
  8. 前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするステップを更に含む請求項１〜７のいずれか一項に記載の方法。
  9. 携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
    前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶する請求項２〜７のいずれか一項に記載の方法。
  10. 車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶する請求項２〜７のいずれか一項に記載の方法。
  11. 前記車載画像取得装置が遮られていないことを確認するステップは、
    前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを含む請求項１〜１０のいずれか一項に記載の方法。
  12. 前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
    前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、
    前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を含む請求項１１に記載の方法。
  13. 前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
    前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
    前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に含む請求項１１に記載の方法。
  14. 前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
    前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
    前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
    前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む請求項１１に記載の方法。
  15. 前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
    前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
    前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
    前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に含む請求項１１に記載の方法。
  16. 前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される請求項１３〜１５のいずれか一項に記載の方法。
  17. 前記車載画像取得装置は赤外線カメラである請求項１〜１６のいずれか一項に記載の方法。
  18. 前記車載画像取得装置が遮られている状態にあると決定した場合に、
    前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すステップを更に含む請求項１１〜１７のいずれか一項に記載の方法。
  19. 前記第２警告情報を出した後、
    前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるステップを更に含む請求項１８に記載の方法。
  20. 前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む請求項１〜１９のいずれか一項に記載の方法。
  21. 車載画像取得装置が遮られていないことを確認するように構成される第１処理モジュールと、
    車両に取り付けられ、少なくとも前記車両の運転席領域の画像を取得するために用いられる前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像から顔画像を抽出するように構成される抽出モジュールと、
    取得された画像から顔画像が抽出されなかったことに応えて、運転者が欠席していると決定するように構成される第２処理モジュールと、を含む、運転者在席状態検出装置。
  22. 前記第２処理モジュールは、更に、
    取得された画像から顔画像が抽出されたことに応えて、前記画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングするか否かを決定するステップと、
    前記取得された画像から抽出された顔画像の特徴が前記事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される請求項２１に記載の装置。
  23. 前記第２処理モジュールは、
    前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップは、前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングしないことに応えて、運転者が欠席していると決定するステップと、を実行するように構成される請求項２２に記載の装置。
  24. 前記第２処理モジュールは、更に、
    前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するように構成される請求項２２又は２３に記載の装置。
  25. 前記第２処理モジュールは、
    前記取得された画像から抽出された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップは、前記取得された画像から抽出された顔画像に複数の顔画像を含むことに応えて、前記複数の顔画像から前記取得された画像中の運転席領域に位置する顔画像を選択するステップと、選択された顔画像の特徴が事前に記憶された運転者の顔画像の特徴とマッチングすることに応えて、運転者が在席していると決定するステップと、を実行するように構成される請求項２４に記載の装置。
  26. 前記第２処理モジュールは、更に、運転者の欠席持続時間が第１設定時間を超えたことに応えて、第１警告情報を出すように構成される請求項２１〜２５のいずれか一項に記載の装置。
  27. 前記第２処理モジュールは、更に、第１警告情報を出した後、運転者が在席していると決定した後、前記第１警告情報を出すことを止めるように構成される請求項２６に記載の装置。
  28. 前記第２処理モジュールは、更に、前記車載画像取得装置が運転者の欠席状態で取得した画像をローカルに保存するか、又はクラウドにアップロードするように構成される請求項２１〜２７のいずれか一項に記載の装置。
  29. 前記第１処理モジュールは、更に、
    携帯端末で権限認証が成功した後、前記携帯端末によってクラウドサーバに運転者の顔画像をアップロードし且つ前記クラウドサーバに保存するステップと、
    前記クラウドサーバに保存された前記車両に関連する運転者の顔画像が更新された後、車両と前記クラウドサーバの接続を確立した後、前記クラウドサーバから前記車両に前記車両に関連する更新後の運転者の顔画像を送信するステップと、を使用することによって運転者の顔画像を事前に記憶するように構成される請求項２２〜２７のいずれか一項に記載の装置。
  30. 前記第１処理モジュールは、更に、
    車両が起動したが走行していない状態にある場合に、権限認証が成功した後、前記車載画像取得装置によって運転者の顔画像を取得して保存するステップを使用することによって運転者の顔画像を事前に記憶するように構成される請求項２２〜２７のいずれか一項に記載の装置。
  31. 前記第１処理モジュールは、
    車載画像取得装置が遮られていないことを確認するステップは、前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップを実行するように構成される請求項２１〜３０のいずれか一項に記載の装置。
  32. 前記第１処理モジュールは、
    前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像に基づいて前記画像の平均輝度を決定するステップと、前記画像の平均輝度が第１輝度閾値より小さくなっていた持続時間が第２設定時間以上であるか、又は前記第１輝度閾値以上の第２輝度閾値より大きくなっていた持続時間が第２設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップと、を実行するように構成される請求項３１に記載の装置。
  33. 前記第１処理モジュールは、
    前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、前記取得された画像の前景面積と有効面積の割合が設定値より大きくなっていた持続時間が第３設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、を更に実行するように構成される請求項３１に記載の装置。
  34. 前記第１処理モジュールは、
    前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
    前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
    前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
    前記取得された画像中の輪郭数量が設定数量より小さくなっていた持続時間が第４設定時間以上であることに応えて、前記車載画像取得装置が遮られている状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される請求項３１に記載の装置。
  35. 前記第１処理モジュールは、
    前記車載画像取得装置によって前記車両が起動状態にある時に取得した画像に基づいて、前記車載画像取得装置が遮られている状態にあるか否かを決定するステップは、
    前記取得された画像の平均輝度が第１輝度閾値以上であり且つ前記第１輝度閾値以上の第２輝度閾値以下であることを確認するステップと、
    前記取得された画像の前景面積と有効面積の割合が設定値以下であることを確認するステップであって、前記前景面積が前記取得された画像から認識された画像の前景部分の面積を表し、前記有効面積が事前に設定されたものであり、前記有効面積が前記取得された画像の面積以下である、ステップと、
    前記取得された画像中の輪郭数量が設定数量以上であることに応えて、前記車載画像取得装置が遮られていない状態にあると決定するステップであって、前記輪郭数量が前記取得された画像に対して輪郭検出を行うことで得られた目標輪郭数である、ステップと、を更に実行するように構成される請求項３１に記載の装置。
  36. 前記取得された画像の有効面積は、前記車載画像取得装置と前記車載画像取得装置が画像を取得する領域に光を補充するための補光用ランプの相対的位置に応じて事前に設定される請求項３３〜３５のいずれか一項に記載の装置。
  37. 前記車載画像取得装置は赤外線カメラである請求項２１〜３６のいずれか一項に記載の装置。
  38. 前記第１処理モジュールは、更に、前記車載画像取得装置が遮られている状態にあると決定した場合に、前記車載画像取得装置が遮られている状態にある持続時間が第５設定時間より大きいことに応えて、第２警告情報を出すように構成される請求項３１〜３７のいずれか一項に記載の装置。
  39. 前記第１処理モジュールは、更に、第２警告情報を出した後、前記車載画像取得装置が遮られていない状態にあると決定した後、前記第２警告情報を出すことを止めるように構成される請求項３８に記載の装置。
  40. 前記車両の起動状態は車両の走行速度が設定速度より大きくなっている状態を含む請求項２１〜３９のいずれか一項に記載の装置。
  41. プロセッサと、プロセッサ上で実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を含み、
    前記プロセッサは、前記コンピュータプログラムを実行させて、請求項１〜２０のいずれか一項に記載の方法を実行するように構成される電子機器。
  42. コンピュータに、請求項１〜２０のいずれか一項に記載の方法を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
  43. コンピュータに、請求項１〜２０のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
JP2021518896A 2019-06-28 2019-11-29 運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体 Active JP7167325B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910580618.2 2019-06-28
CN201910580618.2A CN112149482A (zh) 2019-06-28 2019-06-28 驾驶员在岗状态检测方法、装置、设备和计算机存储介质
PCT/CN2019/122211 WO2020258719A1 (zh) 2019-06-28 2019-11-29 驾驶员在岗状态检测方法、装置、设备和计算机存储介质

Publications (2)

Publication Number Publication Date
JP2022502788A true JP2022502788A (ja) 2022-01-11
JP7167325B2 JP7167325B2 (ja) 2022-11-08

Family

ID=73891754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021518896A Active JP7167325B2 (ja) 2019-06-28 2019-11-29 運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体

Country Status (6)

Country Link
US (1) US11423676B2 (ja)
JP (1) JP7167325B2 (ja)
KR (1) KR20210055746A (ja)
CN (1) CN112149482A (ja)
SG (1) SG11202103615PA (ja)
WO (1) WO2020258719A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947869B (zh) * 2021-10-18 2023-09-01 广州海事科技有限公司 基于船舶驾驶状态的报警方法、系统、计算机设备及介质
CN113989738A (zh) * 2021-10-25 2022-01-28 浙江卢苏库网络科技有限公司 一种值班人员在岗监测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004276782A (ja) * 2003-03-17 2004-10-07 Aisin Seiki Co Ltd 車両監視装置
JP2005157648A (ja) * 2003-11-25 2005-06-16 Toyota Motor Corp 運転者認識装置
US20170036599A1 (en) * 2015-08-06 2017-02-09 Ford Global Technologies, Llc Vehicle display and mirror
WO2018043100A1 (ja) * 2016-08-29 2018-03-08 京セラ株式会社 判定装置、撮像装置、運転者確認システム、移動体及び判定方法
WO2018116373A1 (ja) * 2016-12-20 2018-06-28 三菱電機株式会社 車載画像認証装置
US20180354440A1 (en) * 2017-06-09 2018-12-13 STMicroelectronics (Grand Ouest) SAS Method and system for automatic adjustment of at least one piece of equipment of a motor vehicle

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006264400A (ja) * 2005-03-22 2006-10-05 Omron Corp 移動体のドライバー認証装置
CN101296821B (zh) * 2005-07-11 2013-01-02 沃尔沃技术公司 用于执行驾驶员身份验证的方法
CN101639894B (zh) * 2009-08-31 2013-03-20 华南理工大学 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统
US9319637B2 (en) * 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
JP5949660B2 (ja) * 2013-05-21 2016-07-13 株式会社デンソー ドライバ確認装置
US8874301B1 (en) * 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
US9633267B2 (en) * 2014-04-04 2017-04-25 Conduent Business Services, Llc Robust windshield detection via landmark localization
CN104732251B (zh) * 2015-04-23 2017-12-22 郑州畅想高科股份有限公司 一种基于视频的机车司机驾驶状态检测方法
CN105235615B (zh) * 2015-10-27 2018-01-23 浙江吉利控股集团有限公司 一种基于人脸识别的车辆控制系统
JP2017222337A (ja) * 2016-06-14 2017-12-21 アイシン精機株式会社 着座状態検出装置
CN106372856A (zh) * 2016-08-31 2017-02-01 北京汇通天下物联科技有限公司 一种司机考勤方法及系统
US10266178B2 (en) * 2016-10-13 2019-04-23 Ford Global Technologies, Llc Automatic engine start-stop control during driver exit events
JP6645418B2 (ja) * 2016-12-27 2020-02-14 トヨタ自動車株式会社 自動運転装置
JP6960995B2 (ja) * 2017-06-07 2021-11-05 三菱電機株式会社 状態判定装置および状態判定方法
US20180370431A1 (en) * 2017-06-23 2018-12-27 Aamp Of Florida, Inc. Unattented occupant protection system (uops) safety system
EP3649572A1 (en) * 2017-07-07 2020-05-13 Toyota Motor Europe A driving assistance system, recording medium containing a computer program and method for identifying a cause of a blockage in a sequence of images
JP7080598B2 (ja) * 2017-07-21 2022-06-06 ソニーセミコンダクタソリューションズ株式会社 車両制御装置および車両制御方法
JP7166780B2 (ja) * 2017-08-03 2022-11-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車両制御装置、車両制御方法及びプログラム
CN107766835A (zh) * 2017-11-06 2018-03-06 贵阳宏益房地产开发有限公司 行车安全检测方法及装置
CN109291794A (zh) * 2018-09-28 2019-02-01 上汽通用五菱汽车股份有限公司 驾驶员状态监测方法、汽车以及存储介质
CN109409259A (zh) * 2018-10-11 2019-03-01 百度在线网络技术（北京）有限公司 驾驶监控方法、装置、设备及计算机可读介质
CN109670436A (zh) * 2018-12-13 2019-04-23 北京旷视科技有限公司 车辆驾驶人员身份验证方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004276782A (ja) * 2003-03-17 2004-10-07 Aisin Seiki Co Ltd 車両監視装置
JP2005157648A (ja) * 2003-11-25 2005-06-16 Toyota Motor Corp 運転者認識装置
US20170036599A1 (en) * 2015-08-06 2017-02-09 Ford Global Technologies, Llc Vehicle display and mirror
WO2018043100A1 (ja) * 2016-08-29 2018-03-08 京セラ株式会社 判定装置、撮像装置、運転者確認システム、移動体及び判定方法
WO2018116373A1 (ja) * 2016-12-20 2018-06-28 三菱電機株式会社 車載画像認証装置
US20180354440A1 (en) * 2017-06-09 2018-12-13 STMicroelectronics (Grand Ouest) SAS Method and system for automatic adjustment of at least one piece of equipment of a motor vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHIXIONG LIU, GUIMING HE: "Research On Vehicle Anti-theft and Alarm System Using Facing Recognition", 2005 INTERNATIONAL CONFERENCE ON NEURAL NETWORKS AND BRAIN, JPN6022019933, 13 October 2005 (2005-10-13), US, pages 925 - 929, XP010906382, ISSN: 0004779928, DOI: 10.1109/ICNNB.2005.1614771 *

Also Published As

Publication number Publication date
KR20210055746A (ko) 2021-05-17
US20210216799A1 (en) 2021-07-15
US11423676B2 (en) 2022-08-23
SG11202103615PA (en) 2021-05-28
WO2020258719A1 (zh) 2020-12-30
JP7167325B2 (ja) 2022-11-08
CN112149482A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
JP2022511669A (ja) 画像取得装置の遮断状態の検出方法及び装置、機器並びに記憶媒体
US11256935B2 (en) Notification processing device
US20160007018A1 (en) Failure detection apparatus and failure detection program
CN109002786B (zh) 人脸检测方法、设备及计算机可读存储介质
WO2018046015A1 (zh) 车辆报警方法、装置及终端
JP2017033554A (ja) ビデオデータ分析方法、装置及び駐車場モニタリングシステム
JP2022502788A (ja) 運転者在席状態検出方法及び装置、機器並びにコンピュータ記憶媒体
WO2013157466A1 (ja) 喫煙検出装置、方法及びプログラム
US20190304272A1 (en) Video detection and alarm method and apparatus
GB2568183A (en) Systems and methods for identifying pests in crop-containing areas via unmanned vehicles
WO2020147316A1 (zh) 无人车定位方法及设备
JP2018029237A5 (ja)
WO2021057393A1 (zh) 公交车安全监测方法、装置、设备及存储介质
CN112595730A (zh) 电缆破损识别方法、装置和计算机设备
US20150183409A1 (en) Vehicle assistance device and method
KR101628390B1 (ko) 차량 내 운전자 인증 장치 및 그 방법
US11696024B2 (en) Video analytics scene classification and automatic camera configuration based automatic selection of camera profile
KR102089106B1 (ko) 안개 발생 여부 판단 방법 및 이를 위한 장치
US20230306757A1 (en) Vehicle interior monitoring system
CN112380977A (zh) 吸烟行为检测方法和装置
DE102018222683A1 (de) Verfahren zum Erstellen einer Umgebungsrepräsentationskarte zur Überwachung eines Fahrzeugs und/oder eines Fahrzeuganhängers unter Verwendung eines Kamerasystems
SE542225C2 (en) A method for facilitating identification of a reckless driver of a road vehicle, a system, a computer program, a computer-readable medium and a vehicle
KR20220076050A (ko) 색상 판독을 이용한 전기차 인식 방법 및 그를 이용한 전기차 주차관리 시스템
EP3591575A2 (en) Determining parking space availability
US20140321711A1 (en) Vehicle assistance device and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7167325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150