JP2021149488A - Image storage control device and image storage control method - Google Patents

Image storage control device and image storage control method Download PDF

Info

Publication number
JP2021149488A
JP2021149488A JP2020048576A JP2020048576A JP2021149488A JP 2021149488 A JP2021149488 A JP 2021149488A JP 2020048576 A JP2020048576 A JP 2020048576A JP 2020048576 A JP2020048576 A JP 2020048576A JP 2021149488 A JP2021149488 A JP 2021149488A
Authority
JP
Japan
Prior art keywords
state
driver
unsafe
determination
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020048576A
Other languages
Japanese (ja)
Other versions
JP7392536B2 (en
Inventor
隆太 津田
Ryuta Tsuda
隆太 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2020048576A priority Critical patent/JP7392536B2/en
Publication of JP2021149488A publication Critical patent/JP2021149488A/en
Application granted granted Critical
Publication of JP7392536B2 publication Critical patent/JP7392536B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

To store a captured image in which a driver state is unsafe.SOLUTION: In an image storage control system S, an image storage control device 1 is comprised of: a state data acquisition unit 121 that sequentially acquires state data for indicating a face state of a driver of a vehicle from a detection device; a first determination unit 122 that determines whether or not the driver is in an unsafe state based on the plurality of pieces of state data acquired by the state data acquisition unit 121; an image acquisition unit 124 that acquires a captured image including the driver's face imaged after the first determination unit 122 determines that the driver is in the unsafe state; a second determination unit 125 that determines whether or not the state of the driver included in the captured image acquired by the image acquisition unit 124 is the same as the unsafe state determined by the first determination unit 122; and a storage control unit 126 that stores the captured image of the target determined by the second determination unit 125 in the storage unit when the second determination unit 125 determines that the state is the same as the unsafe state.SELECTED DRAWING: Figure 1

Description

本発明は、ドライバの状態を示す画像を記憶する技術に関する。 The present invention relates to a technique for storing an image showing the state of a driver.

特許文献１には、ドライバの心拍数などの生理データに基づいて、ドライバが異常状態であると判定された後に、ドライバの顔を撮像する技術が開示されている。 Patent Document 1 discloses a technique of imaging a driver's face after the driver is determined to be in an abnormal state based on physiological data such as the driver's heart rate.

特開２００２−７４５９９号公報Japanese Unexamined Patent Publication No. 2002-74599

上記の技術では、異常状態であると判定してから、ドライバの顔を撮像するまでの間にドライバの状態が変化することがあり、顔画像におけるドライバの状態が異常状態でない場合があった。 In the above technique, the state of the driver may change between the time when the driver's face is determined to be in the abnormal state and the time when the driver's face is imaged, and the state of the driver in the face image may not be in the abnormal state.

そこで、本発明はこれらの点に鑑みてなされたものであり、ドライバの状態が不安全状態である撮像画像を記憶する技術を提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to provide a technique for storing a captured image in which the driver is in an unsafe state.

本発明の第１の態様においては、車両のドライバの顔の状態を示す状態データを検出装置から順次取得する状態データ取得部と、前記状態データ取得部が取得した複数の前記状態データに基づいて、前記ドライバが不安全状態であるか否かを判定する第１判定部と、前記ドライバが前記不安全状態であると前記第１判定部が判定した後に撮像された前記ドライバの顔を含む撮像画像を取得する画像取得部と、前記画像取得部が取得した前記撮像画像に含まれる前記ドライバの状態が、前記第１判定部が判定した前記不安全状態と同じ状態であるか否かを判定する第２判定部と、前記不安全状態と同じ状態であると前記第２判定部が判定した場合、前記第２判定部が判定した対象の前記撮像画像を記憶部に記憶させる記憶制御部と、を備える画像記憶制御装置を提供する。 In the first aspect of the present invention, a state data acquisition unit that sequentially acquires state data indicating the state of the face of the driver of the vehicle from the detection device, and a plurality of the state data acquired by the state data acquisition unit are used. An image including a first determination unit for determining whether or not the driver is in an unsafe state and an image taken after the first determination unit determines that the driver is in an unsafe state. It is determined whether or not the state of the image acquisition unit for acquiring an image and the driver included in the captured image acquired by the image acquisition unit is the same as the unsafe state determined by the first determination unit. When the second determination unit determines that the state is the same as the unsafe state, the second determination unit and the storage control unit that stores the captured image of the target determined by the second determination unit in the storage unit. Provided is an image storage control device including.

例えば、前記記憶制御部は、前記不安全状態であると前記第１判定部が判定したことを示す判定情報を、前記第２判定部が判定した対象の前記撮像画像に関連付けて前記記憶部に記憶させる。 For example, the storage control unit associates the determination information indicating that the first determination unit has determined that the state is unsafe with the captured image of the target determined by the second determination unit in the storage unit. Remember.

例えば、前記第１判定部は、複数の前記状態データが、複数の不安全状態の各々に対応する判定条件を満たす場合、当該判定条件に対応する不安全状態であると判定し、前記記憶制御部は、当該判定条件に対応する不安全状態であると前記第１判定部が判定したことを示す前記判定情報を、前記撮像画像に関連付けて前記記憶部に記憶させる。 For example, when the plurality of state data satisfy the determination conditions corresponding to each of the plurality of unsafe states, the first determination unit determines that the determination conditions are unsafe and the storage control. The unit stores the determination information indicating that the first determination unit has determined that it is in an unsafe state corresponding to the determination condition in the storage unit in association with the captured image.

例えば、前記記憶制御部は、前記撮像画像を外部装置に送信することにより、前記外部装置の記憶部に記憶させる。 For example, the storage control unit transmits the captured image to an external device to store the captured image in the storage unit of the external device.

例えば、前記状態データ取得部は、前記状態データとして前記ドライバの開眼度を取得し、前記第１判定部は、前記開眼度が第１判定閾値よりも小さい場合、前記ドライバが前記不安全状態であると判定し、前記第２判定部は、前記撮像画像中の前記ドライバの開眼度が、第１判定閾値よりも大きい第２判定閾値よりも小さい場合、前記第１判定部が判定した前記不安全状態と同じ不安全状態であると判定する。 For example, the state data acquisition unit acquires the degree of eye opening of the driver as the state data, and the first determination unit is in the unsafe state when the degree of eye opening is smaller than the first determination threshold value. When the degree of eye opening of the driver in the captured image is smaller than the second determination threshold value, which is larger than the first determination threshold value, the second determination unit determines that the first determination unit does not. Judge that it is the same unsafe state as the safe state.

本発明の第２の態様においては、コンピュータのプロセッサが、車両のドライバの顔の状態を示す状態データを検出装置から順次取得するステップと、取得した複数の前記状態データに基づいて、前記ドライバが不安全状態であるか否かを判定するステップと、前記ドライバが前記不安全状態であると判定した後に撮像された前記ドライバの顔を含む撮像画像を取得するステップと、取得した前記撮像画像に含まれる前記ドライバの状態が、前記不安全状態と同じ状態であるか否かを判定するステップと、前記不安全状態と同じ状態であると判定した場合、判定した対象の前記撮像画像を記憶部に記憶させるステップと、を実行する画像記憶制御方法を提供する。 In the second aspect of the present invention, the computer processor sequentially acquires state data indicating the facial state of the driver of the vehicle from the detection device, and the driver uses the acquired state data based on the acquired state data. The step of determining whether or not the driver is in an unsafe state, the step of acquiring an image including the driver's face imaged after the driver determines that the driver is in an unsafe state, and the acquired image. A step of determining whether or not the state of the driver included is the same as the unsafe state, and when it is determined that the state is the same as the unsafe state, the captured image of the determined target is stored in the storage unit. Provides a step of storing in and an image storage control method for executing.

本発明によれば、ドライバの状態が不安全状態である撮像画像を記憶できるという効果を奏する。 According to the present invention, there is an effect that a captured image in which the driver state is an unsafe state can be stored.

実施の形態に係る画像記憶制御システムの構成を模式的に示す図である。It is a figure which shows typically the structure of the image memory control system which concerns on embodiment. 撮像画像を記憶させる処理を説明するための図である。It is a figure for demonstrating the process of storing a captured image. 撮像画像を記憶させない場合を説明するための図である。It is a figure for demonstrating the case where the captured image is not stored. 第２判定部が第１判定閾値よりも大きい第２判定閾値で開眼度を判定する場合を説明するための図である。It is a figure for demonstrating the case where the 2nd determination part determines the degree of eye opening by the 2nd determination threshold value which is larger than the 1st determination threshold value. 撮像画像を記憶する処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the process of storing a captured image.

［実施の形態に係る画像記憶制御システムＳの構成］
図１は、実施の形態に係る画像記憶制御システムＳの構成を示す図である。画像記憶制御システムＳは、画像記憶制御装置１と、撮像装置２と、検出装置３と、外部装置４とを備える。画像記憶制御装置１と撮像装置２と検出装置３とは、車両に搭載される。 [Configuration of image storage control system S according to the embodiment]
FIG. 1 is a diagram showing a configuration of an image storage control system S according to an embodiment. The image storage control system S includes an image storage control device 1, an image pickup device 2, a detection device 3, and an external device 4. The image storage control device 1, the image pickup device 2, and the detection device 3 are mounted on the vehicle.

撮像装置２は、撮像装置２が搭載される車両のドライバの顔を撮像する。具体的には、撮像装置２は、車両の運転席を含む撮像領域を撮像し、ドライバの顔を含む撮像画像を生成する。撮像装置２は、生成した撮像画像を検出装置３に出力する。撮像装置２は、検出装置３に撮像画像を出力すると、出力した撮像画像を削除する。 The image pickup device 2 images the face of the driver of the vehicle on which the image pickup device 2 is mounted. Specifically, the imaging device 2 images an imaging region including the driver's seat of the vehicle and generates an captured image including the driver's face. The image pickup device 2 outputs the generated captured image to the detection device 3. When the image pickup device 2 outputs the captured image to the detection device 3, the image pickup device 2 deletes the output captured image.

検出装置３は、車両のドライバの顔の状態を示す状態データを検出する。例えば、検出装置３は、撮像装置２から取得したドライバの顔を含む撮像画像を解析することにより状態データを検出する。例えば、検出装置３は、状態データとして目の開き具合を示す開眼度を検出することができる。また、検出装置３は、基準方向である車両の進行方向前方に対するドライバの顔の向きを示す顔向き角度を検出できる。検出装置３は、検出した状態データを画像記憶制御装置１に送信する。 The detection device 3 detects state data indicating the state of the face of the driver of the vehicle. For example, the detection device 3 detects the state data by analyzing the captured image including the driver's face acquired from the image pickup device 2. For example, the detection device 3 can detect the degree of eye opening indicating the degree of eye opening as state data. Further, the detection device 3 can detect a face orientation angle indicating the orientation of the driver's face with respect to the front in the traveling direction of the vehicle, which is the reference direction. The detection device 3 transmits the detected state data to the image storage control device 1.

画像記憶制御装置１は、車両のドライバの顔の状態に基づいてドライバの状態を判定する。画像記憶制御装置１は、ドライバの状態が不安全状態であるか否かを判定する。不安全状態は、ドライバが居眠りや脇見などをして安全に運転できない状態である。画像記憶制御装置１は、ドライバが不安全状態であると判定した場合、不安全状態であるドライバを撮像した撮像画像を記憶する。そして、画像記憶制御装置１は、ドライバの状態が不安全状態である撮像画像を外部装置４に送信する。 The image storage control device 1 determines the state of the driver based on the state of the face of the driver of the vehicle. The image storage control device 1 determines whether or not the state of the driver is an unsafe state. An unsafe state is a state in which the driver cannot drive safely due to falling asleep or looking aside. When the image storage control device 1 determines that the driver is in an unsafe state, the image storage control device 1 stores an image captured by the driver in the unsafe state. Then, the image storage control device 1 transmits the captured image in which the driver state is unsafe to the external device 4.

外部装置４は、画像記憶制御装置１と通信可能に接続される、例えばサーバである。外部装置４は、車両を運転するドライバを管理する管理者により運用されている。外部装置４は、ドライバの状態が不安全状態である撮像画像を画像記憶制御装置１から受信する。外部装置４は、ドライバの状態が不安全状態である撮像画像を記憶部４１に記憶する。外部装置４を運用する管理者は、ドライバの状態が不安全状態である撮像画像を確認しながら、車両のドライバの安全運転指導を行う。このように、管理者は、不安全状態であった証拠となる撮像画像を確認しながらドライバを指導することができる。 The external device 4 is, for example, a server that is communicably connected to the image storage control device 1. The external device 4 is operated by an administrator who manages a driver who drives a vehicle. The external device 4 receives an captured image from the image storage control device 1 in which the driver state is unsafe. The external device 4 stores the captured image in which the driver state is unsafe in the storage unit 41. The administrator who operates the external device 4 gives guidance on safe driving of the driver of the vehicle while checking the captured image in which the driver is in an unsafe state. In this way, the administrator can instruct the driver while confirming the captured image that is evidence of the unsafe condition.

［画像記憶制御装置１の構成］
画像記憶制御装置１は、通信部１０と、記憶部１１と、制御部１２とを備える。通信部１０は、外部装置４と情報を送受信するための無線通信モジュールである。無線通信の規格は、例えば、ＬＴＥ（Long Term Evolution）である。 [Configuration of image storage control device 1]
The image storage control device 1 includes a communication unit 10, a storage unit 11, and a control unit 12. The communication unit 10 is a wireless communication module for transmitting and receiving information to and from the external device 4. The wireless communication standard is, for example, LTE (Long Term Evolution).

記憶部１１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等を含む記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶する。 The storage unit 11 is a storage medium including a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk, and the like. The storage unit 11 stores a program executed by the control unit 12.

制御部１２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部１２は、記憶部１１に記憶されたプログラムを実行することにより、状態データ取得部１２１、第１判定部１２２、指示出力部１２３、画像取得部１２４、第２判定部１２５及び記憶制御部１２６としての機能を実現する。以下、図２を参照しながら説明する。図２は、撮像画像を記憶させる処理を説明するための図である。 The control unit 12 is a computing resource including a processor such as a CPU (Central Processing Unit). By executing the program stored in the storage unit 11, the control unit 12 executes the state data acquisition unit 121, the first determination unit 122, the instruction output unit 123, the image acquisition unit 124, the second determination unit 125, and the storage control unit. The function as 126 is realized. Hereinafter, description will be made with reference to FIG. FIG. 2 is a diagram for explaining a process of storing a captured image.

状態データ取得部１２１は、状態データを検出装置３から順次取得する。例えば、状態データ取得部１２１は、状態データとしてドライバの開眼度を取得する。ここでは、状態データ取得部１２１は、所定期間に０％の開眼度を複数取得したものとする。また、状態データ取得部１２１が所定期間に取得した複数の開眼度の平均値又は最頻値は、０％であるとして説明する。図２の左端に示すドライバの状態は、０％の開眼度に対応するドライバの状態である。 The state data acquisition unit 121 sequentially acquires the state data from the detection device 3. For example, the state data acquisition unit 121 acquires the degree of eye opening of the driver as state data. Here, it is assumed that the state data acquisition unit 121 has acquired a plurality of 0% eye opening degrees in a predetermined period. Further, the average value or the mode value of the plurality of eye opening degrees acquired by the state data acquisition unit 121 during a predetermined period will be described as 0%. The state of the driver shown at the left end of FIG. 2 is the state of the driver corresponding to 0% eye opening degree.

第１判定部１２２は、状態データ取得部１２１が所定期間に取得した複数の状態データに基づいて、ドライバが不安全状態であるか否かを判定する。例えば、第１判定部１２２は、所定期間中の複数の状態データが、不安全状態に対応する判定条件を満たすか否かに基づいてドライバが不安全状態であるか否かを判定する。例えば、第１判定部１２２は、所定期間中の複数の状態データの平均値又は最頻値が、判定条件を満たす場合、ドライバが不安全状態であると判定する。また、第１判定部１２２は、状態データ取得部１２１が順次取得する状態データが、判定条件を継続的に満たす場合に、ドライバが不安全状態であると判定してもよい。 The first determination unit 122 determines whether or not the driver is in an unsafe state based on a plurality of state data acquired by the state data acquisition unit 121 during a predetermined period. For example, the first determination unit 122 determines whether or not the driver is in an unsafe state based on whether or not a plurality of state data during a predetermined period satisfy the determination conditions corresponding to the unsafe state. For example, the first determination unit 122 determines that the driver is in an unsafe state when the average value or the mode value of a plurality of state data during a predetermined period satisfies the determination condition. Further, the first determination unit 122 may determine that the driver is in an unsafe state when the state data sequentially acquired by the state data acquisition unit 121 continuously satisfies the determination condition.

例えば、第１判定部１２２は、複数の状態データが、複数の不安全状態の各々に対応する判定条件を満たす場合、当該判定条件に対応する不安全状態であると判定する。複数の不安全状態は、例えば、居眠りをしている居眠り状態、又は脇見をしている脇見状態である。以下、不安全状態として、開眼度に基づいて居眠りをしている不安全状態か否かを判定する場合について説明する。 For example, when the plurality of state data satisfy the determination conditions corresponding to each of the plurality of unsafe states, the first determination unit 122 determines that the state is an unsafe state corresponding to the determination conditions. The plurality of unsafe states are, for example, a dozing state in which they are dozing, or an inattentive state in which they are looking aside. Hereinafter, as an unsafe state, a case of determining whether or not it is an unsafe state of falling asleep based on the degree of eye opening will be described.

第１判定部１２２は、ドライバの開眼度が判定閾値よりも小さい場合、ドライバが居眠りをしている不安全状態であると判定する（図２の表の左から２番目）。より具体的には、第１判定部１２２は、開眼度が判定閾値よりも小さい状態が所定時間継続した場合、ドライバが居眠りをしている不安全状態であると判定する。判定閾値の具体的な値は、例えば２０％である。所定時間の具体的な値は、居眠りをしているとみなせる時間として適宜設定すればよく、例えば３秒である。 When the degree of eye opening of the driver is smaller than the determination threshold value, the first determination unit 122 determines that the driver is in an unsafe state in which the driver is dozing (second from the left in the table of FIG. 2). More specifically, the first determination unit 122 determines that the driver is in a dozing unsafe state when the state in which the degree of eye opening is smaller than the determination threshold value continues for a predetermined time. The specific value of the determination threshold is, for example, 20%. The specific value of the predetermined time may be appropriately set as the time that can be regarded as falling asleep, for example, 3 seconds.

指示出力部１２３は、ドライバが不安全状態であると第１判定部１２２が判定したことを契機として、撮像装置２に撮像画像を生成する指示を出力する。この場合、撮像装置２は、指示出力部１２３から指示を受信すると撮像画像を生成し、生成した撮像画像を画像記憶制御装置１に出力する。 The instruction output unit 123 outputs an instruction to generate an captured image to the image pickup device 2 when the first determination unit 122 determines that the driver is in an unsafe state. In this case, the image pickup device 2 generates an image to be captured when receiving an instruction from the instruction output unit 123, and outputs the generated captured image to the image storage control device 1.

第１判定部１２２が不安全状態であると判定してから撮像装置２が撮像画像を生成するまでには、時間的なずれが生じる。そのため、不安全状態であると判定してから撮像画像を生成するまでに、ドライバの状態が、不安全状態から、安全に車両を運転できる正常状態に変化してしまうことがある。つまり、第１判定部１２２の判定後に生成された撮像画像中のドライバの状態は、第１判定部１２２が判定したときの状態と異なる場合がある。そこで、画像記憶制御装置１は、撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ不安全状態である場合に撮像画像を記憶させ、同じ不安全状態でない場合、撮像画像を記憶させない。以下、撮像装置２が生成した撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ不安全状態であるか否かを判定する処理について説明する。 There is a time lag between the time when the first determination unit 122 determines that the state is unsafe and the time when the image pickup apparatus 2 generates the captured image. Therefore, the state of the driver may change from the unsafe state to the normal state in which the vehicle can be safely driven between the time when the driver is determined to be in the unsafe state and the time when the captured image is generated. That is, the state of the driver in the captured image generated after the determination by the first determination unit 122 may be different from the state when the first determination unit 122 determines. Therefore, the image storage control device 1 stores the captured image when the state of the driver in the captured image is the same unsafe state as the unsafe state determined by the first determination unit 122, and is not the same unsafe state. , Do not store the captured image. Hereinafter, a process of determining whether or not the state of the driver in the captured image generated by the image pickup apparatus 2 is the same as the unsafe state determined by the first determination unit 122 will be described.

まず、画像取得部１２４は、撮像装置２が生成した撮像画像を取得する。具体的には、画像取得部１２４は、ドライバが不安全状態であると第１判定部１２２が判定した後に撮像されたドライバの顔を含む撮像画像を取得する。より具体的には、画像取得部１２４は、撮像装置２が指示出力部１２３から指示を受信したことを契機として生成した撮像画像を取得する。図２の表の左から３番目は、画像取得部１２４が取得した、判定後に撮像された撮像画像である。 First, the image acquisition unit 124 acquires the captured image generated by the imaging device 2. Specifically, the image acquisition unit 124 acquires an captured image including the driver's face captured after the first determination unit 122 determines that the driver is in an unsafe state. More specifically, the image acquisition unit 124 acquires an captured image generated when the image pickup device 2 receives an instruction from the instruction output unit 123. The third from the left in the table of FIG. 2 is an captured image acquired by the image acquisition unit 124 and captured after the determination.

次に、第２判定部１２５は、画像取得部１２４が取得した撮像画像を解析することにより、撮像画像に含まれるドライバの顔の状態を検出する。具体的には、第２判定部１２５は、顔の状態として開眼度を検出する。図２において、第２判定部１２５は、開眼度を０％と検出する（図２の表の左から４番目）。 Next, the second determination unit 125 detects the state of the driver's face included in the captured image by analyzing the captured image acquired by the image acquisition unit 124. Specifically, the second determination unit 125 detects the degree of eye opening as the state of the face. In FIG. 2, the second determination unit 125 detects that the degree of eye opening is 0% (fourth from the left in the table of FIG. 2).

続いて、第２判定部１２５は、撮像画像中のドライバの状態が、不安全状態であるか否かを判定する。例えば、第２判定部１２５は、検出した顔の状態が、複数の不安全状態の各々に対応する判定条件を満たすか否かを判定することにより、ドライバが不安全状態であるか否かを判定する。具体的には、第２判定部１２５は、検出した開眼度が判定閾値よりも小さいか否かを判定することにより、ドライバが居眠りをしている不安全状態であるか否かを判定する。第２判定部１２５は、検出した開眼度（０％）が判定閾値（２０％）よりも小さいので、撮像画像中のドライバの状態が居眠りをしている不安全状態であると判定する（図２の表の左から５番目）。 Subsequently, the second determination unit 125 determines whether or not the state of the driver in the captured image is an unsafe state. For example, the second determination unit 125 determines whether or not the driver is in an unsafe state by determining whether or not the detected facial condition satisfies the determination condition corresponding to each of the plurality of unsafe states. judge. Specifically, the second determination unit 125 determines whether or not the detected eye opening degree is smaller than the determination threshold value, thereby determining whether or not the driver is in an unsafe state in which the driver is dozing. Since the detected eye opening degree (0%) is smaller than the determination threshold value (20%), the second determination unit 125 determines that the driver's state in the captured image is a dozing unsafe state (FIG. FIG. 5th from the left in Table 2).

第２判定部１２５は、撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ状態であるか否かを判定する。具体的には、第２判定部１２５は、第１判定部１２２が判定した不安全状態と、撮像画像中のドライバの不安全状態とが同じ不安全状態であるか否かを判定する。例えば、第２判定部１２５は、第１判定部１２２が居眠りをしている不安全状態であると判定した場合、撮像画像中のドライバが居眠りをしている不安全状態であるとき、撮像画像中のドライバが、第１判定部１２２が判定した不安全状態と同じ不安全状態であると判定する。 The second determination unit 125 determines whether or not the state of the driver in the captured image is the same as the unsafe state determined by the first determination unit 122. Specifically, the second determination unit 125 determines whether or not the unsafe state determined by the first determination unit 122 and the unsafe state of the driver in the captured image are the same unsafe state. For example, when the second determination unit 125 determines that the first determination unit 122 is in an unsafe state in which the driver is dozing, the captured image is in an unsafe state in which the driver in the captured image is in a doze. It is determined that the driver inside is in the same unsafe state as the unsafe state determined by the first determination unit 122.

記憶制御部１２６は、撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ不安全状態であると第２判定部１２５が判定した場合、第２判定部１２５が判定した対象の撮像画像を記憶部１１に記憶させる（図２の表の左から６番目）。第２判定部１２５が判定した対象の撮像画像は、図２における「判定後に撮像された撮像画像」である。このようにすることで、画像記憶制御装置１は、ドライバの状態が不安全状態である撮像画像を記憶させることができる。 When the second determination unit 125 determines that the state of the driver in the captured image is the same as the unsafe state determined by the first determination unit 122, the memory control unit 126 causes the second determination unit 125 to determine. The captured image of the determined target is stored in the storage unit 11 (sixth from the left in the table of FIG. 2). The captured image of the target determined by the second determination unit 125 is the “captured image captured after the determination” in FIG. By doing so, the image storage control device 1 can store the captured image in which the driver state is unsafe.

また、記憶制御部１２６は、不安全状態であると第１判定部１２２が判定したことを示す判定情報を、第２判定部１２５が判定した対象の撮像画像に関連付けて記憶させてもよい。具体的には、記憶制御部１２６は、複数の不安全状態の各々に対応する判定条件のうち、状態データが満たした判定条件に対応する不安全状態であると判定したことを示す判定情報を、撮像画像に関連付けて記憶させる。より具体的には、記憶制御部１２６は、開眼度が判定閾値よりも小さい場合、居眠りをしている不安全状態であると判定したことを示す判定情報を撮像画像に関連付けて記憶させる。 Further, the storage control unit 126 may store the determination information indicating that the first determination unit 122 has determined that it is in an unsafe state in association with the captured image of the target determined by the second determination unit 125. Specifically, the memory control unit 126 provides determination information indicating that, among the determination conditions corresponding to each of the plurality of unsafe states, it is determined that the determination condition corresponds to the determination condition satisfied by the state data. , Stored in association with the captured image. More specifically, when the degree of eye opening is smaller than the determination threshold value, the memory control unit 126 stores determination information indicating that it is determined to be in an unsafe state of falling asleep in association with the captured image.

以上、撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ不安全状態である場合に、画像記憶制御装置１が撮像画像を記憶させる処理について説明した。以下、撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ状態でない場合に、画像記憶制御装置１が撮像画像を記憶させない処理について説明する。 The process of storing the captured image by the image storage control device 1 when the state of the driver in the captured image is the same unsafe state as the unsafe state determined by the first determination unit 122 has been described above. Hereinafter, a process in which the image storage control device 1 does not store the captured image when the state of the driver in the captured image is not the same as the unsafe state determined by the first determination unit 122 will be described.

図３は、撮像画像を記憶させない場合を説明するための図である。図３において、状態データ取得部１２１は、所定期間に０％の開眼度を複数取得したものとする。また、状態データ取得部１２１が所定期間に取得した複数の開眼度の平均値又は最頻値は、０％であるとして説明する。図３の左端に示すドライバの状態は、０％の開眼度に対応するドライバの状態である。第１判定部１２２は、ドライバの状態を「不安全状態（居眠り）」と判定する（図３の表の左から２番目）。 FIG. 3 is a diagram for explaining a case where the captured image is not stored. In FIG. 3, it is assumed that the state data acquisition unit 121 has acquired a plurality of 0% eye opening degrees in a predetermined period. Further, the average value or the mode value of the plurality of eye opening degrees acquired by the state data acquisition unit 121 during a predetermined period will be described as 0%. The state of the driver shown at the left end of FIG. 3 is the state of the driver corresponding to 0% eye opening degree. The first determination unit 122 determines that the driver's state is an "unsafe state (sleeping)" (second from the left in the table of FIG. 3).

図３の表の左から３番目は、判定後に撮像された撮像画像である。第２判定部１２５は、判定後に撮像された撮像画像を解析することにより、開眼度を１００％と検出する（図３の表の左から４番目）。第２判定部１２５は、検出した開眼度（１００％）が判定閾値（２０％）よりも大きいので、撮像画像中のドライバの状態が、車両を安全に運転できる正常状態であると判定する（図３の表の左から５番目）。続いて、第２判定部１２５は、撮像画像中のドライバが正常状態であるので、第１判定部１２２が判定した不安全状態と同じ状態でないと判定する。記憶制御部１２６は、第２判定部１２５が同じ状態でないと判定した場合、第２判定部１２５が判定した対象の撮像画像を記憶させない（図３の表の左から６番目）。 The third from the left in the table of FIG. 3 is an captured image captured after the determination. The second determination unit 125 detects that the degree of eye opening is 100% by analyzing the captured image captured after the determination (fourth from the left in the table of FIG. 3). Since the detected eye opening degree (100%) is larger than the determination threshold value (20%), the second determination unit 125 determines that the state of the driver in the captured image is a normal state in which the vehicle can be safely driven ( 5th from the left in the table of FIG. 3). Subsequently, the second determination unit 125 determines that the driver in the captured image is not in the same state as the unsafe state determined by the first determination unit 122 because the driver is in the normal state. When the second determination unit 125 determines that the second determination unit 125 is not in the same state, the storage control unit 126 does not store the captured image of the target determined by the second determination unit 125 (sixth from the left in the table of FIG. 3).

このように、画像記憶制御装置１は、ドライバの状態が正常状態である撮像画像を記憶させない。その結果、画像記憶制御装置１は、ドライバの状態が不安全状態である撮像画像のみを記憶させることができる。 As described above, the image storage control device 1 does not store the captured image in which the driver state is normal. As a result, the image storage control device 1 can store only the captured image in which the driver state is unsafe.

なお、第２判定部１２５は、第１判定部１２２の判定条件と異なる条件で撮像画像中のドライバの状態を判定してもよい。例えば、第２判定部１２５は、撮像画像中のドライバの開眼度が、第１判定部１２２が開眼度を判定するための第１判定閾値よりも大きい第２判定閾値よりも小さい場合、居眠りをしている不安全状態であると判定する。すなわち、第２判定部１２５は、撮像画像中のドライバの開眼度が第２判定閾値よりも小さい場合、第１判定部１２２が判定した不安全状態と同じ不安全状態であると判定する。第２判定閾値は、不安全状態であるとみなせる値を適宜設定すればよく、具体的な値は、第１判定閾値が２０％である場合、例えば４０％である。 The second determination unit 125 may determine the state of the driver in the captured image under conditions different from the determination conditions of the first determination unit 122. For example, the second determination unit 125 takes a nap when the driver's eye opening degree in the captured image is smaller than the second determination threshold value, which is larger than the first determination threshold value for the first determination unit 122 to determine the eye opening degree. Judge that it is in an unsafe state. That is, when the driver's eye opening degree in the captured image is smaller than the second determination threshold value, the second determination unit 125 determines that the driver is in the same unsafe state as the unsafe state determined by the first determination unit 122. The second determination threshold value may be appropriately set to a value that can be regarded as an unsafe state, and the specific value is, for example, 40% when the first determination threshold value is 20%.

図４は、第２判定部１２５が第１判定閾値よりも大きい第２判定閾値で開眼度を判定する場合を説明するための図である。図４において、状態データ取得部１２１は、０％の開眼度を取得したものとする。また、状態データ取得部１２１が所定期間に取得した複数の開眼度の平均値又は最頻値は、０％であるとして説明する。図４の左端に示すドライバの状態は、０％の開眼度に対応するドライバの状態である。第１判定部１２２は、ドライバの状態を「不安全状態（居眠り）」と判定する（図４の表の左から２番目）。 FIG. 4 is a diagram for explaining a case where the second determination unit 125 determines the degree of eye opening with a second determination threshold value larger than the first determination threshold value. In FIG. 4, it is assumed that the state data acquisition unit 121 has acquired 0% eye opening degree. Further, the average value or the mode value of the plurality of eye opening degrees acquired by the state data acquisition unit 121 during a predetermined period will be described as 0%. The state of the driver shown at the left end of FIG. 4 is the state of the driver corresponding to 0% eye opening degree. The first determination unit 122 determines that the driver's state is an "unsafe state (sleeping)" (second from the left in the table of FIG. 4).

図４の表の左から３番目は、判定後に撮像された撮像画像である。第２判定部１２５は、第１判定部１２２の判定後に撮像された撮像画像を解析することにより、開眼度を３０％と検出する（図４の表の左から４番目）。第２判定部１２５は、検出した開眼度（３０％）が第２判定閾値（４０％）よりも小さいので、撮像画像中のドライバの状態が居眠りをしている不安全状態であると判定する（図４の表の左から５番目）。続いて、第２判定部１２５は、撮像画像中のドライバが居眠りをしている不安全状態であるので、撮像画像を記憶させると判定する（図４の表の左から６番目）。そして、記憶制御部１２６は、第２判定部１２５が判定した対象の撮像画像（図４における「判定後に撮像された撮像画像」）を記憶部１１に記憶させる。 The third from the left in the table of FIG. 4 is an captured image captured after the determination. The second determination unit 125 detects the degree of eye opening as 30% by analyzing the captured image captured after the determination by the first determination unit 122 (fourth from the left in the table of FIG. 4). Since the detected eye opening degree (30%) is smaller than the second determination threshold value (40%), the second determination unit 125 determines that the driver's state in the captured image is a dozing unsafe state. (Fifth from the left in the table in FIG. 4). Subsequently, the second determination unit 125 determines that the captured image is stored because the driver in the captured image is in an unsafe state (sixth from the left in the table of FIG. 4). Then, the storage control unit 126 stores the captured image of the target determined by the second determination unit 125 (“the captured image captured after the determination” in FIG. 4) in the storage unit 11.

このようにすることで、画像記憶制御装置１は、不安全状態であると判定してから撮像画像を生成するまでの時間的なずれにより、ドライバの状態が変化したとしても、判定後のドライバの状態が不安全状態であるとみなせる撮像画像を記憶させることができる。そのため、画像記憶制御装置１は、第２判定部１２５が第１判定閾値で開眼度を判定する場合よりも多くの撮像画像を記憶させることができる。 By doing so, even if the state of the driver changes due to a time lag between the determination that the image storage control device 1 is in an unsafe state and the generation of the captured image, the driver after the determination is made. It is possible to store a captured image that can be regarded as an unsafe state. Therefore, the image storage control device 1 can store more captured images than when the second determination unit 125 determines the degree of eye opening based on the first determination threshold value.

記憶制御部１２６は、撮像画像を外部装置４の記憶部４１に記憶させることができる。例えば、記憶制御部１２６は、第２判定部１２５が同じ状態であると判定した対象の撮像画像を外部装置４に送信することにより、外部装置４の記憶部４１に記憶させる。具体的には、記憶制御部１２６は、不安全状態であると判定したことを示す判定情報を、撮像画像に関連付けて外部装置４に送信する。このようにすることで、画像記憶制御装置１は、ドライバが不安全状態である撮像画像のみを送信できるので、通信量を低減できる。また、ドライバを管理する管理者は、ドライバが不安全状態であった証拠となる撮像画像を確認しながらドライバを指導することができる。 The storage control unit 126 can store the captured image in the storage unit 41 of the external device 4. For example, the storage control unit 126 stores the captured image of the target determined by the second determination unit 125 in the same state in the storage unit 41 of the external device 4 by transmitting the captured image to the external device 4. Specifically, the storage control unit 126 transmits the determination information indicating that the unsafe state is determined to the external device 4 in association with the captured image. By doing so, the image storage control device 1 can transmit only the captured image in which the driver is in an unsafe state, so that the amount of communication can be reduced. In addition, the administrator who manages the driver can instruct the driver while checking the captured image which is evidence that the driver is in an unsafe state.

また、記憶制御部１２６は、判定情報を撮像画像に関連付けて外部装置４に送信してもよい。例えば、記憶制御部１２６は、複数の不安全状態の各々に対応する判定条件のうち、状態データが満たした判定条件に対応する不安全状態であると判定したことを示す判定情報を、撮像画像に関連付けて外部装置４に送信する。具体的には、記憶制御部１２６は、居眠りをしている不安全状態であると判定したことを示す判定情報を、撮像画像に関連付けて外部装置４に送信する。このようにすることで、管理者は、判定情報と、撮像画像とを照らし合わせて、同じ不安全状態であったかどうかを確認できるので、ドライバの指導がしやすくなる。 Further, the storage control unit 126 may transmit the determination information to the external device 4 in association with the captured image. For example, the storage control unit 126 obtains an image of determination information indicating that, among the determination conditions corresponding to each of the plurality of unsafe states, the determination information indicating that the determination condition corresponds to the determination condition satisfied by the state data is determined. Is transmitted to the external device 4 in association with. Specifically, the memory control unit 126 transmits the determination information indicating that it is determined to be in an unsafe state of falling asleep to the external device 4 in association with the captured image. By doing so, the administrator can compare the determination information with the captured image to confirm whether or not the same unsafe state has occurred, so that it becomes easier to instruct the driver.

また、記憶制御部１２６は、撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ不安全状態でないと第２判定部１２５が判定した場合、不安全状態であると判定したことを示す判定情報のみを外部装置４に送信してもよい。具体的には、記憶制御部１２６は、複数の判定条件のうち、状態データが満たした判定条件に対応する不安全状態であると判定したことを示す判定情報を外部装置４に送信する。このようにすることで、記憶制御部１２６は、撮像画像中のドライバが正常状態である場合に撮像画像を送信しないので、通信量を低減できる。また、管理者は、ドライバが不安全状態であったことを少なくとも確認でき、ドライバが不安全状態でない画像を見ることが無くなるので、撮像画像を確認する際の手間を低減できる。 Further, the memory control unit 126 is in an unsafe state when the second determination unit 125 determines that the state of the driver in the captured image is not the same as the unsafe state determined by the first determination unit 122. Only the determination information indicating that the determination may be made may be transmitted to the external device 4. Specifically, the storage control unit 126 transmits to the external device 4 the determination information indicating that the determination condition is determined to be an unsafe state corresponding to the determination condition satisfied by the state data among the plurality of determination conditions. By doing so, the storage control unit 126 does not transmit the captured image when the driver in the captured image is in the normal state, so that the amount of communication can be reduced. In addition, the administrator can at least confirm that the driver is in an unsafe state, and the driver does not see an image that is not in an unsafe state, so that the time and effort required to confirm the captured image can be reduced.

［画像記憶制御装置１が実行する撮像画像を記憶させる処理］
図５は、撮像画像を記憶させる処理の流れの一例を示すフローチャートである。まず、状態データ取得部１２１は、検出装置３からドライバの顔の状態を示す状態データを取得する（ステップＳ１）。具体的には、状態データ取得部１２１は、顔の状態を示す状態データとして開眼度を順次取得する。 [Process for storing the captured image executed by the image storage control device 1]
FIG. 5 is a flowchart showing an example of the flow of processing for storing the captured image. First, the state data acquisition unit 121 acquires state data indicating the state of the driver's face from the detection device 3 (step S1). Specifically, the state data acquisition unit 121 sequentially acquires the degree of eye opening as state data indicating the state of the face.

続いて、第１判定部１２２は、状態データ取得部１２１が取得した複数の状態データに基づいてドライバが不安全状態であるか否かを判定する（ステップＳ２）。例えば、第１判定部１２２は、複数の状態データが、複数の不安全状態の各々に対応する判定条件を満たすか否かを判定することにより、当該判定条件に対応する不安全状態であるか否かを判定する。具体的には、第１判定部１２２は、開眼度が判定閾値よりも小さい居眠り状態が、居眠りとみなせる時間継続した場合、ドライバが居眠りをしている不安全状態であると判定する。画像記憶制御装置１は、第１判定部１２２が不安全状態でないと判定した場合（ステップＳ２でＮｏ）、ステップＳ１に移行する。 Subsequently, the first determination unit 122 determines whether or not the driver is in an unsafe state based on the plurality of state data acquired by the state data acquisition unit 121 (step S2). For example, the first determination unit 122 determines whether or not the plurality of state data satisfy the determination conditions corresponding to each of the plurality of unsafe states, and thus whether the plurality of state data are in the unsafe state corresponding to the determination conditions. Judge whether or not. Specifically, the first determination unit 122 determines that the driver is in an unsafe state in which the driver is dozing when the dozing state in which the eye opening degree is smaller than the determination threshold value continues for a period of time that can be regarded as dozing. When the image storage control device 1 determines that the first determination unit 122 is not in an unsafe state (No in step S2), the image storage control device 1 proceeds to step S1.

指示出力部１２３は、第１判定部１２２が不安全状態であると判定した場合（ステップＳ２でＹｅｓ）、撮像装置２に撮像画像を生成する指示を出力する（ステップＳ３）。この場合、撮像装置２は、指示出力部１２３から指示を受信すると撮像画像を生成し、生成した撮像画像を画像記憶制御装置１に出力する。そして、画像取得部１２４は、撮像装置２が生成した撮像画像を取得する（ステップＳ４）。具体的には、画像取得部１２４は、ドライバが不安全状態であると第１判定部１２２が判定した後に撮像されたドライバの顔を含む撮像画像を取得する。 When the instruction output unit 123 determines that the first determination unit 122 is in an unsafe state (Yes in step S2), the instruction output unit 123 outputs an instruction to generate an captured image to the image pickup device 2 (step S3). In this case, the image pickup device 2 generates an image to be captured when receiving an instruction from the instruction output unit 123, and outputs the generated captured image to the image storage control device 1. Then, the image acquisition unit 124 acquires the captured image generated by the imaging device 2 (step S4). Specifically, the image acquisition unit 124 acquires an captured image including the driver's face captured after the first determination unit 122 determines that the driver is in an unsafe state.

第２判定部１２５は、画像取得部１２４が取得した撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ状態であるか否かを判定する（ステップＳ５）。例えば、第２判定部１２５は、撮像画像中のドライバが居眠りをしている不安全状態である場合、第１判定部１２２が判定した不安全状態が居眠りをしている不安全状態であるか否かを判定する。 The second determination unit 125 determines whether or not the state of the driver in the captured image acquired by the image acquisition unit 124 is the same as the unsafe state determined by the first determination unit 122 (step S5). For example, when the driver in the captured image is in an unsafe state in which the driver in the captured image is dozing, the second determination unit 125 determines whether the unsafe state determined by the first determination unit 122 is in an unsafe state in which the driver is dozing. Judge whether or not.

記憶制御部１２６は、撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ不安全状態であると第２判定部１２５が判定した場合（ステップＳ５でＹｅｓ）、第２判定部１２５が判定した対象の撮像画像を記憶部１１に記憶させる（ステップＳ６）。そして、記憶制御部１２６は、記憶した撮像画像を外部装置４に送信することにより、外部装置４の記憶部４１に記憶させる（ステップＳ７）。具体的には、記憶制御部１２６は、不安全状態であると判定したことを示す判定情報を撮像画像に関連付けて外部装置４に送信する。 When the second determination unit 125 determines that the state of the driver in the captured image is the same as the unsafe state determined by the first determination unit 122 (Yes in step S5), the memory control unit 126 The captured image of the target determined by the second determination unit 125 is stored in the storage unit 11 (step S6). Then, the storage control unit 126 transmits the stored captured image to the external device 4 so that the stored image is stored in the storage unit 41 of the external device 4 (step S7). Specifically, the storage control unit 126 transmits the determination information indicating that the unsafe state is determined to the external device 4 in association with the captured image.

記憶制御部１２６は、撮像画像中のドライバの状態が、第１判定部１２２が判定した不安全状態と同じ不安全状態でないと第２判定部１２５が判定した場合（ステップＳ５でＮｏ）、不安全状態であると判定したことを示す判定情報のみを外部装置４に送信する（ステップＳ８）。例えば、記憶制御部１２６は、居眠りをしている不安全状態であると判定したことを示す判定情報を外部装置４に送信する。 When the second determination unit 125 determines that the state of the driver in the captured image is not the same as the unsafe state determined by the first determination unit 122 (No in step S5), the memory control unit 126 is unsafe. Only the determination information indicating that the safety state is determined is transmitted to the external device 4 (step S8). For example, the memory control unit 126 transmits the determination information indicating that it is determined that the person is in an unsafe state of falling asleep to the external device 4.

（変形例）
状態データ取得部１２１は、状態データとして顔向き角度を取得してもよい。この場合、第１判定部１２２は、顔向き角度の絶対値が判定角度以上である場合、ドライバが不安全状態であると判定する。判定角度は例えば２０度である。具体的には、第１判定部１２２は、顔向き角度の絶対値が判定角度以上である状態が、脇見とみなせる時間継続した場合、脇見をしている不安全状態であると判定する。 (Modification example)
The state data acquisition unit 121 may acquire the face orientation angle as the state data. In this case, the first determination unit 122 determines that the driver is in an unsafe state when the absolute value of the face orientation angle is equal to or greater than the determination angle. The determination angle is, for example, 20 degrees. Specifically, the first determination unit 122 determines that the state in which the absolute value of the face facing angle is equal to or greater than the determination angle is an unsafe state of looking aside if the state continues for a period of time that can be regarded as inattentive.

第２判定部１２５は、第１判定部１２２が不安全状態であると判定した後に撮像された撮像画像から、顔の状態として顔向き角度を検出する。具体的には、第２判定部１２５は、基準方向である車両の進行方向前方に対する顔向き角度を検出する。そして、第２判定部１２５は、検出した顔向き角度の絶対値が判定角度以上であるか否かを判定することにより、ドライバが脇見をしている不安全状態であるか否かを判定する。 The second determination unit 125 detects the face orientation angle as the state of the face from the captured image captured after the first determination unit 122 determines that the condition is unsafe. Specifically, the second determination unit 125 detects the face-facing angle with respect to the front in the traveling direction of the vehicle, which is the reference direction. Then, the second determination unit 125 determines whether or not the driver is in an unsafe state of looking aside by determining whether or not the absolute value of the detected face-facing angle is equal to or greater than the determination angle. ..

第２判定部１２５は、第１判定部１２２が脇見をしている不安全状態であると判定し、撮像画像中のドライバの状態が脇見をしている不安全状態である場合、同じ不安全状態であると判定する。そして、記憶制御部１２６は、第２判定部１２５が判定した対象の撮像画像を記憶させる。このように、画像記憶制御装置１は、開眼度だけでなく顔の向きに基づいて、ドライバが不安全状態である撮像画像を記憶させることができる。 The second determination unit 125 determines that the first determination unit 122 is in an unsafe state of looking aside, and when the state of the driver in the captured image is in an unsafe state of looking aside, the same unsafe state. Judge that it is in a state. Then, the storage control unit 126 stores the captured image of the target determined by the second determination unit 125. In this way, the image storage control device 1 can store the captured image in which the driver is in an unsafe state based on not only the degree of eye opening but also the orientation of the face.

なお、画像記憶制御装置１は、顔の位置に基づいてドライバが不安全状態であるか否かを判定し、不安全状態である撮像画像を記憶させてもよい。例えば、第１判定部１２２は、状態データ取得部１２１が取得した顔の位置が、所定範囲内に含まれていない場合、ドライバが不安全状態であると判定する。第２判定部１２５は、撮像画像中のドライバの顔の位置を検出し、検出した顔の位置が所定範囲内に含まれていない場合、第１判定部１２２が判定した不安全状態と同じ不安全状態であると判定する。 The image storage control device 1 may determine whether or not the driver is in an unsafe state based on the position of the face, and store the captured image in the unsafe state. For example, the first determination unit 122 determines that the driver is in an unsafe state when the position of the face acquired by the state data acquisition unit 121 is not included in the predetermined range. The second determination unit 125 detects the position of the driver's face in the captured image, and when the detected face position is not included in the predetermined range, the second determination unit 125 is the same as the unsafe state determined by the first determination unit 122. Determined to be in a safe state.

［実施の形態に係る画像記憶制御装置１の効果］
以上説明したとおり、画像記憶制御装置１は、車両のドライバの顔の状態を示す状態データを検出装置３から順次取得し、取得した複数の状態データに基づいて、ドライバが不安全状態であるか否かを判定する。続いて、画像記憶制御装置１は、ドライバが不安全状態であると判定した後に撮像されたドライバの顔を含む撮像画像中のドライバの状態が、不安全状態と同じ状態であるか否かを判定する。そして、画像記憶制御装置１は、撮像画像中のドライバの状態が、複数の状態データに基づいて判定した不安全状態と同じ状態であると判定した場合、判定した対象の撮像画像を記憶部１１に記憶させる。 [Effect of image storage control device 1 according to the embodiment]
As described above, the image storage control device 1 sequentially acquires state data indicating the state of the driver's face of the vehicle from the detection device 3, and based on the acquired plurality of state data, is the driver in an unsafe state? Judge whether or not. Subsequently, the image storage control device 1 determines whether or not the state of the driver in the captured image including the driver's face imaged after determining that the driver is in the unsafe state is the same as the unsafe state. judge. Then, when the image storage control device 1 determines that the state of the driver in the captured image is the same as the unsafe state determined based on the plurality of state data, the image storage control device 1 stores the determined captured image of the target in the storage unit 11. To memorize.

このようにすることで、画像記憶制御装置１は、不安全状態であると判定してから撮像画像を生成するまでの時間的なずれにより、ドライバの状態が変化したとしても、判定後のドライバの状態が不安全状態である撮像画像を記憶させることができる。つまり、画像記憶制御装置１は、判定後のドライバの状態が、不安全状態である撮像画像のみを記憶させ、不安全状態でない撮像画像を記憶させない。その結果、ドライバを管理する管理者は、ドライバが不安全状態であった証拠となる撮像画像のみを確認しながらドライバを指導することができる。 By doing so, even if the state of the driver changes due to a time lag between the determination that the image storage control device 1 is in an unsafe state and the generation of the captured image, the driver after the determination is made. It is possible to store the captured image in which the state of is unsafe. That is, the image storage control device 1 stores only the captured image in which the driver state after the determination is in the unsafe state, and does not store the captured image in the non-safe state. As a result, the administrator who manages the driver can instruct the driver while checking only the captured image which is evidence that the driver is in an unsafe state.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist thereof. be. For example, all or a part of the device can be functionally or physically distributed / integrated in any unit. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination also has the effect of the original embodiment.

１ 画像記憶制御装置
１０ 通信部
１１ 記憶部
１２ 制御部
１２１ 状態データ取得部
１２２ 第１判定部
１２３ 指示出力部
１２４ 画像取得部
１２５ 第２判定部
１２６ 記憶制御部
２ 撮像装置
３ 検出装置
４ 外部装置
４１ 記憶部
Ｓ 画像記憶制御システム

1 Image storage control device 10 Communication unit 11 Storage unit 12 Control unit 121 Status data acquisition unit 122 First judgment unit 123 Instruction output unit 124 Image acquisition unit 125 Second judgment unit 126 Storage control unit 2 Imaging device 3 Detection device 4 External device 41 Storage unit S Image storage control system

Claims (6)

車両のドライバの顔の状態を示す状態データを検出装置から順次取得する状態データ取得部と、
前記状態データ取得部が取得した複数の前記状態データに基づいて、前記ドライバが不安全状態であるか否かを判定する第１判定部と、
前記ドライバが前記不安全状態であると前記第１判定部が判定した後に撮像された前記ドライバの顔を含む撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像に含まれる前記ドライバの状態が、前記第１判定部が判定した前記不安全状態と同じ状態であるか否かを判定する第２判定部と、
前記不安全状態と同じ状態であると前記第２判定部が判定した場合、前記第２判定部が判定した対象の前記撮像画像を記憶部に記憶させる記憶制御部と、
を備える画像記憶制御装置。 A state data acquisition unit that sequentially acquires state data indicating the state of the vehicle driver's face from the detection device,
A first determination unit that determines whether or not the driver is in an unsafe state based on a plurality of the state data acquired by the state data acquisition unit.
An image acquisition unit that acquires an image including the driver's face imaged after the first determination unit determines that the driver is in the unsafe state.
A second determination unit that determines whether or not the state of the driver included in the captured image acquired by the image acquisition unit is the same as the unsafe state determined by the first determination unit.
When the second determination unit determines that the state is the same as the unsafe state, the storage control unit stores the captured image of the target determined by the second determination unit in the storage unit.
An image storage control device comprising. 前記記憶制御部は、前記不安全状態であると前記第１判定部が判定したことを示す判定情報を、前記第２判定部が判定した対象の前記撮像画像に関連付けて前記記憶部に記憶させる、
請求項１に記載の画像記憶制御装置。 The storage control unit stores the determination information indicating that the first determination unit has determined that the state is unsafe in the storage unit in association with the captured image of the target determined by the second determination unit. ,
The image storage control device according to claim 1. 前記第１判定部は、複数の前記状態データが、複数の不安全状態の各々に対応する判定条件を満たす場合、当該判定条件に対応する不安全状態であると判定し、
前記記憶制御部は、当該判定条件に対応する不安全状態であると前記第１判定部が判定したことを示す前記判定情報を、前記撮像画像に関連付けて前記記憶部に記憶させる、
請求項２に記載の画像記憶制御装置。 When the plurality of state data satisfy the determination conditions corresponding to each of the plurality of unsafe states, the first determination unit determines that the state data is an unsafe state corresponding to the determination conditions.
The storage control unit stores the determination information indicating that the first determination unit has determined that it is in an unsafe state corresponding to the determination condition in the storage unit in association with the captured image.
The image storage control device according to claim 2. 前記記憶制御部は、前記撮像画像を外部装置に送信することにより、前記外部装置の記憶部に記憶させる、
請求項１から３のいずれか一項に記載の画像記憶制御装置。 By transmitting the captured image to the external device, the storage control unit stores the captured image in the storage unit of the external device.
The image storage control device according to any one of claims 1 to 3. 前記状態データ取得部は、前記状態データとして前記ドライバの開眼度を取得し、
前記第１判定部は、前記開眼度が第１判定閾値よりも小さい場合、前記ドライバが前記不安全状態であると判定し、
前記第２判定部は、前記撮像画像中の前記ドライバの開眼度が、第１判定閾値よりも大きい第２判定閾値よりも小さい場合、前記第１判定部が判定した前記不安全状態と同じ不安全状態であると判定する、
請求項１から４のいずれか一項に記載の画像記憶制御装置。 The state data acquisition unit acquires the degree of eye opening of the driver as the state data, and obtains the degree of eye opening of the driver.
When the degree of eye opening is smaller than the first determination threshold value, the first determination unit determines that the driver is in the unsafe state.
When the degree of eye opening of the driver in the captured image is smaller than the second determination threshold value, which is larger than the first determination threshold value, the second determination unit is the same as the unsafe state determined by the first determination unit. Judge as safe,
The image storage control device according to any one of claims 1 to 4. コンピュータのプロセッサが、
車両のドライバの顔の状態を示す状態データを検出装置から順次取得するステップと、
取得した複数の前記状態データに基づいて、前記ドライバが不安全状態であるか否かを判定するステップと、
前記ドライバが前記不安全状態であると判定した後に撮像された前記ドライバの顔を含む撮像画像を取得するステップと、
取得した前記撮像画像に含まれる前記ドライバの状態が、前記不安全状態と同じ状態であるか否かを判定するステップと、
前記不安全状態と同じ状態であると判定した場合、判定した対象の前記撮像画像を記憶部に記憶させるステップと、
を実行する画像記憶制御方法。 The computer processor
A step of sequentially acquiring state data indicating the state of the driver's face of the vehicle from the detection device, and
A step of determining whether or not the driver is in an unsafe state based on the acquired plurality of the state data, and
A step of acquiring an image including the driver's face captured after the driver determines that the driver is in an unsafe state, and
A step of determining whether or not the state of the driver included in the acquired captured image is the same as the unsafe state, and
When it is determined that the state is the same as the unsafe state, the step of storing the captured image of the determined target in the storage unit and
Image memory control method to execute.
JP2020048576A 2020-03-19 2020-03-19 Image storage control device and image storage control method Active JP7392536B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020048576A JP7392536B2 (en) 2020-03-19 2020-03-19 Image storage control device and image storage control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020048576A JP7392536B2 (en) 2020-03-19 2020-03-19 Image storage control device and image storage control method

Publications (2)

Publication Number Publication Date
JP2021149488A true JP2021149488A (en) 2021-09-27
JP7392536B2 JP7392536B2 (en) 2023-12-06

Family

ID=77848925

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020048576A Active JP7392536B2 (en) 2020-03-19 2020-03-19 Image storage control device and image storage control method

Country Status (1)

Country Link
JP (1) JP7392536B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210375A (en) * 2007-02-01 2008-09-11 Denso Corp Driver control device and operation control system
WO2013035704A1 (en) * 2011-09-05 2013-03-14 富山県 Dozing-off detection method and device
JP2019091205A (en) * 2017-11-14 2019-06-13 アイシン精機株式会社 On-vehicle alarm device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011043961A (en) 2009-08-20 2011-03-03 Toyota Motor Corp Driver monitoring device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210375A (en) * 2007-02-01 2008-09-11 Denso Corp Driver control device and operation control system
WO2013035704A1 (en) * 2011-09-05 2013-03-14 富山県 Dozing-off detection method and device
JP2019091205A (en) * 2017-11-14 2019-06-13 アイシン精機株式会社 On-vehicle alarm device

Also Published As

Publication number Publication date
JP7392536B2 (en) 2023-12-06

Similar Documents

Publication Publication Date Title
JP6573193B2 (en) Determination device, determination method, and determination program
JP4915413B2 (en) Detection apparatus and method, and program
JP2008512153A (en) Method and apparatus for generating personal alert level indications
Lawanont et al. Neck posture monitoring system based on image detection and smartphone sensors using the prolonged usage classification concept
CN114283494A (en) Early warning method, device, equipment and storage medium for user falling
EP3249919A1 (en) Image processing apparatus, image processing method, and program
US8644625B2 (en) Object detection device, method and program
US20240040352A1 (en) Information processing system, program, and information processing method
KR20160062521A (en) System and method for preventing neck disc
US20190180126A1 (en) State estimation apparatus, method, and non-transitory recording medium
JP2021149488A (en) Image storage control device and image storage control method
TWI598258B (en) Driving behavior detection method and system thereof
JP2020194227A (en) Face hiding determination device, face hiding determination method, face hiding determination program, and occupant monitoring system
JP6590386B1 (en) Image processing apparatus, image processing system, and image processing program
JP2021129700A (en) Reference value determination device and reference value determination method
WO2022113275A1 (en) Sleep detection device and sleep detection system
JP2018130342A (en) Wakefulness estimation device, wakefulness estimation method and wakefulness estimation system
JP2019080809A (en) State estimation apparatus
JP2007301087A (en) Visual line direction detection method or apparatus for vehicle driver
JPH11161798A (en) Vehicle driver monitoring device
JP2018142137A (en) Information processing device, information processing method and program
JPH06255388A (en) Drive state detecting device
JPWO2020157989A1 (en) Alertness estimation device, alertness estimation method, and program
JPWO2020255238A1 (en) Information processing equipment, programs and information processing methods
US11961395B2 (en) Driving assistance device, driving assistance method, and storage medium in which program is stored

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230905

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R150 Certificate of patent or registration of utility model

Ref document number: 7392536

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150