JP2022145726A - Recording control device and recording control method - Google Patents

Recording control device and recording control method Download PDF

Info

Publication number
JP2022145726A
JP2022145726A JP2022118596A JP2022118596A JP2022145726A JP 2022145726 A JP2022145726 A JP 2022145726A JP 2022118596 A JP2022118596 A JP 2022118596A JP 2022118596 A JP2022118596 A JP 2022118596A JP 2022145726 A JP2022145726 A JP 2022145726A
Authority
JP
Japan
Prior art keywords
occupant
video data
level
emotion
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022118596A
Other languages
Japanese (ja)
Other versions
JP7294509B2 (en
Inventor
哲雄 田替藤
Tetsuo Takaefuji
規夫 倉重
Norio Kurashige
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018136497A external-priority patent/JP7124510B2/en
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2022118596A priority Critical patent/JP7294509B2/en
Publication of JP2022145726A publication Critical patent/JP2022145726A/en
Application granted granted Critical
Publication of JP7294509B2 publication Critical patent/JP7294509B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a recording control device and a recording control method with which it is possible to determine the preservation period of video data in accordance with the feeling levels of occupants.
SOLUTION: A recording control device 50 comprises: a video data acquisition unit 51 for acquiring video data in which a video around a vehicle is filmed; an occupant feeling assessment unit 52 for estimating the feeling of occupants on the basis of information from a biometric sensor that detects the biometric information of occupants in the vehicle interior and assessing the feeling levels of the occupants; and a recording processing unit 53 for determining the preservation period of video data on the basis of the occupant feeling levels and causing a recording unit to preserve the video data. The occupants include a driver and a fellow passenger, and the occupant feeling assessment unit 52 assesses the occupant feeling level of each of the driver and the fellow passenger and assesses an overall occupant feeling level by the occupant feeling level of the driver and the occupant feeling level of the fellow passenger having been weighted using the biometric information of the fellow passenger.
SELECTED DRAWING: Figure 1
COPYRIGHT: (C)2023,JPO&INPIT

Description

本発明は、車両に搭載される記録制御装置及び記録制御方法に関する。 The present invention relates to a recording control device and recording control method mounted on a vehicle.

車両に搭載される記録制御装置は、車両の前方や後方等の車両周囲を時間的に連続して撮影し、映像を記録する。記録制御装置は、撮影した映像を記憶媒体に保存するが、該記憶媒体の容量には限りがあるため、一定期間に亘って複数の映像データを保存した後、古い映像データから順次上書きして新たな映像を保存する。 A recording control device mounted on a vehicle continuously takes pictures of the surroundings of the vehicle, such as the front and rear of the vehicle, and records the images. The recording control device stores captured images in a storage medium, but since the capacity of the storage medium is limited, after storing a plurality of pieces of image data for a certain period of time, the older image data is sequentially overwritten. Save new video.

特許文献1には、生体情報取得部、感情推定部および車載機器制御部を備える車載機器制御装置が開示されている。生体情報取得部は、車両の運転者または同乗者の生体情報を測定する生体センサから生体情報を取得する。感情推定部は、生体情報を用いて運転者または同乗者の感情の程度を示す値の変化の大きさを求める。車載機器制御部は、感情推定部が求めた値の変化の大きさが所定の閾値を超えた場合に、車両が備える車載機器の動作を制御する。車載機器は車両の内部および外部に設けられた撮像装置であり、車載機器制御部は、感情が急激に変化したタイミングを含むように映像データを残すように機能する。 Patent Literature 1 discloses an in-vehicle device control device that includes a biological information acquisition section, an emotion estimation section, and an in-vehicle device control section. The biometric information acquisition unit acquires biometric information from a biosensor that measures biometric information of a driver or a fellow passenger of the vehicle. The emotion estimating unit obtains the magnitude of change in the value indicating the degree of emotion of the driver or the passenger using the biometric information. The in-vehicle equipment control unit controls the operation of the in-vehicle equipment provided in the vehicle when the magnitude of change in the value obtained by the emotion estimating unit exceeds a predetermined threshold. The in-vehicle equipment is an imaging device provided inside and outside the vehicle, and the in-vehicle equipment control unit functions to record video data so as to include the timing of sudden changes in emotions.

特開2017-136922号公報JP 2017-136922 A

ところで、運転者が笑顔である場合には車両の周辺に危険などは無い状態であると考えられ、映像データを残す必要性は少ない。一方、運転者の表情が険しい場合には、車両の周辺の危険性が高まっていたり、不快にさせる事態が発生している状態が想定され、映像データを残しておく必要性が高くなる。特許文献1に記載の車載機器制御装置では、車両の運転者または同乗者の感情が急激に変化したタイミングを含む映像データを保存するが、感情に基づいて映像データの保持期間を決定することはできなかった。 By the way, when the driver is smiling, it is considered that there is no danger around the vehicle, and there is little need to leave video data. On the other hand, when the driver's expression is serious, it is assumed that the surroundings of the vehicle are becoming more dangerous or that an unpleasant situation is occurring, and the need to store video data increases. In the in-vehicle device control device described in Patent Document 1, video data including the timing at which the emotion of the driver or passenger of the vehicle suddenly changes is stored. could not.

本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、乗員感情レベルに応じて保存する映像データの保持期間を決定することができる記録制御装置及び記録制御方法を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a recording control apparatus and a recording control method capable of determining the retention period of video data to be stored according to the passenger's emotion level. to provide.

本発明のある態様の記録制御装置は、車両周囲の映像を撮影した映像データを取得する映像データ取得部と、車室内の乗員の生体情報を検出する生体センサからの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する乗員感情判定部と、乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部に記録させる記録処理部と、を備え、前記乗員には運転者および同乗者が含まれており、乗員感情判定部は、運転者および同乗者についてそれぞれの乗員感情レベルを判定し、運転者の乗員感情レベルと、同乗者の生体情報を用いて重み付けをした同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する。 A recording control device according to one aspect of the present invention includes a video data acquisition unit that acquires video data obtained by capturing a video around a vehicle; an occupant emotion determination unit for determining the occupant emotion level by estimating the includes the driver and fellow passengers, and the passenger emotion determination unit determines the passenger emotion levels of the driver and fellow passengers, and uses the driver's passenger emotion level and the passenger's biological information A comprehensive passenger feeling level is determined by the weighted passenger feeling level of the fellow passenger.

また本発明の別の態様は記録制御方法である。この記録制御方法は、コンピュータが、車両周囲の映像を撮影した映像データを取得するステップと、車室内の乗員の生体情報を検出する生体センサからの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定するステップと、判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部に記録させるステップと、を実行し、乗員には運転者および同乗者が含まれており、運転者および同乗者についてそれぞれの乗員感情レベルを判定し、運転者の乗員感情レベルと、同乗者の生体情報を用いて重み付けをした同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する。 Another aspect of the present invention is a recording control method. In this recording control method, the computer acquires image data obtained by photographing an image of the surroundings of the vehicle; A step of determining an emotional level, and a step of determining a retention period of video data based on the determined passenger emotional level and recording the video data in a recording unit are executed. It includes determining the respective occupant emotion levels for the driver and the passengers, and providing a more comprehensive occupant emotion level for the driver and the occupant emotion levels for the passengers weighted using the biometric information of the passengers. Determine occupant emotional level.

本発明によれば、乗員感情レベルに応じて映像データの保持期間を決定することができる。 According to the present invention, the holding period of video data can be determined according to the passenger's emotional level.

実施形態1に係る記録制御装置を含むドライブレコーダの構成を示すブロック図である。1 is a block diagram showing the configuration of a drive recorder including a recording control device according to Embodiment 1; FIG. 乗員感情レベルに基づく記録方法を説明するための模式図である。FIG. 4 is a schematic diagram for explaining a recording method based on the passenger's emotional level; 乗員感情レベルに応じた保持期間の例を示す図表である。FIG. 4 is a chart showing an example of retention periods according to passenger emotion levels; FIG. 記録制御装置における映像データの記録処理の手順を示すフローチャートである。4 is a flow chart showing the procedure of video data recording processing in the recording control device. 記録された映像データに関する情報を説明するための模式図である。FIG. 3 is a schematic diagram for explaining information about recorded video data; 実施形態2に係る記録制御装置の保持期間の決定処理の手順を示すフローチャートである。10 is a flow chart showing the procedure of retention period determination processing of the recording control apparatus according to the second embodiment.

以下、本発明を好適な実施の形態をもとに図1から図6を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。 BEST MODE FOR CARRYING OUT THE INVENTION The present invention will be described below based on preferred embodiments with reference to FIGS. 1 to 6. FIG. The same or equivalent constituent elements and members shown in each drawing are denoted by the same reference numerals, and duplication of description will be omitted as appropriate. In addition, the dimensions of the members in each drawing are appropriately enlarged or reduced for easy understanding. Also, in each drawing, some of the members that are not important for explaining the embodiments are omitted.

(実施形態1)
図1は、実施形態1に係る記録制御装置50を含むドライブレコーダ100の構成を示すブロック図である。ドライブレコーダ100は、車両に搭載され、車両の前方、側方および後方等の車両周囲を時間的に連続して撮影し、映像データを記録する。ドライブレコーダ100は、撮影した映像を記録部に記録するが、記録部の容量には限りがあるため、映像データを後述する保持期間に基づいて、順次、削除することによって、新たな映像データを記録する。ドライブレコーダ100の記録制御装置50は、車両に搭乗している乗員の感情を推定して乗員感情レベルを判定し、映像データの保持期間を決定する。
(Embodiment 1)
FIG. 1 is a block diagram showing the configuration of a drive recorder 100 including a recording control device 50 according to the first embodiment. The drive recorder 100 is mounted on a vehicle, continuously takes pictures of the surroundings of the vehicle, such as the front, sides, and rear of the vehicle, and records video data. The drive recorder 100 records the captured video in the recording unit, but since the capacity of the recording unit is limited, the video data is sequentially deleted based on the retention period described later, thereby creating new video data. Record. The recording control device 50 of the drive recorder 100 estimates the emotions of the occupants in the vehicle, determines the occupant emotion levels, and determines the holding period of the video data.

ドライブレコーダ100は、撮像部10、記録部20、生体センサ30、入出力インタフェース40、計時部41および記録制御装置50等を備える。撮像部10は、例えばCCD等の検出器を有するカメラであり、車両の前方等の車両周囲を撮影する。撮像部10は、時間的に連続して映像を取得し、取得した映像データを後述する記録制御装置50の映像データ取得部51へ送出する。 The drive recorder 100 includes an imaging unit 10, a recording unit 20, a biosensor 30, an input/output interface 40, a clock unit 41, a recording control device 50, and the like. The imaging unit 10 is a camera having a detector such as a CCD, for example, and images the surroundings of the vehicle such as the front of the vehicle. The imaging unit 10 acquires images continuously in terms of time, and sends the acquired image data to the image data acquisition unit 51 of the recording control device 50, which will be described later.

記録部20は、例えばSDカードやUSBメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像データ取得部51で取得された映像データを記録し、削除することができるものとする。記録部20は、ドライブレコーダ100に着脱可能とすることで、ドライブレコーダ100から取り外し、別のPC等で映像を再生等することができる。 The recording unit 20 is, for example, a detachable medium such as an SD card or a USB memory, or a hard disk, and is capable of recording and deleting video data acquired by the video data acquisition unit 51 . By making the recording unit 20 detachable from the drive recorder 100, it is possible to remove the recording unit 20 from the drive recorder 100 and reproduce the video on another PC or the like.

生体センサ30は、例えば車室内に搭乗している乗員の顔等の身体を撮像するカメラであり、乗員の生体情報を検出する。生体センサ30によって検出された生体情報は、記録制御装置50に出力される。後述する記録制御装置50の乗員感情判定部52は、生体センサ30から取得した生体情報に基づいて、乗員の感情を推定し、乗員感情レベルを判定する。 The biosensor 30 is, for example, a camera that captures an image of the body such as the face of an occupant in the vehicle, and detects the biometric information of the occupant. The biometric information detected by the biosensor 30 is output to the recording control device 50 . An occupant emotion determination unit 52 of the recording control device 50, which will be described later, estimates the occupant's emotion based on the biometric information acquired from the biosensor 30, and determines the occupant emotion level.

生体センサ30が乗員の顔を撮像するカメラである場合、乗員感情判定部52は、乗員の口や目などの動きに基づいて、笑っている表情であるか、険しい表情や怒った表情であるかを画像認識し、乗員の感情を推定する。生体センサ30は、乗員の音声を取得するマイク、乗員の心拍数や呼吸数、体温などを計測するセンサであってもよく、音声認識によるキーワード検出や声の抑揚、乗員の心拍数や呼吸数、体温などに基づき乗員の感情が推定し得る種々のセンサを用いることができる。また、生体センサ30によって取得された生体情報に基づいて乗員の感情を推定する方法については、上述の画像認識による方法を含め公知の技術を用いることができる。 If the biosensor 30 is a camera that captures the face of the occupant, the occupant emotion determination unit 52 determines whether the facial expression is a smiling expression, a stern expression, or an angry expression based on the movement of the occupant's mouth, eyes, or the like. Image recognition is performed to estimate the emotions of the occupants. The biosensor 30 may be a microphone that acquires the occupant's voice, or a sensor that measures the occupant's heart rate, breathing rate, body temperature, etc. Keyword detection by voice recognition, voice inflection, occupant's heart rate and breathing rate Various sensors can be used that can infer the emotions of the occupant based on, for example, body temperature. Also, as a method for estimating the emotions of the occupant based on the biometric information acquired by the biosensor 30, known techniques including the above-described image recognition method can be used.

入出力インタフェース40は、車両の速度情報および位置情報等を外部装置から取得する。計時部41は、日時を計測する。ドライブレコーダ100は、入出力インタフェース40によって取得した速度情報および位置情報等、並びに計時部41によって取得した日時情報を映像データに付加して記録するようにしてもよい。また計時部41は、記録制御装置50における時間計測などに適宜用いられる。 The input/output interface 40 acquires vehicle speed information, position information, and the like from an external device. The timer 41 measures the date and time. The drive recorder 100 may add speed information, position information, and the like obtained by the input/output interface 40 and date and time information obtained by the timer 41 to the video data and record the video data. The clock unit 41 is used as appropriate for time measurement in the recording control device 50 and the like.

記録制御装置50は、映像データ取得部51、乗員感情判定部52および記録処理部53を有する。記録制御装置50は、例えばCPUなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部50aは、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、記録制御装置50で実行するコンピュータプログラム等を記憶する。 The recording control device 50 has a video data acquisition section 51 , an occupant emotion determination section 52 and a recording processing section 53 . The recording control device 50 is configured by, for example, a CPU, etc., and operates according to a computer program to execute the processing by each of the above-described units. The storage unit 50a is composed of a data storage device such as a RAM (Random Access Memory), a flash memory, a hard disk storage device, etc., and stores computer programs and the like executed by the recording control device 50 .

映像データ取得部51は、撮像部10において撮影された映像データを取得してデータ圧縮等の処理を行い、記録処理部53に出力する。映像データ取得部51が撮像部10を含んで構成されていてもよい。 The video data acquisition unit 51 acquires video data captured by the imaging unit 10 , performs processing such as data compression, and outputs the data to the recording processing unit 53 . The video data acquisition section 51 may be configured to include the imaging section 10 .

乗員感情判定部52は、生体センサ30からの生体情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。生体センサ30は、例えば車載カメラであって、乗員感情判定部52は、撮影した乗員の表情、目や口の開度から乗員感情レベルを判定する。生体センサ30は、サーモカメラ、ならびに脈拍および心拍計測用のセンサであってもよい。乗員感情判定部52は、乗員の体温、脈拍または心拍などの状態から乗員感情レベルを判定する。乗員感情レベルは多段階であり、乗員感情判定部52は、時々刻々の乗員の感情を例えば1から5までの乗員感情レベルに判定する。乗員感情判定部52は、乗員が不快な状態や怒りなどの感情状態にある場合に乗員感情レベルを1とし、乗員が快適な状態や喜びなどの感情状態にある場合に乗員感情レベルを5として判定する。乗員感情レベル3は、例えば平穏な状態であり、乗員感情レベル2は乗員感情レベル1と3の間、乗員感情レベル4は乗員感情レベル5と3の間の乗員の感情のレベルを示す。 The occupant emotion determination unit 52 estimates the occupant's emotion based on the biometric information from the biosensor 30, and determines the occupant emotion level. The biosensor 30 is, for example, an in-vehicle camera, and the occupant emotion determination unit 52 determines the occupant emotion level from the photographed expression of the occupant and the degree of opening of the eyes and mouth. The biosensor 30 may be a thermo camera and a sensor for pulse and heart rate measurement. The occupant emotion determination unit 52 determines the occupant emotion level from the occupant's body temperature, pulse or heart rate. The occupant's emotion level is multistage, and the occupant's emotion determination unit 52 determines the occupant's emotion from moment to moment into the occupant's emotion level from 1 to 5, for example. The occupant emotion determination unit 52 sets the occupant emotion level to 1 when the occupant is in an emotional state such as discomfort or anger, and sets the occupant emotion level to 5 when the occupant is in a comfortable state or an emotional state such as joy. judge. The occupant emotional level 3 is, for example, a calm state, the occupant emotional level 2 is between the occupant emotional levels 1 and 3, and the occupant emotional level 4 is between the occupant emotional levels 5 and 3.

記録処理部53は、乗員感情判定部52によって判定した乗員感情レベルに基づいて、映像データを区切る区切信号を生成し、映像データ取得部51から取得した映像データの記録部20への記録を制御する。区切信号は、乗員感情レベルが変化した際に取得した映像データを区切るために用いられ、乗員感情レベルおよび乗員感情レベルに基づいて定められる映像データの保持期間が含まれている。例えば、乗員が不快な状態や怒りなどの感情状態にあり乗員感情レベルが1の場合に保持期間を長くし、乗員が快適な状態や喜びなどの感情状態にあり乗員感情レベルが5の場合に保持期間を短くする。 The recording processing unit 53 generates a delimiter signal for delimiting the video data based on the occupant emotion level determined by the occupant emotion determination unit 52, and controls the recording of the video data acquired from the video data acquisition unit 51 to the recording unit 20. do. The delimiter signal is used to delimit the image data acquired when the passenger's emotional level changes, and includes the passenger's emotional level and the retention period of the video data determined based on the passenger's emotional level. For example, if the occupant is in an emotional state such as discomfort or anger and the occupant emotional level is 1, the holding period is lengthened, and if the occupant is in a comfortable state or an emotional state such as joy and the occupant emotional level is 5 Shorten the retention period.

また、記録処理部53は、記録部20に記録した映像データの識別情報(例えば一連番号やファイル名)に対応付けて保持期間を記憶部50aに記憶しておき、保持期間が過ぎた場合に記録部20から該当する映像データを削除する処理を行う。 In addition, the recording processing unit 53 stores the retention period in the storage unit 50a in association with the identification information (for example, serial number or file name) of the video data recorded in the recording unit 20. A process of deleting the corresponding video data from the recording unit 20 is performed.

図2は、乗員感情レベルに基づく記録方法を説明するための模式図である。図2に示す例では、乗員感情判定部52は乗員感情レベルを5段階で判定している。乗員感情判定部52は、図2に示すように乗員感情レベル3,2,4,5,・・・と判定している。映像データ取得部51は、時間長さΔTの映像データを順次、一つの映像ファイルとして生成しており、映像データ#1、#2、#3、・・・が記録部20に記録されていく。映像データ#1~#5の時間長さはΔTとしている。乗員感情レベルが3から2に変化すると、記録処理部53は、区切信号に基づいて映像データを区切り、時間長さがΔTより短い映像データ#6を生成し、記録部20に記録させる。映像データ#1~#6には、乗員感情レベル3およびその乗員感情レベルに応じた保持期間が付加される。 FIG. 2 is a schematic diagram for explaining a recording method based on passenger emotion levels. In the example shown in FIG. 2, the occupant emotion determination unit 52 determines the occupant emotion level in five stages. The occupant emotion determination unit 52 determines occupant emotion levels 3, 2, 4, 5, . . . as shown in FIG. The video data acquisition unit 51 sequentially generates video data of time length ΔT as one video file, and video data #1, #2, #3, . . . are recorded in the recording unit 20. . The time length of video data #1 to #5 is ΔT. When the occupant's emotional level changes from 3 to 2, the recording processing unit 53 divides the video data based on the division signal, generates video data #6 having a time length shorter than ΔT, and causes the recording unit 20 to record it. Image data #1 to #6 are added with a passenger emotional level 3 and a retention period corresponding to the passenger emotional level.

図3は、乗員感情レベルに応じた保持期間の例を示す図表である。乗員が不快な状態や怒りなどの感情状態にあり乗員感情レベルが1の場合に、例えば映像データの保持期間を48時間とする。乗員感情レベルが1から大きくなるにつれて、保持期間を徐々に短かくし、乗員が快適な状態や喜びなどの感情状態にあり乗員感情レベルが5の場合に、保持期間を30分などとする。また、乗員感情レベルが1の場合に、映像データの保持期間を不定とし、上書きの必要が生じた場合にのみ消去する形態があってもよい。 FIG. 3 is a chart showing an example of retention periods according to passenger emotion levels. If the occupant is in an emotional state such as discomfort or anger and the occupant emotional level is 1, for example, the video data retention period is set to 48 hours. As the occupant's emotional level increases from 1, the retention period is gradually shortened, and when the occupant is in an emotional state such as a comfortable state or joy and the occupant's emotional level is 5, the retention period is set to 30 minutes or the like. Further, when the passenger's emotion level is 1, there may be a form in which the image data is retained for an indefinite period, and is erased only when overwriting is required.

次に記録制御装置50の動作について、映像データの記録処理に基づいて説明する。図4は、記録制御装置50における映像データの記録処理の手順を示すフローチャートである。ドライブレコーダ100は、撮像部10によって撮影した映像データを記録制御装置50の映像データ取得部51で取得しており、1つの映像データを記録部20に記録した後、次の映像データを記録部20に記録する処理を説明する。映像データは、乗員感情レベルの変化が無ければ、時間長さΔTで区切られたデータとして記録部20に記録されるものとする。 Next, the operation of the recording control device 50 will be described based on the video data recording process. FIG. 4 is a flow chart showing the procedure of video data recording processing in the recording control device 50 . The drive recorder 100 acquires the video data shot by the imaging unit 10 by the video data acquisition unit 51 of the recording control device 50, and after recording one video data in the recording unit 20, stores the next video data in the recording unit. 20 will be described. It is assumed that the image data is recorded in the recording unit 20 as data divided by the time length ΔT if there is no change in the passenger's emotional level.

記録処理部53は、タイマーをスタートし(S1)、乗員感情判定部52が判定した乗員感情レベルに変化があったか否かを判定する(S2)。記録処理部53は、乗員感情レベルに変化があった場合(S2:YES)、区切信号によって映像データを区切り、ΔT経過前に映像データを記録部20へ記録し(S3)、処理を終了する。 The recording processing section 53 starts a timer (S1), and determines whether or not there is a change in the occupant's emotion level determined by the occupant's emotion determining section 52 (S2). If there is a change in the occupant's emotional level (S2: YES), the recording processing unit 53 divides the video data by the division signal, records the video data in the recording unit 20 before ΔT has elapsed (S3), and ends the process. .

記録処理部53は、乗員感情判定部52が判定した乗員感情レベルに変化がない場合(S2:NO)、ΔT経過したか否かを判定する(S4)。記録処理部53は、ΔT経過していないと判定した場合(S4:NO)、ステップS2に戻って処理を繰り返す。記録処理部53は、ΔT経過したと判定した場合(S4:YES)、映像データを記録部20へ記録し(S3)、処理を終了する。 If there is no change in the occupant emotion level determined by the occupant emotion determination unit 52 (S2: NO), the recording processing unit 53 determines whether or not ΔT has elapsed (S4). When determining that ΔT has not elapsed (S4: NO), the recording processing unit 53 returns to step S2 and repeats the processing. If the recording processing unit 53 determines that ΔT has elapsed (S4: YES), the recording processing unit 53 records the video data in the recording unit 20 (S3), and ends the process.

図4に示す処理を繰り返すことにより、順次、映像データが記録部20に記録されていく。図5は、記録された映像データに関する情報を説明するための模式図である。映像データ#1~#6は、乗員感情レベルが3であり、保持期間は12時間である。その後、映像データ#7~#9は乗員感情レベルが2であり、保持期間は24時間である。また、映像データ#10は乗員感情レベルが4であり、保持期間は4時間である。 By repeating the processing shown in FIG. 4, the video data is recorded in the recording unit 20 in sequence. FIG. 5 is a schematic diagram for explaining information about recorded video data. The image data #1 to #6 have an occupant emotion level of 3 and a retention period of 12 hours. After that, the image data #7 to #9 have the passenger emotion level of 2 and the holding period is 24 hours. The image data #10 has an occupant emotion level of 4 and a holding period of 4 hours.

記録処理部53は、上述のように、映像データの識別情報に対応付けて保持期間を記憶部50aに記憶しており、保持期間が過ぎた場合に記録部20から該当する映像データを削除する処理を行う。例えば図5のように記録された各映像データは、時間長さΔTが約1分程度であるとすれば、映像データ#1~#10が記録される時間は約10分程度である。映像データ#1~#10のうち、映像データ#10が最も早く保持期間が経過して削除され、次いで、映像データ#1~#6が順に削除され、更に映像データ#7~#10が順に削除される。 As described above, the recording processing unit 53 stores the holding period in the storage unit 50a in association with the identification information of the video data, and deletes the corresponding video data from the recording unit 20 when the holding period has passed. process. For example, if each video data recorded as shown in FIG. 5 has a time length ΔT of about 1 minute, the video data #1 to #10 are recorded for about 10 minutes. Of the video data #1 to #10, the video data #10 is deleted after the retention period has passed the earliest, then the video data #1 to #6 are deleted in order, and then the video data #7 to #10 are deleted in order. Deleted.

記録制御装置50は、車両の乗員である例えば運転者が快適な状態や喜びなどの感情状態にあったときに記録された映像データは早く削除し、運転者が不快な状態や怒りなどの感情にあったときに記録された映像データは長く保存する処理を行う。記録制御装置50は、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲においてヒヤリハットなどの異常な状況があった、または、車両の周囲における事故など異変が起こり易い状況であると判断して、映像データを長く記録部20に残すことができる。また、車両の乗員は運転者に限定されず、同乗者についても乗員感情レベルを判定してもよい。また、運転者についての乗員感情レベル、および同乗者についての乗員感情レベルをそれぞれ判定しておき、これらを更に総合判定して乗員感情レベルを算出してもよい。このとき、同乗者についての乗員感情レベルは、同乗者の生体情報から、睡眠中であること、車両外部を注視していないことなどを検知して重み付けを行ってもよい。より詳しくは、同乗者が車両外部を注視しておらず、車両の走行状況を認識していないと考えられる場合、同乗者についての乗員感情レベルよりも運転者についての乗員感情レベルを重視して総合的な乗員感情レベルを判定することとしてもよい。 The recording control device 50 quickly deletes video data recorded when the driver, who is a passenger of the vehicle, is in a comfortable state or an emotional state such as joy, and removes the video data when the driver is in an uncomfortable state or an emotional state such as anger. The video data recorded when it is in is processed to be stored for a long time. When the occupant of the vehicle is in an uncomfortable state or in an emotional state such as anger, the recording control device 50 detects that there is an abnormal situation such as a near-miss in the surroundings of the vehicle, or that an accident such as an accident is likely to occur in the surroundings of the vehicle. Judging that it is a situation, the video data can be left in the recording unit 20 for a long time. In addition, the occupant of the vehicle is not limited to the driver, and the occupant emotion level may be determined for fellow passengers as well. Also, the passenger emotional level of the driver and the passenger emotional level of the fellow passenger may be determined in advance, and these may be comprehensively determined to calculate the passenger emotional level. At this time, the occupant's emotional level of the fellow passenger may be weighted by detecting that the passenger is sleeping, that the passenger is not watching the outside of the vehicle, or the like, from the biological information of the fellow passenger. More specifically, when it is considered that the fellow passenger does not pay attention to the outside of the vehicle and does not recognize the driving situation of the vehicle, the passenger's emotional level of the driver is given more importance than the passenger's emotional level of the fellow passenger. It is also possible to determine a comprehensive occupant emotional level.

記録制御装置50の乗員感情判定部52は、乗員感情レベルの履歴を残しておき、設定した多段階で適切に乗員感情レベルが判定できているかを評価し、乗員によって判定結果が偏っている場合には判定の基準を変更するようにしてもよい。例えば、乗員感情レベルを5段階で評価している場合に、一定期間(例えば1ケ月間)の間、ある乗員の乗員感情レベルが1~3で推移している場合に、当該の乗員の感情レベルの中心値が低いと判断し、乗員感情レベル1~5と判定されるように判定レベルの中心値および範囲を変更する。また、車両に搭乗する複数の乗員ごとに、基準を設定するようにしてもよい。 The occupant emotion determination unit 52 of the recording control device 50 stores the history of the occupant emotion level, and evaluates whether the occupant emotion level can be appropriately determined in the set multi-steps. You may make it change the reference|standard of judgment. For example, when the occupant's emotion level is evaluated in five stages, if the occupant's emotion level changes from 1 to 3 for a certain period of time (for example, one month), the emotion of the occupant It is determined that the central value of the level is low, and the central value and range of the determination level are changed so that the passenger emotion level is determined to be 1-5. Also, the reference may be set for each of a plurality of occupants who board the vehicle.

乗員感情判定部52は、車両に搭乗する複数の乗員ごとの乗員感情レベルの履歴に基づいて、乗員感情レベル判定における基準を変えることで、乗員の性質に応じて、乗員感情レベルの多段階評価を良好に行うことができる。 An occupant emotion determination unit 52 changes the criteria for occupant emotion level determination based on the history of occupant emotion levels for each of a plurality of occupants boarding the vehicle, thereby performing multistage evaluation of the occupant emotion level according to the nature of the occupant. can be performed well.

(実施形態2)
実施形態1では乗員感情レベルに応じて映像データの保持期間を定めたが、乗員感情レベルの変化量に応じて映像データの保持期間を定めるようにしてもよい。時刻xにおける乗員感情レベルをs(x)とし、現在の時刻tにおける乗員感情レベルをs(t)、過去の時刻t-1における乗員感情レベルをs(t-1)とし、乗員感情レベルの変化量αを
α=s(t)/s(t-1)
により求める。
(Embodiment 2)
In the first embodiment, the image data retention period is determined according to the passenger's emotional level, but the image data retention period may be determined according to the amount of change in the passenger's emotional level. Let s(x) be the occupant emotion level at time x, s(t) be the occupant emotion level at current time t, and s(t−1) be the occupant emotion level at past time t−1. Change amount α = s(t)/s(t-1)
Calculated by

乗員の感情が不快な状態や怒りなどの感情状態にある場合に乗員感情レベルが小さく、快適な状態や喜びなどの感情状態にある場合に乗員感情レベルが大きいとする。乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったとき、乗員感情レベルの変化量αは1より小さくなる。逆に、乗員が不快な状態や怒りなどの感情状態から、快適な状態や喜びなどの感情状態になったとき、乗員感情レベルの変化量αは1より大きくなる。 Assume that the occupant's emotional level is low when the occupant is in an emotional state such as discomfort or anger, and the occupant's emotional level is high when the occupant is in a comfortable state or an emotional state such as joy. The amount of change α in the occupant's emotional level becomes smaller than 1 when the occupant changes from a comfortable state or an emotional state such as joy to an uncomfortable state or an emotional state such as anger. Conversely, when the occupant changes from an emotional state such as discomfort or anger to a state of comfort or joy, the amount of change α in the occupant's emotional level becomes greater than one.

この乗員感情レベルの変化量αを用いて、保持期間T(時間)を、
T=1/(α×k)
と定めるようにする。ここで、kは比例定数であり、レコーダーの設置環境、個人による調整などにより任意に設定できる。乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったとき、乗員感情レベルの変化量αは1より小さくなるので、保持期間Tはαに反比例して長くなる。また、乗員が不快な状態や怒りなどの感情状態から、快適な状態や喜びなどの感情状態になったとき、乗員感情レベルの変化量αは1より大きくなるので、保持期間Tは短くなる。
Using this change amount α of the occupant's emotional level, the holding period T (time) is
T=1/(α×k)
and Here, k is a constant of proportionality, which can be arbitrarily set according to the installation environment of the recorder, personal adjustment, and the like. When the occupant changes from a comfortable state or an emotional state such as joy to an emotional state such as unpleasant state or anger, the amount of change α in the occupant's emotional level becomes smaller than 1, so the retention period T is inversely proportional to α. become longer. In addition, when the occupant changes from an unpleasant state or an emotional state such as anger to a comfortable state or an emotional state such as joy, the change amount α of the occupant's emotional level becomes larger than 1, so the retention period T becomes shorter.

乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったときに、その変化が大きい場合に映像データに削除禁止フラグを付加するようにしてもよい。この場合、変化量αが所定の閾値Nよりも小さい場合に、映像データに削除禁止フラグを付加する。例えば、乗員感情レベルを5段階で判定している場合に、閾値Nを0.3などと定め、α<0.3となる場合に映像データに削除禁止フラグを付加する。 When the occupant changes from a comfortable state or an emotional state such as joy to an uncomfortable state or an emotional state such as anger, if the change is large, a deletion prohibition flag may be added to the video data. In this case, when the amount of change α is smaller than a predetermined threshold value N, a deletion prohibition flag is added to the video data. For example, when the occupant's emotion level is judged in five stages, the threshold value N is set to 0.3 or the like, and a deletion prohibition flag is added to the video data when α<0.3.

図6は、実施形態2に係る記録制御装置50の保持期間の決定処理の手順を示すフローチャートである。記録制御装置50の記録処理部53は、乗員感情判定部52から現在の乗員感情レベルs(t)および過去の乗員感情レベルs(t-1)を取得し(S11)、変化量α=s(t)/s(t-1)を算出する(S12)。記録処理部53は、変化量αが所定の閾値Nより小さいか否かを判定する(S13)。 FIG. 6 is a flowchart showing the procedure of retention period determination processing of the recording control device 50 according to the second embodiment. The recording processing unit 53 of the recording control device 50 acquires the current occupant emotion level s(t) and the past occupant emotion level s(t−1) from the occupant emotion determination unit 52 (S11). (t)/s(t-1) is calculated (S12). The recording processing unit 53 determines whether or not the amount of change α is smaller than a predetermined threshold value N (S13).

記録処理部53は、変化量αが所定の閾値Nより小さい場合(S13:YES)、映像データに対して削除禁止フラグを付加し(S14)、処理を終了する。記録処理部53は、ステップS13において否と判定された場合(S13:NO)、保持期間T=1/(α×k)を算出し(S15)、処理を終了する。 When the change amount α is smaller than the predetermined threshold value N (S13: YES), the recording processing unit 53 adds a deletion prohibition flag to the video data (S14), and ends the process. When the determination in step S13 is negative (S13: NO), the recording processing unit 53 calculates the retention period T=1/(α×k) (S15), and terminates the process.

記録制御装置50は、乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったときに、乗員感情レベルの変化量αに応じて、保持期間Tを長くして、映像データを長く記録部20に残すことができる。また、記録制御装置50は、乗員が不快な状態や怒りなどの感情状態から、快適な状態や喜びなどの感情状態になったときに、乗員感情レベルの変化量αに応じて、保持期間Tを短くして、映像データが速く削除されるようにすることができる。 The recording control device 50 lengthens the retention period T according to the amount of change α in the occupant's emotional level when the occupant changes from a comfortable state or an emotional state such as joy to an uncomfortable state or an emotional state such as anger. Thus, the video data can be left in the recording section 20 for a long time. In addition, when the occupant changes from an uncomfortable state or an emotional state such as anger to a comfortable state or an emotional state such as joy, the recording control device 50 changes the holding period T can be shortened so that the video data is deleted faster.

(変形例)
上述の実施形態1および2において、記録制御装置50は、乗員感情レベルの変化が大きい場合に直前に記録した映像データの保持期間を長くなる方向に変更するようにしてもよい。とくに、乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になり、そのときの乗員感情レベルが大きく変化した場合に直前に記録した映像データの保持期間を長くなる方向に変更する。
(Modification)
In Embodiments 1 and 2 described above, the recording control device 50 may change the retention period of the video data recorded immediately before to be longer when the change in the passenger's emotion level is large. In particular, if the emotional state of the occupant changes from comfortable or joyful to unpleasant or angry, and the emotional level of the occupant at that time changes significantly, the retention period of the video data recorded immediately before is extended. change in any direction.

乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態に大きく変化した場合に、車両の周囲に危険や事故等の乗員を不快にさせる要因が発生した可能性が高い。しかしながら、このような場合には、乗員感情レベルが大きく変化する前の乗員感情レベルは小さいため、直前の映像データの保持期間Tは短く決定されている。この映像データの保持期間を長くなる方向に変更することで、直前の映像データを含めて、映像データを長く記録部20に保持することができる。記録制御装置50は、乗員感情レベルが大きく変化した場合に直前に記録した映像データに削除禁止フラグを付加するようにしてもよい。保持期間を長くなる方向に変更する場合には、乗員感情レベルが大きく変化した直後の映像データの保持期間Tと同じ保持期間とすることが好ましい。 If the emotional state of the occupant changes significantly from a comfortable state or joyful state to an unpleasant state or angered state, there is a possibility that a danger, accident, or other factor that makes the occupant uncomfortable has occurred around the vehicle. high. However, in such a case, since the occupant's emotional level is small before the occupant's emotional level changes significantly, the holding period T of the immediately preceding image data is set to be short. By lengthening the holding period of the video data, the video data including the previous video data can be held in the recording unit 20 for a long time. The recording control device 50 may add a deletion prohibition flag to the video data recorded immediately before when the occupant's emotional level changes significantly. When the retention period is lengthened, it is preferable to set the retention period to be the same as the retention period T of the video data immediately after the occupant's emotional level has changed significantly.

上述の実施形態において、乗員感情レベルを5段階による多段階で判定する例を示したが、乗員感情レベルの判定は、0~100や、-5~5などの任意の多段階を定めて判定してもよい。また、保持期間を30分、4時間、12時間、・・・などとする例を示したが、記録制御装置50は、長短を有する保持期間を任意に定めることができる。また、記録制御装置50は、快適な状態や喜びなどの感情状態が最も高く、例えば上述の例では乗員感情レベルが5のとき保持期間を0分として、映像データを記録部20に記録しないようにしてもよい。 In the above-described embodiment, an example of judging the occupant's emotion level in multiple stages of five stages was shown, but the judgment of the occupant's emotion level is determined by setting arbitrary multiple stages such as 0 to 100 and -5 to 5. You may In addition, an example of holding periods of 30 minutes, 4 hours, 12 hours, . In addition, the recording control device 50 sets the retention period to 0 minutes when the emotional state such as a comfortable state or joy is the highest, for example, when the passenger emotional level is 5 in the above example, and does not record video data in the recording unit 20. can be

また上述の実施形態においては、乗員の感情として、快適な状態、不快な状態、喜びおよび怒りの感情状態に基づいて説明したが、これらの感情状態に限らず、悲しみ、驚き、焦燥、呆れなど様々な乗員の感情状態を推定して本装置に用いることができる。また、撮像部10は、車両の外部だけでなく車室内を撮像するものであってもよく、記録部20に車室内を撮像した映像データを記録するようにしてもよい。 In the above-described embodiment, the emotions of the occupant are explained based on the emotional states of comfort, discomfort, joy and anger, but not limited to these emotional states, sadness, surprise, impatience, disgust, etc. Various occupant emotional states can be estimated and used by the system. In addition, the imaging unit 10 may capture images of not only the exterior of the vehicle but also the interior of the vehicle, and the recording unit 20 may record image data of the interior of the vehicle.

次に、上述の実施形態および変形例に係る記録制御装置50、記録制御方法および記録制御プログラムの特徴を説明する。
実施形態および変形例に係る記録制御装置50は、映像データ取得部51、乗員感情判定部52および記録処理部53を備える。映像データ取得部51は、車両周囲の映像を撮影した映像データを取得する。乗員感情判定部52は、車室内の乗員の生体情報を検出する生体センサ30からの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。記録処理部53は、乗員感情判定部52により判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部20に記録させる。これにより、記録制御装置50は、乗員感情レベルに応じて映像データの保持期間を定めることができる。例えば、記録制御装置50は、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲における事故など異変が起こり得るとして、映像データを長く記録部20に残すことができる。また、記録処理部53は、乗員感情判定部52により判定した乗員感情レベルに基づいて、映像データの区切りを決定して映像データを記録部に記録させる。これにより、記録制御装置50は、乗員感情レベルに応じて映像データの区切り位置を定めることができる。
Next, features of the recording control device 50, the recording control method, and the recording control program according to the above-described embodiment and modifications will be described.
A recording control device 50 according to the embodiment and modifications includes a video data acquisition unit 51 , an occupant emotion determination unit 52 and a recording processing unit 53 . The image data acquisition unit 51 acquires image data obtained by shooting an image around the vehicle. The occupant emotion determination unit 52 estimates the occupant's emotion based on the information from the biosensor 30 that detects the occupant's biometric information in the passenger compartment, and determines the occupant's emotion level. The recording processing unit 53 determines the holding period of the image data based on the occupant emotion level determined by the occupant emotion determination unit 52 and causes the recording unit 20 to record the image data. Thereby, the recording control device 50 can determine the holding period of the video data according to the passenger's emotion level. For example, the recording control device 50 can leave video data in the recording unit 20 for a long time, assuming that an accident such as an accident may occur around the vehicle when the occupants of the vehicle are in an uncomfortable state or in an emotional state such as anger. . Also, the recording processing unit 53 determines the segmentation of the video data based on the occupant emotion level determined by the occupant emotion determination unit 52, and causes the recording unit to record the video data. Thereby, the recording control device 50 can determine the division position of the video data according to the passenger's emotion level.

また乗員感情判定部52は、推定した乗員感情の履歴に基づいて、乗員感情レベルを判定する基準を変更する。これにより、記録制御装置50は、乗員の性質に応じて乗員感情レベルを多段階に評価することができる。 Further, the occupant emotion determination unit 52 changes the criterion for determining the occupant emotion level based on the history of the estimated occupant emotion. Thereby, the recording control device 50 can evaluate the occupant emotion level in multiple stages according to the characteristics of the occupant.

また記録処理部53は、乗員感情判定部52により判定した乗員感情レベルの変化が大きいときに、直前に記録した映像データの保持期間を変更する。これにより、記録制御装置50は、例えば車両の周囲に危険や事故等の乗員を不快にさせる要因が発生した可能性が高い場合に、直前の映像データを含めて記録部20での保持期間を長くなる方向に変更することができる。 Further, the recording processing unit 53 changes the holding period of the video data recorded immediately before when the change in the passenger feeling level determined by the passenger feeling determining unit 52 is large. As a result, the recording control device 50, for example, when there is a high possibility that a factor that makes the occupants uncomfortable, such as a danger or accident, has occurred in the surroundings of the vehicle. It can be changed to lengthen.

また記録処理部53は、保持期間に基づいて、映像データを記録部20から削除するタイミングを決定する。これにより、記録制御装置50は、記録容量に限りのある記録部20において、記録する空き領域を確保し、新たな映像データを記録することができる。
また乗員には運転者および同乗者が含まれており、乗員感情判定部52は、運転者および同乗者についてそれぞれの乗員感情レベルを判定し、運転者の乗員感情レベルと、同乗者の生体情報を用いて重み付けをした同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する。これにより、記録制御装置50は、運転者および同乗者についての総合的な乗員感情レベルによって、映像データの保持期間を定めることができる。
The recording processing unit 53 also determines the timing of deleting the video data from the recording unit 20 based on the retention period. As a result, the recording control device 50 can secure a free area for recording in the recording unit 20 having a limited recording capacity and record new video data.
The occupants include the driver and the fellow passengers. A comprehensive passenger emotional level is determined by the passenger emotional level of the fellow passenger weighted using . Thereby, the recording control device 50 can determine the holding period of the video data according to the overall passenger feeling level of the driver and the fellow passengers.

実施形態および変形例に係る記録制御方法は、映像データ取得ステップ、乗員感情判定ステップおよび記録処理ステップを備える。映像データ取得ステップは、車両周囲の映像を撮影した映像データを取得する。乗員感情判定ステップは、車室内の乗員の生体情報を検出する生体センサ30からの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。記録処理ステップは、乗員感情判定ステップにより判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部20に記録させる。この記録制御方法によって、乗員感情レベルに応じて映像データの保持期間を定めることができる。例えば、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲における事故など異変が起こり得るとして、映像データを長く記録部20に残すことができる。 A recording control method according to an embodiment and modifications includes a video data acquisition step, an occupant emotion determination step, and a recording processing step. The image data acquisition step acquires image data obtained by photographing an image around the vehicle. The occupant emotion determination step estimates the occupant's emotion based on information from the biosensor 30 that detects the occupant's biometric information in the vehicle interior, and determines the occupant's emotion level. In the recording processing step, based on the passenger's emotional level determined in the passenger's emotion determining step, the video data retention period is determined and the video data is recorded in the recording unit 20 . With this recording control method, it is possible to determine the holding period of the video data according to the passenger's emotional level. For example, when a vehicle occupant is in an emotional state such as discomfort or anger, the image data can be left in the recording unit 20 for a long time, assuming that an accident such as an accident may occur around the vehicle.

実施形態および変形例に係る記録制御プログラムは、映像データ取得ステップ、乗員感情判定ステップおよび記録処理ステップをコンピュータに実行させる。映像データ取得ステップは、車両周囲の映像を撮影した映像データを取得する。乗員感情判定ステップは、車室内の乗員の生体情報を検出する生体センサ30からの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。記録処理ステップは、乗員感情判定ステップにより判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部20に記録させる。この記録制御プログラムによって、乗員感情レベルに応じて映像データの保持期間を定めることができる。例えば、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲における事故など異変が起こり得るとして、映像データを長く記録部20に残すことができる。 A recording control program according to the embodiment and modifications causes a computer to execute a video data acquisition step, an occupant emotion determination step, and a recording processing step. The image data acquisition step acquires image data obtained by photographing an image around the vehicle. The occupant emotion determination step estimates the occupant's emotion based on information from the biosensor 30 that detects the occupant's biometric information in the vehicle interior, and determines the occupant's emotion level. In the recording processing step, based on the passenger's emotional level determined in the passenger's emotion determining step, the video data retention period is determined and the video data is recorded in the recording unit 20 . With this recording control program, it is possible to determine the holding period of video data according to the passenger's emotional level. For example, when a vehicle occupant is in an emotional state such as discomfort or anger, the image data can be left in the recording unit 20 for a long time, assuming that an accident such as an accident may occur around the vehicle.

以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。 The above has been described based on the embodiments of the present invention. Those skilled in the art will appreciate that these embodiments are illustrative and that various variations and modifications are possible within the scope of the claims of the present invention, and that such variations and modifications also fall within the scope of the claims of the present invention. It is about to be done. Accordingly, the description and drawings herein are to be regarded in an illustrative rather than a restrictive sense.

20 記録部
30 生体センサ
50 記録制御装置
51 映像データ取得部
52 乗員感情判定部
53 記録処理部
20 Recording Unit 30 Biosensor 50 Recording Control Device 51 Video Data Acquisition Unit 52 Passenger Emotion Judging Unit 53 Recording Processing Unit

Claims (2)

車両周囲の映像を撮影した映像データを取得する映像データ取得部と、
車室内の乗員の生体情報を検出する生体センサからの情報に基づいて前記乗員の感情を推定し、乗員感情レベルを判定する乗員感情判定部と、
前記乗員感情レベルに基づいて、前記映像データの保持期間を決定して前記映像データを記録部に記録させる記録処理部と、
を備え、
前記乗員には運転者および同乗者が含まれており、
前記乗員感情判定部は、前記運転者および前記同乗者についてそれぞれの前記乗員感情レベルを判定し、前記運転者の乗員感情レベルと、前記同乗者の生体情報を用いて重み付けをした前記同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する
ことを特徴とする記録制御装置。
a video data acquisition unit that acquires video data obtained by shooting a video around the vehicle;
an occupant emotion determination unit that estimates the occupant's emotion based on information from a biosensor that detects the occupant's biometric information in the vehicle interior and determines the occupant's emotion level;
a recording processing unit that determines a holding period of the video data based on the occupant's emotional level and records the video data in a recording unit;
with
the occupants include a driver and passengers;
The occupant emotion determination unit determines the occupant emotion level of each of the driver and the fellow passenger, and weights the occupant emotion level of the driver and the biometric information of the fellow passenger. A recording control device characterized by determining a comprehensive passenger emotional level based on the passenger emotional level.
コンピュータが、
車両周囲の映像を撮影した映像データを取得するステップと、
車室内の乗員の生体情報を検出する生体センサからの情報に基づいて前記乗員の感情を推定し、乗員感情レベルを判定するステップと、
前記乗員感情レベルに基づいて、前記映像データの保持期間を決定して前記映像データを記録部に記録させるステップと、
を実行し、
前記乗員には運転者および同乗者が含まれており、
前記運転者および前記同乗者についてそれぞれの前記乗員感情レベルを判定し、前記運転者の乗員感情レベルと、前記同乗者の生体情報を用いて重み付けをした前記同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する
ことを特徴とする記録制御方法。
the computer
a step of acquiring image data obtained by capturing an image around the vehicle;
a step of estimating the emotion of the occupant based on information from a biosensor that detects the biometric information of the occupant in the vehicle and determining the occupant's emotion level;
determining a holding period of the video data based on the occupant's emotional level and recording the video data in a recording unit;
and run
the occupants include a driver and passengers;
The occupant emotional level of each of the driver and the fellow passenger is determined, and the occupant emotional level of the driver and the occupant emotional level of the fellow passenger weighted using the biometric information of the fellow passenger are comprehensively evaluated. A recording control method characterized by determining an appropriate occupant emotional level.
JP2022118596A 2018-07-20 2022-07-26 Recording control device and recording control method Active JP7294509B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022118596A JP7294509B2 (en) 2018-07-20 2022-07-26 Recording control device and recording control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018136497A JP7124510B2 (en) 2018-07-20 2018-07-20 Recording control device, recording control method and recording control program
JP2022118596A JP7294509B2 (en) 2018-07-20 2022-07-26 Recording control device and recording control method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018136497A Division JP7124510B2 (en) 2018-07-20 2018-07-20 Recording control device, recording control method and recording control program

Publications (2)

Publication Number Publication Date
JP2022145726A true JP2022145726A (en) 2022-10-04
JP7294509B2 JP7294509B2 (en) 2023-06-20

Family

ID=86772708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022118596A Active JP7294509B2 (en) 2018-07-20 2022-07-26 Recording control device and recording control method

Country Status (1)

Country Link
JP (1) JP7294509B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123057A1 (en) * 2016-12-28 2018-07-05 本田技研工業株式会社 Information providing system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123057A1 (en) * 2016-12-28 2018-07-05 本田技研工業株式会社 Information providing system

Also Published As

Publication number Publication date
JP7294509B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
JP2022145725A (en) Recording control device and recording control method
JP4702418B2 (en) Imaging apparatus, image region existence determination method and program
JP2007150993A (en) Imaging apparatus and imaging apparatus with interval imaging function
US10262208B2 (en) Automatic selection of cinemagraphs
CN106982331B (en) Camera and electronic apparatus
JP7370446B2 (en) In-vehicle video recording device and its control method
JP2018120497A (en) Recording apparatus, recording method, and program
JP2008171108A (en) Face condition determining device and imaging device
JP4635742B2 (en) Imaging apparatus and imaging program
JP7294509B2 (en) Recording control device and recording control method
JP2012231327A (en) Imaging apparatus, imaging method, and program
JP2010178259A (en) Digital camera
US20080062184A1 (en) Image-capturing apparatus
JP5386880B2 (en) Imaging device, mobile phone terminal, imaging method, program, and recording medium
JP5547447B2 (en) Vehicle information recording device
JP7447455B2 (en) Vehicle recording control device and vehicle recording control method
CN109480375B (en) Control method of safety helmet capable of intelligently identifying retrograde motion
JPH11161798A (en) Vehicle driver monitoring device
JP7401968B2 (en) Shooting control device, shooting system, and shooting control method
JP2009129389A (en) Information processing apparatus and method, and program
CN104735342B (en) Moving image processing apparatus, dynamic image processing method and recording medium
WO2024116595A1 (en) Video recording control device and video recording method
JP7279512B2 (en) Recording device, recording method, and program
JP2009225103A (en) Camera
JP7460362B2 (en) Driver state estimation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7294509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150