JP2022145726A - Recording control device and recording control method - Google Patents
Recording control device and recording control method Download PDFInfo
- Publication number
- JP2022145726A JP2022145726A JP2022118596A JP2022118596A JP2022145726A JP 2022145726 A JP2022145726 A JP 2022145726A JP 2022118596 A JP2022118596 A JP 2022118596A JP 2022118596 A JP2022118596 A JP 2022118596A JP 2022145726 A JP2022145726 A JP 2022145726A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- video data
- level
- emotion
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000008451 emotion Effects 0.000 claims description 112
- 230000002996 emotional effect Effects 0.000 claims description 93
- 238000004321 preservation Methods 0.000 abstract 2
- 230000014759 maintenance of location Effects 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 230000036760 body temperature Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000009532 heart rate measurement Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 206010049976 Impatience Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、車両に搭載される記録制御装置及び記録制御方法に関する。 The present invention relates to a recording control device and recording control method mounted on a vehicle.
車両に搭載される記録制御装置は、車両の前方や後方等の車両周囲を時間的に連続して撮影し、映像を記録する。記録制御装置は、撮影した映像を記憶媒体に保存するが、該記憶媒体の容量には限りがあるため、一定期間に亘って複数の映像データを保存した後、古い映像データから順次上書きして新たな映像を保存する。 A recording control device mounted on a vehicle continuously takes pictures of the surroundings of the vehicle, such as the front and rear of the vehicle, and records the images. The recording control device stores captured images in a storage medium, but since the capacity of the storage medium is limited, after storing a plurality of pieces of image data for a certain period of time, the older image data is sequentially overwritten. Save new video.
特許文献1には、生体情報取得部、感情推定部および車載機器制御部を備える車載機器制御装置が開示されている。生体情報取得部は、車両の運転者または同乗者の生体情報を測定する生体センサから生体情報を取得する。感情推定部は、生体情報を用いて運転者または同乗者の感情の程度を示す値の変化の大きさを求める。車載機器制御部は、感情推定部が求めた値の変化の大きさが所定の閾値を超えた場合に、車両が備える車載機器の動作を制御する。車載機器は車両の内部および外部に設けられた撮像装置であり、車載機器制御部は、感情が急激に変化したタイミングを含むように映像データを残すように機能する。
ところで、運転者が笑顔である場合には車両の周辺に危険などは無い状態であると考えられ、映像データを残す必要性は少ない。一方、運転者の表情が険しい場合には、車両の周辺の危険性が高まっていたり、不快にさせる事態が発生している状態が想定され、映像データを残しておく必要性が高くなる。特許文献1に記載の車載機器制御装置では、車両の運転者または同乗者の感情が急激に変化したタイミングを含む映像データを保存するが、感情に基づいて映像データの保持期間を決定することはできなかった。
By the way, when the driver is smiling, it is considered that there is no danger around the vehicle, and there is little need to leave video data. On the other hand, when the driver's expression is serious, it is assumed that the surroundings of the vehicle are becoming more dangerous or that an unpleasant situation is occurring, and the need to store video data increases. In the in-vehicle device control device described in
本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、乗員感情レベルに応じて保存する映像データの保持期間を決定することができる記録制御装置及び記録制御方法を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a recording control apparatus and a recording control method capable of determining the retention period of video data to be stored according to the passenger's emotion level. to provide.
本発明のある態様の記録制御装置は、車両周囲の映像を撮影した映像データを取得する映像データ取得部と、車室内の乗員の生体情報を検出する生体センサからの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する乗員感情判定部と、乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部に記録させる記録処理部と、を備え、前記乗員には運転者および同乗者が含まれており、乗員感情判定部は、運転者および同乗者についてそれぞれの乗員感情レベルを判定し、運転者の乗員感情レベルと、同乗者の生体情報を用いて重み付けをした同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する。 A recording control device according to one aspect of the present invention includes a video data acquisition unit that acquires video data obtained by capturing a video around a vehicle; an occupant emotion determination unit for determining the occupant emotion level by estimating the includes the driver and fellow passengers, and the passenger emotion determination unit determines the passenger emotion levels of the driver and fellow passengers, and uses the driver's passenger emotion level and the passenger's biological information A comprehensive passenger feeling level is determined by the weighted passenger feeling level of the fellow passenger.
また本発明の別の態様は記録制御方法である。この記録制御方法は、コンピュータが、車両周囲の映像を撮影した映像データを取得するステップと、車室内の乗員の生体情報を検出する生体センサからの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定するステップと、判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部に記録させるステップと、を実行し、乗員には運転者および同乗者が含まれており、運転者および同乗者についてそれぞれの乗員感情レベルを判定し、運転者の乗員感情レベルと、同乗者の生体情報を用いて重み付けをした同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する。 Another aspect of the present invention is a recording control method. In this recording control method, the computer acquires image data obtained by photographing an image of the surroundings of the vehicle; A step of determining an emotional level, and a step of determining a retention period of video data based on the determined passenger emotional level and recording the video data in a recording unit are executed. It includes determining the respective occupant emotion levels for the driver and the passengers, and providing a more comprehensive occupant emotion level for the driver and the occupant emotion levels for the passengers weighted using the biometric information of the passengers. Determine occupant emotional level.
本発明によれば、乗員感情レベルに応じて映像データの保持期間を決定することができる。 According to the present invention, the holding period of video data can be determined according to the passenger's emotional level.
以下、本発明を好適な実施の形態をもとに図1から図6を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。 BEST MODE FOR CARRYING OUT THE INVENTION The present invention will be described below based on preferred embodiments with reference to FIGS. 1 to 6. FIG. The same or equivalent constituent elements and members shown in each drawing are denoted by the same reference numerals, and duplication of description will be omitted as appropriate. In addition, the dimensions of the members in each drawing are appropriately enlarged or reduced for easy understanding. Also, in each drawing, some of the members that are not important for explaining the embodiments are omitted.
(実施形態1)
図1は、実施形態1に係る記録制御装置50を含むドライブレコーダ100の構成を示すブロック図である。ドライブレコーダ100は、車両に搭載され、車両の前方、側方および後方等の車両周囲を時間的に連続して撮影し、映像データを記録する。ドライブレコーダ100は、撮影した映像を記録部に記録するが、記録部の容量には限りがあるため、映像データを後述する保持期間に基づいて、順次、削除することによって、新たな映像データを記録する。ドライブレコーダ100の記録制御装置50は、車両に搭乗している乗員の感情を推定して乗員感情レベルを判定し、映像データの保持期間を決定する。
(Embodiment 1)
FIG. 1 is a block diagram showing the configuration of a
ドライブレコーダ100は、撮像部10、記録部20、生体センサ30、入出力インタフェース40、計時部41および記録制御装置50等を備える。撮像部10は、例えばCCD等の検出器を有するカメラであり、車両の前方等の車両周囲を撮影する。撮像部10は、時間的に連続して映像を取得し、取得した映像データを後述する記録制御装置50の映像データ取得部51へ送出する。
The
記録部20は、例えばSDカードやUSBメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像データ取得部51で取得された映像データを記録し、削除することができるものとする。記録部20は、ドライブレコーダ100に着脱可能とすることで、ドライブレコーダ100から取り外し、別のPC等で映像を再生等することができる。
The
生体センサ30は、例えば車室内に搭乗している乗員の顔等の身体を撮像するカメラであり、乗員の生体情報を検出する。生体センサ30によって検出された生体情報は、記録制御装置50に出力される。後述する記録制御装置50の乗員感情判定部52は、生体センサ30から取得した生体情報に基づいて、乗員の感情を推定し、乗員感情レベルを判定する。
The
生体センサ30が乗員の顔を撮像するカメラである場合、乗員感情判定部52は、乗員の口や目などの動きに基づいて、笑っている表情であるか、険しい表情や怒った表情であるかを画像認識し、乗員の感情を推定する。生体センサ30は、乗員の音声を取得するマイク、乗員の心拍数や呼吸数、体温などを計測するセンサであってもよく、音声認識によるキーワード検出や声の抑揚、乗員の心拍数や呼吸数、体温などに基づき乗員の感情が推定し得る種々のセンサを用いることができる。また、生体センサ30によって取得された生体情報に基づいて乗員の感情を推定する方法については、上述の画像認識による方法を含め公知の技術を用いることができる。
If the
入出力インタフェース40は、車両の速度情報および位置情報等を外部装置から取得する。計時部41は、日時を計測する。ドライブレコーダ100は、入出力インタフェース40によって取得した速度情報および位置情報等、並びに計時部41によって取得した日時情報を映像データに付加して記録するようにしてもよい。また計時部41は、記録制御装置50における時間計測などに適宜用いられる。
The input/
記録制御装置50は、映像データ取得部51、乗員感情判定部52および記録処理部53を有する。記録制御装置50は、例えばCPUなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部50aは、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、記録制御装置50で実行するコンピュータプログラム等を記憶する。
The
映像データ取得部51は、撮像部10において撮影された映像データを取得してデータ圧縮等の処理を行い、記録処理部53に出力する。映像データ取得部51が撮像部10を含んで構成されていてもよい。
The video
乗員感情判定部52は、生体センサ30からの生体情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。生体センサ30は、例えば車載カメラであって、乗員感情判定部52は、撮影した乗員の表情、目や口の開度から乗員感情レベルを判定する。生体センサ30は、サーモカメラ、ならびに脈拍および心拍計測用のセンサであってもよい。乗員感情判定部52は、乗員の体温、脈拍または心拍などの状態から乗員感情レベルを判定する。乗員感情レベルは多段階であり、乗員感情判定部52は、時々刻々の乗員の感情を例えば1から5までの乗員感情レベルに判定する。乗員感情判定部52は、乗員が不快な状態や怒りなどの感情状態にある場合に乗員感情レベルを1とし、乗員が快適な状態や喜びなどの感情状態にある場合に乗員感情レベルを5として判定する。乗員感情レベル3は、例えば平穏な状態であり、乗員感情レベル2は乗員感情レベル1と3の間、乗員感情レベル4は乗員感情レベル5と3の間の乗員の感情のレベルを示す。
The occupant
記録処理部53は、乗員感情判定部52によって判定した乗員感情レベルに基づいて、映像データを区切る区切信号を生成し、映像データ取得部51から取得した映像データの記録部20への記録を制御する。区切信号は、乗員感情レベルが変化した際に取得した映像データを区切るために用いられ、乗員感情レベルおよび乗員感情レベルに基づいて定められる映像データの保持期間が含まれている。例えば、乗員が不快な状態や怒りなどの感情状態にあり乗員感情レベルが1の場合に保持期間を長くし、乗員が快適な状態や喜びなどの感情状態にあり乗員感情レベルが5の場合に保持期間を短くする。
The
また、記録処理部53は、記録部20に記録した映像データの識別情報(例えば一連番号やファイル名)に対応付けて保持期間を記憶部50aに記憶しておき、保持期間が過ぎた場合に記録部20から該当する映像データを削除する処理を行う。
In addition, the
図2は、乗員感情レベルに基づく記録方法を説明するための模式図である。図2に示す例では、乗員感情判定部52は乗員感情レベルを5段階で判定している。乗員感情判定部52は、図2に示すように乗員感情レベル3,2,4,5,・・・と判定している。映像データ取得部51は、時間長さΔTの映像データを順次、一つの映像ファイルとして生成しており、映像データ#1、#2、#3、・・・が記録部20に記録されていく。映像データ#1~#5の時間長さはΔTとしている。乗員感情レベルが3から2に変化すると、記録処理部53は、区切信号に基づいて映像データを区切り、時間長さがΔTより短い映像データ#6を生成し、記録部20に記録させる。映像データ#1~#6には、乗員感情レベル3およびその乗員感情レベルに応じた保持期間が付加される。
FIG. 2 is a schematic diagram for explaining a recording method based on passenger emotion levels. In the example shown in FIG. 2, the occupant
図3は、乗員感情レベルに応じた保持期間の例を示す図表である。乗員が不快な状態や怒りなどの感情状態にあり乗員感情レベルが1の場合に、例えば映像データの保持期間を48時間とする。乗員感情レベルが1から大きくなるにつれて、保持期間を徐々に短かくし、乗員が快適な状態や喜びなどの感情状態にあり乗員感情レベルが5の場合に、保持期間を30分などとする。また、乗員感情レベルが1の場合に、映像データの保持期間を不定とし、上書きの必要が生じた場合にのみ消去する形態があってもよい。 FIG. 3 is a chart showing an example of retention periods according to passenger emotion levels. If the occupant is in an emotional state such as discomfort or anger and the occupant emotional level is 1, for example, the video data retention period is set to 48 hours. As the occupant's emotional level increases from 1, the retention period is gradually shortened, and when the occupant is in an emotional state such as a comfortable state or joy and the occupant's emotional level is 5, the retention period is set to 30 minutes or the like. Further, when the passenger's emotion level is 1, there may be a form in which the image data is retained for an indefinite period, and is erased only when overwriting is required.
次に記録制御装置50の動作について、映像データの記録処理に基づいて説明する。図4は、記録制御装置50における映像データの記録処理の手順を示すフローチャートである。ドライブレコーダ100は、撮像部10によって撮影した映像データを記録制御装置50の映像データ取得部51で取得しており、1つの映像データを記録部20に記録した後、次の映像データを記録部20に記録する処理を説明する。映像データは、乗員感情レベルの変化が無ければ、時間長さΔTで区切られたデータとして記録部20に記録されるものとする。
Next, the operation of the
記録処理部53は、タイマーをスタートし(S1)、乗員感情判定部52が判定した乗員感情レベルに変化があったか否かを判定する(S2)。記録処理部53は、乗員感情レベルに変化があった場合(S2:YES)、区切信号によって映像データを区切り、ΔT経過前に映像データを記録部20へ記録し(S3)、処理を終了する。
The
記録処理部53は、乗員感情判定部52が判定した乗員感情レベルに変化がない場合(S2:NO)、ΔT経過したか否かを判定する(S4)。記録処理部53は、ΔT経過していないと判定した場合(S4:NO)、ステップS2に戻って処理を繰り返す。記録処理部53は、ΔT経過したと判定した場合(S4:YES)、映像データを記録部20へ記録し(S3)、処理を終了する。
If there is no change in the occupant emotion level determined by the occupant emotion determination unit 52 (S2: NO), the
図4に示す処理を繰り返すことにより、順次、映像データが記録部20に記録されていく。図5は、記録された映像データに関する情報を説明するための模式図である。映像データ#1~#6は、乗員感情レベルが3であり、保持期間は12時間である。その後、映像データ#7~#9は乗員感情レベルが2であり、保持期間は24時間である。また、映像データ#10は乗員感情レベルが4であり、保持期間は4時間である。
By repeating the processing shown in FIG. 4, the video data is recorded in the
記録処理部53は、上述のように、映像データの識別情報に対応付けて保持期間を記憶部50aに記憶しており、保持期間が過ぎた場合に記録部20から該当する映像データを削除する処理を行う。例えば図5のように記録された各映像データは、時間長さΔTが約1分程度であるとすれば、映像データ#1~#10が記録される時間は約10分程度である。映像データ#1~#10のうち、映像データ#10が最も早く保持期間が経過して削除され、次いで、映像データ#1~#6が順に削除され、更に映像データ#7~#10が順に削除される。
As described above, the
記録制御装置50は、車両の乗員である例えば運転者が快適な状態や喜びなどの感情状態にあったときに記録された映像データは早く削除し、運転者が不快な状態や怒りなどの感情にあったときに記録された映像データは長く保存する処理を行う。記録制御装置50は、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲においてヒヤリハットなどの異常な状況があった、または、車両の周囲における事故など異変が起こり易い状況であると判断して、映像データを長く記録部20に残すことができる。また、車両の乗員は運転者に限定されず、同乗者についても乗員感情レベルを判定してもよい。また、運転者についての乗員感情レベル、および同乗者についての乗員感情レベルをそれぞれ判定しておき、これらを更に総合判定して乗員感情レベルを算出してもよい。このとき、同乗者についての乗員感情レベルは、同乗者の生体情報から、睡眠中であること、車両外部を注視していないことなどを検知して重み付けを行ってもよい。より詳しくは、同乗者が車両外部を注視しておらず、車両の走行状況を認識していないと考えられる場合、同乗者についての乗員感情レベルよりも運転者についての乗員感情レベルを重視して総合的な乗員感情レベルを判定することとしてもよい。
The
記録制御装置50の乗員感情判定部52は、乗員感情レベルの履歴を残しておき、設定した多段階で適切に乗員感情レベルが判定できているかを評価し、乗員によって判定結果が偏っている場合には判定の基準を変更するようにしてもよい。例えば、乗員感情レベルを5段階で評価している場合に、一定期間(例えば1ケ月間)の間、ある乗員の乗員感情レベルが1~3で推移している場合に、当該の乗員の感情レベルの中心値が低いと判断し、乗員感情レベル1~5と判定されるように判定レベルの中心値および範囲を変更する。また、車両に搭乗する複数の乗員ごとに、基準を設定するようにしてもよい。
The occupant
乗員感情判定部52は、車両に搭乗する複数の乗員ごとの乗員感情レベルの履歴に基づいて、乗員感情レベル判定における基準を変えることで、乗員の性質に応じて、乗員感情レベルの多段階評価を良好に行うことができる。
An occupant
(実施形態2)
実施形態1では乗員感情レベルに応じて映像データの保持期間を定めたが、乗員感情レベルの変化量に応じて映像データの保持期間を定めるようにしてもよい。時刻xにおける乗員感情レベルをs(x)とし、現在の時刻tにおける乗員感情レベルをs(t)、過去の時刻t-1における乗員感情レベルをs(t-1)とし、乗員感情レベルの変化量αを
α=s(t)/s(t-1)
により求める。
(Embodiment 2)
In the first embodiment, the image data retention period is determined according to the passenger's emotional level, but the image data retention period may be determined according to the amount of change in the passenger's emotional level. Let s(x) be the occupant emotion level at time x, s(t) be the occupant emotion level at current time t, and s(t−1) be the occupant emotion level at past time t−1. Change amount α = s(t)/s(t-1)
Calculated by
乗員の感情が不快な状態や怒りなどの感情状態にある場合に乗員感情レベルが小さく、快適な状態や喜びなどの感情状態にある場合に乗員感情レベルが大きいとする。乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったとき、乗員感情レベルの変化量αは1より小さくなる。逆に、乗員が不快な状態や怒りなどの感情状態から、快適な状態や喜びなどの感情状態になったとき、乗員感情レベルの変化量αは1より大きくなる。 Assume that the occupant's emotional level is low when the occupant is in an emotional state such as discomfort or anger, and the occupant's emotional level is high when the occupant is in a comfortable state or an emotional state such as joy. The amount of change α in the occupant's emotional level becomes smaller than 1 when the occupant changes from a comfortable state or an emotional state such as joy to an uncomfortable state or an emotional state such as anger. Conversely, when the occupant changes from an emotional state such as discomfort or anger to a state of comfort or joy, the amount of change α in the occupant's emotional level becomes greater than one.
この乗員感情レベルの変化量αを用いて、保持期間T(時間)を、
T=1/(α×k)
と定めるようにする。ここで、kは比例定数であり、レコーダーの設置環境、個人による調整などにより任意に設定できる。乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったとき、乗員感情レベルの変化量αは1より小さくなるので、保持期間Tはαに反比例して長くなる。また、乗員が不快な状態や怒りなどの感情状態から、快適な状態や喜びなどの感情状態になったとき、乗員感情レベルの変化量αは1より大きくなるので、保持期間Tは短くなる。
Using this change amount α of the occupant's emotional level, the holding period T (time) is
T=1/(α×k)
and Here, k is a constant of proportionality, which can be arbitrarily set according to the installation environment of the recorder, personal adjustment, and the like. When the occupant changes from a comfortable state or an emotional state such as joy to an emotional state such as unpleasant state or anger, the amount of change α in the occupant's emotional level becomes smaller than 1, so the retention period T is inversely proportional to α. become longer. In addition, when the occupant changes from an unpleasant state or an emotional state such as anger to a comfortable state or an emotional state such as joy, the change amount α of the occupant's emotional level becomes larger than 1, so the retention period T becomes shorter.
乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったときに、その変化が大きい場合に映像データに削除禁止フラグを付加するようにしてもよい。この場合、変化量αが所定の閾値Nよりも小さい場合に、映像データに削除禁止フラグを付加する。例えば、乗員感情レベルを5段階で判定している場合に、閾値Nを0.3などと定め、α<0.3となる場合に映像データに削除禁止フラグを付加する。 When the occupant changes from a comfortable state or an emotional state such as joy to an uncomfortable state or an emotional state such as anger, if the change is large, a deletion prohibition flag may be added to the video data. In this case, when the amount of change α is smaller than a predetermined threshold value N, a deletion prohibition flag is added to the video data. For example, when the occupant's emotion level is judged in five stages, the threshold value N is set to 0.3 or the like, and a deletion prohibition flag is added to the video data when α<0.3.
図6は、実施形態2に係る記録制御装置50の保持期間の決定処理の手順を示すフローチャートである。記録制御装置50の記録処理部53は、乗員感情判定部52から現在の乗員感情レベルs(t)および過去の乗員感情レベルs(t-1)を取得し(S11)、変化量α=s(t)/s(t-1)を算出する(S12)。記録処理部53は、変化量αが所定の閾値Nより小さいか否かを判定する(S13)。
FIG. 6 is a flowchart showing the procedure of retention period determination processing of the
記録処理部53は、変化量αが所定の閾値Nより小さい場合(S13:YES)、映像データに対して削除禁止フラグを付加し(S14)、処理を終了する。記録処理部53は、ステップS13において否と判定された場合(S13:NO)、保持期間T=1/(α×k)を算出し(S15)、処理を終了する。
When the change amount α is smaller than the predetermined threshold value N (S13: YES), the
記録制御装置50は、乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったときに、乗員感情レベルの変化量αに応じて、保持期間Tを長くして、映像データを長く記録部20に残すことができる。また、記録制御装置50は、乗員が不快な状態や怒りなどの感情状態から、快適な状態や喜びなどの感情状態になったときに、乗員感情レベルの変化量αに応じて、保持期間Tを短くして、映像データが速く削除されるようにすることができる。
The
(変形例)
上述の実施形態1および2において、記録制御装置50は、乗員感情レベルの変化が大きい場合に直前に記録した映像データの保持期間を長くなる方向に変更するようにしてもよい。とくに、乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になり、そのときの乗員感情レベルが大きく変化した場合に直前に記録した映像データの保持期間を長くなる方向に変更する。
(Modification)
In
乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態に大きく変化した場合に、車両の周囲に危険や事故等の乗員を不快にさせる要因が発生した可能性が高い。しかしながら、このような場合には、乗員感情レベルが大きく変化する前の乗員感情レベルは小さいため、直前の映像データの保持期間Tは短く決定されている。この映像データの保持期間を長くなる方向に変更することで、直前の映像データを含めて、映像データを長く記録部20に保持することができる。記録制御装置50は、乗員感情レベルが大きく変化した場合に直前に記録した映像データに削除禁止フラグを付加するようにしてもよい。保持期間を長くなる方向に変更する場合には、乗員感情レベルが大きく変化した直後の映像データの保持期間Tと同じ保持期間とすることが好ましい。
If the emotional state of the occupant changes significantly from a comfortable state or joyful state to an unpleasant state or angered state, there is a possibility that a danger, accident, or other factor that makes the occupant uncomfortable has occurred around the vehicle. high. However, in such a case, since the occupant's emotional level is small before the occupant's emotional level changes significantly, the holding period T of the immediately preceding image data is set to be short. By lengthening the holding period of the video data, the video data including the previous video data can be held in the
上述の実施形態において、乗員感情レベルを5段階による多段階で判定する例を示したが、乗員感情レベルの判定は、0~100や、-5~5などの任意の多段階を定めて判定してもよい。また、保持期間を30分、4時間、12時間、・・・などとする例を示したが、記録制御装置50は、長短を有する保持期間を任意に定めることができる。また、記録制御装置50は、快適な状態や喜びなどの感情状態が最も高く、例えば上述の例では乗員感情レベルが5のとき保持期間を0分として、映像データを記録部20に記録しないようにしてもよい。
In the above-described embodiment, an example of judging the occupant's emotion level in multiple stages of five stages was shown, but the judgment of the occupant's emotion level is determined by setting arbitrary multiple stages such as 0 to 100 and -5 to 5. You may In addition, an example of holding periods of 30 minutes, 4 hours, 12 hours, . In addition, the
また上述の実施形態においては、乗員の感情として、快適な状態、不快な状態、喜びおよび怒りの感情状態に基づいて説明したが、これらの感情状態に限らず、悲しみ、驚き、焦燥、呆れなど様々な乗員の感情状態を推定して本装置に用いることができる。また、撮像部10は、車両の外部だけでなく車室内を撮像するものであってもよく、記録部20に車室内を撮像した映像データを記録するようにしてもよい。
In the above-described embodiment, the emotions of the occupant are explained based on the emotional states of comfort, discomfort, joy and anger, but not limited to these emotional states, sadness, surprise, impatience, disgust, etc. Various occupant emotional states can be estimated and used by the system. In addition, the
次に、上述の実施形態および変形例に係る記録制御装置50、記録制御方法および記録制御プログラムの特徴を説明する。
実施形態および変形例に係る記録制御装置50は、映像データ取得部51、乗員感情判定部52および記録処理部53を備える。映像データ取得部51は、車両周囲の映像を撮影した映像データを取得する。乗員感情判定部52は、車室内の乗員の生体情報を検出する生体センサ30からの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。記録処理部53は、乗員感情判定部52により判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部20に記録させる。これにより、記録制御装置50は、乗員感情レベルに応じて映像データの保持期間を定めることができる。例えば、記録制御装置50は、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲における事故など異変が起こり得るとして、映像データを長く記録部20に残すことができる。また、記録処理部53は、乗員感情判定部52により判定した乗員感情レベルに基づいて、映像データの区切りを決定して映像データを記録部に記録させる。これにより、記録制御装置50は、乗員感情レベルに応じて映像データの区切り位置を定めることができる。
Next, features of the
A
また乗員感情判定部52は、推定した乗員感情の履歴に基づいて、乗員感情レベルを判定する基準を変更する。これにより、記録制御装置50は、乗員の性質に応じて乗員感情レベルを多段階に評価することができる。
Further, the occupant
また記録処理部53は、乗員感情判定部52により判定した乗員感情レベルの変化が大きいときに、直前に記録した映像データの保持期間を変更する。これにより、記録制御装置50は、例えば車両の周囲に危険や事故等の乗員を不快にさせる要因が発生した可能性が高い場合に、直前の映像データを含めて記録部20での保持期間を長くなる方向に変更することができる。
Further, the
また記録処理部53は、保持期間に基づいて、映像データを記録部20から削除するタイミングを決定する。これにより、記録制御装置50は、記録容量に限りのある記録部20において、記録する空き領域を確保し、新たな映像データを記録することができる。
また乗員には運転者および同乗者が含まれており、乗員感情判定部52は、運転者および同乗者についてそれぞれの乗員感情レベルを判定し、運転者の乗員感情レベルと、同乗者の生体情報を用いて重み付けをした同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する。これにより、記録制御装置50は、運転者および同乗者についての総合的な乗員感情レベルによって、映像データの保持期間を定めることができる。
The
The occupants include the driver and the fellow passengers. A comprehensive passenger emotional level is determined by the passenger emotional level of the fellow passenger weighted using . Thereby, the
実施形態および変形例に係る記録制御方法は、映像データ取得ステップ、乗員感情判定ステップおよび記録処理ステップを備える。映像データ取得ステップは、車両周囲の映像を撮影した映像データを取得する。乗員感情判定ステップは、車室内の乗員の生体情報を検出する生体センサ30からの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。記録処理ステップは、乗員感情判定ステップにより判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部20に記録させる。この記録制御方法によって、乗員感情レベルに応じて映像データの保持期間を定めることができる。例えば、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲における事故など異変が起こり得るとして、映像データを長く記録部20に残すことができる。
A recording control method according to an embodiment and modifications includes a video data acquisition step, an occupant emotion determination step, and a recording processing step. The image data acquisition step acquires image data obtained by photographing an image around the vehicle. The occupant emotion determination step estimates the occupant's emotion based on information from the
実施形態および変形例に係る記録制御プログラムは、映像データ取得ステップ、乗員感情判定ステップおよび記録処理ステップをコンピュータに実行させる。映像データ取得ステップは、車両周囲の映像を撮影した映像データを取得する。乗員感情判定ステップは、車室内の乗員の生体情報を検出する生体センサ30からの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。記録処理ステップは、乗員感情判定ステップにより判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部20に記録させる。この記録制御プログラムによって、乗員感情レベルに応じて映像データの保持期間を定めることができる。例えば、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲における事故など異変が起こり得るとして、映像データを長く記録部20に残すことができる。
A recording control program according to the embodiment and modifications causes a computer to execute a video data acquisition step, an occupant emotion determination step, and a recording processing step. The image data acquisition step acquires image data obtained by photographing an image around the vehicle. The occupant emotion determination step estimates the occupant's emotion based on information from the
以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。 The above has been described based on the embodiments of the present invention. Those skilled in the art will appreciate that these embodiments are illustrative and that various variations and modifications are possible within the scope of the claims of the present invention, and that such variations and modifications also fall within the scope of the claims of the present invention. It is about to be done. Accordingly, the description and drawings herein are to be regarded in an illustrative rather than a restrictive sense.
20 記録部
30 生体センサ
50 記録制御装置
51 映像データ取得部
52 乗員感情判定部
53 記録処理部
20
Claims (2)
車室内の乗員の生体情報を検出する生体センサからの情報に基づいて前記乗員の感情を推定し、乗員感情レベルを判定する乗員感情判定部と、
前記乗員感情レベルに基づいて、前記映像データの保持期間を決定して前記映像データを記録部に記録させる記録処理部と、
を備え、
前記乗員には運転者および同乗者が含まれており、
前記乗員感情判定部は、前記運転者および前記同乗者についてそれぞれの前記乗員感情レベルを判定し、前記運転者の乗員感情レベルと、前記同乗者の生体情報を用いて重み付けをした前記同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する
ことを特徴とする記録制御装置。 a video data acquisition unit that acquires video data obtained by shooting a video around the vehicle;
an occupant emotion determination unit that estimates the occupant's emotion based on information from a biosensor that detects the occupant's biometric information in the vehicle interior and determines the occupant's emotion level;
a recording processing unit that determines a holding period of the video data based on the occupant's emotional level and records the video data in a recording unit;
with
the occupants include a driver and passengers;
The occupant emotion determination unit determines the occupant emotion level of each of the driver and the fellow passenger, and weights the occupant emotion level of the driver and the biometric information of the fellow passenger. A recording control device characterized by determining a comprehensive passenger emotional level based on the passenger emotional level.
車両周囲の映像を撮影した映像データを取得するステップと、
車室内の乗員の生体情報を検出する生体センサからの情報に基づいて前記乗員の感情を推定し、乗員感情レベルを判定するステップと、
前記乗員感情レベルに基づいて、前記映像データの保持期間を決定して前記映像データを記録部に記録させるステップと、
を実行し、
前記乗員には運転者および同乗者が含まれており、
前記運転者および前記同乗者についてそれぞれの前記乗員感情レベルを判定し、前記運転者の乗員感情レベルと、前記同乗者の生体情報を用いて重み付けをした前記同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する
ことを特徴とする記録制御方法。 the computer
a step of acquiring image data obtained by capturing an image around the vehicle;
a step of estimating the emotion of the occupant based on information from a biosensor that detects the biometric information of the occupant in the vehicle and determining the occupant's emotion level;
determining a holding period of the video data based on the occupant's emotional level and recording the video data in a recording unit;
and run
the occupants include a driver and passengers;
The occupant emotional level of each of the driver and the fellow passenger is determined, and the occupant emotional level of the driver and the occupant emotional level of the fellow passenger weighted using the biometric information of the fellow passenger are comprehensively evaluated. A recording control method characterized by determining an appropriate occupant emotional level.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022118596A JP7294509B2 (en) | 2018-07-20 | 2022-07-26 | Recording control device and recording control method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018136497A JP7124510B2 (en) | 2018-07-20 | 2018-07-20 | Recording control device, recording control method and recording control program |
JP2022118596A JP7294509B2 (en) | 2018-07-20 | 2022-07-26 | Recording control device and recording control method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018136497A Division JP7124510B2 (en) | 2018-07-20 | 2018-07-20 | Recording control device, recording control method and recording control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022145726A true JP2022145726A (en) | 2022-10-04 |
JP7294509B2 JP7294509B2 (en) | 2023-06-20 |
Family
ID=86772708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022118596A Active JP7294509B2 (en) | 2018-07-20 | 2022-07-26 | Recording control device and recording control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7294509B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123057A1 (en) * | 2016-12-28 | 2018-07-05 | 本田技研工業株式会社 | Information providing system |
-
2022
- 2022-07-26 JP JP2022118596A patent/JP7294509B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123057A1 (en) * | 2016-12-28 | 2018-07-05 | 本田技研工業株式会社 | Information providing system |
Also Published As
Publication number | Publication date |
---|---|
JP7294509B2 (en) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022145725A (en) | Recording control device and recording control method | |
JP4702418B2 (en) | Imaging apparatus, image region existence determination method and program | |
JP2007150993A (en) | Imaging apparatus and imaging apparatus with interval imaging function | |
US10262208B2 (en) | Automatic selection of cinemagraphs | |
CN106982331B (en) | Camera and electronic apparatus | |
JP7370446B2 (en) | In-vehicle video recording device and its control method | |
JP2018120497A (en) | Recording apparatus, recording method, and program | |
JP2008171108A (en) | Face condition determining device and imaging device | |
JP4635742B2 (en) | Imaging apparatus and imaging program | |
JP7294509B2 (en) | Recording control device and recording control method | |
JP2012231327A (en) | Imaging apparatus, imaging method, and program | |
JP2010178259A (en) | Digital camera | |
US20080062184A1 (en) | Image-capturing apparatus | |
JP5386880B2 (en) | Imaging device, mobile phone terminal, imaging method, program, and recording medium | |
JP5547447B2 (en) | Vehicle information recording device | |
JP7447455B2 (en) | Vehicle recording control device and vehicle recording control method | |
CN109480375B (en) | Control method of safety helmet capable of intelligently identifying retrograde motion | |
JPH11161798A (en) | Vehicle driver monitoring device | |
JP7401968B2 (en) | Shooting control device, shooting system, and shooting control method | |
JP2009129389A (en) | Information processing apparatus and method, and program | |
CN104735342B (en) | Moving image processing apparatus, dynamic image processing method and recording medium | |
WO2024116595A1 (en) | Video recording control device and video recording method | |
JP7279512B2 (en) | Recording device, recording method, and program | |
JP2009225103A (en) | Camera | |
JP7460362B2 (en) | Driver state estimation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7294509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |