JP2010287190A - Driving information recording device and driving information processing program - Google Patents
Driving information recording device and driving information processing program Download PDFInfo
- Publication number
- JP2010287190A JP2010287190A JP2009142747A JP2009142747A JP2010287190A JP 2010287190 A JP2010287190 A JP 2010287190A JP 2009142747 A JP2009142747 A JP 2009142747A JP 2009142747 A JP2009142747 A JP 2009142747A JP 2010287190 A JP2010287190 A JP 2010287190A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- voice
- sound
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両およびその運転に関する情報を記録する運転情報記録装置および運転情報処理プログラムに関する。 The present invention relates to a driving information recording apparatus and a driving information processing program for recording information relating to a vehicle and its driving.
第１の従来技術として、加速度が閾値を超えた場合に、音声認識を行うことによって、事故音声が含まれているかどうかを判断する音声認識部を有するドライブレコーダが知られている（たとえば特許文献１参照）。 As a first conventional technique, a drive recorder having a voice recognition unit that determines whether or not an accident voice is included by performing voice recognition when acceleration exceeds a threshold value is known (for example, Patent Documents). 1).
また第２の従来技術として、音響信号から所定周波数帯域の信号を抽出する信号抽出手段と、音響エネルギーが所定の設定レベル値を超えているか否かを判断するレベル検出手段と、音響エネルギーが所定の設定ピーク値を超えているか否かを検出するピーク検出手段とを具備する突発事象自動記録装置が知られる（たとえば特許文献２参照）。 As a second conventional technique, a signal extraction unit that extracts a signal in a predetermined frequency band from an acoustic signal, a level detection unit that determines whether or not the acoustic energy exceeds a predetermined set level value, and the acoustic energy is predetermined. There is known an unexpected event automatic recording device comprising a peak detection means for detecting whether or not a set peak value is exceeded (see, for example, Patent Document 2).
第１の従来技術では、事故音声に含まれる音声情報および所定周波数帯域の信号に含まれる音声情報が、どのような事象に基づく音声情報であるのかは、人間が判断しなければならないという問題点がある。 In the first prior art, it is necessary for a human to determine what kind of event the sound information included in the accident sound and the sound information included in the signal of the predetermined frequency band are based on. There is.
第２の従来技術では、音声情報に含まれる音声の大きさによって音声情報以外の、たとえば映像情報などの記録情報を分類することはできても、音声を生じさせた事象の種類に応じて記録情報を分類することができないという問題点がある。 In the second prior art, recording information such as video information other than the voice information can be classified according to the volume of the voice included in the voice information, but the recording is performed according to the type of the event that caused the voice. There is a problem that information cannot be classified.
本発明の目的は、音声情報を生じさせた事象を自動的に解析することができ、音声を生じさせた事象の種類に応じて記録情報を分類することのできる運転情報記録装置および運転情報処理プログラムを提供することである。 An object of the present invention is to provide a driving information recording apparatus and a driving information processing system that can automatically analyze an event that causes voice information and that can classify recorded information according to the type of the event that causes the voice. Is to provide a program.
本発明（１）に従えば、運転情報記録装置は、撮像部と、画像記憶部と、音声情報取得部と、音声解析部と、情報分類部とを含んで構成される。撮像部は、車両に搭載され、撮像対象を撮像する。画像記憶部は、撮像部によって撮像された画像情報を記憶する。音声情報取得部は、車両に搭載され、少なくとも画像撮影時周囲の音声情報を取得する。音声解析部は、音声情報を解析する。情報分類部は、音声解析部の解析結果に基づいて画像記憶部に記憶された画像情報を分類する。分類結果記録部は、情報分類部による分類結果を記録する。 According to the present invention (1), the driving information recording apparatus includes an imaging unit, an image storage unit, a voice information acquisition unit, a voice analysis unit, and an information classification unit. The imaging unit is mounted on the vehicle and images an imaging target. The image storage unit stores image information captured by the imaging unit. The sound information acquisition unit is mounted on the vehicle and acquires at least sound information around the time of image capturing. The voice analysis unit analyzes voice information. The information classification unit classifies the image information stored in the image storage unit based on the analysis result of the voice analysis unit. The classification result recording unit records the classification result by the information classification unit.
また本発明（５）に従えば、運転情報処理プログラムは、コンピュータを、画像記憶部、音声解析部、および音声分類部として機能させる。画像記憶部は、撮像対象を撮像する撮像部からの画像情報を記憶する。音声解析部は、少なくとも画像撮影時の周囲の音声情報を解析する。音声分類部は、前記音声解析部の解析結果に基づいて、前記画像記憶部に記憶された画像情報を分類する。 According to the invention (5), the driving information processing program causes the computer to function as an image storage unit, a voice analysis unit, and a voice classification unit. The image storage unit stores image information from the imaging unit that images the imaging target. The voice analysis unit analyzes at least surrounding voice information at the time of image capturing. The voice classification unit classifies the image information stored in the image storage unit based on the analysis result of the voice analysis unit.
本発明（１）によれば、音声解析部は、音声情報を解析し、情報分類部は、音声解析部の解析結果に基づいて画像記憶部に記憶された画像情報を分類する。これによって、音声情報を生じさせた事象を自動的に解析することができる。したがって、音声情報を生じさせた事象に基づいて画像情報を分類することができる。 According to the present invention (1), the voice analysis unit analyzes the voice information, and the information classification unit classifies the image information stored in the image storage unit based on the analysis result of the voice analysis unit. As a result, it is possible to automatically analyze the event that caused the voice information. Therefore, it is possible to classify the image information based on the event that caused the sound information.
また本発明（５）によれば、運転情報処理プログラムは、コンピュータを、画像記憶部、音声解析部、および音声分類部として機能させる。これによって、運転情報記録装置を、コンピュータによって実現することができる。 According to the invention (5), the driving information processing program causes the computer to function as an image storage unit, a voice analysis unit, and a voice classification unit. Thus, the driving information recording device can be realized by a computer.
以下、図面を参照しながら本発明を実施するための形態を、複数の形態について説明する。以下の説明においては、各形態に先行する形態ですでに説明している事項に対応している部分には同一の参照符を付し、重複する説明を略す場合がある。構成の一部のみを説明している場合、構成の他の部分は、先行して説明している形態と同様とする。実施の各形態で具体的に説明している部分の組合せばかりではなく、特に組合せに支障が生じなければ、実施の形態同士を部分的に組合せることも可能である。またそれぞれの実施形態は、本発明に係る技術を具体化するために例示するものであり、本発明の技術的範囲を限定するものではない。本発明に係る技術内容は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることが可能である。以下の説明は、運転情報記録装置１０および運転情報記録方法についての説明をも含む。 Hereinafter, a plurality of embodiments for carrying out the present invention will be described with reference to the drawings. In the following description, parts corresponding to items already described in the forms preceding each form may be denoted by the same reference numerals, and overlapping descriptions may be omitted. When only a part of the configuration is described, the other parts of the configuration are the same as those described in the preceding section. Not only the combination of the parts specifically described in each embodiment, but also the embodiments can be partially combined as long as the combination does not hinder. Moreover, each embodiment is illustrated in order to embody the technique which concerns on this invention, and does not limit the technical scope of this invention. The technical contents according to the present invention can be variously modified within the technical scope described in the claims. The following description also includes descriptions of the driving information recording device 10 and the driving information recording method.
（第１実施形態）
図１は、本発明の第１実施形態に係る運転情報記録装置１０の構成を表すブロック図である。第１実施形態に係る運転情報記録装置１０は、車両およびその運転に関する情報を記録する装置である。運転情報記録方法は、運転情報記録装置１０を用いて、車両およびその運転の情報を記録する方法である。
(First embodiment)
FIG. 1 is a block diagram showing the configuration of the driving information recording apparatus 10 according to the first embodiment of the present invention. The driving information recording apparatus 10 according to the first embodiment is an apparatus that records information on a vehicle and its driving. The driving information recording method is a method of recording information on the vehicle and its driving using the driving information recording device 10.
運転情報記録装置は、撮像部１２と、画像記憶部１３と、音声情報取得部１４と、音声解析部１６と、情報分類部１７と、分類結果記録部１８とを含んで構成される。撮像部１２は、車両に搭載され、予め定める角度範囲に位置する対象を撮像する。画像記憶部１３は、撮像部１２によって撮像された画像情報を記憶する。音声情報取得部１４は、車両に搭載され、周囲の音声情報を取得する。音声解析部１６は、音声情報からその音声情報に含まれる音量情報を抽出し、この抽出した音量情報の時間的変化を解析する。情報分類部１７は、音声解析部１６の解析結果に基づいて画像記憶部１３に記憶された画像情報を分類する。分類結果記録部１８は、情報分類部１７による分類結果を記録する。 The driving information recording device includes an imaging unit 12, an image storage unit 13, a voice information acquisition unit 14, a voice analysis unit 16, an information classification unit 17, and a classification result recording unit 18. The imaging unit 12 is mounted on a vehicle and images a target located in a predetermined angle range. The image storage unit 13 stores image information captured by the imaging unit 12. The voice information acquisition unit 14 is mounted on the vehicle and acquires surrounding voice information. The voice analysis unit 16 extracts volume information included in the voice information from the voice information, and analyzes temporal changes of the extracted volume information. The information classification unit 17 classifies the image information stored in the image storage unit 13 based on the analysis result of the voice analysis unit 16. The classification result recording unit 18 records the classification result obtained by the information classification unit 17.
第１実施形態において、撮像部１２は、カメラ１９を有し、カメラ１９は、電荷結合素子（Charge Coupled Device, 略称「ＣＣＤ」）を備える。このカメラ１９は、車両の前方方向を撮影するために、たとえばルームミラー裏のフロントガラスに、図示外のブラケットを介して取付けられる。カメラ１９は車両前方に向けて固定される。運転情報記録装置１０では、車両に２つまたは３つのカメラ１９を設けることが可能であり、具体的には車室内の２つめのカメラ１９を撮影用カメラ１９とし、３つめのカメラ１９を車両後方の撮影用カメラ１９とすることも可能である。運転情報記録装置１０には、これらのカメラ１９の稼動および停止を切換えるための撮影スイッチが設けられる場合もある。 In the first embodiment, the imaging unit 12 includes a camera 19, and the camera 19 includes a charge coupled device (abbreviated as “CCD”). The camera 19 is attached to, for example, a windshield behind a rearview mirror via a bracket (not shown) in order to photograph the front direction of the vehicle. The camera 19 is fixed toward the front of the vehicle. In the driving information recording apparatus 10, it is possible to provide two or three cameras 19 on the vehicle. Specifically, the second camera 19 in the passenger compartment is used as the photographing camera 19, and the third camera 19 is used as the vehicle. It is also possible to use the rear photographing camera 19. The driving information recording apparatus 10 may be provided with a photographing switch for switching between operation and stop of these cameras 19.
ただし他の実施形態では、カメラ１９は、受像のための素子として、ＣＭＯＳ（complementary metal oxide semiconductor）を含んで実現されてもよい。またカメラが撮像する範囲は、前後左右のみならず、上下の向きを含む構成としてもよい。 However, in another embodiment, the camera 19 may be realized including a complementary metal oxide semiconductor (CMOS) as an element for receiving an image. Further, the range captured by the camera may be configured to include not only the front, rear, left and right directions but also the up and down directions.
撮像部１２によって撮像される予め定める角度範囲は、カメラ１９の取付けられる位置およびカメラ１９の姿勢によって設定され、カメラ１９を含む撮像部１２は、その角度範囲に位置する対象を撮像する。撮像の対象は、カメラ１９に対して固定された物体、カメラ１９に対して相対的に移動する物体およびカメラ１９に入射する光を含む。 The predetermined angle range imaged by the imaging unit 12 is set by the position at which the camera 19 is attached and the posture of the camera 19, and the imaging unit 12 including the camera 19 images an object located in the angle range. The imaging target includes an object fixed with respect to the camera 19, an object that moves relative to the camera 19, and light incident on the camera 19.
第１実施形態において車両には、加速度検出部２１が設けられる。加速度検出部２１は、撮像部１２および音声情報取得部１４が搭載される車両の加速度を検出する。具体的には、加速度検出部２１は、加速度を検出するＧセンサ２２を含む。Ｇセンサ２２は、車両の前後方向および左右方向に作用する加速度、いわゆるＧセンサ出力値を検出可能である。このＧセンサ出力値は、ベクトルとして出力されるので、向きと大きさとの情報を含む。車両の運転席に着座した乗務員の正面方向およびその後方を前後方向とし、車両に着座した乗務員の左および右方向を左右方向とする。前後方向および左右方向に直交する方向を上下方向とする。加速度検出部２１は、左右方向の加速度を検出してＧセンサ出力値を出力するＧセンサ２２と、前後方向の加速度を検出してＧセンサ出力値を出力するＧセンサ２２とを有する。これによって、左右方向の加速度と前後方向の加速度とは、互いに独立して検出されて記録される。本実施形態において、自車両の加速度を加速度検出部２１によって検出し、加速度を表す信号として出力する工程を、「加速度検出工程」と称する。 In the first embodiment, an acceleration detection unit 21 is provided in the vehicle. The acceleration detection unit 21 detects the acceleration of the vehicle on which the imaging unit 12 and the audio information acquisition unit 14 are mounted. Specifically, the acceleration detection unit 21 includes a G sensor 22 that detects acceleration. The G sensor 22 can detect acceleration acting in the front-rear direction and the left-right direction of the vehicle, that is, a so-called G sensor output value. Since this G sensor output value is output as a vector, it includes information on direction and size. The front direction and the rear side of the crew seated in the driver's seat of the vehicle are the front and rear directions, and the left and right directions of the crew seated in the vehicle are the left and right directions. The direction orthogonal to the front-rear direction and the left-right direction is defined as the up-down direction. The acceleration detection unit 21 includes a G sensor 22 that detects a lateral acceleration and outputs a G sensor output value, and a G sensor 22 that detects a longitudinal acceleration and outputs a G sensor output value. As a result, the lateral acceleration and the longitudinal acceleration are detected and recorded independently of each other. In the present embodiment, the process of detecting the acceleration of the host vehicle by the acceleration detection unit 21 and outputting it as a signal representing the acceleration is referred to as an “acceleration detection process”.
情報分類部１７は、加速度検出部２１の検出結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。情報分類部１７は、前述のように音声解析部１６の解析結果にも基づいて画像情報を分類するので、複数の要素に基づいた分類を行う。音声解析部１６および情報分類部１７は、コンピュータの中央演算処理装置（central processing unit, 略称「ＣＰＵ」）によって実現され、本実施形態では、１つのＣＰＵ２４によって実現される。コンピュータは、このＣＰＵと、画像記憶部１３を含み、本実施形態ではさらに分類結果記録部もコンピュータの一部に含まれて実現される。 The information classification unit 17 classifies the image information stored in the image storage unit 13 based on the detection result of the acceleration detection unit 21. Since the information classification unit 17 classifies the image information based on the analysis result of the voice analysis unit 16 as described above, the information classification unit 17 performs classification based on a plurality of elements. The voice analysis unit 16 and the information classification unit 17 are realized by a central processing unit (abbreviated as “CPU”) of a computer, and are realized by one CPU 24 in the present embodiment. The computer includes the CPU and the image storage unit 13, and in the present embodiment, the classification result recording unit is also included in a part of the computer.
図２は、本発明の第１実施形態における音声解析部１６が出力する典型的な解析結果の一例を表す図である。図２において横軸は時間変化を表し、縦軸は音量を表す。図２（ａ）は、突発音声の音声情報に含まれる音量情報を表し、図２（ｂ）は、継続音声の音声情報に含まれる音量情報を表す。図２（ｃ）は、複合音声の音声情報に含まれる音量情報を表す。音声解析部１６は、音声情報が取得した音声情報を、音量情報の時間的変化に基づいて、突発音声と、継続音声と、複合音声とに解析する。 FIG. 2 is a diagram illustrating an example of a typical analysis result output from the voice analysis unit 16 according to the first embodiment of the present invention. In FIG. 2, the horizontal axis represents time change, and the vertical axis represents volume. FIG. 2A shows volume information included in the audio information of the sudden voice, and FIG. 2B shows volume information included in the audio information of the continuous voice. FIG. 2C shows volume information included in the audio information of the composite audio. The voice analysis unit 16 analyzes the voice information acquired by the voice information into a sudden voice, a continuous voice, and a composite voice based on a temporal change in the volume information.
突発音声は、たとえば衝突などの事象によって生じる音声であって、１秒以内に最大音量に達し、その後、速やかに減衰する。継続音声は、たとえばブレーキによってロックしたタイヤと路面とのスリップ音、叫び声などの人声、車両の警笛音、車体と固定構造物との摩擦音などであって、およそ一定の音量に達した後、数百マイクロ秒（microseconds, 略号「μｓ」）〜数秒程度継続する。複合音声は、継続音声の後に引き続いて突発音声が発生するもので、たとえばタイヤのスリップ音の後に引き続いて衝突音が発生する場合などに観測される。複合音声は、事故によって生じる音声として典型的なものである。 The sudden sound is a sound generated by an event such as a collision, for example, and reaches a maximum volume within one second, and then quickly decays. The continuous sound is, for example, a slip sound between a tire locked by a brake and a road surface, a human voice such as a scream, a horn sound of a vehicle, a friction sound between a vehicle body and a fixed structure, etc. It lasts for several hundred microseconds (abbreviation “μs”) to several seconds. The composite sound is a sudden sound that is generated after the continuous sound, and is observed, for example, when a collision sound is generated after the tire slip sound. Composite audio is typical of audio generated by an accident.
継続音声の音量が減衰した後、突発音声が発生する場合には、それぞれ継続音声および突発音声として認識されるのに対し、継続音声と突発音声とが引き続いて発生する場合には、継続音声および突発音声のいずれか一方として解析できない。この場合に、複合音声としてパターン認識することによって、事故によって生じる音声の典型的な音声を、パターン認識することができる。 When sudden sound occurs after the volume of the continuous sound is attenuated, it is recognized as continuous sound and sudden sound, respectively, whereas when continuous sound and sudden sound occur successively, continuous sound and sudden sound are recognized. It cannot be analyzed as one of the sudden sounds. In this case, by recognizing a pattern as a composite voice, a typical voice generated by an accident can be recognized as a pattern.
図３は、本発明の第１実施形態において解析の対象となる一般的な音量情報の一例を表す図である。音声解析部１６は、最大音量時刻ｔｍと、設定音量到達時刻ｔ１，ｔ２とを求める。最大音量時刻ｔｍは、音声情報が取得した音声情報の音量情報が最大値Ｖ１となった時刻である。設定音量到達時刻ｔ１，ｔ２は、最大音量時刻ｔｍの前後の時刻において、音声情報取得部１４が取得した音声情報の音量情報が、設定音量値Ｖ２となる時刻である。設定音量値Ｖ２は、最大値Ｖ１に零以上１以下の予め定める実数を乗じた値である。本実施形態において前記予め定める実数は、０．５に設定されるけれども、この予め定める実数は、外部からの入力によって定められ、可変とすることも可能である。また設定音量値Ｖ２は、最大値Ｖ１に対する相対的な値としてではなく、絶対的な値として設定することも可能である。 FIG. 3 is a diagram illustrating an example of general volume information to be analyzed in the first embodiment of the present invention. Sound analyzing unit 16 obtains a maximum volume time t m, and a volume setting arrival times t1, t2. The maximum volume time t m is the time when the volume information of the voice information acquired by the voice information becomes the maximum value V1. Setting the volume arrival times t1, t2, at around the time of the maximum volume time t m, the volume information of the audio information audio information acquiring unit 14 has acquired, the time at which the set volume value V2. The set volume value V2 is a value obtained by multiplying the maximum value V1 by a predetermined real number not less than 0 and not more than 1. In the present embodiment, the predetermined real number is set to 0.5. However, the predetermined real number is determined by an input from the outside and may be variable. The set volume value V2 can be set as an absolute value, not as a relative value with respect to the maximum value V1.
さらに音声解析部１６は、最大音量時刻ｔｍよりも前の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との時間間隔Ｔｉを求める。情報分類部１７は、時間間隔Ｔｉに基づいて、画像記憶部１３に記憶された画像情報を分類する。前記予め定める実数を、０．５に設定することによって、時間間隔Ｔｉは、最大値Ｖ１を示す音量情報のピークに関して半値幅となる。音量情報が、一定の時定数で減衰すると近似できる場合には、半値幅を求めることによって、数学的な解析が容易になる。 Further audio analysis section 16, before the loudest time t m, the maximum volume time t m nearest the preset volume arrival time to t1, later than the maximum volume the time t m, closest to the maximum volume time t m A time interval Ti with the set volume arrival time t2 is obtained. The information classification unit 17 classifies the image information stored in the image storage unit 13 based on the time interval Ti. By setting the predetermined real number to 0.5, the time interval Ti becomes a half width with respect to the peak of the volume information indicating the maximum value V1. When the volume information can be approximated by decaying with a constant time constant, mathematical analysis is facilitated by obtaining the half-value width.
図３に示すような解析の対象となる時間的範囲は、常時新たな範囲に更新が繰返される。事故が起こった場合には、左右方向および前後方向に関するＧセンサ出力値は、ベクトル和として加速度検出部２１から出力される。Ｇセンサが、左右方向および前後方向におけるＧセンサ出力値を、互いに独立した値として個別に出力する場合には、各Ｇセンサ出力値のベクトル和は、各Ｇセンサ出力値に基づいて、ＣＰＵによる計算によって求める構成としてもよい。前記加速度検出工程は、各Ｇセンサ出力値に基づいて、各Ｇセンサ出力値のベクトル和を出力する処理をも含むものとする。 The time range to be analyzed as shown in FIG. 3 is constantly updated to a new range. When an accident occurs, the G sensor output values in the left-right direction and the front-rear direction are output from the acceleration detection unit 21 as a vector sum. When the G sensor individually outputs the G sensor output values in the left-right direction and the front-rear direction as independent values, the vector sum of each G sensor output value is determined by the CPU based on each G sensor output value. It is good also as a structure calculated | required by calculation. The acceleration detection step also includes a process of outputting a vector sum of each G sensor output value based on each G sensor output value.
このＧセンサ出力値のベクトル和の大きさが予め定める値を超えたことを検出することによって、およそ２０秒間の時間的範囲の情報が記録として残される。記録として残される情報は、音量情報を含む音声情報、画像情報、車両に生じた加速度の時間的変化を表す情報などを含む。たとえば車両に生じた加速度が予め定める加速度の値を超えて最大値ＧＭＡＸとなった時刻から８秒後に画像情報および音声情報の取得を停止することによって、全体としては衝突よりも１２秒前の時刻から衝突よりも８秒後の時刻までの情報が記録される。Ｇセンサ出力値についての前記予め定める値としては、たとえば０．４×９．８＝３．９２メートル毎秒毎秒（略号「ｍ／ｓ２」）とする。 By detecting that the magnitude of the vector sum of the G sensor output values exceeds a predetermined value, information of a time range of about 20 seconds is recorded. Information remaining as a record includes sound information including sound volume information, image information, information indicating temporal changes in acceleration generated in the vehicle, and the like. For example, by stopping the acquisition of image information and audio information 8 seconds after the time when the acceleration generated in the vehicle exceeds a predetermined acceleration value and reaches the maximum value G MAX , as a whole, 12 seconds before the collision Information from the time until the time 8 seconds after the collision is recorded. The predetermined value for the G sensor output value is, for example, 0.4 × 9.8 = 3.92 meters per second per second (abbreviation “m / s 2 ”).
図３には、解析の対象となる音量情報を示し、音量情報の時間的変化を表す音量変化曲線２６とともに、最大値Ｖ１、最大音量時刻ｔｍ、設定音量値Ｖ２および設定音量到達時刻ｔ１，ｔ２を示している。解析の対象となる時間的範囲の音声情報において、音量情報を解析する処理は、最大値検出段階と、最大音量時刻検出段階と、設定音量決定段階と、設定音量到達時刻検出段階と、時間間隔算出段階とを含む。最大値検出段階では、解析の対象となる時間的範囲において、音量情報の最大値Ｖ１を検出する。最大音量時刻検出段階では、音量情報が最大値Ｖ１となった時刻として最大音量時刻ｔｍを検出する。設定音量算出段階では、最大値Ｖ１に予め定める実数、本実施形態では０．５を乗ずることによって、設定音量値Ｖ２を決定する。 FIG. 3 shows volume information to be analyzed, and along with a volume change curve 26 representing temporal changes in volume information, the maximum value V1, the maximum volume time t m , the set volume value V2, and the set volume arrival time t1, t2 is shown. In the audio information in the time range to be analyzed, the process of analyzing the volume information includes a maximum value detection stage, a maximum volume time detection stage, a set volume determination stage, a set volume arrival time detection stage, and a time interval. Calculation stage. In the maximum value detection stage, the maximum value V1 of the volume information is detected in the time range to be analyzed. In the maximum volume time detection stage, the maximum volume time t m is detected as the time when the volume information reaches the maximum value V1. In the set volume calculation stage, the set volume value V2 is determined by multiplying the maximum value V1 by a predetermined real number, which is 0.5 in this embodiment.
設定音量到達時刻検出段階では、最大音量時刻ｔｍよりも前の時刻において、音量情報が、設定音量値Ｖ２となる設定音量到達時刻のうち、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１を検出する。また最大音量時刻ｔｍよりも後の時刻において、音量情報が、設定音量値Ｖ２となる設定音量到達時刻のうち、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２を検出する。時間間隔算出段階では、最大音量時刻ｔｍよりも前の最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との間の時間間隔Ｔｉを求める。 Setting the volume arrival time detection step, at time before the loudest time t m, the volume information, among the setting volume arrival time as a set volume value V2, the closest set volume arrival time to maximum volume time t m t1 Is detected. At time later than the maximum volume the time t m, the volume information, among the setting volume arrival time as a set volume value V2, detects the maximum volume time t closest set volume in m arrival time t2. The time interval calculating step, the maximum sound volume time t m nearest the preset volume arrival time to maximum volume time t m prior than t1, the closest set volume reaches the maximum volume time t m is later than the maximum volume the time t m A time interval Ti between the time t2 is obtained.
このようにして求めた時間間隔Ｔｉが大きければ大きいほど、突発音声よりも継続音声に近いと判断することができ、時間間隔Ｔｉが小さければ小さいほど、継続音声よりも突発音声に近いと判断することができる。さらに、最大音量時刻ｔｍよりも後の変化が、一定の時定数で減衰すると近似できる場合には、減衰速度によって音量情報の減衰を数値化して分析することが可能となる。この場合に、最大音量時刻ｔｍよりも後の最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２と、最大音量時刻ｔｍとの時間差を「ｔ１／２」と置き、時定数を「ｋ」と置くと、前記時間差ｔ１／２と時定数ｋとの間には、
ｋ＝ｔ１／２／ｌｎ２ …（１）
の関係が成立つ。ｌｎはネピアの数を底とする自然対数であり、ｌｎ２≒０．６９３である。このような定量的な解析は、音声情報を生じさせた事象についての解析を意味し、事故などの要因の特定などに利用することができる。
It can be determined that the larger the time interval Ti obtained in this way is, the closer to the continuous sound than the sudden sound, and the smaller the time interval Ti is, the closer to the sudden sound is determined to be the continuous sound. be able to. Furthermore, the change in after the maximum volume time t m is if it can be approximated with attenuated at a constant time constant, it is possible to analyze and quantify the attenuation of sound information by decay rate. In this case, the maximum volume time t m nearest the preset volume arrival time to maximum volume time t m is later than t2, a time difference between the loudest time t m Place a "t 1/2", the time constant " k ”, the time difference t 1/2 and the time constant k are
k = t 1/2 / ln2 (1)
The relationship is established. In is a natural logarithm based on the number of Napier, and ln2≈0.693. Such quantitative analysis means analysis of an event that causes voice information, and can be used to identify factors such as accidents.
第１実施形態では、突発音声および継続音声のそれぞれに対して音量情報の閾値を設定し、閾値を超える音量情報が含まれる場合に、情報分類部１７が「事故」または「非常事態」として分類を行う。複合音声についても、複合音声として認識された音量情報の継続音声の時間的領域と、突発音声の時間的領域において、それぞれに閾値を設定し、閾値を超える音量情報が含まれる場合に、情報分類部１７が突発音声および継続音声の場合と同様の分類を行う。 In the first embodiment, a threshold value of volume information is set for each of the sudden sound and the continuous sound, and when the volume information exceeding the threshold is included, the information classification unit 17 classifies as “accident” or “emergency”. I do. As for complex audio, when a threshold is set for each of the continuous area of the continuous volume of the volume information recognized as the complex audio and the temporal area of the sudden sound, and the volume information exceeding the threshold is included, the information classification The unit 17 performs the same classification as in the case of sudden sound and continuous sound.
画像記憶部１３は、半導体メモリ、ハードディスク、コンパクトフラッシュ（登録商標）カード、ＳＤ−ＲＡＭ（synchronous dynamic random access memory）、ＳＤ（secure digital）カードなどのいずれかを含む。また画像記憶部１３は、１種類の記憶媒体２７を含んで実現されてもよく、複数種類の記憶媒体２７を含んで実現されてもよい。音声情報取得部１４は、マイク２８を含んで構成され、さらにアンプを含んでもよく、さらにアナログ−デジタル変換を行うアナログ−デジタル部を含んで構成されてもよい。第１実施形態において周囲の音声情報とは、具体的にはマイク２８の周辺の音声情報であり、車両内および車外において生じる音声のうち、マイク２８に到達する音声情報を意味する。 The image storage unit 13 includes any one of a semiconductor memory, a hard disk, a compact flash (registered trademark) card, an SD-RAM (synchronous dynamic random access memory), an SD (secure digital) card, and the like. The image storage unit 13 may be realized including one type of storage medium 27 or may be realized including a plurality of types of storage media 27. The audio information acquisition unit 14 includes a microphone 28, may further include an amplifier, and may further include an analog-digital unit that performs analog-digital conversion. In the first embodiment, the surrounding audio information is specifically audio information around the microphone 28, and means audio information that reaches the microphone 28 among sounds generated inside and outside the vehicle.
分類結果記録部１８は、半導体メモリ、ハードディスク、コンパクトフラッシュ（登録商標）カード、ＳＤ−ＲＡＭ、ＳＤカードでもよく、さらにＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ（digital versatile disk）、ＢＤ（blu-ray disk）などの記録媒体３３のいずれかを含む。また分類結果記録部１８は、１種類の記録媒体３３を含んで実現されてもよく、複数種類の記録媒体３３を含んで実現されてもよい。 The classification result recording unit 18 may be a semiconductor memory, a hard disk, a compact flash (registered trademark) card, an SD-RAM, an SD card, and a CD-ROM (compact disk read only memory), DVD (digital versatile disk), BD ( a recording medium 33 such as a blu-ray disk). The classification result recording unit 18 may be realized including one type of recording medium 33 or may be realized including a plurality of types of recording media 33.
分類結果記録部１８は、画像記憶部１３に記憶される画像情報を、分類結果を表す情報とともに他の記録媒体３３にコピーまたは移動させてもよく、また予め分類結果を表す特定の領域を複数設定しておき、分類結果に応じて画像情報を、特定の領域にコピーまたは移動させる構成とすることもできる。またさらに画像記憶部１３に記憶される画像情報に、分類結果を追記するか、または予め定める記憶領域の情報を書き換えることによって、分類結果を記録してもよい。本実施形態において分類結果記録部１８は、分類結果記録部１８に含まれる記録媒体３３に、それぞれの画像情報と分類結果との関連性を記録する。 The classification result recording unit 18 may copy or move the image information stored in the image storage unit 13 to another recording medium 33 together with the information indicating the classification result, and a plurality of specific areas that represent the classification result in advance. It is also possible to configure such that image information is copied or moved to a specific area in accordance with the classification result. Further, the classification result may be recorded by adding the classification result to the image information stored in the image storage unit 13 or rewriting information in a predetermined storage area. In the present embodiment, the classification result recording unit 18 records the relationship between each image information and the classification result on the recording medium 33 included in the classification result recording unit 18.
図４は、本発明の第１実施形態において表示部３４から出力される表示の一例を表す図である。運転情報記録装置１０は、表示部３４をさらに含んで構成される。撮像部１２は、予め定める角度範囲に位置する対象を予め定める時間内に複数回、撮像する。表示部３４は、撮像部１２が撮像した画像情報の少なくとも一部を、撮像された順序で映像として表示する。また表示部３４は、分類結果を映像とともに表示する。表示部３４は、ディスプレイ３６と、表示制御部３８とを含み、表示制御部３８は、ディスプレイ３６に表示される表示内容を制御する。たとえば、撮像部１２は、１秒間に３０回の撮像を行い、１秒間に３０枚の画像情報を取得することによって、個々の画像情報にそれらの順序の情報を含むいわゆる映像としての情報を取得することもできる。また単位時間当たりに撮像を行う回数が、任意に設定される構成としてもよい。 FIG. 4 is a diagram illustrating an example of a display output from the display unit 34 in the first embodiment of the present invention. The driving information recording apparatus 10 further includes a display unit 34. The imaging unit 12 images a target located in a predetermined angle range a plurality of times within a predetermined time. The display unit 34 displays at least a part of the image information captured by the imaging unit 12 as a video in the order of imaging. The display unit 34 displays the classification result together with the video. The display unit 34 includes a display 36 and a display control unit 38, and the display control unit 38 controls display contents displayed on the display 36. For example, the imaging unit 12 captures 30 times per second and acquires 30 pieces of image information per second, thereby acquiring information as a so-called image including information on the order of each piece of image information. You can also Further, the number of times of imaging per unit time may be arbitrarily set.
第１実施形態では、音声情報取得部１４によって取得された音声情報に突発音声が含まれる場合には、突発音声が含まれている時刻と同じ時刻の画像情報を表示部３４に表示するときに、「衝突」という分類結果を画像情報とともに表示する。突発音声であっても、衝突による音声の時間変化とは異なる場合には、「衝突」とは表示せず、「突発音声」または単に「突発」と表示してもよい。 In the first embodiment, when sudden sound is included in the sound information acquired by the sound information acquiring unit 14, when image information at the same time as the time when the sudden sound is included is displayed on the display unit 34. The classification result of “collision” is displayed together with the image information. Even if it is a sudden sound, if it is different from the time change of the sound due to the collision, it may not be displayed as “collision” but may be displayed as “sudden sound” or simply “sudden”.
第１実施形態によれば、音声解析部１６は、音声情報からその音声情報に含まれる音量情報を抽出し、この抽出した音量情報の時間的変化を解析する。情報分類部１７は、音声解析部１６の解析結果に基づいて画像記憶部１３に記憶された画像情報を分類する。分類結果記録部１８は、情報分類部１７による分類結果を記録する。これによって、音声情報を、音量情報の時間的変化に基づいて解析することができる。したがって、音声情報を生じさせた事象を自動的に解析することができる。したがって、音声情報を生じさせた事象に基づいて画像情報を分類することができる。 According to the first embodiment, the voice analysis unit 16 extracts volume information included in the voice information from the voice information, and analyzes temporal changes of the extracted volume information. The information classification unit 17 classifies the image information stored in the image storage unit 13 based on the analysis result of the voice analysis unit 16. The classification result recording unit 18 records the classification result obtained by the information classification unit 17. Thereby, the voice information can be analyzed based on the temporal change of the volume information. Therefore, it is possible to automatically analyze the event that caused the voice information. Therefore, it is possible to classify the image information based on the event that caused the sound information.
また第１実施形態によれば、音声解析部１６は、音声情報が取得した音声情報を、音量情報の時間的変化に基づいて、突発音声と、継続音声と、複合音声とに解析する。これによって、事故が起こったときに生じる特有の音声として、衝突音などの突発音声と、タイヤのスリップ音および人声などの継続音声とを、事故が起こったときに特有の音声ではない他の音声と区別することができる。また路面と、ブレーキによってロックしたタイヤとがスリップするときに生じる継続音声に引き続いて、衝突による突発音声が生じるときなどの、複合音声を検出することができる。これによって、事故に特有な音声を、その他の音声に対して区別することができる。したがって、事故に特有な音声に基づいて、画像情報を分類することができる。 According to the first embodiment, the voice analysis unit 16 analyzes the voice information acquired by the voice information into a sudden voice, a continuous voice, and a composite voice based on a temporal change in the volume information. As a result, sudden sounds such as collision sounds and continuous sounds such as tire slip sounds and human voices can be used as special sounds that occur when an accident occurs. Can be distinguished from voice. Further, it is possible to detect a composite sound such as when a sudden sound due to a collision occurs following a continuous sound generated when a road surface and a tire locked by a brake slip. As a result, it is possible to distinguish voices specific to an accident from other voices. Therefore, the image information can be classified based on the sound peculiar to the accident.
また第１実施形態によれば、情報分類部１７は、加速度検出部２１の検出結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。加速度検出部２１は、撮像部１２および音声情報取得部１４が搭載される車両の加速度を検出する。これによって、音量情報の時間的変化と車両の加速度とに基づいて、画像情報を分類することができる。したがって、単独の要素に基づいて画像情報を分類する場合に比べて、高い精度で画像情報を分類することができる。 Further, according to the first embodiment, the information classification unit 17 classifies the image information stored in the image storage unit 13 based on the detection result of the acceleration detection unit 21. The acceleration detection unit 21 detects the acceleration of the vehicle on which the imaging unit 12 and the audio information acquisition unit 14 are mounted. Thereby, the image information can be classified based on the temporal change of the volume information and the acceleration of the vehicle. Therefore, it is possible to classify image information with higher accuracy than in the case of classifying image information based on a single element.
また第１実施形態によれば、運転情報記録装置１０は、表示部３４をさらに含んで構成される。撮像部１２は、予め定める角度範囲に位置する対象を予め定める時間内に複数回、撮像する。表示部３４は、撮像部１２が撮像した画像情報の少なくとも一部を、撮像された順序で映像として表示する。また表示部３４は、分類結果を映像とともに表示する。これによって、音量情報の時間的変化に基づいた解析結果を参照しながら、画像情報の画像を確認することができる。したがって、画像の確認とともに、音声情報を生じさせた事象についての情報を確認することができる。したがって、表示部３４によって表示された画像を視認によって確認するときに、事故原因の把握を容易にすることができる。 Further, according to the first embodiment, the driving information recording device 10 is configured to further include the display unit 34. The imaging unit 12 images a target located in a predetermined angle range a plurality of times within a predetermined time. The display unit 34 displays at least a part of the image information captured by the imaging unit 12 as a video in the order of imaging. The display unit 34 displays the classification result together with the video. Thereby, the image of the image information can be confirmed while referring to the analysis result based on the temporal change of the volume information. Therefore, it is possible to confirm information about the event that generated the audio information as well as confirming the image. Therefore, when the image displayed on the display unit 34 is confirmed by visual recognition, the cause of the accident can be easily grasped.
さらに第１実施形態によれば、音声解析部１６は、最大音量時刻ｔｍと、設定音量到達時刻とを求める。音声解析部１６は、最大音量時刻ｔｍよりも前の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との時間間隔Ｔｉを求める。情報分類部１７は、時間間隔Ｔｉに基づいて、画像記憶部１３に記憶された画像情報を分類する。これによって、音声情報の時間的変化を、値によって表すことができるので、音声を生じさせた事象の時間的変化を、値として表すことができる。したがって、音声情報の時間的変化を突発音声と継続音声と複合音声とに分類する場合に比べて、音声情報の時間的変化を高い精度で分類することができる。これによって、音声を生じさせた事象の時間的変化の把握を容易にすることができる。 Furthermore, according to the first embodiment, the voice analysis unit 16 obtains the maximum volume time t m and the set volume arrival time. Voice analyzing unit 16 before the maximum volume time t m, the maximum volume time t m nearest the preset volume arrival time to t1, later than the maximum volume the time t m, the closest set the maximum volume time t m A time interval Ti with the volume arrival time t2 is obtained. The information classification unit 17 classifies the image information stored in the image storage unit 13 based on the time interval Ti. As a result, the temporal change of the voice information can be represented by the value, and therefore the temporal change of the event that caused the voice can be represented by the value. Therefore, the temporal change of the voice information can be classified with higher accuracy than the case where the temporal change of the voice information is classified into the sudden voice, the continuous voice, and the composite voice. As a result, it is possible to easily grasp the temporal change of the event that caused the sound.
さらに第１実施形態によれば、前記予め定める実数は、０．５に設定される。これによって、時間的変化を伴う音量情報の半値幅を求めることができる。これによって、音量情報が一定の時定数で減衰すると近似できる音声情報に対して、音声情報に対する数学的な解析を行うことができる。したがって、半値幅を求めない場合に比べて、音声情報に対する数学的な解析を容易にすることができ、計算速度を短縮することができる。 Furthermore, according to the first embodiment, the predetermined real number is set to 0.5. As a result, the half-value width of the volume information accompanied with the temporal change can be obtained. As a result, it is possible to perform a mathematical analysis on the voice information that can be approximated when the volume information is attenuated with a constant time constant. Therefore, it is possible to facilitate mathematical analysis on the speech information and to reduce the calculation speed as compared with the case where the half width is not obtained.
運転情報記録方法では、運転情報記録装置１０を用いる。運転情報記録方法は、撮像工程と、画像記憶工程と、音声情報取得工程と、音量解析工程と、情報分類工程と、分類結果記録工程とを含んで構成される。撮像工程では、予め定める角度範囲に位置する対象を、撮像部１２によって撮像する。画像記憶工程では、撮像部１２によって撮像された画像情報を、画像記憶部１３によって記憶する。音声情報取得工程では、音声情報取得部１４によって、周囲の音声情報を取得する。音量解析工程では、音声情報からその音声情報に含まれる音量情報を抽出し、この抽出した音量情報の時間的変化を、音声解析部１６によって解析する。情報分類工程では、音声解析部１６の解析結果に基づいて、画像記憶部１３に記憶された画像情報を情報分類部１７によって分類する。分類結果記録工程では、情報分類部１７による分類結果を、分類結果記録部１８によって記録する。 In the driving information recording method, the driving information recording device 10 is used. The driving information recording method includes an imaging process, an image storage process, a voice information acquisition process, a volume analysis process, an information classification process, and a classification result recording process. In the imaging process, the imaging unit 12 captures an image of an object located in a predetermined angle range. In the image storage step, the image information captured by the imaging unit 12 is stored by the image storage unit 13. In the voice information acquisition step, the voice information acquisition unit 14 acquires surrounding voice information. In the sound volume analysis step, sound volume information included in the sound information is extracted from the sound information, and the time change of the extracted sound volume information is analyzed by the sound analysis unit 16. In the information classification step, the information classification unit 17 classifies the image information stored in the image storage unit 13 based on the analysis result of the voice analysis unit 16. In the classification result recording step, the classification result by the information classification unit 17 is recorded by the classification result recording unit 18.
第１実施形態において運転情報記録方法は、さらに表示工程を含み、表示工程では、画像記憶工程で記憶した画像情報と分類結果記録工程で記録した分類結果とを表示部３４によって表示する。画像情報については、撮像工程で撮像した枚数の画像を表示するけれども、個々の画像情報については、少なくとも各画像情報の一部を表示すればよい。たとえば各画像情報の一部が、分類結果を表示することによって視認不可能となる場合も許容される。 In the first embodiment, the driving information recording method further includes a display step. In the display step, the display unit 34 displays the image information stored in the image storage step and the classification result recorded in the classification result recording step. As for image information, the number of images taken in the imaging step is displayed. However, for each piece of image information, at least a part of each piece of image information may be displayed. For example, a case where a part of each piece of image information cannot be visually recognized by displaying the classification result is allowed.
図５は、本発明の第１実施形態の運転情報記録方法における各操作段階を表すフローチャートである。第１実施形態では、まずコンピュータ、撮像部１２、音声情報取得部１４、加速度検出部２２、のスイッチの態様がオン状態となり、その後、本処理が開始される。表示部３４が含まれる場合には、表示部３４のスイッチの態様もオン状態となる。コンピュータがオン状態となると、図示外のＲＯＭに記録される運転情報処理プログラムがＣＰＵ２４に読み込まれる。 FIG. 5 is a flowchart showing each operation stage in the driving information recording method of the first embodiment of the present invention. In the first embodiment, first, the switches of the computer, the imaging unit 12, the audio information acquisition unit 14, and the acceleration detection unit 22 are turned on, and then this process is started. When the display unit 34 is included, the switch mode of the display unit 34 is also turned on. When the computer is turned on, a driving information processing program recorded in a ROM (not shown) is read into the CPU 24.
本処理開始後、ステップａ１の取得操作段階に移行し、撮像工程と、音声情報取得工程とを行う。本実施形態の音声情報取得工程では、取得した音声情報の記憶も行う。また本実施形態の取得操作段階では、加速度検出器による加速度検出工程も行う。次にステップａ２の記憶解析操作段階に移行し、画像記憶工程と、音量解析工程とを行う。次にステップａ３の情報分類操作段階に移行し、情報分類工程を行う。情報分類工程では、加速度検出工程における検出結果にも基づいて、画像情報の分類を行う。次にステップａ４の記録操作段階に移行し、分類結果記録工程を行う。その後、本処理は終了する。 After the start of this process, the process proceeds to the acquisition operation stage of step a1, and an imaging process and an audio information acquisition process are performed. In the voice information acquisition process of the present embodiment, the acquired voice information is also stored. In the acquisition operation stage of the present embodiment, an acceleration detection process using an acceleration detector is also performed. Next, the process proceeds to the storage analysis operation stage of step a2, and an image storage process and a sound volume analysis process are performed. Next, the process proceeds to the information classification operation stage of step a3, and the information classification process is performed. In the information classification step, the image information is classified based on the detection result in the acceleration detection step. Next, the process proceeds to the recording operation stage of step a4, and a classification result recording process is performed. Thereafter, this process ends.
したがって、撮像工程で撮像された単一の画像情報に対して、画像記憶工程は、撮像工程の後に行われ、情報分類工程は、少なくとも撮像工程の後に行われ、分類結果記録工程は、情報分類工程の後に行われる。音声情報取得工程で取得された特定の音声情報の音量情報に対して、音量解析工程は、音声情報取得工程の後に行われ、情報分類工程は、少なくとも撮像工程の後に行われ、分類結果記録工程は、情報分類工程の後に行われる。本処理のうち、記憶解析操作段階、情報分類操作段階、記憶操作段階は、運転情報処理プログラムがＣＰＵ２４によって実行され、運転情報記録装置１０のＣＰＵ２４を除く各構成部品がＣＰＵ２４によって制御されることによって行われる。 Therefore, for a single image information imaged in the imaging process, the image storage process is performed after the imaging process, the information classification process is performed at least after the imaging process, and the classification result recording process is performed in the information classification process. Performed after the process. For the volume information of the specific audio information acquired in the audio information acquisition process, the volume analysis process is performed after the audio information acquisition process, and the information classification process is performed at least after the imaging process, and the classification result recording process Is performed after the information classification step. Among the processes, the storage analysis operation stage, the information classification operation stage, and the storage operation stage are executed by the CPU 24 executing the driving information processing program and controlling the components except the CPU 24 of the driving information recording apparatus 10 by the CPU 24. Done.
第１実施形態によれば、音量解析工程では、音声情報からその音声情報に含まれる音量情報を抽出し、この抽出した音量情報の時間的変化を、音声解析部１６によって解析する。情報分類工程では、音声解析部１６の解析結果に基づいて、画像記憶部１３に記憶された画像情報を情報分類部１７によって分類する。分類結果記録工程では、情報分類部１７による分類結果を、分類結果記録部１８によって記録する。これによって、音声情報を、音量情報の時間的変化に基づいて解析することができる。したがって、音声情報を生じさせた事象を自動的に解析することができる。したがって、音声情報を生じさせた事象に基づいて画像情報を分類することができる。 According to the first embodiment, in the sound volume analysis step, the sound volume information included in the sound information is extracted from the sound information, and the sound analysis unit 16 analyzes the temporal change of the extracted sound volume information. In the information classification step, the information classification unit 17 classifies the image information stored in the image storage unit 13 based on the analysis result of the voice analysis unit 16. In the classification result recording step, the classification result by the information classification unit 17 is recorded by the classification result recording unit 18. Thereby, the voice information can be analyzed based on the temporal change of the volume information. Therefore, it is possible to automatically analyze the event that caused the voice information. Therefore, it is possible to classify the image information based on the event that caused the sound information.
また第１実施形態によれば、情報分類部工程では、加速度検出工程の検出結果に基づいて、画像記憶部１３に記憶された画像情報の分類を行う。加速度検出工程では、加速度検出部２１によって自車両の加速度を検出する。これによって、音量情報の時間的変化と車両の加速度との両方に基づいて、画像情報を分類することができる。したがって、単独の要素に基づいて画像情報を分類する場合に比べて、高い精度で画像情報を分類することができる。 According to the first embodiment, in the information classification unit process, the image information stored in the image storage unit 13 is classified based on the detection result of the acceleration detection process. In the acceleration detection step, the acceleration detection unit 21 detects the acceleration of the host vehicle. Thereby, the image information can be classified based on both the temporal change of the volume information and the acceleration of the vehicle. Therefore, it is possible to classify image information with higher accuracy than in the case of classifying image information based on a single element.
（第２実施形態）
第２実施形態に係る運転情報記録装置１０は、第１実施形態に係る運転情報記録装置１０に類似しており、以下、第１実施形態に対する第２実施形態の相違点を中心に説明する。第２実施形態において音声解析部１６は、音声情報取得部１４が取得した音声情報を周波数で解析して複数の周波数帯域に分割する。情報分類部１７は、複数の周波数帯域のうちの一部または全部における音量情報の時間的変化の解析結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。
(Second Embodiment)
The driving information recording apparatus 10 according to the second embodiment is similar to the driving information recording apparatus 10 according to the first embodiment, and hereinafter, description will be made focusing on differences between the second embodiment and the first embodiment. In the second embodiment, the voice analysis unit 16 analyzes the voice information acquired by the voice information acquisition unit 14 by frequency and divides it into a plurality of frequency bands. The information classification unit 17 classifies the image information stored in the image storage unit 13 based on the analysis result of the temporal change in the volume information in a part or all of the plurality of frequency bands.
音声解析部１６は、その一部としてアナログ−デジタル変換部とＺ変換部とを含む。アナログ−デジタル変換部は、マイク２８を介して取得した音声情報をアナログ−デジタル変換する。Ｚ変換部は、アナログ−デジタル変換部によって変換された後のデジタル信号を、Ｚ変換する。これによって、得られた音声情報を周波数で解析することができる。他の実施形態においてはＺ変換を行う代わりにフーリエ変換を行ってもよい。音声解析部１６は、音声情報を周波数で解析した後、さらに複数の周波数帯域に分割し、音量情報に対する解析を、各周波数帯域において実行する。 The voice analysis unit 16 includes an analog-digital conversion unit and a Z conversion unit as a part thereof. The analog-to-digital conversion unit performs analog-to-digital conversion on sound information acquired via the microphone 28. The Z conversion unit performs Z conversion on the digital signal converted by the analog-digital conversion unit. Thereby, the obtained voice information can be analyzed by frequency. In other embodiments, Fourier transform may be performed instead of Z transform. The voice analysis unit 16 analyzes the voice information by frequency, and further divides the voice information into a plurality of frequency bands, and performs analysis on the volume information in each frequency band.
各周波数帯域は、本実施形態では１００Ｈｚの周波数の幅を有する帯域としたけれども、これを入力によって可変とすることも可能である。各周波数帯域を大きくすれば大きくするほど、音声解析部１６による計算速度は上昇するけれども、各周波数帯域を小さくすれば小さくするほど、音声情報を詳細に分類することができる。 Although each frequency band is a band having a frequency width of 100 Hz in this embodiment, it can be made variable by input. As each frequency band is increased, the calculation speed by the voice analysis unit 16 increases. However, as each frequency band is reduced, the voice information can be classified in detail.
たとえば車両の警笛音、ブレーキによってロックしたタイヤのスリップ音、携帯電話の着信音、悲鳴などの人声は、いずれも解析結果では継続音声として分類される場合が多いけれども、それぞれの音声の種類、すなわち音声を生じさせた事象の種類によって、周波数帯域が異なる。またラジオからの人声と実際の人声とでは、同一の周波数帯域を含むけれども、実際の人声はラジオからの人声が含まない周波数帯域を含む。また周波数帯域毎の音量の差異から、ラジオからの人声か実際の人声かを自動的に判断することができる。 For example, vehicle horn sounds, tire slip sounds locked by brakes, mobile phone ringtones, screams, and other human voices are all classified as continuous voices in the analysis results. That is, the frequency band varies depending on the type of event that caused the sound. The human voice from the radio and the actual human voice include the same frequency band, but the actual human voice includes a frequency band that does not include the voice from the radio. In addition, it is possible to automatically determine whether the voice is from the radio or the actual voice from the difference in volume for each frequency band.
音声解析部１６は、最大音量時刻ｔｍと、設定音量到達時刻ｔ１，ｔ２とを求める。設定音量値Ｖ２は、最大値Ｖ１に零以上１以下の予め定める実数を乗じた値である。さらに音声解析部１６は、最大音量時刻ｔｍよりも前の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との時間間隔Ｔｉを求める。情報分類部１７は、時間間隔Ｔｉに基づいて、画像記憶部１３に記憶された画像情報を分類する。第２実施形態において前記予め定める実数は、複数種類設定され、音声解析部１６は、予め定める各実数に応じた複数の時間間隔Ｔｉを求める。 Sound analyzing unit 16 obtains a maximum volume time t m, and a volume setting arrival times t1, t2. The set volume value V2 is a value obtained by multiplying the maximum value V1 by a predetermined real number not less than 0 and not more than 1. Further audio analysis section 16, before the loudest time t m, the maximum volume time t m nearest the preset volume arrival time to t1, later than the maximum volume the time t m, closest to the maximum volume time t m A time interval Ti with the set volume arrival time t2 is obtained. The information classification unit 17 classifies the image information stored in the image storage unit 13 based on the time interval Ti. In the second embodiment, a plurality of predetermined real numbers are set, and the voice analysis unit 16 obtains a plurality of time intervals Ti corresponding to the predetermined real numbers.
たとえば予め定める実数を０．３と０．５と０．８とに定めると、設定音量値Ｖ２は、音量の最大値Ｖ１の３割、５割および８割の値となる。これによって、音量の最大値Ｖ１の３割、５割および８割の音量となった時刻を設定音量到達時刻として求める。仮に解析の対象となる時間的範囲において継続音声の音声情報しか取得されなかった場合には、設定音量到達時刻は、算出不可となるけれども、この結果から、解析の対象となる時間的範囲における音声情報には、最大値Ｖ１の８割以下の音量となる音声は録音されなかったことが、判断される。第２実施形態では、音声解析部１６によるこのような解析は、各周波数帯域において行われる。 For example, if the predetermined real numbers are determined to be 0.3, 0.5, and 0.8, the set volume value V2 is 30%, 50%, and 80% of the maximum volume value V1. As a result, the time when the volume reaches 30%, 50%, and 80% of the maximum volume value V1 is obtained as the set volume arrival time. If only continuous voice information is acquired in the time range to be analyzed, the set volume arrival time cannot be calculated, but from this result, the sound in the time range to be analyzed can be calculated. In the information, it is determined that no sound having a volume of 80% or less of the maximum value V1 has been recorded. In the second embodiment, such analysis by the voice analysis unit 16 is performed in each frequency band.
音声解析部１６の結果から、音声情報は、突発音声、継続音声、複合音声などのパターンとともに、さらにそれぞれの音声の種類、すなわち音声を生じさせた事象の種類を判定することができる。これによってたとえば、事故に伴う典型的な音声として、衝突音、車両の警笛音、ブレーキによってロックしたタイヤのスリップ音、悲鳴および叫び声などの人声などを認識する。情報分類部１７は、音声解析部１６によるこのような認識結果に応じて画像情報を分類する。 From the result of the voice analysis unit 16, the voice information can determine the type of each voice, that is, the type of the event that caused the voice, along with patterns such as sudden voice, continuous voice, and composite voice. As a result, for example, as a typical voice accompanying an accident, a collision sound, a horn sound of a vehicle, a slip sound of a tire locked by a brake, a human voice such as a scream and a scream are recognized. The information classification unit 17 classifies the image information according to such a recognition result by the voice analysis unit 16.
図６は、本発明の第２実施形態における情報分類工程の各段階を表すフローチャートである。第２実施形態において運転情報記録装置１０は、基準情報記憶部をさらに含んで構成される。基準情報記憶部には、事故において観測される典型的な複数の音声情報が、それぞれ基準情報として記憶される。基準情報のうち最大音量値は、音声情報取得部１４による感度の差異などから、実際に取得される音声情報と基準情報との差異が大きい場合もある。最大音量値に比べ、周波数帯域毎の音量の最大値Ｖ１の比率は、音声情報取得部１４による感度の差異によって影響されることは少ない。また最大音量到達時刻から、その直後の設定音量到達時刻ｔ２までの時間は、特に衝突音に関しては録音条件に関わらず、音声を生じる事象が同じであれば、ほぼ同じである場合が多い。 FIG. 6 is a flowchart showing each stage of the information classification process in the second embodiment of the present invention. In the second embodiment, the driving information recording apparatus 10 further includes a reference information storage unit. A plurality of typical audio information observed in an accident is stored as reference information in the reference information storage unit. Of the reference information, the maximum volume value may have a large difference between the actually acquired sound information and the reference information due to a difference in sensitivity by the sound information acquisition unit 14 or the like. Compared to the maximum volume value, the ratio of the maximum volume value V1 for each frequency band is less affected by the difference in sensitivity of the audio information acquisition unit 14. Also, the time from the maximum sound volume arrival time to the set sound volume arrival time t2 immediately after that is often almost the same for the collision sound, regardless of the recording conditions, as long as the sound producing event is the same.
したがって、周波数帯域毎の音量の比率および最大音量到達時刻からその直後の設定音量到達時刻ｔ２までの時間を、実際に録音した音声情報と基準情報とで比較することによって、実際に録音した音声情報を生じさせた事象を自動的に特定することができる。 Therefore, by comparing the volume ratio for each frequency band and the time from the maximum volume arrival time to the set volume arrival time t2 immediately thereafter with the actually recorded voice information and the reference information, the actually recorded voice information It is possible to automatically identify the event that caused
図６に示すように、本処理開始後、ステップｂ１の衝突音比較段階に移行し、マイク２８を介して録音され音声情報取得部１４に取得された音声情報を、衝突音についての基準情報と比較する。次にステップｂ２の衝突判断段階に移行し、録音された音声情報と、衝突音についての基準情報との類比判断を行う。この段階において衝突音とは類似していないと判断された場合には、ステップｂ４のタイヤスリップ音比較段階に移行し、類似していると判断された場合には、ステップｂ３の衝突事象記憶段階に移行する。衝突事象記憶段階では、録音された音声情報に衝突音が含まれていたとの分類結果を出力する。 As shown in FIG. 6, after the start of this process, the process proceeds to the collision sound comparison stage of step b1, and the audio information recorded via the microphone 28 and acquired by the audio information acquisition unit 14 is converted into the reference information about the collision sound. Compare. Next, the process proceeds to the collision determination stage of step b2, and a comparison between the recorded voice information and the reference information about the collision sound is performed. If it is determined at this stage that the sound is not similar to the collision sound, the process proceeds to the tire slip sound comparison stage at step b4. If it is determined that the sound is similar, the collision event storage stage at step b3. Migrate to In the collision event storage stage, a classification result indicating that the recorded sound information includes a collision sound is output.
ステップｂ４のタイヤスリップ音比較段階では、マイク２８を介して録音された音声情報を、タイヤのスリップ音についての基準情報と比較する。次にステップｂ５のタイヤスリップ判断段階に移行し、録音された音声情報と、タイヤのスリップ音についての基準情報との類比判断を行う。この段階においてタイヤのスリップ音とは類似していないと判断された場合には、処理を終了し、類似していると判断された場合には、ステップｂ６のタイヤスリップ記憶段階に移行する。タイヤスリップ記憶段階では、録音された音声情報にタイヤのスリップ音が含まれていたとの分類結果を出力する。 In the tire slip sound comparison stage of step b4, the sound information recorded through the microphone 28 is compared with reference information about the tire slip sound. Next, the process proceeds to the tire slip determination stage of step b5, and a comparison between the recorded audio information and the reference information about the tire slip noise is performed. If it is determined that the tire slip sound is not similar at this stage, the process is terminated, and if it is determined that the tire is similar, the process proceeds to the tire slip storage stage of step b6. In the tire slip storage stage, a classification result indicating that the recorded sound information includes tire slip sounds is output.
図６には、衝突音の基準情報に対する比較、およびタイヤのスリップ音の基準情報に対する比較の２つの比較を行う場合を一例として挙げたけれども、たとえばクラクション、悲鳴など、事故における特有の音声を生じさせるさらに多くの事象についての基準情報と比較を行う構成とすることも可能である。 FIG. 6 shows an example in which two types of comparisons are performed, that is, comparison with reference information of a collision sound and comparison with reference information of a tire slip sound. For example, a unique voice in an accident such as a horn or a scream is generated. It is also possible to adopt a configuration in which comparison is made with reference information for more events to be performed.
表示部３４は、画像記憶部１３に記憶された画像情報とともに、情報分類部１７による分類結果を表示する。これらの分類結果は、たとえば文字情報として「衝突」、「クラクション」、「タイヤのスリップ」、「携帯電話の着信音」、「悲鳴」などと表示してもよい。また音声を生じさせた事象に、事故に多い典型的な事象が含まれる場合には、事象の原因に言及し、たとえば「タイヤロック」、「注意散漫」などという表示を出力する構成とすることもできる。また衝突音が生じている時間の画像においてのみ「衝突音」など表示すると、衝突音が短いことで、「衝突音」と表示される時間が短くなる場合には、映像の中で衝突音が生じている時間よりも長い時間、「衝突」と表示することも可能である。 The display unit 34 displays the classification result by the information classification unit 17 together with the image information stored in the image storage unit 13. These classification results may be displayed as character information such as “collision”, “horn”, “tire slip”, “cell phone ringtone”, “scream”, and the like. In addition, if the event that caused the sound includes typical events that are common in accidents, mention the cause of the event and output a display such as “tire lock” or “distraction”, for example. You can also. In addition, when “impact sound” or the like is displayed only in the image of the time when the impact sound is generated, the impact sound is short. It is also possible to display “collision” for a longer period of time than is occurring.
第２実施形態によれば、音声解析部１６は、音声情報取得部１４が取得した音声情報を周波数で解析して複数の周波数帯域に分割する。情報分類部１７は、複数の周波数帯域のうちの一部または全部における音量情報の時間的変化の解析結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。これによって、音声を生じさせた事象の特定を容易にすることができる。音声を生じさせる事象が異なれば、音声の周波数帯域も異なるので、全ての周波数帯域の音量について時間的変化を解析する場合に比べて、音声情報を生じさせた事象の特定を、高い精度で行うことができる。たとえば、ラジオなどから出力される音声と、実際の音声とでは、音声の周波数帯域が異なるので、これらを互いに区別することができる。 According to the second embodiment, the voice analysis unit 16 analyzes the voice information acquired by the voice information acquisition unit 14 by frequency and divides it into a plurality of frequency bands. The information classification unit 17 classifies the image information stored in the image storage unit 13 based on the analysis result of the temporal change in the volume information in a part or all of the plurality of frequency bands. As a result, it is possible to easily identify the event that caused the sound. If the event that causes the sound is different, the frequency band of the sound is also different, so that the event that caused the sound information is identified with higher accuracy than when analyzing the temporal change in the volume of all frequency bands. be able to. For example, since the sound output from a radio or the like and the actual sound have different frequency bands, they can be distinguished from each other.
さらに第２実施形態によれば、前記予め定める実数は、複数種類設定され、音声解析部１６は、予め定める各実数に応じた複数の時間間隔Ｔｉを求める。これによって、前記予め定める実数が１つのみに設定される場合に比べて、音声の増大および減衰に関する解析を、詳細に行うことができる。 Further, according to the second embodiment, a plurality of predetermined real numbers are set, and the speech analysis unit 16 obtains a plurality of time intervals Ti corresponding to the predetermined real numbers. Thereby, compared with the case where the predetermined real number is set to only one, the analysis regarding the increase and attenuation of the voice can be performed in detail.
（第３実施形態）
図７は、本発明の第３実施形態における運転情報記録方法の各操作段階を表すフローチャートである。第３実施形態に係る運転情報記録装置１０は、第１実施形態に係る運転情報記録装置１０に類似しており、以下、第１実施形態に対する第３実施形態の相違点を中心に説明する。本処理開始からステップａ４の記録操作段階までの処理は、図５において示した第１実施形態における処理と同様である。第３実施形態では、ステップａ４の記録操作段階の後、ステップａ５の出力操作段階に移行し、表示工程を行う。第３実施形態の出力操作段階では、さらに音声出力工程も行う。音声出力工程では、音声情報取得工程で取得および記憶した音声情報の出力を行う。
(Third embodiment)
FIG. 7 is a flowchart showing each operation stage of the driving information recording method according to the third embodiment of the present invention. The driving information recording apparatus 10 according to the third embodiment is similar to the driving information recording apparatus 10 according to the first embodiment, and hereinafter, description will be made focusing on differences between the third embodiment and the first embodiment. The processing from the start of this processing to the recording operation stage of step a4 is the same as the processing in the first embodiment shown in FIG. In the third embodiment, after the recording operation stage of step a4, the process proceeds to the output operation stage of step a5 to perform a display process. In the output operation stage of the third embodiment, an audio output process is further performed. In the voice output step, the voice information acquired and stored in the voice information acquisition step is output.
第３実施形態によれば、運転情報記録方法は、表示工程をさらに含んで構成される。表示工程では、表示部３４が、撮像部１２が撮像した画像情報の少なくとも一部を、撮像された順序で映像として表示し、また分類結果を映像とともに表示する。これによって、音量情報の時間的変化に基づいた解析結果を参照しながら、画像情報の画像を確認することができる。したがって、画像の確認とともに、音声情報を生じさせた事象についての情報を確認することができる。したがって、表示部３４によって表示された画像を視認によって確認するときに、事故原因の把握を容易にすることができる。 According to the third embodiment, the driving information recording method further includes a display step. In the display step, the display unit 34 displays at least a part of the image information captured by the imaging unit 12 as a video in the order of imaging, and displays the classification result together with the video. Thereby, the image of the image information can be confirmed while referring to the analysis result based on the temporal change of the volume information. Therefore, it is possible to confirm information about the event that generated the audio information as well as confirming the image. Therefore, when the image displayed on the display unit 34 is confirmed by visual recognition, the cause of the accident can be easily grasped.
（第４実施形態）
第４実施形態に係る運転情報記録装置１０は、第２実施形態に係る運転情報記録装置１０に類似しており、以下、第２実施形態に対する第４実施形態の相違点を中心に説明する。第４実施形態において情報分類部１７は、加速度変化算出部の算出結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。加速度変化算出部は、撮像部１２および音声情報取得部１４が搭載される車両の加速度の時間的変化を算出する。加速度の時間的変化のことを「加速度変化量」と称することもある。
(Fourth embodiment)
The driving information recording apparatus 10 according to the fourth embodiment is similar to the driving information recording apparatus 10 according to the second embodiment, and the description below will focus on the differences of the fourth embodiment from the second embodiment. In the fourth embodiment, the information classification unit 17 classifies the image information stored in the image storage unit 13 based on the calculation result of the acceleration change calculation unit. The acceleration change calculation unit calculates a temporal change in acceleration of a vehicle on which the imaging unit 12 and the audio information acquisition unit 14 are mounted. The temporal change in acceleration may be referred to as “acceleration change amount”.
加速度変化量は、たとえば０．１秒毎に算出され、０．１秒間の加速度変化量が予め定める第１の値よりも大きければ、情報分類部１７は、加速度変化量が大きいと判断して、急ブレーキによる急激な制動が行われたと判断する。０．１秒間の加速度変化量が前記第１の値よりも大きい第２の値を超える値であれば、情報分類部１７は、加速度変化量がさらに大きいと判断して、衝突が生じたと判断する。このように情報分類部１７は、音声解析部１６による解析結果と、加速度検出部２１の検出結果と、加速度変化算出部の算出結果とに応じて第１および第２実施形態よりもさらに多くの種類の分類結果を求めることが可能となる。 The acceleration change amount is calculated, for example, every 0.1 second. If the acceleration change amount for 0.1 second is larger than a predetermined first value, the information classification unit 17 determines that the acceleration change amount is large. Then, it is determined that sudden braking by sudden braking has been performed. If the acceleration change amount for 0.1 second exceeds the second value that is larger than the first value, the information classification unit 17 determines that the acceleration change amount is larger and determines that a collision has occurred. To do. As described above, the information classifying unit 17 is more than the first and second embodiments according to the analysis result by the voice analysis unit 16, the detection result of the acceleration detection unit 21, and the calculation result of the acceleration change calculation unit. It becomes possible to obtain the classification result of the type.
重力加速度は、およそ９．８メートル毎秒毎秒（略号「ｍ／ｓ２」）であるので、この物理量をＧｒと置くと、０．１秒間に９．８ｍ／ｓ２の変化があれば、０．１秒間当たりの加速度変化量は、１Ｇｒ変化したと表すことができる。これを１Ｇｒ／０．１ｓと表し、以下、「Ｇｒ／０．１ｓ」を０．１秒当たりの加速度変化量の単位とする。 Since the gravitational acceleration is approximately 9.8 meters per second (abbreviation “m / s 2 ”), if this physical quantity is set as Gr, if there is a change of 9.8 m / s 2 in 0.1 seconds, 0 The acceleration change amount per second can be expressed as 1 Gr change. This is expressed as 1 Gr / 0.1 s, and hereinafter, “Gr / 0.1 s” is a unit of acceleration change per 0.1 second.
第３実施形態において、前記第１の値は、たとえば０．４Ｇｒ／０．１ｓに定められ、単位時間当たりにこの値を超える加速度変化量が観測されたときには、急ブレーキと判断する。また第３実施形態において、前記第２の値は、たとえば２．０Ｇｒ／０．１ｓに定められ、単位時間当たりにこの値を超える加速度変化量が観測されたときには、衝突と判断する。 In the third embodiment, the first value is set to 0.4 Gr / 0.1 s, for example, and when an acceleration change amount exceeding this value is observed per unit time, it is determined that the brake is suddenly applied. In the third embodiment, the second value is set to, for example, 2.0 Gr / 0.1 s. When an acceleration change amount exceeding this value is observed per unit time, it is determined that a collision has occurred.
第３実施形態によれば、情報分類部１７は、加速度変化算出部の算出結果に基づいて、画像記憶部１３に記憶された画像情報を分類する。これによって、音量情報の時間的変化と車両の加速度の時間的変化とに基づいて、画像情報を分類することができる。したがって、単独の要素に基づいて画像情報を分類する場合に比べて、高い精度で画像情報を分類することができる。 According to the third embodiment, the information classification unit 17 classifies the image information stored in the image storage unit 13 based on the calculation result of the acceleration change calculation unit. Accordingly, the image information can be classified based on the temporal change in the volume information and the temporal change in the acceleration of the vehicle. Therefore, it is possible to classify image information with higher accuracy than in the case of classifying image information based on a single element.
（変形例）
本発明において情報分類部１７は、音声解析部１６の解析結果に基づいて画像記憶部１３に記憶された画像情報を分類すれば、足りる。他の実施形態では、車両の加速度および車両の加速度変化量に基づく分類を行わない構成とすることもでき、また車両の加速度および車両の加速度変化量のうちいずれか一方に基づく分類をさらに行うこともできる。またさらに他の実施形態では、音声解析部１６の解析結果に基づいた分類を行い、車両の加速度および車両の加速度変化量の両方に基づく分類を、さらに行う構成とすることもできる。
(Modification)
In the present invention, it is sufficient for the information classification unit 17 to classify the image information stored in the image storage unit 13 based on the analysis result of the voice analysis unit 16. In another embodiment, the classification based on the vehicle acceleration and the vehicle acceleration change amount may not be performed, and the classification based on either the vehicle acceleration or the vehicle acceleration change amount may be further performed. You can also. In still another embodiment, the classification based on the analysis result of the voice analysis unit 16 may be performed, and the classification based on both the vehicle acceleration and the vehicle acceleration change amount may be further performed.
またさらに他の実施形態では、自車両の加速度および加速度変化量のうち少なくともいずれか一方に基づく画像情報の分類を行ったのち、音声解析部１６の解析結果に基づいた画像情報の分類を行う構成とすることもできる。 In still another embodiment, the image information is classified based on at least one of the acceleration of the host vehicle and the amount of acceleration change, and then the image information is classified based on the analysis result of the voice analysis unit 16. It can also be.
またこれらいずれの情報分類部１７も、周波数で解析し複数の周波数帯域に分割して音量情報を解析する音声解析部１６と組合わせることができ、また周波数での解析を行わず、複数の周波数帯域に分割することなく全周波数帯域の音量情報を一括して解析する音量情報解析部と組合わせることもできる。 In addition, any of these information classification units 17 can be combined with the voice analysis unit 16 that analyzes the volume information by analyzing the frequency and dividing the frequency information into a plurality of frequency bands. It can also be combined with a volume information analysis unit that analyzes volume information of all frequency bands at once without dividing the band.
またこれらいずれの情報分類部１７および音声解析部１６も、分類結果を文字情報として表示する表示部３４と組み合わせることができ、また分類結果を簡単なイラストなどの画像情報として表示する表示部３４と組み合わせることもできる。また表示部３４が除かれた構成しての組合せも可能である。表示部３４が、運転情報記録装置１０から除かれた構成とする場合には、分類結果記録部１８に記録された情報および画像記憶部１３に記憶された情報を外部機器に出力できる構成とすることが好ましい。たとえば、パーソナルコンピュータを介して、このパーソナルコンピュータに接続される液晶表示装置などの表示部に対して、分類結果記録部１８および画像記憶部１３に記憶された情報を出力し、表示および再生を可能とする。また分類結果記録部１８および画像記憶部１３に記憶された情報が、運転情報記録装置１０よりも外部の記憶装置に記憶される構成とすることも可能である。 Any of these information classification unit 17 and voice analysis unit 16 can be combined with a display unit 34 that displays the classification result as character information, and a display unit 34 that displays the classification result as image information such as a simple illustration. It can also be combined. Further, a combination in which the display unit 34 is removed is also possible. When the display unit 34 is configured to be excluded from the driving information recording device 10, the configuration is such that the information recorded in the classification result recording unit 18 and the information stored in the image storage unit 13 can be output to an external device. It is preferable. For example, information stored in the classification result recording unit 18 and the image storage unit 13 can be output to a display unit such as a liquid crystal display device connected to the personal computer via a personal computer, and can be displayed and reproduced. And In addition, the information stored in the classification result recording unit 18 and the image storage unit 13 may be stored in a storage device external to the driving information recording device 10.
また前記のいずれの組合せにおいても、音声解析部１６の構成として、最大音量時刻ｔｍよりも前の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ１と、最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２との時間間隔Ｔｉを求める構成とすることも可能であり、また最大音量時刻ｔｍよりも後の、最大音量時刻ｔｍに最も近い設定音量到達時刻ｔ２と最大音量時刻ｔｍとの時間差を求める構成とすることもできる。また前記のいずれの組合せにおいても、音声解析部１６は、前記時間間隔Ｔｉと前記時間差との両方を求めてもよい。 Also in any combination of the, as a voice analysis unit 16, before the loudest time t m, the maximum volume at time t closest set volume in m arrival time t1, after the maximum volume at time t m of, it is also possible to adopt a configuration for determining the time interval Ti between the loudest time t m closest set volume arrival time t2, also later than the maximum volume the time t m, closest to the maximum volume time t m It can be configured to determine a time difference between the set volume arrival time t2 and the maximum volume time t m. In any of the above combinations, the voice analysis unit 16 may obtain both the time interval Ti and the time difference.
１０ 運転情報記録装置
１２ 撮像部
１３ 画像記憶部
１４ 音声情報取得部
１６ 音声解析部
１７ 情報分類部
１８ 分類結果記録部
２１ 加速度検出部
３４ 表示部
ｔｍ 最大音量時刻
ｔ１，ｔ２ 設定音量到達時刻
Ｖ１ 最大値
Ｖ２ 設定音量値
Ｔｉ 時間間隔
10 driving information recording device 12 the imaging unit 13 image storing unit 14 speech information acquisition unit 16 voice analysis unit 17 information classifying section 18 classifies the results recording unit 21 acceleration detector 34 display unit t m loudest times t1, t2 set volume arrival time V1 Maximum value V2 Setting volume value Ti Time interval
Claims (5)
前記撮像部によって撮像された画像情報を記憶する画像記憶部と、
前記車両に搭載され、少なくとも画像撮影時の周囲の音声情報を取得する音声情報取得部と、
前記音声情報を解析する音声解析部と、
前記音声解析部の解析結果に基づいて、前記画像記憶部に記憶された画像情報を分類する情報分類部とを含むことを特徴とする運転情報記録装置。 An imaging unit mounted on a vehicle and imaging an imaging target;
An image storage unit for storing image information captured by the imaging unit;
An audio information acquisition unit that is mounted on the vehicle and acquires at least ambient audio information at the time of image capture;
A voice analysis unit for analyzing the voice information;
An operation information recording apparatus, comprising: an information classification unit that classifies image information stored in the image storage unit based on an analysis result of the voice analysis unit.
前記情報分類部は、前記複数の周波数帯域のうちの一部または全部における音声情報に含まれる音量情報の時間的変化の解析結果に基づいて画像情報を分類することを特徴とする請求項１に記載の運転情報記録装置。 The voice analysis unit analyzes the voice information acquired by the voice information acquisition unit by frequency and divides it into a plurality of frequency bands,
The said information classification | category part classifies image information based on the analysis result of the time change of the volume information contained in the audio information in part or all of the plurality of frequency bands. The operation information recording device described.
前記表示部は、
撮像部が撮像した画像情報の少なくとも一部を映像として表示し、
前記分類結果を前記映像とともに表示することを特徴とする請求項１〜３のいずれか１つに記載の運転情報記録装置。 A display unit that displays image information captured by the imaging unit;
The display unit
Displaying at least part of the image information captured by the imaging unit as a video;
The driving information recording apparatus according to claim 1, wherein the classification result is displayed together with the video.
撮像対象を撮像する撮像部からの画像情報を記憶する画像記憶部、
少なくとも画像撮影時の周囲の音声情報を解析する音声解析部、および
前記音声解析部の解析結果に基づいて、前記画像記憶部に記憶された画像情報を分類する音声分類部として機能させることを特徴とする運転情報処理プログラム。 Computer
An image storage unit that stores image information from an imaging unit that captures an imaging target;
A voice analysis unit that analyzes at least the surrounding voice information at the time of image shooting, and a voice classification unit that classifies the image information stored in the image storage unit based on an analysis result of the voice analysis unit. Driving information processing program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009142747A JP2010287190A (en) | 2009-06-15 | 2009-06-15 | Driving information recording device and driving information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009142747A JP2010287190A (en) | 2009-06-15 | 2009-06-15 | Driving information recording device and driving information processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010287190A true JP2010287190A (en) | 2010-12-24 |
Family
ID=43542815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009142747A Pending JP2010287190A (en) | 2009-06-15 | 2009-06-15 | Driving information recording device and driving information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010287190A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016009202A (en) * | 2014-06-20 | 2016-01-18 | 株式会社デンソー | Drive recorder and program for drive recorder |
| WO2019039280A1 (en) * | 2017-08-22 | 2019-02-28 | ソニー株式会社 | Information processing apparatus, information processing method, program, and vehicle |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003202260A (en) * | 2001-10-25 | 2003-07-18 | Hitachi Zosen Corp | Sound source identifying device, sudden event detecting device, and device for automatically recording sudden event |
| JP2009093253A (en) * | 2007-10-04 | 2009-04-30 | Seiko Epson Corp | Drive recorder, driver recorder system, control method for drive recorder and program |
-
2009
- 2009-06-15 JP JP2009142747A patent/JP2010287190A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003202260A (en) * | 2001-10-25 | 2003-07-18 | Hitachi Zosen Corp | Sound source identifying device, sudden event detecting device, and device for automatically recording sudden event |
| JP2009093253A (en) * | 2007-10-04 | 2009-04-30 | Seiko Epson Corp | Drive recorder, driver recorder system, control method for drive recorder and program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016009202A (en) * | 2014-06-20 | 2016-01-18 | 株式会社デンソー | Drive recorder and program for drive recorder |
| WO2019039280A1 (en) * | 2017-08-22 | 2019-02-28 | ソニー株式会社 | Information processing apparatus, information processing method, program, and vehicle |
| JPWO2019039280A1 (en) * | 2017-08-22 | 2020-11-05 | ソニー株式会社 | Information processing equipment, information processing methods, programs, and vehicles |
| US11135987B2 (en) | 2017-08-22 | 2021-10-05 | Sony Corporation | Information processing device, information processing method, and vehicle |
| JP7192771B2 (en) | 2017-08-22 | 2022-12-20 | ソニーグループ株式会社 | Information processing device, information processing method, program, and vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104519318B (en) | Frequency image monitoring system and surveillance camera | |
| JP6888950B2 (en) | Image processing device, external world recognition device | |
| KR101573744B1 (en) | Apparatus for Recording Video Data based on Input Sound Signal and Method Thereof | |
| US10739367B2 (en) | On-vehicle image recording apparatus, on-vehicle image recording method, and on-vehicle image recording program | |
| CN105365667B (en) | Vehicle alert sound output-controlling device and its method | |
| EP3664041A1 (en) | Image recording device, image recording method, and image recording program | |
| JP4812659B2 (en) | Data recording apparatus, data recording method, data recording program, and recording medium | |
| JP6728634B2 (en) | Detecting device, detecting method and program | |
| US10049687B2 (en) | Audio processing apparatus and audio processing method | |
| JP2008171108A (en) | Face condition determining device and imaging device | |
| JP2010287190A (en) | Driving information recording device and driving information processing program | |
| JP5743580B2 (en) | Drive recorder device | |
| JP7090707B2 (en) | Notification target detection device, warning system and notification target detection method | |
| WO2019163204A1 (en) | Vehicle recording device, vehicle recording method, and program | |
| JP2011164665A (en) | Vehicle surrounding change detection device | |
| JP2013161281A (en) | Traffic image acquisition device, traffic image acquisition method, and traffic image acquisition program | |
| CN110199318B (en) | Driver state estimation device and driver state estimation method | |
| JP2008028478A (en) | Obstacle detection system, and obstacle detecting method | |
| JP2019092077A (en) | Recording control device, recording control method, and program | |
| KR101666343B1 (en) | System for processing integrated data of the ultra sonic sensors and camera on vehicle | |
| CN104079822B (en) | Camera head, signal processing apparatus and method | |
| JP6512243B2 (en) | Recording control device, recording device, recording control method and recording control program | |
| JP6451606B2 (en) | Voice recognition device for vehicles | |
| JP2010262424A (en) | Onboard camera system | |
| KR101698822B1 (en) | black box with rear camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130122 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130604 |