JP2023092077A - 車両用記録制御装置および車両用記録制御方法 - Google Patents

Abstract

【課題】音声コマンドを用いて記録したイベントデータを容易に検索可能に保存できる車両用記録制御装置及び車両用記録制御方法を提供する。
【解決手段】車両用記録制御装置１００は、車両の周辺を撮影する撮影部２１０が撮影した撮影データを取得する撮影データ取得部１２０と、音声コマンドによるイベント記録を受け付ける音声コマンド受付部１２１と、音声コマンドを受け付けたときの、車両の搭乗者の感情を検出する感情検出部１３０と、音声コマンド受付部１２１が音声コマンドによるイベント記録を受け付けた場合に、該イベント記録を受け付けた時点を含む撮影データをイベントデータとして、感情検出部１３０が検出した感情ごとに分類して保存する記録制御部１２４と、を備える。
【選択図】図１

Description

本発明は、車両用記録制御装置および車両用記録制御方法に関する。

従来、車両用記録装置（ドライブレコーダ）においては、加速度センサによる急加速や衝撃などのイベントの検出によって、車両周辺の撮影記録（イベント記録という）を行うものが広く知られている（例えば、特許文献１参照）。この種のイベント記録には、例えば事故などの記録を証拠として利用するだけでなく、搭乗者が気になる車両周辺の事象などの記録を、後で見て楽しむといった様々な利用目的もある。このため、近年、このような様々な利用目的に対応すべく、車両の搭乗者が発した音声コマンドによってイベント記録を行う技術も存在する。この音声コマンドによるイベント記録では、例えば自らが事故の当事者ではない場合の事故を記録する場合など、車両を運転中にタッチパネルなどの操作を必要とせず、安全にイベント記録を行うことができる。

特開２０２０－０１３４３８号公報

車両用記録装置にイベント記録を指示する音声コマンドは、規定の音声コマンドを示す音節が認識されることで実行される。この場合のイベントデータは、音声コマンドの受付時における搭乗者の状態に関わらず、他のイベントデータを一緒に保存される。このため、音声コマンドを用いて記録したイベントデータを検索して再生したい場合に、このイベントデータが多数のイベントデータに紛れてしまい、容易に検索ができないという点で改善の余地があった。

本発明は、上記に鑑みてなされたものであって、音声コマンドを用いて記録したイベントデータを容易に検索可能に保存できる、車両用記録制御装置及び車両用記録制御方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る車両用記録制御装置は、車両の周辺を撮影する撮影部が撮影した撮影データを取得する撮影データ取得部と、音声コマンドによるイベント記録を受け付ける音声コマンド受付部と、音声コマンドを受け付けたときの、車両の搭乗者の感情を検出する感情検出部と、音声コマンド受付部が音声コマンドによるイベント記録を受け付けた場合に、該イベント記録を受け付けた時点を含む撮影データをイベントデータとして、感情検出部が検出した感情ごとに分類して保存する記録制御部と、を備える。

また、本発明に係る車両用記録制御方法は、車両の周辺を撮影する撮影部が撮影した撮影データを取得する撮影データ取得ステップと、音声コマンドによるイベント記録を受け付ける音声コマンド受付ステップと、音声コマンドを受け付けたときの、車両の搭乗者の感情を検出する感情検出ステップと、音声コマンドによるイベント記録が受け付けられた場合に、該イベント記録を受け付けた時点を含む撮影データをイベントデータとして、検出された搭乗者の感情ごとに分類して保存する記録制御ステップと、を車両用記録制御装置が実行する。

本発明によれば、音声コマンドによるイベント記録を受け付けた時点を含む撮影データをイベントデータとして、搭乗者の感情ごとに分類して保存するため、音声コマンドを用いて記録したイベントデータを容易に検索することができる。

図１は、第一実施形態に係る車両用記録制御装置を有する車両用記録装置の構成例を示すブロック図である。 図２は、第一実施形態に係る車両用記録制御装置における記録処理の流れを示すフローチャートである。 図３は、第二実施形態に係る車両用記録制御装置を有する車両用記録装置の構成例を示すブロック図である。 図４は、第一実施形態に係る車両用記録制御装置における記録処理の流れを示すフローチャートである。 図５は、第三実施形態に係る車両用記録制御装置を有する車両用記録装置の構成例を示すブロック図である。 図６は、第一実施形態に係る車両用記録制御装置における記録処理の流れを示すフローチャートである。

以下に添付図面を参照して、本発明に係る車両用記録制御装置および車両用記録制御方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る車両用記録制御装置１００を有する車両用記録装置１０の構成例を示すブロック図である。車両用記録装置１０は、車両に対する衝撃などのイベントの検出に加え、車両の搭乗者が発した音声コマンドによるイベントの受付に基づき、車両周辺の撮影記録（以下イベント記録ともいう）を実行する。

車両用記録装置１０は、いわゆるドライブレコーダであり、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。車両用記録装置１０は、撮影部２１０と、マイクロフォン２２０と、記録部２３０と、加速度センサ２４０と、操作部２５０と、ＧＮＳＳ（Global Navigation Satellite System）受信部２６０と、表示部２７０と、車両用記録制御装置１００とを有する。車両用記録装置１０は、撮影部２１０と、マイクロフォン２２０とを一体的に含む装置であってもよく、撮影部２１０と、マイクロフォン２２０とが別体で構成された装置であってもよい。

撮影部２１０は、車両に取り付けられ、該車両の周辺を撮影する。撮影部２１０は、少なくとも車両の前方を撮影可能とするものであり、例えば、３６０°の全天周を撮影可能なカメラでもよいし、車両の前後方向などをそれぞれ撮影する複数のカメラ群であってもよい。撮影部２１０は、例えば、車両の車室内前方に配置されている。撮影部２１０は、車両のエンジンなどの動力が始動してから停止するまでの間、つまり車両が動作している間は、映像（画像）を常時撮影する。本実施形態では、撮影部２１０は、車両のアクセサリ電源がＯＮである間、映像を常時撮影する。撮影部２１０は、撮影した撮影データを車両用記録制御装置１００の撮影データ取得部１２０へ出力する。撮影データは、例えば毎秒３０フレームの画像から構成される動画である。

マイクロフォン２２０は、車室内に取り付けられ、マイクロフォン２２０の周囲の音声を取得する。マイクロフォン２２０が取得した音声データは、車両用記録制御装置１００の撮影データ取得部１２０及び音声コマンド受付部１２１へ出力される。なお、音声データは、イベント記録を実行するための音声コマンドを含む。

記録部２３０は、車両用記録装置１０におけるデータの一時記憶などに用いられる。記録部２３０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、または、メモリカードなどの記録媒体である。記録部２３０は、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。記録部２３０は、車両用記録制御装置１００の記録制御部１２４から出力された制御信号に基づいて、撮影された撮影データをループ記録データとして記録する。このループ記録データは、例えば、車両のアクセサリ電源がＯＮであるときに撮影された撮影データを所定の処理を施してファイル化し、このファイル化された複数の撮影データである。このループ記録データは、上書き可能な撮影データであり、記録部２３０の所定領域の容量が一杯になるまで記録部２３０に順次記録し続け、記録部２３０の所定領域の容量が一杯になった場合、最も古い撮影データのファイルに新しい撮影データのファイルを上書きして記録される。

また、記録部２３０は、車両用記録制御装置１００の記録制御部１２４から出力された制御信号に基づいて、撮影された撮影データをイベントデータとして記録する。記録部２３０は、ループ記録データが記録される領域の他に、イベントフォルダ２３１とポジティブ感情フォルダ２３２とネガティブ感情フォルダ２３３とを備える。

イベントフォルダ２３１は、車両に対する衝撃や急ブレーキのように、車両用記録制御装置１００のイベント検出部１２６が所定のイベントを検出した場合に対応するイベントデータを記録する。ポジティブ感情フォルダ２３２は、車両用記録制御装置１００の音声コマンド受付部１２１が音声コマンドを受け付け、かつ感情検出部１３０が搭乗者のポジティブ（積極的、前向き）な感情を検出した場合に対応するイベントデータを記録する。ネガティブ感情フォルダ２３３は、車両用記録制御装置１００の音声コマンド受付部１２１が音声コマンドを受け付け、かつ感情検出部１３０が搭乗者のネガティブ（消極的、後向き）な感情を検出した場合に対応するイベントデータを記録する。

加速度センサ２４０は、例えば、車両に加わった加速度を検出する。加速度センサ２４０は、例えば、３軸加速度センサで実現することができる。加速度センサ２４０は、検出した加速度に関する加速度情報をイベント検出部１２６に出力する。

操作部２５０は、車両用記録装置１０に対する各種操作を受付可能である。例えば、操作部２５０は、撮影した撮影データを記録部２３０に手動で保存する操作を受付可能である。例えば、操作部２５０は、記録部２３０に記録したループ記録データまたはイベントデータを再生する操作を受付可能である。この場合、操作部２５０は、記録部２３０のイベントフォルダ２３１、ポジティブ感情フォルダ２３２及びネガティブ感情フォルダ２３３のいずれに記録されたイベントデータを再生する操作を受け付ける。操作部２５０は、操作情報を車両用記録制御装置１００の操作制御部１２７に出力する。

ＧＮＳＳ受信部２６０は、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機などで構成される。ＧＮＳＳ受信部２６０は、受信したＧＮＳＳ信号を車両用記録制御装置１００の位置情報取得部１２８へ出力する。

表示部２７０は、一例としては、車両用記録装置１０に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部２７０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどを含むディスプレイである。表示部２７０は、車両用記録制御装置１００の表示制御部１２９から出力された映像信号に基づいて、映像を表示する。表示部２７０は、撮影部２１０が撮影している映像や、記録部２３０に記録された映像（イベントデータなど）、ナビゲーションシステムから入力された地図データなどを表示する。

車両用記録制御装置１００は、例えば、ＣＰＵ（Central Processing Unit）などで構成された演算処理装置（制御装置）である。車両用記録制御装置１００は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。車両用記録制御装置１００には図示しない内部メモリが含まれ、内部メモリは車両用記録制御装置１００におけるプログラム等のデータの一時記憶などに用いられる。車両用記録制御装置１００は、プログラムの実行によって実現される機能ブロックとして、撮影データ取得部１２０と、音声コマンド受付部１２１と、バッファメモリ１２２と、撮影データ処理部１２３と、記録制御部１２４と、再生制御部１２５と、イベント検出部１２６と、操作制御部１２７と、位置情報取得部１２８と、表示制御部１２９と、感情検出部１３０と、を有する。図１においては、各々の機能ブロックが、バス１００Ｘに接続されているように記す。

撮影データ取得部１２０は、撮影部２１０が撮影した撮影データを取得する。より詳しくは、撮影データ取得部１２０は、撮影部２１０が車両の周辺を撮影した撮影データを取得する。撮影データ取得部１２０は、取得した撮影データを、バッファメモリ１２２および表示制御部１２９などに出力する。撮影データ取得部１２０は、撮影部２１０またはマイクロフォン２２０が取得した音声データを含んだ撮影データを取得してもよい。

音声コマンド受付部１２１は、所定の音声コマンドを受け付ける。音声コマンド受付部１２１は、マイクロフォン２２０が出力した音声データから、音声コマンドに該当する音声を抽出する。音声コマンドは、車両用記録装置１０に対する操作指示を実行する音声データである。本実施形態では、イベント記録を実行させる音声コマンドが受け付けられることにより、車両用記録装置１０はイベント記録を実行する。具体的には、「録画開始」という音声コマンドを搭乗者が発話すると、音声コマンド受付部１２１は音声コマンドによるイベントの検出を受け付け、車両用記録装置１０はイベント記録を実行する。音声コマンドは、規定の音節を含む単語やフレーズなどで構成されるものであり、「録画開始」以外の様々なフレーズを採用することができる。音声コマンド受付部１２１は、受け付けた音声コマンドを記録制御部１２４及び感情検出部１３０に出力する。

バッファメモリ１２２は、撮影データ取得部１２０が取得した撮影データを一時的に記憶する内部メモリである。具体的には、バッファメモリ１２２は、撮影データ取得部１２０が取得した一定時間分の撮影データを更新しながら一時的に記憶する。

撮影データ処理部１２３は、バッファメモリ１２２が一時的に記憶している撮影データに対して種々の処理を実行する。撮影データ処理部１２３は、バッファメモリ１２２が一時的に記憶している撮影データを、例えば、ＭＰ４形式などの任意のファイル形式に変換する。撮影データ処理部１２３は、例えば、バッファメモリ１２２が一時的に記憶している撮影データから、一定時間分のデータファイルとした撮影データを生成する。撮影データ処理部１２３は、生成した撮影データを記録制御部１２４へ出力する。また、撮影データ処理部１２３は、生成した撮影データを表示制御部１２９へ出力する。データファイルとして生成される撮影データの期間は、一例として６０秒としたが、これには限定されない。

記録制御部１２４は、種々のデータを記録部２３０に保存する。記録制御部１２４は、例えば、撮影データ処理部１２３でファイル化された撮影データを、ループ記録データとして記録部２３０に記録させる制御を行う。また、記録制御部１２４は、例えば、音声コマンド受付部１２１が所定の音声コマンドを受け付けた場合、その音声コマンドを受け付けた時点を含む撮影データをイベントデータとして記録部２３０に保存する。この際、記録制御部１２４は、感情検出部１３０が検出した感情ごとにイベントデータを分類し、感情に該当するフォルダに該イベントデータをそれぞれ保存する。また、記録制御部１２４は、イベント検出部１２６がイベントを検出した場合、そのイベントが検出された時点を含む撮影データをイベントデータとして記録部２３０に保存する。記録制御部１２４は、音声コマンドを受け付けた場合、音声コマンドの受け付け時点から、例えば前後１０秒間の撮影データをイベントデータとして記録部２３０に保存する。また、記録制御部１２４は、イベントが検出された場合、イベントの検出時点から、例えば前後１０秒間の撮影データをイベントデータとして記録部２３０に保存する。

再生制御部１２５は、記録部２３０に記録されている種々のデータを再生する。再生制御部１２５は、操作制御部１２７から出力された操作部２５０の操作に応じた制御信号に従って、任意の撮影データを再生する。再生制御部１２５は、例えば、記録部２３０にデータファイルとして記録されている撮影データなどを再生する。再生制御部１２５は、例えば、記録部２３０の各フォルダに分類して保存されているイベントデータを再生する。

イベント検出部１２６は、車両に対して発生したイベントを検出する。イベント検出部１２６は、加速度センサ２４０が検出した加速度の大きさに基づいて、車両に対して発生したイベントを検出する。具体的には、イベント検出部１２６は、加速度センサ２４０が所定以上の加速度を検出した場合にイベントとして検出する。

操作制御部１２７は、操作部２５０が受け付けた操作の操作情報を取得する。例えば、操作制御部１２７は、撮影データの手動保存操作を示す保存操作情報、撮影データの選択操作を示す選択操作情報、撮影データの再生操作を示す再生操作情報、または、撮影データの消去操作を示す消去操作情報を取得して制御信号を出力する。例えば、操作制御部１２７は、ループ記録を終了する操作を示す終了操作情報を取得して制御信号を出力する。また、例えば、操作制御部１２７は、選択されたフォルダに分類されたイベントデータの再生操作情報を取得して制御信号を出力する。

操作制御部１２７は、操作部２５０から記録部２３０に保存された撮影データの再生を受け付けた場合、イベントフォルダ２３１、ポジティブ感情フォルダ２３２及びネガティブ感情フォルダ２３３を選択可能なアイコンを表示制御部１２９によって表示部２７０に表示させる。操作制御部１２７は、操作部２５０から、イベントフォルダ２３１、ポジティブ感情フォルダ２３２及びネガティブ感情フォルダ２３３のいずれかを選択する操作を受け付けた場合、選択されたフォルダに分類されたイベントデータの一覧を表示制御部１２９によって表示部２７０に表示させる。

位置情報取得部１２８は、ＧＮＳＳ受信部２６０からＧＮＳＳ信号を受け付ける。位置情報取得部１２８は、ＧＮＳＳ信号に基づいて、現在位置情報を算出する。

表示制御部１２９は、表示部２７０における各種表示を制御する。表示制御部１２９は、撮影データや、再生されたイベントデータなどを表示部２７０に出力させる映像信号を出力する。例えば、表示制御部１２９は、再生制御部１２５が再生した映像を表示部２７０に表示させる。また、表示制御部１２９は、イベントデータなどの再生を行うためのインターフェースを表示する。

感情検出部１３０は、音声コマンド受付部１２１が音声コマンドを受け付けたときの、車両の搭乗者の感情を検出する。本実施形態の感情検出部１３０は、音声コマンドを受け付けたときに発せられた該音声コマンドの発話に基づき、車両の搭乗者における音声コマンドの発話者の感情を検出する。具体的には、感情検出部１３０は、音声コマンドが発せられた発話者の音声データにおける声の大きさや、声のトーンなどにより、搭乗者の感情がポジティブであるかネガティブであるかを検出する。感情検出部１３０は、音声コマンドが発話された音声データを機械学習することにより、例えば「平穏」、「幸福」、「怒り」、「悲しみ」、「恐怖」、「嫌悪」、「驚き」など複数（７つ）に分類された感情が円環状に配置されたモデルを用いて、音声コマンドを発した搭乗者の音声データをそれぞれの感情に分けて数値化する。

そして、感情検出部１３０は、例えば、車窓にきれいな景色や、興味のある事象などが見えているときに発話された音声コマンドのように、「平穏」、「幸福」の感情の数値が他よりも高い場合には、搭乗者の感情をポジティブと検出する。また、感情検出部１３０は、例えば、後続の車両から煽られている場合や、事故を目撃したときに発話された音声コマンドのように、「怒り」、「悲しみ」、「恐怖」、「嫌悪」、「驚き」の感情の数値が他よりも高い場合には、搭乗者の感情をネガティブと検出する。感情を検出する手法は、これに限るものではなく、既知の技術を用いることができる。

次に、図２を用いて、車両用記録制御装置１００の記録処理の流れについて説明する。図２は、第一実施形態に係る車両用記録制御装置における記録処理の流れを示すフローチャートである。図２に示すフローチャートは、車両用記録装置１０が装着されている車両のエンジンなどの動力が始動することで開始される。

処理の開始に伴い、車両用記録制御装置１００は、記録制御部１２４によって、ループ記録を開始する（ステップＳ１）。より詳しくは、車両用記録制御装置１００は、記録制御部１２４によって、撮影部２１０が撮影した映像データをバッファメモリ１２２に送信し、例えば、６０秒ごとのような所定期間の映像ごとに映像ファイルを生成し、記録部２３０に記録させる。また、車両用記録制御装置１００は、イベント検出部１２６及び音声コマンド受付部１２１によるイベント検出を開始する。記録制御部１２４によるループ記録、及びイベント検出部１２６及び音声コマンド受付部１２１によるイベント検出は、処理が終了するまで継続される。車両用記録制御装置１００はステップＳ２に進む。

車両用記録制御装置１００は、イベント検出部１２６による検出結果に基づいて、イベントを検出したか否かを判定する（ステップＳ２）。より詳しくは、イベント検出部１２６によって検出された加速度が閾値以上である場合、イベント検出部１２６はイベントを検出したと判定して（ステップＳ２；Ｙｅｓ）、ステップＳ３に進む。

一方、イベント検出部１２６によって検出された加速度が閾値以上ではない場合、イベント検出部１２６はイベントを検出しないと判定して（ステップＳ２；Ｎｏ）、ステップＳ５に進む。

車両用記録制御装置１００は、記録制御部１２４によって、撮影データをイベントデータとして記録部２３０のイベントフォルダ２３１に保存させ（ステップＳ３）、ステップＳ４に進む。このイベントデータは、イベントが検出された時点の前後の時間を含む撮影データである。

車両用記録制御装置１００は、ループ記録を終了するか否かを判定する（ステップＳ４）。車両用記録制御装置１００は、例えば、車両の電源や動力がＯＦＦにされたことや、操作部２５０の操作がされたことなどで、ループ記録を終了することが判定される。車両用記録制御装置１００は、ループ記録を終了すると判定された場合（ステップ４；Ｙｅｓ）、本処理を終了する。この場合、車両用記録制御装置１００は、イベント検出部１２６及び音声コマンド受付部１２１によるイベント検出も終了する。一方、車両用記録制御装置１００は、ループ記録を終了すると判定されない場合（ステップＳ４；Ｎｏ）、ステップＳ２の処理を再度実行する。

次に、車両用記録制御装置１００は、音声コマンド受付部１２１によるイベント記録用の音声コマンドを受け付けたか否かを判定する（ステップＳ５）。より詳しくは、音声コマンド受付部１２１が所定の音声コマンド（例えば「録画開始」）を受け付けた場合、音声コマンド受付部１２１はイベント記録用の音声コマンドを受け付けたと判定して（ステップＳ５；Ｙｅｓ）、ステップＳ６に進む。

一方、音声コマンド受付部１２１が所定の音声コマンドを受け付けていない場合、音声コマンド受付部１２１はイベント記録用の音声コマンドを受け付けいないと判定して（ステップＳ５；Ｎｏ）、ステップＳ４に進む。

次に、車両用記録制御装置１００は、感情検出部１３０によって、受け付けた音声コマンドの発話がポジティブ感情であるか否かを判定する（ステップＳ６）。感情検出部１３０は、受け付けた「録画開始」という音声コマンドの発話音声を、複数の感情に分類してそれぞれ数値化し、例えば「平穏」、「幸福」の感情の数値が他よりも高い場合には、搭乗者（発話者）の感情をポジティブと判定して（ステップＳ６；Ｙｅｓ）、ステップＳ７に進む。

一方、感情検出部１３０は、音声コマンドを複数の感情に分類し、例えば「怒り」、「悲しみ」、「恐怖」、「嫌悪」、「驚き」の感情の数値が他よりも高い場合には、搭乗者（発話者）の感情をネガティブと判定して（ステップＳ６；Ｎｏ）、ステップＳ８に進む。

次に、車両用記録制御装置１００は、記録制御部１２４によって、撮影データをイベントデータとして記録部２３０のポジティブ感情フォルダ２３２に保存させ（ステップＳ７）、ステップＳ４に進む。このイベントデータは、音声コマンドを受け付けた時点の前後の時間を含む撮影データである。

また、車両用記録制御装置１００は、記録制御部１２４によって、撮影データをイベントデータとして記録部２３０のネガティブ感情フォルダ２３３に保存させ（ステップＳ８）、ステップＳ４に進む。このイベントデータは、音声コマンドを受け付けた時点の前後の時間を含む撮影データである。

上述したように、本実施形態では、車両用記録制御装置１００は、車両の周辺を撮影する撮影部２１０が撮影した撮影データを取得する撮影データ取得部１２０と、音声コマンドによるイベント記録を受け付ける音声コマンド受付部１２１と、音声コマンドを受け付けたときの、車両の搭乗者の感情を検出する感情検出部１３０と、音声コマンド受付部１２１が音声コマンドによるイベント記録を受け付けた場合に、該イベント記録を受け付けた時点を含む撮影データをイベントデータとして、感情検出部１３０が検出した感情ごとに分類して保存する記録制御部１２４と、を備えるため、イベント記録を受け付けた時点の感情によって、イベントデータをポジティブ感情のイベントデータと、ネガティブ感情のイベントデータとに容易に分類することができる。このため、当時の感情に相当する場所を検索することにより、所望のイベントデータを容易に検索することができる。

また、本実施形態によれば、感情検出部１３０は、音声コマンドを受け付けたときに発せられた音声コマンドの発話に基づき、車両の搭乗者における音声コマンドの発話者の感情を検出するため、発話された音声コマンドだけで容易に発話者の感情を検出できる。また、音声コマンドの発話に基づく感情を、イベントデータの分類に利用するため、イベントデータの保存時の感情を適切に反映することができる。

［第二実施形態］
図３及び図４を参照して、第二実施形態に係る車両用記録制御装置１００Ａについて説明する。図３は、第二実施形態に係る車両用記録制御装置を有する車両用記録装置の構成例を示すブロック図である。図４は、第二実施形態に係る車両用記録制御装置における記録処理の流れを示すフローチャートである。車両用記録装置１０Ａは、基本的な構成は第一実施形態の車両用記録装置１０と同様である。以下の説明においては、車両用記録装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。第二実施形態では、車両用記録装置１０Ａが車内撮影部２１１を有する点と、感情検出部１３０Ａの構成および処理とが、第一実施形態と異なる。

車内撮影部２１１は、車両の車室内を撮影するカメラである。車内撮影部２１１は、車両の搭乗者を撮影する。車内撮影部２１１は、例えば、車両の車室内前方に後方を向いて配置されている。車内撮影部２１１は、エンジンが始動してから停止するまでの間、つまり車両が動作している間は、映像を常時撮影する。本実施形態では、車内撮影部２１１は、車両のアクセサリ電源がＯＮである間、映像を常時撮影する。車内撮影部２１１は、撮影した車内撮影データを車両用記録制御装置１００Ａの撮影データ取得部１２０へ出力する。撮影データは、例えば毎秒３０フレームの画像から構成される動画である。

感情検出部１３０Ａは、音声コマンド受付部１２１が音声コマンドを受け付けたときの、車両の搭乗者の感情を検出する。本実施形態では、感情検出部１３０Ａは、音声コマンドを受け付けたときにおける車両の搭乗者の表情に基づき、車両の搭乗者の感情を検出する。すなわち、車内撮影部２１１が撮影した撮影データから音声コマンドを受け付けたときにおける車両の各搭乗者の表情に基づいて、搭乗者の感情がポジティブであるかネガティブであるかを検出する。ここで、音声コマンドを受け付けたときにおける車両の搭乗者の表情とは、音声コマンド受付時の前後１０秒間などの期間における搭乗者の表情をいう。特に、音声コマンド発話時もしくは発話直後の表情に基づくのが効果的である。また、搭乗者には、音声コマンドの発話者以外の搭乗者も含まれる。

感情検出部１３０Ａは、人間の表情の画像データを機械学習することにより、例えば「平穏」、「幸福」、「怒り」、「悲しみ」、「恐怖」、「嫌悪」、「驚き」など複数（７つ）に分類された感情が円環状に配置されたモデルを用いて、音声コマンド受付時の前後１０秒間などの期間における搭乗者の表情の撮影データをそれぞれの感情に分けて数値化する。

そして、感情検出部１３０Ａは、例えば、音声コマンドの発話直後の表情について、「平穏」、「幸福」の感情の数値が他よりも高い場合には、搭乗者の感情をポジティブと検出する。また、感情検出部１３０Ａは、例えば、音声コマンドの発話直後の表情について、「怒り」、「悲しみ」、「恐怖」、「嫌悪」、「驚き」の感情の数値が他よりも高い場合には、搭乗者の感情をネガティブと検出する。また、例えば、音声コマンドが発せられた時点以降の搭乗者が、笑顔であればポジティブな感情と検出し、目を伏せていたり頭を抱えている場合にはネガティブな感情と検出してもよい。また、搭乗者が複数いる場合には、多数の搭乗者から検出された感情を搭乗者全体の感情として採用してもよい。また、感情を検出する手法は、これに限るものではなく、既知の技術を用いることができる。

次に、図４を用いて、車両用記録制御装置１００Ａにおける記録処理の流れについて説明する。本実施形態では、ステップＳ６Ａの処理に特徴があり、他のステップの処理については、第一実施形態と同様の処理を行うため、説明は省略する。

車両用記録制御装置１００Ａは、感情検出部１３０Ａによって、音声コマンド発話時の搭乗者の表情がポジティブ感情であるか否かを判定する（ステップＳ６Ａ）。感情検出部１３０Ａは、受け付けた「録画開始」という音声コマンドの発話直後の表情を、複数の感情に分類してそれぞれ数値化し、例えば「平穏」、「幸福」の感情の数値が他よりも高い場合には、搭乗者の感情をポジティブと判定して（ステップＳ６Ａ；Ｙｅｓ）、ステップＳ７に進む。

一方、感情検出部１３０Ａは、音声コマンドの発話直後の表情を、複数の感情に分類してそれぞれ数値化し、例えば「怒り」、「悲しみ」、「恐怖」、「嫌悪」、「驚き」の感情の数値が他よりも高い場合には、搭乗者の感情をネガティブと判定して（ステップＳ６Ａ；Ｎｏ）、ステップＳ８に進む。

以上、本実施形態によれば、感情検出部１３０Ａは、音声コマンドを受け付けたときにおける車両の搭乗者の表情に基づき、車両の搭乗者の感情を検出するため、搭乗者の感情をより正確に検出することができる。また、音声コマンド発話時の搭乗者の表情に基づく感情を、イベントデータの分類に利用するため、イベントデータの保存時の感情を適切に反映することができる。

［第三実施形態］
図５及び図６を参照して、第三実施形態に係る車両用記録制御装置１００Ｂについて説明する。図５は、第三実施形態に係る車両用記録制御装置を有する車両用記録装置の構成例を示すブロック図である。図６は、第三実施形態に係る車両用記録制御装置における記録処理の流れを示すフローチャートである。車両用記録装置１０Ｂは、基本的な構成は第一実施形態の車両用記録装置１０と同様である。以下の説明においては、車両用記録装置１０と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。第三実施形態では、車両用記録制御装置１００Ｂの感情検出部１３０Ｂの構成および処理が、第一実施形態及び第二実施形態と異なる。

感情検出部１３０Ｂは、音声コマンド受付部１２１が音声コマンドを受け付けたときの、車両の搭乗者の感情を検出する。本実施形態では、感情検出部１３０Ｂは、音声コマンドを受け付けたときにおける車両の搭乗者の発話に基づき、車両の搭乗者の感情を検出する。この音声コマンドを受け付けたときにおける車両の搭乗者の発話とは、音声コマンド受付時の前後１０秒間などの期間における搭乗者が発した音声コマンド以外の発話をいう。すなわち、例えば「あれを見て」、「すごく綺麗」といった搭乗者の感嘆を示す発話や、例えば「危ないよ」、「もう少しゆっくりね」といった危険を回避するための発話に基づいて、搭乗者の感情がポジティブであるかネガティブであるかを検出する。また、搭乗者には、音声コマンドの発話者以外の搭乗者も含まれる。

感情検出部１３０Ｂは、日常使用される単語やフレーズの音声データを機械学習することにより、例えば「平穏」、「幸福」、「怒り」、「悲しみ」、「恐怖」、「嫌悪」、「驚き」など複数（７つ）に分類された感情が円環状に配置されたモデルを用いて、音声コマンド受付時の前後１０秒間などの期間における搭乗者の発話した音声データをそれぞれの感情に分けて数値化する。

そして、感情検出部１３０Ｂは、例えば、音声コマンドの発話時における音声コマンド以外の発話について、「平穏」、「幸福」の感情の数値が他よりも高い場合には、搭乗者の感情をポジティブと検出する。また、感情検出部１３０Ｂは、例えば、例えば、音声コマンドの発話時における音声コマンド以外の発話について、「怒り」、「悲しみ」、「恐怖」、「嫌悪」、「驚き」の感情の数値が他よりも高い場合には、搭乗者の感情をネガティブと検出する。また、例えば、音声コマンドが発せられた時点の前後に、搭乗者が特定の積極的なフレーズ（「すごく綺麗」など）を発話した場合にはポジティブな感情と検出し、特定の消極的なフレーズ（「危ない」など）を発話した場合にはネガティブな感情と検出してもよい。また、複数の搭乗者がそれぞれ発話いる場合には、多数の搭乗者から検出された感情を搭乗者全体の感情として採用してもよい。また、感情を検出する手法は、これに限るものではなく、既知の技術を用いることができる。

次に、図６を用いて、車両用記録制御装置１００Ｂにおける記録処理の流れについて説明する。本実施形態では、ステップＳ６Ｂの処理に特徴があり、他のステップの処理については、第一実施形態と同様の処理を行うため、説明は省略する。

車両用記録制御装置１００Ｂは、感情検出部１３０Ｂによって、音声コマンド発話時における音声コマンド以外の搭乗者の発話がポジティブ感情であるか否かを判定する（ステップＳ６Ｂ）。感情検出部１３０Ｂは、受け付けた「録画開始」という音声コマンドの発話前後の発話を、複数の感情に分類してそれぞれ数値化し、例えば「平穏」、「幸福」の感情の数値が他よりも高い場合には、搭乗者の感情をポジティブと判定して（ステップＳ６Ｂ；Ｙｅｓ）、ステップＳ７に進む。

一方、感情検出部１３０Ｂは、音声コマンドの発話前後の発話を、複数の感情に分類してそれぞれ数値化し、例えば「怒り」、「悲しみ」、「恐怖」、「嫌悪」、「驚き」の感情の数値が他よりも高い場合には、搭乗者の感情をネガティブと判定して（ステップＳ６Ｂ；Ｎｏ）、ステップＳ８に進む。

以上、本実施形態によれば、感情検出部１３０Ｂは、音声コマンドを受け付けたときにおける車両の搭乗者の発話に基づき、車両の搭乗者の感情を検出するため、搭乗者の感情をより正確に検出することができる。また、音声コマンドの発話時の搭乗者の発話に基づく感情を、イベントデータの分類に利用するため、イベントデータの保存時の感情を適切に反映することができる。

上述した各実施形態に係る車両用記録制御装置および車両用記録制御方法は、音声コマンドを用いて保存したイベントデータの再生を行う際に、例えば、ポジティブ感情の状態で保存されたイベントデータを再生する際に、事故などのネガティブ感情の状態で保存されたイベントデータを再生してしまうことを防止する。また、事故などのネガティブ感情の状態で保存されたイベントデータを再生する際に、ポジティブ感情の状態で保存されたイベントデータを再生してしまうことを防止する。このようなイベントデータの管理を行うことで、イベントデータの再生時の気分に反するイベントデータが再生されてしまうことを防止する。

これまで本発明に係る車両用記録制御装置および車両用記録制御方法について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。また、これらの実施形態の構成を適宜組み合わせてもよい。例えば、発話された音声コマンド、搭乗者の表情、音声コマンド以外の搭乗者の発話をそれぞれ組み合わせて、搭乗者の感情を検出してもよい。

１０、１０Ａ、１０Ｂ 車両用記録装置
１００、１００Ａ、１００Ｂ 車両用記録制御装置
１２０ 撮影データ取得部
１２１ 音声コマンド受付部
１２４ 記録制御部
１３０、１３０Ａ、１３０Ｂ 感情検出部
２３１ イベントフォルダ
２３２ ポジティブ感情フォルダ
２３３ ネガティブ感情フォルダ

Claims (5)

1. 車両の周辺を撮影する撮影部が撮影した撮影データを取得する撮影データ取得部と、
   音声コマンドによるイベント記録を受け付ける音声コマンド受付部と、
   前記音声コマンドを受け付けたときの、前記車両の搭乗者の感情を検出する感情検出部と、
   前記音声コマンド受付部が前記音声コマンドによる前記イベント記録を受け付けた場合に、該イベント記録を受け付けた時点を含む前記撮影データをイベントデータとして、前記感情検出部が検出した感情ごとに分類して保存する記録制御部と、
   を備える車両用記録制御装置。
2. 前記感情検出部は、前記音声コマンドを受け付けたときに発せられた前記音声コマンドの発話に基づき、前記車両の搭乗者における前記音声コマンドの発話者の感情を検出する、請求項１に記載の車両用記録制御装置。
3. 前記感情検出部は、前記音声コマンドを受け付けたときにおける前記車両の搭乗者の表情に基づき、前記車両の搭乗者の感情を検出する、請求項１または２に記載の車両用記録制御装置。
4. 前記感情検出部は、前記音声コマンドを受け付けたときにおける前記車両の搭乗者の発話に基づき、前記車両の搭乗者の感情を検出する、請求項１から３のいずれか一項に記載の車両用記録制御装置。
5. 車両の周辺を撮影する撮影部が撮影した撮影データを取得する撮影データ取得ステップと、
   音声コマンドによるイベント記録を受け付ける音声コマンド受付ステップと、
   前記音声コマンドを受け付けたときの、前記車両の搭乗者の感情を検出する感情検出ステップと、
   前記音声コマンドによる前記イベント記録が受け付けられた場合に、該イベント記録を受け付けた時点を含む前記撮影データをイベントデータとして、検出された搭乗者の感情ごとに分類して保存する記録制御ステップと、
   を車両用記録制御装置が実行する車両用記録制御方法。

Images