JP2023048064A - 車両用記録制御装置および記録方法 - Google Patents

Abstract

【課題】音声コマンドを用いて、適切にイベント記録を行うことを可能とする。【解決手段】本発明にかかる車両用記録制御装置２００は、車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得部２０２と、第二撮影データから車両の搭乗者の視線の向きを検出する視線検出部２１４と、イベント記録を指示する音声コマンドを認識する音声認識部２１６と、搭乗者の視線が表示部１０８ａに向けられたことが視線検出部２１４によって検出された場合、搭乗者に対して音声コマンドを示す情報を出力させる出力制御部２１２と、音声認識部２１６が音声コマンドを認識した場合、第一撮影データをイベントデータとして保存する記録制御部２０８と、を備える。【選択図】図１

Description

本発明は、車両用記録制御装置および記録方法に関し、特に詳しくは、自動車など車両において用いられる車両用記録制御装置および記録方法に関する。

車両用記録装置、所謂ドライブレコーダにおいては、加速度センサによる衝撃検出に加え、音声コマンドによってイベント記録を行うものもある（例えば、非特許文献１）。音声コマンドによるイベント記録は、自らが事故の当事者ではない場合の事故を記録する場合など、運転中にタッチパネル等の操作を必要とせず、安全にイベント記録を行うことができる。特許文献１には、加速度によるイベント検出に対して音声による指示を行うことで、イベント記録を行うドライブレコーダが開示されている。

特開２０２０－１５４９０４号公報

ＤＲＶ－ＭＲ７６０[令和３年９月２４日検索]、インターネット＜https://www.kenwood.com/jp/car/drive-recorders/products/drv-mr760/＞

ドライブレコーダに音声コマンドによるイベント記録を行う機能を備えた場合、イベント記録を行う機会は少ないため、どのような音声コマンドによってイベント記録を行うのか、咄嗟に思い出せない場合がある。または、誤って類似した語句を発話することで音声コマンドによる動作が行われない場合もある。このような場合、イベント記録を行うタイミングを逃してしまうことや、車両の運転中にイベント記録を行うための操作を、車両の運転者が手を用いて行うことで、安全性が阻害されてしまう場合がある。

本発明は、音声コマンドを用いて、適切にイベント記録を行うことができる車両用記録制御装置および記録方法を提供する。

本発明に係る車両用記録制御装置は、車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび前記車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得部と、前記第二撮影データから前記車両の搭乗者の視線の向きを検出する視線検出部と、イベント記録を指示する音声コマンドを認識する音声認識部と、前記搭乗者の視線が前記表示部に向けられたことが前記視線検出部によって検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力制御部と、前記音声認識部が前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録制御部と、を備える。

本発明に係る記録方法は、車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび前記車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得ステップと、前記第二撮影データから前記車両の搭乗者の視線の向きを検出する視線検出ステップと、イベント記録を指示する音声コマンドを認識する音声認識ステップと、前記搭乗者の視線が前記表示部に向けられたことが検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力ステップと、前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録ステップと、を車両用記録制御装置が実行する。

本発明によれば、音声コマンドを用いて、適切にイベント記録を行うことができる。

本発明の第１実施形態に係る車両用記録装置の構成を示すブロック図である。 本発明の第１実施形態に係る車両用記録制御装置の処理例を示すフローチャートである。 本発明の第２実施形態に係る車両用記録制御装置の処理例を示すフローチャートである。 本発明の第３実施形態に係る車両用記録制御装置の処理例を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について説明する。なお、以下の説明では、本実施の形態にかかる車両用記録装置の例として、移動体である自動車において用いられるドライブレコーダの例として説明する。しかし、本発明はこれに限られるものではない。例えば、オートバイ、自転車などの各種車両、鉄道、船舶、ロボット、さらには人など様々な移動体に対して適用することが可能である。また、以下の実施形態により本発明が限定されるものではない。

以下、図１および図２を参照して、本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る車両用記録装置１００の構成を示すブロック図である。車両用記録装置１００は、所謂ドライブレコーダである。車両用記録装置１００は、車両のウィンドシールド上部などに装着され、事故に相当する衝撃、つまり車両に加わった事故に相当する加速度を検出し、事故が検出されたときの映像などをイベントデータとして保存する。

図１に示す車両用記録装置１００は、単体の装置として車両に装着されるものに限らず、ナビゲーション装置の機能として実現される構成や、車両に予め装着されている構成など、様々な構成が適用可能である。

図１において、車両用記録装置１００は、車両用記録制御装置としての制御部２００、第一カメラ１０２、第二カメラ１０４、記録部１０６、出力部１０８、マイクロフォン１１０、加速度センサ１１２、操作部１１４およびＧＮＳＳ（Global Navigation Satellite System）受信部１１６を備える。出力部１０８は、表示部１０８ａおよび音声出力部１０８ｂとで構成される。

制御部２００は、各種データ処理を行う単数または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＡＭ（Random Access Memory）などで構成され、プログラムによって様々な処理を実行する。制御部２００は、その構成または実現される機能として、撮影データ取得部２０２、バッファメモリ２０４、撮影データ処理部２０６、記録制御部２０８、再生制御部２１０、出力制御部２１２、視線検出部２１４、音声認識部２１６、イベント検出部２１８、操作制御部２２０および位置情報取得部２２２を少なくとも備える。出力制御部２１２は、表示制御部２１２ａおよび音声出力制御部２１２ｂとで構成される。

制御部２００は、本発明にかかる記録方法を実行する車両用記録制御装置であり、本発明にかかるプログラムを動作させるコンピュータである。

第一カメラ１０２は、移動体である車両の周囲を撮影する。第一カメラ１０２は、車両用記録装置１００に一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。第一カメラ１０２には、図示しないが、レンズ、撮像素子、Ａ－Ｄ（Analog to Digital）変換素子等が含まれる。第一カメラ１０２は、撮影した第一撮影データを、撮影データ取得部２０２に出力する。

第一カメラ１０２は、車両用記録装置１００が車両のウィンドシールド上部の車室内側に備えられており、車両用記録装置１００に一体的に備えられている場合は、車両用記録装置１００のウィンドシールド側に備えられる。

第一カメラ１０２は、単数のカメラに限らず複数のカメラで構成されていてもよい。例えば、車両の前方、後方、側方、車室内などを各々撮影する任意の組合せの複数のカメラや、全であってもよい。

第二カメラ１０４は、移動体である車両の車室内を撮影する。第二カメラ１０４は、車両用記録装置１００に一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。第二カメラ１０４には、図示しないが、レンズ、撮像素子、Ａ－Ｄ変換素子等が含まれる。第二カメラ１０４は、撮影した第二撮影データを、撮影データ取得部２０２に出力する。

第二カメラ１０４は、車両の搭乗者の顔が撮影でき、車両の搭乗者の視線が検出可能な位置に備えられている。第二カメラ１０４は、車両用記録装置１００が車両のウィンドシールド上部の車室内側に備えられており、車両用記録装置１００に一体的に備えられている場合は、車両用記録装置１００の車室内側に備えられる。

第二カメラ１０４は、車両の搭乗者である運転者の視線が検出可能な位置に備えられている場合は、例えば、車両のインストルメントパネルなどに、車両の運転者の顔が位置する方向を撮影可能に備えられている。第二カメラ１０４は、車両の運転者に加えて、他の搭乗者の視線が検出可能な位置に備えられている場合は、例えば、車両のリヤビューミラーなどの近傍または内部に、車室内全体を撮影可能に備えられていてもよい。

第二カメラ１０４は、単数のカメラに限らず複数のカメラで構成されていてもよい。また、第二カメラ１０４は、可視光を撮影するカメラ、赤外線領域を撮影するカメラ、またはこれらの組み合わせであってもよい。

図１においては、第一カメラ１０２と第二カメラ１０４とは、異なるカメラとして説明したが、例えば上述した第一カメラ１０２と第二カメラ１０４が撮影する範囲を単一のカメラで撮影可能であれば、単一のカメラを用いてもよい。単一のカメラとは、例えば１８０度や３６０度の撮影が可能な全周囲カメラである。

第一カメラ１０２および第二カメラ１０４が撮影する撮影データは、動画像データである。これらの撮影データには、動画像データに加えて音声データを含んでいてもよい。

記録部１０６は、第一カメラ１０２が撮影した第一撮影データを、記録制御部２０８の制御によって記録するための不揮発性メモリであり、例えばメモリカードである。記録部１０６に記録された第一撮影データおよびイベントデータは、再生制御部２１０の制御によって再生される。記録部１０６は、記録部１０６に加えて記録制御部２０８および再生制御部２１０を備える別体の記録再生装置と置き換えてもよい。記録部１０６は、記録再生装置として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。

出力部１０８は、車両の搭乗者に対して、音声コマンドを示す情報を出力する。出力部１０８は、表示部１０８ａおよび音声出力部１０８ｂで構成される。表示部１０８ａが出力部１０８として動作する場合、表示部１０８ａは、車両の搭乗者に対する音声コマンドを示す情報の出力として、表示部１０８ａへの音声コマンドを示す文字情報などの情報の表示を行う。音声出力部１０８ｂが出力部１０８として動作する場合、音声出力部１０８ｂは、音声コマンドを示す音声の出力を行う。

表示部１０８ａは、表示制御部２１２ａの制御により各種情報を表示する表示装置である。表示部１０８ａは、例えば液晶パネルや有機ＥＬ（Organic Electro-Luminescence）パネルなどの表示パネルを備える。表示部１０８ａは、車両用記録装置１００として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。表示部１０８ａは、無線により接続され、表示制御部２１２ａを備える他の装置であってもよい。表示部１０８ａは、車両の搭乗者が目視しやすい位置に配置されている。

表示部１０８ａは、車両用記録装置１００が車両のウィンドシールド上部の車室内側に備えられており、車両用記録装置１００に一体的に備えられている場合は、車両用記録装置１００の車室内側に備えられる。この場合、表示部１０８ａは、第二カメラ１０４の近傍に備えられる。

音声出力部１０８ｂは、音声出力制御部２１２ｂの制御により各種音声を出力する。音声出力部１０８ｂは、具体的には、音声増幅装置およびスピーカなどで構成される。音声出力部１０８ｂは、車両の搭乗者に、音声コマンドを示す情報として音声コマンドと同一の音声を出力する。

音声出力部１０８ｂは、音声コマンドを示す情報を出力するときは、出力した音声が、音声コマンドとして誤って認識されないように出力する。このため、音声出力部１０８ｂは、車両の搭乗者には聞き取りやすく、マイクロフォン１１０には入力されないような構成とする。音声出力部１０８ｂは、例えば、車両の搭乗者が着座しているシートの上部に備えられるスピーカである。また、音声出力部１０８ｂは、車両の搭乗者が装着しているネックスピーカである。

マイクロフォン１１０は、車両の運転者などの搭乗者が発話した音声を取得する。マイクロフォン１１０は、第二カメラ１０４に備えられ、車両の運転者などの搭乗者が発話した音声は、第二撮影データに含まれていてもよい。マイクロフォン１１０は、車両の運転者などの搭乗者が発話した音声を取得可能な位置に配置される。マイクロフォン１１０は、車両の運転者などの搭乗者が発話した音声を取得可能な指向性を備えていてもよい。

加速度センサ１１２は、車両用記録装置１００または車両に加わった加速度を検出する。加速度センサ１１２は、例えば３軸の加速度センサであり、ｘ軸方向として車両の前後方向、ｙ軸方向として車両の左右方向、ｚ軸方向として車両の上下方向に加わった加速度を検出する。加速度センサ１１２は、検出した加速度情報をイベント検出部２１８に出力する。加速度センサ１１２は、車両用記録装置１００として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、加速度センサ１１２は、加速度センサ１１２およびイベント検出部２１８を含むユニットとして別体であってもよい。

操作部１１４は、車両用記録装置１００に対する操作を受け付けるインターフェースであり、受け付けた操作情報を操作制御部２２０に出力する。操作部１１４は、車両用記録装置１００に備えられた各種ボタンや、表示部１０８ａに備えられたタッチパネルであり、ユーザによる操作を受け付ける。操作部１１４は、無線接続された他の装置による操作を受け付けてもよい。操作部１１４は、例えば、ユーザによるイベント記録開始の操作を受け付ける。また、操作部１１４は、ユーザによるイベントデータの再生を行う操作を受け付ける。

ＧＮＳＳ受信部１１６は、例えば、ＧＰＳ（Global Positioning System）衛星などからの信号を受信する受信装置およびアンテナなどで構成される。ＧＮＳＳ受信部１１６は、受信した信号を位置情報取得部２２２に出力する。ＧＮＳＳ受信部１１６は、車両用記録装置１００として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、ＧＮＳＳ受信部１１６は、ＧＮＳＳ受信部１１６および位置情報取得部２２２を含む他の装置として別体であってもよい。

撮影データ取得部２０２は、第一カメラ１０２が撮影した第一撮影データおよび第二カメラ１０４が撮影した第二撮影データを取得する。撮影データ取得部２０２は、第一カメラ１０２から取得した第一撮影データを、バッファメモリ２０４へ出力する。撮影データ取得部２０２は、第二カメラ１０４から取得した第二撮影データを、視線検出部２１４に出力する。

撮影データ取得部２０２は、第一カメラ１０２および第二カメラ１０４による撮影を制御する撮影制御部としての機能も有する。撮影データ取得部２０２は、車両用記録装置１００が動作している期間、必要に応じて、第一カメラ１０２および第二カメラ１０４に撮影を行わせる。

バッファメモリ２０４は、制御部２００が備える内部メモリであり、撮影データ取得部２０２が取得した一定時間分の撮影データを、更新しながら一時的に記憶する。

撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データを、例えばＨ．２６４やＭＰＥＧ－４（Moving Picture Experts Group）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データから、一定時間分のファイルとした撮影データを生成する。具体例として、撮影データ処理部２０６は、バッファメモリ２０４が一時的に記憶している撮影データを、撮影順に６０秒間の撮影データをファイルとして生成する。撮影データ処理部２０６は、生成した撮影データを記録制御部２０８へ出力する。また、撮影データ処理部２０６は、生成した撮影データを表示制御部２１２ａへ出力する。ファイルとして生成される撮影データの期間は、一例として６０秒としたが、これには限定されない。

記録制御部２０８は、撮影データ処理部２０６でファイル化された撮影データを、記録部１０６に記録させる制御を行う。記録制御部２０８は、車両用記録装置１００が動作している期間は、撮影データ処理部２０６でファイル化された撮影データを、上書き可能な撮影データとして、記録部１０６に記録する。記録制御部２０８は、記録部１０６の記録容量が上限となった場合、記録部１０６に記録されている上書き可能な撮影データのうち、古い撮影データが記録されている記録領域から、新しい撮影データを上書きして記録する。記録制御部２０８が記録部１０６に記録する撮影データは、第一カメラ１０２が撮影した第一撮影データである。

記録制御部２０８は、車両用記録装置１００動作している期間中、第一撮影データに基づく撮影データを、記録部１０６に記録し続ける。このような記録処理を、通常記録またはループ記録と称する。

記録制御部２０８は、イベント検出部２１８が、イベントが発生したと判断したことを受けて、イベント発生時点を含む所定の期間の第一撮影データを、上書きが禁止されたイベントデータとして保存する。イベントデータは、例えば、イベント発生時点の前後１５秒間などの撮影データである。

記録制御部２０８は、操作制御部２２０がイベント記録を行う操作を受け付けた場合、イベント記録を行う操作が行われた時点を含む所定の期間の第一撮影データを、上書きが禁止されたイベントデータとして保存する。イベントデータは、例えば、イベント記録を行う操作が行われた時点の前後１５秒間などの撮影データである。

記録制御部２０８は、音声認識部２１６がイベント記録を行う音声コマンドを認識した場合、イベント記録を行う音声コマンドを認識した時点を含む所定の期間の第一撮影データを、上書きが禁止されたイベントデータとして保存する。イベントデータは、例えば、イベント記録を行う音声コマンドが認識された時点の前後１５秒間などの撮影データである。

記録制御部２０８によるイベントデータの保存方法は任意である。例えば、第一撮影データにおける上書き禁止とする区間のヘッダもしくはペイロードなどに上書き禁止フラグを付与して、記録部１０６に保存する。または、第一撮影データにおける上書き禁止とする区間を、記録部１０６の上書き禁止エリアに保存する。あるいは、第一撮影データにおける上書き禁止とする区間を他の装置に送信して保存する。

再生制御部２１０は、記録部１０６に記録された撮影データおよびイベントデータを再生する制御を行う。再生制御部２１０は、記録部１０６に記録された、上書き可能な撮影データの再生に加えて、上書き禁止となっているイベントデータの再生を行い、表示制御部２１２ａに出力する。

出力制御部２１２は、車両の搭乗者に対して、各種情報を出力させる処理を行う。具体的には、出力制御部２１２は、車両の搭乗者の感情がネガティブ感情であることが感情検出部２２４によって検出された場合、搭乗者に対して音声コマンドを示す情報を出力させる。出力制御部２１２は、表示制御部２０２ａおよび音声出力制御部２１２ｂで構成される。

表示制御部２１２ａは、表示部１０８ａを制御して表示部１０８ａに様々な情報を表示させる。表示制御部２１２ａが出力制御部２１２として機能する場合、表示制御部２１２ａは、視線検出部２１４によって搭乗者の視線が表示部１０８ａに向けられたことが検出された場合、表示部１０８ａに、イベント記録を指示する音声コマンドを示す情報を表示させる。表示制御部２１２ａは、イベント記録を指示するための音声コマンドが「録画開始」である場合、「録画開始」または「ろくがかいし」など、音声コマンドを示す情報を表示部１０８ａに表示させる。

表示制御部２１２ａは、視線検出部２１４によって搭乗者の視線が車両用記録装置１００に向けられたことが検出された場合、表示部１０８ａに、イベント記録を指示する音声コマンドを示す情報を表示させてもよい。例えば、車両用記録装置１００に表示部１０８が一体的に備えられている場合に有効である。

表示制御部２１２ａは、出力制御部２１２としての機能に加えて、撮影データ取得部２０２が取得した第一映像データを表示部１０８ａに表示させてもよい。この場合、第一カメラ１０２が撮影している映像が表示部１０８ａに表示される。また、表示制御部２１２ａは、再生制御部２１０が再生する撮影データまたはイベントデータを表示部１０８ａに表示させる。

音声出力制御部２１２ｂは、音声出力部１０８ｂに様々な音声を出力させる。音声出力制御部２１２ｂが出力制御部２１２として機能する場合、音声出力制御部２１２ｂは、視線検出部２１４によって搭乗者の視線が表示部１０８ａに向けられたことが検出された場合、音声出力部１０８ｂにイベント記録を指示する音声コマンドを示す音声を出力させる。音声出力制御部２１２ｂは、イベント記録を指示するための音声コマンドが「録画開始」である場合、「ろくがかいし」の音声を音声出力部１０８ｂに出力させる。

音声出力制御部２１２ｂは、出力制御部２１２としての機能に加えて、再生制御部２１０が再生する撮影データまたはイベントデータに含まれる音声を、音声出力部１０８ｂに出力させる。

視線検出部２１４は、撮影データ取得部２０２が取得した第二撮影データから、車両の搭乗者の視線の向きを検出する。視線検出部２１４は、第二カメラ１０４が、車両の運転者を撮影するように配置されている場合は、第二撮影データに撮影されている、車両の運転者の視線の向きを検出する。視線検出部２１４は、第二カメラ１０４が、車室内全体を撮影可能な位置に配置されている場合は、運転者以外の搭乗者が搭乗している場合、車両の運転者の視線の向きの検出に加えて、運転者以外の搭乗者の視線の向きを検出する。

視線検出部２１４は、第二撮影データから人の顔を検出し、検出した顔における目の位置を検出する。視線検出部２１４による顔や目の検出は、パターンマッチングなどの任意の手法を用いて行われる。視線検出部２１４は、目の映像から検出した目頭と光彩の位置関係に基づく視線向き検出や、角膜反射と瞳孔の位置関係に基づく視線向き検出を行う。視線検出手法は、上述したものに限らず任意の手法が適用可能である。

視線検出部２１４は、車両の搭乗者の視線が表示部１０８ａに向けられたことを検出する。視線検出部２１４は、予め記憶されている第二カメラ１０４と表示部１０８ａとの位置関係を示すデータに基づき、車両の搭乗者の視線が表示部１０８ａの方向に向けられたことを検出する。言い換えると、視線検出部２１４は、車両の搭乗者が表示部１０８ａを注視したことを検出する。従って、視線検出部２１４は、車両の搭乗者の視線が所定時間以上表示部１０８ａに向けられたことを検出することとしてもよい。この場合の所定時間とは、例えば０．５秒など、単に搭乗者の視線の向きが表示部１０８ａの方向を通過した場合ではなく、搭乗者が表示部１０８ａを見たことが判別できる時間が設定される。

視線検出部２１４は、車両の搭乗者の視線が車両用記録装置１００に向けられたことを検出してもよい。例えば、車両用記録装置１００に表示部１０８ａが一体的に備えられている場合に有効である。

音声認識部２１６は、マイクロフォン１１０が取得した音声を分析し、発話内容を認識する。音声認識部２１６は、マイクロフォン１１０が取得した音声に対して、音素毎または単語毎の音響モデル分析を行い、音素モデルや言語モデルとの対比を行うことで、発話内容を認識する。音声認識部２１６は、車両用記録装置１００に対する音声コマンドを認識する。音声認識部２１６が認識する音声コマンドは、例えば、イベント記録を行うための音声コマンドである「録画開始」、静止画の撮影を行うための音声コマンドである「写真撮影」などである。

音声認識部２１６は、マイクロフォン１１０が取得した音声の音素モデル分析により、各音素が連続して「ろくがかいし」であることを判定した場合に、「録画開始」の音声コマンドを受け付け、記録制御部２０８にイベント記録を行う指示を出力する。

イベント検出部２１８は、加速度センサ１１２が検出している加速度情報を取得し、イベントに該当する加速度が検出された場合、イベントが検出されたと判断する。イベントに該当する加速度とは、車両用記録装置１００が搭載されている車両に対して、他車両などの他の物体が衝突したときの加速度に該当する加速度である。イベントに該当する加速度の検出は、ｘ軸方向、ｙ軸方向およびｚ軸方向の各々で重み付けを行ってもよい。イベント検出部２１８は、イベントが検出されたと判断された場合、記録制御部２０８にイベント記録を行う指示を出力する。

操作制御部２２０は、操作部１１４が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。操作制御部２２０は、操作部１１４からイベント記録を行うボタンやアイコンの操作を受け付けた場合、記録制御部２０８にイベント記録を行う指示を出力する。操作制御部２２０は、上記に加えて、イベントデータ等の選択操作、再生操作、消去操作、一時停止操作、車両用記録装置１００の各種設定操作などを示す操作情報を取得し、取得した操作情報に対応した処理の指示を行う。

位置情報取得部２２２は、ＧＮＳＳ受信部１１６が受信した電波に基づいて、車両の現在の位置情報を公知の方法によって算出する。位置情報取得部２２２が算出した位置情報は、記録制御部２０８によって撮影データやイベントデータとともに記録される。

次に、図２を用いて、車両用記録装置１００が実行する記録処理の流れについて説明する。車両用記録装置１００が実行する記録処理は、車両用記録制御装置として動作するコンピュータとしての制御部２００が、プログラムに基づき実行する。

図２における処理の開始とは、例えば、移動体である車両のエンジンまたは電源等がオンとなることによって、車両用記録装置１００が動作開始することを意味する。

処理の開始に伴い、車両用記録装置１００は、通常記録処理および視線検出処理を開始する（ステップＳ１０）。具体的には、記録制御部２０８は、第一撮影データに基づく撮影データを記録部１０６に記録する通常記録処理を開始し、視線検出部２１４は、第二撮影データから車両の搭乗者の向きの検出を開始する。

ステップＳ１０の処理の開始とともに、車両用記録装置１００は、イベント記録を行うための操作が有ったか否かを判定する（ステップＳ１１）。具体的には、操作制御部２２０は、操作部１１４に対してイベント記録を行うボタンやアイコンの操作が受け付けられたか否かを判定する。イベント記録を行うための操作が有ったと判定した場合（ステップＳ１１：Ｙｅｓ）、ステップＳ１６に進む。イベント記録を行うための操作が有ったと判定しない場合（ステップＳ１１：Ｎｏ）、ステップＳ１２に進む。

ステップＳ１２においては、車両用記録装置１００は、イベント記録を行う音声コマンドを受け付けたか否かを判定する。具体的には、音声認識部２１６は、マイクロフォン１１０が取得した音声に、イベント記録を行う音声コマンドを示す発話が有ったか否かを判定する。イベント記録を行う音声コマンドを受け付けたと判定した場合（ステップＳ１２：Ｙｅｓ）、ステップＳ１６に進む。イベント記録を行う音声コマンドを受け付けたと判定しない場合（ステップＳ１２：Ｎｏ）、ステップＳ１４に進む。

ステップＳ１３においては、車両用記録装置１００は、イベントが検出されたか否かを判定する。具体的には、イベント検出部２１８は、加速度センサ１１２が検出した加速度に基づいて、イベントが検出されたか否かを判定する。イベントが検出されたと判定した場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１６に進む。イベントが検出されたと判定しない場合（ステップＳ１３：Ｎｏ）、ステップＳ１４に進む。

ステップＳ１４においては、車両用記録装置１００は、車両の搭乗者によって表示部１０８ａが注視されたか否かを判定する。具体的には、視線検出部２１４は、車両の搭乗者の視線が、表示部１０８ａに向けられたか否かを判定する。視線検出部２１４は、車両の搭乗者の視線が、所定時間以上、表示部１０８ａに向けられたか否かを判定してもよい。車両の搭乗者によって表示部１０８ａが注視されたと判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５に進む。車両の搭乗者によって表示部１０８ａが注視されたと判定しない場合（ステップＳ１４：Ｎｏ）、ステップＳ１７に進む。

ステップＳ１５においては、車両用記録装置１００は、出力部１０８を用いて、車両の搭乗者に音声コマンドを示す情報を出力する。ステップＳ１５の一例としては、出力部１０８として動作する表示部１０８ａに音声コマンドを示す文字などの情報を、例えば、「録画開始」や「ろくがかいし」のように表示する。ステップＳ１４で車両の搭乗者が注視したことが判定された表示部１０８ａと、ステップＳ１５で音声コマンドを示す情報が表示される表示部１０８ａは、同一の表示部である。ステップＳ１５の他の例としては、出力部１０８として動作する音声出力部１０８ｂに、例えば「ろくがかいし」のような音声コマンドを示す音声を出力させる。

ステップＳ１１、ステップＳ１２、ステップＳ１３およびステップＳ１４の処理は、ステップＳ１０の処理の開始とともに、同時並行的に処理が開始され、図２の処理が終了するまで実行される。

ステップＳ１６においては、車両用記録装置１００は、イベントデータを保存する。具体的には、記録制御部２０８は、第一撮影データに基づいたイベントデータを上書禁止として保存する。ステップＳ１６は、ステップＳ１１においてイベント記録を行うための操作が有ったと判定した場合、イベント記録を行うための操作が行われた時点の前後１５秒間などの第一撮影データをイベントデータとして保存する。ステップＳ１６は、ステップＳ１２においてイベント記録を行う音声コマンドを受け付けたと判定した場合、イベント記録を行う音声コマンドが認識された時点の前後１５秒間などの第一撮影データをイベントデータとして保存する。ステップＳ１６は、ステップＳ１３においてイベントが検出されたと判定した場合、イベント発生時点の前後１５秒間などの第一撮影データをイベントデータとして保存する。

ステップＳ１４でＮｏと判定された場合、ステップＳ１５の処理後、およびステップＳ１６の処理後、車両用記録装置１００は、記録処理等が終了したか否かを判定する（ステップＳ１７）。具体的には、車両用記録装置１００は、ステップＳ１０で開始した処理が終了したか否かを判定する。ステップＳ１０で開始した処理の終了とは、例えば、移動体である車両のエンジンまたは電源等がオフとなることで、車両用記録装置１００の動作が終了することを意味する。処理が終了したと判定された場合（ステップＳ１７：Ｙｅｓ）、図２の処理を終了する。処理が終了したと判定されない場合（ステップＳ１７：Ｎｏ）、ステップＳ１１に進む。

車両の運転者など搭乗者が、自車両が当事者ではない事故などのイベントを撮影した撮影データをイベントデータとして記録したい場合に、音声コマンドを用いてイベントデータを保存したい場合が生じる。また、周囲の車両から煽られている場合なども、音声コマンドを用いてイベントデータを保存したい場合が生じる。これらのような場合、ステップＳ１３の処理ではイベントは検出されない。また、車両を運転中の運転者は、操作部１１４によるイベント記録操作を行うことが安全ではない場合もある。また、運転者以外の搭乗者であっても、車両用記録装置１００の操作部１１４に手が届かない搭乗者は、操作部１１３によるイベント記録操作を行うことが困難である。

また、音声コマンドを用いてイベント記録を指示する場合であっても、イベント記録を指示する音声コマンドを咄嗟に思い出すことができない場合がある。例えば、音声コマンドを用いたイベント記録の指示を行う頻度が少ない場合や、複数の車両を利用しており、車両毎に備えられている車両用記録装置のイベント記録を指示する音声コマンドが異なる場合などである。

このように、車両の運転者など搭乗者が、咄嗟に正確な音声コマンドが思い出せない場合や、誤った音声コマンドを発話した場合、車両の搭乗者は車両用記録装置１００、特に表示部１０８ａを注視することが多い。このようなときに、図２に示す処理によって、イベント記録を指示する音声コマンドが出力されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。

次に、図３を参照して、本発明の第２実施形態を説明する。第２実施形態にかかる車両用記録装置１００の構成は、第１実施形態と同一であり、処理の異なる点以外の説明は省略する。

視線検出部２１４は、車両の搭乗者の視線が連続的に複数回、表示部１０８ａに向けられたことを検出する。連続的に複数回とは、例えば、３秒間の間に２回以上、車両の搭乗者の視線が表示部１０８ａに向けられた場合などである。また、連続的に複数回とは、例えば０．５秒など、単に搭乗者の視線の向きが表示部１０８ａの方向を通過した場合ではなく、搭乗者が表示部１０８ａを見たことが判別できる時間以上、搭乗者の視線が表示部１０８ａに向けられたことが複数回検出された場合としてもよい。車両の搭乗者が複数存在する場合は、同一の搭乗者の視線が連続的に複数回、表示部１０８ａに向けられたことを検出する。

図３に示すステップＳ２０～ステップＳ２３、ステップＳ２５～ステップＳ２７の処理は、図２に示すステップＳ１０～ステップＳ１３、ステップＳ１５～ステップＳ１７の処理と同一であるため、説明を省略する。

ステップＳ２４においては、車両用記録装置１００は、車両の搭乗者によって表示部１０８ａが連続的に複数回注視されたか否かを判定する。具体的には、視線検出部２１４は、車両の搭乗者の視線が、連続的に複数回、表示部１０８ａに向けられたか否かを判定する。言い換えると、車両の搭乗者の視線が、所定期間内に複数回、所定時間以上、表示部１０８ａに向けられたか否かを判定する。車両の搭乗者によって表示部１０８ａが連続的に複数回、注視されたと判定した場合（ステップＳ２４：Ｙｅｓ）、ステップＳ２５に進む。車両の搭乗者によって表示部１０８ａが連続的に複数回、注視されたと判定しない場合（ステップＳ２４：Ｎｏ）、ステップＳ２７に進む。

車両の運転者など搭乗者が、咄嗟に正確な音声コマンドが思い出せずに、誤った音声コマンドを発話した場合、車両の搭乗者は、イベント記録を行いたいという意思によって車両用記録装置１００、特に表示部１０８ａを注視した後、イベント記録が行われているか、つまり音声コマンドが正確であったか否かの確認を行うために、再度、車両用記録装置１００、特に表示部１０８ａを注視することが多い。

このようなときに、図３に示す処理によって、イベント記録を指示する音声コマンドが出力されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。

次に、図４を参照して、本発明の第３実施形態を説明する。第３実施形態にかかる車両用記録装置１００の構成は、第１実施形態と同一であり、処理の異なる点以外の説明は省略する。

音声認識部２１６は、車両用記録装置１００に対する音声コマンドに加えて、音声コマンド以外の音声も認識する。音声コマンド以外の音声が認識されることは、音声コマンドの発話ではなく、何か他の発話があったことが判別できればよい。音声認識部２１６は、音声コマンドに該当する音声が認識された場合は、記録制御部２０８にイベント記録を行う指示を出力する。また、音声認識部２１６は、音声コマンド以外の音声が認識された場合、音声コマンド以外の音声が認識されたことを記録制御部２０８に出力する。

音声認識部２１６は、音声コマンド以外の音声が認識されたことを記録制御部２０８に常時出力する必要はない。例えば、車両の搭乗者が表示部１０８ａを注視している期間や、車両の搭乗者が表示部１０８ａを注視してから例えば３秒間などの期間において、音声コマンド以外の音声が認識された場合に、音声コマンド以外の音声が認識されたことを記録制御部２０８に出力する。

図４に示すステップＳ３０～ステップＳ３４、ステップＳ３６～ステップＳ３７の処理は、図２に示すステップＳ１０～ステップＳ１４、ステップＳ１５～ステップＳ１７の処理と同一であるため、説明を省略する。

ステップＳ３４において、車両の搭乗者によって表示部１０８ａが注視されたと判定した場合（ステップＳ３４：Ｙｅｓ）、ステップＳ３５に進む。ステップＳ３５においては、車両用記録装置１００は、音声コマンド以外の音声が認識されたか否かを判定する（ステップＳ３５）。具体的には、音声認識部２１６は、車両の搭乗者が表示部１０８ａを注視している期間や、車両の搭乗者が表示部１０８ａを注視してから例えば３秒間など所定の期間内に、音声コマンド以外の音声が認識されたか否かを判定する。音声コマンド以外の音声が認識されたと判定された場合（ステップＳ３５：Ｙｅｓ）、ステップＳ３６に進む。音声コマンド以外の音声が認識されたと判定されない場合（ステップＳ３５：Ｎｏ）、ステップＳ３８に進む。

このように、車両の運転者など搭乗者が、咄嗟に正確な音声コマンドが思い出せない場合や、車両の搭乗者は車両用記録装置１００を注視して、何らかの発話を行うことが多い。この発話は、音声コマンドであった場合は、ステップＳ３１がＹｅｓになる。また、発話が音声コマンド以外であった場合は、図３に示す処理によって、表示部１０８ａにイベント記録を指示する音声コマンドが表示されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。

本発明の第３実施形態の変形例として、ステップＳ３５においては、音声コマンドに類似する音声が認識されたか否かを判定してもよい。音声コマンドに類似する音声とは、音声コマンドとは一致していないが、音声コマンドと部分的に一致するような語句の発話である。

このような場合、音声認識部２１６は、取得した音声の分析結果と、予め記憶されている音声コマンドとを対比して、音声コマンドが示す語句と一致する語句があるかを判定する。音声認識部２１６は、特定の語句が一致することを判定してもよい。例えば、音声コマンドが「録画開始」である場合に、「録画」の語句が含まれる発話があった場合に、音声コマンドに類似する音声が認識されたと判定する。

また、ステップＳ３５においては、音声認識部２１６は、音声コマンドに類似する音声として、同義語が認識されたか否かを判定してもよい。例えば、音声コマンドが「録画開始」である場合に、「記録開始」や「イベント記録」など「記録」の語句が含まれる発話があった場合に、音声コマンドに類似する音声が認識されたと判定する。

このように、車両の運転者など搭乗者が、咄嗟に正確な音声コマンドが思い出せずに誤った音声コマンドを発話した場合、車両の搭乗者は車両用記録装置１００、特に表示部１０８ａを注視することが多い。このようなときに、図３に示す処理によって、表示部１０８ａにイベント記録を指示する音声コマンドが表示されることで、車両の搭乗者は、適切な音声コマンドを発話でき、イベント記録を行うタイミングの遅延が少なく、適切にイベント記録を行うことができる。また、正しい音声コマンドを発話させることで、音声コマンドの理解にもつながり、さらには、誤った音声コマンドによって意図せずにイベント記録が行われることも防止する。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上述した処理をコンピュータに実行させるためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、車両用記録制御装置として動作するコンピュータに供給することができる。

１００ 車両用記録装置
１０２ 第一カメラ
１０４ 第二カメラ
１０６ 記録部
１０８ 出力部
１０８ａ 表示部
１０８ｂ 音声出力部
１１０ マイクロフォン
１１２ 加速度センサ
１１４ 操作部
１１６ ＧＮＳＳ受信部
２００ 制御部（車両用記録制御装置）
２０２ 撮影データ取得部
２０４ バッファメモリ
２０６ 撮影データ処理部
２０８ 記録制御部
２１０ 再生制御部
２１２ 出力制御部
２１２ａ 表示制御部
２１２ｂ 音声出力制御部
２１４ 視線検出部
２１６ 音声認識部
２１８ イベント検出部
２２０ 操作制御部
２２２ 位置情報取得部

Claims (7)

1. 車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび前記車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得部と、
   前記第二撮影データから前記車両の搭乗者の視線の向きを検出する視線検出部と、
   イベント記録を指示する音声コマンドを認識する音声認識部と、
   前記搭乗者の視線が前記表示部に向けられたことが前記視線検出部によって検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力制御部と、
   前記音声認識部が前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録制御部と、
   を備える、車両用記録制御装置。
2. 前記出力制御部は、前記視線検出部が、前記搭乗者の視線が所定時間以上、前記表示部に向けられたことを検出した場合、前記搭乗者に対して前記音声を示す情報を出力させる、
   請求項１に記載の車両用記録制御装置。
3. 前記出力制御部は、前記視線検出部が、前記搭乗者の視線が連続的に複数回、前記表示部に向けられたことを検出した場合、前記搭乗者に対して前記音声を示す情報を出力させる、
   請求項１に記載の車両用記録制御装置。
4. 前記音声認識部は、前記音声コマンド以外の音声を認識し、
   前記表示制御部は、前記搭乗者の視線が前記表示部に向けられたことが前記視線検出部によって検出され、且つ、前記音声認識部によって前記音声コマンド以外の音声が認識された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる、
   請求項１から３のいずれか１項に記載の車両用記録制御装置。
5. 前記出力制御部は、前記表示部に情報を表示させる表示制御部であり、前記搭乗者の視線が前記表示部に向けられたことが前記視線検出部によって検出された場合、前記表示部に前記音声コマンドを示す情報を表示する、
   請求項１から４のいずれか１項に記載の車両用記録制御装置。
6. 前記出力制御部は、前記搭乗者に対して音声出力する音声出力制御部であり、前記搭乗者の視線が前記表示部に向けられたことが前記視線検出部によって検出された場合、前記搭乗者に対して前記音声コマンドを示す音声を出力する、
   請求項１から４のいずれか１項に記載の車両用記録制御装置。
7. 車両の周辺を撮影する第一カメラが撮影した第一撮影データおよび前記車両の車室内を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得ステップと、
   前記第二撮影データから前記車両の搭乗者の視線の向きを検出する視線検出ステップと、
   イベント記録を指示する音声コマンドを認識する音声認識ステップと、
   前記搭乗者の視線が前記表示部に向けられたことが検出された場合、前記搭乗者に対して前記音声コマンドを示す情報を出力させる出力ステップと、
   前記音声コマンドを認識した場合、前記第一撮影データをイベントデータとして保存する記録ステップと、
   を車両用記録制御装置が実行する記録方法。

Images