JP2021114081A - ドライブレコーダ、記録方法およびプログラム - Google Patents

Abstract

【課題】車両の乗員による発話の継続性を考慮してドライブデータを記録する。【解決手段】ドライブレコーダ１０は、車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部１２と、車両の乗員の音声情報を取得する音声情報取得部１６と、音声情報に基づいて車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する発話継続判定部２２と、音声情報に基づいて継続中の発話における発話者を特定する発話者特定部２６と、継続中の発話において特定された発話者に関する所定条件が充足された場合、発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された車両周囲情報および音声情報を記録する記録制御部３４と、を備える。【選択図】図１

Description

本発明は、ドライブレコーダ、記録方法およびプログラムに関する。

近年、車両の周囲の画像を撮像して記録するドライブレコーダが広く普及している。一般的なドライブレコーダでは、加速度センサの検出値に基づく衝撃や急ブレーキの検知をトリガとしてドライブデータが記録される。また、ドライブデータを娯楽目的で使用するため、車内の乗員による歓声などをトリガとして映像を記録する技術が提案されている（例えば、特許文献１参照）。

特開２０１９−９２０７７号公報

車外の風景などを見て乗員が歓声を上げる場合、歓声を検知して記録が開始される時点では歓声の契機となった風景などがすでに見えなくなっている可能性がある。また、車外の風景などをきっかけとして乗員の会話が始まり、その後に会話が盛り上がって歓声が上がる場合、歓声が上がるまでの会話の流れや会話のきっかけとなった事象を記録できない。

本発明は、上述の事情に鑑みてなされたものであり、車両の乗員による発話の継続性を考慮してドライブデータを記録する技術を提供することを目的とする。

本発明のある態様のドライブレコーダは、車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、車両の乗員の音声情報を取得する音声情報取得部と、音声情報に基づいて車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する発話継続判定部と、音声情報に基づいて継続中の発話における発話者を特定する発話者特定部と、継続中の発話において特定された発話者に関する所定条件が充足された場合、発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された車両周囲情報および音声情報を記録する記録制御部と、を備える。

本発明の別の態様は、記録方法である。この方法は、車両の周囲に関する車両周囲情報を取得するステップと、車両の乗員の音声情報を取得するステップと、音声情報に基づいて車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定するステップと、音声情報に基づいて継続中の発話における発話者を特定するステップと、継続中の発話において特定された発話者に関する所定条件が充足された場合、発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された車両周囲情報および音声情報を記録するステップと、を備える。

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、車両の乗員による発話の継続性を考慮してドライブデータを記録できる。

実施の形態に係るドライブレコーダの機能構成を模式的に示すブロック図である。 発話データの記録期間を模式的に示す図である。 実施の形態に係る記録方法の流れを示すフローチャートである。

本実施の形態を詳細に説明する前に概要を説明する。本実施の形態は、ドライブレコーダであり、車両の周囲を撮像した画像や車両の走行に関する情報といったドライブデータを記録する。ドライブレコーダでは、加速度センサの検出値に基づく衝撃や急ブレーキの検知をトリガとしてドライブデータが記録されることが一般的である。したがって、日頃から安全運転をしているユーザであれば、ドライブデータが記録される状態となることは少なく、実質的にドライブレコーダが使用されていない状態となりうる。そこで、本実施の形態では、ドライブレコーダが取得する画像等を娯楽目的で記録するようにし、記録された画像等をユーザが見ることでドライブを振り返ることができるようにする。特に、車内で会話が継続しているかをモニタし、車両の乗員が感嘆の声を上げたり、乗員同士の会話が盛り上がったりする場合に継続する会話の開始時点から画像や音声等を記録するようにする。これにより、乗員にとって印象に残ると考えられる場面を選択的に記録できるようにし、その場面での会話の流れが分断されて記録されてしまうことを防止できる。

以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、図面において、本発明に直接関係のない要素は図示を省略する。

図１は、実施の形態に係るドライブレコーダ１０の機能構成を模式的に示すブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。

ドライブレコーダ１０は、車両周囲情報取得部１２と、走行情報取得部１４と、音声情報取得部１６と、イベント検出部１８と、音声解析部２０と、記録制御部３４と、を備える。本実施の形態において、ドライブレコーダ１０が走行情報取得部１４およびイベント検出部１８を備えることは必須ではなく、これらを備えない構成であってもよい。ドライブレコーダ１０は、周囲情報解析部３０および関連性判定部３２を備えてもよい。

車両周囲情報取得部１２は、車両の周囲に関する車両周囲情報を取得する。車両周囲情報取得部１２は、車両周囲情報として、車載カメラ４０が撮像する画像データを取得する。車載カメラ４０は、例えば、車両の周囲または室外を撮像するよう構成され、車両の前方、後方および側方の少なくとも一つを撮像する。車載カメラ４０は、複数のカメラを備えてもよく、例えば複数のカメラのそれぞれが車両の前方、後方、側方を撮像してもよい。車載カメラ４０は、車両の室外および室内を撮像するよう構成されてもよい。車載カメラ４０は、ドライブレコーダ１０とは別体であってもよいし、ドライブレコーダ１０に内蔵されていてもよい。

車両周囲情報取得部１２は、車両周囲情報をナビゲーション装置４６や無線通信装置４８から取得してもよい。車両周囲情報取得部１２は、車両の現在位置の周辺にある施設や店舗、観光名所などに関する情報を取得してもよい。車両周囲情報取得部１２は、ナビゲーション装置４６に登録されている情報を取得してもよいし、無線通信装置４８を通じてインターネットや車両の外部に設置されたサーバ、路車間通信の路側装置などから情報を取得してもよい。車両周囲情報取得部１２は、例えば、外部サーバに車両の現地位置情報を送信し、車両の現在位置に基づく周辺情報を外部サーバから取得してもよい。

走行情報取得部１４は、車両の走行に関する走行情報を取得する。走行情報取得部１４は、走行情報として、車両に設けられる車載センサ４２から情報を取得する。車載センサ４２の具体例として、車速センサ、舵角センサ、アクセル操作量センサ、ブレーキ操作量センサ、加速度センサ、ジャイロセンサ、レーダセンサ、ライダ（ＬｉＤＡＲ；Light Detection and Ranging）、位置情報センサ（例えば、ＧＮＳＳ；Global Navigation Satellite System）などが挙げられるが、これらに限定されるものではない。走行情報取得部１４は、ドライブレコーダ１０に設けられるセンサから車両の走行に関する情報を取得してもよい。例えば、ドライブレコーダ１０に加速度センサや位置情報センサなどが設けられてもよい。

音声情報取得部１６は、車両の乗員が発する音声情報を取得する。音声情報取得部１６は、音声情報として、車室内に設けられる車室内マイク４４により集音される音声信号を取得する。車室内マイク４４は、車室内全体の音声を集音するために１箇所に設けられてもよいし、車室内の複数の座席のそれぞれに着座する乗員の音声を個別に集音可能となるよう複数箇所に設けられてもよい。車室内マイク４４は、ビームフォーミング技術を用いて、特定の乗員からの音声または特定の着座位置からの音声を選択的に集音するよう構成されてもよい。

イベント検出部１８は、車両の事故や衝突といった事象の発生を検知したり、車両の事故や衝突の可能性が高いと考えられる事象の発生を検知したりする。イベント検出部１８は、例えば、車両の走行速度や加速度の情報、アクセル、ブレーキおよびハンドルなどの操作情報から、急ブレーキ、急ハンドル、急発進などによる車両挙動の急激な変化や、車両の事故や衝突といった事象をイベントとして検出する。イベント検出部１８は、車載カメラ４０の画像データや車両のレーダセンサなどの情報に基づいて、前方車両との接近、車両周囲の障害物との接近、走行中の車線からの逸脱などをイベントとして検出してもよい。イベント検出部１８は、ユーザからの入力操作をイベントとして検出してもよい。

イベント検出部１８は、例えば、車両に加わる加速度の値に基づいてイベントを検出する。イベント検出部１８は、加速度センサにて検出される加速度のピーク値が所定の閾値以上である場合にイベントを検出してもよい。イベント検出部１８は、加速度センサにて検出される加速度の時間積分値が所定の閾値以上である場合にイベントを検出してもよい。イベント検出部１８は、加速度センサにて検出される加速度が所定値以上のままとなる継続時間が所定の閾値以上である場合にイベントを検出してもよい。

音声解析部２０は、音声情報取得部１６が取得する音声情報に基づいて、車両の乗員が発する音声を解析する。音声解析部２０は、発話継続判定部２２を含む。音声解析部２０は、所定音検出部２４と、発話者特定部２６と、発話内容特定部２８とを含んでもよい。

発話継続判定部２２は、音声情報取得部１６が取得する音声情報に基づいて、車両の乗員による発話が継続しているか否かを判定する。ここで「発話」とは、乗員が何らかの発言をしている状態のことをいい、複数の乗員同士が会話をしている状態や、特定の乗員が別の乗員に対して語りかけている状態などが含まれる。本明細書の「発話」には、特定の乗員が独り言を発している状態が含まれてもよいし、乗員が歌っている状態が含まれてもよい。また、発話の「継続」とは、例えば、複数の乗員が交互に発話することで会話が継続するような状態をいう。本明細書の「発話の継続」には、乗員の発話が途切れることなく連続する状態や、１秒未満や２秒未満といった短時間の間隔をあけて乗員の発話が断続的になされる状態が含まれる。

発話継続判定部２２は、例えば、車室内マイク４４から出力される音声信号の音声レベルに基づいて、乗員が発話をしているか否かを判定してもよい。発話継続判定部２２は、音声レベルが第１閾値以上である場合に発話がなされていると判定し、音声レベルが第１閾値未満である場合に発話がなされていないと判定してもよい。発話継続判定部２２は、音声信号に基づいて、発話がなされている発話期間と、発話がなされていない非発話期間とを時系列上で識別してもよい。発話継続判定部２２は、音声信号の波形の特徴や音声信号の周波数帯域に基づいて、乗員の声とそれ以外の音とを識別してもよい。発話継続判定部２２は、乗員の声とみなされる信号波形のレベルが第１閾値以上である期間を発話期間と判定してもよい。

発話継続判定部２２は、時系列上で発話期間と非発話期間が交互に繰り返される場合、隣接する発話期間の継続性を判定する。発話継続判定部２２は、例えば、隣接する発話期間の間隔が所定時間（例えば、１秒や２秒）未満である場合、いいかえれば、非発話期間が所定時間未満である場合、隣接する発話が継続していると判定する。一方、隣接する発話期間の間隔が所定時間（例えば、１秒や２秒）以上である場合、いいかえれば、非発話期間が所定時間以上である場合、隣接する発話が継続していないと判定する。

発話継続判定部２２は、乗員による発話が継続中であるか否かを示すための発話継続フラグを保持してもよい。発話継続判定部２２は、乗員の発話期間において発話継続フラグをオンにする。発話継続判定部２２は、乗員の発話期間が終了してから所定時間（例えば、１秒や２秒）が経過する前に次の発話期間が開始する場合、発話継続フラグをオンにしたままとする。一方、乗員の発話期間が終了してから所定時間が経過しても次の発話期間が開始しない場合、発話継続フラグをオフにする。発話継続判定部２２は、発話継続フラグをオフにした後に次の発話期間が開始する場合に発話継続フラグをオンにする。

発話継続判定部２２は、継続中の発話が開始されたタイミングである「発話継続開始タイミング」を特定し、発話継続開始タイミングを示す情報を保持する。発話継続開始タイミングは、例えば、発話継続フラグがオフからオンに変更されるタイミングである。発話継続判定部２２は、発話継続開始タイミングを示す情報として、発話継続開始タイミングに対応する時刻情報を保持してもよいし、発話継続開始タイミングから現在までの経過時間を示す時間情報を保持してもよい。

発話継続判定部２２は、継続中の発話が終了するタイミングである「発話継続終了タイミング」を特定する。発話継続終了タイミングは、発話継続フラグがオンからオフに変更されるタイミングである。発話継続判定部２２は、発話継続終了タイミングを示す情報として、発話継続終了タイミングに対応する時刻情報を保持してもよい。発話継続判定部２２は、発話継続終了タイミングにおいて、発話継続開始タイミングを示す情報を消去（リセット）してもよい。

所定音検出部２４は、音声情報取得部１６が取得する音声情報に基づいて、乗員が発する所定の音声を検出する。所定音検出部２４は、公知の音声認識技術が用いられる音声認識部であることが好ましい。このとき、「所定の音声」とは、「すごい！」「わー！」「何あれ？」「きれい！」「あれ見て！」「危ない！」「事故だ！」といった乗員による感嘆や驚きを示す発声のことをいい、通常の会話よりも大きな声でなされる発声などが含まれる。なお、「所定の音声」には、「データを記録して」といった発話データの記録を開始させるための音声入力用の発声が含まれてもよく、記録のトリガとすべき音声をユーザが自由に設定できることが好ましい。所定音検出部２４は、継続中の発話に含まれる音声信号の音声レベルに基づいて所定の音声を検出してもよい。所定音検出部２４は、音声レベルが第１閾値よりも大きい第２閾値以上である場合、所定の音声を検出してもよい。所定音検出部２４は、音声信号の音声レベルの変化量に基づいて所定の音声を検出してもよく、通常の会話における音声レベルに比べて音声レベルが大きく増加した場合に所定の音声を検出してもよい。このとき、「所定の音声」とは、所定値以上の音声レベルを有する、乗員による驚嘆や驚きを示す発声のことをいう。

発話者特定部２６は、音声情報取得部１６が取得する音声情報に基づいて発話者を特定する。発話者特定部２６は、車室内マイク４４から出力される音声信号の波形に基づいて声質を評価し、車両に搭乗している乗員の誰が発話をしているかを特定してもよい。発話者特定部２６は、機械学習などの技術を用いて声質と乗員との相関を評価し、発話者を特定することが好ましい。発話者特定部２６は、車室内での発話者の位置を特定することで間接的に発話者を特定してもよい。例えば、ビームフォーミング技術を用いて特定の着座位置からの音声を選択的に集音している場合、音源となる着座位置を特定することで間接的に発話者を特定してもよい。発話者特定部２６は、例えば、車両の運転者が発話しているか否か、車両の前方座席の乗員が発話しているか否か、車両の後方座席の乗員が発話しているか否かを特定してもよい。

発話内容特定部２８は、音声情報取得部１６が取得する音声情報に基づいて発話の内容を特定する。発話内容特定部２８は、例えば、公知の音声認識技術を用いて発話の内容を文字情報に変換する。発話内容特定部２８は、発話の内容を示す文字情報から特定のキーワードを抽出してもよい。発話内容特定部２８は、例えば、車両の周囲に関する情報を示すキーワードを抽出してもよい。例えば、車両の周囲に見える風景や地形の特徴を示すキーワード（山、海、川、平原、紅葉、雪原、住宅街、ビル、タワーなど）を抽出してもよい。

周囲情報解析部３０は、車両周囲情報取得部１２が取得する車両周囲情報を解析し、車両の周囲に関する情報を示すキーワードを抽出する。周囲情報解析部３０は、車両の周囲を撮像した画像データを画像認識技術を用いて解析し、画像に含まれる複数の対象物のそれぞれについてキーワードを抽出してもよい。例えば、車両の周囲に見える風景や地形の特徴を示すキーワード（山、海、川、平原、紅葉、雪原、住宅街、ビル、タワーなど）を抽出してもよい。周囲情報解析部３０は、ナビゲーション装置４６や無線通信装置４８を通じて取得する車両周辺情報を解析し、車両の現在位置の周辺にある施設や店舗、観光名所などを示すキーワードを抽出してもよい。

関連性判定部３２は、発話内容特定部２８が抽出するキーワードと周囲情報解析部３０が抽出するキーワードの関連性を判定する。関連性判定部３２は、発話内容特定部２８が抽出するキーワードと周囲情報解析部３０が抽出するキーワードが一致または類似するか否かを判定する。これにより、車両の乗員の発話内容が車両の周囲の状況に関連しているか否かを判定し、例えば、乗員が車外の風景を見ながら「山が見えるよ」「紅葉がきれい」といった発話をしているか否かを判定する。

記録制御部３４は、車両周囲情報取得部１２が取得する車両周囲情報、走行情報取得部１４が取得する走行情報および音声情報取得部１６が取得する音声情報の少なくともいずれかを記録媒体５０に記録する。記録媒体５０は、例えば、ＳＤカード（登録商標）などのフラッシュメモリで構成される。記録媒体５０は、例えば、ドライブレコーダ１０に設けられるスロットに挿入して使用され、ドライブレコーダ１０から取り外し可能となるよう構成される。記録媒体５０は、ドライブレコーダ１０に内蔵されるフラッシュメモリなどの不揮発性メモリであってもよい。記録媒体５０は、ハードディスクドライブなどの磁気記憶装置で構成されてもよい。

記録制御部３４は、イベント検出部１８によるイベント検出をトリガとして、車両周囲情報や走行情報を記録媒体５０に記録する。記録制御部３４は、イベント検出部１８による衝撃検知タイミングの前後の所定期間内に車両周囲情報取得部１２が取得した車両周囲情報や、音声情報取得部１６が取得した音声情報を「イベントデータ」として記録する。いいかえれば、「イベントデータ」とは、衝撃検知をトリガとして記録される車両周囲情報や音声情報である。記録制御部３４は、例えば、記録媒体５０に設定されるイベントデータ記録専用の記憶領域にイベントデータを記録する。記録制御部３４は、イベントデータとして走行情報を記録してもよい。

記録制御部３４は、発話継続判定部２２によって車両の乗員の発話が継続していると判定される場合に、継続中の発話において所定条件が満たされることをトリガとして、車両周囲情報取得部１２が取得した車両周囲情報や、音声情報取得部１６が取得した音声情報を「発話データ」として記録媒体５０に記録する。いいかえれば、「発話データ」とは、乗員による発話をトリガとして記録される車両周囲情報や音声情報である。記録制御部３４は、例えば、記録媒体５０に設定される発話データ記録専用の記憶領域に発話データを記録する。記録制御部３４は、トリガとなる条件が満たされた場合、継続中の発話が開始した発話継続開始タイミング以降に取得された車両周囲情報および音声情報を記録媒体５０に記録する。記録制御部３４は、「発話データ」として走行情報を記録してもよい。

記録制御部３４は、所定音検出部２４が所定の音声を検出したことをトリガとして発話データを記録してもよい。記録制御部３４は、継続中の発話において所定の音声が検出された場合、継続中の発話が開始した発話継続開始タイミングに対応する記録開始時刻以降に取得された車両周囲情報および音声情報を記録する。記録開始時刻は、発話継続開始タイミングに一致する時刻であってもよいし、発話継続開始タイミングから所定時間（例えば１秒〜１０秒程度）を遡った時刻であってもよい。記録開始時刻は、発話が開始されるきっかけとなった事象が確実に記録できるよう、発話継続開始タイミングから５秒以上を遡った時刻とすることが好ましい。

発話継続開始タイミングから記録開始時間まで遡る所定時間の時間値は、所定音検出部２４が検出する所定の音声の音声レベルに応じて変化させてもよい。所定時間の時間値は、所定音検出部２４が検出する所定の音声の音声レベルが大きいほど長くしてもよい。例えば、所定の音声の音声レベルが第２閾値よりも大きい第３閾値以上の場合、第１時間値（例えば５秒）とし、所定の音声の音声レベルが第３閾値未満の場合、第１時間値よりも短い第２時間値（例えば２秒）としてもよい。

記録制御部３４は、継続中の発話において所定の音声が検出された場合、継続中の発話が終了する発話継続終了タイミングに対応する記録終了時刻までに取得された車両周囲情報および音声情報を記録媒体５０に記録してもよい。記録終了時刻は、発話継続終了タイミングに一致する時刻であってもよいし、発話継続終了タイミングから所定時間（例えば１秒〜５秒程度）を遡った時刻であってもよいし、発話継続終了タイミングから所定時間（例えば１秒〜５秒程度）が経過した時刻であってもよい。

記録制御部３４は、継続中の発話において所定の音声が検出された場合、発話継続終了タイミングに対応しない記録終了時刻までに取得された車両周囲情報および音声情報を記録媒体５０に記録してもよい。例えば、所定の音声が検出されたタイミングから所定時間（例えば、１秒〜５秒）が経過した時刻まで記録してもよいし、発話継続開始タイミングから所定時間（例えば５秒〜１５秒）が経過した時刻まで記録してもよい。なお、所定の音声の音声レベルに応じて記録終了時刻を異ならせてもよい。例えば、所定の音声の音声レベルが第３閾値以上である場合、発話継続終了タイミングに対応する記録終了時刻まで発話データを記録してもよい。一方、所定の音声の音声レベルが第３閾値未満である場合、所定の音声が検出されたタイミングや発話継続開始タイミングから所定時間が経過した時刻まで発話データを記録してもよい。

図２は、発話データの記録期間を模式的に示す図である。図２では、音声情報取得部１６により取得される音声信号の波形、発話継続判定部２２が保持する発話継続フラグ、および、記録制御部３４により記録される発話データの記録期間を時系列上に示している。音声信号には、複数の発話期間５１，５２，５３，５４，５５が含まれており、第１発話期間５１〜第４発話期間５４の間隔が所定時間（例えば、１秒や２秒）未満であることを示している。図２では、音声信号の縦軸として音声レベルを示し、発話期間５１〜５５のそれぞれごとに音声レベルを簡易的に一定としているが、実際に取得される音声信号では、発話期間５１〜５５のそれぞれにおける発話の抑揚などに応じて音声レベルが変化する。

図２に示す例では、第１発話期間５１、第２発話期間５２、第３発話期間５３、第４発話期間５４および第５発話期間５５が断続的に発生している。第１発話期間５１〜第４発話期間５４の間隔は所定時間未満であるため、発話継続判定部２２は、第１発話期間５１〜第４発話期間５４における発話が継続していると判定する。一方、第４発話期間５４と第５発話期間５５の間隔は所定時間（例えば、１秒や２秒）以上であるため、発話継続判定部２２は、隣接する第４発話期間５４と第５発話期間５５における発話が継続していないと判定する。

発話継続判定部２２は、発話が継続している発話期間５１〜５４の開始タイミング６１および終了タイミング６２を特定する。発話継続開始タイミング６１は、第１発話期間５１の開始タイミングに一致する。発話継続終了タイミング６２は、第４発話期間５４の終了タイミングから所定時間ｔ１（例えば、１秒や２秒）が経過したタイミングである。なお、発話継続終了タイミング６２は、第４発話期間５４の終了タイミングと一致してもよい。発話継続判定部２２は、発話継続開始タイミング６１から発話継続終了タイミング６２にわたって発話継続フラグをオンにする。

図２に示す例では、発話が継続している発話期間５１〜５４のうち、第３発話期間５３において音声レベルが閾値ｔｈを超えている。所定音検出部２４は、第３発話期間５３において音声レベルが閾値ｔｈを超えることを条件として所定の音声を検出する。所定音検出部２４による検出タイミング６０は、第３発話期間５３に対応する。

記録制御部３４は、所定音検出部２４による所定の音声の検出をトリガとして発話データを記録する。図２では、記録期間の異なる二つの発話データＡ，Ｂを示している。発話データＡの場合、発話継続開始タイミング６１から所定時間ｔ２（例えば１秒〜１０秒程度）を遡った記録開始時刻６３ａから記録が開始され、発話継続終了タイミング６２に一致する記録終了時刻６４ａにおいて記録が終了する。発話データＢの場合、発話継続開始タイミング６１に一致する記録開始時刻６３ｂから記録が開始され、所定音検出部２４による検出タイミング６０から所定時間ｔ３（例えば５秒〜１０秒）を経過した記録終了時刻６４ｂにおいて記録が終了する。いずれの場合であっても、所定の音声が検出された第３発話期間５３を記録対象とするとともに、第３発話期間５３に至る第１発話期間５１および第２発話期間５２を記録対象とすることができる。これにより、感嘆や驚きの声を上げる契機となった事象の発生が想定される第１発話期間５１から発話データを記録できる。

記録制御部３４は、発話者特定部２６が特定した発話者に関する所定条件が充足されたことをトリガとして発話データを記録してもよい。例えば、継続中の発話において特定の発話者が発話することをトリガとしてもよい。つまり、継続中の発話において特定の乗員が発話した場合には発話データを記録するようにし、継続中の発話において特定の乗員以外の乗員のみが発話した場合には発話データを記録しないようにしてもよい。また、継続中の発話において特定される発話者の人数が閾値以上（例えば、２人以上、３人以上）であることをトリガとしてもよい。つまり、継続中の発話において所定の閾値以上の人数の乗員が会話している場合には発話データを記録するようにし、継続中の発話において１人のみが発話をする場合や、閾値未満の人数の乗員のみが会話していた場合には発話データを記録しないようにしてもよい。なお、特定の乗員が発話しているか否かに関する条件と、発話者の人数に関する条件とを組み合わせてもよく、例えば、特定の乗員が発話しており、かつ、発話者の人数が閾値以上である場合にのみ発話データを記録するようにしてもよい。

記録制御部３４は、発話者に関する条件をトリガとして発話データを記録する場合、充足される発話者に関する条件に応じて発話データの記録開始時刻を変化させてもよい。例えば、発話者が誰であるか、または、発話者が何人であるかに応じて、発話継続開始タイミングから記録開始時間まで遡る所定時間の時間値を変化させてもよい。具体的には、乗員Ａが発話している場合には記録開始時間まで遡る所定時間の時間値を相対的に長くし、乗員Ｂが発話している場合には記録開始時間まで遡る所定時間の時間値を相対的に短くしてもよい。また、発話者の人数が多いほど発話継続開始タイミングから記録開始時間まで遡る所定時間の時間値を長くしてもよい。

記録制御部３４は、発話者に関する条件をトリガとして発話データを記録する場合、充足される発話者に関する条件に応じて発話データの記録終了時刻を変化させてもよい。例えば、発話者が誰であるか、または、発話者が何人であるかに応じて、発話継続終了タイミングに対応する記録終了時刻まで発話データを記録したり、発話継続開始タイミングから所定時間が経過した時刻まで発話データを記録したりしてもよい。具体的には、乗員Ａが発話している場合には発話継続終了タイミングに対応する記録終了時刻まで発話データを記録し、乗員Ｂが発話している場合には発話継続開始タイミングから所定時間が経過した時刻まで発話データを記録してもよい。また、発話人数が閾値以上（例えば３人以上）である場合、発話継続終了タイミングに対応する記録終了時刻まで発話データを記録し、発話人数が閾値未満（例えば２人）である場合、発話継続開始タイミングから所定時間が経過した時刻まで発話データを記録してもよい。

記録制御部３４は、関連性判定部３２の判定結果をトリガとして発話データを記録してもよい。つまり、継続中の発話において発話内容特定部２８が抽出するキーワードと周囲情報解析部３０が抽出するキーワードが関連すると判定される場合、発話データを記録するようにする。記録制御部３４は、関連すると判定されたキーワードの内容に応じて記録開始時刻や記録終了時刻を変化させてもよい。

記録制御部３４は、関連性判定部３２の判定結果、所定音検出部２４の検知結果および発話者特定部２６の特定結果の少なくとも二以上の条件を組み合わせて発話データを記録してもよい。例えば、継続中の発話においてキーワードが関連すると判定されるとともに、所定の音声が検知される場合に発話データを記録するようにしてもよい。また、継続中の発話においてキーワードが関連すると判定されるとともに、特定の乗員の発話や所定人数以上の乗員の発話が特定される場合に発話データを記録するようにしてもよい。さらに、継続中の発話において、特定の乗員が関連するキーワードを発話したり、所定人数以上の乗員が関連するキーワードを発話したりする場合に発話データを記録するようにしてもよい。

図３は、実施の形態に係る記録方法の流れを示すフローチャートである。ドライブレコーダ１０は、車両周囲情報および音声情報を取得し（Ｓ１０）、音声情報に基づいて車両の乗員による発話が継続しているか否かを判定する（Ｓ１２）。発話が継続中であり（Ｓ１４のＹ）、発話データを記録するトリガとなる条件が充足していれば（Ｓ１６のＹ）、継続中の発話が開始した発話継続開始タイミングに対応する記録開始時刻以降に取得したデータの記録を開始する（Ｓ１８）。発話が継続中でない場合（Ｓ１４のＮ）、発話データを記録するトリガとなる条件が充足していない場合（Ｓ１６のＮ）、Ｓ１８の処理をスキップする。発話データの記録終了条件が充足していなければ（Ｓ２２のＮ）、Ｓ２２の処理に戻り、発話データの記録を継続する。発話データの記録終了条件が充足していれば（Ｓ２２のＹ）、発話データの記録を終了する（Ｓ２４）。

本実施の形態によれば、発話または会話が継続している場合に、継続中の発話または会話の開始時点から発話データの記録を開始することで、継続中の発話または会話の流れが分断された状態でデータが記録されることを防止できる。したがって、ドライブを振り返るなどの目的で発話データを事後的に確認する場合に、記録対象とした会話の流れを適切に把握することができる。または、継続中の発話または会話の開始時点から所定の時間を遡った時刻から発話データの記録を開始することで、発話または会話が始まるきっかけとなった事象を適切に記録できる。

本実施の形態において、所定音検出部２４の検出結果をトリガとして発話データを記録することで、乗員が歓声や驚きの声を上げたり、複数の乗員の会話が盛り上がって声が大きくなるような状況下の発話データを自動的に記録できる。

本実施の形態において、発話者特定部２６の検出結果をトリガとして発話データを記録することで、特定の乗員が会話に参加している状況や、複数の乗員同士が会話している状況下の発話データを自動的に記録できる。

本実施の形態において、関連性判定部３２の検出結果をトリガとして発話データを記録することで、車両の周囲の状況と乗員の会話の内容が関連する場合に、車両の周囲を撮像した画像と乗員の会話の音声とが対応付けられた発話データを自動的に記録できる。

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。

上述の実施の形態では、発話データを記録するトリガとなる条件として、所定の音声を検出する場合、発話者に関する条件に基づく場合、および、発話内容の関連性に基づく場合の三条件について説明した。別の実施の形態では、これら三つの条件のうち、いずれか一つまたは二つの条件のみが用いられてもよい。この場合、ドライブレコーダ１０は、所定音検出部２４、発話者特定部２６、発話内容特定部２８、周囲情報解析部３０および関連性判定部３２の少なくともいずれかを備えなくてもよい。

本実施の形態のある態様は、以下であってもよい。
（項１−１）
車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に前記継続中の発話が開始された発話継続開始タイミングを特定する発話継続判定部と、
前記音声情報に基づいて前記車両の乗員が発する所定の音声を検出する所定音検出部と、
前記継続中の発話において前記所定の音声が検出された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。
（項１−２）
前記記録開始時刻は、前記発話継続開始タイミングから所定時間を遡った時刻であり、
前記記録制御部は、前記所定の音声の音声レベルに応じて、前記所定時間の時間値を変化させることを特徴とする項１−１に記載のドライブレコーダ。
（項１−３）
前記発話継続判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項１−１または項１−２に記載のドライブレコーダ。
（項１−４）
前記発話継続判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、
ａ）前記所定の音声の音声レベルが閾値以上である場合、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録し、
ｂ）前記所定の音声の音声レベルが前記閾値未満である場合、前記記録開始時刻から、前記所定の音声が検出されたタイミングから所定の記録時間が経過した記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項１−１または項１−２に記載のドライブレコーダ。

（項２−１）
車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する継続性判定部と、
前記音声情報に基づいて前記継続中の発話における発話者を特定する発話者特定部と、
前記継続中の発話において特定された発話者に関する所定条件が充足された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。
（項２−２）
前記記録開始時刻は、前記発話継続開始タイミングから所定時間を遡った時刻であり、
前記記録制御部は、前記継続中の発話において特定される発話者の人数に応じて、前記所定時間の時間値を変化させることを特徴とする項２−１に記載のドライブレコーダ。
（項２−３）
前記継続性判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項２−１または項２−２に記載のドライブレコーダ。
（項２−４）
前記継続性判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、
ａ）前記継続中の発話において特定される発話者の人数が閾値以上である場合、前記記録開始時刻から、前記発話継続終了タイミングに対応する記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録し、
ｂ）前記継続中の発話において特定される発話者の人数が前記閾値未満である場合、前記記録開始時刻から、発話者に関する前記所定条件が充足されたタイミングから所定の記録時間が経過した記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項２−１または項２−２に記載のドライブレコーダ。

（項３）
車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両周囲情報に含まれる内容を解析する周囲情報解析部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する継続性判定部と、
前記音声情報に基づいて前記継続中の発話の内容を特定する発話内容特定部と、
前記継続中の発話の内容と前記車両周囲情報に含まれる内容が関連しているか否かを判定する関連性判定部と、
前記継続中の発話の内容と前記車両周囲情報に含まれる内容が関連していると判定された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。

１０…ドライブレコーダ、１２…車両周囲情報取得部、１４…走行情報取得部、１６…音声情報取得部、２０…音声解析部、２２…発話継続判定部、２４…所定音検出部、２６…発話者特定部、２８…発話内容特定部、３０…周囲情報解析部、３２…関連性判定部、３４…記録制御部。

Claims (6)

1. 車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
   前記車両の乗員の音声情報を取得する音声情報取得部と、
   前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する継続性判定部と、
   前記音声情報に基づいて前記継続中の発話における発話者を特定する発話者特定部と、
   前記継続中の発話において特定された発話者に関する所定条件が充足された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。
2. 前記記録開始時刻は、前記発話継続開始タイミングから所定時間を遡った時刻であり、
   前記記録制御部は、前記継続中の発話において特定される発話者の人数に応じて、前記所定時間の時間値を変化させることを特徴とする請求項１に記載のドライブレコーダ。
3. 前記継続性判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
   前記記録制御部は、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録することを特徴とする請求項１または２に記載のドライブレコーダ。
4. 前記継続性判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
   前記記録制御部は、
   ａ）前記継続中の発話において特定される発話者の人数が閾値以上である場合、前記記録開始時刻から、前記発話継続終了タイミングに対応する記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録し、
   ｂ）前記継続中の発話において特定される発話者の人数が前記閾値未満である場合、前記記録開始時刻から、発話者に関する前記所定条件が充足されたタイミングから所定の記録時間が経過した記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録することを特徴とする請求項１または２に記載のドライブレコーダ。
5. 車両の周囲に関する車両周囲情報を取得するステップと、
   前記車両の乗員の音声情報を取得するステップと、
   前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定するステップと、
   前記音声情報に基づいて前記継続中の発話における発話者を特定するステップと、
   前記継続中の発話において特定された発話者に関する所定条件が充足された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録するステップと、を備えることを特徴とする記録方法。
6. 車両の周囲に関する車両周囲情報を取得する機能と、
   前記車両の乗員の音声情報を取得する機能と、
   前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する機能と、
   前記音声情報に基づいて前記継続中の発話における発話者を特定する機能と、
   前記継続中の発話において特定された発話者に関する所定条件が充足された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する機能と、をコンピュータに実現させることを特徴とするプログラム。

Images