JP2021114080A - ドライブレコーダ、記録方法およびプログラム - Google Patents
ドライブレコーダ、記録方法およびプログラム Download PDFInfo
- Publication number
- JP2021114080A JP2021114080A JP2020005931A JP2020005931A JP2021114080A JP 2021114080 A JP2021114080 A JP 2021114080A JP 2020005931 A JP2020005931 A JP 2020005931A JP 2020005931 A JP2020005931 A JP 2020005931A JP 2021114080 A JP2021114080 A JP 2021114080A
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- vehicle
- voice
- recording
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】車両の乗員による発話の継続性を考慮してドライブデータを記録する。【解決手段】ドライブレコーダ10は、車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部12と、車両の乗員の音声情報を取得する音声情報取得部16と、音声情報に基づいて車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する発話継続判定部22と、音声情報に基づいて車両の乗員が発する所定の音声を検出する所定音検出部24と、継続中の発話において所定の音声が検出された場合、発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された車両周囲情報および音声情報を記録する記録制御部34と、を備える。【選択図】図1
Description
本発明は、ドライブレコーダ、記録方法およびプログラムに関する。
近年、車両の周囲の画像を撮像して記録するドライブレコーダが広く普及している。一般的なドライブレコーダでは、加速度センサの検出値に基づく衝撃や急ブレーキの検知をトリガとしてドライブデータが記録される。また、ドライブデータを娯楽目的で使用するため、車内の乗員による歓声などをトリガとして映像を記録する技術が提案されている(例えば、特許文献1参照)。
車外の風景などを見て乗員が歓声を上げる場合、歓声を検知して記録が開始される時点では歓声の契機となった風景などがすでに見えなくなっている可能性がある。また、車外の風景などをきっかけとして乗員の会話が始まり、その後に会話が盛り上がって歓声が上がる場合、歓声が上がるまでの会話の流れや会話のきっかけとなった事象を記録できない。
本発明は、上述の事情に鑑みてなされたものであり、車両の乗員による発話の継続性を考慮してドライブデータを記録する技術を提供することを目的とする。
本発明のある態様のドライブレコーダは、車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、車両の乗員の音声情報を取得する音声情報取得部と、音声情報に基づいて車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する発話継続判定部と、音声情報に基づいて車両の乗員が発する所定の音声を検出する所定音検出部と、継続中の発話において所定の音声が検出された場合、発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された車両周囲情報および音声情報を記録する記録制御部と、を備える。
本発明の別の態様は、記録方法である。この方法は、車両の周囲に関する車両周囲情報を取得するステップと、車両の乗員の音声情報を取得するステップと、音声情報に基づいて車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定するステップと、音声情報に基づいて車両の乗員が発する所定の音声を検出するステップと、継続中の発話において所定の音声が検出された場合、発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された車両周囲情報および音声情報を記録するステップと、を備える。
なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
本発明によれば、車両の乗員による発話の継続性を考慮してドライブデータを記録できる。
本実施の形態を詳細に説明する前に概要を説明する。本実施の形態は、ドライブレコーダであり、車両の周囲を撮像した画像や車両の走行に関する情報といったドライブデータを記録する。ドライブレコーダでは、加速度センサの検出値に基づく衝撃や急ブレーキの検知をトリガとしてドライブデータが記録されることが一般的である。したがって、日頃から安全運転をしているユーザであれば、ドライブデータが記録される状態となることは少なく、実質的にドライブレコーダが使用されていない状態となりうる。そこで、本実施の形態では、ドライブレコーダが取得する画像等を娯楽目的で記録するようにし、記録された画像等をユーザが見ることでドライブを振り返ることができるようにする。特に、車内で会話が継続しているかをモニタし、車両の乗員が感嘆の声を上げたり、乗員同士の会話が盛り上がったりする場合に継続する会話の開始時点から画像や音声等を記録するようにする。これにより、乗員にとって印象に残ると考えられる場面を選択的に記録できるようにし、その場面での会話の流れが分断されて記録されてしまうことを防止できる。
以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、図面において、本発明に直接関係のない要素は図示を省略する。
図1は、実施の形態に係るドライブレコーダ10の機能構成を模式的に示すブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのCPUやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
ドライブレコーダ10は、車両周囲情報取得部12と、走行情報取得部14と、音声情報取得部16と、イベント検出部18と、音声解析部20と、記録制御部34と、を備える。本実施の形態において、ドライブレコーダ10が走行情報取得部14およびイベント検出部18を備えることは必須ではなく、これらを備えない構成であってもよい。ドライブレコーダ10は、周囲情報解析部30および関連性判定部32を備えてもよい。
車両周囲情報取得部12は、車両の周囲に関する車両周囲情報を取得する。車両周囲情報取得部12は、車両周囲情報として、車載カメラ40が撮像する画像データを取得する。車載カメラ40は、例えば、車両の周囲または室外を撮像するよう構成され、車両の前方、後方および側方の少なくとも一つを撮像する。車載カメラ40は、複数のカメラを備えてもよく、例えば複数のカメラのそれぞれが車両の前方、後方、側方を撮像してもよい。車載カメラ40は、車両の室外および室内を撮像するよう構成されてもよい。車載カメラ40は、ドライブレコーダ10とは別体であってもよいし、ドライブレコーダ10に内蔵されていてもよい。
車両周囲情報取得部12は、車両周囲情報をナビゲーション装置46や無線通信装置48から取得してもよい。車両周囲情報取得部12は、車両の現在位置の周辺にある施設や店舗、観光名所などに関する情報を取得してもよい。車両周囲情報取得部12は、ナビゲーション装置46に登録されている情報を取得してもよいし、無線通信装置48を通じてインターネットや車両の外部に設置されたサーバ、路車間通信の路側装置などから情報を取得してもよい。車両周囲情報取得部12は、例えば、外部サーバに車両の現地位置情報を送信し、車両の現在位置に基づく周辺情報を外部サーバから取得してもよい。
走行情報取得部14は、車両の走行に関する走行情報を取得する。走行情報取得部14は、走行情報として、車両に設けられる車載センサ42から情報を取得する。車載センサ42の具体例として、車速センサ、舵角センサ、アクセル操作量センサ、ブレーキ操作量センサ、加速度センサ、ジャイロセンサ、レーダセンサ、ライダ(LiDAR;Light Detection and Ranging)、位置情報センサ(例えば、GNSS;Global Navigation Satellite System)などが挙げられるが、これらに限定されるものではない。走行情報取得部14は、ドライブレコーダ10に設けられるセンサから車両の走行に関する情報を取得してもよい。例えば、ドライブレコーダ10に加速度センサや位置情報センサなどが設けられてもよい。
音声情報取得部16は、車両の乗員が発する音声情報を取得する。音声情報取得部16は、音声情報として、車室内に設けられる車室内マイク44により集音される音声信号を取得する。車室内マイク44は、車室内全体の音声を集音するために1箇所に設けられてもよいし、車室内の複数の座席のそれぞれに着座する乗員の音声を個別に集音可能となるよう複数箇所に設けられてもよい。車室内マイク44は、ビームフォーミング技術を用いて、特定の乗員からの音声または特定の着座位置からの音声を選択的に集音するよう構成されてもよい。
イベント検出部18は、車両の事故や衝突といった事象の発生を検知したり、車両の事故や衝突の可能性が高いと考えられる事象の発生を検知したりする。イベント検出部18は、例えば、車両の走行速度や加速度の情報、アクセル、ブレーキおよびハンドルなどの操作情報から、急ブレーキ、急ハンドル、急発進などによる車両挙動の急激な変化や、車両の事故や衝突といった事象をイベントとして検出する。イベント検出部18は、車載カメラ40の画像データや車両のレーダセンサなどの情報に基づいて、前方車両との接近、車両周囲の障害物との接近、走行中の車線からの逸脱などをイベントとして検出してもよい。イベント検出部18は、ユーザからの入力操作をイベントとして検出してもよい。
イベント検出部18は、例えば、車両に加わる加速度の値に基づいてイベントを検出する。イベント検出部18は、加速度センサにて検出される加速度のピーク値が所定の閾値以上である場合にイベントを検出してもよい。イベント検出部18は、加速度センサにて検出される加速度の時間積分値が所定の閾値以上である場合にイベントを検出してもよい。イベント検出部18は、加速度センサにて検出される加速度が所定値以上のままとなる継続時間が所定の閾値以上である場合にイベントを検出してもよい。
音声解析部20は、音声情報取得部16が取得する音声情報に基づいて、車両の乗員が発する音声を解析する。音声解析部20は、発話継続判定部22を含む。音声解析部20は、所定音検出部24と、発話者特定部26と、発話内容特定部28とを含んでもよい。
発話継続判定部22は、音声情報取得部16が取得する音声情報に基づいて、車両の乗員による発話が継続しているか否かを判定する。ここで「発話」とは、乗員が何らかの発言をしている状態のことをいい、複数の乗員同士が会話をしている状態や、特定の乗員が別の乗員に対して語りかけている状態などが含まれる。本明細書の「発話」には、特定の乗員が独り言を発している状態が含まれてもよいし、乗員が歌っている状態が含まれてもよい。また、発話の「継続」とは、例えば、複数の乗員が交互に発話することで会話が継続するような状態をいう。本明細書の「発話の継続」には、乗員の発話が途切れることなく連続する状態や、1秒未満や2秒未満といった短時間の間隔をあけて乗員の発話が断続的になされる状態が含まれる。
発話継続判定部22は、例えば、車室内マイク44から出力される音声信号の音声レベルに基づいて、乗員が発話をしているか否かを判定してもよい。発話継続判定部22は、音声レベルが第1閾値以上である場合に発話がなされていると判定し、音声レベルが第1閾値未満である場合に発話がなされていないと判定してもよい。発話継続判定部22は、音声信号に基づいて、発話がなされている発話期間と、発話がなされていない非発話期間とを時系列上で識別してもよい。発話継続判定部22は、音声信号の波形の特徴や音声信号の周波数帯域に基づいて、乗員の声とそれ以外の音とを識別してもよい。発話継続判定部22は、乗員の声とみなされる信号波形のレベルが第1閾値以上である期間を発話期間と判定してもよい。
発話継続判定部22は、時系列上で発話期間と非発話期間が交互に繰り返される場合、隣接する発話期間の継続性を判定する。発話継続判定部22は、例えば、隣接する発話期間の間隔が所定時間(例えば、1秒や2秒)未満である場合、いいかえれば、非発話期間が所定時間未満である場合、隣接する発話が継続していると判定する。一方、隣接する発話期間の間隔が所定時間(例えば、1秒や2秒)以上である場合、いいかえれば、非発話期間が所定時間以上である場合、隣接する発話が継続していないと判定する。
発話継続判定部22は、乗員による発話が継続中であるか否かを示すための発話継続フラグを保持してもよい。発話継続判定部22は、乗員の発話期間において発話継続フラグをオンにする。発話継続判定部22は、乗員の発話期間が終了してから所定時間(例えば、1秒や2秒)が経過する前に次の発話期間が開始する場合、発話継続フラグをオンにしたままとする。一方、乗員の発話期間が終了してから所定時間が経過しても次の発話期間が開始しない場合、発話継続フラグをオフにする。発話継続判定部22は、発話継続フラグをオフにした後に次の発話期間が開始する場合に発話継続フラグをオンにする。
発話継続判定部22は、継続中の発話が開始されたタイミングである「発話継続開始タイミング」を特定し、発話継続開始タイミングを示す情報を保持する。発話継続開始タイミングは、例えば、発話継続フラグがオフからオンに変更されるタイミングである。発話継続判定部22は、発話継続開始タイミングを示す情報として、発話継続開始タイミングに対応する時刻情報を保持してもよいし、発話継続開始タイミングから現在までの経過時間を示す時間情報を保持してもよい。
発話継続判定部22は、継続中の発話が終了するタイミングである「発話継続終了タイミング」を特定する。発話継続終了タイミングは、発話継続フラグがオンからオフに変更されるタイミングである。発話継続判定部22は、発話継続終了タイミングを示す情報として、発話継続終了タイミングに対応する時刻情報を保持してもよい。発話継続判定部22は、発話継続終了タイミングにおいて、発話継続開始タイミングを示す情報を消去(リセット)してもよい。
所定音検出部24は、音声情報取得部16が取得する音声情報に基づいて、乗員が発する所定の音声を検出する。所定音検出部24は、公知の音声認識技術が用いられる音声認識部であることが好ましい。このとき、「所定の音声」とは、「すごい!」「わー!」「何あれ?」「きれい!」「あれ見て!」「危ない!」「事故だ!」といった乗員による感嘆や驚きを示す発声のことをいい、通常の会話よりも大きな声でなされる発声などが含まれる。なお、「所定の音声」には、「データを記録して」といった発話データの記録を開始させるための音声入力用の発声が含まれてもよく、記録のトリガとすべき音声をユーザが自由に設定できることが好ましい。所定音検出部24は、継続中の発話に含まれる音声信号の音声レベルに基づいて所定の音声を検出してもよい。所定音検出部24は、音声レベルが第1閾値よりも大きい第2閾値以上である場合、所定の音声を検出してもよい。所定音検出部24は、音声信号の音声レベルの変化量に基づいて所定の音声を検出してもよく、通常の会話における音声レベルに比べて音声レベルが大きく増加した場合に所定の音声を検出してもよい。このとき、「所定の音声」とは、所定値以上の音声レベルを有する、乗員による驚嘆や驚きを示す発声のことをいう。
発話者特定部26は、音声情報取得部16が取得する音声情報に基づいて発話者を特定する。発話者特定部26は、車室内マイク44から出力される音声信号の波形に基づいて声質を評価し、車両に搭乗している乗員の誰が発話をしているかを特定してもよい。発話者特定部26は、機械学習などの技術を用いて声質と乗員との相関を評価し、発話者を特定することが好ましい。発話者特定部26は、車室内での発話者の位置を特定することで間接的に発話者を特定してもよい。例えば、ビームフォーミング技術を用いて特定の着座位置からの音声を選択的に集音している場合、音源となる着座位置を特定することで間接的に発話者を特定してもよい。発話者特定部26は、例えば、車両の運転者が発話しているか否か、車両の前方座席の乗員が発話しているか否か、車両の後方座席の乗員が発話しているか否かを特定してもよい。
発話内容特定部28は、音声情報取得部16が取得する音声情報に基づいて発話の内容を特定する。発話内容特定部28は、例えば、公知の音声認識技術を用いて発話の内容を文字情報に変換する。発話内容特定部28は、発話の内容を示す文字情報から特定のキーワードを抽出してもよい。発話内容特定部28は、例えば、車両の周囲に関する情報を示すキーワードを抽出してもよい。例えば、車両の周囲に見える風景や地形の特徴を示すキーワード(山、海、川、平原、紅葉、雪原、住宅街、ビル、タワーなど)を抽出してもよい。
周囲情報解析部30は、車両周囲情報取得部12が取得する車両周囲情報を解析し、車両の周囲に関する情報を示すキーワードを抽出する。周囲情報解析部30は、車両の周囲を撮像した画像データを画像認識技術を用いて解析し、画像に含まれる複数の対象物のそれぞれについてキーワードを抽出してもよい。例えば、車両の周囲に見える風景や地形の特徴を示すキーワード(山、海、川、平原、紅葉、雪原、住宅街、ビル、タワーなど)を抽出してもよい。周囲情報解析部30は、ナビゲーション装置46や無線通信装置48を通じて取得する車両周辺情報を解析し、車両の現在位置の周辺にある施設や店舗、観光名所などを示すキーワードを抽出してもよい。
関連性判定部32は、発話内容特定部28が抽出するキーワードと周囲情報解析部30が抽出するキーワードの関連性を判定する。関連性判定部32は、発話内容特定部28が抽出するキーワードと周囲情報解析部30が抽出するキーワードが一致または類似するか否かを判定する。これにより、車両の乗員の発話内容が車両の周囲の状況に関連しているか否かを判定し、例えば、乗員が車外の風景を見ながら「山が見えるよ」「紅葉がきれい」といった発話をしているか否かを判定する。
記録制御部34は、車両周囲情報取得部12が取得する車両周囲情報、走行情報取得部14が取得する走行情報および音声情報取得部16が取得する音声情報の少なくともいずれかを記録媒体50に記録する。記録媒体50は、例えば、SDカード(登録商標)などのフラッシュメモリで構成される。記録媒体50は、例えば、ドライブレコーダ10に設けられるスロットに挿入して使用され、ドライブレコーダ10から取り外し可能となるよう構成される。記録媒体50は、ドライブレコーダ10に内蔵されるフラッシュメモリなどの不揮発性メモリであってもよい。記録媒体50は、ハードディスクドライブなどの磁気記憶装置で構成されてもよい。
記録制御部34は、イベント検出部18によるイベント検出をトリガとして、車両周囲情報や走行情報を記録媒体50に記録する。記録制御部34は、イベント検出部18による衝撃検知タイミングの前後の所定期間内に車両周囲情報取得部12が取得した車両周囲情報や、音声情報取得部16が取得した音声情報を「イベントデータ」として記録する。いいかえれば、「イベントデータ」とは、衝撃検知をトリガとして記録される車両周囲情報や音声情報である。記録制御部34は、例えば、記録媒体50に設定されるイベントデータ記録専用の記憶領域にイベントデータを記録する。記録制御部34は、イベントデータとして走行情報を記録してもよい。
記録制御部34は、発話継続判定部22によって車両の乗員の発話が継続していると判定される場合に、継続中の発話において所定条件が満たされることをトリガとして、車両周囲情報取得部12が取得した車両周囲情報や、音声情報取得部16が取得した音声情報を「発話データ」として記録媒体50に記録する。いいかえれば、「発話データ」とは、乗員による発話をトリガとして記録される車両周囲情報や音声情報である。記録制御部34は、例えば、記録媒体50に設定される発話データ記録専用の記憶領域に発話データを記録する。記録制御部34は、トリガとなる条件が満たされた場合、継続中の発話が開始した発話継続開始タイミング以降に取得された車両周囲情報および音声情報を記録媒体50に記録する。記録制御部34は、「発話データ」として走行情報を記録してもよい。
記録制御部34は、所定音検出部24が所定の音声を検出したことをトリガとして発話データを記録してもよい。記録制御部34は、継続中の発話において所定の音声が検出された場合、継続中の発話が開始した発話継続開始タイミングに対応する記録開始時刻以降に取得された車両周囲情報および音声情報を記録する。記録開始時刻は、発話継続開始タイミングに一致する時刻であってもよいし、発話継続開始タイミングから所定時間(例えば1秒〜10秒程度)を遡った時刻であってもよい。記録開始時刻は、発話が開始されるきっかけとなった事象が確実に記録できるよう、発話継続開始タイミングから5秒以上を遡った時刻とすることが好ましい。
発話継続開始タイミングから記録開始時間まで遡る所定時間の時間値は、所定音検出部24が検出する所定の音声の音声レベルに応じて変化させてもよい。所定時間の時間値は、所定音検出部24が検出する所定の音声の音声レベルが大きいほど長くしてもよい。例えば、所定の音声の音声レベルが第2閾値よりも大きい第3閾値以上の場合、第1時間値(例えば5秒)とし、所定の音声の音声レベルが第3閾値未満の場合、第1時間値よりも短い第2時間値(例えば2秒)としてもよい。
記録制御部34は、継続中の発話において所定の音声が検出された場合、継続中の発話が終了する発話継続終了タイミングに対応する記録終了時刻までに取得された車両周囲情報および音声情報を記録媒体50に記録してもよい。記録終了時刻は、発話継続終了タイミングに一致する時刻であってもよいし、発話継続終了タイミングから所定時間(例えば1秒〜5秒程度)を遡った時刻であってもよいし、発話継続終了タイミングから所定時間(例えば1秒〜5秒程度)が経過した時刻であってもよい。
記録制御部34は、継続中の発話において所定の音声が検出された場合、発話継続終了タイミングに対応しない記録終了時刻までに取得された車両周囲情報および音声情報を記録媒体50に記録してもよい。例えば、所定の音声が検出されたタイミングから所定時間(例えば、1秒〜5秒)が経過した時刻まで記録してもよいし、発話継続開始タイミングから所定時間(例えば5秒〜15秒)が経過した時刻まで記録してもよい。なお、所定の音声の音声レベルに応じて記録終了時刻を異ならせてもよい。例えば、所定の音声の音声レベルが第3閾値以上である場合、発話継続終了タイミングに対応する記録終了時刻まで発話データを記録してもよい。一方、所定の音声の音声レベルが第3閾値未満である場合、所定の音声が検出されたタイミングや発話継続開始タイミングから所定時間が経過した時刻まで発話データを記録してもよい。
図2は、発話データの記録期間を模式的に示す図である。図2では、音声情報取得部16により取得される音声信号の波形、発話継続判定部22が保持する発話継続フラグ、および、記録制御部34により記録される発話データの記録期間を時系列上に示している。音声信号には、複数の発話期間51,52,53,54,55が含まれており、第1発話期間51〜第4発話期間54の間隔が所定時間(例えば、1秒や2秒)未満であることを示している。図2では、音声信号の縦軸として音声レベルを示し、発話期間51〜55のそれぞれごとに音声レベルを簡易的に一定としているが、実際に取得される音声信号では、発話期間51〜55のそれぞれにおける発話の抑揚などに応じて音声レベルが変化する。
図2に示す例では、第1発話期間51、第2発話期間52、第3発話期間53、第4発話期間54および第5発話期間55が断続的に発生している。第1発話期間51〜第4発話期間54の間隔は所定時間未満であるため、発話継続判定部22は、第1発話期間51〜第4発話期間54における発話が継続していると判定する。一方、第4発話期間54と第5発話期間55の間隔は所定時間(例えば、1秒や2秒)以上であるため、発話継続判定部22は、隣接する第4発話期間54と第5発話期間55における発話が継続していないと判定する。
発話継続判定部22は、発話が継続している発話期間51〜54の開始タイミング61および終了タイミング62を特定する。発話継続開始タイミング61は、第1発話期間51の開始タイミングに一致する。発話継続終了タイミング62は、第4発話期間54の終了タイミングから所定時間t1(例えば、1秒や2秒)が経過したタイミングである。なお、発話継続終了タイミング62は、第4発話期間54の終了タイミングと一致してもよい。発話継続判定部22は、発話継続開始タイミング61から発話継続終了タイミング62にわたって発話継続フラグをオンにする。
図2に示す例では、発話が継続している発話期間51〜54のうち、第3発話期間53において音声レベルが閾値thを超えている。所定音検出部24は、第3発話期間53において音声レベルが閾値thを超えることを条件として所定の音声を検出する。所定音検出部24による検出タイミング60は、第3発話期間53に対応する。
記録制御部34は、所定音検出部24による所定の音声の検出をトリガとして発話データを記録する。図2では、記録期間の異なる二つの発話データA,Bを示している。発話データAの場合、発話継続開始タイミング61から所定時間t2(例えば1秒〜10秒程度)を遡った記録開始時刻63aから記録が開始され、発話継続終了タイミング62に一致する記録終了時刻64aにおいて記録が終了する。発話データBの場合、発話継続開始タイミング61に一致する記録開始時刻63bから記録が開始され、所定音検出部24による検出タイミング60から所定時間t3(例えば5秒〜10秒)を経過した記録終了時刻64bにおいて記録が終了する。いずれの場合であっても、所定の音声が検出された第3発話期間53を記録対象とするとともに、第3発話期間53に至る第1発話期間51および第2発話期間52を記録対象とすることができる。これにより、感嘆や驚きの声を上げる契機となった事象の発生が想定される第1発話期間51から発話データを記録できる。
記録制御部34は、発話者特定部26が特定した発話者に関する所定条件が充足されたことをトリガとして発話データを記録してもよい。例えば、継続中の発話において特定の発話者が発話することをトリガとしてもよい。つまり、継続中の発話において特定の乗員が発話した場合には発話データを記録するようにし、継続中の発話において特定の乗員以外の乗員のみが発話した場合には発話データを記録しないようにしてもよい。また、継続中の発話において特定される発話者の人数が閾値以上(例えば、2人以上、3人以上)であることをトリガとしてもよい。つまり、継続中の発話において所定の閾値以上の人数の乗員が会話している場合には発話データを記録するようにし、継続中の発話において1人のみが発話をする場合や、閾値未満の人数の乗員のみが会話していた場合には発話データを記録しないようにしてもよい。なお、特定の乗員が発話しているか否かに関する条件と、発話者の人数に関する条件とを組み合わせてもよく、例えば、特定の乗員が発話しており、かつ、発話者の人数が閾値以上である場合にのみ発話データを記録するようにしてもよい。
記録制御部34は、発話者に関する条件をトリガとして発話データを記録する場合、充足される発話者に関する条件に応じて発話データの記録開始時刻を変化させてもよい。例えば、発話者が誰であるか、または、発話者が何人であるかに応じて、発話継続開始タイミングから記録開始時間まで遡る所定時間の時間値を変化させてもよい。具体的には、乗員Aが発話している場合には記録開始時間まで遡る所定時間の時間値を相対的に長くし、乗員Bが発話している場合には記録開始時間まで遡る所定時間の時間値を相対的に短くしてもよい。また、発話者の人数が多いほど発話継続開始タイミングから記録開始時間まで遡る所定時間の時間値を長くしてもよい。
記録制御部34は、発話者に関する条件をトリガとして発話データを記録する場合、充足される発話者に関する条件に応じて発話データの記録終了時刻を変化させてもよい。例えば、発話者が誰であるか、または、発話者が何人であるかに応じて、発話継続終了タイミングに対応する記録終了時刻まで発話データを記録したり、発話継続開始タイミングから所定時間が経過した時刻まで発話データを記録したりしてもよい。具体的には、乗員Aが発話している場合には発話継続終了タイミングに対応する記録終了時刻まで発話データを記録し、乗員Bが発話している場合には発話継続開始タイミングから所定時間が経過した時刻まで発話データを記録してもよい。また、発話人数が閾値以上(例えば3人以上)である場合、発話継続終了タイミングに対応する記録終了時刻まで発話データを記録し、発話人数が閾値未満(例えば2人)である場合、発話継続開始タイミングから所定時間が経過した時刻まで発話データを記録してもよい。
記録制御部34は、関連性判定部32の判定結果をトリガとして発話データを記録してもよい。つまり、継続中の発話において発話内容特定部28が抽出するキーワードと周囲情報解析部30が抽出するキーワードが関連すると判定される場合、発話データを記録するようにする。記録制御部34は、関連すると判定されたキーワードの内容に応じて記録開始時刻や記録終了時刻を変化させてもよい。
記録制御部34は、関連性判定部32の判定結果、所定音検出部24の検知結果および発話者特定部26の特定結果の少なくとも二以上の条件を組み合わせて発話データを記録してもよい。例えば、継続中の発話においてキーワードが関連すると判定されるとともに、所定の音声が検知される場合に発話データを記録するようにしてもよい。また、継続中の発話においてキーワードが関連すると判定されるとともに、特定の乗員の発話や所定人数以上の乗員の発話が特定される場合に発話データを記録するようにしてもよい。さらに、継続中の発話において、特定の乗員が関連するキーワードを発話したり、所定人数以上の乗員が関連するキーワードを発話したりする場合に発話データを記録するようにしてもよい。
図3は、実施の形態に係る記録方法の流れを示すフローチャートである。ドライブレコーダ10は、車両周囲情報および音声情報を取得し(S10)、音声情報に基づいて車両の乗員による発話が継続しているか否かを判定する(S12)。発話が継続中であり(S14のY)、発話データを記録するトリガとなる条件が充足していれば(S16のY)、継続中の発話が開始した発話継続開始タイミングに対応する記録開始時刻以降に取得したデータの記録を開始する(S18)。発話が継続中でない場合(S14のN)、発話データを記録するトリガとなる条件が充足していない場合(S16のN)、S18の処理をスキップする。発話データの記録終了条件が充足していなければ(S22のN)、S22の処理に戻り、発話データの記録を継続する。発話データの記録終了条件が充足していれば(S22のY)、発話データの記録を終了する(S24)。
本実施の形態によれば、発話または会話が継続している場合に、継続中の発話または会話の開始時点から発話データの記録を開始することで、継続中の発話または会話の流れが分断された状態でデータが記録されることを防止できる。したがって、ドライブを振り返るなどの目的で発話データを事後的に確認する場合に、記録対象とした会話の流れを適切に把握することができる。または、継続中の発話または会話の開始時点から所定の時間を遡った時刻から発話データの記録を開始することで、発話または会話が始まるきっかけとなった事象を適切に記録できる。
本実施の形態において、所定音検出部24の検出結果をトリガとして発話データを記録することで、乗員が歓声や驚きの声を上げたり、複数の乗員の会話が盛り上がって声が大きくなるような状況下の発話データを自動的に記録できる。
本実施の形態において、発話者特定部26の検出結果をトリガとして発話データを記録することで、特定の乗員が会話に参加している状況や、複数の乗員同士が会話している状況下の発話データを自動的に記録できる。
本実施の形態において、関連性判定部32の検出結果をトリガとして発話データを記録することで、車両の周囲の状況と乗員の会話の内容が関連する場合に、車両の周囲を撮像した画像と乗員の会話の音声とが対応付けられた発話データを自動的に記録できる。
以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。
上述の実施の形態では、発話データを記録するトリガとなる条件として、所定の音声を検出する場合、発話者に関する条件に基づく場合、および、発話内容の関連性に基づく場合の三条件について説明した。別の実施の形態では、これら三つの条件のうち、いずれか一つまたは二つの条件のみが用いられてもよい。この場合、ドライブレコーダ10は、所定音検出部24、発話者特定部26、発話内容特定部28、周囲情報解析部30および関連性判定部32の少なくともいずれかを備えなくてもよい。
本実施の形態のある態様は、以下であってもよい。
(項1−1)
車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に前記継続中の発話が開始された発話継続開始タイミングを特定する発話継続判定部と、
前記音声情報に基づいて前記車両の乗員が発する所定の音声を検出する所定音検出部と、
前記継続中の発話において前記所定の音声が検出された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。
(項1−2)
前記記録開始時刻は、前記発話継続開始タイミングから所定時間を遡った時刻であり、
前記記録制御部は、前記所定の音声の音声レベルに応じて、前記所定時間の時間値を変化させることを特徴とする項1−1に記載のドライブレコーダ。
(項1−3)
前記発話継続判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項1−1または項1−2に記載のドライブレコーダ。
(項1−4)
前記発話継続判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、
a)前記所定の音声の音声レベルが閾値以上である場合、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録し、
b)前記所定の音声の音声レベルが前記閾値未満である場合、前記記録開始時刻から、前記所定の音声が検出されたタイミングから所定の記録時間が経過した記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項1−1または項1−2に記載のドライブレコーダ。
(項1−1)
車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に前記継続中の発話が開始された発話継続開始タイミングを特定する発話継続判定部と、
前記音声情報に基づいて前記車両の乗員が発する所定の音声を検出する所定音検出部と、
前記継続中の発話において前記所定の音声が検出された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。
(項1−2)
前記記録開始時刻は、前記発話継続開始タイミングから所定時間を遡った時刻であり、
前記記録制御部は、前記所定の音声の音声レベルに応じて、前記所定時間の時間値を変化させることを特徴とする項1−1に記載のドライブレコーダ。
(項1−3)
前記発話継続判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項1−1または項1−2に記載のドライブレコーダ。
(項1−4)
前記発話継続判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、
a)前記所定の音声の音声レベルが閾値以上である場合、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録し、
b)前記所定の音声の音声レベルが前記閾値未満である場合、前記記録開始時刻から、前記所定の音声が検出されたタイミングから所定の記録時間が経過した記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項1−1または項1−2に記載のドライブレコーダ。
(項2−1)
車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する継続性判定部と、
前記音声情報に基づいて前記継続中の発話における発話者を特定する発話者特定部と、
前記継続中の発話において特定された発話者に関する所定条件が充足された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。
(項2−2)
前記記録開始時刻は、前記発話継続開始タイミングから所定時間を遡った時刻であり、
前記記録制御部は、前記継続中の発話において特定される発話者の人数に応じて、前記所定時間の時間値を変化させることを特徴とする項2−1に記載のドライブレコーダ。
(項2−3)
前記継続性判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項2−1または項2−2に記載のドライブレコーダ。
(項2−4)
前記継続性判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、
a)前記継続中の発話において特定される発話者の人数が閾値以上である場合、前記記録開始時刻から、前記発話継続終了タイミングに対応する記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録し、
b)前記継続中の発話において特定される発話者の人数が前記閾値未満である場合、前記記録開始時刻から、前記所定の音声が検出されたタイミングから所定の記録時間が経過した記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項2−1または項2−2に記載のドライブレコーダ。
車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する継続性判定部と、
前記音声情報に基づいて前記継続中の発話における発話者を特定する発話者特定部と、
前記継続中の発話において特定された発話者に関する所定条件が充足された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。
(項2−2)
前記記録開始時刻は、前記発話継続開始タイミングから所定時間を遡った時刻であり、
前記記録制御部は、前記継続中の発話において特定される発話者の人数に応じて、前記所定時間の時間値を変化させることを特徴とする項2−1に記載のドライブレコーダ。
(項2−3)
前記継続性判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項2−1または項2−2に記載のドライブレコーダ。
(項2−4)
前記継続性判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、
a)前記継続中の発話において特定される発話者の人数が閾値以上である場合、前記記録開始時刻から、前記発話継続終了タイミングに対応する記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録し、
b)前記継続中の発話において特定される発話者の人数が前記閾値未満である場合、前記記録開始時刻から、前記所定の音声が検出されたタイミングから所定の記録時間が経過した記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録することを特徴とする項2−1または項2−2に記載のドライブレコーダ。
(項3)
車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両周囲情報に含まれる内容を解析する周囲情報解析部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する継続性判定部と、
前記音声情報に基づいて前記継続中の発話の内容を特定する発話内容特定部と、
前記継続中の発話の内容と前記車両周囲情報に含まれる内容が関連しているか否かを判定する関連性判定部と、
前記継続中の発話の内容と前記車両周囲情報に含まれる内容が関連していると判定された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。
車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両周囲情報に含まれる内容を解析する周囲情報解析部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に継続中の発話が開始された発話継続開始タイミングを特定する継続性判定部と、
前記音声情報に基づいて前記継続中の発話の内容を特定する発話内容特定部と、
前記継続中の発話の内容と前記車両周囲情報に含まれる内容が関連しているか否かを判定する関連性判定部と、
前記継続中の発話の内容と前記車両周囲情報に含まれる内容が関連していると判定された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。
10…ドライブレコーダ、12…車両周囲情報取得部、14…走行情報取得部、16…音声情報取得部、20…音声解析部、22…発話継続判定部、24…所定音検出部、26…発話者特定部、28…発話内容特定部、30…周囲情報解析部、32…関連性判定部、34…記録制御部。
Claims (6)
- 車両の周囲に関する車両周囲情報を取得する車両周囲情報取得部と、
前記車両の乗員の音声情報を取得する音声情報取得部と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に前記継続中の発話が開始された発話継続開始タイミングを特定する発話継続判定部と、
前記音声情報に基づいて前記車両の乗員が発する所定の音声を検出する所定音検出部と、
前記継続中の発話において前記所定の音声が検出された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する記録制御部と、を備えることを特徴とするドライブレコーダ。 - 前記記録開始時刻は、前記発話継続開始タイミングから所定時間を遡った時刻であり、
前記記録制御部は、前記所定の音声の音声レベルに応じて、前記所定時間の時間値を変化させることを特徴とする請求項1に記載のドライブレコーダ。 - 前記発話継続判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、前記発話継続終了タイミングに対応する記録終了時刻までに取得された前記車両周囲情報および前記音声情報を記録することを特徴とする請求項1または2に記載のドライブレコーダ。 - 前記発話継続判定部は、前記継続中の発話が終了する発話継続終了タイミングをさらに特定し、
前記記録制御部は、
a)前記所定の音声の音声レベルが閾値以上である場合、前記記録開始時刻から、前記発話継続終了タイミングに対応する記録終了時刻までに、取得された前記車両周囲情報および前記音声情報を記録し、
b)前記所定の音声の音声レベルが前記閾値未満である場合、前記記録開始時刻から、前記所定の音声が検出されたタイミングから所定の記録時間が経過した記録終了時刻まで、に取得された前記車両周囲情報および前記音声情報を記録することを特徴とする請求項1または2に記載のドライブレコーダ。 - 車両の周囲に関する車両周囲情報を取得するステップと、
前記車両の乗員の音声情報を取得するステップと、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に前記継続中の発話が開始された発話継続開始タイミングを特定するステップと、
前記音声情報に基づいて前記車両の乗員が発する所定の音声を検出するステップと、
前記継続中の発話において前記所定の音声が検出された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録するステップと、を備えることを特徴とする記録方法。 - 車両の周囲に関する車両周囲情報を取得する機能と、
前記車両の乗員の音声情報を取得する機能と、
前記音声情報に基づいて前記車両の乗員による発話が継続しているか否かを判定し、発話が継続中であると判定した場合に前記継続中の発話が開始された発話継続開始タイミングを特定する機能と、
前記音声情報に基づいて前記車両の乗員が発する所定の音声を検出する機能と、
前記継続中の発話において前記所定の音声が検出された場合、前記発話継続開始タイミングに対応して定められる記録開始時刻以降に取得された前記車両周囲情報および前記音声情報を記録する機能と、をコンピュータに実現させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020005931A JP2021114080A (ja) | 2020-01-17 | 2020-01-17 | ドライブレコーダ、記録方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020005931A JP2021114080A (ja) | 2020-01-17 | 2020-01-17 | ドライブレコーダ、記録方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021114080A true JP2021114080A (ja) | 2021-08-05 |
Family
ID=77077020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020005931A Pending JP2021114080A (ja) | 2020-01-17 | 2020-01-17 | ドライブレコーダ、記録方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021114080A (ja) |
-
2020
- 2020-01-17 JP JP2020005931A patent/JP2021114080A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6814364B2 (ja) | 情報提供装置、及び車両 | |
US9918038B2 (en) | System and method for multimedia capture | |
EP2876639B1 (en) | Using external sounds to alert vehicle occupants of external events | |
JP5972372B2 (ja) | 車載情報装置 | |
JP2017067849A (ja) | 対話装置及び対話方法 | |
JP6589514B2 (ja) | 対話装置及び対話制御方法 | |
JP6435658B2 (ja) | ドライブレコーダーおよびドライブレコーダー用のプログラム | |
JP2000118260A (ja) | 車両用乗員対話装置 | |
JP2021114081A (ja) | ドライブレコーダ、記録方法およびプログラム | |
JPWO2019130399A1 (ja) | 音声認識装置、音声認識システム及び音声認識方法 | |
JP2018097292A (ja) | 感情識別装置、感情識別方法および感情識別プログラム | |
JP2008094228A (ja) | 車両用通話警告装置 | |
US8712211B2 (en) | Image reproduction system and image reproduction processing program | |
JP2021114080A (ja) | ドライブレコーダ、記録方法およびプログラム | |
JP7039872B2 (ja) | 車両の走行記録装置及び閲覧装置 | |
JP7450045B2 (ja) | 情報出力装置及び情報出力方法 | |
KR102144382B1 (ko) | 음성 인식 기술을 이용한 차량용 헤드업 디스플레이 장치 | |
JP3471042B2 (ja) | 車載用電子装置 | |
Libal et al. | An embedded system for in-vehicle visual speech activity detection | |
JP2018198093A (ja) | ドライブレコーダーおよびドライブレコーダー用のプログラム | |
JP7386076B2 (ja) | 車載装置及び応答出力制御方法 | |
WO2024029192A1 (ja) | 音声コマンド受付装置、および音声コマンド受付方法 | |
JP2023162844A (ja) | 車両用記録制御装置および記録制御方法 | |
WO2023145405A1 (ja) | 音声操作制御装置および音声操作方法 | |
WO2023074162A1 (ja) | 車両用記録制御装置および記録制御方法 |