JP2019092077A - 記録制御装置、記録制御方法およびプログラム - Google Patents

Abstract

【課題】車両内の環境に応じて適切に映像の記録制御を行うことができる記録制御装置、記録制御方法およびプログラムを提供する。【解決手段】車両の内部で発せられる音声を集音するマイクロホン２０にて集音した音声を認識して音声情報を生成し（ステップＳ３）、音声情報生成部４２により生成された音声情報に基づいて、乗員が音声を発したか否かを判定し（ステップＳ５）、イベント判定部４４により乗員が音声を発生したと判定した場合に、車両の内部または外部を撮影して映像情報を出力する撮像部１２から出力された映像情報を記録部１８へ記録させる処理を開始させる記録制御装置１１とする。【選択図】図４

Description

本発明は、記録制御装置、記録制御方法およびプログラムに関する。

ドライブレコーダ等の撮像装置によって取得される映像の内、特徴ある映像を抽出して録画する記録制御装置が知られている。たとえば、周囲に歓声が起こったときの映像が音声と共に記録されるように、人の音声レベルのパワー値の変化、および音量レベルの変化等から人の音声信号の有無および歓声の有無を認識し、記録動作の実行/停止を制御する技術が知られている(特許文献１参照)。

特開２０１１−７７６３６号公報

特許文献１に開示される技術では、人の音声のパワー値の変化および音量レベルの変化によって記録動作の実行／停止を行っているが、車両空間においては、乗員が発する音声のほかにも、ラジオからの音声やカーナビゲーション装置からの音声などが聞こえる可能性がある。そのため、これらの装置から発せられた言葉に応じて、記録動作の実行/停止が行われてしまう恐れがある。また、ラジオやカーナビゲーション装置からの音声に関連づけられた映像データが数多く記録されてしまう恐れがある。

本発明は、上述した課題を鑑み、車両内の環境に応じて適切に映像の記録制御を行うことができる記録制御装置、記録制御方法およびプログラムを提供することを目的とする。

上記課題を解決するために、本発明の記録制御装置は、車両内部の乗員が発する音を集音する集音部から供給される信号に基づいて音声情報を生成する音声情報生成部と、音声情報に基づいて、乗員が音声を発したか否かを判定する判定部と、判定部により乗員が音声を発したと判定した場合に、車両の内部または外部を撮影して映像情報を出力する撮像部から出力された映像情報を記録部へ記録させる処理を開始させる記録制御部とを有することを特徴とする。

また、本発明の他の側面は、記録制御方法に関するものである。すなわち、本発明の記録制御方法は、記録制御部は、判定部により乗員が音声を発したと判定した場合に、音声情報生成部により生成された音声情報の一部または全部と、撮像部から出力される映像情報とを関連付けて記録部へ記録することを特徴とする。

また、本発明の他の側面は、プログラムに関するものである。すなわち、本発明のプログラムは、コンピュータを記録制御装置として機能させるためのプログラムであって、コンピュータを、車両内部の乗員が発する音を集音する集音部から供給される信号に基づいて音声情報を生成する音声情報生成部と、音声情報に基づいて、乗員が音声を発したか否かを判定する判定部と、判定部により乗員が音声を発したと判定した場合に、車両の内部または外部を撮影して映像情報を出力する撮像部から出力された映像情報を記録部へ記録させる処理を開始させる記録制御部として機能させることを特徴とする。

本発明によれば、車両内の環境に応じて適切に映像の記録制御を行うことができる記録制御装置、記録制御方法およびプログラムを提供することができる。

本発明の一実施の形態に係る記録制御装置のドライブレコーダの外観例と設置例を示す模式図である。 図１に示すドライブレコーダのハードウェア構成の一例を示すブロック図である。 図１および図２に示すドライブレコーダにおいて、イベントを検出する際の通常の記録動作のイメージを示す図である。 図１に示すドライブレコーダの機能的構成の一例を示す図である。 図１に示すドライブレコーダが実行するイベント判定処理を示すフローチャートである。

以下、本発明の一実施の形態に係る記録制御装置、記録制御方法およびプログラムについて、図１〜図５を参照しながら説明する。なお、本発明の記録制御方法およびプログラムについては、記録制御装置の動作、記録制御装置にインストールされているプログラムによって説明する。本発明に係る記録制御装置、記録制御方法およびプログラムは、以下の実施形態に限定されるものではない。また、本実施形態において、「イベント」とは、乗員または運転手が記録したいと考える事象であり、たとえば、車両の乗員が歓声を挙げたときの車外の景色、車内での乗員の状況などが挙げられる。

図１は、本発明の一実施の形態に係る記録制御装置を含むドライブレコーダ１の外観例と設置例を示す模式図である。ドライブレコーダ１は、車両に搭載され、車両の運転状況を示す画像データ（映像データや走行データなど）を記録する装置である。ドライブレコーダ１は、図１に示すように、たとえば、車両のルームミラー２の背面であって、フロントガラス３にマウントベース４を介して取り付けられている。

図２は、図１に示すドライブレコーダ１のハードウェア構成の一例を示すブロック図である。図２に示すように、このドライブレコーダ１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される記録制御装置１１、撮像部１２、内部メモリ１５、ＧＰＳ（Global Positioning System）受信部１６、記録部１８、マイクロホン２０及び入力部２１を有している。なお、図２に示すハードウェア構成は、あくまでも記録制御装置の制御の説明において関連するハードウェアを示しているものであり、必ずしもすべてのハードウェア構成を示しているものではない。

記録制御装置１１は、内部メモリ１５が記憶する制御プログラムおよび制御データにしたがって動作し、ドライブレコーダ１の各部を統括して制御するものである。記録制御装置１１は、内部メモリ１５に記憶された制御プログラムを実行することで、後述する各機能を実現する。

撮像部１２は、図１に示したカメラレンズ５を含み、たとえば、ＣＣＤ（Charge-Coupled Device）センサまたはＣＭＯＳ（Complementary MOS）センサを搭載したカメラである。
なお、カメラレンズ５は、３６０°を撮像できる超広角レンズを備えていてもよい。

センサ部１４は、たとえば、加速度センサを備え、車内外にて発生する異常事態や衝突や自己などを検出することが可能である。

内部メモリ１５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等からなる。ＲＯＭは、記録制御装置１１によって実行される制御プログラム（図示せず）などの格納領域として使用される。ＲＡＭは、記録制御装置１１の作業領域として使用されるほか、画像データ（後述する図４の画像データ１５Ａ）を所定時間分（数秒〜数分）だけ一時的に格納しておくバッファ領域としても使用される。

ＧＰＳ受信部１６は、図示していないＧＰＳ衛星から送信されるＧＰＳ信号を受信する。記録制御装置１１がその受信したＧＰＳ信号に基づく測位演算処理を実行し、現在時刻におけるドライブレコーダ１の緯度、経度、高度からなる位置情報を検出することができる。なお、ＧＰＳ受信部１６は、不図示のカーナビゲーションなどの他の機器が有するＧＰＳ信号を受信するようにしてもよい。

記録部１８は、たとえば、ＳＤメモリカードなどであり、撮像部１２で撮像された画像データを記録することができるフラッシュメモリである。

マイクロホン２０は、映像録画中の周囲の音声を録音することができる。なお、マイクロホン２０は、乗員から発する音声を集音するため、たとえば、マイクアレイなどにより指向性を高めたものであることが好ましい。

入力部２１は、物理的な操作ボタン（不図示）を含み、記録制御装置１１に各種情報を入力するためのインタフェースである。入力部２１は、たとえば、車両に搭載されたカーナビゲーション装置（不図示）またはカーオーディオ装置（不図示）、携帯用コンテンツ再生機器、スマートフォンなどの機器から出力される音声の元となる音声波形信号（電気信号）を、無線あるいは有線による通信によって受信して、記録制御装置１１に入力することができる。

続いて、図１および図２に示すドライブレコーダ１の記録動作について説明する。図３は、図１および図２に示すドライブレコーダ１において、イベントを検出する際の通常の記録動作のイメージを示す図である。図３に示すように、撮像部１２で撮像された画像データ（後述する図４の画像データ１５Ａ）は、内部メモリ１５のイベントを記録する領域内（後述する図４のイベント記録領域４７）で循環的に記録される。すなわち、内部メモリ１５内の最初の論理アドレス（または物理アドレス）から画像データ１５Ａが順次記録されていき、最後の論理アドレス（または物理アドレス）まで記録されると、再び最初の論理アドレス（または物理アドレス）まで記録開始位置が戻り、画像データがそのまま上書きされていく。このような循環的な記録方法を実行させている間に、イベントを検出した場合には、記録制御装置１１の制御によって、いわゆるイベントとして検出され、その検出されたタイミング前後の所定期間における画像データが記録制御装置１１の制御に基づいて、記録部１８へと転送される。この転送によって、上書きが禁止されている記録部１８にイベント検出前後の画像データが記録されることになる。

続いてドライブレコーダ１が有する機能について説明する。図４は、図１に示すドライブレコーダ１の各構成を、本発明の機能ごとに、より詳細に説明した図である。ドライブレコーダ１の記録制御装置１１は、出力信号キャンセル部４１と、音声情報生成部４２と、乗員位置情報生成部４３と、イベント判定部４４と、記録制御部４５の各機能を含んで構成されている。また、記録部１８は、画像データ４８Ａを記録するためのイベント記録領域４７を有している。なお、ドライブレコーダ１は、上述した機能以外の機能を含んでいてもよい。

出力信号キャンセル部４１は、マイクロホン２０によって集音された音声から車両に搭載されたカーナビゲーション装置（不図示）またはカーオーディオ装置（不図示）から出力される音声を除去する処理を行う。具体的には、出力信号キャンセル部４１は、マイクロホン２０から供給される電気信号に基づく音声波形から、入力部２１が受信する、車両に搭載されたカーナビゲーション装置（不図示）またはカーオーディオ装置（不図示）から出力される電気信号に基づく音声波形を除去することで、車内の乗員以外から発せられる音をキャンセルすることができる。入力部２１は、車内に設置されたスピーカに近傍などに設けられたマイクロホン（不図示）から、カーナビゲーション装置またはカーオーディオ装置の出力を取得してもよい。出力信号キャンセル部４１のフィルタリング後の音声波形は、音声情報生成部４２へ供給される。

音声情報生成部４２は、出力信号キャンセル部４１により供給される音声波形に基づいて乗員が発した言葉を認識して、音声情報を生成する。生成された音声情報は、イベント判定部４４に供給される。なお、音声情報生成部４２が有する音声認識機能は、人の声であることを認識し、音声内容（意味）を特定して認識できるものであればどのような方法でも適用可能である。また音声の内容または抑揚または音量、文字量などの情報を検出できることが好ましい。抑揚や語尾の判定には、音声の周波数情報を検出する周波数検出部を備えてもよい。たとえば、音声情報生成部４２は、出力信号キャンセル部４１から入力された音声波形に基づく情報を、パターン認識に係るアルゴリズムに基づいて、言葉のテキスト化を行い、そのテキスト化された文字列と辞書データベース（不図示）と照合して言葉として認識し、最終的に音声情報を生成することができる。またこのような方法を用いることにより、データベースに登録された音声との照合および判別による音声操作と異なり、自由な音声情報を生成することができる。

また音声情報処理部４２は、入力として出力信号キャンセル部４１より供給される音声信号に限定されず、マイクロホン２０からの信号を直接用いてもよい。この場合、マイクロホン２０は高い指向性を持ち、後述する乗員位置情報生成部４３が生成する乗員の位置情報に応じて乗員の位置方向に感度を高めて、乗員が発する音を集音することが好ましい。

乗員位置情報生成部４３は、車両の乗員の位置を検出して乗員の位置情報を生成する。生成した乗員の位置情報は、イベント判定部４４に供給される。乗員の位置を検出する方法は、たとえば、超広角レンズを備えた撮像部１２から供給される画像データに基づいて、乗員の乗車位置を把握するようにしてもよいし、乗員の着座を感知する着座センサ、シートベルト脱着センサなどのセンサ類によって乗員の位置を検出し、乗員の乗車位置を把握するようにしてもよい。また、乗車の位置の検出に関しては、正確な位置情報ではなく、大雑把な乗車位置（たとえば、運転席、助手席、後部座席など）を検出するようにしてもよい。また、乗員位置情報生成部４３が、乗員位置情報を生成するタイミングは、たとえば、記録制御装置１１が動作を開始してから所定時間経過後（たとえば、起動開始から１分後）としてもよいし、所定間隔（起動してから１０分毎）としてもよい。また、車両のドアの開閉を検出したときに、改めて乗員位置情報を生成するようにしてもよい。

イベント判定部４４は、音声情報生成部４２により生成された音声情報に基づいて、乗員が音声を発したか否かを判定する。このとき、音声の内容または抑揚または音量、文字量などによってイベントであるか否かを判定してもよい。「危ない！」「あのお店なに？」などのキーワードが含まれているか否か、抑揚の多寡や語尾の上がり方、声の大きさなどによって通常の乗員同士の会話であるか、イベントとして判定するか否かの判定要件とする。また、一人の乗員の発生が長く続いた場合には文字量の多い通常の会話であり、イベントとして判定しない、としてもよい。

記録制御部４５は、イベント判定部４４から供給される判定の結果、乗員が音声を発したと判定された場合（イベントが発生した場合）、イベントとして判定されたタイミング前後の所定時間における画像データ１５Ａを内部メモリ１５から記録部１８へと転送させ、画像データ４８Ａの記録を開始する。

イベント記録領域４７は、記録部１８の上書きが禁止されている記憶領域であり、記録制御部４５により所定のイベントが発生したと判断された所定期間の画像データ１５Ａが内部メモリ１５から転送されて、画像データ４８Ａとして記録される。

次に、図５のフローチャートを参照して、図１に示すドライブレコーダ１の記録制御装置１１が実行するイベント判定処理について説明する。

ステップＳ１： 入力部２１は、カーナビゲーション装置（不図示）またはカーオーディオ装置（不図示）から出力される音声の元となる電気信号（音声波形信号）を受信し、記録制御装置１１にその電気信号を入力する。

ステップＳ２：出力信号キャンセル部４１は、ステップＳ１にて取得した音声波形信号に基づいて出力信号キャンセル処理を実行する。具体的には、出力信号キャンセル部４１は、マイクロホン２０によって集音されて出力される音から車両に搭載されたカーナビゲーション装置（不図示）またはカーオーディオ装置（不図示）から出力される音を除去する。

ステップＳ３：音声情報生成部４２は、車両内部の乗員が発する音を集音するマイクロホン２０から供給される電気信号に基づいて音声波形を認識して、音声情報を生成する。なお、音声情報生成部４２は、出力信号キャンセル部４１により乗員以外から発せられた音が除去された後の音声情報に基づいて音声認識をして、音声情報を生成する。なお、生成された音声情報は、イベント判定部４４に供給される。

ステップＳ４：乗員位置情報生成部４３は、車両の乗員の位置を検出して乗員の位置情報を生成する。生成された乗員の位置情報は、イベント判定部４４に供給される。

ステップＳ５：イベント判定部４４は、音声情報生成部に４３より生成された音声情報および乗員位置情報生成部４３により生成された乗員の位置情報に基づいて、乗員が音声を発したか否かを判定する。

ステップＳ６：記録制御部４５は、イベント判定部４４により乗員が音声を発したと判定した場合に、車両の内部または外部を撮影して映像情報を出力する撮像部１２または撮像部１２から出力された映像情報を記録部１８へ記録させる処理を開始させる。具体的には、記録制御部４５は、イベント判定部４４から供給される判定の結果、イベントが発生した場合、イベントとして判定されたタイミング前後の所定時間における画像データ１５Ａを内部メモリ１５から記録部１８のイベント記録領域４７へと転送させ、画像データ４８Ａの記録を開始させる。

以上の説明からわかるように、このドライブレコーダ１に含まれる記録制御装置１１は、車両内部の乗員が発する音を集音するマイクロホン２０から供給される信号に基づいて音声情報を生成し（ステップＳ３）、音声情報生成部４２により生成された音声情報に基づいて、乗員が音声を発したか否かを判定し（ステップＳ５）、イベント判定部４４により乗員が音声を発したと判定した場合に、車両の内部または外部を撮影して映像情報を出力する撮像部１２から出力された映像情報を記録部１８へ記録させる処理を開始するようにしたので（ステップＳ６）、車両内の環境に応じて適切に映像を記録させることができる。

すなわち、この記録制御装置１１によって、車内の乗員による音声、歓声などをトリガとし、発せられた言葉と関連付けた記録を行うことにより、ドライブレコーダ１に記録された映像の再生時にどのようなシーンであるのかを思い出しやすくすることができる。たとえば、「あのお店なに？」などの言葉と関連付けて映像が記録されている場合、帰宅後に、どのお店のことであるのかを忘れてしまうことを防ぎ、かつ、この映像からそのお店について調べるきっかけとすることができるようになる。また、この記録制御装置１１によって、綺麗な風景、不思議な自然現象、珍しい車などの映像なども同様に記録され、検索しやすくすることができる。

また、従来のドライブレコーダでは走行中の映像を全て記録する場合が多く、録画される映像が冗長になりやすいが、この記録制御装置１１によって上述した制御による記録を行うことで、冗長性を排除した記録および映像検索を行うことが可能となる。たとえば、車内で大爆笑した際の映像などを「あの時は楽しかった」と容易に思い出すことができると共に、その際の映像前後のみが記録され、容易に検索することができるようになるので、録画した映像をより楽しむことができる。また、この記録制御装置１１によって「危ない！！」や「うわっ」などの言葉に応じて記録がなされるため、自車以外の車両の事故現場などの記録も残しやすくすることができる。

また、このドライブレコーダ１に含まれる記録制御装置１１は、マイクロホン２０から供給される電気信号に基づく音声波形から、車両に搭載されたカーナビゲーション装置（負図示）またはカーオーディオ装置（負図示）から出力される電気信号に基づく音声波形を除去する出力信号キャンセル部４１を有し、音声情報生成部４２は、出力信号キャンセル部４１よりキャンセルされた後の音声波形を認識して、音声情報を生成し、記録制御部４５は、イベント判定部４４により乗員が音声を発したと判定した場合に、音声情報生成部４２により生成された音声情報の一部または全部と、撮像部１２から出力される映像情報とを関連付けて記録部１８へ記録するようにしたので、乗員の声以外の音声をより効率的に排除することができるようになる。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。たとえば、記録制御装置１１は、出力信号キャンセル部４１を有するものとしたが、出力信号キャンセル部４１を有していない記録制御装置１１としてもよい。これにより、カーナビゲーション装置（不図示）またはカーオーディオ装置（不図示）が備えられていない車両用の記録制御装置とすることも可能である。また、出力音キャンセル機能のON／OFF制御ができる記録制御装置１１としてもよい。これにより、車両内の状況に応じて、出力音キャンセル機能のON／OFFを柔軟に切り替えることができるようになる。

また、上述の記録制御装置１１は、映像を記録する際に、車両内の乗員が発した音声を言葉として認識してその言葉と関連付けて映像記録を行うようにしているが、その他にも、関連付けは、たとえば認識した言葉ごとにフォルダを作成し、映像データをそのフォルダ毎に分けて格納してもよし、認識した言葉ごとに映像データのファイル名として使用することで関連づけるようにしてもよい。あるいは、映像データのメタデータ（タグ付）としてその言葉をデータに埋め込んでもよいし、テキストファイルなどの別ファイルとして保存して関連付けるようにしてもよい。

また、音声情報生成部４２の音声認識機能が音声を認識するために保持する言葉が、照合データベース（不図示）として記録制御装置１１内に保持するようにしたが、通信により記録制御装置１１の外部の装置またはドライブレコーダ１の外部の装置から取得するようにしてもよい。また、音声情報生成部４２に学習機能をもたせて、乗員が良く発する言葉を学習させて記憶させようにしてもよい。

また、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、たとえば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

１ ドライブレコーダ、１１ 記録制御装置、１２ 撮像部、１４ センサ部、１５ 内蔵メモリ、１６ ＧＰＳ受信部、１８ 記録部、４１ 出力音キャンセル部、４２ 音声情報生成部、４３ 乗員位置情報生成部、４４ イベント判定部（判定部の一例）、４５ 記録制御部

Claims (7)

1. 車両内部の乗員が発する音を集音する集音部から供給される信号に基づいて音声情報を生成する音声情報生成部と、
   前記音声情報に基づいて、前記乗員が音声を発したか否かを判定する判定部と、
   前記判定部により前記乗員が音声を発したと判定した場合に、前記車両の内部または外部を撮影して映像情報を出力する撮像部から出力された映像情報を記録部へ記録させる処理を開始させる記録制御部と
   を有することを特徴とする記録制御装置。
2. 前記記録制御部は、
   前記判定部により前記乗員が音声を発したと判定した場合に、前記音声情報生成部により生成された音声情報の一部または全部と、前記撮像部から出力される映像情報とを関連付けて前記記録部へ記録する
   ことを特徴とする請求項１に記載の記録制御装置。
3. 前記集音部から供給される信号から、前記車両内の機器から出力される音信号を除去する出力信号キャンセル部をさらに有し、
   前記音声情報生成部は、
   前記出力信号キャンセル部の出力に基づいて、乗員が音声を発したか否かを前記判定部が判定するための前記音声情報を生成する、
   ことを特徴とする請求項１または２に記載の記録制御装置。
4. 前記判定部は、前記音声情報の内容または文字量または抑揚または音量のうち少なくともひとつに基づいてイベントか否かを判定するイベント判定部をさらに有し、
   前記記録制御部は、前記イベントであると判定した場合に、前記映像情報を記録部へ記録させる、請求項１から３のいずれか１項に記載の記録制御装置。
5. 前記記録制御部は、前記音声情報をメタデータとして前記映像情報とともに記録部へ記録させる、請求項１から４のいずれか１項に記載の記録制御装置。
6. 車両内部の乗員が発する音を集音する集音部から供給される信号に基づいて音声情報を生成する音声情報生成ステップと、
   前記音声情報に基づいて、前記乗員が音声を発したか否かを判定する判定ステップと、
   前記判定ステップにより前記乗員が音声を発したと判定した場合に、前記車両の内部または外部を撮影して映像情報を出力する撮像部から出力された映像情報を記録部へ記録させる処理を開始させる記録制御ステップと
   を有することを特徴とする記録制御方法。
7. コンピュータを記録制御装置として機能させるためのプログラムであって、
   前記コンピュータを、
   車両内部の乗員が発する音を集音する集音部から供給される信号に基づいて音声情報を生成する音声情報生成部と、
   前記音声情報に基づいて、前記乗員が音声を発したか否かを判定する判定部と、
   前記判定部により前記乗員が音声を発したと判定した場合に、前記車両の内部または外部を撮影して映像情報を出力する撮像部から出力された映像情報を記録部へ記録させる処理を開始させる記録制御部
   として機能させるためのプログラム。

Images