JP2012063835A - 表示用データ処理システム - Google Patents

Abstract

【課題】撮像画像と入力データを組み合わせて同時に表示する場合の違和感が少なくなるようにマッチングさせて表示させる。
【解決手段】移動体１に設置されて撮像した画像データを第１周期で出力する撮像部４０と、当該移動体１に関する変動要素について、第２周期で検出データを出力する検出部４１と、撮像部４０によって撮像された画像データの画像フレームと、その画像フレームに対応する検出データの表示用情報とを同時に表示させる処理部１０とを備え、処理部１０は、表示用画像フレームの直前の選択対象期間中の検出データの中から表示用情報を生成するために用いる検出データ値を選択して、その検出データ値に基づいて表示用情報を生成し、選択対象期間は、検出部４１で検出する事象の種類に応じて、第２周期の期間よりも長く設定する。
【選択図】図１

Description

本発明は、撮像画像と検出データを同時に視認可能に表示させる表示用データ処理システム等に関するものである。

従来から、移動体の走行中の周囲をカメラで常時撮像して撮像画像を記録として残すドライブレコーダが知られている。ドライブレコーダは、一般的にカメラ部が移動体のフロントシールドガラスの上部等に設置され、運転の可視領域を狭くしないように撮像画像の表示部は有していない構成が多い。従って、撮像画像を表示させる場合は、表示画面を有する表示装置にケーブルで接続するか、あるいは、撮像画像を記録した不揮発性のメモリーカードを装置に読み込ませることで表示させている。

ドライブレコーダの中には、加速度センサ等の物理量センサと連動させることで、少なくとも衝撃等を受けた数秒前〜数十秒前の撮像画像と、衝撃後の数秒後から数十秒後までの撮像画像とを、受けた衝撃等の加速度と共に記録として残すものがある。また、停車中の車又は車中の物品等に対する犯罪に対する画像や音声を記録するドライブレコーダもある。また、さらにＧＰＳ装置と連動させることで、撮像画像と共にその時点での速度や位置を記録させることができるドライブレコーダも知られている（例えば、特許文献１参照）。

そのような従来のドライブレコーダでは、撮像画像と共に位置や加速度等の他の物理量の検出データを表示させる場合、当該撮像画像の１フレームのデータが入力するタイミングに対して直前又は直後の最も近いタイミングの検出データを当該撮像画像と組み合わせて表示させていた。

特開２００９−９３２５３号公報

しかしながら、画像フレームの撮像間隔と、加速度データ等の物理量の入力タイミング間隔やサンプリング間隔には違いがあるので、瞬間的な事故等の発生直後の画像フレームの入力タイミングと、物理量の検出データのサンプリングタイミングや入力タイミングは異なる。そのため、従来のドライブレコーダでは、事故発生時の画像と物理量の検出データとを同時に表示させた場合に、撮像画像は事故の発生で衝撃を受けた瞬間を示しているのに、加速度等の物理量の表示内容は事故の発生を示す値ではなくミスマッチのデータが表示されることがあった。その結果、画像から受ける印象と、検出データから判断できる内容がずれてしまい、ドライブレコーダの使用者が違和感を感じることがあった。

そこで本発明は、上記の課題を解決するために、撮像画像と検出データを組み合わせて同時に表示する場合に、使用者にとって撮像画像と入力データとの違和感が少なくなるように、検出データをマッチングさせて表示させることができるシステムを提供することを目的とする。

（１）上記課題を解決するために、本発明の実施態様に係るシステムにおいては、移動体に設置されて撮像した１フレーム毎の画像データを第１周期で出力する撮像手段と、当該移動体に関する少なくとも１種類の変動要素について、第１周期とは非同期である第２周期で検出データを出力する検出手段と、撮像手段によって撮像された画像データに基づく表示用画像フレームと、その表示用画像フレームに対応する検出データに基づいて生成した表示用情報とを同時に視認可能に表示手段に表示させる処理を行う処理手段とを備え、処理手段は、表示用画像フレーム前の選択対象期間中に検出された複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データを選択し、選択した検出データ値に基づいて表示用情報を生成する構成であり、選択対象期間は、検出手段で検出する事象の種類に応じて、第２周期の期間よりも長く設定する。

撮像手段によって撮像された画像データは、ＣＣＤやＣＭＯＳセンサなどのカメラ出力のデータである。画像データに基づく記録用データは、例えば、静止画ベースのＭｏｔｉｏｎＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）処理等と動画ベースのＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）処理等の所定の処理を施した加工データである。静止画ベースのＭｏｔｉｏｎＪＰＥＧでは、各画像フレームが空間型圧縮のみで、各画像フレームの間で時間型圧縮（又はフレーム間予測）が行われない。

一方、ＭＰＥＧの処理を用いて撮像した画像データを記録する場合、符号化された画像フレームには、各画像フレームの間で時間型圧縮（又はフレーム間予測）が行われる。ＭＰＥＧのフレームとしては、以下の３種類が用いられる。
（ａ）空間型圧縮のみで時間型（フレーム間）圧縮（又はフレーム間予測）を用いずに符号化されて圧縮率が低いＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ Ｆｒａｍｅ）と、
（ｂ）前方向のＩフレームまたはＰフレームとの差異のみのフレーム間予測を用いて符号化されて圧縮率がＩフレームより高いＰフレーム（Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）、
（ｃ）前後両方向のうち何れかの方向のフレームとの差異を選択するフレーム間予測を用いて符号化されて圧縮率がＰフレームよりさらに高いＢフレーム（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ Ｆｒａｍｅ）

表示用画像フレームとは、例えば、ＭｏｔｉｏｎＪＰＥＧ等のフレームごとに画像データがある場合のように「１フレーム毎の画像データ」と「表示用画像フレーム」とが同じものになる場合と、ＭＰＥＧ等のように「１フレーム毎の画像データ」と「表示用画像フレーム」とが異なるものになる場合があり、その両者を包含する。また、本発明の実施形態の一例のシステムは、全体が一体化した装置である場合と、例えば、車載器と情報処理装置のように構成要素を部分に分割していくつかの装置からなる場合の双方を含む。表示用情報は、検出データ自体の値である場合と、検出データ値をグラフ化した場合や、検出データ値にその他の加工を施したデータである場合を含む。

「同時に視認可能に表示手段に表示させること」は、一つのディスプレイ装置に表示用画像フレームと表示用情報を同時に視認可能に表示させる場合のみでなく、別個の表示手段に表示用画像フレームと表示用情報が同時に表示される場合を含む。本発明の実施形態の一例では、映像と表示用情報を見た使用者が違和感を感じることを低減させることができる。

本発明の実施形態の一例の処理手段は、画像データと検出データから表示用画像フレームとそれに対応する表示用情報を生成し、表示手段に対して出力するものである。
選択対象期間は、本発明の前記例では第１周期の期間以下で、第１周期とは非同期である第２周期の期間以上に設定する。例えば、選択対象期間を、撮像画像フレームのデータ入力とその直前の撮像画像フレームのデータ入力との間の第１周期の期間とする。すると、本発明の前記例では、表示用画像フレームと対応する検出データの表示用情報とを同時に表示させる処理で、選択対象期間中において、第１周期とは非同期の第２周期で入力する複数の検出データの中から、表示用画像フレームの画像と同時に表示させることに最適となる検出データを選択して表示させる。このようにすれば、撮像画像と入力データを組み合わせて同時に表示する場合に、撮像画像と入力データがマッチした画像を表示させることができる。検出データの選択は、表示時に行ってもよいが、予め選択して記録しておき、記録したデータから表示させると、画像を表示する場合の処理負荷、使用メモリー量等も削減することができる。

また、変動要素は、例えば、加速度センサによる検出値であるが、それに限らず、他のセンサの検出値やＧＰＳ受信機の受信データであってもよい。

同時に表示させるのに最適となる検出データは、例えば、衝突事故の発生時なら、当該選択期間中の加速度の検出データから、（３）に後述するような最大値又は最小値（絶対値で最大値）を選択すればよい。検出データの選択対象期間は、例えば、検出データの入力間隔が撮像画像フレームのデータ入力間隔よりも狭い場合は、撮像画像フレームの第１周期のデータ入力間隔とするとよい。この場合の撮像画像フレームの第１周期は、検出データの第２周期の期間よりも長くなる。また、例えば、検出データの入力間隔が撮像画像フレームのデータ入力間隔よりも広い場合は、検出データの選択対象期間は、例えば、検出データの第２周期の入力間隔、又は、その複数倍として、第２周期の期間よりも長くするとよい。

（２）好ましくは、検出手段は、変動要素として移動体に加わる加速度を検出するようにするとよい。加速度は、例えば、加速度センサで検出された結果の出力であり、アナログ出力である場合は、所定のサンプリングタイミング毎に、その時の加速度値が検出データとして出力される。

本発明の実施形態の一例では、例えば、検出手段で加速度を検出するので、移動体に対する衝撃や犯罪行為等を検出でき、また、加速度の方向や停止状態からの加速度を検出することで進行方向や速度を検出することができる。

（３）好ましくは、処理手段は、「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択し、選択した検出データ値に基づいて表示用情報を生成する構成」として、表示用画像フレームの中から当該表示用画像フレームを視認した際に視認者（ユーザ）によって認識される当該画像中の特徴を示す表示用情報を生成するとよく、このためには、選択対象期間内の複数の検出データの「最大のデータ値、最小のデータ値、絶対値で最大のデータ値、最大データ値と最小データ値の差が最大振幅であるデータ値、２乗平均値に対して差が最大であるデータ値」の少なくとも何れか１つに基づいて表示用情報を生成する構成とするとよい。

本発明の実施形態の一例では、例えば、処理手段で画像フレームに最適となる検出データを選択する際に、選択対象期間内で検出値が最大の振幅となる検出データを選択し、その選択した検出データを表示用画像フレームと同時に表示できるようにして表示用情報を生成するので、事故の発生時に、撮像画像と入力データがマッチした画像を記録又は表示させることができる。

（４）好ましくは、検出手段は、当該移動体に関する少なくとも１種類の変動要素について、第１周期及び第２周期とは非同期である第３周期で検出データを出力し、処理手段は、第３周期で検出した検出データを加味して、「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択」するようにするとよい。

本発明の実施形態の一例では、例えば、画像データ出力を３０フレーム／毎秒等とすると第１周期が３３．３ｍｓとし、検出手段からの加速度の検出データの第２周期を数ｍｓ程度とし、さらに検出手段で、例えば、音声出力の検出データとして第３周期の４４．１ｋＨｚ（約２２．６μＳ）でサンプリングした音声を検出する。処理手段は、第２周期の検出データと第３周期の検出データの中からその表示用画像フレームに対応する検出データ値を選択する。この場合には、第２周期の検出データに第３周期の検出データを加えた多くの複数の検出データの中から、表示用画像フレームの画像と同時に出力させることに選択対象期間内で最適となる検出データを選択して出力させる。従って、第２周期の検出データのみの場合と比べてより最適な検出データの選択が可能となる。なお、本発明の前記例では、追加される選択支としての検出データとして音声を検出し、選択したが、本発明はこれに限られず、その他のセンサ等から得られるデータを加味して検出し、選択するようにしてもよい。

（５）好ましくは、移動体に設置され周囲の音を音声データとして入力する音声入力手段を備え、処理手段は、表示用画像フレームに同期させて音声入力手段から入力した音声データの変化を加味して、「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択」するようにするとよい。

本発明の実施形態の一例では、例えば、音声を検出する場合に、衝突音に相当する音声の音量がピークとなる時点のポイントを検出し、そのピークポイントから時間軸を遡って衝突音の発生するポイントを決定する。そして、決定した衝突音の発生ポイントに加速度の衝撃発生ポイントを合わせこむ。表示用画像フレームの画像と同時に出力される音声データとして、その表示用画像フレームの画像に対して選択対象期間内に入力した最適の音声データを選択することで、表示用画像フレームに同期させて出力させることができる。使用者にとって表示画像と音声データとの違和感が少なくなるように、音声データをマッチングさせて記憶又は出力させることができる。また、本発明の実施形態の一例では、表示用画像フレームと表示用情報の関係に違和感が少ないように検出データを選択することに加えて、さらに音の発生ポイントに加速度のデータと合わせこむことで、衝突した際の加速度を解析する際の再生された音と表示用情報のずれから生じる違和感を感じさせることを少なくすることができる。

（６）好ましくは、処理手段は、表示用画像フレームの性質を加味して、「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択」するようにするとよい。

表示用画像フレームの性質を加味することは、例えば、ＭＰＥＧを用いて撮像した画像データを記録する場合、符号化された画像フレームには、前記したように符号化の性質により複数（Ｉフレーム、Ｐフレーム、Ｂフレーム）に分類される。事故等が発生した場合は、画像フレームに加速度などのデータを合わせこむ場合、全体を空間的に圧縮しているデータに対して加速度などのデータをあわせこむことになる。例えば、Ｐフレームには前のフレームとの差異、Ｂフレームには前後の何れかのフレームとの差異のデータしか有していないので、Ｉフレームのデータを用いる。そのため本発明の実施形態の一例では、検出データ値を選択する際にＩフレーム−Ｉフレーム間を選択対象期間とする。

（７）好ましくは、検出手段は、移動体に対する他の物体の衝突、移動体の急発進と急制動、移動体の内燃機関の点火異常の少なくともいずれか一つの事象を検出するようにするとよい。
本発明の実施形態の一例では、例えば、衝突、急発進と急制動、点火異常を検出することで、移動体に発生した事故の発生時の画像等を記録でき、事故の原因解明を容易にすることができる。

（８）好ましくは、処理手段は、画像データと検出データとに基づく記憶用データを記憶手段に記憶する処理を行う第一処理手段と、記憶用データに基づき表示用画像フレームと表示用情報とを生成する第二処理手段とからなり、第一処理手段は、撮像手段および検出手段とともに車両内に配置され、第二処理手段は、第一処理手段とは別体として構成されるようにするとよい。

本発明の実施形態の一例では、例えば、車両内に配置される装置内の第一処理手段で、例えば、ＣＣＤで撮像され出力された画像データに対してＭＰＥＧ等の所定の加工処理を施した加工データである記憶用画像データを、対応する検出データと共に記憶手段に記憶する。記憶手段は、データの記憶後に、最終的にそのデータを情報処理装置等の装置内に転送が可能であれば良いので、着脱可能で車内装置から抜いて居室内装置に挿入するメモリーカード等の記憶手段であっても、通信回線を利用して情報処理装置等の装置内に伝送可能な車両内装置の内部の記憶手段であってもよい。例えば、居室側の装置内の第二処理手段は、第一処理手段とは別体とし、記憶手段の記憶用データから選択して表示用画像フレームと表示用情報を生成する。

なお、第二処理手段は、車外で居室等の室内の情報処理装置等に限らず、車内／車外に関わらない表示画面付き携帯情報処理装置、車内／車外に関わらない表示画面付き携帯電話装置、車両内に設置された表示画面付き情報処理端末装置、車両内に設置された表示画面付きナビゲーション装置、車両内に設置された表示画面付きレーダー探知装置としてもよい。

本発明の実施形態の一例では、第一処理手段で選択処理を行わないので、車両内の撮像カメラ側の装置を高速化することができ、選択処理に必要な演算素子等に高度な機能が必要なくなり、演算素子のコストを低下させることができる。

（９）また別の構成としては、処理手段は、画像データに基づく記憶用映像データと、選択した検出データ値とを記憶手段に記憶する処理を行う第一処理手段と、記憶用映像データと選択した検出データ値とに基づき表示用画像フレームと表示用情報とを生成する第二処理手段とからなり、第一処理手段は、撮像手段および検出手段とともに車両内に配置され、第二処理手段は、第一処理手段とは別体として構成されるようにしてもよい。

本発明の実施形態の一例では、車両内に配置される装置内の第一処理手段で、例えば、ＣＣＤで撮像され出力された画像データに対してＭＰＥＧ等の所定の加工処理を施した加工データである記憶用画像データを、対応する検出データと共に記憶手段に選択し、その選択したデータを記憶する。記憶手段は、上記したようにメモリーカード等の記憶手段でも、車両内装置の内部の記憶手段であってもよい。居室側の装置内の第二処理手段は、第一処理手段とは別体であり、記憶手段の記憶手段から選択された記憶用データを読み出して表示用画像フレームと表示用情報を生成する。

本発明の実施形態の一例では、第一処理手段で選択するため記憶手段に必要ないデータを蓄積しないので、車両内の撮像カメラ側の装置に配置される記憶手段の記憶容量を低減させることができ、コストを低下させることができる。

（１０）上記課題を解決するために、本発明の実施態様に係るプログラムにおいては、上記した（８）または（９）のシステムにおける第二処理手段としての機能を実現する。

本発明の実施形態の一例では、第二処理手段の機能を居室内の情報処理装置等でコンピューターに実現させるためのプログラムとすることで、撮像画像と入力データを組み合わせて同時に表示する場合に、撮像画像と入力データがマッチした画像を、情報処理装置等に表示させることができる。

（１１）上記課題を解決するために、本発明の実施態様に係るドライブレコーダにおいては、上記した（９）に記載のシステムにおける撮像手段と検出手段と第一処理手段とを備える。

本発明の実施形態の一例では、車両内のドライブレコーダに撮像手段と検出手段と第一処理手段とを備えさせることで、第二処理手段用の処理負荷、使用メモリー量等を削減することができ、小型・軽量化、製造コストを低減させることができる。

本発明によれば、撮像画像と入力データを組み合わせて同時に表示する場合に、使用者にとって撮像画像と入力データとの違和感が少なくなるように、入力データをマッチングさせて表示させることができるシステムを提供することができる。

（ａ）は本発明の一実施形態のシステムを構成するドライブレコーダの移動体内における設置状況を着脱可能な記憶手段と共に示す図であり、（ｂ）は本発明の一実施形態のシステムを構成する表示画面を有する情報処理装置にドライブレコーダで書き込まれた記憶手段の内容を読み込ませて表示する状況を示す図である。 図１（ａ）のドライブレコーダの内部構成の一例を示すブロック図である。 図１（ｂ）の表示画面を有する情報処理装置の内部構成の一例を示すブロック図である。 図１のシステムの主要部の構成の一例を示すブロック図である。 カメラで撮像された画像フレームの入力と検出データ入力のサンプリングとＧＰＳデータの入力の各タイミングを示すタイミングチャートで、（ａ）は従来の場合の検出データ値を示し、（ｂ）は本発明の一実施形態の検出データを示す図である。 図１のシステムのドライブレコーダの動作の一例を示すフローチャートである。 図１のシステムの情報処理装置の動作の一例を示すフローチャートである。

最初に図１〜３で本発明の実施形態のシステムにおける制御部１０をドライブレコーダ２内と情報処理装置５００内に分離させて構成する場合の実施例について説明し、次に図４で制御部１０を一体化して構成する場合の実施例について説明する。
図１（ａ）は、本発明の実施形態のシステムを構成するドライブレコーダ２が、車両等の移動体１に設置されている状態を示す。ドライブレコーダ２には、着脱可能で画像データと検出データを含む各種のデータの記憶が可能な、例えば、汎用のメモリーカードである外部記憶媒体２００が挿入されて読み書きされる。

移動体１は、道路を移動するトラック、バス、乗用車等の自動車、鉄道を移動する列車、会場を移動する船舶の何れであってもよいが、乗用車の例で説明する。ドライブレコーダ２は、移動体１の前方または少なくとも前方を含む周囲をカメラで撮像し、撮像画像を内部又は外部の記録手段に記録する装置であり、本実施形態では、他の検出データも時刻と対応させて記録する。ドライブレコーダ２とは、例えば、常時、所定期間をエンドレスで外部記憶媒体２００に上書きしながら録画し、移動体１が事故に遭遇したと想到される上記事象を検出した場合に上書きを停止させることで、発生時の画像等を記録でき、車両に発生した異常と発生した事故の関係を解析できるので、事故の原因解明を容易にすることができる装置である。

図１（ｂ）は、本発明の実施形態のシステムを構成する情報処理装置５００を示す。情報処理装置５００には、画像を表示可能なＣＲＴディスプレイ、又は、液晶ディスプレイ等の表示手段である表示装置５２０と、外部記憶媒体２００に対してデータの読み書きが可能な外部記憶接続装置５１０が接続される。

図２は図１（ａ）のドライブレコーダの内部構成の一例を示し、ドライブレコーダ２には、本発明における少なくとも画像データと検出データを記憶手段に記憶させるまでの部分が搭載される。

制御部１０は、本システムにおけるデータの処理手段であり、入力する各種データに対して様々な処理を実施する演算素子群等であり、概略で「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択し、選択した検出データ値に基づいて表示用情報を生成する構成」であり、選択対象期間内の複数の検出データの「最大のデータ値、最小のデータ値、絶対値で最大のデータ値、最大データ値と最小データ値の差が最大振幅であるデータ値、２乗平均値に対して差が最大であるデータ値」の少なくとも何れか１つに基づいて表示用情報を生成する構成である。ドライブレコーダ２は、撮像部４０と、加速度検出部４１と、ＧＰＳ受信部４２と、外部記憶接続部６５と、計時部６９とを備え、上記各部は各々制御部１０に接続されている。

制御部１０は、少なくとも、撮像した画像データや検出した検出データを記憶データとして外部記憶媒体２００に記憶させるまでの処理を実施する第一処理部１１と第二処理部１２（図３参照）とから構成されるが、本実施形態のドライブレコーダ２には第一処理部１１のみを備える。第一処理部１１はＣＰＵ、ＲＯＭ・ＲＡＭ等のメモリ、周辺回路を備えるコンピューターによって構成され、ＣＰＵがメモリに記憶されたプログラムを実行することで、各種の機能を実現する。

撮像部４０は、ＣＣＤやＣＭＯＳセンサなどを用いたカメラ等の撮像手段であり、撮像された画像データは、カメラ等から出力されたデータである。撮像部４０は、移動体１の前方を撮像するように設置されて、撮像した１フレーム毎の画像データを、例えば、３０フレーム／毎秒等の場合であれば３３．３ｍｓとなる第１周期で第一処理部１１に出力する。タイミング生成部５０は、例えば、計時部６９からの信号に基づき、第１周期で１フレーム毎の画像データを第一処理部１１に出力するためのタイミング信号を生成する。なお、撮像部４０は、ドライブレコーダ２内に限らず、ドライブレコーダ２の外部に別体として設け、有線通信手段又は無線通信手段により画像データを第一処理部１１に送信するようにしてもよい。

加速度検出部４１は、変動要素として移動体１に関する加速度を変動要素として検出する検出手段であり、画像データフレーム入力の第１周期とは非同期である第２周期で検出データを第一処理部１１に出力する。通常、加速度検出部４１の加速度センサそのものでは連続して加速度の値を検出してアナログ出力し、その結果の値を第２周期毎にサンプリングして、その時の加速度値を検出データとして出力する。この場合の第２周期は、急ハンドル、急ブレーキや急発進のみを検出するのであれば数十ｍｓ程度でよいが、衝突を検出する場合には、数ｍｓ程度が必要になる。タイミング生成部５１は、例えば、計時部６９からの時刻信号に基づき、第２周期で加速度値を第一処理部１１に出力するためのタイミング信号を生成する。

ＧＰＳ受信部４２は、移動体１に関する位置情報と時刻情報を変動要素として検出する検出手段であり、画像データフレーム入力の第１周期とも、加速度値の第２周期とも非同期である第４周期で検出データを出力する。この場合の第４周期は、例えば、１秒間に１回で１ｓとなる。タイミング生成部５２は、例えば、計時部６９からの時刻信号に基づき、第４周期で移動体１に関する位置情報と時刻情報を第一処理部１１に出力するためのタイミング信号を生成する。

外部記憶接続部６５は、例えば、上記した汎用の外部記憶媒体２００を挿入して着脱自在に接続できるカードスロットである。計時部６９は、画像データが入力した時刻や、検出データが入力した時刻を計時する。時刻情報をＧＰＳ装置４２から得る場合には、ＧＰＳ受信部４２が計時部６９を兼ねる。

第一処理部１１で処理する変動要素としては、上記の他に、例えば、移動体１に設置されて周囲の音を音声データとして入力する不図示のマイク等の音声検出部を設け、移動体１近辺の音声情報を第一処理部１１に出力してもよい。音声検出部は、画像データフレーム入力の第１周期、及び、加速度やＧＰＳ入力等の第２周期とは非同期である第３周期で検出する。第３周期は、例えば４４．１ｋＨｚで出力する。なお、音声検出部は、ドライブレコーダ２内に限らず、ドライブレコーダ２の外部に別体として設け、有線通信手段又は無線通信手段により音声データを第一処理部１１に送信するようにしてもよい。

さらに第一処理部１１で処理する変動要素としてはその他に、例えば、移動体１に関する電源ラインから電圧の変動を変動要素として検出して第一処理部１１に出力する不図示の車両情報入力部を設けてもよい。電源ラインからの電圧の入力は、例えば、シガーソケット（アクセサリソケット）等から得ることができる。また、車両情報としては、電源電圧に限らず、ブレーキ、ウインカー、車速パルス等の移動体の各部の動作状況を車内ＬＡＮ、車内データ、車載センサ等から検出した検出データや、移動体の各部への制御信号を入力してもよい。

なお、第一処理部１１で検出する事象は、事故が発生したと想到される場合に変化が現れる事象であり、例えば、加速度を検出することによる移動体１に対する他の物体の衝突、移動体１の急ハンドル、急発進及び急制動、車両情報（例えば電圧変動）を車両側から入力することによる移動体１の内燃機関の点火異常、その他の電装系の異常、等である。

図３は図１（ｂ）の情報処理装置５００の内部構成の一例を示す。情報処理装置５００は、例えば、ディスク状記憶媒体２５０又は通信ネットワーク８００からダウンロードしたプログラムを実行することで各種の情報処理が可能なパーソナルコンピュータやサーバ装置である。情報処理装置５００には、本発明における少なくとも記憶手段から画像データと検出データを読み出し、画像データの各々の表示用画像フレームに対応する検出データ値を複数の検出データの中から選択し、選択した検出データ値に基づいて表示用情報を生成する部分が搭載される。表示装置５２０は、情報処理装置５００に接続されて、画像を表示可能なＣＲＴディスプレイ、液晶ディスプレイ等の表示手段である。

第二処理部１２も、上記した第１処理部と同様にＣＰＵ、ＲＯＭ・ＲＡＭ等のメモリ、周辺回路を備えるコンピューターによって構成され、ＣＰＵがメモリに記憶されたプログラムを実行することで、各種の機能を実現する。第二処理部１２では、画像データに対する検出データの合わせ込みを実施して出力する。第二処理部１２では、画像データの第１周期に基づき選択対象期間を設定し、その選択対象期間内の検出データ値から、例えば、絶対値の最大値（ピーク値）を表示用画像フレームに合わせ込ませて最適な検出データ値を選択する。そして、第二処理部１２では、表示用画像フレームと、選択した検出データ値とを表示装置５２０に出力する処理を行う。

画像出力部６３は、表示装置５２０と接続し、第二処理部１２で処理された画像データを表示装置５２０に適した形式にコンバートして出力する。情報処理装置５００は、画像出力部６３と、ユーザインタフェース１１３と、入出力装置１１４と、通信インターフェイス１０４と、通信装置１１５と、外部記憶インターフェース１５２と、ディスクインターフェース１５５と、ディスク接続装置１５６とを備える。画像出力部６３と外部記憶インターフェース１５２は各々直接に制御部１０と接続する。通信装置１１５と入出力装置１１４とディスク接続装置１５６とは、各々通信インターフェイス１０４、ユーザインタフェース１１３、ディスクインターフェース１５５を介して制御部１０と接続する。

通信インターフェイス１０４は、一方の接続側に第二処理部１２が接続されると共に、他方の接続側は、通信装置１１５を介して通信ネットワーク８００に接続し、プログラムまたはデータを送受信する。通信装置１１５は、無線方式又は有線方式の通信装置であり、無線通信方式の場合は、微弱電波、特定小電力、各種無線ＬＡＮ対応方式、携帯電話回線利用方式等の様々な方式を利用することができる。通信ネットワーク８００は、無線通信又は有線通信を用いて各情報処理装置５００間の通信を確立する。

ユーザインタフェース１１３は、一方の接続側に第二処理部１２が接続されると共に、他方の接続側には、例えば、キーボードやマウス、タッチパネル等の入出力装置１１４、又は、マイクロフォン等の音声入力装置等が接続される。

外部記憶インターフェース１５２は、一方の接続側に第二処理部１２が接続されると共に、他方の接続側には、外部記憶接続装置５１０が接続される。外部記憶接続装置５１０は、例えば、着脱自在なメモリーカード等の汎用の外部記憶媒体２００を挿入して着脱自在に接続できるカードスロットであり、着脱自在に接続される外部記憶媒体２００から各種のデータやプログラム等を読み出すことができる。

ディスクインターフェース１５５は、一方の接続側に第二処理部１２が接続されると共に、他方の接続側には、ディスク接続装置１５６が接続され、着脱自在に接続されるディスク状記憶媒体２５０から各種のデータを読み出すことができる。ディスク状記憶媒体２５０は、例えば、第二処理部１２用のプログラムが書き込まれたＣＤ−ＲＯＭ、又は、書き込み可能なＣＤ−Ｒ等である。

以上のように第二処理部１２は、制御部１０内に設けられ、外部記憶媒体２００に記憶させた画像データと検出データを読み出して、画像データと検出データを同時に情報処理装置５００の表示装置５２０に表示させる処理を実施する処理部である。より詳しくは、第二処理部１２は、撮像部４０によって撮像された画像データに基づく表示用画像フレームと、その表示用画像フレームに対応する検出データに基づいて生成した表示用情報とを同時に視認可能に表示手段に表示させる処理（例えば、画像合成処理）を行う。第二処理部１２の機能は、例えば、居室内に設置された情報処理装置５００等にＣＤ−ＲＯＭ又はＣＤ−Ｒ等の着脱自在記憶媒体２５０でプログラムを供給することで実施させることができる。

また、第二処理部１２は、表示用画像フレームの直前の選択対象期間中に検出された複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データを選択し、選択した検出データ値に基づいて表示用情報を生成する構成である。検出データの選択対象期間は、加速度検出部４１、ＧＰＳ受信部４２、音声検出部、車両情報入力部等の検出手段で検出する事象の種類に応じて、それらデータが入力する周期の期間よりも長く設定される。例えば、検出データの入力間隔が撮像画像フレームのデータ入力間隔よりも短い場合の選択対象期間は、撮像画像フレームの第１周期のデータ入力間隔である。

次に本発明の実施形態のシステムにおける制御部１０を一体化して構成する場合の実施例について図４を用いて説明する。
図４は、図２のドライブレコーダ側の第一処理部１１と図３の情報処理装置側の第二処理部１２を含む本発明のシステムにおける制御部１０の構成の一例を示すブロック図である。
第一処理部１１内の時刻情報付加部７０は、撮像部４０、加速度検出部４１、ＧＰＳ受信部４２等から出力されて第一処理部１１に入力されるデータで、そのデータに付随する時刻情報を例えばヘッダー内に有していない場合に、各データに対して、例えば、計時部６９から時刻を得て時刻情報を付加し、外部記憶媒体２００に記憶する。時刻情報付加部７０は、加速度検出部４１から出力されるデータの他に、音声検出部、車両情報入力部からの各データに対しても時刻情報を付加し、外部記憶媒体２００に記憶することができる。さらに時刻情報付加部７０は、入力する各データのヘッダーにデータの分類情報が含まれていない場合には、その各データに対応するデータの分類情報も付加することができる。

第二処理部１２内の画像データ時刻判別部８０は、外部記憶媒体２００から読み出された画像データについて、そのデータに対応して付随する時刻情報を読み取り各データの前後順を判別する。画像データ選択部８１は、画像データ時刻判別部８０で前後順が判別された各画像データについて、その前後順に従って早い順から画像データを選択する。表示用画像データ合成部８２は、画像データ選択部８１で選択された画像データと、それに対応して後述する検出データ選択部８７で選択された検出データを表示用画像データとして合成し、表示装置５２０に表示する。

検出データ種別判別部８５は、外部記憶媒体２００から読み出された検出データについて、そのデータの種別が、例えば、データのヘッダ等から加速度データであるか、音声データであるか、車両情報であるか等を判別する。検出データ時刻判別部８６は、種別が判別された検出データについて、そのデータに付随する時刻情報の前後順を判別する。検出データ選択部８７は、時刻の順番に従って、画像データの時刻データに基づくその前の画像データまでの第１周期を選択対象期間として、その期間中の前記表示用画像データに対応する適切な検出データを選択する。選択対象期間は、より具体的には、例えば、第１周期＞第２周期である場合に、撮像された画像データフレームの時刻を検出し、一つ前に入力した画像データフレームの時刻との第１周期の期間を選択対象期間として設定する。

検出データ選択部８７は、前記表示用画像データに表示させるのに適切な検出データとして、例えば、３０フレーム／毎秒等（３３．３ｍｓ）等の固定値の第１周期（＝選択対象期間）に対する数ｍｓ程度の第２周期の加速度データの場合、表示させる加速度の検出データの第２周期の期間が撮像画像フレームの第１周期よりも短い（第１周期＞第２周期）状況であり、選択対象期間中に複数の加速度データ等のピークが存在するので、選択対象期間中の最大値又は最小値（絶対値で最大値）を選択する。

また、例えば、ＧＰＳデータ等の１秒間に１回等の第４周期の場合のように、表示させる検出データの入力間隔が撮像画像フレームのデータ入力間隔（３３．３ｍｓ）よりも長い場合は、検出データ選択部８７は、検出データの選択対象期間を、検出データの第４周期の入力間隔と同等、又は、その複数倍として、第４周期の期間よりも長くして、その期間中の前記表示用画像データに対応する適切な検出データを選択すればよい。また、上記した音声情報の第３周期、車両情報の入力周期については、上記した第１周期よりも短い場合か、長い場合の何れかと同様にすればよい。

また、例えば、表示用画像フレームをＭＰＥＧのデータから構成する場合、ＰフレームやＢフレームには、前後のフレームとの差分データしか無いので、検出データ選択部８７は、検出データ値を選択する際にＩフレーム−Ｉフレーム間を選択対象期間とする、このように表示用画像フレームの性質を加味して選択する。そして、その選択対象期間内で「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択」する。

以上のように検出データ選択部８７で選択された検出データは、表示用画像データ合成部８２に出力され、そこで、画像データ選択部８１で選択された画像データ（表示用画像フレーム）と合成される。例えば、表示用画像データ合成部８２に、画像データ選択部８１から移動体１が前方の車両に衝突した時の表示用画像フレームが選択されて入力した場合、検出データ選択部８７では、その表示用画像フレームに対して、上記した方法により各検出データを選択して表示用画像データ合成部８２に出力する。この場合の各検出データは、例えば、選択対象期間中の最大値又は最小値（絶対値で最大値）になっているので、表示用画像フレームが衝突時であれば、その時の実際の衝突時の衝撃や状況により近い加速度値、音声情報、車両情報等が表示装置５２０に表示される。このようにして表示用画像データ合成部８２では、表示用画像フレームに音声データと加速度データとを、違和感が少なくなるように同期（マッチング）させて出力させることができる。

次に、図４の検出データ選択部８７で検出される各データの周期タイミングについての一例を、図５（ａ）、（ｂ）を用いて説明する。
図５（ａ）は、従来の場合のカメラで撮像された画像フレームの制御部への入力と、検出データ入力のサンプリングと、ＧＰＳデータの入力の各タイミングの関係と、制御部で選択された検出データ値を示すタイミングチャートである。それに対して図５（ｂ）は、本発明の一実施形態の場合のカメラで撮像された画像フレームの制御部への入力と、検出データ入力のサンプリングと、ＧＰＳデータの入力の各タイミングの関係と、制御部で選択された検出データ値を示すタイミングチャートである。

まず、図５（ａ）と図５（ｂ）の共通事項について説明する。アナログ出力値６００は、加速度検出部４１からの加速度のアナログ出力である。サンプリングタイミングＰ１〜Ｐ２６は、アナログ出力値６００をサンプリングする第２周期のタイミングである。その第２周期でサンプリングされた加速度データ値（加速度のアナログ出力値６００をサンプリングタイミングＰ１〜Ｐ２６で各々サンプリングしたデータ値）が第一処理部１１に出力される。画像出力タイミングＶ１〜Ｖ１４は、撮像部４０からの画像データの第一処理部１１への第１周期（＝選択対象期間）の出力タイミングである。ＧＰＳ信号出力タイミングＧ１〜Ｇ２は、ＧＰＳ受信部４２で受信したＧＰＳ信号の第一処理部１１への第４周期の出力タイミングである。

図５（ａ）の従来の場合には、ＧＰＳ信号出力タイミングＧ１のＧＰＳ信号は、加速度のサンプリングタイミングＰ４と同じタイミングで第一処理部１１へ入力され、例えば、サンプリングタイミングＰ４に対して第１周期で前後するサンプリングタイミングＰ３及びＰ５で各々サンプリングされた加速度データ値Ｄ１及びＤ２の値の平均値と合成されて表示用画像データとして第二処理部１２から出力されていた。同様に、ＧＰＳ信号出力タイミングＧ２のＧＰＳ信号は、サンプリングタイミングＰ１５と同じタイミングで第一処理部１１へ入力され、例えば、サンプリングタイミングＰ１５に対して第１周期で前後するサンプリングタイミングＰ１４及びＰ１６で各々サンプリングされた加速度データ値Ｄ５及びＤ６の値の平均値と合成されて表示用画像データとして第二処理部１２から出力されていた。

また、図５（ａ）の画像出力タイミングＶ６で第一処理部１１へ入力する画像データは、第１周期で前後するサンプリングタイミングＰ１０又はＰ１２で各々サンプリングされた加速度データ値Ｄ３とＤ４の平均値と合成されて表示用画像データとして第二処理部１２から出力されていた。同様に、画像出力タイミングＶ１０で第一処理部１１へ入力する画像データは、第１周期で前後するサンプリングタイミングＰ１７又はＰ１９で各々サンプリングされた加速度データ値Ｄ７及びＤ８の平均値と合成されて表示用画像データとして第二処理部１２から出力されていた。

それに対して、図５（ｂ）の本実施形態の場合のＧＰＳ信号出力タイミングＧ２で第一処理部１１へ入力するＧＰＳ信号は、例えば、第４周期のＧＰＳ信号周期Ｃ２の間のサンプリングタイミングＰ４〜Ｐ１５で各々サンプリングされた最大及び最小の加速度データ値から演算して選択した絶対値の最大値（ピーク値：図５（ｂ）の場合はＰ９のＮ２）と合成されて、表示用画像データとして第二処理部１２から出力される。なお、この場合の制御部１０（第一処理部１１及び第二処理部１２）は、例えば、選択対象期間（ＧＰＳ信号周期Ｃ２）内の加速度の複数の検出データ（サンプリングタイミングＰ４〜Ｐ１５で各々サンプリングされた加速度データ）から最大及び最小の加速度データ値を選択し、それらの絶対値を演算して比較することで得られた絶対値の最大値（ピーク値：Ｎ２）を、表示に最適な加速度の検出データ値として、ＧＰＳ信号出力タイミングＧ２のＧＰＳ信号の表示用画像データと合成して出力してもよい。

同様にして、制御部１０（第一処理部１１及び第二処理部１２）は、例えば、第４周期のＧＰＳ信号周期Ｃ１の間の（不図示部を含んで）、先の不図示のＧＰＳ信号入力時のサンプリングタイミングからサンプリングタイミングＰ４まででサンプリングされた複数の検出データから最大及び最小の加速度データ値を選択し、それらの絶対値を演算して比較することで得られた絶対値の最大値（ピーク値）を、ＧＰＳ信号出力タイミングＧ１のＧＰＳ信号の表示用画像データと合成して出力してもよい。あるいは制御部１０（第一処理部１１及び第二処理部１２）は、例えば、第４周期のＧＰＳ信号周期Ｃ３の間の（不図示部を含んで）、サンプリングタイミングＰ１５から次の不図示のＧＰＳ信号入力時のサンプリングタイミングまででサンプリングされた複数の検出データから最大及び最小の加速度データ値を選択し、それらの絶対値を演算して比較することで得られた絶対値の最大値（ピーク値）を、ＧＰＳ信号出力タイミングＧ２の次の不図示のＧＰＳ信号の表示用画像データと合成して出力してもよい。

また、図５（ｂ）の画像出力タイミングＶ６で第一処理部１１へ入力する画像データは、例えば、第１周期である画像信号周期Ｂ５の間のサンプリングタイミングＰ９〜Ｐ１１で各々サンプリングされた複数の検出データから最大及び最小の加速度データ値Ｎ１及びＮ２を選択し、それらの絶対値を演算して比較することで得られた絶対値の最大値（ピーク値：Ｎ２）と合成されて表示用画像データとして第二処理部１２から出力される。なお、この場合の制御部１０（第一処理部１１及び第二処理部１２）は、例えば、選択対象期間（画像信号周期Ｂ５）内の複数の検出データ（サンプリングタイミングＰ９〜Ｐ１１で各々サンプリングされた加速度データ）から、最大及び最小の加速度データ値Ｎ１、Ｎ２を選択し、それらの絶対値を演算して比較することで得られた絶対値の最大値（ピーク値：Ｎ２）を、画像出力タイミングＶ６の画像データに合成して出力してもよい。

同様にして、制御部１０（第一処理部１１及び第二処理部１２）は、例えば、第１周期である画像信号周期Ｂ８の間のサンプリングタイミングＰ１６又はＰ１８まででサンプリングされた複数の検出データから最大及び最小の加速度データ値Ｎ３及びＮ４を選択し、それらの絶対値を演算して比較することで得られた絶対値の最大値（ピーク値：Ｎ４）を、画像出力タイミングＶ１０の画像データと合成して出力してもよい。

図５（ｂ）の本実施形態の場合の画像出力タイミングＶ１０の画像データと合成される加速度データ値（ピーク値：Ｎ４）は、図５（ａ）に示した従来の加速度データ値Ｄ７及びＤ８の平均値と垂直方向の座標で比較した場合に、より絶対値が大きな値（基準値（零）から離れた値）になる。また、図５（ｂ）の本実施形態の場合のＧＰＳ信号出力タイミングＧ２のＧＰＳ信号と合成される加速度データ値（ピーク値：Ｎ２）は、図５（ａ）に示した従来のＧＰＳ信号出力タイミングＧ２のＧＰＳ信号と合成される加速度データ値（加速度データ値Ｄ５及びＤ６の値の平均値）と垂直方向の座標で比較した場合に、より絶対値が大きな値（基準値（零）から離れた値）になる。

例えば、画像出力タイミングＶ６が衝突後の最初のタイミングである場合、図５（ｂ）の本実施形態の場合には、上記したように加速度データ値として（ピーク値：Ｎ２）が画像出力タイミングＶ６の画像データと合成されるが、図５（ａ）に示した従来の場合には加速度データ値としてＤ３及びＤ４の平均値と合成される。衝突直後の画像出力タイミングＶ６の画像を表示した際に、絶対値が大きい（ピーク値：Ｎ２）の加速度データ値が表示される場合には、使用者に与える違和感は少ないが、絶対値が小さいＤ３及びＤ４の平均値の加速度データ値が表示される場合には、使用者に与える違和感は大きい。

同様に例えば、画像出力タイミングＶ１０が衝突後の揺動等の動きが残っているタイミングである場合、図５（ｂ）の本実施形態の場合には、上記したように加速度データ値として（ピーク値：Ｎ４）が画像出力タイミングＶ１０の画像データと合成されるが、図５（ａ）に示した従来の場合には加速度データ値としてＤ７及びＤ８の平均値と合成される。衝突後の画像出力タイミングＶ１０の画像を表示した際に、比較的絶対値が大きい（ピーク値：Ｎ４）の加速度データ値が表示される場合には、揺動等の何らかの動きが認められるので使用者に与える違和感は少ないが、比較的絶対値が小さいＤ７及びＤ８の平均値の加速度データ値が表示される場合には、衝突後にも関わらず認められる動きが小さく使用者に与える違和感は大きくなる。

また例えば、ＧＰＳ信号出力タイミングＧ２が衝突後の最初のタイミングであり、その時のＧＰＳ信号（又はその信号により示される地図上の位置）を画像データで出力する場合、図５（ｂ）の本実施形態の場合には加速度データ値として（ピーク値：Ｎ２）がＧＰＳ信号出力タイミングＧ２のＧＰＳ信号（又は地図上の位置）と合成されるが、図５（ａ）に示した従来の場合には加速度データ値としてＤ５及びＤ６の平均値と合成される。衝突直後のＧＰＳ信号（又は地図上の位置）を表示した際に、絶対値が大きい（ピーク値：Ｎ２）の加速度データ値が表示される場合には、使用者に与える違和感は少ないが、絶対値が小さいＤ５及びＤ６の平均値の加速度データ値が表示される場合には、使用者に与える違和感は大きくなる。

図６は、図４のシステムの第一処理部１１の動作の一例を示すフローチャートである。第一処理部１１では、加速度検出部４１からの検出データが入力したか否かを判断する（Ｓ１）。検出データが入力しない場合（Ｓ１：ＮＯ）には、再度、ステップＳ１に戻って検出データが入力するのを待ち受ける。検出データが入力した場合（Ｓ１：ＹＥＳ）には、時刻情報付加部７０で検出データの例えばヘッダーに時刻情報を付加する（Ｓ２）。時刻情報付加部７０では、検出データのヘッダーにデータの分類情報が含まれていない場合には、各検出データに対応するデータの分類情報も付加する。

次に、第一処理部１１は、検出データを外部記憶媒体２００に転送する（Ｓ３）。さらに第一処理部１１は、画像データが入力したか否かを判断する（Ｓ４）。画像データが入力しない場合（Ｓ４：ＮＯ）には、第一処理部１１は、再度、ステップＳ１に戻って検出データが入力するのを待ち受ける。画像データが入力した場合（Ｓ４：ＹＥＳ）には、第一処理部１１は、画像データに時刻情報を付加し（Ｓ５）、その画像データを外部記憶媒体２００に転送する（Ｓ６）。

図７は、図４のシステムの第二処理部１２の動作の一例を示すフローチャートである。第二処理部１２では、画像表示が指示されているか否かを判断する（Ｓ１１）。画像表示が指示されていない場合（Ｓ１１：ＮＯ）には、再度、ステップＳ１１に戻って画像表示の指示を待ち受ける。画像表示が指示された場合（Ｓ１１：ＹＥＳ）には、第二処理部１２は、外部記憶媒体２００から複数の画像データを順次読み出し（Ｓ１２）、画像表示の指示に含まれている一緒に表示するデータの種別を判別する。次いで第二処理部１２は、画像データ時刻判別部８０により、その画像データの時刻を判別し（Ｓ１３）、画像データ選択部８１により、時刻順に画像データを選択して表示用画像データ合成部８２に送出すると共に、選択されたその画像データと一緒に表示する検出データの種別に基づき、当該検出データ毎に装置の仕様等で予め定められているサンプリング間隔と画像データの入力間隔の関係から、選択されたその画像データと一緒に表示するのに最適な検出データを複数の当該検出データから選択するための選択対象期間を検出する（Ｓ１４）。予め定められているサンプリング間隔と画像データの入力間隔の関係とは、例えば、図５（ｂ）に示したような画像データＶ１〜Ｖ１４の予め定められている入力間隔（画像信号周期Ｂ１〜Ｂ１２）と、加速度データ値の予め定められているサンプリングのタイミング（Ｐ１〜Ｐ２６）の間隔との関係である。

それと共に第二処理部１２は、外部記憶媒体２００から選択対象期間内の検出データを読み出し（Ｓ１５）、検出データ種別判別部８５により、読み出された各種の検出データの種別が画像データと一緒に表示する目的の種別と一致するか否かを、例えば、検出データのヘッダーに含まれるデータの分類情報等から判断する（Ｓ１６）。検出データの種別が目的とする種別と一致しない場合（Ｓ１６：ＮＯ）には、第二処理部１２は再度ステップＳ１５に戻って、外部記憶媒体２００から選択対象期間内の検出データを読み出す。

検出データの種別が目的とする種別と一致する場合（Ｓ１６：ＹＥＳ）には、第二処理部１２は、検出データ時刻判別部８６により検出データの時刻を判別し（Ｓ１７）、検出データ選択部８７で表示用画像データに対応する選択対象期間内の検出データを選択する（Ｓ１８）。より具体的には、例えば、図５（ｂ）に示した画像出力タイミングＶ６の画像データを加速度データ値と表示させる場合、第二処理部１２は、画像出力タイミングＶ６の前の画像出力タイミングＶ５との入力間隔（画像信号周期Ｂ５）における、加速度データ値の予め定められているサンプリングのタイミング（Ｐ９〜Ｐ１１）における各加速度データ値から、上記したように絶対値の最大値（ピーク値：Ｎ２）を得る。次に第二処理部１２は、表示用画像データと得られた検出データとを合成して（Ｓ１９）、外部記憶媒体２００に合成した表示用画像データを転送する（Ｓ２０）

また、上記の撮像画像フレームの第１周期に対して加速度の検出データの第２周期の期間が短い場合を基本として、例えば、不図示の音声入力手段から、やはり第１周期に対して期間が短い第３周期で音声データ（検出データ）入力（検出）させ、その第３周期で入力した音声データの変化を加味して、「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択」してもよい。

より具体的には、第二処理部１２は、その時の表示用画像フレームに対応させて、第３周期として４４．１ｋＨｚでサンプリングした音声の中から検出データ値を選択するようにしてもよい。この場合も複数の検出データの中から、表示用画像フレームの画像と同時に出力させることに選択対象期間内で最適となる検出データを選択して出力させる。

また、例えば、加速度と音声を検出して衝突事故を解析する場合、第二処理部１２は、入力する画像フレームと一つ前に入力した画像フレームの間（選択対象期間）における、複数の第２周期の加速度データ値とその時刻と、複数の第３周期の音声データ値とその時刻を検出し、まずその音声データの中から、衝突音に相当する音声の音量がピークの値とその時刻を最適の音声データとして選択（検出）してもよい。次に第二処理部１２は、音量がピークとなる時点の時刻から、加速度データ値の方で時間軸を遡って衝突音の発生した時刻の加速度データ値を、衝突時の加速度に相当する加速度データ値として決定する。そして第二処理部１２で、決定した衝突音の発生時刻の音声データと加速度の衝撃発生時刻の加速度データ値とを、各々入力する画像フレームに対応させて出力することで合わせこむ。

また、第一処理部１１の処理能力に余裕がある場合には、第一処理部１１に上記した第二処理部１２の一部の機能、例えば、検出データ種別判別部８５、検出データ時刻判別部８６及び検出データ選択部８７までの機能（図７におけるステップＳ１６、Ｓ１７及びＳ１８の動作をする部分）を持たせ、外部記憶媒体２００に記憶させる容量を減らすようにしてもよい。また、第一処理部１１及び第二処理部１２については、ＣＰＵ等を用いてプログラムにより全ての処理を実施させてもよいし、情報量の多い画像データについては専用の画像処理用演算素子（グラフィックコントローラ）を追加してもよい。

このように本実施形態では、撮像画像と入力データを組み合わせて同時に表示する場合に、表示用画像フレームに音声データと加速度データとを、違和感が少なくなるように同期（マッチング）させて出力させることができ、また、映像と音声と加速度データが合わせ込まれることで、衝突した際の音声信号や異常音などを解析する際に、違和感を減らして解析を迅速に且つ容易にすることができる。また、データが選択されて絞り込まれることで、画像を表示する場合の検出データの処理数を減らすことができ、画像表示時の処理負荷、使用メモリー量等も削減することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

なお、本実施形態はドライブレコーダ２と情報処理装置５００の場合を示したが、本発明はそれに限らず、監視対象の設備に対して、カメラの画像データと、圧力、振動、温度、流量、電圧、抵抗値等の物理量の計測データとを取得して、当該各データをネットワークを介して遠隔地のモニタに送信して表示させることで遠隔監視するシステム等に用いてもよい。そのような遠隔監視システムにおいても、撮像画像と共に物理量の計測データを表示させる場合、当該撮像画像の１フレームのデータが入力するタイミングの直前又は直後の最も近いタイミングの計測データが当該撮像画像と組み合わせて表示していたため、本発明を適用することで、撮像画像と入力データを組み合わせて同時に表示する場合に、使用者にとって撮像画像と入力データとの違和感が少なくなるように、入力データをマッチングさせて表示させることができる。

１ 移動体、
２ ドライブレコーダ、
４０ 撮像部、
４１ 加速度検出部、
４２ ＧＰＳ受信部、
５０〜５２ タイミング生成部、
６３ 画像出力部、
６５ 外部記憶接続部、
６９ 計時部、
７０ 時刻情報付加部、
８０ 画像データ時刻判別部、
８１ 画像データ選択部、
８２ 表示用画像データ合成部、
８５ 検出データ種別判別部、
８６ 検出データ時刻判別部、
８７ 検出データ選択部、
２００ 外部記憶媒体、
２５０ 着脱自在記憶媒体、
５００ 情報処理装置、
５１０ 外部記憶接続装置、
５２０ 表示装置、
６００ 加速度のアナログ出力値、
８００ ネットワーク。

Claims (11)

1. 移動体に設置されて撮像した１フレーム毎の画像データを第１周期で出力する撮像手段と、
   当該移動体に関する少なくとも１種類の変動要素について、第１周期とは非同期である第２周期で検出データを出力する検出手段と、
   前記撮像手段によって撮像された画像データに基づく表示用画像フレームと、その表示用画像フレームに対応する前記検出データに基づいて生成した表示用情報とを同時に視認可能に表示手段に表示させる処理を行う処理手段とを備え、
   前記処理手段は、前記表示用画像フレームの直前の選択対象期間中に検出された複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データを選択し、選択した検出データ値に基づいて前記表示用情報を生成する構成であり、前記選択対象期間は、前記検出手段で検出する事象の種類に応じて、前記第２周期の期間よりも長く設定すること
   を特徴とするシステム。
2. 前記検出手段は、前記変動要素として前記移動体に加わる加速度を検出すること
   を特徴とする請求項１に記載のシステム。
3. 前記処理手段は、前記「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択し、選択した検出データ値に基づいて前記表示用情報を生成する構成」として、前記選択対象期間内の前記複数の検出データの「最大のデータ値、最小のデータ値、絶対値で最大のデータ値、最大データ値と最小データ値の差が最大振幅であるデータ値、２乗平均値に対して差が最大であるデータ値」の少なくとも何れか１つに基づいて前記表示用情報を生成する構成とすること
   を特徴とする請求項１または２に記載のシステム。
4. 前記検出手段は、当該移動体に関する少なくとも１種類の変動要素について、前記第１周期及び前記第２周期とは非同期である第３周期で検出データを出力し、
   前記処理手段は、前記第３周期で検出した検出データを加味して、前記「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択」すること
   を特徴とする請求項１〜３のいずれかに記載のシステム。
5. 移動体に設置され周囲の音を音声データとして入力する音声入力手段を備え、
   前記処理手段は、前記表示用画像フレームに同期させて前記音声入力手段から入力した前記音声データの変化を加味して、前記「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択」すること
   を特徴とする請求項１〜４のいずれかに記載のシステム。
6. 前記処理手段は、前記表示用画像フレームの性質を加味して、前記「複数の検出データの中からその表示用画像フレームに対応する表示用情報を生成するために用いる検出データ値を選択」すること
   を特徴とする請求項１〜５のいずれかに記載のシステム。
7. 前記検出手段は、移動体に対する他の物体の衝突、移動体の急発進と急制動、移動体の内燃機関の点火異常の少なくともいずれか一つの事象を検出する
   請求項１〜６のいずれかに記載のシステム。
8. 前記処理手段は、前記画像データと前記検出データとに基づく記憶用データを記憶手段に記憶する処理を行う第一処理手段と、前記記憶用データに基づき前記表示用画像フレームと前記表示用情報とを生成する第二処理手段とからなり、
   前記第一処理手段は、前記撮像手段および前記検出手段とともに車両内に配置され、
   前記第二処理手段は、前記第一処理手段とは別体として構成されること
   を特徴とする請求項１〜７のいずれかに記載のシステム。
9. 前記処理手段は、前記画像データに基づく記憶用映像データと、前記選択した検出データ値とを記憶手段に記憶する処理を行う第一処理手段と、
   前記記憶用映像データと前記選択した検出データ値とに基づき前記表示用画像フレームと前記表示用情報とを生成する第二処理手段とからなり、
   前記第一処理手段は、前記撮像手段および前記検出手段とともに車両内に配置され、
   前記第二処理手段は、前記第一処理手段とは別体として構成されること
   を特徴とする請求項１〜７のいずれかに記載のシステム。
10. 請求項８または９のシステムにおける第二処理手段としての機能をコンピューターに実現させるためのプログラム。
11. 請求項９に記載のシステムにおける前記撮像手段と前記検出手段と前記第一処理手段とを備えるドライブレコーダ。

Images