JP2007267146A

JP2007267146A - データ記録システム及びデータ再生システム

Info

Publication number: JP2007267146A
Application number: JP2006090798A
Authority: JP
Inventors: Takeshi Fujimura; 武志藤村; Nobuhiro Hayashida; 宣浩林田
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2006-03-29
Filing date: 2006-03-29
Publication date: 2007-10-11
Anticipated expiration: 2026-03-29
Also published as: JP4650741B2

Abstract

【課題】動画データ及び時系列データの同期管理を簡素化可能な情報処理技術を提供する。
【解決手段】データ入力部１０Ａは、センサ２から供給された時系列データをカウンタ情報生成部１０Ｂ及びデータ記憶制御部１０Ｃに供給する。カウンタ情報生成部１０Ｂは、時系列データに対するカウンタデータを生成し、これをデータ記憶制御部１０Ｃ及びカウンタ情報変換部１１Ｂに供給する。データ記憶制御部１０Ｃは、時系列データとカウンタデータとを対応付けて記憶装置４に記憶させる。動画データ入力部１１Ａは、カメラ３が撮像した動画データのフレーム毎の画像データを同期用動画データ生成部１１Ｃに供給する。カウンタ情報変換部１１Ｂは、カウンタデータを同期用画素データに変換しこれを同期用動画データ生成部１１Ｃに供給する。同期用動画データ生成部１１Ｃは、画像データと同期用画素データとを対応付けて同期用画像データとして記憶媒体５に記憶させる。
【選択図】図１

Description

本発明は、センサが時系列で検出した検出データと、動画データとを同期させて記録する技術に関する。

従来より、センサが時系列に検出した検出データと、センサが検出データを検出している間にビデオカメラなどの撮像手段が撮像した動画データとを記録し、記録された検出データ及び動画データを用いて、様々な解析を行う技術がある。この解析を行うために、検出データと動画データとの同期を図る必要がある。例えば、特許文献１に示される技術においては、以下のようにして動画データと検出データとの同期を図っている。動画データの記録の際に使用されるタイムコードを、センサ信号（検出データ）の記録の際に共に記録させている。そして、動画データの再生の際に、動画データと検出データとのタイムコードを一致させて各々出力する。

特開２００３−３２６２７号公報

このタイムコードは、ビデオカメラなどが動画データを撮像する際に生成する既定のデータである。このようなタイムコードは、例えば、ビデオカメラの機種等の違いにより、規格が異なる場合がある。従って、このようなタイムコードを用いた場合、例えば、異なる日時や異なる機種のビデオカメラによって撮影された複数の動画データを一元的に管理することが難しく、動画データと検出データとの同期付けを管理することが煩雑になる恐れがある。

そこで、本発明は、上記実情に鑑みてなされたものであって、動画データ及び検出データの同期管理を簡素化することを可能にする情報処理技術を提供することを目的とする。

本発明は、時間的変化に応じて検出される時系列データを出力するデータ検出手段と、複数の画素データを含む画像データが時系列に配列された動画データを生成する撮像手段と、第１記憶手段と、第２記憶手段と、カウンタ情報を生成するカウンタ情報生成手段と、前記データ検出手段が出力した時系列データと、前記カウンタ情報生成手段が生成したカウンタ情報とを対応付けて前記第１記憶手段に記憶させるデータ記憶制御手段と、カウンタ情報生成手段が生成したカウンタ情報を同期用画素データに変換して出力するカウンタ情報変換手段と、前記カウンタ情報変換手段が出力した同期用画素データを、前記撮像手段が生成した動画データのうち前記カウンタ情報に対応する画像データの所定の画素データ領域に書き込むことにより、同期用動画データを生成する同期用動画データ生成手段と、同期用動画データ生成手段が生成した同期用動画データを前記第２記憶手段に記憶させる動画データ記憶制御手段とを備えることを特徴とするデータ記録システムを提供する。

また、本発明は、時系列データとカウンタ情報とが対応付けられて記憶されている第１記憶手段と、カウンタ情報に対応する同期用画素データが所定の画素データ領域に書き込まれた画像データを含む画像データが時系列に配列された同期用動画データが記憶されている第２記憶手段と、表示手段と、前記第１記憶手段にカウンタ情報と対応付けられて記憶されている時系列データを読み出すデータ読出手段と、前記第２記憶手段に記憶されている同期用動画データを読み出す画像データ読出手段と、前記画像データ読出手段が読み出した同期用動画データに含まれる画像データから同期用画素データを抽出し、これをカウンタ情報に変換して出力する同期用画素データ抽出手段と、前記画素データ読出手段が読み出した画像データと、この画像データに含まれる同期用画素データに対応して前記同期用画素データ抽出手段によって抽出された時系列データとを、同期させて表示手段へ出力するデータ出力手段とを備えることを特徴とするデータ再生システムを提供する。

本発明によれば、動画データ及び時系列データの同期管理を簡素化することができる情報処理技術を提供できる。

以下、図面を参照して本発明の実施例について説明する。なお、各図において共通する部分には、同一の符号が付されている。また、かかる実施例は本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲で任意に変更可能である。

（１）構成
＜データ記録システムＳＹＭ１の構成＞
本実施例に係るデータ記録システムＳＹＭ１について説明する。図１は、本実施例に係るデータ記録システムＳＹＭ１の構成を例示するブロック図である。

データ記録システムＳＹＭ１は、記録用情報処理装置１とセンサ２とカメラ３とから構成される。センサ２は、例えば、車両前方に搭載され、図２に示されるように、車両前方にある対象物Ｔとの距離Ｌ、角度θ、相対速度υを所定の検出時間毎に検出し、これらをデータ（以下、時系列データという）として記録用情報処理装置１に供給する。カメラ３は、例えば、車両前方に搭載され、撮像した動画データを記録用情報処理装置１に供給する。尚、動画データとは、フレーム単位で複数の画像データが時系列に配列されたデータである。ここで、このフレーム毎の画像データが記録用情報処理装置１に時系列に供給される。

記録用情報処理装置１は、データ記憶処理部１０と、画像記憶処理部１１とから構成される。データ記憶処理部１０は、データ入力部１０Ａと、カウンタ情報生成部１０Ｂと、データ記憶制御部１０Ｃとから構成される。画像記憶処理部１１は、動画データ入力部１１Ａと、カウンタ情報変換部１１Ｂと、同期用動画データ生成部１１Ｃと、動画データ記憶制御部１１Ｄとから構成される。

データ入力部１０Ａには、時系列データがセンサ２から供給される。データ入力部１０Ａは、当該時系列データをカウンタ情報生成部１０Ｂ及びデータ記憶制御部１０Ｃに供給する。カウンタ情報生成部１０Ｂは、データ入力部１０Ａから供給された時系列データに対し、カウンタデータを生成し、これをデータ記憶制御部１０Ｃ及びカウンタ情報変換部１１Ｂに供給する。データ記憶制御部１０Ｃは、データ入力部１０Ａから供給された時系列データと、カウンタ情報生成部１０Ｂから供給されたカウンタデータとを対応付けて記憶装置４に記憶させる。記憶装置４は、ハードディスクやシリコンディスクなどの記憶装置である。

動画データ入力部１１Ａには、カメラ３が撮像した動画データがフレーム単位で入力される。動画データ入力部１１Ａは、入力されたフレーム毎の画像データを同期用動画データ生成部１１Ｃに供給する。カウンタ情報変換部１１Ｂには、カウンタ情報生成部１０Ｂからカウンタデータが供給される。カウンタ情報変換部１１Ｂは、供給されたカウンタデータを、バーコードを表す同期用画素データに変換しこれを同期用動画データ生成部１１Ｃに供給する。同期用動画データ生成部１１Ｃは、動画データ入力部１１Ａから供給された画像データと、カウンタ情報変換部１１Ｂから供給された同期用画素データとを対応付けて同期用画像データとして記憶媒体５に記憶させる。記憶媒体５は、ＤＶＤ（Digital Versatile Disc）などの記憶媒体である。

＜データ再生システムＳＹＭ２の構成＞
次に、本実施例に係るデータ再生システムＳＹＭ２について説明する。図３は、本実施例に係るデータ再生システムＳＹＭ２の構成を例示するブロック図である。

データ再生システムＳＹＭ２は、記憶装置４と、記憶媒体５と、再生用情報処理装置６とから構成される。記憶装置４には、上述したように、時系列データがカウンタデータと対応付けられて記憶されている。記憶媒体５には、上述したように、同期用画素データを各々含む同期用画像データが記憶されている。再生用情報処理装置６は、データ再生処理部６０と、画像再生処理部６１とから構成される。データ再生処理部６０は、データ読出部６０Ａと、同期データ抽出部６０Ｂとから構成される。画像再生処理部６１は、動画データ読出部６１Ａと、画素データ変換部６１Ｂと、動画データ合成出力部６１Ｃとから構成される。

データ読出部６０Ａは、カウンタデータと対応付けられて記憶装置４に記憶されている時系列データを読み出し、これを同期データ抽出部６０Ｂに供給する。同期データ抽出部６０Ｂには、データ読出部６０Ａから時系列データが供給されると共に、画素データ変換部６１Ｂからカウンタデータが供給される。同期データ抽出部６０Ｂは、データ読出部６０Ａから供給される時系列データのうち、画素データ変換部６１Ｂから供給されたカウンタデータと一致するカウンタデータが対応付けられている時系列データを抽出し、これを動画データ合成出力部６１Ｃに供給する。

動画データ読出部６１Ａは、記憶媒体５に記憶されている同期用画像データを読み出し、これを画素データ変換部６１Ｂ及び動画データ合成出力部６１Ｃに供給する。画素データ変換部６１Ｂは、動画データ読出部６１Ａから供給された同期用画像データに含まれる同期用画素データを抽出し、これをカウンタデータに変換して同期データ抽出部６０Ｂに供給する。動画データ合成出力部６１Ｃは、動画データ読出部６１Ａから供給された同期用画像データと、同期データ抽出部６０Ｂから供給された時系列データとを同期させて表示装置７へ出力する。表示装置７は、ＣＲＴ（Cathode Ray Tube）ディスプレイや、液晶ディスプレイなどのモニタ装置である。
（２）動作
＜記録用情報処理装置１の動作＞
次に、本実施例に係る動作について説明する。まず、記録用情報処理装置１の動作について図４を参照しながら説明する。図４は、本実施例に係る記録用情報処理装置１の動作の流れを示すフローチャートである。

記録用情報処理装置１は、センサ２から時系列データが供給されると（ステップＳ１）、当該時系列データに対し、カウンタデータを生成する（ステップＳ３）。ここで生成するカウンタデータとは、例えば時系列データが供給された日時やその回数を表すもの等、任意の方法によって生成されるものである。

また、一方、記録用情報処理装置１は、カメラ３が撮像している動画につき、１フレームの画像データが入力されると（ステップＳ２）、当該画像データに対し、当該画像データが入力された時点でステップＳ３において生成されたカウンタデータを対応付け、当該カウンタデータを、バーコードを表す同期用画素データに変換する（ステップＳ４）。次いで、ステップＳ６では、記録用情報処理装置１は、ステップＳ２で入力された画像データにおける所定の画素データ領域に、ステップＳ４でカウンタデータから変換された当該同期用画素データを書き込み、これを同期用画像データとして記憶媒体５に記憶させる。尚、所定の画素データ領域とは、例えば、画像データに含まれる画素データに予め対応付けられている画素座標のうち所定の範囲の画素座標によって定まる画素データの領域のことである。

また、ステップＳ５では、記録用情報処理装置１は、ステップＳ１で読み出した時系列データと、ステップＳ３で生成したカウンタデータとを対応付けて記憶装置４に記憶させる。例えば、図５に示されるように、時系列データ（Ｌ_１，θ_１，υ_１）に対し、カウンタデータ「１０００００１」が生成され、これらが対応付けられて記憶される。

＜再生用情報処理装置６の動作＞
次に、再生用情報処理装置６の動作について図６を参照しながら説明する。図６は、本実施例に係る再生用情報処理装置６の動作の流れを示すフローチャートである。

再生用情報処理装置６は、カウンタデータと対応付けられて記憶されている時系列データを記憶装置４から読み出す（ステップＳ１０）。また、ステップＳ１１では、再生用情報処理装置６は、記憶媒体５に記憶されている同期用画像データを読み出すと共に、当該同期用画像データの所定の画素データ領域に書き込まれた同期用画素データを読み取る。ここでは、同期用画素データはバーコードを表すものである。続いて、ステップＳ１２では、再生用情報処理装置６は、このバーコードを表す同期用画素データを２値化して、これをカウンタデータに変換する。次いで、ステップＳ１３で、再生用情報処理装置６は、ステップＳ１０で読み出した時系列データのうち、ステップＳ１２で変換したカウンタデータと一致するカウンタデータが対応付けられている時系列データを抽出する。その後ステップＳ１４で、再生用情報処理装置６は、ステップＳ１３で抽出した時系列データと、ステップＳ１１で読み出した同期用画像データとを合成して表示装置７へ出力する。表示装置７には、例えば図７に示されるような画像が表示される。当該画像においては、領域ＡＲ１に同期用画像データが表され、領域ＡＲ２に時系列データが表される。また、領域ＡＲ１に表される画像データのうち領域ＡＲ１０には、同期用画素データとして書き込まれているバーコードが表される。再生用情報処理装置６は、このようなステップＳ１０〜Ｓ１４の処理をフレーム単位で行う。そして、このようなフレーム毎の画像データが時系列に連続して表示装置７へ出力されることにより、表示装置７において、動画データが時系列データと同期されて再生される。

以上のようにして、記録用情報処理装置１がカウンタデータを生成しこれを用いて時系列データと動画データとの同期管理を行うことにより、撮像手段の如何に関わらず撮像された動画データを一元的に管理することが可能になる。この結果、動画データと時系列データとの同期管理を簡素化することができる。また、このような同期管理により、再生用情報処理装置６において、様々な日時や様々なカメラで撮像された動画データであっても時系列データと同期させて再生することができる。

尚、同期用画素データとして用いたバーコードは、白黒画像により表されるものであっても良いし、カラー画像によって表されるものであっても良いし、また、１次元的に表されるものであっても良いし、２次元的に表されるものであっても良い。また、同期用画素データとしてバーコードを表すもの以外を用いても良い。

また、カメラ３からフレーム単位で供給される動画データについて、フレーム毎の画像データ全てに上述の同期用画素データを書き込むようにしても良いし、一部の画像データに対してのみ同期用画素データを書き込むようにしても良い。例えば、所定の時間毎又は所定の数毎に供給される画像データに対してのみ同期用画素データを書き込むようにしても良い。この場合、上述のステップＳ１２では、ステップＳ１１で読み出した画像データから同期用画素データを読み取ることができた場合にのみ、ステップＳ１３の処理を行い、読み取ることができない場合には、画像データのみを表示装置７に表示させるようにしても良い。

また、センサ２は、上述のものに限らず、複数の対象物に対して上述の各値を検出するものであっても良いし、また、例えば、センサ２が搭載されている車両自体の車速やエンジンの回転速度を検出するものであっても良く、様々な値を検出するものであって良い。また、データ記録システムＳＹＭ１においてセンサを複数設け、複数のセンサから供給される各時系列データを上述のようにして動画データと同期付けるようにしても良い。

また、上述の実施例におけるステップＳ１４においては、時系列データと動画データとを合成して表示装置７に表示させるように構成した。しかし、本発明においてはこれに限らず、例えば、データ再生システムＳＹＭ２に表示装置を２つ設け、上述のステップＳ１４において、時系列データと動画データとの表示タイミングを同期させながら、時系列データを一方の表示装置に表示させると共に、動画データを他方の表示装置に表示させるように構成しても良い。

また、上述の実施例においては、時系列データを記憶装置４に記憶させ、同期用画像データを記憶媒体５に記憶させるようにした。しかし、これらのデータを記憶させる記憶手段の種類はこれに限らない。また、これらのデータを１つの記憶手段に記憶させるようにしても良い。この場合、例えば、記憶手段に、上述の時系列データを記憶させる第１領域と、上述の同期用画像データを記憶させる第２領域とを設定すれば良い。

また、上述の実施例においては、記録用情報処理装置１は、カウンタデータを同期用画素データに変換し、これを画像データに書き込むように構成した。しかし、画像データに同期させる時系列データ自体の一部又は全部を同期用画素データに変換し、これを画像データに書き込むように構成しても良い。一方、再生用情報処理装置６は、画像データの再生時に、当該画像データに書き込まれた同期用画素データを読み取り、これを時系列データに変換して、当該時系列データを当該画像データと共に出力すれば良い。

上述の各実施の形態の説明は本発明の一例である。このため、本発明は上述の各実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、上述の実施の形態以外であっても種々の変更が可能であることは勿論である。

本発明は、センサが時系列で検出した検出データと、動画データとを同期させて記録する情報処理技術に用いて好適である。

本発明の一実施例に係るデータ記録システムの一例を示すブロック図である。同実施例に係るセンサが検出するデータを説明するための図である。同実施例に係るデータ再生システムの一例を示すブロック図である。同実施例に係る記録用情報処理装置１の動作の流れを示すフローチャートである。同実施例に係る記憶装置４に記憶される時系列データ及びカウンタデータを例示する図である。同実施例に係る再生用情報処理装置６の動作の流れを示すフローチャートである。同実施例に係る表示装置７に表示される画像を例示する図である。

符号の説明

１・・・記録用情報処理装置、２・・・センサ、３・・・カメラ、４・・・記憶装置、５・・・記憶媒体、６・・・再生用情報処理装置、７・・・表示装置、１０・・・データ記憶処理部、１０Ａ・・・データ入力部、１０Ｂ・・・カウンタ情報生成部、１０Ｃ・・・データ記憶制御部、１１・・・画像記憶処理部、１１Ａ・・・動画データ入力部、１１Ｂ・・・カウンタ情報変換部、１１Ｃ・・・同期用動画データ生成部、１１Ｄ・・・動画データ記憶制御部、６０・・・データ再生処理部、６０Ａ・・・データ読出部、６０Ｂ・・・同期データ抽出部、６１・・・画像再生処理部、６１Ａ・・・動画データ読出部、６１Ｂ・・・画素データ変換部、６１Ｃ・・・動画データ合成出力部６１Ｃ、ＳＹＭ１・・・データ記録システム、ＳＹＭ２・・・データ再生システム

Claims

時間的変化に応じて検出される時系列データを出力するデータ検出手段と、
複数の画素データを含む画像データが時系列に配列された動画データを生成する撮像手段と、
第１記憶手段と、
第２記憶手段と、
カウンタ情報を生成するカウンタ情報生成手段と、
前記データ検出手段が出力した時系列データと、前記カウンタ情報生成手段が生成したカウンタ情報とを対応付けて前記第１記憶手段に記憶させるデータ記憶制御手段と、
カウンタ情報生成手段が生成したカウンタ情報を同期用画素データに変換して出力するカウンタ情報変換手段と、
前記カウンタ情報変換手段が出力した同期用画素データを、前記撮像手段が生成した動画データのうち前記カウンタ情報に対応する画像データの所定の画素データ領域に書き込むことにより、同期用動画データを生成する同期用動画データ生成手段と、
同期用動画データ生成手段が生成した同期用動画データを前記第２記憶手段に記憶させる動画データ記憶制御手段とを備える
ことを特徴とするデータ記録システム。
時系列データとカウンタ情報とが対応付けられて記憶されている第１記憶手段と、
カウンタ情報に対応する同期用画素データが所定の画素データ領域に書き込まれた画像データを含む画像データが時系列に配列された同期用動画データが記憶されている第２記憶手段と、
表示手段と、
前記第１記憶手段にカウンタ情報と対応付けられて記憶されている時系列データを読み出すデータ読出手段と、
前記第２記憶手段に記憶されている同期用動画データを読み出す画像データ読出手段と、
前記画像データ読出手段が読み出した同期用動画データに含まれる画像データから同期用画素データを抽出し、これをカウンタ情報に変換して出力する同期用画素データ抽出手段と、
前記画素データ読出手段が読み出した画像データと、この画像データに含まれる同期用画素データに対応して前記同期用画素データ抽出手段によって抽出された時系列データとを、同期させて表示手段へ出力するデータ出力手段とを備える
ことを特徴とするデータ再生システム。