JP2019008528A - Image recording device and image recording method - Google Patents
Image recording device and image recording method Download PDFInfo
- Publication number
- JP2019008528A JP2019008528A JP2017123309A JP2017123309A JP2019008528A JP 2019008528 A JP2019008528 A JP 2019008528A JP 2017123309 A JP2017123309 A JP 2017123309A JP 2017123309 A JP2017123309 A JP 2017123309A JP 2019008528 A JP2019008528 A JP 2019008528A
- Authority
- JP
- Japan
- Prior art keywords
- thumbnail
- route
- image
- vehicle
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
Description
本発明は、画像記録装置及び画像記録方法に関する。 The present invention relates to an image recording apparatus and an image recording method.
従来、車両の走行中に当該車両周辺の画像を撮影して記録する記録装置、所謂ドライブレコーダが広く利用されている。ドライブレコーダは、カメラで撮影した動画像を不揮発性の内部記録媒体に記録することで、走行中に発生した事故等の検証を可能としている。 2. Description of the Related Art Conventionally, a recording apparatus that captures and records an image around a vehicle while the vehicle is traveling, so-called a drive recorder, has been widely used. The drive recorder records a moving image taken by a camera on a nonvolatile internal recording medium, thereby enabling verification of an accident or the like that occurs during traveling.
動画像を内部記録媒体へ記録する方式としては、自車両において事故が発生したときに記録を実行するイベント記録方式と常時記録を実行する常時記録方式とが知られている。前者は、衝突や急ブレーキなど自車両に衝撃が加わったことを加速度センサが感知して事故が発生したと判定されると、当該感知の前後数十秒における画像や走行情報のデータを記録する。後者は、所定のサイクルでRAMからデータを読み出して内部記録媒体に記録する。何れの方式においても、記録が繰り返されると、内部記録媒体内に多数の動画が記録されることになるため、ユーザが当該動画像を利用する場合には、各動画像のサムネール画像を一覧表示させ、このサムネール画像を見てユーザが利用する動画を選択できるようにしている。 As a method for recording a moving image on an internal recording medium, an event recording method for performing recording when an accident occurs in the host vehicle and a constant recording method for performing constant recording are known. In the former, when the acceleration sensor senses that an impact has been applied to the vehicle such as a collision or sudden braking, and it is determined that an accident has occurred, it records images and driving information data for several tens of seconds before and after the sensing. . The latter reads data from the RAM at a predetermined cycle and records it on the internal recording medium. In any method, when recording is repeated, a large number of moving images are recorded in the internal recording medium. Therefore, when the user uses the moving images, thumbnail images of the moving images are displayed as a list. The user can select a moving image to be used by viewing the thumbnail image.
上記に関連して、特許文献1には、撮影した画像データを関連づけてサーバのデータベースに登録しておき、端末が、画像データとサムネールと位置データと地図データをサーバからダウンロードし、該位置データと地図データをもとに電子地図上に画像の撮影位置を示すマーカ情報を表示するとともに、前記マーカ情報と対の画像のサムネールを表示する画像データ登録・再生方法が開示されている。
In relation to the above, in
上述した画像データ登録・再生方法の場合、利用したい画像データを選択するために表示させるサムネールは、撮影した画像データを縮小したものである。しかし、ドライブレコーダの場合、撮影装置のアングルやポジションが固定されているため、撮影される画像は、常にほぼ同様の構図となる。このため画像データを縮小したサムネールを一覧表示した場合、どれも同じように見えてしまい選択の参考にならないという問題があった。 In the case of the above-described image data registration / reproduction method, the thumbnail displayed to select image data to be used is obtained by reducing captured image data. However, in the case of a drive recorder, since the angle and position of the photographing apparatus are fixed, the photographed image always has almost the same composition. For this reason, when thumbnails with reduced image data are displayed in a list, they all look the same and cannot be used as a reference for selection.
また、特許文献1では、画像データを撮影した位置を示す位置情報を表示するため、画像データのサムネールとは別に、位置情報を表示する領域を確保しており、簡潔な表示ができないという問題がある。
Further, in
本発明は、このような課題を解決するためになされたものであり、その目的は、車両の走行中に撮像した複数の動画像のサムネール画像を一覧表示する際、当該動画像に撮像されている内容をそのサムネール画像によって簡潔に示すことができ、ユーザが当該動画像を閲覧する際の利便性を向上させる技術の提供である。 The present invention has been made to solve such a problem, and its purpose is to capture a list of thumbnail images of a plurality of moving images taken while the vehicle is running, and to capture the images. It is possible to provide a technique for improving the convenience when the user browses the moving image, and the contents can be simply indicated by the thumbnail image.
上記課題を解決するため、本発明は、以下の手段を採用した。即ち、本発明の撮像装置は、
車両に搭載された撮像装置から、当該車両の周囲を撮像した動画像を取得して記憶装置に記憶させる記憶制御部と、
前記車両が走行した経路を取得する経路取得部と、
前記動画像を撮像中に前記車両が走行した経路を示すサムネール画像を生成するサムネール生成部と、
前記サムネール画像を前記動画像と対応付けて、この対応関係を示す情報をデータベースに記憶させるサムネール管理部と、
前記動画像と対応する前記サムネール画像を一覧表示させる表示制御部と、
を備える。
In order to solve the above problems, the present invention employs the following means. That is, the imaging apparatus of the present invention
A storage control unit that acquires a moving image obtained by imaging the periphery of the vehicle from an imaging device mounted on the vehicle and stores the moving image in a storage device;
A route acquisition unit that acquires a route traveled by the vehicle;
A thumbnail generation unit that generates a thumbnail image indicating a route traveled by the vehicle during imaging of the moving image;
A thumbnail management unit that associates the thumbnail image with the moving image and stores information indicating the correspondence relationship in a database;
A display control unit for displaying a list of the thumbnail images corresponding to the moving images;
Is provided.
本発明によれば、車両の走行中に撮像した複数の動画像のサムネール画像を一覧表示する際、当該動画像に撮像されている内容をそのサムネール画像によって簡潔に示すことができ、ユーザが当該動画像を閲覧する際の利便性を向上させることができる。 According to the present invention, when displaying a list of thumbnail images of a plurality of moving images captured while the vehicle is traveling, the contents captured in the moving images can be simply indicated by the thumbnail images, and the user can Convenience when browsing a moving image can be improved.
以下、本発明の好適な実施の形態について、図面を参照して説明する。但し、以下で説明する実施形態は本発明を実施するための例示であり、本発明は以下に説明する態様に限定されない。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings. However, the embodiment described below is an example for carrying out the present invention, and the present invention is not limited to the mode described below.
<第1実施形態>
図1は、ドライブレコーダシステム1の概要を示す図である。図1では、ドライブレコ
ーダシステム1が搭載された車両が走行しているときの車内の様子を示している。本実施形態のドライブレコーダシステム1は、フロントガラス等に設置された撮像装置300が撮像した画像を、ダッシュボードに設置されたドライブレコーダ100によって記録する。
<First Embodiment>
FIG. 1 is a diagram showing an outline of the
図2は、ドライブレコーダシステム1の全体構成を示すブロック図である。本実施形態に係るドライブレコーダシステム1は、目的地までのルートを案内するいわゆるカーナビゲーションとしても機能するドライブレコーダ100と、撮像装置300と、データストレージ200と、操作部500と、表示装置400と、音声出力部と、GPS600と、センサデバイス700と、クロックデバイス800と、CD/DVDドライブ900と、それらに電力を供給する装置電源とを備えている。以下、ドライブレコーダシステム1の主要な構成について詳しく説明する。
FIG. 2 is a block diagram showing the overall configuration of the
[撮像装置300]
撮像装置300は、車両周辺を撮像することで車両周辺の電子画像を取得する。撮像装置300は、所定の周期(例えば、1/30秒周期)で車両周辺の電子画像を取得し、各画像を動画像のフレームとする映像信号をドライブレコーダ100へ入力する。撮像装置300は、例えば、二次元イメージセンサとしてCCDイメージセンサ(Charge Coupled
Device Image Sensor)やCMOSイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)を備えるカメラである。なお、撮像装置300は、車両後方を撮像するバックカメラであってもよい。また、撮像装置300は、フロントカメラとバックカメラ等の複数のカメラを含んでもよい。
[Imaging device 300]
The
This is a camera equipped with a Device Image Sensor) and a CMOS image sensor (Complementary Metal Oxide Semiconductor Image Sensor). Note that the
[表示装置400]
表示装置400は、車両の車室内におけるユーザ(主に運転者)が視認可能な位置に配置され、ドライブレコーダ100から供給される各種の視覚情報をユーザに表示する。表示装置400は、例えば、液晶ディスプレイである。表示装置400は、ドライブレコーダ100から供給される各種の音声情報をユーザに対して出力するスピーカ等の音声出力手段を含んでいても良い。
[Display device 400]
The
[操作部500]
操作部500は、ユーザによる指定や選択、情報の入力等の操作を受け付けて当該操作を示す信号をドライブレコーダ100に出力する。操作部500は、表示装置400としての液晶ディスプレイに重畳されてユーザのタッチ操作を受け付けるタッチパネルであってもよい。また、操作部500は、ステアリングやシフトレバー、インパネ、ダッシュボード等に配置されたスイッチやタッチパッドであってもよい。なお、操作部500には、ユーザの音声入力による指定操作を受け付けてドライブレコーダ100に出力するマイクが設けられていてもよい。
[Operation unit 500]
The
[CD/DVDドライブ900]
CD/DVDドライブ900は、CD(Compact Disc)やDVD(digital versatile disc)を読み込み可能なデバイスである。ドライブレコーダシステム1は、CD/DVDドライブ900で読み込んだ音声や映像を音声出力装置や表示装置400から出力する。
[CD / DVD drive 900]
The CD /
[センサデバイス700・GPS600・クロックデバイス800]
センサデバイス700は、自車両の車速を計測する車速センサと、自車両の加速度を計測する加速度センサと、自車両のヨーレート(鉛直軸回りの角速度)を計測するジャイロセンサと、を有している。これらの各種センサは、例えば、所定のサイクルで計測を行い、計測値を示すセンサ信号を遂次ドライブレコーダ100に出力する。GPS(Global Positioning System)600は、GPS衛星から受信したGPS信号に基づいて自車両の
現在位置情報を算出し、算出した現在位置情報をドライブレコーダ100に供給する。クロックデバイス800は、正確な現在時刻情報をドライブレコーダ100に供給する。クロックデバイス800はGPS信号に基づいて現在時刻情報を取得し、ドライブレコーダ100に供給してもよい。
[
The
[データストレージ200]
データストレージ200は、ドライブレコーダ100による制御に応じて、撮像装置300が取得した画像やセンサ信号に基づく自車両の走行情報といった各種のデータを記憶する。データストレージ200は、例えば、eMMC(embedded Multi-Media Card)や
SSD(Solid State Drive)等のフラッシュメモリや、HDD(Hard-disk Drive)である。データストレージ200は、本発明の記憶装置の一形態である。
[Data storage 200]
The
[ドライブレコーダ]
図2に示すように、ドライブレコーダ100は、動画像取得部109、メインメモリ110、記憶制御部108、データベース120、操作・表示制御部101、ナビ制御部102、オーディオ制御部103、経路取得部104、サムネール生成部105、サムネール管理部106、外部情報取得部107、記憶制御部108を有している。本実施形態に係るドライブレコーダ100は、常時記録方式を採用している。即ち、撮像装置300が撮像した動画像をデータストレージ200に連続して記録する。また、ドライブレコーダ100は、動画像を記録する際に、当該動画像のサムネールを作成して記録する。図3は、ドライブレコーダ100が、動画像及びサムネールを記録する際の情報の流れを示す説明図である。以下、図2,図3を参照して、ドライブレコーダ100の各構成について詳しく説明する。
[Drive recorder]
As shown in FIG. 2, the
メインメモリ110は、動画像データを一時的に保存する。撮像装置300が取得した画像データは、動画像取得部109によってメインメモリ110に一時保存される。
The
データベース120には、ドライブレコーダ100が実行する各種のプログラムが用いるデータや各種の設定情報等が格納されている。また、詳細については後述するが、データベース120には、サムネール生成部105によって生成されたサムネールに関する情報が格納される。
The
操作・表示制御部101は、操作部500が受け付けたユーザによる操作を示す情報をナビ制御部102、オーディオ制御部103、経路取得部104、サムネール生成部105、サムネール管理部106、外部情報取得部107に出力するとともに、ナビ制御部102、オーディオ制御部103、経路取得部104、サムネール生成部105、サムネール管理部106、外部情報取得部107から供給される情報を表示装置400に表示させる。例えば、操作・表示制御部101は、動画像のリストを表示させる場合に、当該動画像と対応するサムネール画像を表示装置400に一覧表示させる。
The operation /
ナビ制御部102は、カーナビゲーション機能を実行する。具体的には、ナビ制御部102は、ユーザによる操作に応じて目的地を設定し、GPS600に取得させた自車両の位置情報やデータベース120に格納されている地図情報に基づいてユーザを目的地まで案内するための案内画像を生成する。生成された案内画像は表示装置400に表示される。また、ナビ制御部102は、車両の現在位置に応じてユーザを目的地まで案内するための案内音声を音声出力装置に出力させる。なお、自車両の現在位置は、加速度センサやジャイロによって検出した自車両の進行距離や進行方向に基づいて求められてもよい。
The
オーディオ制御部103は、ユーザによる操作に応じてCD/DVDドライブ900で読み込んだ音声や映像を音声出力装置や表示装置400から出力させる。
The
経路取得部104は、車両が走行した経路を取得する。例えば、経路取得部104は、経路を示す情報として、所定間隔の時刻における車両の緯度・経度等の走行データをGPS600等から取得し、データベース120へ出力する。
The
サムネール生成部105は、動画像を撮像中に車両が走行した経路を示すサムネールを生成する。また、本実施形態のサムネール生成部105は、経路周辺の地図に前記経路を重畳してサムネールとしている。図4は、表示装置400にサムネール41〜44を表示させた例を示す図である。例えば、図4のサムネール41では、曲線401が経路を示している。当該サムネールを生成する処理の詳細については後述する。
The
サムネール管理部106は、サムネール画像を前記動画像と対応付けて、この対応関係を示す情報をデータベースに記憶させる。また、サムネール管理部106は、サムネールと対応する動画像を撮影した位置や時刻等、サムネールに関する情報をデータベースに記憶させる。
The
外部情報取得部107は、車両の走行中に、車両外部の事象を示す外部情報をVICS(登録商標)や、情報提供サーバ、ユーザ端末等の外部装置950から取得する。
The external
記憶制御部108は、撮像装置300によって撮像した動画像をメインメモリ110から取得し、所定時間毎に区切ってデータストレージ200へ記憶させる。
The
図5は、ドライブレコーダ100のハードウェア構成の一例を示す図である。ドライブレコーダ100は、図5に示すように、接続バスによって相互に接続されたCPU(Central Processing Unit)10、記憶手段20、通信手段、入出力IF40を有する。CP
U10は、ドライブレコーダ100全体の制御を行う中央処理演算装置である。CPU10はプロセッサとも呼ばれる。ただし、CPU10は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のCPU10がマルチコア構成であってもよい。
FIG. 5 is a diagram illustrating an example of a hardware configuration of the
U10 is a central processing unit that controls the
ドライブレコーダ100では、CPU10がプログラムを実行することにより、図1に示す操作・表示制御部101、ナビ制御部102、オーディオ制御部103、経路取得部104、サムネール生成部105、サムネール管理部106、外部情報取得部107、記憶制御部108の各処理部として機能する。但し、上記各処理部の少なくとも一部の処理がDSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)等によって提供されてもよい。また、上記各処理部の少なくとも一部が、FP
GA(Field-Programmable Gate Array)等の専用LSI(large scale integration)、その他のデジタル回路であってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。
In the
A dedicated LSI (large scale integration) such as a GA (Field-Programmable Gate Array) or other digital circuit may be used. Moreover, it is good also as a structure which includes an analog circuit in at least one part of each said process part.
記憶手段20は、主記憶装置と補助記憶装置とを含む。主記憶装置は、図に示すメインメモリ110として機能するほか、CPU10がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶装置は、例えば、フラッシュメモリ、RAM(Random Access Memory)やROM(Read Only Memory)を含む。補助記憶装置は、例えば、HDD(Hard-disk Drive)やSSD(Solid State Drive)、EPROM(Erasable Programmable ROM)、フラッシュメモリ、USBメモリ、メモリカードを含む
。補助記憶装置は、例えば、撮像装置300によって撮像された動画像や、データベース120が記録される。
The storage means 20 includes a main storage device and an auxiliary storage device. The main storage device functions as the
通信IF30は、無線電話回線を通じて基地局を経由して汎用のネットワークに接続可
能なインターフェースである。また、通信IF30は、無線LANのアクセスポイント(AP)と通信可能となっており、任意の通信手段を経由してネットワークへの接続が可能となっている。
The communication IF 30 is an interface that can be connected to a general-purpose network via a base station through a wireless telephone line. The communication IF 30 can communicate with a wireless LAN access point (AP), and can be connected to a network via an arbitrary communication means.
入出力IF40は、ドライブレコーダ100に接続するセンサや操作部500、通信手段、ECU等の機器との間でデータの入出力を行うインターフェースである。ドライブレコーダシステム1においては、ユーザによる選択操作が操作部500から入出力IF40を介して、ドライブレコーダ100に入力される。
The input / output IF 40 is an interface for inputting / outputting data to / from devices such as a sensor connected to the
[記録方法]
図6,図7は、本実施形態に係るドライブレコーダシステムにおける記録方法の説明図である。以下、図6,図7を参照しながら本実施形態に係るドライブレコーダシステムにおける動画像の記録方法について説明する。
[Recording method]
6 and 7 are explanatory diagrams of a recording method in the drive recorder system according to the present embodiment. Hereinafter, a moving image recording method in the drive recorder system according to the present embodiment will be described with reference to FIGS. 6 and 7.
ユーザが車両のエンジンを起動しようとしてイグニションスイッチをオンにすることにより、ACC電源がONとなり、ドライブレコーダシステム1に電力が供給されると、ドライブレコーダシステム1は、図6,図7に示す処理を実行する。まず、ドライブレコーダ100は、サムネールファイルを新規作成する。ここでサムネールファイルの新規作成とは、サムネールファイルとして空の画像ファイルを作成することや、当該サムネールファイルを管理するデータベースのレコードを作成すること、当該サムネールファイルを管理するための識別情報やファイル名を生成すること等である。
When the user turns on the ignition switch to start the vehicle engine, the ACC power supply is turned on and power is supplied to the
また、ドライブレコーダ100は、撮像装置300によって撮像した動画像をメインメモリ110を介して取得し、逐次データストレージ200への記憶を開始させることで、動画像の記録を開始する(ステップS20)。
Further, the
次にドライブレコーダ100は、車両の走行データや、ステップS10で生成したサムネールの名称(bitmap名)、動画像のファイル名(動画像名)等の情報をサムネールの親データベース(以下、単に親DBとも称す)における当該サムネールのレコードに登録する(ステップS30)。図8は、サムネールに係る情報を格納するデータベースの一例を示す図である。図8の親DB51は、サムネール毎の情報を格納するデータベースである。親DB51において、サムネールIDは、サムネールを識別し、子DB52の情報との対応付け等を行うための識別情報である。経度・緯度は、サムネールと対応する動画像を撮像した時の車両の走行位置(以下、撮像位置とも称す)を示す位置情報である。時刻は、サムネールと対応する動画像を撮像した時の日時を示す情報である。なお、図8では、経度・緯度及び時間を動画像の撮像を開始した時点の位置や時間としたが、これに限らず、動画像の撮像を終了した時点や中間地点における位置や時間としてもよい。エリア(撮像エリア)は、都道府県や市区町村等、任意に区分されたエリアのうち、撮像位置が属するエリアを示す情報である。
Next, the
ステップS30の後、ドライブレコーダ100は、子サムネールデータベース(以下、子DBとも称す)52に前記サムネールのレコードを新規作成する(ステップS40)。図8の子DB52は、所定時間毎の情報(子サムネールデータ)を格納するデータベースである。子DB52において、子IDは、子サムネールデータを識別し、親DB51の情報との対応付け等を行うための識別情報である。経度・緯度は、所定時間毎の車両の走行位置(以下、子撮像位置とも称す)を示す位置情報である。時刻は、現在の日時、換言すると、車両が当該子撮像位置に存在した日時を示す情報である。画面x座標・画面y座標は、サムネールを表示装置400に表示させた場合に、子撮像位置に対応する画面上の座標を示す情報である。
After step S30, the
ドライブレコーダ100は、外部情報取得部16により取得した外部情報が有るか否かを判定する。ここで外部情報が有ると判定した場合(ステップS50,Yes)、ドライブレコーダ100は、当該外部情報をメインメモリ110等の記憶手段へ書き出す。なお、外部情報が、渋滞情報や故障車が存在する旨の情報等、ステップS40で作成した子サムネールデータの子撮像位置における事象を示す情報の場合、当該子サムネールデータのレコードへ格納させてもよい。
The
一方、ステップS50にて、外部情報が無いと判定した場合(ステップS50,No)、ドライブレコーダ100は、ステップS60をスキップしてステップS70へ移行する。
On the other hand, when it is determined in step S50 that there is no external information (No in step S50), the
ステップS70にて、ドライブレコーダ100は、動画像の長さ、即ち動画像の記録時間が所定時間(図6では20分)に達したか否かを判定する。なお、この所定時間は、15分や30分など、任意に設定可能である。
In step S70, the
ステップS70にて、所定時間に達したと判定した場合(ステップS70,Yes)、ドライブレコーダ100は、子撮像位置における緯度・経度、時刻といった子サムネールデータを子DB52に登録する(ステップS90)。また、ドライブレコーダ100は、サムネールをクローズし、データストレージ200に記憶させる(ステップS100)。更に、ドライブレコーダ100は、動画像の記録を完了し、動画像ファイルをクローズして、データストレージ200に記憶させ(ステップS110)、ステップS10へ戻る。
If it is determined in step S70 that the predetermined time has been reached (step S70, Yes), the
一方、ステップS70にて、20分に達していないと判定した場合、ドライブレコーダ100は、子サムネールデータを作成してからの経過時間が所定時間(図6では1分)に達したか否か、換言すると、次の子サムネールデータを作成する時間間隔に達したか否かを判定する(ステップS80)。なお、この所定時間は、2分や30秒など、任意に設定可能である。
On the other hand, if it is determined in step S70 that it has not reached 20 minutes, the
ステップS80にて、経過時間が所定時間に達したと判定した場合(ステップS80,Yes)、ドライブレコーダ100は、ステップS40に戻って次の子サムネールデータを作成する。一方、経過時間が所定時間に達していないと判定した場合(ステップS80,No)、ドライブレコーダ100は、ステップS120へ移行する。
If it is determined in step S80 that the elapsed time has reached the predetermined time (step S80, Yes), the
ステップS120にて、ドライブレコーダ100は、ユーザが車両のエンジンを停止させたか否かを判定する。なお、この判定は、ACC電源がOFFになったか否かを判定してもよい。ここで、エンジンが停止されていないと判定した場合(ステップS120,No)、ステップS80へ戻る。また、エンジンが停止されたと判定した場合(ステップS120,Yes)、図7のステップS130へ移行する。
In step S120,
ステップS130にて、ドライブレコーダ100は、子撮像位置における緯度・経度、時刻といった子サムネールデータを子DB52に登録する。また、ドライブレコーダ100は、サムネールをクローズし、データストレージ200に記憶させる(ステップS140)。更に、ドライブレコーダ100は、動画像の記録を完了し、動画像ファイルをクローズして、データストレージ200に記憶させる(ステップS150)。
In step S130, the
次に、ドライブレコーダ100は、データベース120から撮像位置付近の地図情報、例えば、子撮像位置を全て含む矩形状の範囲であって、当該矩形状の地図の各辺と最も近い子撮影位置との間隔が所定値となる範囲の地図情報を取得する(ステップS160)。即ち、地図に子撮像位置が収まらず、経路がサムネールからはみ出してしまうことや、地図の各辺に最も近い子撮像位置と各辺との間隔が大きすぎ経路が小さくなってしまうこと
がないように、適切な大きさで経路が重畳される範囲の地図情報が取得される。また、ドライブレコーダ100は、この地図情報が示す地図上に各子撮像位置を示す印を描画することで、地図上に経路を示す(ステップS170)。なお、この経路は、各子撮像位置を示した点状の表示であっても、各子撮像位置を線でつなげた線状の表示であってもよい。例えば、図4のサムネール41では、経路を曲線401で示している。
Next, the
そして、ドライブレコーダ100は、地図上に各子撮像位置を示す印を描画し、表示装置400にサムネールとして表示させた場合に、各子撮像位置を示す印が表示される表示画面上の座標(画面x座標・画面y座標)を求めて、子DB52へ登録する(ステップS180)。
Then, when the
また、ドライブレコーダ100は、ステップS60で書き出した外部情報を前記地図上に描画する(ステップS190)。なお、外部情報の具体的な表示形態については後述する。
Further, the
ステップS190の後、ドライブレコーダ100は、サムネールをクローズし、データストレージ200に記憶させる(ステップS200)。更に、ドライブレコーダ100は、動画像の記録を完了し、動画像ファイルをクローズして、データストレージ200に記憶させ(ステップS210)図6,図7の処理を終了する。
After step S190, the
上記のように動画像とサムネールをデータストレージ200に記憶させておき、ユーザが動画像を利用するために、データストレージ200内に記憶されている動画像の一覧を表示させた場合、ドライブレコーダ100は、例えば図4に示すように地図に車両の走行経路を重畳した画像をサムネールとし、表示装置400に複数のサムネールを一覧表示させることができる。
When moving images and thumbnails are stored in the
これにより、各動画像の内容が、どのような経路を走行したときのものであるかをサムネールで簡潔に示すことができ、ユーザが当該動画像を利用する際の利便性を向上させることができる。なお、動画像及びサムネールを表示させる装置は、ドライブレコーダ100に限らず、他の装置であってもよい。この場合、例えば、他の装置のOS(Operating System)が用いるサムネールの一時ファイルと同じ形式で、ドライブレコーダ100がサムネールを作成してデータストレージ200に記憶させておくことで、他の装置がデータストレージ200内の一覧を表示させる場合に、一時ファイルに基づいて、地図に車両の走行経路を重畳したサムネールを一覧表示させることができる。
As a result, it is possible to simply indicate in a thumbnail which route the content of each moving image is when traveling, and to improve convenience when the user uses the moving image. it can. Note that the device for displaying moving images and thumbnails is not limited to the
[サムネールの表示形態例]
ドライブレコーダ100の操作・表示制御部101は、サムネールを一覧表示する際、表示装置400の表示画面に表示しきれない数のサムネールがある場合、表示画面内にスライドバーを表示させてサムネールをスクロール可能にしてもよい。
[Example of thumbnail display format]
When displaying a list of thumbnails, the operation /
図9は、上下スライドバーを表示させた例を示す図、図10は、スクロールの動作を説明する図である。図9では、表示装置400の表示画面右端にスライドバー61を表示している。ユーザが、このスライドバー61を上下に移動操作することで、表示画面に表示されているサムネールをスクロールさせて、表示しきれなかったサムネールを表示画面に表示させることができる。
FIG. 9 is a diagram showing an example in which an up / down slide bar is displayed, and FIG. 10 is a diagram for explaining a scrolling operation. In FIG. 9, a
図10に示すように、スライドバー61の上下の位置は、表示画面に表示されているサムネールの位置と対応している。なお、図10では、各サムネールを識別し易いように、No.1〜No.12の番号を付して模式的に示している。図10の例では、表示装置400の表示画面に3列2行、計6枚のサムネールが表示されているが、サムネールが12
枚存在しているため、6枚のサムネールが表示されていない。図10(B)では、スライドバー61が上下方向の中央に位置しており、No.1〜No.12のサムネールのうち、中央のNo.4〜No.9までが表示されている。図10(B)と比べ、図10(A)のようにスライドバー61を上へ移動させると、相対的にサムネールが下へ移動するようにスクロールされ上部のNo.1〜No.3のサムネールが表示される。また、図10(B)と比べ、図10(C)のようにスライドバー61を下へ移動させると、相対的にサムネールが上へ移動するようにスクロールされ下部のNo.10〜No.12のサムネールが表示される。
As shown in FIG. 10, the upper and lower positions of the
There are 6 thumbnails, so 6 thumbnails are not displayed. In FIG. 10B, the
また、図11は、左右スライドバーを表示させた例を示す図、図12は、スクロールの動作を説明する図である。図11では、表示装置400の表示画面下端にスライドバー62を表示している。ユーザが、このスライドバー62を上下に移動操作することで、表示画面に表示されているサムネールをスクロールさせて、表示しきれなかったサムネールを表示画面に表示させることができる。
FIG. 11 is a diagram illustrating an example in which left and right slide bars are displayed, and FIG. 12 is a diagram illustrating a scrolling operation. In FIG. 11, a
図12に示すように、スライドバー62の左右の位置は、表示画面に表示されているサムネールの位置と対応している。図12の例では、表示装置400の表示画面に3列2行、計6枚のサムネールが表示されているが、サムネールが12枚存在しているため、6枚のサムネールが表示されていない。図12(B)では、スライドバー61が左右方向の中央のやや右寄りに位置しており、No.1〜No.12のサムネールのうち、No.4〜No.6,No.7〜No.9が表示されている。図12(B)と比べ、図12(A)のようにスライドバー62を左へ移動させると、相対的にサムネールが右へ移動するようにスクロールされ左側のNo.2,No.8のサムネールが表示される。また、図12(B)と比べ、図12(C)のようにスライドバー62を右へ移動させると、相対的にサムネールが左へ移動するようにスクロールされ、右側のNo.6,No.12のサムネールが表示される。
As shown in FIG. 12, the left and right positions of the
サムネールをスクロールさせる手法としては、スクロールバーを表示させるものに限らず、ユーザが表示画面に指で触れ、当該指をスライドさせることで、この指の移動方向へサムネールを移動させてスクロールさせるものであってもよい。 The method of scrolling the thumbnail is not limited to displaying the scroll bar, but the user touches the display screen with a finger and slides the finger to move the thumbnail in the finger moving direction to scroll. There may be.
また、ドライブレコーダ100は、表示装置400の一画面に表示させる数を選択可能にしてもよい。図13は、一画面に表示させるサムネールの数を選択する操作の説明図である。
Further, the
図13(A)は、表示装置400の一画面に4つのサムネールを表示させた状態を示しており、この状態でユーザが表示画面に複数の指で触れ、指の間隔を広げる操作、所謂ピンチアウトの操作を行うと、サムネールが大きく表示され、一画面に表示されるサムネール画像の数が少なくなるように変更される。図13(B)の例では1つのサムネールが表示された状態となる。
FIG. 13A shows a state in which four thumbnails are displayed on one screen of the
また、図13(C)のように、表示装置400の一画面に4つのサムネールを表示させた状態でユーザが表示画面に複数の指で触れ、指の間隔を狭める操作、所謂ピンチインの操作を行うと、サムネールが小さく表示され、一画面に表示されるサムネール画像の数が多くなるように変更される。図13(D)の例では6つのサムネールが表示された状態となる。
In addition, as shown in FIG. 13C, in a state where four thumbnails are displayed on one screen of the
図14は、サムネールの地図上に出発地点と到着地点を表示した例を示す図である。サムネール生成部105は、例えば、走行データに基づいて示した経路69のうち、エンジンが始動した位置、又はACC電源がONとなった位置を出発地点として求め、出発地点
であることを示す吹き出し63やマーク64を地図上の対応する位置に描画する。また、サムネール生成部105は、例えば、走行データに基づき、エンジンが停止された位置、又はACC電源がOFFとなった位置を到着地点として求め、到着地点であることを示す吹き出し65やマーク66を地図上の対応する位置に描画する。これら吹き出し63,65やマーク64,66の形状は、特に限定されるものではなく、任意に設定可能である。例えば、マーク64,66としては、ピンの他、家や旗、S(スタート)やG(ゴール)等であってもよい。なお、ユーザがナビ制御部102に対して出発地点と目的地点(到着地点)を設定した場合、この出発地点と目的地点(到着地点)を示す情報をナビ制御部102から取得してもよい。
FIG. 14 is a diagram illustrating an example in which a departure point and an arrival point are displayed on a thumbnail map. For example, the
図15は、サムネールの地図上に通過地点であることを表示した例を示す図である。サムネール生成部105は、例えば、走行データに基づいて求めた経路70のうち、出発地点及び到着地点でない端部を通過地点として求め、通過地点であることを示す吹き出し67を地図上の対応する位置に描画する。
FIG. 15 is a diagram illustrating an example of displaying a passing point on a thumbnail map. For example, the
図16は、サムネールをカテゴリーでグループ化して表示する例を示す図である。ドライブレコーダ100は、サムネールをカテゴリーでグループ化して表示することができ、例えばユーザによってグループ化表示が選択された場合には、図16のようにサムネールをグループ化して表示し、グループ化表示が選択されていない場合には、図9のようにサムネールをグループ化せずに一覧表示する。
FIG. 16 is a diagram illustrating an example of displaying thumbnails grouped by category. The
図16(A)では、大阪エリアと名古屋エリアなど、エリア毎にグループ化して表示した例を示している。操作・表示制御部101は、グループ化表示が選択された場合、例えば、各サムネールについて、子DB52を参照し、子サムネールデータの緯度・経度が示す走行位置(子撮像位置)が、都道府県や市町村等の所定の区分としたエリアのうち、何れのエリアに位置するのかを求め、このエリア即ちカテゴリーが合致するサムネールを一つのグループとして表示する。なお、子サムネールデータが示す子撮像位置が、複数のカテゴリーと合致したサムネールは、複数のカテゴリーに属するものとしてもよいし、撮像開始時の子撮像位置等に基づいて選択した1つのカテゴリーに属するものとしてもよい。
FIG. 16A illustrates an example in which the areas are grouped and displayed, such as the Osaka area and the Nagoya area. When the grouped display is selected, for example, the operation /
ここで、操作・表示制御部101は、大阪エリアと名古屋エリアのように、各エリアの名称とともに当該グループのサムネールを表示する。グループのサムネールは、当該グループに属する動画像のサムネールであっても良いし、当該グループに属するサムネールに応じて生成してもよい。例えば、グループに属するサムネールの子撮像位置を取得して、この子撮像位置を全て含む範囲の地図情報を取得し、この地図上で各サムネールの撮像位置と対応する箇所に印をつけることで図6、図7の処理と同様に地図上に経路を記した当該グループのサムネールを生成とする。
Here, the operation /
図16(C)では、動画像を撮像した日毎にグループ化して表示した例を示している。この場合、操作・表示制御部101は、例えば、各サムネールについて、子DB52を参照し、子サムネールデータの時刻から撮像した日を求め、この撮像した日、即ちカテゴリーが合致するサムネールを一つのグループとして表示する。図16(C)の例では、動画像を撮像した日毎にグループ化したが、この他、週、月、季節、朝/昼/晩などの時間帯、曜日といった日時に基づく区分毎にグループ化を行ってもよい。
FIG. 16C shows an example in which moving images are grouped and displayed for each day when they are captured. In this case, for example, with respect to each thumbnail, the operation /
なお、グループ化するためのカテゴリーは、エリアや日時に限らず、天気、運転者、新規経路か既存経路か等であってもよい。例えば、天気でグループ化を行う場合には、撮像する際に、天気の情報を提供する外部の装置950から天気の情報を取得して子サムネールデータとして子DB52に記憶させておき、この天気の情報が合致するサムネールを一つのグループとする。
The category for grouping is not limited to area and date / time, but may be weather, driver, new route or existing route, and the like. For example, when grouping by weather, when capturing images, weather information is acquired from an
運転者(ユーザ)でグループ化を行う場合には、撮像する際に、運転者が誰であるかを識別して運転者情報とし、この運転者情報を子サムネールデータとして子DB52に記憶させておき、運転者情報が合致するサムネールを一つのグループとする。
When grouping by a driver (user), when imaging, who is the driver is identified as driver information, and this driver information is stored in the
運転者を識別する手法としては、例えば、運転の際にドライブレコーダ100と接続するスマートフォン等のユーザ端末を運転者と対応付けてデータベース120に登録しておき、撮像時にドライブレコーダ100が接続されているユーザ端末を識別して運転者を特定し、当該運転者を示す運転者情報を子サムネールデータとして子DB52に記憶させる。これに限らず、運転者を撮影するカメラを車内に設置しておき、ドライブレコーダ100は、撮像装置300による動画像の撮像中、車内のカメラによって撮影した運転者の画像を識別して運転者が誰であるかを特定し、この運転者を示す運転者情報を子サムネールデータとして子DB52に記憶させてもよい。
As a method for identifying the driver, for example, a user terminal such as a smartphone connected to the
新規経路か既存経路かを識別する手法としては、例えば、ドライブレコーダ100は、車両の走行中に、通過した交差点や道路と対応する地図情報中のノードやリンクを走行履歴としてデータベース120に格納しておき、動画像の撮像中に、現在走行している位置のリンクやノードを示す走行位置情報をナビ制御部102から取得し、この走行位置情報が走行履歴に含まれていれば既存経路、走行位置情報が走行履歴に含まれていなければ新規経路と判定する。そして、この新規経路か既存経路かを示す情報を子サムネールデータとして子DB52に記憶させる。
As a method for identifying whether a new route or an existing route, for example, the
また、操作・表示制御部101は、グループのサムネールを表示する際、図16(A)、図16(C)に示したように、複数のサムネールを並べたように表示している。この並べて表示したサムネールの数は、当該グループに属する動画像の数に対応している。即ち、グループのサムネールが多数並んだように表示されている場合は、当該グループに属する動画像が多数存在しており、並んだように表示されているグループのサムネールが少数の場合は、当該グループに属する動画像が少数であることを示している。これによりユーザが、各グループに属する動画像の量を直感的に把握できるようにしている。なお、並んだように表示されているグループのサムネールと、当該グループに属しているサムネールの数とは厳密に一致していなくてもよい。
In addition, when displaying the group thumbnails, the operation /
そして、図16(A)、図16(C)のように表示装置400に表示されている複数のグループのうち、何れかが選択されると、選択されたグループに属する動画像のサムネールが図16(B)に示すように一覧表示される。
When any one of a plurality of groups displayed on the
これによりユーザは、動画像を利用する際、カテゴリーによって絞り込んでサムネールを表示させることができるので、目的の動画像を探し易くなり、利便性が向上する。 Thus, when using a moving image, the user can display thumbnails by narrowing down by category, so that it becomes easy to find a target moving image and convenience is improved.
図17は、サムネール上に表示する走行経路を特定の色とした例を示す図である。経路を線状に表示する場合、地図上の道路を示す他の線と区別できるように、サムネール生成部105は、経路の線を他の線と異なる特定の色で描画する。図17において線68が経路を示している。なお、図17では、便宜上、色の違いを濃度の違いで示している。また、図17では、経路を特定の色で表示したが、この他、点線や一転鎖線などの線の形状や、線の太さ等の種類を定めておき、経路を特定の種類の線で描画して他の線と区別できるようにしてもよい。
FIG. 17 is a diagram illustrating an example in which the travel route displayed on the thumbnail is a specific color. When the route is displayed in a line, the
図18は、VICSで取得した外部情報をサムネールに表示した例を示す図である。図18において、走行経路71のうち、渋滞箇所72は、渋滞していない箇所と比べて太い線で表示されている。なお、線の太さに限らず、渋滞箇所を線の色や点滅で示しても良い
。
FIG. 18 is a diagram illustrating an example in which external information acquired by VICS is displayed in a thumbnail. In FIG. 18, a
また、図18では、車線規制の情報73や故障車の情報74を吹き出しで表示している。
In FIG. 18,
サムネール生成部105は、例えば図7のステップS190において、VICSで取得した外部情報を図18に示すように地図上に描画する。
For example, in step S190 of FIG. 7, the
これにより、ユーザがサムネール上でVICSの情報を把握できるので、利用したい動画像が渋滞中のものであった場合や、故障車を見た直ぐあとに撮像されたものであった場合に、このVICSの情報を頼りに探すことが可能になる。 This allows the user to grasp the VICS information on the thumbnail, so if the video you want to use is in a traffic jam or if it was taken immediately after looking at the broken car It becomes possible to search by relying on VICS information.
図19は、高速道路を走行したときの経路を特定の色で表示させた例を示す図である。サムネール生成部105は、高速道路を走行した経路と一般道路を走行した経路とをユーザが区別できるように、高速道路を走行した経路の線を特定の色で描画している。図19では、経路71のうち、高速道路の走行箇所75を一般道路の走行箇所76と異なる色で表示している。なお、図19では、便宜上、色の違いを濃度の違いで示している。また、高速道路に限らず自動車専用道や一方通行の道路など、道路の種類毎に定めた色で経路を表示してもよい。
FIG. 19 is a diagram illustrating an example in which a route when traveling on a highway is displayed in a specific color. The
図20は、急ブレーキや急加速が行われた箇所をサムネールに表示した例を示す図である。ドライブレコーダ100は、走行中、周期的に加速度センサの検出値や、車速パルス、ブレーキの操作情報、アクセルの操作情報を取得し、これらの情報に基づいて急ブレーキや急加速が行われたことを検出する。例えば、ブレーキがかけられ、且つ減速時の加速度が所定値を超えた場合又は単位時間あたりの車速の低下量が所定値を越えた場合に、急ブレーキが行われたと判定し、急ブレーキを示す情報を子サムネールデータとして子DB52に記憶させる。また、アクセルの操作量が所定以上となり、且つ加速度が所定値を超えた場合又は単位時間あたりの車速の増加量が所定値を越えた場合に、急加速が行われたと判定し、急加速を示す情報を子サムネールデータとして子DB52に記憶させる。
FIG. 20 is a diagram showing an example in which thumbnails of places where sudden braking or sudden acceleration has been performed are displayed. The
サムネール生成部105は、例えば図7のステップS170において、子サムネールデータに急ブレーキや急加速の情報が記録されている場合には、経路情報と共に、急ブレーキを示す印(急ブレーキマーク)や急加速を示す印(急加速マーク)を地図上に描画する。
For example, when information on sudden braking or sudden acceleration is recorded in the child thumbnail data in step S170 of FIG. 7, the
図20では、経路71上に、急ブレーキマーク77と急加速マーク78を注意喚起する形状で示している。なお、急ブレーキマーク77と急加速マーク78の形状は、これに限定されるものではない。
In FIG. 20, a sudden brake mark 77 and a sudden acceleration mark 78 are shown on the
図21は、サムネールに天気の情報を付加した例を示す図である。ドライブレコーダ100は、天気の情報を提供する外部の装置950から天気図を取得し、サムネールの撮像位置と時刻が一致する部分の天気図を地図に重畳してサムネールを生成している。
FIG. 21 is a diagram showing an example in which weather information is added to the thumbnail. The
図21において、サムネール81は、撮像した時刻が一致する14:30の天気図82のうち、当該サムネール81に用いられている地図と同じ範囲83の画像を地図に重畳している。また、サムネール84は、撮像した時刻が一致する17:30の天気図85のうち、当該サムネール84に用いられている地図と同じ範囲86の画像を地図に重畳している。
In FIG. 21, the
なお、天気図は、提供されるまでにタイムラグがあることが多いため、ドライブレコー
ダ100は、図6,図7の処理でサムネールを生成した後、天気図を取得したときに、天気図を重畳する処理を行ってサムネールを更新する。
Since the weather map often has a time lag before being provided, the
図22は、サムネールに事故等の情報を付加した例を示す図である。ドライブレコーダ100は、事故や火事、パレードといったイベント情報を提供する外部の装置950からイベント情報を取得し、サムネールの子撮像位置と時刻が合致するイベントを地図に描画する。なお、サムネールの撮像位置とイベントの場所が合致するか否かの判定は、完全に一致することに限らず、イベントの起きた場所が、サムネールの子撮像位置から1km以内など、所定の範囲に位置する場合には合致すると判定する。また、サムネールの撮像時刻とイベントの時刻が合致するか否かの判定は、完全に一致することに限らず、イベントの起きた時刻が、サムネールの撮像時刻から前後15分以内など、所定の範囲内であった場合には合致すると判定する。
FIG. 22 is a diagram illustrating an example in which information such as an accident is added to the thumbnail. The
図22の例では、13:00神戸、14:00尼崎、15:00尼崎といったイベント情報のうち、サムネール87の撮像位置と時刻が合致する15:00尼崎の位置にイベントマーク88を描画している。
In the example of FIG. 22, the
なお、イベント情報は、提供されるまでにタイムラグがあることが多いため、ドライブレコーダ100は、図6,図7の処理でサムネールを生成した後、イベント情報を取得したときに、イベントマークを描画する処理を行ってサムネールを更新する。
Since the event information often has a time lag before being provided, the
図23は、サムネールにメールを送受信した旨の情報を付加した例を示す図、図24は、サムネールに電話を送受した旨の情報を付加した例を示す図である。ドライブレコーダ100は、接続されたユーザ端末から、メールや電話を送受したことを示す情報(以下、送受信情報とも称す)を取得し、この送受信情報を子サムネール情報として子DB52に登録する。
FIG. 23 is a diagram illustrating an example in which information indicating that a mail has been transmitted / received is added to the thumbnail, and FIG. 24 is a diagram illustrating an example in which information indicating that a call has been transmitted / received is added to the thumbnail. The
そして、サムネール生成部105は、例えば図7のステップS190において、送受信情報が登録された子サムネールデータの子撮像位置に応じて、当該サムネールの経路71上に送受信したことを示す印(送受信マーク)を描画する。
Then, for example, in step S190 of FIG. 7, the
図23において、送受信マーク91は、ユーザが○○へメールを送信したことを示し、送受信マーク92は、ユーザが△△からメールを受信したことを示す。
In FIG. 23, a transmission /
また、図24において、送受信マーク93は、ユーザが○○へ架電したことを示し、送受信マーク94は、ユーザが△△から電話を受けたことを示す。
In FIG. 24, a transmission /
これにより、ユーザがサムネール上で送受信情報を把握できるので、利用したい動画像が電話中のものであった場合や、メールを送信した直ぐあとに撮像されたものであった場合に、この送受信情報を頼りに探すことが可能になる。 As a result, the user can grasp the transmission / reception information on the thumbnail, so this transmission / reception information can be used when the moving image that the user wants to use is on the phone or was captured immediately after sending the mail. It becomes possible to look for it with confidence.
図25は、サムネールに日時に基づく情報を表示した例を示す図である。ドライブレコーダ100は、親DBを参照し、各サムネールの時刻に対応した色でサムネールの枠95を表示する。例えば、休日は赤、平日は黒のように、日時に基づく曜日や時間帯等と色とを予め設定しておく。なお、枠95は、サムネール生成部105が枠95をサムネール内に描画しても良いし、操作・表示制御部101がサムネールの周囲に枠95を表示するようにしてもよい。
FIG. 25 is a diagram illustrating an example in which information based on the date and time is displayed on the thumbnail. The
これにより、サムネールの枠95の色で、ユーザが休日に撮像されたものか、平日に撮像されたものか等を把握でき、利便性が向上する。
Thereby, it is possible to grasp whether the user has taken a picture on a holiday or a picture taken on a weekday by the color of the
図26は、日中に撮像された場合のサムネールと夜間に撮像された場合のサムネールの例を示す図、図27は、日の出の際に撮像された動画のサムネールと、日の入の際に撮像された動画のサムネールの例を示す図である。 FIG. 26 is a diagram showing an example of thumbnails taken in the daytime and thumbnails taken in the nighttime, and FIG. 27 is a thumbnail of moving images taken at sunrise time and in the sunset time. It is a figure which shows the example of the thumbnail of the imaged moving image.
サムネール生成部105は、日の出から日の入までを日中、日の入から日の出までを夜間と区分し、日中に撮像した動画像のサムネールと夜間に撮像した動画像のサムネールとで、生成するサムネールの色調を異ならせている。例えば、撮像した時刻が日中であれば、図26(A)に示すように地図を明るい色調で生成し、撮像した時刻が夜間であれば、図26(B)に示すように地図を暗い色調で生成する。
The
そして、ドライブレコーダ100は、動画像の撮像中に日の入又は日の出があった場合、両方の色調でサムネールを生成する。図27(A)は、動画像の撮像中に日の入があった場合のサムネール、図27(B)は、日の出があった場合のサムネールである。図27では、サムネールの横方向を時間軸とし、左側を早い時刻の色調で示し、右側を遅い時刻の色調で示している。
Then, when there is sunset or sunrise during the capturing of the moving image, the
これにより、サムネールの色調で、何時撮像されたものであるかをユーザが把握でき、利便性が向上する。 As a result, the user can grasp when the image is captured with the color tone of the thumbnail, and convenience is improved.
図28は、サムネールの地図をノースアップで表示した例を示す図、図29は、出発地点を左側に表示した例を示す図、図30は、出発地点を右側に表示した例を示す図である。 FIG. 28 is a diagram showing an example in which a thumbnail map is displayed in a north-up manner, FIG. 29 is a diagram showing an example in which the departure point is displayed on the left side, and FIG. 30 is a diagram showing an example in which the departure point is displayed on the right side. is there.
サムネール生成部105は、例えば図28の例では、地図の向きを北が上になるようにし、この地図上に経路71を描画している。この地図の向きはユーザの選択によって変えることができ、例えば、出発地点をサムネールの左側に表示させることが選択された場合には、子撮像位置のうち、出発地点又は撮像開始地点の子撮像位置が、他の子撮像位置よりも左側となるように地図の向きを回転させてサムネールを生成する(図29)。
For example, in the example of FIG. 28, the
また、サムネール生成部105は、出発地点をサムネールの右側に表示させることが選択された場合には、子撮像位置のうち、出発地点又は撮像開始地点の子撮像位置が、他の子撮像位置よりも右側となるように地図の向きを回転させてサムネールを生成する(図30)。
In addition, when the
これにより、ユーザが出発地点を容易に把握することができる。 Thereby, a user can grasp | ascertain a departure point easily.
図31は、経路の途中に出発地点及び到着地点を示す表示をしない例を示す図である。ドライブレコーダ100は、図14に示すように、経路69の出発地点及び到着地点には、マーク96を表示している。
FIG. 31 is a diagram illustrating an example in which a display indicating a departure point and an arrival point is not displayed in the middle of a route. As shown in FIG. 14, the
これに対し、サムネールに表示する経路71の端部が出発地点でも到着地点でもない場合、即ち途中部である場合には、図31に示すようにマーク96を表示しないこととする。このため、サムネールに示された経路の端部にマーク96が無い場合には、この動画像と続いている動画像が別に存在していることが分かる。
On the other hand, when the end portion of the
図32,図33は、サムネール上の経路に順番を表示した例を示す図である。ドライブレコーダ100は、エンジンの始動時に動画像の撮像を開始し、エンジンの停止時に動画像の撮影を停止する。この間、ドライブレコーダ100は、所定時間(例えば20分)毎に区切って動画像を記録するため、所定時間以上走行した場合には、複数の動画像が記録
される。経路取得部104は、この動画像が、エンジンを始動させてから、即ち出発地点から何番目の動画像であるかをカウントし、走行データと共に親DB51に記憶させる。
32 and 33 are diagrams showing an example in which the order is displayed on the route on the thumbnail. The
サムネール生成部105は、サムネールの地図上に経路を描画する際、経路の順番を親DB51から読み出して各経路の位置に描画する。図32では、1番目の経路201が描画されていると共に、この経路201上に順番を示す吹き出し202が描画され、この次の経路上となる位置に次の経路の順番を示す吹き出し203が描画されている。
When drawing a route on the thumbnail map, the
また、図33では、2番目の経路204が描画されていると共に、この経路204上に順番を示す吹き出し205が描画され、この前の経路上となる位置に前の経路の順番を示す吹き出し202が描画され、次の経路上となる位置に次の経路の順番を示す吹き出し206が描画されている。
Also, in FIG. 33, the
図34は、サムネール上の経路204に走行した方向を表示した例を示す図である。サムネール生成部105は、子DB52を参照し、各子サムネールデータの時刻の差から走行方向を認識し、この方向を示す矢印207を地図上に描画する。例えば、各子サムネールデータのうち、最も遅い時刻の子サムネールデータの子撮像位置が、当該経路204の終点となるので、この位置が先端となる向きで矢印207を描画する。
FIG. 34 is a diagram showing an example in which the traveling direction is displayed on the
[表示方法]
図35は、サムネールを一覧表示する処理の説明図である。ユーザが表示装置400のタッチパネルに対して操作を行うことにより、データストレージ200内の特定の記憶領域に記録されている動画像の一覧表示を指示すると、この記憶領域を特定する情報を含む一覧表示の指示が操作・表示制御部101へ送られる(ステップS310)。
[Display method]
FIG. 35 is an explanatory diagram of processing for displaying thumbnails as a list. When the user instructs to display a list of moving images recorded in a specific storage area in the
操作・表示制御部101は、この一覧表示の指示に基づき、一覧表示する記憶領域を特定し、この領域に記憶されているサムネールをデータストレージ200から取得する(ステップS320)。
Based on this list display instruction, the operation /
図22等では、外部情報を含むサムネールを作成した例を説明したが、サムネールに含まれない外部情報を一覧表示時に付加して表示させる場合には、外部装置950へ各サムネールの撮像位置や時刻の情報を送信し、これらの情報と合致する外部情報を取得する(ステップS330)。外部情報を取得した場合には、この外部情報を対応するサムネールに重畳する。なお、一覧表示時に外部情報を付加しない場合にはステップS330を省略してもよい。
In FIG. 22 and the like, an example in which thumbnails including external information are created has been described. However, when external information not included in thumbnails is added and displayed at the time of list display, the imaging position and time of each thumbnail are displayed on the
そして、サムネールを一画面内に所定数配列した映像信号を作成し、表示装置400へ送って表示させる(ステップS340)。
Then, a video signal in which a predetermined number of thumbnails are arranged in one screen is created and sent to the
図36は、一覧表示されたサムネールから選択されたサムネールと対応する動画像を特定する処理の説明図、図37は、一覧表示されたサムネールから選択されたサムネールと対応する動画像を再生する際の情報の流れを示す図、図38は、一覧表示されたサムネールから選択されたサムネールと対応する動画像を再生する処理のタイミングチャートである。 FIG. 36 is an explanatory diagram of processing for specifying a moving image corresponding to a thumbnail selected from the thumbnails displayed in a list, and FIG. 37 is a flowchart for reproducing a moving image corresponding to a thumbnail selected from the displayed thumbnails. FIG. 38 is a timing chart of processing for reproducing a moving image corresponding to a thumbnail selected from the thumbnails displayed in a list.
ユーザは、表示装置400に一覧表示されたサムネールを見て、再生させたいものを探し、再生させたいものを見つけた場合には、その見つけたサムネールを選択操作する。例えば、そのサムネールが表示されている領域にタッチすることで選択操作する。
The user looks at the thumbnails displayed in a list on the
この選択操作を受けた操作部(例えばタッチパネル)500は、ユーザに選択された位
置を操作・表示制御部101に伝える(ステップS410)。操作・表示制御部101は、ユーザに選択された位置に表示されているサムネールを特定し、図36に示すように親DBを参照して当該サムネールと対応する動画像の動画像名210を取得する(ステップS420)。
The operation unit (for example, touch panel) 500 that has received this selection operation notifies the operation /
そして、操作・表示制御部101は、ステップS420で取得した動画像名210に基づいて、対応する動画像をデータストレージ200から取得し(ステップS430)、この動画像に基づく映像信号を表示装置400に送って表示させる(ステップS440)。
Then, the operation /
図39は、サムネール上の経路に対する選択操作を検出して、選択された経路上の位置で撮像された部分から動画像の再生を開始する処理の説明図、図40は、選択されたサムネールと対応する動画像を特定する処理の説明図、図41は、サムネール上の経路に対する選択操作を検出して、選択された経路上の位置で撮像された部分から動画像の再生を開始する処理のタイミングチャートである。 FIG. 39 is an explanatory diagram of a process of detecting a selection operation for a route on the thumbnail and starting playback of a moving image from a portion imaged at a position on the selected route. FIG. 40 is a diagram showing selected thumbnails. FIG. 41 is an explanatory diagram of processing for identifying a corresponding moving image. FIG. 41 is a diagram of processing for detecting a selection operation for a route on a thumbnail and starting playback of a moving image from a portion imaged at a position on the selected route. It is a timing chart.
ユーザは、先ず、表示装置400に一覧表示されたサムネールを見て、再生させたいものを探し、再生させたいサムネールを選択操作する。
First, the user looks at the thumbnails displayed in a list on the
この選択操作を受けた操作部(例えばタッチパネル)500は、ユーザに選択された位置を操作・表示制御部101に伝える(ステップS510)。操作・表示制御部101は、ユーザに選択された位置に表示されているサムネールを特定し、当該サムネールをデータストレージ200から取得する(ステップS520)。操作・表示制御部101は、この取得した一つのサムネールが表示装置400の表示画面内で大きく表示されるように映像信号を作成し、表示装置400へ送って表示させる(ステップS530)。
The operation unit (for example, touch panel) 500 that has received this selection operation notifies the operation /
ユーザは、表示装置400に表示されたサムネールの経路を見て、再生を開始させたい経路上の位置を選択操作する。
The user views the thumbnail path displayed on the
この選択操作を受けた操作部500は、ユーザに選択された位置を操作・表示制御部101に伝える(ステップS540)。操作・表示制御部101は、図40に示すように子DB52を参照し、ユーザに選択された位置と最も近い画面x座標,画面y座標301を有する子サムネールデータ302を特定し、特定した子サムネールデータ302の時刻303を取得する(ステップS550)。また、操作・表示制御部101は、親DBを参照してステップS510で選択されたサムネールと対応する動画像の動画像名を取得する(ステップS560)。
Upon receiving this selection operation, the
そして、操作・表示制御部101は、ステップS560で取得した動画像名と対応する動画像のうち、ステップS550で取得した時刻以降に撮影されたデータをデータストレージ200から取得し(ステップS570)、この動画像のデータに基づく映像信号を表示装置400に送って表示させる(ステップS580)。
Then, the operation /
これにより、動画像を先頭から再生することに限らず、ユーザが経路上で選択した位置と対応する部分から動画像の再生を開始することができる。このため、ユーザが閲覧したい部分を直感的に選択することができ、動画再生時の利便性が向上する。 Thereby, the playback of the moving image can be started from the portion corresponding to the position selected by the user on the route, not limited to the playback of the moving image from the top. For this reason, the part which a user wants to browse can be selected intuitively, and the convenience at the time of moving image reproduction improves.
[変形例]
前述の図39〜図41では、ユーザによって選択されたサムネールを拡大表示して、経路上の箇所の選択を可能にした例を示したが、これに限らず、サムネールの経路の部分が選択された場合に当該サムネールを拡大する構成としてもよい。この場合、例えば、操作・表示制御部101が、子DB52を参照して、当該サムネールの子撮像位置(緯度・経
度)から当該サムネール中の経路を求め、ユーザによって選択されたタッチパネル上の位置が、この経路上の箇所か否によって、当該経路が選択されたか否かを判定する。ここで、経路が選択されたと判定した場合、操作・表示制御部101は、前述のステップS530と同様に、当該サムネールが表示装置400の表示画面内で大きく表示されるように映像信号を作成し、表示装置400へ送って表示させる。そして、前述のステップS540
〜580と同様、拡大して表示させたサムネールおける経路上の箇所がユーザに選択された場合に、当該サムネールと対応する動画像のうち、当該ユーザに選択された箇所と対応する部分から動画像の再生を開始する。
[Modification]
39 to 41 described above show an example in which the thumbnail selected by the user is displayed in an enlarged manner to enable selection of a location on the route. However, the present invention is not limited to this, and the route portion of the thumbnail is selected. In such a case, the thumbnail may be enlarged. In this case, for example, the operation /
As in the case of ˜580, when the user selects a location on the route of the thumbnail displayed in an enlarged manner, the moving image from the portion corresponding to the location selected by the user among the moving images corresponding to the thumbnail is displayed. Start playing.
また、拡大して表示させたサムネールおける経路上の選択は、単に一点を選択するものに限らず、経路上をなぞることや始点と終点の二点を選択することにより、範囲を選択するものであってもよい。この場合、当該サムネールと対応する動画像のうち、当該ユーザに選択された範囲と対応する範囲を再生する。 In addition, the selection on the route in the thumbnail displayed in an enlarged manner is not limited to simply selecting a single point, but is to select a range by tracing on the route or by selecting two points, the start point and the end point. There may be. In this case, a range corresponding to the range selected by the user is reproduced from the moving images corresponding to the thumbnail.
なお、本変形例において、拡大前のサムネールに対する選択が、経路上でなかった場合、当該サムネールと対応する動画像を先頭から再生するなど、サムネールを拡大する以外の動作を行う。 In this modification, when the selection for the thumbnail before enlargement is not on the path, an operation other than the enlargement of the thumbnail is performed, such as playing a moving image corresponding to the thumbnail from the top.
このように、本変形例によれば、サムネール上に表示された経路を選択することで、ユーザが動画像の再生位置を経路上で指定することができるようになり、直感的な操作が可能になる。 As described above, according to the present modification, by selecting the path displayed on the thumbnail, the user can specify the playback position of the moving image on the path, and intuitive operation is possible. become.
[実施形態の作用効果]
上述のように、本実施形態のドライブレコーダ(画像記録装置)100は、車両に搭載された撮像装置300から、当該車両の周囲を撮像した動画像を取得してデータストレージ(記憶装置)200に記憶させる記憶制御部108と、前記車両が走行した経路を取得する経路取得部104と、前記動画像を撮像中に前記車両が走行した経路を示すサムネール画像を生成するサムネール生成部105と、前記サムネール画像を前記動画像と対応付けて、この対応関係を示す情報をデータベースに記憶させるサムネール管理部106と、前記記憶装置に記憶させた前記動画像のリストを表示装置400に表示させる場合に、当該動画像と対応する前記サムネール画像を一覧表示させる操作・表示制御部101とを備える。
[Effects of Embodiment]
As described above, the drive recorder (image recording apparatus) 100 according to the present embodiment acquires a moving image obtained by imaging the periphery of the vehicle from the
この構成により、ドライブレコーダ100は、動画像のサムネールとして車両が走行した経路を示すサムネールを一覧表示することができるため、ユーザがサムネールを見ただけでどの経路を走行したときの動画像が記録されているのかを把握することができ、動画像を選択する際の利便性が向上する。
With this configuration, the
また、本実施形態のドライブレコーダ100は、サムネール生成部105が、前記経路周辺の地図に前記経路を重畳して前記サムネール画像とする。
Further, in the
この構成により、動画像のサムネールとして車両が走行した経路の周辺を示す地図をサムネールとして一覧表示することができるため、ユーザがサムネールを見ただけで、どの場所を走行したときの動画像が記録されているのかを的確に把握することができ、動画像を選択する際の利便性が向上する。 With this configuration, a map showing the periphery of the route traveled by the vehicle can be displayed as a thumbnail as a thumbnail of the moving image, so that the moving image when the user has driven can be recorded just by looking at the thumbnail. This makes it possible to accurately grasp whether or not the image is selected, and the convenience when selecting a moving image is improved.
また、本実施形態のドライブレコーダ100は、前記車両の走行中に、車両外部の事象を示す外部情報を外部の装置から取得する外部情報取得部107を備え、前記サムネール画像に前記外部情報を付加して表示させる。
The
この構成により、外部情報を付加したサムネールを一覧表示でき、ユーザがサムネール上で外部情報を把握できる、例えば外部情報として渋滞や故障車の情報がされていれば、利用したい動画像が渋滞中のものであった場合や、故障車を見た直ぐあとに撮像されたものであった場合に、この外部情報を頼りに探すことが可能になる。 With this configuration, thumbnails with external information added can be displayed as a list, and the user can grasp the external information on the thumbnails.For example, if there is information on traffic jams or broken vehicles as external information, the video that you want to use is in traffic jams. If it is a thing, or if it was taken immediately after looking at the broken car, it is possible to search with this external information.
また、本実施形態のドライブレコーダ100は、前記操作・表示制御部101が、前記サムネールを前記表示装置400に表示させ、当該サムネールに重畳された経路上の箇所がユーザに選択された場合に、当該サムネールと対応する動画像のうち、当該選択箇所と対応する経路上の位置で撮像された箇所から動画像の再生を開始する。
In the
これにより、動画像を先頭から再生することに限らず、ユーザが経路上で選択した位置と対応する部分から動画像の再生を開始することができる。このため、ユーザが閲覧したい部分を直感的に選択することができ、動画再生時の利便性が向上する。 Thereby, the playback of the moving image can be started from the portion corresponding to the position selected by the user on the route, not limited to the playback of the moving image from the top. For this reason, the part which a user wants to browse can be selected intuitively, and the convenience at the time of moving image reproduction improves.
1:ドライブレコーダシステム
10:CPU
16:外部情報取得部
20:記憶手段
30:通信IF
40:入出力IF
100:ドライブレコーダ
101:操作・表示制御部
102:ナビ制御部
103:オーディオ制御部
104:経路取得部
105:サムネール生成部
106:サムネール管理部
107:外部情報取得部
108:記憶制御部
109:動画像取得部
110:メインメモリ
120:データベース
200:データストレージ
300:撮像装置
400:表示装置
500:操作部
600:GPS
700:センサデバイス
800:クロックデバイス
900:CD/DVDドライブ
950:外部装置
1: Drive recorder system 10: CPU
16: External information acquisition unit 20: Storage means 30: Communication IF
40: Input / output IF
100: drive recorder 101: operation / display control unit 102: navigation control unit 103: audio control unit 104: route acquisition unit 105: thumbnail generation unit 106: thumbnail management unit 107: external information acquisition unit 108: storage control unit 109: moving image Image acquisition unit 110: main memory 120: database 200: data storage 300: imaging device 400: display device 500: operation unit 600: GPS
700: Sensor device 800: Clock device 900: CD / DVD drive 950: External device
Claims (6)
前記車両が走行した経路を取得する経路取得部と、
前記動画像を撮像中に前記車両が走行した経路を示すサムネール画像を生成するサムネール生成部と、
前記サムネール画像を前記動画像と対応付けて、この対応関係を示す情報をデータベースに記憶させるサムネール管理部と、
前記動画像と対応する前記サムネール画像を一覧表示させる表示制御部と、
を備える画像記録装置。 A storage control unit that acquires a moving image obtained by imaging the periphery of the vehicle from an imaging device mounted on the vehicle and stores the moving image in a storage device;
A route acquisition unit that acquires a route traveled by the vehicle;
A thumbnail generation unit that generates a thumbnail image indicating a route traveled by the vehicle during imaging of the moving image;
A thumbnail management unit that associates the thumbnail image with the moving image and stores information indicating the correspondence relationship in a database;
A display control unit for displaying a list of the thumbnail images corresponding to the moving images;
An image recording apparatus comprising:
前記サムネール画像に前記外部情報を付加して表示させる請求項1又は2に記載の画像記録装置。 An external information acquisition unit that acquires external information indicating an event outside the vehicle from an external device during the traveling of the vehicle,
The image recording apparatus according to claim 1, wherein the external information is added to the thumbnail image for display.
当該サムネールに重畳された経路がユーザに選択された場合に当該サムネールを拡大して表示させ、
拡大して表示させたサムネールにおける経路上の箇所又は範囲がユーザに選択された場合に、当該サムネールと対応する動画像のうち、当該ユーザに選択された箇所又は範囲と対応する部分を再生する請求項1〜3の何れか1項に記載の画像記録装置。 The display control unit displays the thumbnail on the display device;
When the route superimposed on the thumbnail is selected by the user, the thumbnail is enlarged and displayed.
When a user selects a location or range on the route in the thumbnail displayed in an enlarged manner, a portion corresponding to the location or range selected by the user is reproduced from a moving image corresponding to the thumbnail. Item 4. The image recording apparatus according to any one of Items 1 to 3.
前記車両が走行した経路を取得するステップと、
前記動画像を撮像中に前記車両が走行した経路を示すサムネール画像を生成するステップと、
前記サムネール画像を前記動画像と対応付けて、この対応関係を示す情報をデータベースに記憶させるステップと、
前記動画像と対応する前記サムネール画像を一覧表示させるステップと、
をコンピュータが実行する画像記録方法。 Acquiring a moving image obtained by imaging the periphery of the vehicle from an imaging device mounted on the vehicle and storing the moving image in a storage device;
Obtaining a route traveled by the vehicle;
Generating a thumbnail image showing a route traveled by the vehicle during imaging of the moving image;
Associating the thumbnail image with the moving image and storing information indicating the correspondence relationship in a database;
Displaying a list of thumbnail images corresponding to the moving images;
An image recording method executed by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017123309A JP2019008528A (en) | 2017-06-23 | 2017-06-23 | Image recording device and image recording method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017123309A JP2019008528A (en) | 2017-06-23 | 2017-06-23 | Image recording device and image recording method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019008528A true JP2019008528A (en) | 2019-01-17 |
Family
ID=65026993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017123309A Pending JP2019008528A (en) | 2017-06-23 | 2017-06-23 | Image recording device and image recording method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019008528A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023129781A1 (en) * | 2021-12-29 | 2023-07-06 | Gentex Corporation | Vehicle trip review system |
JP7371357B2 (en) | 2019-06-07 | 2023-10-31 | マツダ株式会社 | Mobile external environment recognition device |
-
2017
- 2017-06-23 JP JP2017123309A patent/JP2019008528A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7371357B2 (en) | 2019-06-07 | 2023-10-31 | マツダ株式会社 | Mobile external environment recognition device |
WO2023129781A1 (en) * | 2021-12-29 | 2023-07-06 | Gentex Corporation | Vehicle trip review system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106611497B (en) | Traffic volume prediction system, traffic volume prediction method, vehicle display device, and vehicle | |
JP5795278B2 (en) | Navigation device, autonomous navigation support method, and autonomous navigation support program | |
CN105339760B (en) | Transport information guiding system, transport information bootstrap technique and recording medium | |
CN102032906A (en) | Navigation device | |
US11592314B2 (en) | Information processing device, path guidance device, information processing method, and computer-readable storage medium | |
JP2011038970A (en) | Navigation system | |
JP2013032949A (en) | Display processing system for vehicle, display processing method for vehicle, and program | |
JP4652099B2 (en) | Image display device, image display method, image display program, and recording medium | |
JP2019008528A (en) | Image recording device and image recording method | |
JP2009237945A (en) | Moving image information collection system and vehicle-mounted device | |
JP4922637B2 (en) | Route search device, route search method, route search program, and recording medium | |
JPWO2008047449A1 (en) | Image display device, display control method, display control program, and recording medium | |
US9507445B2 (en) | Method and apparatus for controlling data overlaid upon an image | |
JP5032592B2 (en) | Route search device, route search method, route search program, and recording medium | |
JP2013054770A (en) | Information processing apparatus, information processing method, and program | |
JP2019113421A (en) | Guide system and guide program | |
JP5003994B2 (en) | Car navigation system | |
JP2007132724A (en) | Navigation device and facility search method | |
JP7241714B2 (en) | Information processing device, route guidance device, program, and information processing method | |
JP7241715B2 (en) | Information processing device, route guidance device, program, and information processing method | |
JP2010257417A (en) | Apparatus, method and program for controlling display, and recording medium | |
JP2011033403A (en) | Information processing apparatus, information processing method, information processing program and recording medium | |
JP7085579B2 (en) | Information processing equipment, route guidance equipment, programs, and information processing methods | |
JP4969659B2 (en) | Route guidance device, route guidance method, route guidance program, and recording medium | |
JP4900599B2 (en) | Navigation device |