JP2009246503A - Drive video image summary apparatus - Google Patents

Drive video image summary apparatus Download PDF

Info

Publication number
JP2009246503A
JP2009246503A JP2008088110A JP2008088110A JP2009246503A JP 2009246503 A JP2009246503 A JP 2009246503A JP 2008088110 A JP2008088110 A JP 2008088110A JP 2008088110 A JP2008088110 A JP 2008088110A JP 2009246503 A JP2009246503 A JP 2009246503A
Authority
JP
Japan
Prior art keywords
video
vehicle
map information
traveling direction
drive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008088110A
Other languages
Japanese (ja)
Other versions
JP4866384B2 (en
Inventor
Yasushi Tsukahara
裕史 塚原
Hirotoshi Iwasaki
弘利 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2008088110A priority Critical patent/JP4866384B2/en
Publication of JP2009246503A publication Critical patent/JP2009246503A/en
Application granted granted Critical
Publication of JP4866384B2 publication Critical patent/JP4866384B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a drive video image summary apparatus capable of storing video images in a drive route in relation to map information as the summary of the video images and confirming them as needed. <P>SOLUTION: The drive video image summary apparatus includes: a video recording means 11 for recording the video images by a camera installed to a vehicle; a traveling direction change detection means 5 for detecting that the change of the traveling direction of the vehicle becomes a prescribed size or more; a video extraction means 6 for segmenting the video images successively on the basis of detection by the traveling direction change detecting means 5 from video information recorded by the video recording means 11; a video storage means 11-1 for successively preserving the plurality of video images segmented by the video extraction means 6; a map information supply means 3 for supplying the map information to the destination of the vehicle from the map information; a summary preparation means for combining the map information to the destination of the vehicle supplied by the map information supply means 3 and the plurality of video images read from the video storage means 11-1; and a summary display means for displaying a composite video image prepared by the summary preparation means as summary. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車載用カメラからの映像情報を基にして所定の映像を切り出し利用する装置に関する。   The present invention relates to an apparatus that cuts out and uses a predetermined video based on video information from a vehicle-mounted camera.

近年では、車両に設置した車載用カメラに記憶された映像をもとにして事故発生時の状況を解明する装置が知られている(例えば下記の特許文献1参照)。この特許文献1には、あらかじめ記憶した事故の発生しやすい特定地点を道路標識などから認識し、走行中に特定地点での画像を記録する装置が開示されている。また、異常状態を検出するとその異常状態を同定するための標識付き運転データを記録する運転記録システムが知られている(例えば下記の特許文献2)。さらに、撮影した画像から道路標識や看板などを検出し、GPS(Global Positioning System)受信装置がなくとも車両が移動した経路や位置を特定するドライブレコーダも知られている(例えば下記の特許文献3)。
特開2003−63459号公報 特開2007−66194号公報 特開2007−172483号公報
2. Description of the Related Art In recent years, there has been known an apparatus for elucidating a situation when an accident occurs based on an image stored in an in-vehicle camera installed in a vehicle (see, for example, Patent Document 1 below). This patent document 1 discloses an apparatus for recognizing a specific point that is likely to cause an accident stored in advance from a road sign or the like and recording an image at the specific point during traveling. Further, an operation recording system that records operation data with a label for identifying an abnormal state when an abnormal state is detected is known (for example, Patent Document 2 below). Further, a drive recorder that detects a road sign, a signboard, and the like from a photographed image and identifies a route and a position where the vehicle has moved without a GPS (Global Positioning System) receiver is also known (for example, Patent Document 3 below). ).
JP 2003-63459 A JP 2007-66194 A JP 2007-17283 A

しかしながら、上記いずれの従来技術においても、得られた映像情報を加工編集して利用者の便宜を図る点については検討がなされていない。すなわち、上記特許文献1及び特許文献2には、特定地点や異常状態に基づき画像情報などを記録するものであるが、記録された画像情報などの具体的な利用方法については検討がなされていない。また、特許文献3は、道路標識や看板などからGPS機能を補足するものであり、道路標識や看板などの認識方法について記載されている。これらの特許文献に開示されている画像処理技術を利用して画像を記録すれば、車両(移動体)が走行した全走行画像を記録する場合と比較して、記憶容量の節約となり、また、後で見る者の時間の節約となるが、それらを見やすく表示し、後で有効活用が出来るようにしておくことには検討がなされていない。   However, none of the above-described conventional techniques has been studied on the point that the obtained video information is processed and edited for the convenience of the user. That is, in Patent Document 1 and Patent Document 2 described above, image information or the like is recorded based on a specific point or abnormal state, but a specific method of using the recorded image information or the like has not been studied. . Patent Document 3 supplements the GPS function from a road sign or a signboard, and describes a method for recognizing a road sign or a signboard. If the image is recorded using the image processing technology disclosed in these patent documents, the storage capacity is saved as compared with the case where all the traveling images of the vehicle (moving body) are recorded, It saves time for those who see later, but it has not been studied to display them in an easy-to-see manner so that they can be used effectively later.

本発明は、上記の従来技術の問題点を解決するためになされたものであり、その目的は、全体のドライブ経路の中で交差点での右折、左折など車両の走行方向の変化が大きい箇所や所定の文字・記号あるいは道路案内標識などの映像を、地図情報と関連させて映像の要約として記憶し、必要に応じてこの映像の要約を利用できるようにしたドライブ映像要約装置を提供することにある。   The present invention has been made in order to solve the above-described problems of the prior art, and the purpose of the present invention is to provide a place where there is a large change in the traveling direction of the vehicle such as a right turn or a left turn at an intersection in the entire drive route. To provide a drive video summarization device which stores video such as predetermined characters / symbols or road guide signs as video summary in association with map information, and can use this video summary when necessary. is there.

上記目的を達成するため、本発明のドライブ映像要約装置は、車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、前記車両の走行方向の変化が所定の大きさ以上になったことを検出する走行方向変化検出手段と、前記映像記録手段により記録された映像情報から前記走行方向変化検出手段による検出に基づいて順次映像を切り出す映像抽出手段と、前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像とを合成する要約作成手段と、前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを有する。   In order to achieve the above object, a drive video summarization apparatus according to the present invention includes a video recording means for recording a video showing a situation around the vehicle that changes according to the travel of the vehicle by a camera installed in the vehicle, and the travel of the vehicle. A traveling direction change detecting means for detecting that the direction change has exceeded a predetermined magnitude, and a video that sequentially cuts out the video from the video information recorded by the video recording means based on the detection by the traveling direction change detecting means Extraction means, video storage means for sequentially storing a plurality of videos cut out by the video extraction means, map information obtained using a communication function with the outside of the vehicle, or a storage device mounted on the vehicle Map information supply means for supplying map information from map information stored in advance to the destination of the vehicle, and supplied by the map information supply means Summary creating means for combining the map information to the destination of the vehicle and a plurality of videos read from the video storage means; summary display means for displaying the synthesized video created by the summary creating means as a summary; Have

この構成により、車両の目的地までの走行経路において、カーブした道などでの映像を後で見ることができて、走行する際の安全性をチェックできる。   With this configuration, a video on a curved road or the like can be seen later on the travel route to the destination of the vehicle, and safety when traveling can be checked.

また、上記目的を達成するため、本発明のドライブ映像要約装置は、車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、前記映像記録手段に記録する映像からあらかじめ設定された文字又は記号を検出する文字記号検出手段と、前記映像記録手段により記録された映像情報から前記文字記号検出手段による検出に基づいて順次映像を切り出す映像抽出手段と、前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像とを合成する要約作成手段と、前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを有する。   In order to achieve the above object, a drive video summarizing device according to the present invention includes a video recording means for recording a video indicating a situation around the vehicle, which changes according to travel of the vehicle, by a camera installed in the vehicle, and the video Character symbol detection means for detecting a preset character or symbol from the video recorded in the recording means, and video extraction for sequentially cutting out the video from the video information recorded by the video recording means based on the detection by the character symbol detection means Means, video storage means for sequentially storing a plurality of videos cut out by the video extraction means, map information obtained using a communication function with the outside of the vehicle, or a storage device mounted on the vehicle in advance Map information supply means for supplying map information from the stored map information to the destination of the vehicle, and the map information supply means Summarization means for combining the supplied map information to the destination of the vehicle and a plurality of videos read from the video storage means, and a summary for displaying the synthesized video created by the summary creation means as a summary Display means.

この構成により、あらかじめ設定した経由地や目的地が道路案内標識などに記載されている場合には、その場所での周囲の映像を記録し、これを後で参照することができる。   With this configuration, when a preset waypoint or destination is described on a road guide sign or the like, it is possible to record a video around the place and refer to it later.

また、上記目的を達成するため、本発明のドライブ映像要約装置は、車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、前記映像記録手段に記録する映像から道路案内標識を検出する案内標識検出手段と、前記車両の走行方向の変化が所定の大きさ以上になったことを検出する走行方向変化検出手段と、前記案内標識検出手段によって道路案内標識を検出した直後の前記走行方向変化検出手段による走行方向の変化に基づいて前記映像記録手段により記録された映像情報から映像を切り出す映像抽出手段と、前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像及び前記案内標識検出手段により検出した道路案内標識とを合成する要約作成手段と、前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを有する。   In order to achieve the above object, a drive video summarizing device according to the present invention includes a video recording means for recording a video indicating a situation around the vehicle, which changes according to travel of the vehicle, by a camera installed in the vehicle, and the video A guide sign detecting means for detecting a road guide sign from the video recorded in the recording means, a travel direction change detecting means for detecting that a change in the travel direction of the vehicle has exceeded a predetermined magnitude, and the guide sign detection Video extraction means for cutting out video from the video information recorded by the video recording means based on a change in travel direction by the travel direction change detection means immediately after detecting a road guide sign by means, and cut out by the video extraction means Video storage means for sequentially storing a plurality of videos and map information obtained by using a communication function with the outside of the vehicle or mounted on the vehicle Map information supply means for supplying map information from the map information stored in advance to the destination of the vehicle, map information to the destination of the vehicle supplied by the map information supply means, and Summary creation means for combining a plurality of videos read from the video storage means and the road guide signs detected by the guide sign detection means, and summary display means for displaying the synthesized video created by the summary creation means as a summary And have.

この構成により、あらかじめ設定した経由地や目的地に関連する交差点で車両が右折又は左折をした場合に、そのときの映像を道路案内標識とともに後で確認することができる。   With this configuration, when the vehicle makes a right turn or a left turn at an intersection related to a preset waypoint or destination, the video at that time can be confirmed later together with a road guide sign.

また、上記目的を達成するため、本発明のドライブ映像要約装置は、車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、利用者から前記映像記録手段に記録する映像から切り出す映像の指示を受け取る受付手段と、前記映像記録手段により記録された映像情報から前記受付手段の指示に基づいて順次映像を切り出す映像抽出手段と、前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出した複数の映像とを合成する要約作成手段と、前記要約作成手段により作成された合成画像を要約として表示する要約表示手段とを有する。   In order to achieve the above object, a drive video summarization apparatus according to the present invention includes a video recording means for recording a video showing a situation around the vehicle that changes according to the travel of the vehicle by a camera installed in the vehicle, and a user. Receiving means for receiving an instruction of a video to be cut out from the video recorded in the video recording means, video extracting means for sequentially cutting out the video based on the instruction of the receiving means from the video information recorded by the video recording means, and the video Image storage means for sequentially storing a plurality of images cut out by the extraction means, map information obtained by using a communication function with the outside of the vehicle, or a map stored in advance in a storage device mounted on the vehicle Map information supply means for supplying map information from the information to the destination of the vehicle, and an eye of the vehicle supplied by the map information supply means It has a summary creation unit for combining a plurality of images read from the map information and the image storage means to the earth, and a summary display means for displaying the composite image created by the summary creation unit as a summary.

この構成により、走行中に利用者が映像を切り出したい任意の地点を受付手段によって指示することができるため、走行中での景観などを記録することができる。   With this configuration, since the user can instruct an arbitrary point where he / she wants to cut out the video while traveling, the landscape during traveling can be recorded.

本発明に係るドライブ映像要約装置によれば、出発地点から目的地まで車両が走行した地図上の経路などを表示するとともに、途中の特定箇所で記録された映像も同時に画面上に表示させて要約を構成することとしたため、辿った経路の周囲の状況が映像で再現されて経路の確認が一層容易になる。また、再度、同じ経路を利用したい場合には、かかる要約を保存し、利用できるようにしておけばよく、経路全体の映像の記録を保存する場合に比べて、記憶容量を格段に少なく出来る。   According to the drive video summarizing apparatus according to the present invention, the route on the map on which the vehicle has traveled from the departure point to the destination is displayed, and the video recorded at a specific point in the middle is simultaneously displayed on the screen for summarization. Therefore, it is possible to confirm the route more easily by reproducing the situation around the route followed by the video. Further, if the same route is to be used again, it is only necessary to save and use the summary, and the storage capacity can be remarkably reduced as compared with the case where the video recording of the entire route is saved.

以下、本発明を図面に示す好適な実施の形態に基づいて詳細に説明する。
図1は本発明に係るドライブ映像要約装置の概要を示すブロック図である。本発明のドライブ映像要約装置では、主として、車両の前方周辺を撮影するために車両に設置されて映像信号を出力するカメラ1と、GPS受信機2による車両の現在の位置情報と地図情報供給手段3からの地図情報とに基づいて地図上での車両の現在位置に関する情報を出力するカーナビ4と、車両のハンドル舵角が所定角度以上に回転されたことを検知して走行方向の変化を検出する舵角検出器5とに基づいて、映像抽出処理部6がドライブ映像記憶部11から映像の切り出しを行う。
Hereinafter, the present invention will be described in detail based on preferred embodiments shown in the drawings.
FIG. 1 is a block diagram showing an outline of a drive video summarizing apparatus according to the present invention. In the drive video summarizing apparatus of the present invention, mainly the camera 1 installed in the vehicle and outputs a video signal for photographing the front periphery of the vehicle, and the current position information and map information supply means of the vehicle by the GPS receiver 2 Car navigation 4 that outputs information on the current position of the vehicle on the map based on the map information from 3 and detecting that the steering angle of the vehicle has been rotated more than a predetermined angle to detect a change in the traveling direction The video extraction processing unit 6 cuts out the video from the drive video storage unit 11 based on the rudder angle detector 5 to be operated.

また、カメラ1からは車両の走行中に撮影された映像信号が常時出力されており、案内標識検出部7であらかじめ記憶した標準画像とパターンマッチングを行ってこの映像信号に道路案内標識が含まれている場合は、道路案内標識の部分だけが切り出される。また、2値化処理部8によって多値画像の映像信号は2値化され、2値化された映像信号を文字記号認識部9によってあらかじめ設定された目的地などの文字や記号が含まれているかどうかの検出を行う。この際、カーナビ4からの交差点情報に基づいて車両が交差点まで所定の距離に達したときに道路案内標識の検出及び文字や記号の認識を開始することもできる。カメラ1から出力される映像信号は、常時、エンコーダ10により符号化されてドライブ映像記憶部11に少なくとも走行中の一定時間の映像が記憶される。すなわち、ドライブ映像記憶部11の一部はリングバッファ構造になっており、記憶された映像が切り出される度に記憶をクリアして新たな映像を記憶し、クリアされるまでの間の一定期間の映像が記憶される。道路案内標識などが検出される頻度を考慮すると20分乃至30分程度の映像が記憶できればよい。   The camera 1 constantly outputs a video signal taken while the vehicle is running. The standard signal stored in advance by the guide sign detection unit 7 is subjected to pattern matching, and a road guide sign is included in the video signal. If so, only the road information sign is cut out. The binarization processing unit 8 binarizes the video signal of the multi-value image, and the binarized video signal includes characters and symbols such as a destination set in advance by the character symbol recognition unit 9. Detect whether or not. At this time, detection of road guidance signs and recognition of characters and symbols can be started when the vehicle reaches a predetermined distance to the intersection based on the intersection information from the car navigation system 4. The video signal output from the camera 1 is always encoded by the encoder 10 and the drive video storage unit 11 stores at least a video for a predetermined time during traveling. That is, a part of the drive video storage unit 11 has a ring buffer structure, and every time the stored video is cut out, the memory is cleared and a new video is stored. Video is memorized. In consideration of the frequency with which road information signs and the like are detected, it is only necessary to store an image of about 20 to 30 minutes.

そして、映像抽出処理部6は、舵角検出器5、案内標識検出部7、文字記号認識部9からの走行方向の変化などの検出信号に基づき、ドライブ映像記憶部11に記憶された映像を切り出す。ここで、ドライブ映像記憶部11では、上述のようにカメラ1からの映像を常時記憶し映像が切り出される度にクリアするとともに、切り出された映像をドライブ映像記憶部11内の他の記憶部11−1に順次記憶して保存する。また、切り出される映像は、検出された時点での映像に限らず、検出される前に記憶されている映像を同時に切り出すことも可能である。例えば、右折又は左折するハンドルの舵角を検出した場合に所定時間前の映像も同時に切り出すようにすることができる。これにより、交差点での右折又は左折の前後の映像を表示することができる。また、文字情報記憶部12により走行距離や経過時間などの文字情報を映像に付加することもできる。   The video extraction processing unit 6 then displays the video stored in the drive video storage unit 11 based on detection signals such as changes in the traveling direction from the steering angle detector 5, the guide sign detection unit 7, and the character symbol recognition unit 9. cut. Here, the drive video storage unit 11 always stores the video from the camera 1 as described above and clears the video every time the video is cut out, and the cut video is stored in another storage unit 11 in the drive video storage unit 11. Store and store sequentially in -1. Further, the video to be cut out is not limited to the video at the time of detection, and the video stored before being detected can be cut out at the same time. For example, when the steering angle of the steering wheel turning right or left is detected, an image of a predetermined time before can be cut out at the same time. Thereby, the video before and after the right turn or the left turn at the intersection can be displayed. Further, the character information storage unit 12 can add character information such as travel distance and elapsed time to the video.

そして、カーナビ4による車両の現在の位置情報と地図情報供給手段3による地図情報から走行した軌跡などを作成し、切り出された映像や文字情報とともに加工編集して映像の要約を作成することができる。すなわち、カーナビ4からの車両の位置情報と地図情報供給手段3からの地図情報をもとに走行した経路を軌跡などとして表示し、これに交差点などの特定の地点で切り出された映像や文字を合成してかかる合成映像を要約として表示する。これにより、出発地点から目的地までに検出された案内表示板のある映像や右折、左折時での映像などが軌跡などと共に表示されて、利用者は交差点などのチェックポイントでの映像を確認することができる。ここで、地図情報供給手段3は車両の外部との通信機能を用いて地図情報を得るものでも、また、車両自体があらかじめ固定メモリなどに記憶されて所有しているものであってもよい。そして、これらの切り出された映像を加工編修して要約表示とするための各種演算処理は、図示しないCPU(Central Processing Unit)によって実行される。   Then, a travel locus or the like can be created from the current position information of the vehicle by the car navigation 4 and the map information by the map information supply means 3, and can be processed and edited together with the clipped video and character information to create a video summary. . In other words, the route traveled based on the vehicle position information from the car navigation 4 and the map information from the map information supply means 3 is displayed as a trajectory, and images and characters cut out at a specific point such as an intersection are displayed on the route. Combined images are displayed as a summary. As a result, images with guidance display boards detected from the departure point to the destination, images when turning right or left, etc. are displayed along with the trajectory, etc., and the user confirms images at checkpoints such as intersections. be able to. Here, the map information supply means 3 may obtain map information using a communication function with the outside of the vehicle, or the vehicle itself may be stored in a fixed memory or the like in advance. Various arithmetic processes for processing and editing these cut-out videos for summary display are executed by a CPU (Central Processing Unit) (not shown).

以下に、図面を参照しつつ、本発明のドライブ映像要約装置の動作を説明する。   The operation of the drive video summarizing device of the present invention will be described below with reference to the drawings.

図2は、図1の映像抽出処理部6での処理の流れを示す図であり、図1及び図2を用いて以下に映像抽出処理部6の動作を説明する。
利用者は車両に設置したカーナビ4により経由地及び目的地を設定すると、車両の走行に伴って、カメラ1から車両の周囲の状況が映像としてドライブ映像記憶部11に記憶される。走行中に道路案内標識を案内標識検出部7で検出すると(S1)、映像を2値化処理し(S2)、経由地などに関連する文字や記号が含まれていないか認識を行う(S3)。関連する文字や記号が含まれている場合であって、この道路案内標識が検出された直後に(S1)、右折又は左折が検出されたときには(S5)、映像抽出処理部6により、ドライブ映像記憶部11に記憶された映像を切り出し、切り出した映像をその場所の名称及び緯度経度からなる座標位置と共にドライブ映像記憶部11内の別の記憶部11−1に移動させ保存する(S4)。ここで、切り出し箇所での名称は、カーナビ4による車両の現在の位置情報(緯度、経度)と地図情報供給手段3からの地図情報によって参照できる。これにより、目的地に関連する交差点での映像が切り出されることになる。このとき検出された案内標識を切り出された映像と合成することもできる。さらに、切り出された映像の中に右折又は左折した走行方向を示す矢印などを表示するようにしてもよい。これにより、交差点をどちらの方向に曲がったのかを同時に確認できる。なお、右折又は左折の検出は、カーナビ4の交差点情報により現在位置から次の交差点までの距離を計算し、所定の距離に達してからその後の舵角検出部5からの信号が所定値以上になったかどうかによって行うこともできる。また、走行方向の変化に拘わらず、道路案内標識を検出したときの映像を切り出すようにすることも可能である。
FIG. 2 is a diagram showing the flow of processing in the video extraction processing unit 6 of FIG. 1, and the operation of the video extraction processing unit 6 will be described below with reference to FIGS.
When a user sets a waypoint and a destination using the car navigation system 4 installed in the vehicle, the situation around the vehicle is stored as an image in the drive image storage unit 11 as the vehicle travels. When the road sign is detected by the road sign detection unit 7 while traveling (S1), the video is binarized (S2), and it is recognized whether characters or symbols related to waypoints are included (S3). ). When a related character or symbol is included and immediately after this road guide sign is detected (S1) and when a right turn or left turn is detected (S5), the video extraction processing unit 6 causes the drive video to be displayed. The video stored in the storage unit 11 is cut out, and the cut out video is moved to another storage unit 11-1 in the drive video storage unit 11 and stored together with the location name and the coordinate position composed of the latitude and longitude (S4). Here, the name at the cutout location can be referred to by the current position information (latitude, longitude) of the vehicle by the car navigation 4 and the map information from the map information supply means 3. Thereby, the image | video in the intersection relevant to a destination is cut out. The guidance sign detected at this time can be combined with the clipped video. Furthermore, you may make it display the arrow etc. which show the running direction which turned right or left in the cut-out image | video. Thereby, it is possible to simultaneously confirm in which direction the intersection is bent. The right turn or left turn is detected by calculating the distance from the current position to the next intersection based on the intersection information of the car navigation system 4, and the signal from the rudder angle detection unit 5 after reaching the predetermined distance exceeds a predetermined value. It can also be done depending on whether it has become. It is also possible to cut out an image when a road guide sign is detected regardless of changes in the traveling direction.

さらに、橋や踏み切りの通過を検出したとき(S6)、有料道路入出口を検出したとき(S7)、行政界通過を検出したとき(S8)、駐車場に駐車したとき(S9)にも映像を切り出す(S4)ようにすることが可能である。なお、橋や踏み切り、有料道路入出口、行政界通過、駐車場に関する名称などの情報は、カーナビ4からの車両の現在位置情報と地図情報供給手段3からの地図情報によって知ることができる。   In addition, when you detect the passage of a bridge or railroad crossing (S6), when you detect a toll road entry / exit (S7), when you detect the passage through the administrative boundary (S8), or when you park in a parking lot (S9) It is possible to cut out (S4). Information such as bridges, railroad crossings, toll road entrances / exits, administrative boundaries, and parking lot names can be obtained from vehicle current position information from the car navigation 4 and map information from the map information supply means 3.

ここで、切り出された映像を要約に使用する場合に、例えば、走行中に右折又は左折が繰り返されて切り出された映像が多数抽出されると、後述するように同時に表示されている地図の縮尺によっては表示する箇所が多すぎて表示できなくなるため、映像部分を縮尺に応じて縮小して表示する必要がある。また、映像を縮小すると映像として見にくくなるような場合には、表示する映像の数を減らして表示することが必要となるが、読み出される映像の選択の方法としては、一定時間を経過するごとに映像が表示されるように、表示する映像を間引いて読み出すようにするか、又は、事故が頻発している交差点を優先して表示するなどの優先度を考慮して表示できる数にする必要がある。また、映像を切り出した後に、車両の現在位置が目的地に対して近ずく方向に移動している場合は、評価を高くするような現在地から目標地点までの変化量による評価値をその切り出した映像に与えておき、例えば、交差点で目的地に近ずくように車両の方向を変えた場合を優先的に要約を作成するための映像として読み出されるようにすることもできる。この場合の車両方向は、舵角検出部5(図1)から検出し、映像を切り出す際にその変化量に基づく評価値を付与するようにしておき、要約を作成する際にはこの評価値に基づいて映像を読み出して、要約を作成することができる。   Here, when the clipped video is used for summarization, for example, when a large number of video clips extracted by repeated right or left turn during driving are extracted, the scale of the map displayed at the same time will be described later. In some cases, there are too many places to be displayed, so that the video portion needs to be reduced and displayed according to the scale. In addition, if it is difficult to view the video as the video is reduced, it is necessary to reduce the number of video to be displayed. However, as a method of selecting the video to be read, every time a certain time passes, In order to display the video, it is necessary to thin out and read out the video to be displayed, or to display the video in consideration of the priority, such as displaying the intersection with frequent accidents. is there. Also, after the video is cut out, if the current position of the vehicle is moving closer to the destination, the evaluation value based on the amount of change from the current location to the target point is extracted. For example, a case where the direction of the vehicle is changed so as to approach the destination at an intersection may be read as a video for preferentially creating a summary. The vehicle direction in this case is detected from the rudder angle detector 5 (FIG. 1), and an evaluation value based on the amount of change is given when the video is cut out, and this evaluation value is used when creating a summary. The video can be read out based on the above to create a summary.

一方、切り出される映像が少ないと予想される場合は、映像を記憶できる容量の範囲内で、一定時間経過するごとに映像を強制的に切り出すようにする機能を加えることができるようにしておけばよい。   On the other hand, if it is expected that there will be a small amount of video to be cut out, it is possible to add a function that forcibly cuts the video after a certain period of time within the capacity of video storage. Good.

図3は、本発明に係るドライブ映像要約装置による要約表示の一実施例を示す図である。出発地点(S)から目的地(G)までの軌跡13が地図上(図示せず)に表されており、また、切り出された映像14、15、16、17、18、19、20、21は軌跡13上のそれぞれの映像が切り出されたときの地点に対応した位置に引出し線22、23、24、25、26、27、28、29と接続されている。すなわち、上記のドライブ映像記憶部11内の記憶部11−1(図1)に記憶されている複数の映像のうち座標位置(緯度、経度)が一致する映像と軌跡上の地点が引き出し線で結ばれる。図3に表示されている映像は同一の大きさであるが、事故の多発する交差点では映像を他よりも大きく表示させるようにしてもよい。映像14、15、16、17、18、19、20、21の下には、出発地点(S)からの走行距離と経過時間も併せて表示されている。また、各映像の一部分には切り出された道路案内標識30が表示されている。なお、図3に描かれている軌跡13は、地図情報と走行中の車両の位置情報とからカーナビ4(図1)によって作成されるものであり、車両の走行に伴って車両の位置(緯度、経度)を記憶してゆき、地図画面上で合成して表示される。また、軌跡13がよくわかるように、地図画面上に太い線などで描かれるように表示してもよい。   FIG. 3 is a diagram showing an embodiment of summary display by the drive video summarizing apparatus according to the present invention. A trajectory 13 from the departure point (S) to the destination (G) is shown on the map (not shown), and the cut out images 14, 15, 16, 17, 18, 19, 20, 21 Are connected to lead lines 22, 23, 24, 25, 26, 27, 28, 29 at positions corresponding to the points when the respective images on the trajectory 13 are cut out. That is, a video on which the coordinate position (latitude, longitude) coincides with a point on the locus among a plurality of videos stored in the storage unit 11-1 (FIG. 1) in the drive video storage unit 11 is a lead line. Tied. The images displayed in FIG. 3 have the same size, but the images may be displayed larger than others at intersections where accidents occur frequently. Below the images 14, 15, 16, 17, 18, 19, 20 and 21, the travel distance from the departure point (S) and the elapsed time are also displayed. In addition, a cut-out road guide sign 30 is displayed in a part of each video. Note that the trajectory 13 depicted in FIG. 3 is created by the car navigation 4 (FIG. 1) from the map information and the position information of the traveling vehicle. , Longitude) is memorized and synthesized and displayed on the map screen. Moreover, you may display so that the locus | trajectory 13 may be drawn with a thick line etc. on a map screen.

ここで、表示画面上でのそれぞれの映像の配置は、映像間の距離、引出線の長さなどが所定の算出方法に従って演算され、決定される。具体的には、映像間については、他の映像との距離が近づけば斥力が働く関係にあり、映像同士が重ならないように計算される。また、引出線については、軌跡上の切り出し位置から映像までの距離が設定値以上に離れると、離れるに従って抵抗が大きくなる関係で演算され、設定された長さに近づくように決定される。軌跡上の切り出し位置からの引出線の方向は、あらかじめ設定された角度から外れるにつれて抵抗が大きくなるような関係で演算される。また、映像が軌跡と交わらないようにし、表示画面から出ないような制限も加えられている。   Here, the arrangement of the respective images on the display screen is determined by calculating the distance between the images, the length of the leader line, and the like according to a predetermined calculation method. Specifically, between videos, the repulsive force works when the distance from other videos is reduced, and the calculation is performed so that the videos do not overlap. The leader line is calculated so that when the distance from the cutout position on the trajectory to the image is greater than or equal to the set value, the resistance increases as the distance increases, and is determined to approach the set length. The direction of the leader line from the cut-out position on the trajectory is calculated in such a relationship that the resistance increases as the angle deviates from a preset angle. In addition, there is a restriction that the video does not cross the trajectory and does not exit the display screen.

各映像の周囲と引出線との接続位置は、数箇所があらかじめ設定されており、画像の向きを固定して、それらの最も軌跡上の切り出し位置に近いところが選択される。そして、すべての条件を満たすように、要約作成手段としてのCPU(図示せず)により演算処理を行って各映像の表示位置の整合をとり、表示画面上での映像の配置される位置が決定される。なお、表示される映像の数は、上記のように、地図の縮尺などに応じて選択することができ、異なった数を表示することができる。   Several positions are set in advance as the connection positions between the periphery of each video and the leader line. The direction of the image is fixed, and the position closest to the cutout position on the locus is selected. Then, in order to satisfy all the conditions, a CPU (not shown) as a summary creation means performs arithmetic processing to match the display position of each video, and determines the position where the video is arranged on the display screen. Is done. Note that the number of images to be displayed can be selected according to the scale of the map as described above, and different numbers can be displayed.

図4は、本発明に係るドライブ映像要約装置による要約表示の他の実施例を示す図である。縦軸31は出発地点(0km)から目的地までの車両の走行距離を示しており、出発地点から目的地までの間で、映像が切り出された箇所までの走行距離が車両の走行位置と地図情報とから計算されて表示されている。そして、各切り出し箇所での交差点32、踏み切り33、駐車場34などの名称及びその場所での表示35、36、37が縦軸31の走行距離に従って表されている。全部が表示しきれない場合は、スクロール又はページ送りして順次表示し、すべての切り出された箇所を参照することができる。切り出された映像が見たい場合は、表示35、36、37の箇所をクリックすることで、ドライブ映像記憶部11内の記憶部11−1(図1)に記憶され保存されている複数の切り出し映像からそれぞれのクリックされた箇所に対応する映像が読み出されて画面が切り替わり、切り出された映像が表示されるように、画面が階層構造にされている。なお、走行距離の表示に加えて出発地点からの経過時間も表示するようにしてもよい。さらに、車両の内部を撮影するカメラやマイクなども設置してこれらも同時に記録するようにしておけば、映像を切り出す時点での車内の映像や音声も確認することができる。そして、事故が発生したような場合には、このような走行の履歴を調べることで、発生原因の解明に役立たせることができる。   FIG. 4 is a diagram showing another embodiment of summary display by the drive video summarizing apparatus according to the present invention. The vertical axis 31 indicates the vehicle travel distance from the departure point (0 km) to the destination. The travel distance from the departure point to the destination is the vehicle travel position and the map. It is calculated and displayed from the information. The names of intersections 32, crossings 33, parking lots 34, and the like at each cutout location and the indications 35, 36, and 37 at the locations are represented according to the travel distance of the vertical axis 31. If the entire image cannot be displayed, it can be scrolled or paged and displayed sequentially to refer to all the cut out portions. If you want to see the clipped video, you can click on the display 35, 36, or 37 to save multiple clips that are stored and saved in the storage unit 11-1 (FIG. 1) in the drive video storage unit 11. The screen has a hierarchical structure so that the video corresponding to each clicked location is read from the video, the screen is switched, and the clipped video is displayed. In addition to the display of the travel distance, the elapsed time from the departure point may be displayed. Furthermore, if a camera, a microphone, or the like that captures the interior of the vehicle is installed and recorded simultaneously, the video and audio inside the vehicle at the time when the video is cut out can also be confirmed. And when an accident occurs, it can be used for the elucidation of the cause of occurrence by investigating such a driving history.

また、上記の実施例では、ハンドルの舵角や道路案内標識などを自動的に検知して映像を切り出す処理について説明したが、これに限られず、走行中に利用者が映像を切り出したいときに映像の切り出しを指示できる受付手段を別に設けることができる。すなわち、走行中にこの指示を受け取ると映像抽出処理部6によりドライブ映像記憶部11に記憶される映像が切り出されて、切り出した映像をドライブ映像記憶部11内の別の記憶部11−1に記憶して保存するようにする。その後、切り出された映像は上記の図3又は図4で説明したのと同様にして要約表示をすることができる。ここで、受付手段からの指示内容を一旦記憶しておき、以降の指示内容に該当する映像をドライブ映像記憶部11に記憶したときに、再度映像を切り出すかどうかを利用者に確認を求め、切り出すことの確認がされた場合は、映像を切り出すとともに指示内容をそのまま保存し、以降の該当する映像が検出されるたびに記憶部11−1に記憶保存されるようにできる。これにより、利用者の確認後、利用者からの指示がなくとも自動的に指示内容に該当する映像の切り出しが行われ、要約が作成されることになる。また、ハンドルの舵角の検出に限らず、車両に搭載されている他の各種のセンサーからの検出信号に基づいて映像を切り出すようにすることも可能であり、これを利用者が任意に設定及び解除できるようにすることもできる。さらに、上記の実施例では、車両ごとに映像の要約を作成する構成について説明したが、これに限定されるものではなく、各車両で得られた映像データ、GPS信号、舵角情報などの車両から得られる情報を無線ネットワークを経由するなどして、リモートのサーバにデータを送信し、サーバで演算処理するようにして、映像の要約を作成してもよい。   In the above embodiment, the processing for automatically detecting the steering angle of the steering wheel, the road guide sign, and the like has been described. However, the present invention is not limited to this, and the user wants to cut out the image while driving. A receiving means capable of instructing the cutout of the video can be provided separately. That is, when this instruction is received during traveling, the video stored in the drive video storage unit 11 is cut out by the video extraction processing unit 6, and the cut video is stored in another storage unit 11-1 in the drive video storage unit 11. Remember and save. Thereafter, the clipped video can be summarized and displayed in the same manner as described in FIG. 3 or FIG. Here, the instruction content from the receiving means is temporarily stored, and when the video corresponding to the subsequent instruction content is stored in the drive video storage unit 11, the user is asked to confirm whether or not to extract the video again. When it is confirmed that the video is to be cut out, the video is cut out and the instruction content is saved as it is, and is stored and saved in the storage unit 11-1 each time a corresponding video is detected thereafter. Thus, after confirmation by the user, a video corresponding to the instruction content is automatically cut out without any instruction from the user, and a summary is created. In addition to detecting the steering angle of the steering wheel, it is also possible to cut out the video based on detection signals from various other sensors mounted on the vehicle, which can be set arbitrarily by the user And can also be released. Furthermore, in the above embodiment, the configuration for creating the video summary for each vehicle has been described. However, the present invention is not limited to this, and vehicles such as video data, GPS signals, and steering angle information obtained by each vehicle are described. The video summary may be created by transmitting data to a remote server, for example, via a wireless network, and performing computation on the server.

図5は、本発明に係るドライブ映像要約装置を利用する一実施の形態を示すブロック図である。車両40、41、42、43はそれぞれ個別の車両で作成した映像要約を集中管理センター38のデータベース(DB)39に登録し、それぞれの車両は他の車両が作成して集中管理センター38にすでに登録している映像要約を、必要に応じて検索して参照することができる。このように登録されている映像要約を共有化することにより、同じ出発地点から同じ目的地に向かう場合、すでに作成されている映像要約を利用して、初めての経路であっても映像を確認しながら安心して走行することができる。また、複数の登録情報から最短経路を見つけることもできる。なお、車両と集中管理センターとの交信は、携帯端末などを利用することで実施できる。   FIG. 5 is a block diagram showing an embodiment using the drive video summarizing apparatus according to the present invention. Each of the vehicles 40, 41, 42, and 43 registers a video summary created by each individual vehicle in the database (DB) 39 of the central management center 38, and each vehicle is created by another vehicle and is already in the central management center 38. You can search and refer to registered video summaries as necessary. By sharing the video summary registered in this way, when going from the same departure point to the same destination, the video summary already created is used to check the video even for the first route. You can travel with peace of mind. It is also possible to find the shortest path from a plurality of registration information. The communication between the vehicle and the central management center can be performed by using a mobile terminal or the like.

本発明のドライブ映像要約装置は、車両などの移動体による事故を解明するために、重要な運転記録として利用できるだけでなく、広く一般の需要者にも利用できるものであり、旅行用マップなどとして利用することができる。   The drive video summarization device of the present invention can be used not only as an important driving record but also widely used by general consumers to elucidate an accident caused by a moving body such as a vehicle. Can be used.

本発明に係るドライブ映像要約装置の概要を示すブロック図である。It is a block diagram which shows the outline | summary of the drive image | video summary apparatus based on this invention. 図1の映像抽出処理部での処理の流れを示す図である。It is a figure which shows the flow of a process in the image | video extraction process part of FIG. 本発明に係るドライブ映像要約装置による要約表示の一実施例を示す図である。It is a figure which shows one Example of the summary display by the drive image | video summary apparatus based on this invention. 本発明に係るドライブ映像要約装置による要約表示の他の実施例を示す図である。It is a figure which shows the other Example of the summary display by the drive image | video summary apparatus based on this invention. 本発明に係るドライブ映像要約装置を利用する一実施形態を示したブロック図である。1 is a block diagram showing an embodiment using a drive video summarization apparatus according to the present invention.

符号の説明Explanation of symbols

1 カメラ
2 GPS受信機
3 地図情報供給手段
4 カーナビ
5 舵角検出器
6 映像抽出処理部
7 案内標識検出部
8 2値化処理部
9 文字記号認識部
10 エンコーダ
11 ドライブ映像記憶部
12 文字情報記憶部
13 軌跡
14〜21 映像
22〜29 引出し線
30 道路案内標識
38 集中管理センター
39 データベース
40〜43 車両
DESCRIPTION OF SYMBOLS 1 Camera 2 GPS receiver 3 Map information supply means 4 Car navigation 5 Steering angle detector 6 Image | video extraction process part 7 Guidance sign detection part 8 Binarization process part 9 Character symbol recognition part 10 Encoder 11 Drive image | video storage part 12 Character information storage Part 13 Trajectory 14-21 Video 22-29 Lead line 30 Road guide sign 38 Centralized control center 39 Database 40-43 Vehicle

Claims (10)

車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、
前記車両の走行方向の変化が所定の大きさ以上になったことを検出する走行方向変化検出手段と、
前記映像記録手段により記録された映像情報から前記走行方向変化検出手段による検出に基づいて順次映像を切り出す映像抽出手段と、
前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、
前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、
前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像とを合成する要約作成手段と、
前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを、
有するドライブ映像要約装置。
Video recording means for recording a video indicating a situation around the vehicle that changes according to the traveling of the vehicle by a camera installed in the vehicle;
A traveling direction change detecting means for detecting that a change in the traveling direction of the vehicle has reached a predetermined magnitude;
Video extraction means for sequentially cutting out video based on detection by the traveling direction change detection means from video information recorded by the video recording means;
Video storage means for sequentially storing a plurality of videos cut out by the video extraction means;
Map information supply for supplying map information from map information obtained using a communication function with the outside of the vehicle or map information stored in advance in a storage device mounted on the vehicle to the destination of the vehicle Means,
Summarizing means for synthesizing the map information to the destination of the vehicle supplied by the map information supplying means and a plurality of videos read from the video storage means;
Summary display means for displaying the composite video created by the summary creation means as a summary;
Drive video summarization device.
前記要約作成手段は前記走行方向変化検出手段から検出された走行方向に基づいて前記映像記憶手段から複数の映像を読み出し、読み出した複数の映像と前記地図情報供給手段により供給された前記車両の目的地までの地図情報とを合成する請求項1記載のドライブ映像要約装置。   The summary creation means reads a plurality of videos from the video storage means based on the traveling direction detected from the traveling direction change detection means, and the purpose of the vehicle supplied by the plurality of read videos and the map information supply means The drive video summarizing apparatus according to claim 1, wherein the drive video summarizing apparatus combines the map information up to the ground. 前記要約作成手段は前記走行方向変化検出手段から検出された走行方向に基づいて前記車両の走行方向を示す画像を更に合成する請求項1又は2記載のドライブ映像要約装置。   3. The drive video summarizing apparatus according to claim 1, wherein the summary creating unit further synthesizes an image indicating the traveling direction of the vehicle based on the traveling direction detected by the traveling direction change detecting unit. 車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、
前記映像記録手段に記録する映像からあらかじめ設定された文字又は記号を検出する文字記号検出手段と、
前記映像記録手段により記録された映像情報から前記文字記号検出手段による検出に基づいて順次映像を切り出す映像抽出手段と、
前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、
前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、
前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像とを合成する要約作成手段と、
前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを、
有するドライブ映像要約装置。
Video recording means for recording a video indicating a situation around the vehicle that changes according to the traveling of the vehicle by a camera installed in the vehicle;
A character / symbol detection means for detecting a preset character or symbol from the video recorded in the video recording means;
Video extraction means for sequentially cutting out video based on detection by the character symbol detection means from the video information recorded by the video recording means;
Video storage means for sequentially storing a plurality of videos cut out by the video extraction means;
Map information supply for supplying map information from map information obtained using a communication function with the outside of the vehicle or map information stored in advance in a storage device mounted on the vehicle to the destination of the vehicle Means,
Summarizing means for synthesizing the map information to the destination of the vehicle supplied by the map information supplying means and a plurality of videos read from the video storage means;
Summary display means for displaying the composite video created by the summary creation means as a summary;
Drive video summarization device.
前記映像記憶手段は前記文字記号検出手段により検出された文字又は記号を更に保存し、前記要約作成手段は前記映像記憶手段から読み出された前記文字又は記号を更に合成する請求項4記載のドライブ映像要約装置。   5. The drive according to claim 4, wherein the video storage means further stores characters or symbols detected by the character symbol detection means, and the summary creation means further synthesizes the characters or symbols read from the video storage means. Video summarization device. 車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、
前記映像記録手段に記録する映像から道路案内標識を検出する案内標識検出手段と、
前記車両の走行方向の変化が所定の大きさ以上になったことを検出する走行方向変化検出手段と、
前記案内標識検出手段によって道路案内標識を検出した直後の前記走行方向変化検出手段による走行方向の変化に基づいて前記映像記録手段により記録された映像情報から映像を切り出す映像抽出手段と、
前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、
前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、
前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像及び前記案内標識検出手段により検出した道路案内標識とを合成する要約作成手段と、
前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを、
有するドライブ映像要約装置。
Video recording means for recording a video indicating a situation around the vehicle that changes according to the traveling of the vehicle by a camera installed in the vehicle;
Guidance sign detection means for detecting road guidance signs from video recorded in the video recording means;
A traveling direction change detecting means for detecting that a change in the traveling direction of the vehicle has reached a predetermined magnitude;
Video extraction means for cutting out video from the video information recorded by the video recording means based on a change in travel direction by the travel direction change detection means immediately after detecting the road guide sign by the guide sign detection means;
Video storage means for sequentially storing a plurality of videos cut out by the video extraction means;
Map information supply for supplying map information from map information obtained using a communication function with the outside of the vehicle or map information stored in advance in a storage device mounted on the vehicle to the destination of the vehicle Means,
Summarizing means for synthesizing the map information to the destination of the vehicle supplied by the map information supplying means, a plurality of videos read from the video storage means and the road guide signs detected by the guide sign detecting means. When,
Summary display means for displaying the composite video created by the summary creation means as a summary;
Drive video summarization device.
前記要約作成手段は前記走行方向変化検出手段から検出された走行方向に基づいて前記映像記憶手段から複数の映像を読み出し、読み出した複数の映像と前記地図情報供給手段により供給された前記車両の目的地までの地図情報及び前記案内標識検出手段により検出した道路案内標識とを合成する請求項6記載のドライブ映像要約装置。   The summary creation means reads a plurality of videos from the video storage means based on the traveling direction detected from the traveling direction change detection means, and the purpose of the vehicle supplied by the plurality of read videos and the map information supply means 7. The drive video summarizing apparatus according to claim 6, wherein the map information to the ground and the road guide sign detected by the guide sign detecting means are synthesized. 前記要約作成手段は前記走行方向変化検出手段から検出された走行方向に基づいて前記車両の走行方向を示す画像を更に合成する請求項6又は7記載のドライブ映像要約装置。   8. The drive video summarizing apparatus according to claim 6, wherein the summary creating unit further synthesizes an image indicating the traveling direction of the vehicle based on the traveling direction detected by the traveling direction change detecting unit. 車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、
利用者から前記映像記録手段に記録する映像から切り出す映像の指示を受け取る受付手段と、
前記映像記録手段により記録された映像情報から前記受付手段の指示に基づいて映像を切り出す映像抽出手段と、
前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、
前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、
前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出した複数の映像とを合成する要約作成手段と、
前記要約作成手段により作成された合成画像を要約として表示する要約表示手段とを、
有するドライブ映像要約装置。
Video recording means for recording a video indicating a situation around the vehicle that changes according to the traveling of the vehicle by a camera installed in the vehicle;
Receiving means for receiving an instruction of a video to be cut out from a video recorded in the video recording means from a user;
Video extraction means for cutting out video based on instructions from the reception means from video information recorded by the video recording means;
Video storage means for sequentially storing a plurality of videos cut out by the video extraction means;
Map information supply for supplying map information from map information obtained using a communication function with the outside of the vehicle or map information stored in advance in a storage device mounted on the vehicle to the destination of the vehicle Means,
Summary creation means for combining the map information supplied by the map information supply means to the destination of the vehicle and a plurality of videos read from the video storage means;
Summary display means for displaying the composite image created by the summary creation means as a summary;
Drive video summarization device.
前記映像抽出手段は前記受付手段からの指示内容に該当する映像を前記映像記録手段に記録した映像から切り出すかどうかの判断を利用者に要求する確認手段を有し、前記確認手段により切り出す確認が得られたときは以降の該当する映像を切り出す請求項9記載のドライブ映像要約装置。

The video extraction means has confirmation means for requesting a user to determine whether or not to cut out the video corresponding to the instruction content from the reception means from the video recorded in the video recording means. 10. The drive video summarizing apparatus according to claim 9, wherein when it is obtained, the corresponding video is cut out thereafter.

JP2008088110A 2008-03-28 2008-03-28 Drive video summarization device Expired - Fee Related JP4866384B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008088110A JP4866384B2 (en) 2008-03-28 2008-03-28 Drive video summarization device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008088110A JP4866384B2 (en) 2008-03-28 2008-03-28 Drive video summarization device

Publications (2)

Publication Number Publication Date
JP2009246503A true JP2009246503A (en) 2009-10-22
JP4866384B2 JP4866384B2 (en) 2012-02-01

Family

ID=41307974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008088110A Expired - Fee Related JP4866384B2 (en) 2008-03-28 2008-03-28 Drive video summarization device

Country Status (1)

Country Link
JP (1) JP4866384B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011069291A1 (en) * 2009-12-10 2011-06-16 Nokia Corporation Method, apparatus or system for image processing
JP2011217116A (en) * 2010-03-31 2011-10-27 Mitsui Sumitomo Insurance Co Ltd Reproducing device, imaging reproducing system, imaging reproducing method, reproducing program and imaging program
JP2012141942A (en) * 2011-01-04 2012-07-26 Aptos Technology Inc Vehicle recording device
JP2012189371A (en) * 2011-03-09 2012-10-04 Mic Ware:Kk Navigation device, photographing control method, and program
CN102831670A (en) * 2012-08-13 2012-12-19 天瀚科技(吴江)有限公司 Driving recorder and method of analyzing driving behaviors by using same
CN102831669A (en) * 2012-08-13 2012-12-19 天瀚科技(吴江)有限公司 Driving recorder capable of simultaneous displaying of map and video pictures
US20140028848A1 (en) * 2012-07-26 2014-01-30 Denso Corporation Drive video recording device and method, drive video recording system, and summarized moving image creating device
WO2014054289A1 (en) * 2012-10-03 2014-04-10 株式会社デンソー Vehicle navigation system, and image capture device for vehicle
JP2014062805A (en) * 2012-09-21 2014-04-10 Jvc Kenwood Corp Picture information providing device and method
KR20150130717A (en) * 2014-05-14 2015-11-24 주식회사 일리시스 Event detection system of blackbox for vehicle and method for event detection
KR20190071067A (en) * 2017-12-14 2019-06-24 현대자동차주식회사 Vehicle and method for controlling the vehicle
JP2020123117A (en) * 2019-01-30 2020-08-13 大日本印刷株式会社 Image data providing system
US11388338B2 (en) 2020-04-24 2022-07-12 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Video processing for vehicle ride
US11396299B2 (en) * 2020-04-24 2022-07-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Video processing for vehicle ride incorporating biometric data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063459A (en) * 2001-08-29 2003-03-05 Matsushita Electric Ind Co Ltd Drive recorder device for vehicle
JP2005348329A (en) * 2004-06-07 2005-12-15 Fuji Photo Film Co Ltd Automobile monitoring system
WO2007066696A1 (en) * 2005-12-09 2007-06-14 Pioneer Corporation Information recording device, information recording method, information recording program and computer readable recording medium
JP2007218698A (en) * 2006-02-15 2007-08-30 Clarion Co Ltd Navigation system, navigation method, and navigation program
JP2008500561A (en) * 2004-06-03 2008-01-10 シャープ株式会社 MAP DATA CREATION DEVICE, MOBILE BODY HAVING THE SAME, AND MAP DATA CREATION METHOD
JP2008039642A (en) * 2006-08-08 2008-02-21 Denso Corp Navigation device, and image generation method and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063459A (en) * 2001-08-29 2003-03-05 Matsushita Electric Ind Co Ltd Drive recorder device for vehicle
JP2008500561A (en) * 2004-06-03 2008-01-10 シャープ株式会社 MAP DATA CREATION DEVICE, MOBILE BODY HAVING THE SAME, AND MAP DATA CREATION METHOD
JP2005348329A (en) * 2004-06-07 2005-12-15 Fuji Photo Film Co Ltd Automobile monitoring system
WO2007066696A1 (en) * 2005-12-09 2007-06-14 Pioneer Corporation Information recording device, information recording method, information recording program and computer readable recording medium
JP2007218698A (en) * 2006-02-15 2007-08-30 Clarion Co Ltd Navigation system, navigation method, and navigation program
JP2008039642A (en) * 2006-08-08 2008-02-21 Denso Corp Navigation device, and image generation method and program

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102741835B (en) * 2009-12-10 2015-03-18 诺基亚公司 Method, apparatus or system for image processing
CN102741835A (en) * 2009-12-10 2012-10-17 诺基亚公司 Method, apparatus or system for image processing
WO2011069291A1 (en) * 2009-12-10 2011-06-16 Nokia Corporation Method, apparatus or system for image processing
US10567726B2 (en) 2009-12-10 2020-02-18 Nokia Technologies Oy Method, apparatus or system for image processing
JP2011217116A (en) * 2010-03-31 2011-10-27 Mitsui Sumitomo Insurance Co Ltd Reproducing device, imaging reproducing system, imaging reproducing method, reproducing program and imaging program
JP2012141942A (en) * 2011-01-04 2012-07-26 Aptos Technology Inc Vehicle recording device
JP2012189371A (en) * 2011-03-09 2012-10-04 Mic Ware:Kk Navigation device, photographing control method, and program
US20140028848A1 (en) * 2012-07-26 2014-01-30 Denso Corporation Drive video recording device and method, drive video recording system, and summarized moving image creating device
DE102013214334A1 (en) 2012-07-26 2014-01-30 Denso Corporation CIRCUIT VIDEO RECORDING DEVICE AND METHOD, DRIVING VIDEO RECORDING SYSTEM AND GENERATING MOVEMENT PICTURE FOR A MIXED MOVEMENT PICTURE
US9350952B2 (en) * 2012-07-26 2016-05-24 Denso Corporation Drive video recording device and method, drive video recording system, and summarized moving image creating device
CN102831670A (en) * 2012-08-13 2012-12-19 天瀚科技(吴江)有限公司 Driving recorder and method of analyzing driving behaviors by using same
CN102831669A (en) * 2012-08-13 2012-12-19 天瀚科技(吴江)有限公司 Driving recorder capable of simultaneous displaying of map and video pictures
JP2014062805A (en) * 2012-09-21 2014-04-10 Jvc Kenwood Corp Picture information providing device and method
WO2014054289A1 (en) * 2012-10-03 2014-04-10 株式会社デンソー Vehicle navigation system, and image capture device for vehicle
KR20150130717A (en) * 2014-05-14 2015-11-24 주식회사 일리시스 Event detection system of blackbox for vehicle and method for event detection
KR102211496B1 (en) * 2014-05-14 2021-02-03 주식회사 인텔리빅스 Event detection system of blackbox for vehicle and method for event detection
KR20190071067A (en) * 2017-12-14 2019-06-24 현대자동차주식회사 Vehicle and method for controlling the vehicle
KR102443843B1 (en) * 2017-12-14 2022-09-16 현대자동차주식회사 Vehicle and method for controlling the vehicle
JP2020123117A (en) * 2019-01-30 2020-08-13 大日本印刷株式会社 Image data providing system
JP7373125B2 (en) 2019-01-30 2023-11-02 大日本印刷株式会社 Image data provision system
US11388338B2 (en) 2020-04-24 2022-07-12 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Video processing for vehicle ride
US11396299B2 (en) * 2020-04-24 2022-07-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Video processing for vehicle ride incorporating biometric data

Also Published As

Publication number Publication date
JP4866384B2 (en) 2012-02-01

Similar Documents

Publication Publication Date Title
JP4866384B2 (en) Drive video summarization device
US8600655B2 (en) Road marking recognition system
JP4446204B2 (en) Vehicle navigation apparatus and vehicle navigation program
CN107560622A (en) A kind of method and apparatus based on driving image-guidance
US6076041A (en) Land vehicle navigation apparatus with guidance display image limiter for recognizability enhancement
JP5022259B2 (en) Car navigation system and parking lot guidance method
EP2241859B1 (en) Improved vehicle navigation system
EP2141678A1 (en) Driving support system
US7751970B2 (en) Information providing apparatus, information providing method, and computer product
CN110926487A (en) Driving assistance method, driving assistance system, computing device, and storage medium
JP2008293380A (en) Lane determination device, lane determination method and navigation apparatus using the same
JP4424961B2 (en) Navigation device and navigation method
CN101542236A (en) Navigation device
JPH1123299A (en) Car navigation system and storage medium
JP2007155352A (en) Route guide system and method
JP2007178383A (en) Route guidance system and method
JPWO2007105518A1 (en) Location registration device, route search device, location registration method, location registration program, and recording medium
JP4894584B2 (en) Route guidance device
JP2006038558A (en) Car navigation system
JP3817631B2 (en) Road warning detection device
CN107406072A (en) Vehicle assisted system
CN114096996A (en) Method and apparatus for using augmented reality in traffic
CN1967152B (en) Navigation device and its crossing enlarged drawing display method
EP2208967A1 (en) Navigation system including route guidance function and method of route searching
CN111351503A (en) Driving assistance method, driving assistance system, computing device, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4866384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees