JP2009246503A - Drive video image summary apparatus - Google Patents
Drive video image summary apparatus Download PDFInfo
- Publication number
- JP2009246503A JP2009246503A JP2008088110A JP2008088110A JP2009246503A JP 2009246503 A JP2009246503 A JP 2009246503A JP 2008088110 A JP2008088110 A JP 2008088110A JP 2008088110 A JP2008088110 A JP 2008088110A JP 2009246503 A JP2009246503 A JP 2009246503A
- Authority
- JP
- Japan
- Prior art keywords
- video
- vehicle
- map information
- traveling direction
- drive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Navigation (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、車載用カメラからの映像情報を基にして所定の映像を切り出し利用する装置に関する。 The present invention relates to an apparatus that cuts out and uses a predetermined video based on video information from a vehicle-mounted camera.
近年では、車両に設置した車載用カメラに記憶された映像をもとにして事故発生時の状況を解明する装置が知られている(例えば下記の特許文献1参照)。この特許文献1には、あらかじめ記憶した事故の発生しやすい特定地点を道路標識などから認識し、走行中に特定地点での画像を記録する装置が開示されている。また、異常状態を検出するとその異常状態を同定するための標識付き運転データを記録する運転記録システムが知られている(例えば下記の特許文献2)。さらに、撮影した画像から道路標識や看板などを検出し、GPS(Global Positioning System)受信装置がなくとも車両が移動した経路や位置を特定するドライブレコーダも知られている(例えば下記の特許文献3)。
しかしながら、上記いずれの従来技術においても、得られた映像情報を加工編集して利用者の便宜を図る点については検討がなされていない。すなわち、上記特許文献1及び特許文献2には、特定地点や異常状態に基づき画像情報などを記録するものであるが、記録された画像情報などの具体的な利用方法については検討がなされていない。また、特許文献3は、道路標識や看板などからGPS機能を補足するものであり、道路標識や看板などの認識方法について記載されている。これらの特許文献に開示されている画像処理技術を利用して画像を記録すれば、車両(移動体)が走行した全走行画像を記録する場合と比較して、記憶容量の節約となり、また、後で見る者の時間の節約となるが、それらを見やすく表示し、後で有効活用が出来るようにしておくことには検討がなされていない。
However, none of the above-described conventional techniques has been studied on the point that the obtained video information is processed and edited for the convenience of the user. That is, in
本発明は、上記の従来技術の問題点を解決するためになされたものであり、その目的は、全体のドライブ経路の中で交差点での右折、左折など車両の走行方向の変化が大きい箇所や所定の文字・記号あるいは道路案内標識などの映像を、地図情報と関連させて映像の要約として記憶し、必要に応じてこの映像の要約を利用できるようにしたドライブ映像要約装置を提供することにある。 The present invention has been made in order to solve the above-described problems of the prior art, and the purpose of the present invention is to provide a place where there is a large change in the traveling direction of the vehicle such as a right turn or a left turn at an intersection in the entire drive route. To provide a drive video summarization device which stores video such as predetermined characters / symbols or road guide signs as video summary in association with map information, and can use this video summary when necessary. is there.
上記目的を達成するため、本発明のドライブ映像要約装置は、車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、前記車両の走行方向の変化が所定の大きさ以上になったことを検出する走行方向変化検出手段と、前記映像記録手段により記録された映像情報から前記走行方向変化検出手段による検出に基づいて順次映像を切り出す映像抽出手段と、前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像とを合成する要約作成手段と、前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを有する。 In order to achieve the above object, a drive video summarization apparatus according to the present invention includes a video recording means for recording a video showing a situation around the vehicle that changes according to the travel of the vehicle by a camera installed in the vehicle, and the travel of the vehicle. A traveling direction change detecting means for detecting that the direction change has exceeded a predetermined magnitude, and a video that sequentially cuts out the video from the video information recorded by the video recording means based on the detection by the traveling direction change detecting means Extraction means, video storage means for sequentially storing a plurality of videos cut out by the video extraction means, map information obtained using a communication function with the outside of the vehicle, or a storage device mounted on the vehicle Map information supply means for supplying map information from map information stored in advance to the destination of the vehicle, and supplied by the map information supply means Summary creating means for combining the map information to the destination of the vehicle and a plurality of videos read from the video storage means; summary display means for displaying the synthesized video created by the summary creating means as a summary; Have
この構成により、車両の目的地までの走行経路において、カーブした道などでの映像を後で見ることができて、走行する際の安全性をチェックできる。 With this configuration, a video on a curved road or the like can be seen later on the travel route to the destination of the vehicle, and safety when traveling can be checked.
また、上記目的を達成するため、本発明のドライブ映像要約装置は、車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、前記映像記録手段に記録する映像からあらかじめ設定された文字又は記号を検出する文字記号検出手段と、前記映像記録手段により記録された映像情報から前記文字記号検出手段による検出に基づいて順次映像を切り出す映像抽出手段と、前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像とを合成する要約作成手段と、前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを有する。 In order to achieve the above object, a drive video summarizing device according to the present invention includes a video recording means for recording a video indicating a situation around the vehicle, which changes according to travel of the vehicle, by a camera installed in the vehicle, and the video Character symbol detection means for detecting a preset character or symbol from the video recorded in the recording means, and video extraction for sequentially cutting out the video from the video information recorded by the video recording means based on the detection by the character symbol detection means Means, video storage means for sequentially storing a plurality of videos cut out by the video extraction means, map information obtained using a communication function with the outside of the vehicle, or a storage device mounted on the vehicle in advance Map information supply means for supplying map information from the stored map information to the destination of the vehicle, and the map information supply means Summarization means for combining the supplied map information to the destination of the vehicle and a plurality of videos read from the video storage means, and a summary for displaying the synthesized video created by the summary creation means as a summary Display means.
この構成により、あらかじめ設定した経由地や目的地が道路案内標識などに記載されている場合には、その場所での周囲の映像を記録し、これを後で参照することができる。 With this configuration, when a preset waypoint or destination is described on a road guide sign or the like, it is possible to record a video around the place and refer to it later.
また、上記目的を達成するため、本発明のドライブ映像要約装置は、車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、前記映像記録手段に記録する映像から道路案内標識を検出する案内標識検出手段と、前記車両の走行方向の変化が所定の大きさ以上になったことを検出する走行方向変化検出手段と、前記案内標識検出手段によって道路案内標識を検出した直後の前記走行方向変化検出手段による走行方向の変化に基づいて前記映像記録手段により記録された映像情報から映像を切り出す映像抽出手段と、前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像及び前記案内標識検出手段により検出した道路案内標識とを合成する要約作成手段と、前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを有する。 In order to achieve the above object, a drive video summarizing device according to the present invention includes a video recording means for recording a video indicating a situation around the vehicle, which changes according to travel of the vehicle, by a camera installed in the vehicle, and the video A guide sign detecting means for detecting a road guide sign from the video recorded in the recording means, a travel direction change detecting means for detecting that a change in the travel direction of the vehicle has exceeded a predetermined magnitude, and the guide sign detection Video extraction means for cutting out video from the video information recorded by the video recording means based on a change in travel direction by the travel direction change detection means immediately after detecting a road guide sign by means, and cut out by the video extraction means Video storage means for sequentially storing a plurality of videos and map information obtained by using a communication function with the outside of the vehicle or mounted on the vehicle Map information supply means for supplying map information from the map information stored in advance to the destination of the vehicle, map information to the destination of the vehicle supplied by the map information supply means, and Summary creation means for combining a plurality of videos read from the video storage means and the road guide signs detected by the guide sign detection means, and summary display means for displaying the synthesized video created by the summary creation means as a summary And have.
この構成により、あらかじめ設定した経由地や目的地に関連する交差点で車両が右折又は左折をした場合に、そのときの映像を道路案内標識とともに後で確認することができる。 With this configuration, when the vehicle makes a right turn or a left turn at an intersection related to a preset waypoint or destination, the video at that time can be confirmed later together with a road guide sign.
また、上記目的を達成するため、本発明のドライブ映像要約装置は、車両に設置したカメラにより前記車両の走行に従って変化する前記車両の周囲の状況を示す映像を記録する映像記録手段と、利用者から前記映像記録手段に記録する映像から切り出す映像の指示を受け取る受付手段と、前記映像記録手段により記録された映像情報から前記受付手段の指示に基づいて順次映像を切り出す映像抽出手段と、前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出した複数の映像とを合成する要約作成手段と、前記要約作成手段により作成された合成画像を要約として表示する要約表示手段とを有する。 In order to achieve the above object, a drive video summarization apparatus according to the present invention includes a video recording means for recording a video showing a situation around the vehicle that changes according to the travel of the vehicle by a camera installed in the vehicle, and a user. Receiving means for receiving an instruction of a video to be cut out from the video recorded in the video recording means, video extracting means for sequentially cutting out the video based on the instruction of the receiving means from the video information recorded by the video recording means, and the video Image storage means for sequentially storing a plurality of images cut out by the extraction means, map information obtained by using a communication function with the outside of the vehicle, or a map stored in advance in a storage device mounted on the vehicle Map information supply means for supplying map information from the information to the destination of the vehicle, and an eye of the vehicle supplied by the map information supply means It has a summary creation unit for combining a plurality of images read from the map information and the image storage means to the earth, and a summary display means for displaying the composite image created by the summary creation unit as a summary.
この構成により、走行中に利用者が映像を切り出したい任意の地点を受付手段によって指示することができるため、走行中での景観などを記録することができる。 With this configuration, since the user can instruct an arbitrary point where he / she wants to cut out the video while traveling, the landscape during traveling can be recorded.
本発明に係るドライブ映像要約装置によれば、出発地点から目的地まで車両が走行した地図上の経路などを表示するとともに、途中の特定箇所で記録された映像も同時に画面上に表示させて要約を構成することとしたため、辿った経路の周囲の状況が映像で再現されて経路の確認が一層容易になる。また、再度、同じ経路を利用したい場合には、かかる要約を保存し、利用できるようにしておけばよく、経路全体の映像の記録を保存する場合に比べて、記憶容量を格段に少なく出来る。 According to the drive video summarizing apparatus according to the present invention, the route on the map on which the vehicle has traveled from the departure point to the destination is displayed, and the video recorded at a specific point in the middle is simultaneously displayed on the screen for summarization. Therefore, it is possible to confirm the route more easily by reproducing the situation around the route followed by the video. Further, if the same route is to be used again, it is only necessary to save and use the summary, and the storage capacity can be remarkably reduced as compared with the case where the video recording of the entire route is saved.
以下、本発明を図面に示す好適な実施の形態に基づいて詳細に説明する。
図1は本発明に係るドライブ映像要約装置の概要を示すブロック図である。本発明のドライブ映像要約装置では、主として、車両の前方周辺を撮影するために車両に設置されて映像信号を出力するカメラ1と、GPS受信機2による車両の現在の位置情報と地図情報供給手段3からの地図情報とに基づいて地図上での車両の現在位置に関する情報を出力するカーナビ4と、車両のハンドル舵角が所定角度以上に回転されたことを検知して走行方向の変化を検出する舵角検出器5とに基づいて、映像抽出処理部6がドライブ映像記憶部11から映像の切り出しを行う。
Hereinafter, the present invention will be described in detail based on preferred embodiments shown in the drawings.
FIG. 1 is a block diagram showing an outline of a drive video summarizing apparatus according to the present invention. In the drive video summarizing apparatus of the present invention, mainly the
また、カメラ1からは車両の走行中に撮影された映像信号が常時出力されており、案内標識検出部7であらかじめ記憶した標準画像とパターンマッチングを行ってこの映像信号に道路案内標識が含まれている場合は、道路案内標識の部分だけが切り出される。また、2値化処理部8によって多値画像の映像信号は2値化され、2値化された映像信号を文字記号認識部9によってあらかじめ設定された目的地などの文字や記号が含まれているかどうかの検出を行う。この際、カーナビ4からの交差点情報に基づいて車両が交差点まで所定の距離に達したときに道路案内標識の検出及び文字や記号の認識を開始することもできる。カメラ1から出力される映像信号は、常時、エンコーダ10により符号化されてドライブ映像記憶部11に少なくとも走行中の一定時間の映像が記憶される。すなわち、ドライブ映像記憶部11の一部はリングバッファ構造になっており、記憶された映像が切り出される度に記憶をクリアして新たな映像を記憶し、クリアされるまでの間の一定期間の映像が記憶される。道路案内標識などが検出される頻度を考慮すると20分乃至30分程度の映像が記憶できればよい。
The
そして、映像抽出処理部6は、舵角検出器5、案内標識検出部7、文字記号認識部9からの走行方向の変化などの検出信号に基づき、ドライブ映像記憶部11に記憶された映像を切り出す。ここで、ドライブ映像記憶部11では、上述のようにカメラ1からの映像を常時記憶し映像が切り出される度にクリアするとともに、切り出された映像をドライブ映像記憶部11内の他の記憶部11−1に順次記憶して保存する。また、切り出される映像は、検出された時点での映像に限らず、検出される前に記憶されている映像を同時に切り出すことも可能である。例えば、右折又は左折するハンドルの舵角を検出した場合に所定時間前の映像も同時に切り出すようにすることができる。これにより、交差点での右折又は左折の前後の映像を表示することができる。また、文字情報記憶部12により走行距離や経過時間などの文字情報を映像に付加することもできる。
The video
そして、カーナビ4による車両の現在の位置情報と地図情報供給手段3による地図情報から走行した軌跡などを作成し、切り出された映像や文字情報とともに加工編集して映像の要約を作成することができる。すなわち、カーナビ4からの車両の位置情報と地図情報供給手段3からの地図情報をもとに走行した経路を軌跡などとして表示し、これに交差点などの特定の地点で切り出された映像や文字を合成してかかる合成映像を要約として表示する。これにより、出発地点から目的地までに検出された案内表示板のある映像や右折、左折時での映像などが軌跡などと共に表示されて、利用者は交差点などのチェックポイントでの映像を確認することができる。ここで、地図情報供給手段3は車両の外部との通信機能を用いて地図情報を得るものでも、また、車両自体があらかじめ固定メモリなどに記憶されて所有しているものであってもよい。そして、これらの切り出された映像を加工編修して要約表示とするための各種演算処理は、図示しないCPU(Central Processing Unit)によって実行される。
Then, a travel locus or the like can be created from the current position information of the vehicle by the
以下に、図面を参照しつつ、本発明のドライブ映像要約装置の動作を説明する。 The operation of the drive video summarizing device of the present invention will be described below with reference to the drawings.
図2は、図1の映像抽出処理部6での処理の流れを示す図であり、図1及び図2を用いて以下に映像抽出処理部6の動作を説明する。
利用者は車両に設置したカーナビ4により経由地及び目的地を設定すると、車両の走行に伴って、カメラ1から車両の周囲の状況が映像としてドライブ映像記憶部11に記憶される。走行中に道路案内標識を案内標識検出部7で検出すると(S1)、映像を2値化処理し(S2)、経由地などに関連する文字や記号が含まれていないか認識を行う(S3)。関連する文字や記号が含まれている場合であって、この道路案内標識が検出された直後に(S1)、右折又は左折が検出されたときには(S5)、映像抽出処理部6により、ドライブ映像記憶部11に記憶された映像を切り出し、切り出した映像をその場所の名称及び緯度経度からなる座標位置と共にドライブ映像記憶部11内の別の記憶部11−1に移動させ保存する(S4)。ここで、切り出し箇所での名称は、カーナビ4による車両の現在の位置情報(緯度、経度)と地図情報供給手段3からの地図情報によって参照できる。これにより、目的地に関連する交差点での映像が切り出されることになる。このとき検出された案内標識を切り出された映像と合成することもできる。さらに、切り出された映像の中に右折又は左折した走行方向を示す矢印などを表示するようにしてもよい。これにより、交差点をどちらの方向に曲がったのかを同時に確認できる。なお、右折又は左折の検出は、カーナビ4の交差点情報により現在位置から次の交差点までの距離を計算し、所定の距離に達してからその後の舵角検出部5からの信号が所定値以上になったかどうかによって行うこともできる。また、走行方向の変化に拘わらず、道路案内標識を検出したときの映像を切り出すようにすることも可能である。
FIG. 2 is a diagram showing the flow of processing in the video
When a user sets a waypoint and a destination using the
さらに、橋や踏み切りの通過を検出したとき(S6)、有料道路入出口を検出したとき(S7)、行政界通過を検出したとき(S8)、駐車場に駐車したとき(S9)にも映像を切り出す(S4)ようにすることが可能である。なお、橋や踏み切り、有料道路入出口、行政界通過、駐車場に関する名称などの情報は、カーナビ4からの車両の現在位置情報と地図情報供給手段3からの地図情報によって知ることができる。
In addition, when you detect the passage of a bridge or railroad crossing (S6), when you detect a toll road entry / exit (S7), when you detect the passage through the administrative boundary (S8), or when you park in a parking lot (S9) It is possible to cut out (S4). Information such as bridges, railroad crossings, toll road entrances / exits, administrative boundaries, and parking lot names can be obtained from vehicle current position information from the
ここで、切り出された映像を要約に使用する場合に、例えば、走行中に右折又は左折が繰り返されて切り出された映像が多数抽出されると、後述するように同時に表示されている地図の縮尺によっては表示する箇所が多すぎて表示できなくなるため、映像部分を縮尺に応じて縮小して表示する必要がある。また、映像を縮小すると映像として見にくくなるような場合には、表示する映像の数を減らして表示することが必要となるが、読み出される映像の選択の方法としては、一定時間を経過するごとに映像が表示されるように、表示する映像を間引いて読み出すようにするか、又は、事故が頻発している交差点を優先して表示するなどの優先度を考慮して表示できる数にする必要がある。また、映像を切り出した後に、車両の現在位置が目的地に対して近ずく方向に移動している場合は、評価を高くするような現在地から目標地点までの変化量による評価値をその切り出した映像に与えておき、例えば、交差点で目的地に近ずくように車両の方向を変えた場合を優先的に要約を作成するための映像として読み出されるようにすることもできる。この場合の車両方向は、舵角検出部5(図1)から検出し、映像を切り出す際にその変化量に基づく評価値を付与するようにしておき、要約を作成する際にはこの評価値に基づいて映像を読み出して、要約を作成することができる。 Here, when the clipped video is used for summarization, for example, when a large number of video clips extracted by repeated right or left turn during driving are extracted, the scale of the map displayed at the same time will be described later. In some cases, there are too many places to be displayed, so that the video portion needs to be reduced and displayed according to the scale. In addition, if it is difficult to view the video as the video is reduced, it is necessary to reduce the number of video to be displayed. However, as a method of selecting the video to be read, every time a certain time passes, In order to display the video, it is necessary to thin out and read out the video to be displayed, or to display the video in consideration of the priority, such as displaying the intersection with frequent accidents. is there. Also, after the video is cut out, if the current position of the vehicle is moving closer to the destination, the evaluation value based on the amount of change from the current location to the target point is extracted. For example, a case where the direction of the vehicle is changed so as to approach the destination at an intersection may be read as a video for preferentially creating a summary. The vehicle direction in this case is detected from the rudder angle detector 5 (FIG. 1), and an evaluation value based on the amount of change is given when the video is cut out, and this evaluation value is used when creating a summary. The video can be read out based on the above to create a summary.
一方、切り出される映像が少ないと予想される場合は、映像を記憶できる容量の範囲内で、一定時間経過するごとに映像を強制的に切り出すようにする機能を加えることができるようにしておけばよい。 On the other hand, if it is expected that there will be a small amount of video to be cut out, it is possible to add a function that forcibly cuts the video after a certain period of time within the capacity of video storage. Good.
図3は、本発明に係るドライブ映像要約装置による要約表示の一実施例を示す図である。出発地点(S)から目的地(G)までの軌跡13が地図上(図示せず)に表されており、また、切り出された映像14、15、16、17、18、19、20、21は軌跡13上のそれぞれの映像が切り出されたときの地点に対応した位置に引出し線22、23、24、25、26、27、28、29と接続されている。すなわち、上記のドライブ映像記憶部11内の記憶部11−1(図1)に記憶されている複数の映像のうち座標位置(緯度、経度)が一致する映像と軌跡上の地点が引き出し線で結ばれる。図3に表示されている映像は同一の大きさであるが、事故の多発する交差点では映像を他よりも大きく表示させるようにしてもよい。映像14、15、16、17、18、19、20、21の下には、出発地点(S)からの走行距離と経過時間も併せて表示されている。また、各映像の一部分には切り出された道路案内標識30が表示されている。なお、図3に描かれている軌跡13は、地図情報と走行中の車両の位置情報とからカーナビ4(図1)によって作成されるものであり、車両の走行に伴って車両の位置(緯度、経度)を記憶してゆき、地図画面上で合成して表示される。また、軌跡13がよくわかるように、地図画面上に太い線などで描かれるように表示してもよい。
FIG. 3 is a diagram showing an embodiment of summary display by the drive video summarizing apparatus according to the present invention. A
ここで、表示画面上でのそれぞれの映像の配置は、映像間の距離、引出線の長さなどが所定の算出方法に従って演算され、決定される。具体的には、映像間については、他の映像との距離が近づけば斥力が働く関係にあり、映像同士が重ならないように計算される。また、引出線については、軌跡上の切り出し位置から映像までの距離が設定値以上に離れると、離れるに従って抵抗が大きくなる関係で演算され、設定された長さに近づくように決定される。軌跡上の切り出し位置からの引出線の方向は、あらかじめ設定された角度から外れるにつれて抵抗が大きくなるような関係で演算される。また、映像が軌跡と交わらないようにし、表示画面から出ないような制限も加えられている。 Here, the arrangement of the respective images on the display screen is determined by calculating the distance between the images, the length of the leader line, and the like according to a predetermined calculation method. Specifically, between videos, the repulsive force works when the distance from other videos is reduced, and the calculation is performed so that the videos do not overlap. The leader line is calculated so that when the distance from the cutout position on the trajectory to the image is greater than or equal to the set value, the resistance increases as the distance increases, and is determined to approach the set length. The direction of the leader line from the cut-out position on the trajectory is calculated in such a relationship that the resistance increases as the angle deviates from a preset angle. In addition, there is a restriction that the video does not cross the trajectory and does not exit the display screen.
各映像の周囲と引出線との接続位置は、数箇所があらかじめ設定されており、画像の向きを固定して、それらの最も軌跡上の切り出し位置に近いところが選択される。そして、すべての条件を満たすように、要約作成手段としてのCPU(図示せず)により演算処理を行って各映像の表示位置の整合をとり、表示画面上での映像の配置される位置が決定される。なお、表示される映像の数は、上記のように、地図の縮尺などに応じて選択することができ、異なった数を表示することができる。 Several positions are set in advance as the connection positions between the periphery of each video and the leader line. The direction of the image is fixed, and the position closest to the cutout position on the locus is selected. Then, in order to satisfy all the conditions, a CPU (not shown) as a summary creation means performs arithmetic processing to match the display position of each video, and determines the position where the video is arranged on the display screen. Is done. Note that the number of images to be displayed can be selected according to the scale of the map as described above, and different numbers can be displayed.
図4は、本発明に係るドライブ映像要約装置による要約表示の他の実施例を示す図である。縦軸31は出発地点(0km)から目的地までの車両の走行距離を示しており、出発地点から目的地までの間で、映像が切り出された箇所までの走行距離が車両の走行位置と地図情報とから計算されて表示されている。そして、各切り出し箇所での交差点32、踏み切り33、駐車場34などの名称及びその場所での表示35、36、37が縦軸31の走行距離に従って表されている。全部が表示しきれない場合は、スクロール又はページ送りして順次表示し、すべての切り出された箇所を参照することができる。切り出された映像が見たい場合は、表示35、36、37の箇所をクリックすることで、ドライブ映像記憶部11内の記憶部11−1(図1)に記憶され保存されている複数の切り出し映像からそれぞれのクリックされた箇所に対応する映像が読み出されて画面が切り替わり、切り出された映像が表示されるように、画面が階層構造にされている。なお、走行距離の表示に加えて出発地点からの経過時間も表示するようにしてもよい。さらに、車両の内部を撮影するカメラやマイクなども設置してこれらも同時に記録するようにしておけば、映像を切り出す時点での車内の映像や音声も確認することができる。そして、事故が発生したような場合には、このような走行の履歴を調べることで、発生原因の解明に役立たせることができる。
FIG. 4 is a diagram showing another embodiment of summary display by the drive video summarizing apparatus according to the present invention. The
また、上記の実施例では、ハンドルの舵角や道路案内標識などを自動的に検知して映像を切り出す処理について説明したが、これに限られず、走行中に利用者が映像を切り出したいときに映像の切り出しを指示できる受付手段を別に設けることができる。すなわち、走行中にこの指示を受け取ると映像抽出処理部6によりドライブ映像記憶部11に記憶される映像が切り出されて、切り出した映像をドライブ映像記憶部11内の別の記憶部11−1に記憶して保存するようにする。その後、切り出された映像は上記の図3又は図4で説明したのと同様にして要約表示をすることができる。ここで、受付手段からの指示内容を一旦記憶しておき、以降の指示内容に該当する映像をドライブ映像記憶部11に記憶したときに、再度映像を切り出すかどうかを利用者に確認を求め、切り出すことの確認がされた場合は、映像を切り出すとともに指示内容をそのまま保存し、以降の該当する映像が検出されるたびに記憶部11−1に記憶保存されるようにできる。これにより、利用者の確認後、利用者からの指示がなくとも自動的に指示内容に該当する映像の切り出しが行われ、要約が作成されることになる。また、ハンドルの舵角の検出に限らず、車両に搭載されている他の各種のセンサーからの検出信号に基づいて映像を切り出すようにすることも可能であり、これを利用者が任意に設定及び解除できるようにすることもできる。さらに、上記の実施例では、車両ごとに映像の要約を作成する構成について説明したが、これに限定されるものではなく、各車両で得られた映像データ、GPS信号、舵角情報などの車両から得られる情報を無線ネットワークを経由するなどして、リモートのサーバにデータを送信し、サーバで演算処理するようにして、映像の要約を作成してもよい。
In the above embodiment, the processing for automatically detecting the steering angle of the steering wheel, the road guide sign, and the like has been described. However, the present invention is not limited to this, and the user wants to cut out the image while driving. A receiving means capable of instructing the cutout of the video can be provided separately. That is, when this instruction is received during traveling, the video stored in the drive
図5は、本発明に係るドライブ映像要約装置を利用する一実施の形態を示すブロック図である。車両40、41、42、43はそれぞれ個別の車両で作成した映像要約を集中管理センター38のデータベース(DB)39に登録し、それぞれの車両は他の車両が作成して集中管理センター38にすでに登録している映像要約を、必要に応じて検索して参照することができる。このように登録されている映像要約を共有化することにより、同じ出発地点から同じ目的地に向かう場合、すでに作成されている映像要約を利用して、初めての経路であっても映像を確認しながら安心して走行することができる。また、複数の登録情報から最短経路を見つけることもできる。なお、車両と集中管理センターとの交信は、携帯端末などを利用することで実施できる。
FIG. 5 is a block diagram showing an embodiment using the drive video summarizing apparatus according to the present invention. Each of the
本発明のドライブ映像要約装置は、車両などの移動体による事故を解明するために、重要な運転記録として利用できるだけでなく、広く一般の需要者にも利用できるものであり、旅行用マップなどとして利用することができる。 The drive video summarization device of the present invention can be used not only as an important driving record but also widely used by general consumers to elucidate an accident caused by a moving body such as a vehicle. Can be used.
1 カメラ
2 GPS受信機
3 地図情報供給手段
4 カーナビ
5 舵角検出器
6 映像抽出処理部
7 案内標識検出部
8 2値化処理部
9 文字記号認識部
10 エンコーダ
11 ドライブ映像記憶部
12 文字情報記憶部
13 軌跡
14〜21 映像
22〜29 引出し線
30 道路案内標識
38 集中管理センター
39 データベース
40〜43 車両
DESCRIPTION OF
Claims (10)
前記車両の走行方向の変化が所定の大きさ以上になったことを検出する走行方向変化検出手段と、
前記映像記録手段により記録された映像情報から前記走行方向変化検出手段による検出に基づいて順次映像を切り出す映像抽出手段と、
前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、
前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、
前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像とを合成する要約作成手段と、
前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを、
有するドライブ映像要約装置。 Video recording means for recording a video indicating a situation around the vehicle that changes according to the traveling of the vehicle by a camera installed in the vehicle;
A traveling direction change detecting means for detecting that a change in the traveling direction of the vehicle has reached a predetermined magnitude;
Video extraction means for sequentially cutting out video based on detection by the traveling direction change detection means from video information recorded by the video recording means;
Video storage means for sequentially storing a plurality of videos cut out by the video extraction means;
Map information supply for supplying map information from map information obtained using a communication function with the outside of the vehicle or map information stored in advance in a storage device mounted on the vehicle to the destination of the vehicle Means,
Summarizing means for synthesizing the map information to the destination of the vehicle supplied by the map information supplying means and a plurality of videos read from the video storage means;
Summary display means for displaying the composite video created by the summary creation means as a summary;
Drive video summarization device.
前記映像記録手段に記録する映像からあらかじめ設定された文字又は記号を検出する文字記号検出手段と、
前記映像記録手段により記録された映像情報から前記文字記号検出手段による検出に基づいて順次映像を切り出す映像抽出手段と、
前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、
前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、
前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像とを合成する要約作成手段と、
前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを、
有するドライブ映像要約装置。 Video recording means for recording a video indicating a situation around the vehicle that changes according to the traveling of the vehicle by a camera installed in the vehicle;
A character / symbol detection means for detecting a preset character or symbol from the video recorded in the video recording means;
Video extraction means for sequentially cutting out video based on detection by the character symbol detection means from the video information recorded by the video recording means;
Video storage means for sequentially storing a plurality of videos cut out by the video extraction means;
Map information supply for supplying map information from map information obtained using a communication function with the outside of the vehicle or map information stored in advance in a storage device mounted on the vehicle to the destination of the vehicle Means,
Summarizing means for synthesizing the map information to the destination of the vehicle supplied by the map information supplying means and a plurality of videos read from the video storage means;
Summary display means for displaying the composite video created by the summary creation means as a summary;
Drive video summarization device.
前記映像記録手段に記録する映像から道路案内標識を検出する案内標識検出手段と、
前記車両の走行方向の変化が所定の大きさ以上になったことを検出する走行方向変化検出手段と、
前記案内標識検出手段によって道路案内標識を検出した直後の前記走行方向変化検出手段による走行方向の変化に基づいて前記映像記録手段により記録された映像情報から映像を切り出す映像抽出手段と、
前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、
前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、
前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出された複数の映像及び前記案内標識検出手段により検出した道路案内標識とを合成する要約作成手段と、
前記要約作成手段により作成された合成映像を要約として表示する要約表示手段とを、
有するドライブ映像要約装置。 Video recording means for recording a video indicating a situation around the vehicle that changes according to the traveling of the vehicle by a camera installed in the vehicle;
Guidance sign detection means for detecting road guidance signs from video recorded in the video recording means;
A traveling direction change detecting means for detecting that a change in the traveling direction of the vehicle has reached a predetermined magnitude;
Video extraction means for cutting out video from the video information recorded by the video recording means based on a change in travel direction by the travel direction change detection means immediately after detecting the road guide sign by the guide sign detection means;
Video storage means for sequentially storing a plurality of videos cut out by the video extraction means;
Map information supply for supplying map information from map information obtained using a communication function with the outside of the vehicle or map information stored in advance in a storage device mounted on the vehicle to the destination of the vehicle Means,
Summarizing means for synthesizing the map information to the destination of the vehicle supplied by the map information supplying means, a plurality of videos read from the video storage means and the road guide signs detected by the guide sign detecting means. When,
Summary display means for displaying the composite video created by the summary creation means as a summary;
Drive video summarization device.
利用者から前記映像記録手段に記録する映像から切り出す映像の指示を受け取る受付手段と、
前記映像記録手段により記録された映像情報から前記受付手段の指示に基づいて映像を切り出す映像抽出手段と、
前記映像抽出手段により切り出した複数の映像を順次保存する映像記憶手段と、
前記車両の外部との通信機能を利用して得た地図情報又は前記車両に搭載されている記憶装置にあらかじめ記憶されている地図情報から前記車両の目的地までの地図情報を供給する地図情報供給手段と、
前記地図情報供給手段により供給された前記車両の目的地までの地図情報と前記映像記憶手段から読み出した複数の映像とを合成する要約作成手段と、
前記要約作成手段により作成された合成画像を要約として表示する要約表示手段とを、
有するドライブ映像要約装置。 Video recording means for recording a video indicating a situation around the vehicle that changes according to the traveling of the vehicle by a camera installed in the vehicle;
Receiving means for receiving an instruction of a video to be cut out from a video recorded in the video recording means from a user;
Video extraction means for cutting out video based on instructions from the reception means from video information recorded by the video recording means;
Video storage means for sequentially storing a plurality of videos cut out by the video extraction means;
Map information supply for supplying map information from map information obtained using a communication function with the outside of the vehicle or map information stored in advance in a storage device mounted on the vehicle to the destination of the vehicle Means,
Summary creation means for combining the map information supplied by the map information supply means to the destination of the vehicle and a plurality of videos read from the video storage means;
Summary display means for displaying the composite image created by the summary creation means as a summary;
Drive video summarization device.
The video extraction means has confirmation means for requesting a user to determine whether or not to cut out the video corresponding to the instruction content from the reception means from the video recorded in the video recording means. 10. The drive video summarizing apparatus according to claim 9, wherein when it is obtained, the corresponding video is cut out thereafter.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008088110A JP4866384B2 (en) | 2008-03-28 | 2008-03-28 | Drive video summarization device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008088110A JP4866384B2 (en) | 2008-03-28 | 2008-03-28 | Drive video summarization device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009246503A true JP2009246503A (en) | 2009-10-22 |
JP4866384B2 JP4866384B2 (en) | 2012-02-01 |
Family
ID=41307974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008088110A Expired - Fee Related JP4866384B2 (en) | 2008-03-28 | 2008-03-28 | Drive video summarization device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4866384B2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011069291A1 (en) * | 2009-12-10 | 2011-06-16 | Nokia Corporation | Method, apparatus or system for image processing |
JP2011217116A (en) * | 2010-03-31 | 2011-10-27 | Mitsui Sumitomo Insurance Co Ltd | Reproducing device, imaging reproducing system, imaging reproducing method, reproducing program and imaging program |
JP2012141942A (en) * | 2011-01-04 | 2012-07-26 | Aptos Technology Inc | Vehicle recording device |
JP2012189371A (en) * | 2011-03-09 | 2012-10-04 | Mic Ware:Kk | Navigation device, photographing control method, and program |
CN102831670A (en) * | 2012-08-13 | 2012-12-19 | 天瀚科技(吴江)有限公司 | Driving recorder and method of analyzing driving behaviors by using same |
CN102831669A (en) * | 2012-08-13 | 2012-12-19 | 天瀚科技(吴江)有限公司 | Driving recorder capable of simultaneous displaying of map and video pictures |
US20140028848A1 (en) * | 2012-07-26 | 2014-01-30 | Denso Corporation | Drive video recording device and method, drive video recording system, and summarized moving image creating device |
WO2014054289A1 (en) * | 2012-10-03 | 2014-04-10 | 株式会社デンソー | Vehicle navigation system, and image capture device for vehicle |
JP2014062805A (en) * | 2012-09-21 | 2014-04-10 | Jvc Kenwood Corp | Picture information providing device and method |
KR20150130717A (en) * | 2014-05-14 | 2015-11-24 | 주식회사 일리시스 | Event detection system of blackbox for vehicle and method for event detection |
KR20190071067A (en) * | 2017-12-14 | 2019-06-24 | 현대자동차주식회사 | Vehicle and method for controlling the vehicle |
JP2020123117A (en) * | 2019-01-30 | 2020-08-13 | 大日本印刷株式会社 | Image data providing system |
US11388338B2 (en) | 2020-04-24 | 2022-07-12 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Video processing for vehicle ride |
US11396299B2 (en) * | 2020-04-24 | 2022-07-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Video processing for vehicle ride incorporating biometric data |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003063459A (en) * | 2001-08-29 | 2003-03-05 | Matsushita Electric Ind Co Ltd | Drive recorder device for vehicle |
JP2005348329A (en) * | 2004-06-07 | 2005-12-15 | Fuji Photo Film Co Ltd | Automobile monitoring system |
WO2007066696A1 (en) * | 2005-12-09 | 2007-06-14 | Pioneer Corporation | Information recording device, information recording method, information recording program and computer readable recording medium |
JP2007218698A (en) * | 2006-02-15 | 2007-08-30 | Clarion Co Ltd | Navigation system, navigation method, and navigation program |
JP2008500561A (en) * | 2004-06-03 | 2008-01-10 | シャープ株式会社 | MAP DATA CREATION DEVICE, MOBILE BODY HAVING THE SAME, AND MAP DATA CREATION METHOD |
JP2008039642A (en) * | 2006-08-08 | 2008-02-21 | Denso Corp | Navigation device, and image generation method and program |
-
2008
- 2008-03-28 JP JP2008088110A patent/JP4866384B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003063459A (en) * | 2001-08-29 | 2003-03-05 | Matsushita Electric Ind Co Ltd | Drive recorder device for vehicle |
JP2008500561A (en) * | 2004-06-03 | 2008-01-10 | シャープ株式会社 | MAP DATA CREATION DEVICE, MOBILE BODY HAVING THE SAME, AND MAP DATA CREATION METHOD |
JP2005348329A (en) * | 2004-06-07 | 2005-12-15 | Fuji Photo Film Co Ltd | Automobile monitoring system |
WO2007066696A1 (en) * | 2005-12-09 | 2007-06-14 | Pioneer Corporation | Information recording device, information recording method, information recording program and computer readable recording medium |
JP2007218698A (en) * | 2006-02-15 | 2007-08-30 | Clarion Co Ltd | Navigation system, navigation method, and navigation program |
JP2008039642A (en) * | 2006-08-08 | 2008-02-21 | Denso Corp | Navigation device, and image generation method and program |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102741835B (en) * | 2009-12-10 | 2015-03-18 | 诺基亚公司 | Method, apparatus or system for image processing |
CN102741835A (en) * | 2009-12-10 | 2012-10-17 | 诺基亚公司 | Method, apparatus or system for image processing |
WO2011069291A1 (en) * | 2009-12-10 | 2011-06-16 | Nokia Corporation | Method, apparatus or system for image processing |
US10567726B2 (en) | 2009-12-10 | 2020-02-18 | Nokia Technologies Oy | Method, apparatus or system for image processing |
JP2011217116A (en) * | 2010-03-31 | 2011-10-27 | Mitsui Sumitomo Insurance Co Ltd | Reproducing device, imaging reproducing system, imaging reproducing method, reproducing program and imaging program |
JP2012141942A (en) * | 2011-01-04 | 2012-07-26 | Aptos Technology Inc | Vehicle recording device |
JP2012189371A (en) * | 2011-03-09 | 2012-10-04 | Mic Ware:Kk | Navigation device, photographing control method, and program |
US20140028848A1 (en) * | 2012-07-26 | 2014-01-30 | Denso Corporation | Drive video recording device and method, drive video recording system, and summarized moving image creating device |
DE102013214334A1 (en) | 2012-07-26 | 2014-01-30 | Denso Corporation | CIRCUIT VIDEO RECORDING DEVICE AND METHOD, DRIVING VIDEO RECORDING SYSTEM AND GENERATING MOVEMENT PICTURE FOR A MIXED MOVEMENT PICTURE |
US9350952B2 (en) * | 2012-07-26 | 2016-05-24 | Denso Corporation | Drive video recording device and method, drive video recording system, and summarized moving image creating device |
CN102831670A (en) * | 2012-08-13 | 2012-12-19 | 天瀚科技(吴江)有限公司 | Driving recorder and method of analyzing driving behaviors by using same |
CN102831669A (en) * | 2012-08-13 | 2012-12-19 | 天瀚科技(吴江)有限公司 | Driving recorder capable of simultaneous displaying of map and video pictures |
JP2014062805A (en) * | 2012-09-21 | 2014-04-10 | Jvc Kenwood Corp | Picture information providing device and method |
WO2014054289A1 (en) * | 2012-10-03 | 2014-04-10 | 株式会社デンソー | Vehicle navigation system, and image capture device for vehicle |
KR20150130717A (en) * | 2014-05-14 | 2015-11-24 | 주식회사 일리시스 | Event detection system of blackbox for vehicle and method for event detection |
KR102211496B1 (en) * | 2014-05-14 | 2021-02-03 | 주식회사 인텔리빅스 | Event detection system of blackbox for vehicle and method for event detection |
KR20190071067A (en) * | 2017-12-14 | 2019-06-24 | 현대자동차주식회사 | Vehicle and method for controlling the vehicle |
KR102443843B1 (en) * | 2017-12-14 | 2022-09-16 | 현대자동차주식회사 | Vehicle and method for controlling the vehicle |
JP2020123117A (en) * | 2019-01-30 | 2020-08-13 | 大日本印刷株式会社 | Image data providing system |
JP7373125B2 (en) | 2019-01-30 | 2023-11-02 | 大日本印刷株式会社 | Image data provision system |
US11388338B2 (en) | 2020-04-24 | 2022-07-12 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Video processing for vehicle ride |
US11396299B2 (en) * | 2020-04-24 | 2022-07-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Video processing for vehicle ride incorporating biometric data |
Also Published As
Publication number | Publication date |
---|---|
JP4866384B2 (en) | 2012-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4866384B2 (en) | Drive video summarization device | |
US8600655B2 (en) | Road marking recognition system | |
JP4446204B2 (en) | Vehicle navigation apparatus and vehicle navigation program | |
CN107560622A (en) | A kind of method and apparatus based on driving image-guidance | |
US6076041A (en) | Land vehicle navigation apparatus with guidance display image limiter for recognizability enhancement | |
JP5022259B2 (en) | Car navigation system and parking lot guidance method | |
EP2241859B1 (en) | Improved vehicle navigation system | |
EP2141678A1 (en) | Driving support system | |
US7751970B2 (en) | Information providing apparatus, information providing method, and computer product | |
CN110926487A (en) | Driving assistance method, driving assistance system, computing device, and storage medium | |
JP2008293380A (en) | Lane determination device, lane determination method and navigation apparatus using the same | |
JP4424961B2 (en) | Navigation device and navigation method | |
CN101542236A (en) | Navigation device | |
JPH1123299A (en) | Car navigation system and storage medium | |
JP2007155352A (en) | Route guide system and method | |
JP2007178383A (en) | Route guidance system and method | |
JPWO2007105518A1 (en) | Location registration device, route search device, location registration method, location registration program, and recording medium | |
JP4894584B2 (en) | Route guidance device | |
JP2006038558A (en) | Car navigation system | |
JP3817631B2 (en) | Road warning detection device | |
CN107406072A (en) | Vehicle assisted system | |
CN114096996A (en) | Method and apparatus for using augmented reality in traffic | |
CN1967152B (en) | Navigation device and its crossing enlarged drawing display method | |
EP2208967A1 (en) | Navigation system including route guidance function and method of route searching | |
CN111351503A (en) | Driving assistance method, driving assistance system, computing device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110722 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111021 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4866384 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |