JP2012027623A - ドライブレコーダ、及び、画像記憶方法 - Google Patents

ドライブレコーダ、及び、画像記憶方法 Download PDF

Info

Publication number
JP2012027623A
JP2012027623A JP2010164405A JP2010164405A JP2012027623A JP 2012027623 A JP2012027623 A JP 2012027623A JP 2010164405 A JP2010164405 A JP 2010164405A JP 2010164405 A JP2010164405 A JP 2010164405A JP 2012027623 A JP2012027623 A JP 2012027623A
Authority
JP
Japan
Prior art keywords
vehicle
image
drive recorder
recording
travel history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010164405A
Other languages
English (en)
Other versions
JP5813298B2 (ja
Inventor
Katsutoshi Okada
勝利 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45780494&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2012027623(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2010164405A priority Critical patent/JP5813298B2/ja
Publication of JP2012027623A publication Critical patent/JP2012027623A/ja
Application granted granted Critical
Publication of JP5813298B2 publication Critical patent/JP5813298B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ドライブレコーダが記録した走行履歴を事後的に評価などする場合において、適切な走行履歴を容易に抽出することができるドライブレコーダ技術を提供する。
【解決手段】ドライブレコーダにおいて、走行履歴を、車外画像に含まれる交通規制を示す対象物を認識した結果と関連付けて記録するため、車両運転後において、記録した走行履歴のなかから、安全運転すべき状況を示す走行履歴を容易に抽出することができ、結果、運転後における、適切な走行履歴に基づく運転の評価、教育、及び、研修などを容易にすることができる。
【選択図】図15

Description

本発明は、走行履歴を記録する技術に関する。
近年、検知した車両における特定の挙動と走行履歴とを記録することができるドライブレコーダが開発されており、車両の運転終了後に、このドライブレコーダによって記録された走行履歴をパソコンなどに取り込んで、パソコンにおいてその走行履歴を確認する、即ち、事後的に走行履歴を確認することによって、ドライバの運転に対する評価や他者の教育などを行うことが可能である。
そのような記録技術として、例えば、特許文献1に、車両の走行状況により判定した挙動に伴って走行履歴を記録するドライブレコーダ技術が記載されている。
特開2009-181420号公報
しかし、そのような技術を採用したドライブレコーダによって記録された走行履歴によって、事後的に、ドライバの運転に対する評価などを行う場合は、次のような問題が発生する。
つまり、車両の速度状況などにより判定する挙動は、長時間走行させた場合などには、大量に走行履歴が記録されてしまい、事後的に、大量の走行履歴のなかから評価などに適切な走行履歴を抽出しなければならないという問題が発生する。
更に、そのドライブレコーダを搭載した車両を大量に採用している会社、例えば、タクシー会社などにおいては、事後的に管理者が、それらドライブレコーダそれぞれが記録した大量の走行履歴のなかから、ドライバの運転評価や他のドライバの教育などに適切な走行履歴を抽出しなければならないという問題が発生する。
本発明は、上記課題に鑑みてなされたものであり、ドライブレコーダが記録した走行履歴を事後的に評価などする場合において、適切な走行履歴を容易に抽出することができるドライブレコーダ技術を提供することを目的とする。
上記課題を解決するため、請求項1の発明は、車両の走行履歴を記録するドライブレコーダであって、前記車両に搭載される撮像部が取得する画像を入力する入力手段と、前記画像に含まれる交通規制を示す対象物を認識する認識手段と、前記走行履歴を前記認識手段の認識結果と関連付けて記録する記録手段と、を備えることを特徴とする。
また、請求項2の発明は、請求項1に記載のドライブレコーダにおいて、前記車両における特定の挙動の発生を検知する検知手段、をさらに備え、前記記録手段は、前記走行履歴に前記検知手段の検知結果をさらに関連付けて記録することを特徴とする。
また、請求項3の発明は、請求項1または2に記載のドライブレコーダにおいて、前記対象物は、前記車両が徐行すべきことを示す標識、及び、前記車両が停止すべきことを示す標識のいずれかを含むことを特徴とする。
また、請求項4の発明は、請求項1から請求項3の何れかに記載のドライブレコーダにおいて、前記対象物は、路面標識を含むことを特徴とする。
また、請求項5の発明は、請求項1から請求項4の何れかに記載のドライブレコーダにおいて、前記入力手段は、前記撮像部が所定周期で取得する前記画像を入力するものであり、前記走行履歴は、所定周期で取得される前記画像を含むことを特徴とする。
また、請求項6の発明は、請求項2に記載のドライブレコーダにおいて、過去に取得された前記走行履歴を記憶する揮発性メモリを更に備え、前記記録手段は、前記特定の挙動が検知され、かつ、前記交通規制を示す対象物が認識された場合に、前記揮発性メモリに記憶されている前記走行履歴を不揮発性メモリへ記録することを特徴とする。
また、請求項7の発明は、車両の走行履歴を記録するドライブレコーダであって、前記車両に搭載される撮像部が取得する画像を入力する入力手段と、前記画像に含まれる路面の走行レーンを区画する区画線を認識する認識手段と、前記区画線を前記車両が逸脱するか否かを判定する判定手段と、前記走行履歴を前記判定手段の判定結果と関連付けて記録する記録手段と、を備えることを特徴とする。
また、請求項8の発明は、車両の走行履歴を記録する画像記録方法であって、(a)前記車両に搭載される撮像部が取得する画像を入力する工程と、(b)前記画像に含まれる交通規制を示す対象物を認識する工程と、(c)前記走行履歴を前記(b)工程の認識結果と関連付けて記録する工程と、を備えることを特徴とする。
また、請求項9の発明は、車両の走行履歴を記録する画像記録方法であって、(a)前記車両に搭載される撮像部が取得する画像を入力する工程と、(b)前記画像に含まれる路面の走行レーンを区画する区画線を認識する工程と、(c)前記区画線を前記車両が逸脱するか否かを判定する判定手段と、(d)前記走行履歴を前記(c)工程の判定結果と関連付けて記録する工程と、を備えることを特徴とする。
請求項1ないし9の発明によれば、ドライブレコーダにおいて、走行履歴を、画像に含まれる交通規制を示す対象物を認識した結果と関連付けて記録するため、車両運転後において、記録した走行履歴のなかから、安全運転すべき状況を示す走行履歴を容易に抽出することができ、結果、運転後における、適切な走行履歴に基づく運転の評価、教育、及び、研修などを容易にすることができる。
また、請求項2の発明によれば、ドライブレコーダにおいて、走行履歴を、画像に含まれる交通規制を示す対象物を認識した結果と、特定の挙動を検知する検知結果と、により関連付けて記録するため、車両運転後において、記録した走行履歴のなかから、安全運転すべき状況を示す走行履歴と危険運転をした走行履歴を、更に、容易に抽出することができ、結果、運転後における、適切な走行履歴に基づく運転の評価、教育、及び、研修などを、更に、容易にすることができる。
また、請求項3の発明によれば、ドライブレコーダにおいて、走行履歴を、画像に含まれる交通規制を示す対象物、即ち、車両が徐行すべきことを示す標識、及び、車両が停止すべきことを示す標識を認識した結果と関連付けて記録するため、車両運転後において、記録した走行履歴のなかから、安全運転すべき状況である、車両が徐行すべき場所、及び、車両が停止すべき場所における走行履歴を容易に抽出することができ、結果、運転後における、適切な走行履歴に基づく運転の評価、教育、及び、研修などを容易にすることができる。
また、請求項4の発明によれば、ドライブレコーダにおいて、走行履歴を、画像に含まれる交通規制を示す対象物、即ち、路面標識を認識した結果と関連付けて記録するため、車両運転後において、記録した走行履歴のなかから、安全運転すべき状況である、路面標識が示す場所における走行履歴を容易に抽出することができ、結果、運転後における、適切な走行履歴に基づく運転の評価、教育、及び、研修などを容易にすることができる。
また、請求項5の発明によれば、ドライブレコーダにおいて、走行履歴を画像にすることで、車両運転後における、運転の評価、教育、及び、研修などを容易にすることができる。
また、請求項6の発明によれば、ドライブレコーダにおいて、特定の挙動が検知され、かつ、交通規制を示す対象物が認識された場合に、過去に取得された走行履歴を記憶する揮発性メモリに記憶されている走行履歴を不揮発性メモリへ記録するため、容量の小さい不揮発性メモリで対応でき、コストの低減を図ることができる。
また、請求項7の発明によれば、ドライブレコーダにおいて、ドライブレコーダにおいて、認識した画像に含まれる路面の走行レーンを区画する区画線を、車両が逸脱するか否かを判定し、走行履歴をその判定結果と関連付けて記録するため、危険運転した場合の走行履歴を容易に抽出することができ、車両運転後における、運転の評価、教育、及び、研修などを容易にすることができる。
図1は、車両を示す図である。 図2は、ドライブレコーダのシステムブロック図である。 図3は、車両の走行状態を示す図である。 図4は、ドライブレコーダの制御フローを示す図である。 図5は、車両の特定の挙動を検知する方法を示す図である。 図6は、ドライブレコーダの制御フローを示す図である。 図7は、車外画像を示す図である。 図8は、画像認識をするためのデータを示す図である。 図9は、画像認識をするためのデータを示す図である。 図10は、ドライブレコーダの制御フローを示す図である。 図11は、車外画像を示す図である。 図12は、画像認識をする方法を示す図である。 図13は、車両逸脱判定をするためのマップを示す図である。 図14は、ドライブレコーダの制御フローを示す図である。 図15は、ドライブレコーダの制御フローを示す図である。 図16は、車外画像の記録制御を示す図である。 図17は、記録したデータの構成を示す図である。 図18は、記録した車外画像を示す図である。 図19は、車両の特定の挙動を検知する方法を示す図である。 図20は、記録したデータの構成を示す図である。
<代表の実施の形態>
本代表の実施の形態は、車両に搭載される、走行履歴記録機能を備えたドライブレコーダを例にして説明する。このドライブレコーダについて、以下、添付図面を参照しながら、「ドライブレコーダシステムの構成」、「ドライブレコーダ制御」の順に説明を行う。
<ドライブレコーダシステムの構成>
ドライブレコーダシステムの構成を図1、及び、図2に基づいて説明する。ドライブレコーダシステムは、図1に示すように、車両1に搭載されたドライブレコーダ2、撮像部9、加速度センサー10、操作部11、及び、車速センサー12などが信号線を介して電気的に接続されて構成される。
ドライブレコーダ2は、車両1の助手席前のダッシュボード内に搭載される。
撮像部9は、レンズと撮像素子とを備えており、電子的に画像データを取得することが可能である。撮像部9は、車両1のフロントガラス内側であって、フロントガラス内側のバックミラー近傍において、その撮像方向が車外へ向くように搭載される。これにより撮像部9は、車両1の前方側の様子を示す車外画像を取得する。撮像部9が備えるレンズの搭載角度は、撮像部9が撮像した車外画像において、車両1が図3に示すように通常の走行を行った場合に、車両1のボンネットの端部が映るように設定され、かつ、車両1の進行方向における路面の走行レーンを区画する区画線が所定の領域に映るように設定される。
加速度センサー10は、車両1に加わる衝撃の大きさを示す加速度を検出し、その検出結果を加速度信号として出力する。加速度センサー10は、車両1のエンジンルーム内に設置される。
操作部11は、ユーザ操作を受け付けて、その操作内容を示す操作信号を出力する。操作部11は、車両1の助手席前のダッシュボード内に搭載される。
車速センサー12は、車両1が移動した際に車輪が回転する速度を車速として検出し、その検出結果を車速信号として出力する。車速センサー12は、車両1のエンジンルーム内に設置される。
ドライブレコーダ2と撮像部9とは、通信ケーブルにより電気的に接続されている。ドライブレコーダにおいて、撮像部9が撮像した車両1の進行方向における車外画像を通信ケーブルを介して、ドライブレコーダ2において入力可能にしている。
ドライブレコーダ2と加速度センサー10とは、通信ケーブルにより電気的に接続されている。ドライブレコーダ2において、加速度センサー10が検知した加速度信号を通信ケーブルを介して、入力可能にしている。
ドライブレコーダ2と操作部11とは、通信ケーブルにより電気的に接続されている。ドライブレコーダ2において、ドライブレコーダ2が備える機能を開始及び終了させる操作を受け付ける操作部11から、その開始及び終了を示す信号を通信ケーブルを介して、入力可能にしている。
ドライブレコーダ2と車速センサー12とは、通信ケーブルにより電気的に接続されている。ドライブレコーダにおいて、車速センサー12が検知した車速信号を通信ケーブルを介して、入力可能にしている。
ドライブレコーダ2は、第1制御部4、第1揮発性記憶部3、第2制御部6、第2揮発性記憶部7、不揮発性記憶部8、及び、音出力部5を、バスなどの信号線により接続して備える。また、ドライブレコーダ2は、通信ケーブルを介して撮像部9から受信される車外画像を、信号線を介して第1制御部4及び第2制御部6へ入力させる。更に、ドライブレコーダ2は、通信ケーブルを介して加速度センサー10から受信する加速度信号、操作部11から受信する操作信号、並びに、車速センサー12から受信する車速信号を信号線を介して第2制御部6へ入力させる。
第1制御部4は、例えば、ROMやCPUなどから構成されるマイコンである。第1制御部4は、ROMに記憶された制御プログラムをCPUが実行することにより、画像入力機能、画像認識機能、及び、車両逸脱判定機能などを発揮させる。なお、画像入力機能、画像認識機能、及び、車両逸脱判定機能の詳細については後述する。
第1揮発性記憶部3は、例えばRAMなどの揮発性メモリであり、第1制御部4が制御プログラムを実行するなどの際に、パラメータなどを一時的に記憶するワーキングエリアとして機能する。
第2制御部6は、例えば、ROMやCPUなどを備えるマイコンである。第2制御部6は、ROMに記憶された制御プログラムをCPUが実行することにより、車両挙動判定機能、及び、走行履歴記録機能などを発揮させる。なお、車両挙動判定機能、及び、走行履歴記録機能の詳細については後述する。
第2揮発性記憶部7は、例えばRAMなどの揮発性メモリであり、第2制御部6が制御プログラムを実行するなどの際に、パラメータなどを一時的に記憶するワーキングエリアとして機能する。また、第2揮発性記憶部7には、撮像部9で所定周期ごとに取得される車外画像が記憶される。第2揮発性記憶部7には、現時点から遡って所定時間以内に得られた車外画像のみが記憶され、古い車外画像は消去される。即ち、直近過去の所定時間における車外の様子を示す車外画像が第2揮発性記憶部7に記憶されることになる。
不揮発性記憶部8は、例えばフラッシュメモリなどの不揮発性メモリであり、第2制御部6が第2揮発性記憶部7から、所定のタイミングで所定のデータを抜き出して記録するメモリである。更に、不揮発性記憶部8は、ドライブレコーダ2に着脱可能であり、このため、車両の運転終了後に、取り外した不揮発性記憶部8をパソコンなどへ装着し、不揮発性記憶部8に記録されているデータをパソコンへ取り込ませることができる。
音出力部5は、例えば、ブザーであり、音出力部5は、第1記憶部が車両逸脱判定をした際に送信した信号を受信して音を出力させる機能を発揮する。
ここで、第1制御部4により実現される画像判定機能、及び、第2制御部6により実現される走行履歴記録機能を説明する。
まず、ドライブレコーダ2における画像判定機能を図4、及び、図6に示す制御フローに基づいて説明する。
なお、以降の制御に示す各フラグは、制御におけるイニシャル処理及び終了処理においてオフにされるとともに、ドライブレコーダ2のリセット処理においてオフにされる。
<画像判定制御>
まず、画像判定制御のうち挙動判定制御を図4に示す制御フローに基づいてについて説明する。
(挙動判定制御)
第2制御部6は、ユーザ操作により操作部11からその機能を開始する旨の信号を受信した場合に、図4に示す制御フローを所定の周期で実行する。従って、第2制御部6は、所定の周期ごとに図4に示す制御フローのステップS1へ移行する。
ステップS1において、第2制御部6は、車両における特定の挙動の発生を検知する機能により、図5に示すように、加速度センサー10から受信する加速度信号が、第1スレッシュSL1を超えた場合に、車両の挙動を検知したとしてステップS2へ移行する(ステップS1においてYES)。加速度信号が第1スレッシュSL1を超えない場合に、車両における特定の挙動の発生を検知しないとして、リターンへ移行する(ステップS1においてNO)。
なお、この第1スレッシュSL1は、ユーザが操作部11を操作することによって、変更することができる。
ステップS2において、第2制御部6は、第2揮発性記憶部7の所定の領域に設定された挙動フラグをオンにする。
なお、第2制御部6は、後述するように、所定の周期で入力された車外画像を、第2揮発性記憶部7へ時系列に記憶するとともに、挙動フラグを入力画像と関連付けつつオン状態にして記録する。次に、リターンへ移行する。
次に、画像判定制御のうち画像認識制御を図6に示す制御フローに基づいて説明する。
(画像認識制御)
第1制御部4は、ユーザ操作により操作部11からその機能を開始する旨の信号を受信した場合に、図6に示す制御フローを所定の周期で実行する。従って、第1制御部4は、所定の周期ごとに図6に示す制御フローのステップS3へ移行する。
ステップS3において、第1制御部4は、画像入力機能により、撮像部9が所定の周期で取得した車外画像を入力し、画像認識機能により、入力した車外画像に含まれる交通規制を示す対象物を認識する。即ち、第1制御部4は、図7に示すような受信した車外画像に含まれる交通規制を示す対象物P1からP7が、図8に示すパターンD1からD13、及び、図9に示すパターンD14からD17と一致するか否かを判定する。一致すると判定する場合は、ステップS4へ移行する。一致しないと判定する場合は、リターンへ移行する。
具体的には、第1制御部4に備わるROMに予め記憶されている、図8に示すような路上に設置される交通規制を示す標識、及び、図9に示すような路面に表示される交通規制を示す路面の標識を示すパターンが、受信した車外画像に含まれていないかどうかを判定する。即ち、パターンマッチングを行う。パターンマッチングとは、入力画像のなかに予めメモリに記憶されているパターンと一致するものがあるかどうか、又は、近似するものがあるかどうかを判定する技術である。
つまり、第1制御部4は、図7に示す対象物P1は、図8に示すパターンD3と一致すると判定する。また、第1制御部4は、図7に示す対象物P2は、図8に示すパターンD9と一致すると判定し、図7に示す対象物P3は、図8に示すパターンD13と一致すると判定し、図7に示す対象物P4は、図9に示すパターンD17と一致すると判定し、というようにROMに予め記録されているパターンと車外画像に含まれる対象物とが一致するか否かの判定を順次繰り返す。
ステップS4において、第1制御部4は、第2揮発性記憶部7において、パターンと一致した交通規制を示す対象物を特定可能にするために対象物の種類ごとに予め設定されたフラグをオン/オフする。これらフラグは、各種標識の認識結果を示すものであり標識フラグと言う。
なお、第2制御部6は、後述するように、所定の周期で入力された車外画像を、第2揮発性記憶部7へ時系列に記憶するとともに、標識フラグを入力画像と関連付けつつオン状態にして記録する。次に、リターンへ移行する。
次に、画像判定制御のうち車両逸脱判定制御を図10の制御フローに基づいて説明する。
(車両逸脱判定制御)
第1制御部4は、ユーザ操作により操作部11からその機能を開始する旨の信号を受け付けた場合に、図10に示す制御フローを所定の周期で実行する。従って、第1制御部4は、所定の周期ごとに図10に示す制御フローのステップS5へ移行する。
ステップS5において、第1制御部4は、画像認識機能により、撮像部9から入力された、図11に示すような、車外画像に含まれる車両1の一部と路面の走行レーンを区画する区画線を認識する。
第1制御部4は、入力された車外画像中に区画線を認識したと判定する場合は、ステップS6へ移行する(ステップS5においてYES)。区画線を認識したと判定しない場合は、リターンへ移行する(ステップS5においてNO)。
第1制御部4は、カラー画像である車外画像をモノクロの車外画像に変換した場合に、車外画像を構成する複数の画素それぞれが示す明るさの差を検知して、車外画像においての区画線を認識する。第1制御部4は、複数画素それぞれが示す明るさの差が高い場合にエッジを検知する。そして、図12に示すように、互いに近傍にあるエッジH1とエッジH2との幅Lが、不揮発性記憶部8に予め設定された路面の区画線を特定する幅と一致した場合に区画線を認識したと判定する。
ステップS6において、第1制御部4は、車両逸脱判定機能により、車両1が進行方向における路面の走行レーンを区画する区画線を逸脱するか否かの判定、即ち、逸脱判定を行う。第1制御部4が、逸脱判定を行う場合は、ステップS7へ移行する(ステップS6においてYES)。逸脱判定を行わない場合は、リターンへ移行する(ステップS6においてNO)。
ここで、第1制御部4が行う逸脱判定の詳細を説明する。車両1の進行方向における路面の走行レーンを区画する区画線は、撮像部9が取得する、図11に示すような、車外画像中に示される車両の外部の所定の領域に含まれている。
その車外画像中に示される所定の領域とは、図11に示す、車両1のボンネットBにおける前端部の左右中央の点Cから左右方向に少なくとも2m離間した位置までを含む領域である。これにより、図11に示すように、車外画像において、車両1が走行する路面の走行レーンと、隣接する走行レーンとの境界を示す左側区画線LL及び右側区画線RLが、ボンネットBの外側に示されることになる。
第1制御部4は、図11に示すような、車外画像を利用して、車外画像に含まれる、車両1のボンネットBにおける端部の中央点Cと、車外画像に含まれる路面の走行レーンを区画する左側区画線LL及び右側区画線RLのうち車両寄りの右側区画線RLであって、車両1の右側前輪まで仮想的に延長させた場合の区画線RLのポイントPとの相対距離Dを算出する。次に、ステップS6へ移行する。
更に、第1制御部4は、今回算出したその相対距離Dと、過去に算出したその相対距離Dに基づいて、車両1が横方向へ移動する際の移動速度Sを算出する。
第1制御部4は、算出した相対距離Dと横方向への横移動速度Sとに基づいて、車両1がその区画線を逸脱するか否かを判定する。この車両の逸脱は、車両1がその区画線を逸脱する可能性が高い場合と、車両1がその区画線を実際に逸脱した場合との両方を含む概念である。
第1制御部4は、備えるROMに予め記憶されている図13に示すようなマップを参照して、相対距離Dと横方向への横移動速度Sとが交差する位置を求める。そして、第1制御部4は、当該位置が、図中に示す車両逸脱警戒領域Wに含まれるか否かに基づいて車両逸脱判定を行う。
ここで、図13に示すマップについて説明する。車両1と右側区画線RLとの相対距離D、及び、横移動速度Sが、マップにおける車両逸脱警戒領域Wに位置する場合は、車両1が右側区画線RLを逸脱する可能性が高い場合、又は、車両1が右側区画線RLを逸脱している場合である。
車両1が右側区画線RLを逸脱する可能性が高い場合とは、横移動速度Sが比較的小さくて相対距離Dが比較的小さい場合や、横移動速度Sが比較的大きくて相対距離Dが比較的大きい場合などであり、そのような場合を車両逸脱警戒領域Wに設定している。
一方、相対距離Dが比較的大きくて、横移動速度Sが比較的小さい場合や、相対距離Dが比較的小さくて、横移動速度Sが比較的大きい場合などは、区画線を不意に超える虞はないため、マップにおけるそのような領域は車両逸脱警戒領域Wには設定されていない。
つまり、このような逸脱警戒領域Wの設定は、車両1がその区画線を不意に超えそうだ、若しくは、不意に超えたと感じる人間の感覚に基づいて設定されている。次に、ステップS7へ移行する。
ステップS7において、第1制御部4は、第2制御部6へ車両逸脱を判定したことを示す信号を送信し、第2制御部6に車両逸脱の判定結果を示す逸脱フラグを第2揮発性記憶部7においてオンに設定させる。次に、ステップS8へ移行する。
なお、第1制御部4は、第2揮発性記憶部7において、逸脱フラグをオンにするとともに、逸脱フラグを入力画像と関連付けつつオン状態にして記録する。
ステップS8において、第1制御部4は、音出力部5を制御して音を出力する。これにより、第1制御部4は、車両1がその区画線を逸脱する可能性があること、又は、区画線を逸脱したことをドライバなどへ知らせる。
次に、ドライブレコーダ2における走行履歴記録機能を図14、及び、図15の制御フローに基づいて説明する。
<走行履歴記録制御>
まず、走行履歴記録制御のうちリングバッファ制御を図14に示す制御フローに基づいて説明する。
(リングバッファ制御)
第2制御部6は、ユーザ操作により操作部11からその機能を開始する旨の信号を受け付けた場合に、第2制御部6が、図14に示す制御フローを所定の周期で実行する。従って、第2制御部6は、所定の周期ごとに図14に示す制御フローのステップS9へ移行する。
ステップS9において、第2制御部6は、第2揮発性記憶部7の記憶量が所定量になっているか否かを判断する。所定量になっていると判断する場合は、ステップS10へ移行する(ステップS9において、YES)。所定量になっていると判断しない場合は、ステップS11へ移行する(ステップS9において、NO)。
ステップS10において、第2制御部6は、今回入力された走行履歴である車外画像によって、第2揮発性記憶部7に記憶されている最古の走行履歴である車外画像を上書きする。
なお、走行履歴には、図示しないGPSアンテナから入力したGPSデータや車速信号などの車両制御データなどを含めても良い。
ステップS11において、第2制御部6は、第2揮発性記憶部7へ今回入力された車外画像を記憶する。次に、リターンへ移行する。
つまり、この処理は、第2制御部6が、第2揮発性記憶部7をリングバッファにして、リングバッファ制御を実行する処理である。リングバッファ制御とは、第2制御部6が、第2揮発性記憶部7における最後の領域までデータを記憶すると最初の領域に戻って新たなデータを記憶する。これにより、リングバッファである第2揮発性記憶部7は、最も古いデータに対して新たなデータが順次に上書きされていく。このため、第2揮発性記憶部7においては、常に過去一定時間分の車外画像が記憶された状態にできる。本実施の形態では、例えば、30分以上の車外画像が時系列に第2揮発性記憶部7において記録される。即ち、リングバッファ制御をドライブレコーダ2に採用することによって、容量の小さい不揮発性メモリで対応でき、コストの低減を図ることができるというメリットがある。
次に、走行履歴記録制御のうち走行履歴抽出制御を図15に示す制御フローに基づいて説明する。
(走行履歴抽出制御)
第2制御部6は、ユーザ操作により操作部11からその機能を開始する旨の信号を受け付けた場合に、第2制御部6が、図15に示す制御フローを所定の周期で実行する。従って、第2制御部6は、所定の周期ごとに図15に示す制御フローのステップS12へ移行する。
なお、第2制御部6は、図14、及び、図15に示す制御を、マルチタスク制御機能により並列に処理する。
ステップ12において、第2制御部6は、第2揮発性記憶部7に挙動フラグがオンになっているか否かを判定する。挙動フラグがオンになっていると判定する場合はステップS13へ移行する(ステップS12においてYES)。挙動フラグがオンになっていると判定しない場合はリターンへ移行する。
ステップS13において、第2制御部6は、第2揮発性記憶部7において、挙動フラグをオンにした第1所定時間(例えば12秒)前から、挙動フラグをオンにしたときまでの、第2揮発性記憶部7に記憶されている車外画像を不揮発性記憶部8へ記録する。次に、ステップS14へ移行する。
ステップS14において、第2制御部6は、第2揮発性記憶部7において、挙動フラグをオンにしたときから第2所定時間(例えば、8秒)までの、第2揮発性記憶部7に記憶されている車外画像を不揮発性記憶部8へ記録する。次に、ステップS15へ移行する。
ステップS15において、第2制御部6は、第2揮発性記憶部7に標識フラグ、又は、逸脱フラグがオンになっているか否かを判定する。標識フラグ、又は、逸脱フラグがオンになっていると判定する場合はステップS16へ移行する(ステップS12においてYES)。標識フラグ、又は、逸脱フラグがオンになっていると判定しない場合はステップS18へ移行する。
ステップS16において、第2制御部6は、ステップS13やステップS14の処理において、不揮発性記憶部8へ記録させた車外画像に関連付けた標識フラグ、又は、逸脱フラグと同様に、不揮発性記憶部8においても、車外画像と関連付けて標識フラグ、又は、逸脱フラグの状態を記録する。
つまり、第2制御部6は、前述した通り、第2揮発性記憶部7において、所定の周期で入力される車外画像を時系列に記憶しているとともに、標識フラグ、又は、逸脱フラグは、記憶された車外画像と関連付けて記憶している。
このため、ドライブレコーダ2は、図16に示すように、挙動フラグをオンにした第1所定時間前から、挙動フラグをオンにしたときまでと、挙動フラグをオンにしたときから第2所定時間後までにおいて、第2揮発性記憶部7に記憶されている車外画像を不揮発性記憶部8へ記録することができるとともに、不揮発性記憶部8へ記録した車外画像と関連付けつつオン状態に記憶した標識フラグも同様に記録することができる。次に、ステップS17へ移行する。
ステップS17において、第2制御部6は、第2揮発性記憶部7における、標識フラグ、又は、逸脱フラグをオフにする。次に、ステップS18へ移行する。
ステップS18において、第2制御部6は、第2揮発性記憶部7に記憶していた挙動フラグをオフにする。次に、リターンへ移行する。
このような制御を実行するため、ドライブレコーダ2は不揮発性記憶部8に次のような構成で走行履歴を記録することができる。
ドライブレコーダ2は、不揮発性記憶部8において、イベントが発生したごとに、即ち、車両における特定の挙動の発生を検知したごとに、走行履歴である車外画像を記録する。
具体的には、ドライブレコーダ2は、不揮発性記憶部8において、イベントが発生したごとに、グループが組まれるように車外画像を記録する。例えば、図17に示すように始めにイベントが発生した際の車外画像をグループG1とし、その次にイベントが発生した際の車外画像をグループG2とし、その次にイベントが発生した際の車外画像をグループG3とし、というように構成して記録する。
グループを構成する複数の車外画像のそれぞれには、イベントデータである車両における特定の挙動の発生を検知するための加速度、標識フラグや逸脱フラグ(例えば、図17に示すフラグFAからフラグFD)などを関連付けて記録している。
なお、このほかにも、GPSデータや車両の制御データなどを関連付けて記録しても良い。
ドライブレコーダ2が、このような構成の走行履歴を不揮発性記憶部8へ記録することによって、不揮発性記憶部8へ記録した、多量の走行履歴である車外画像などから、事後的に、図18に示すような、ドライバを評価などする際に適切な画像をパソコンなどにおいて効率的に絞り込むことができる。
ここで、ドライバを評価などする際に適切な車外画像とは、ドライバが危険運転をしている車外画像、若しくは、危険運転をしそうな車外画像(以降、これら画像を危険運転画像と言う)、や、交通規制に従って車両1を徐行運転すべき状況の車外画像、若しくは、車両1を一旦停止すべき状況の車外画像(以降、これら画像を安全運転画像と言う)などである。
ドライブレコーダ2は、車両1の加速度が、第1スレッシュSL1を超えた場合、即ち、車両1が急加速した場合を、危険運転をした、若しくは、危険運転をしそうであるとみなして、そのときの前後の危険運転画像を記録する。
しかし、車両の急加速は、必ずしも、危険運転であるとは言い切れないため、ドライバを評価などする際に不必要な車外画像についても記録する虞があり、事後的にパソコンなどにおいて評価などする際に、多量の車外画像などから適切な車外画像を抽出しなければならない虞がある。
そこで、ドライブレコーダ2は、危険運転画像に安全運転画像が含まれる場合は、不揮発性記憶部8へ記録する車外画像に、その旨を示す標識フラグ、又は、逸脱フラグを関連付けて記録することによって、車両の運転終了後に、パソコンにおいて、不揮発性記憶部8から取り込んだ、標識フラグ、又は、逸脱フラグなどが関連付けられた車外画像から、その評価などする際に適切な画像と関連付けられた標識フラグ、又は、逸脱フラグを検索条件にして検索することができ、ドライバを評価などする際に適切な車外画像のみを容易に抽出することができる。
<変形例>
以上、本発明の代表の実施の形態について説明してきたが、この発明は上記代表の実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。
<変形例1>
上記代表の実施の形態における図4に示す制御フローのステップS1において、「第2制御部6は、加速度センサー10から受信する加速度信号が、第1スレッシュSL1を超えたか否かを検知し、その信号が第1スレッシュを超えた場合に車両における特定の挙動の発生を検知し、その信号が第1スレッシュSL1をこえない場合に車両の挙動を検知しない」と説明したが、第2制御部6は、図19に示すように、車速センサー12から受信する車速信号が、第2スレッシュSL2を超えたか否かを検知し、その信号が第2スレッシュSL2を超えた場合に車両の挙動を検知し、その信号が第2スレッシュSL2をこえない場合に車両の挙動を検知しないとしても良い。
<変形例2>
上記代表の実施の形態における、図14に示すリングバッファ制御、及び、図15に示す走行履歴記録制御を、所謂、常時走行履歴記録制御としても良い。
常時走行履歴記録制御とは、ドライブレコーダ2が、走行履歴である撮像部9が取得した車外画像を入力して、その車外画像を、揮発性記憶部、又は、不揮発性記憶部8の何れかに、時系列に記録し続ける制御であり、車両1の挙動を検知したときに、揮発性記憶部に記憶していた過去の車外画像の一部を不揮発性記憶部8へ記録するものではない。
この場合には、ドライブレコーダ2は、挙動を検知した場合は、その検知したときに記録した車外画像と関連付けて挙動フラグの状態を記録する。。また、ドライブレコーダ2は、車外画像に含まれる交通規制を示す対象物、又は、路面の標識を認識した場合は、その認識したときに記録した車外画像と関連付けて標識フラグ、又は、逸脱フラグの状態を記録する。。
これにより、パソコンにおいて、所定時間内の記録された、挙動フラグ、標識フラグ、又は、逸脱フラグを検索することによって、挙動フラグ、標識フラグ、又は、逸脱フラグが関連付けられている車外画像を抽出することができ、その評価・教育をする際に適切な車外画像のみを抽出することができる。
<変形例3>
上記代表の実施の形態における、撮像部9の搭載方法を、「撮像部9の車両1への搭載は、車両1のフロントガラス内側であって、フロントガラスとバックミラーとの間において、その撮像方向が車外へ向くよう搭載される」と説明したが、車両1のリアガラス内部の上端中央に搭載されても良い。
この場合、撮像部9の撮像方向が車外へ向くように搭載され、撮像部9が備えるレンズの搭載角度は、撮像部9が撮像した車外画像において、車両1が通常の走行を行った場合に、車両1のトランクの端部が映るように設定され、かつ、車両1の進行方向の逆方向における路面の走行レーンを区画する区画線が所定の領域に映るように設定される。
その車外画像中に示される所定の領域とは、車両1のトランクにおける前端部の左右中央の点Cから左右方向に少なくとも2m離間した位置までを含む領域である。これにより、車両1が走行する路面の走行レーンと、隣接する走行レーンとの境界を示す左側区画線LL及び右側区画線RLが、車外画像中に示されることになる。
このように撮像部9を搭載するため、第1制御部4は、車外画像に含まれる、車両1のトランクにおける端部の中央点Cと、車外画像に含まれる路面の走行レーンを区切る左側区画線LL及び右側区画線RLのうち、右側区画線RLの破線それぞれの非進行方向側のエッジとの相対距離Dを算出することができる。
<変形例4>
上記代表の実施の形態における図6に示す制御フローのステップS3において、「第1制御部4が、備えるROMに予め記憶されている、図8に示すような路上に設置される交通規制を示す標識、及び、図9に示すような路面に表示される交通規制を示す標識で構成されるデータが、受信した車外画像に含まれていないかどうかをパターンマッチング技術により判定する」と説明したが、種々の画像認識技術を採用しても良い。例えば、周知の技術である、入力画像に含まれる対象物の形状の一部である線が示すベクトルに基づいて画像を識別する統計的識別法や、入力画像に含まれる対象物の形状の一部であるエッジに基づいて画像を識別する構造識別法であっても良い。
<変形例5>
上記代表の実施の形態における「ステップS5において、第1制御部4は、音出力部5を制御して音を出力する。これにより、第1制御部4は、車両1がその区画線を逸脱する可能性があること、又は、区画線を逸脱したことをドライバなどへ知らせる」すると説明したが、ドライブレコーダ2が車両1に搭載されるナビゲーション装置と通信ケーブルによって接続され、ドライブレコーダ2の第1制御部4が通信ケーブルを介してナビゲーション装置へ車両逸脱判断による警報を示す信号を送信し、その信号を受信したドライブレコーダ2が警報を示す音や映像を出力するものであっても良い。
<変形例6>
各実施例の制御を説明するフローチャート図における各処理は、便宜上、一の系列で示しているが、細分化されたそれぞれの処理を制御部がマルチタスク制御機能により並列に処理するものであっても良い。
2 ドライブレコーダ
3 第1揮発性記憶部
4 第1制御部
6 第2制御部
7 第2揮発性記憶部
8 不揮発性記憶部
9 撮像部
10 加速度センサー
12 車速センサー

Claims (9)

  1. 車両の走行履歴を記録するドライブレコーダであって、
    前記車両に搭載される撮像部が取得する画像を入力する入力手段と、
    前記画像に含まれる交通規制を示す対象物を認識する認識手段と、
    前記走行履歴を前記認識手段の認識結果と関連付けて記録する記録手段と、
    を備えることを特徴とするドライブレコーダ。
  2. 請求項1に記載のドライブレコーダにおいて、
    前記車両の特定の挙動の発生を検知する検知手段、
    をさらに備え、
    前記記録手段は、前記走行履歴に前記検知手段の検知結果をさらに関連付けて記録することを特徴とするドライブレコーダ。
  3. 請求項1または2に記載のドライブレコーダにおいて、
    前記対象物は、前記車両が徐行すべきことを示す標識、及び、前記車両が停止すべきことを示す標識のいずれかを含むことを特徴とするドライブレコーダ。
  4. 請求項1から請求項3の何れかに記載のドライブレコーダにおいて、
    前記対象物は、路面標識を含むことを特徴とするドライブレコーダ。
  5. 請求項1から請求項4の何れかに記載のドライブレコーダにおいて、
    前記入力手段は、前記撮像部が所定周期で取得する前記画像を入力するものであり、
    前記走行履歴は、所定周期で取得される前記画像を含むことを特徴とするドライブレコーダ。
  6. 請求項2に記載のドライブレコーダにおいて、
    過去に取得された前記走行履歴を記憶する揮発性メモリを更に備え、
    前記記録手段は、前記特定の挙動が検知され、かつ、前記交通規制を示す対象物が認識された場合に、前記揮発性メモリに記憶されている前記走行履歴を不揮発性メモリへ記録することを特徴とするドライブレコーダ。
  7. 車両の走行履歴を記録するドライブレコーダであって、
    前記車両に搭載される撮像部が取得する画像を入力する入力手段と、
    前記画像に含まれる路面の走行レーンを区画する区画線を認識する認識手段と、
    前記区画線を前記車両が逸脱するか否かを判定する判定手段と、
    前記走行履歴を前記判定手段の判定結果と関連付けて記録する記録手段と、
    を備えることを特徴とするドライブレコーダ。
  8. 車両の走行履歴を記録する画像記録方法であって、
    (a)前記車両に搭載される撮像部が取得する画像を入力する工程と、
    (b)前記画像に含まれる交通規制を示す対象物を認識する工程と、
    (c)前記走行履歴を前記(b)工程の認識結果と関連付けて記録する工程と、
    を備えることを特徴とする画像記録方法。
  9. 車両の走行履歴を記録する画像記録方法であって、
    (a)前記車両に搭載される撮像部が取得する画像を入力する工程と、
    (b)前記画像に含まれる路面の走行レーンを区画する区画線を認識する工程と、
    (c)前記区画線を前記車両が逸脱するか否かを判定する判定手段と、
    (d)前記走行履歴を前記(c)工程の判定結果と関連付けて記録する工程と、
    を備えることを特徴とする画像記録方法。
JP2010164405A 2010-07-22 2010-07-22 ドライブレコーダ、及び、画像記憶方法 Active JP5813298B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010164405A JP5813298B2 (ja) 2010-07-22 2010-07-22 ドライブレコーダ、及び、画像記憶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010164405A JP5813298B2 (ja) 2010-07-22 2010-07-22 ドライブレコーダ、及び、画像記憶方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015182193A Division JP6144737B2 (ja) 2015-09-15 2015-09-15 ドライブレコーダ、及び、画像記憶方法

Publications (2)

Publication Number Publication Date
JP2012027623A true JP2012027623A (ja) 2012-02-09
JP5813298B2 JP5813298B2 (ja) 2015-11-17

Family

ID=45780494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010164405A Active JP5813298B2 (ja) 2010-07-22 2010-07-22 ドライブレコーダ、及び、画像記憶方法

Country Status (1)

Country Link
JP (1) JP5813298B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206031A (ja) * 2012-03-28 2013-10-07 Nec Corp 運転評価システム、運転評価方法、及び運転評価プログラム
JP2013254443A (ja) * 2012-06-08 2013-12-19 Nec Corp 運転行動診断装置、運転行動診断方法および運転行動診断プログラム
CN104766471A (zh) * 2015-04-23 2015-07-08 温州旭辉科技有限公司 出租车智能监控系统及方法
US10399438B2 (en) 2014-11-28 2019-09-03 Fujitsu Ten Limited Data processing apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063459A (ja) * 2001-08-29 2003-03-05 Matsushita Electric Ind Co Ltd 車両用ドライブレコーダ装置
JP2007066194A (ja) * 2005-09-01 2007-03-15 Japan Automobile Research Inst Inc 移動体の運転記録システム
WO2007066612A1 (ja) * 2005-12-07 2007-06-14 Pioneer Corporation 情報記録装置、通信装置、情報記録方法、通信方法、情報記録プログラム、通信プログラムおよびコンピュータに読み取り可能な記録媒体
JP2008250463A (ja) * 2007-03-29 2008-10-16 Pioneer Electronic Corp 情報記録装置、情報記録方法、情報記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP2009181420A (ja) * 2008-01-31 2009-08-13 Yazaki Corp 車両用周辺状況記録装置
JP2009237945A (ja) * 2008-03-27 2009-10-15 Denso Corp 動画情報収集システム及び車載機

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003063459A (ja) * 2001-08-29 2003-03-05 Matsushita Electric Ind Co Ltd 車両用ドライブレコーダ装置
JP2007066194A (ja) * 2005-09-01 2007-03-15 Japan Automobile Research Inst Inc 移動体の運転記録システム
WO2007066612A1 (ja) * 2005-12-07 2007-06-14 Pioneer Corporation 情報記録装置、通信装置、情報記録方法、通信方法、情報記録プログラム、通信プログラムおよびコンピュータに読み取り可能な記録媒体
JP2008250463A (ja) * 2007-03-29 2008-10-16 Pioneer Electronic Corp 情報記録装置、情報記録方法、情報記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP2009181420A (ja) * 2008-01-31 2009-08-13 Yazaki Corp 車両用周辺状況記録装置
JP2009237945A (ja) * 2008-03-27 2009-10-15 Denso Corp 動画情報収集システム及び車載機

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206031A (ja) * 2012-03-28 2013-10-07 Nec Corp 運転評価システム、運転評価方法、及び運転評価プログラム
JP2013254443A (ja) * 2012-06-08 2013-12-19 Nec Corp 運転行動診断装置、運転行動診断方法および運転行動診断プログラム
US10399438B2 (en) 2014-11-28 2019-09-03 Fujitsu Ten Limited Data processing apparatus
CN104766471A (zh) * 2015-04-23 2015-07-08 温州旭辉科技有限公司 出租车智能监控系统及方法

Also Published As

Publication number Publication date
JP5813298B2 (ja) 2015-11-17

Similar Documents

Publication Publication Date Title
JP5594246B2 (ja) 車線認識装置
CN102956118B (zh) 用于交通信号识别的装置和方法
JP6045889B2 (ja) 車載用制御装置
US20150210216A1 (en) Motor vehicle and method for operating a motor vehicle
JP6592051B2 (ja) 車両制御装置
JP2005128790A (ja) 制限速度認識装置、制限速度表示装置、速度警報装置及び速度制御装置
US20150220796A1 (en) Sign recognition apparatus and method for determining left- or right-hand traffic division and distance unit
JP6697522B2 (ja) 区画線認識装置
US9852626B2 (en) Vehicle driving assistance apparatus and vehicle driving assistance method
JP5813298B2 (ja) ドライブレコーダ、及び、画像記憶方法
CN110954920A (zh) 附着物检测装置
JP2004310522A (ja) 車両用画像処理装置
JP2005202787A (ja) 車両用表示装置
CN111231948A (zh) 使用环境噪声的行驶安全控制系统及其控制方法
CN114103981A (zh) 车载显示装置、车载显示方法以及计算机可读存储介质
JP5587075B2 (ja) ドライブレコーダ、及び、画像記憶方法
JP6144737B2 (ja) ドライブレコーダ、及び、画像記憶方法
JP4066869B2 (ja) 車両用画像処理装置
JP2006146956A (ja) 車両用走路判定装置
JP2008257635A (ja) 車両用警告装置
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
JP6500813B2 (ja) 車両用運転評価装置
JP7163817B2 (ja) 車両、表示方法及びプログラム
JP6232027B2 (ja) ドライブレコーダ、及び、車両逸脱判定装置
CN114333414A (zh) 停车让行检测装置、停车让行检测系统以及记录介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150916

R150 Certificate of patent or registration of utility model

Ref document number: 5813298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250