JP2010286278A - データ処理装置及びデータ処理方法及びプログラム - Google Patents
データ処理装置及びデータ処理方法及びプログラム Download PDFInfo
- Publication number
- JP2010286278A JP2010286278A JP2009138407A JP2009138407A JP2010286278A JP 2010286278 A JP2010286278 A JP 2010286278A JP 2009138407 A JP2009138407 A JP 2009138407A JP 2009138407 A JP2009138407 A JP 2009138407A JP 2010286278 A JP2010286278 A JP 2010286278A
- Authority
- JP
- Japan
- Prior art keywords
- acceleration value
- data processing
- unit
- value
- acceleration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
Abstract
【解決手段】角度θの傾斜のある車両のフロントガラス50にドライブレコーダ本体100が取付けられ、車両が平地で停車している際に、ドライブレコーダ本体100内の加速度センサがx方向の加速度値xとz方向の加速度値zを計測し、ドライブレコーダ本体100は、計測した加速度値xと加速度値zと予め記憶している重力加速度値gとを用いて、取付け角度θを算出し、算出した取付け角度θに基づいて、x方向の加速度値xを車両の進行方向の加速度値に補正し、z方向の加速度値zを車両の鉛直方向の加速度値に補正する補正式を算出する。
【選択図】図4
Description
上述のドライブレコーダは、映像を記録するカメラ(CCD(Charge Coupled Device)カメラなど)、音声を取得するマイク、事故や急ブレーキ・急ハンドルなどの衝撃を検知する加速度センサ(以下は3軸方向を検知する加速度センサとして説明)、衝撃前及び衝撃後の所定時間のデータを保存する不揮発メモリ等から構成される。
事故や急ブレーキ・急ハンドルなどの衝撃の有無は、加速度センサが出力する値がある条件(例:500msec以上0.4G以上の値を出力)を満たすかどうかで判定される。このため、加速度センサは車両にかかる加速度を正確に出力する必要がある。
従来の取付け状態検出ドライブレコーダは、加速度センサを用いて、ドライブレコーダが車両において基準の取付け状態になっているかを検出し、基準の取付け状態でない場合は画像や加速度データ値を反転することで補正を行っている(例えば、特許文献1、2)。
また、ドライブレコーダは車両のフロントガラスの上1/5の範囲内に取付けるのが一般的であるが、フロントガラスの傾きが車両によって異なるためドライブレコーダの取付け角度は車両によって異なり、単に取付けるだけでは基準の取付け状態にならない場合が多い。
そのため、従来の取付け状態検出ドライブレコーダは、専用の取付け器具を用いてどの車両でもドライブレコーダの基準の取付け状態に一致するようにしなければならず、部品コストが増加するという課題がある。
前方及び下方が定められ、所定の取付け対象物に取付けられるデータ処理装置であって、
前記データ処理装置が水平状態にある取付け対象物に取付けられている際に前記データ処理装置の前方に作用する加速度の値を前方加速度値として測定するとともに前記データ処理装置の下方に作用する加速度の値を下方加速度値として測定する加速度センサと、
重力加速度値を記憶する重力加速度値記憶部と、
前記加速度センサにより測定された前方加速度値と下方加速度値と、前記重力加速度値記憶部に記憶されている重力加速度値とに基づき、前記データ処理装置の傾き角度を導出する傾き角度導出部とを有することを特徴とする。
前述のように、ドライブレコーダ装置(以下、ドライブレコーダともいう)は自動車等の車両に設置され、事故が発生した場合に、その走行中の画像、音声などのデータを記録することで事故の発生原因を明確にするための装置であり、近年は一般向けにも普及が進んでいる。
ドライブレコーダは、映像を記録するカメラ(CCDカメラなど)、音声を取得するマイク、事故や急ブレーキ・急ハンドルなどの衝撃を検知する加速度センサ、衝撃前及び衝撃後の所定時間のデータを保存する不揮発メモリ等から構成される。
事故や急ブレーキ・急ハンドルなどの衝撃の有無は、加速度センサが出力する値がある条件(例:500msec以上0.4G以上の値を出力)を満たすかどうかで判定される。このため、加速度センサは車両にかかる加速度を正確に出力する必要がある。
正確に出力されない場合、事故や急ブレーキ・急ハンドルではない場面のデータ(ごみデータ)ばかり記録してしまったり、事故や急ブレーキ・急ハンドルの場面でデータを記録できなかったりする事例が多くなることが危惧される。
ドライブレコーダは車両のフロントガラスの上1/5の範囲内に取付けるのが一般的である。
本実施の形態では、ドライブレコーダ装置内の加速度センサにおいて車両の進行方向として扱われる方向を前方とし、ドライブレコーダ装置内の加速度センサにおいて車両の鉛直方向として扱われる方向を下方とする。
ドライブレコーダ装置10の前面10aの方向が前方であり、ドライブレコーダ装置10の下面10bの方向が下方である。
図1に示すように、ドライブレコーダ装置10は、車両のフロントガラス50の傾斜に沿って取付けられるので、ドライブレコーダ装置10は斜めに傾いてしまい、車両の前後、上下方向の値が加速度センサで正確に得られなくなる。
ドライブレコーダ装置10が水平に置かれている場合(下面10bが地面に対して水平になっている状態)は、ドライブレコーダ装置10の前方(x方向)は車両の前方向X、つまり水平方向に一致し、ドライブレコーダ装置10の下方(z方向)は車両の下方向Z、つまり鉛直方向に一致するが、図1に示すようにドライブレコーダ装置10が傾いて取付けられる場合は、ドライブレコーダ装置10の前方(x方向)は車両の前方向Xと一致せず、また、ドライブレコーダ装置10の下方(z方向)は車両の下方向Zに一致しないため、そのままでは、加速度センサは車両の前後方向及び上下方向を正確に検出することができない。
また、車両の種類によってフロントガラスの傾きは異なるため、ドライブレコーダ装置10の製品出荷時に予め補正を施すのは不可能である。
このため、ドライブレコーダを車両に取付けた後に、取付け状態(フロントガラスの傾き)を検出して補正を行う必要がある。
実施の形態1では、上記の取付け状態の検出処理について説明する。
また、「〜装置」として説明するものは、ドライブレコーダの基板に取付けられたハードウェア(部品)であるとする。
なお、「〜部」と「〜装置」の区別は図面に示すとおりでなくてもよく、図面において「〜部」と示されている要素が「〜装置」であってもよく(ハードウェアのみであってもよく)、「〜装置」と示されている要素が「〜部」であってもよい(ソフトウェアのみ、ファームウェアのみ、ハードウェアのみ、ソフトウェアとハードウェアとの組み合わせ、ソフトウェアとハードウェアとファームウェアとの組み合わせであってもよい)。
なお、実施の形態では、ドライブレコーダ装置10は、ドライブレコーダ本体100とカメラ部200から構成されたものとして説明する(以降の実施の形態でも同様)。
また、本実施の形態では、ドライブレコーダ本体100がデータ処理装置の例であり、カメラ部200が撮影装置の例である。
運転状態検出装置102(加速度センサ)は、取付け状態の検出のために、ドライブレコーダ本体100が取付けられている車両(取付け対象物)が水平状態にある場合(車両が平地に置かれているとき)に、ドライブレコーダ本体100の前方に作用する加速度の値を前方加速度値として測定するとともにドライブレコーダ本体100の下方に作用する加速度の値を下方加速度値として測定する。
ドライブレコーダ本体100の前方とは、ドライブレコーダ本体100の前面100aの方向であり、ドライブレコーダ本体100の下方とは、ドライブレコーダ本体100の下面100bの方向である。
図1についての説明で示したように、加速度センサは前方を車両の進行方向とし、下方を車両の鉛直方向とする。
本実施の形態では、運転状態検出装置102により測定された前方加速度値と下方加速度値と、後述する重力加速度値記憶部110に記憶されている重力加速度値とに基づき、ドライブレコーダ本体100の傾き角度(θ)(以下、取付け角度(θ)ともいう)を導出する。取付け状態判定部104は傾き角度導出部の例である。
より具体的には、取付け状態判定部104により導出された傾き角度(θ)に基づいて、前方の加速度値と下方の加速度値とから水平方向の加速度値と鉛直方向の加速度値を算出するための補正式を算出する。
取付け状態調整部106は補正式算出部の例である。
図3は実施の形態1におけるドライブレコーダの動作の流れの一例を示すフローチャートである。
起動検出部101がドライブレコーダの電源ONを検出する(S100)と、運転状態検出装置102が加速度を測定する(S101)(加速度測定ステップ)。
次に、運転状態取得部103は運転状態検出装置102が出力する各軸の加速度値(前方加速度値及び下方加速度値)を取得する(S102)。
なお、加速度値がアナログ値の場合は、運転状態取得部103でA/D変換を行う。
加速度値が取付け状態判定部104へ送られると、取付け状態判定部104は、重力加速度値記憶部110から重力加速度値(g)を読み出す(重力加速度読み出しステップ)とともに、x方向の加速度値(x)及びz方向の加速度値(z)と重力加速度値(g)を用いて幾何解析により、取付け角度(θ)を求める(S103)(傾き角度導出ステップ)。
取付け状態判定部104による取付け角度(θ)の求め方を図4に示す。
加速度センサの値(x,z)と重力加速度(g)から以下の式(1)及び式(2)で取付け角度(θ)を求める。
x=gsinθ 式(1),z=gcosθ 式(2)
ここで、加速度値(x)は前方加速度値であり、加速度値(z)は下方加速度値である。
その後、取付け状態調整部106は、判定結果取得部105から取付け角度(θ)の値を受け取り、加速度の補正式を求める(S105)。
補正式は、図5に示すように、式(3)及び式(4)である。
X=xcosθ−zsinθ 式(3)
Z=xsinθ+zcosθ 式(4)
式(3)は、加速度センサの前方加速度値xと下方加速度値zから車両の前後方向(水平方向)の加速度値Xを算出するための補正式であり、式(4)は、加速度センサの前方加速度値xと下方加速度値zから車両の上下方向(鉛直)方向の加速度値Zを算出するための補正式である。
例えば、θ=60°の時、補正式は以下のようになる。
例えば、判定結果取得部105と取付け状態調整部106の何れの処理も正常に完了した場合は、LEDを橙色から緑色へ変化させ、スピーカからは「記録を開始します」という音声を出力させるよう制御する。
判定結果通知装置108は、判定結果通知制御部107からの制御に従って、ユーザに結果を通知する(S107)。
運転状態検出装置102は定期的に、車の走行状態(車にかかる加速度)を取得している(S200)。
運転状態取得部103は、運転状態検出装置102の出力した加速度値(図5のx方向の加速度値とz方向の加速度値)を取得すると、そのデータを必要に応じ電気信号の変換(A/D変換など)を行い、取付け状態調整部106へ渡す(S201)。取付け状態調整部は、S105で求めた補正式を用いて、車両方向の加速度値(図5のX方向の加速度値とZ方向の加速度値)を求める(S202)(図5の(2)の処理)。
電源がOFFになるまでS200〜S202の処理を繰り返し行う。
なお、ドライブレコーダでは、加速度の値を元に、不揮発メモリへデータを保存するかどうか判定を行うが、本明細書では説明を省略する。
図7において、部品は図中の文字を四角で囲むことで表し、処理は図中の文字を楕円で囲むことで表し、データは図中の文字に下線を引くことで表している。
この加速度データと重力加速度データ(重力加速度値記憶部110にて保持されている)は、取付け状態判定部104で行われる取付け状態判定処理の入力となる(加速度値入力処理)(重力加速度読み出し処理)。
取付け状態判定処理(傾き角度導出処理)の結果、取付け角度の値と処理結果コードが出力される。
処理結果コードとは、正常終了や異常終了(複数あってもよい)を示したデータである。
取付け角度の値は取付け状態調整部106で実施される補正式算出処理の入力となる。
補正式算出処理の結果、処理結果コードが出力される。
取付け状態判定処理の処理結果コードと、補正式算出処理の処理結果コードは、判定結果通知制御部107で行われる通知内容判定処理の入力となる。
通知内容判定処理の結果、LEDの点灯方法やスピーカの音声出力方法を定めた通知データが出力され、判定結果通知装置108の入力となる。
また、基準の取付け状態を規定する必要がないため、専用の取付け器具が不要となり、部品点数が減ることによる原価低減につながる。
さらに、ドライブレコーダを直接フロントガラスに取付けるため、衝撃等によるドライブレコーダのずれをなくすことができる。
また、取付け状態検出処理結果をユーザに通知することで、処理が確実に行われたこと、あるいはエラーが発生したことを迅速にユーザに伝えることができ、ユーザの不安解消、ユーザビリティの向上につながる。
また、取付け角度から車両方向の加速度データ補正を行うことによって、正確な事故あるいは急ブレーキ等の判定を行うことができるため、ごみデータの削減につながる。
さらに、事故等のデータを確実に記録できることにつながる。
さらに、事故時には、補正後の加速度データを分析することで、衝撃の加わった方向などの解析に利用することが可能となる。
この場合、ドライブレコーダの取付け位置がある許容範囲α以上横方向にずれているかを判定し、ずれていた場合はユーザに通知することで、ユーザに取付けの修正を行わせることができる。
また、本実施の形態では、図3のS100に示すように、ドライブレコーダの起動後に自動で取付け状態の検出処理を行っている例を説明したが、取付け状態の検出処理の開始タイミングはこれに限らない。取付け状態の検出処理の実施可否をユーザに判断させてもよい。
例えば、イベント記録用のボタンを押しながら電源ONした場合のみ取付け状態の検出処理を行うようにすることもできる。
また、本実施の形態では、通知装置としてLED、スピーカを挙げたが、他の装置の使用を妨げるものではない。例えばブザーを使ってユーザに通知してもよいし、ディスプレイによる図形や文字の表示によりユーザに通知してもよい。
吊り下げ型のドライブレコーダ装置とは、例えば、特許文献1に開示のドライブレコーダ装置のように、ドライブレコーダ装置と取付け部品から構成され、取付け部品をフロントガラスに貼り付け、取付け部品によりドライブレコーダ装置を吊り下げる方式のものである。
図32に示す構成においても、ドライブレコーダ装置10に内蔵されている加速度センサにおいて車両の進行方向と扱われる方向(ドライブレコーダ装置10の前面10aの方向)を前方とし、ドライブレコーダ装置に内蔵されている加速度センサにおいて車両の鉛直方向と扱われる方向(ドライブレコーダ装置10の下面10bの方向)を下方とする。
図32においても、ドライブレコーダ装置10は、車両のフロントガラス50の傾斜により斜めに傾いてしまい、車両の前後、上下方向の値が加速度センサで正確に得られなくなる。
ドライブレコーダ装置10が水平に置かれている場合は、ドライブレコーダ装置10の前方(x方向)は車両の前後方向X、つまり水平方向に一致し、ドライブレコーダ装置10の下方(z方向)は車両の上下方向Z、つまり鉛直方向に一致するが、図32に示すようにドライブレコーダ装置10が傾いて取付けられる場合は、ドライブレコーダ装置10の前方(x方向)は車両の前後方向Xと一致せず、また、ドライブレコーダ装置10の下方(z方向)は車両の上下方向Zに一致しないため、そのままでは、加速度センサは車両の前後方向及び上下方向を正確に検出することができない。
実施の形態1では、取付け状態の検出処理について説明した。
その他、ドライブレコーダではカメラ部200の調整も必要である。
実施の形態2では、カメラ部の調整も含めた処理について説明する。
図2と同様の構成部分は説明を省略する。
なお、以下では加速度値の補正処理は記載を省略しているが、本実施の形態においても実施の形態1と同様の加速度の補正処理を行う。
本実施の形態では、カメラ部角度調節装置201は可変抵抗器として説明する。
可変抵抗器たるカメラ部角度調節装置201はカメラ部200の姿勢に応じて抵抗値を変化させて出力電圧値を変化させることが可能であり、制御値記憶部111は、制御値として、ドライブレコーダ本体100の傾き角度(θ)に対応させて電圧値を記憶している。
つまり、ドライブレコーダ本体100の傾き角度(θ)に対して適切なカメラ部200の傾き角度が存在するが、制御値記憶部111は、カメラ部200が適切な傾き角度になっているかを判断するための判断基準として、ドライブレコーダ本体100の傾き角度(θ)の刻みごと(例えば、1度ごと)に電圧値を記憶している。取付け状態調整部106は、取付け状態判定部104により導出されたドライブレコーダ本体100の傾き角度(θ)に対応する電圧値を制御値記憶部111から取得するとともに、取得した電圧値とカメラ部200から出力される電圧値とを比較してカメラ部200の姿勢を調整する。
本実施の形態では、取付け状態調整部106は撮影装置姿勢調整部として機能する。
図10は実施の形態2におけるドライブレコーダの動作の流れの一例を示すフローチャートである。
なお、カメラ部200の角度調整はユーザが手動で行う。
その後、取付け状態調整部106が、取付け角度(θ)に対応する電圧値を制御値記憶部111から受取り、更に、カメラ部角度調節装置201から出力された電圧値を受取り、これら電圧値を比較して、カメラ部200の角度が適切であるか否かを判断する(S302)。前述したように、カメラ部200の角度調節はユーザが手動で行い、カメラ部200の角度に応じてカメラ部角度調節装置201は電圧値を変化させる。
取付け状態調整部106は、カメラ部角度調節装置201から出力された電圧値が制御値である電圧値と所定の範囲内で一致すれば、カメラ部200の角度が調整されていると判定する(S303でYES)。
カメラ部200の角度が調整できるまで(S303でNOが継続する限り)S302の処理を続ける。
カメラ部の角度調整が正しく行われたところ(S303でYES)で、正しく行われたことをユーザに通知するため、判定結果通知制御部107が取付け状態調整部106の結果からユーザへの通知方法を決定する(S304)。
その後、判定結果通知装置108が判定結果通知制御部107からの通知内容に従ってLEDの点滅やスピーカから音声出力を行う(S305)。
なお、電圧値はカメラ部200の角度によって値が異なる。
この電圧値と図3のS103の処理で算出した取付け角度(θ)が取付け状態調整部106で行われるカメラ部角度調節処理の入力となる。
カメラ部角度調節処理の結果、処理結果コードが出力される。
この処理結果コードが、判定結果通知制御部107で行われる通知内容判定処理の入力となる。
通知内容判定処理の結果、LEDの点灯方法やスピーカの音声出力方法を定めた通知データが出力され、判定結果通知装置108の入力となる。
また、その結果を用いて、カメラ部の角度調整の判定を行うことができ、ユーザへのカメラ部角度調整処理の負担を軽減することができる。
また、基準の取付け状態を規定する必要がないため、専用の取付け器具が不要となり、部品点数が減ることによる原価低減につながる。さらに、ドライブレコーダを直接フロントガラスに取付けるため、衝撃等によるドライブレコーダのずれをなくすことができる。
また、取付け状態検出処理結果およびカメラ部角度調整結果をユーザに通知することで、処理が確実に行われたこと、あるいはエラーが発生したことを迅速にユーザに伝えることができ、ユーザの不安解消、ユーザビリティの向上につながる。
また、取付け角度から車両方向の加速度データ補正を行うことによって、正確な事故あるいは急ブレーキ等の判定を行うことができるため、ごみデータの削減につながる。さらに、事故等のデータを確実に記録できることにつながる。
さらに、事故時には、補正後の加速度データを分析することで、衝撃の加わった方向などの解析に利用することが可能となる。
以上の実施の形態2では、カメラ部の角度調節処理をユーザが手動で行う必要がある。
本実施の形態では、カメラ部の角度調節処理を自動で行う方法について述べる。
図2と同様の構成部分は説明を省略する。
なお、以下では加速度値の補正処理は記載を省略しているが、本実施の形態においても実施の形態1と同様の加速度の補正処理を行う。
カメラ部角度自動調整装置202は駆動機構を備え、取付け状態調整部106からの制御信号に基づき、駆動機構を駆動させてカメラ部200の姿勢(傾き角度)を変化させることが可能である。
そして、本実施の形態では、制御値記憶部111は、ドライブレコーダ本体100の傾き角度(θ)の刻みごとに、カメラ部角度自動調整装置202の駆動機構に対する制御値を記憶している。
制御値は、ドライブレコーダ本体100の傾き角度(θ)に応じて適切な角度にカメラ部200を向けるための値である。例えば、目標となる角度自体である。もしくは、目標となる角度に対応する、駆動機構の基準位置から回転位置や回転時間である。または、目標となる角度に対応する、駆動機構の基準位置からの移動距離や移動時間である。または、これら目標角度、回転位置、回転時間、移動距離、移動時間等に対応する電圧値等である。
また、取付け状態調整部106は、取付け状態判定部104により導出されたドライブレコーダ本体100の傾き角度(θ)に対応する制御値を制御値記憶部111から取得するとともに、取得した制御値を制御信号としてカメラ部角度自動調整装置202に出力し、駆動機構を制御信号に従って駆動させてカメラ部200の姿勢(傾き角度)を調整する。
本実施の形態においても、取付け状態調整部106は撮影装置姿勢調整部として機能する。
図13は、実施の形態3におけるドライブレコーダの動作の流れの一例を示すフローチャートである。
その後、取付け状態調整部106が、取付け角度(θ)に対応する制御値を制御値記憶部111から受取り、また、カメラ部角度自動調整装置202から現在のカメラ部200の角度に対応する値を取得し、カメラ部角度自動調整装置202から取得した値と制御値とを比較して、カメラ部200の角度の調整度合を判定する(S402)。
カメラ部角度自動調整装置202から取得する値は制御値と比較可能な値であり、制御値がカメラ部200の目標角度であれば、カメラ部角度自動調整装置202からは現在のカメラ部200の角度を取得し、制御値がカメラ部200の目標角度に対応する駆動機構の回転位置であれば、カメラ部角度自動調整装置202からは現在のカメラ部200の角度に対応する駆動機構の回転位置を取得する。
取付け状態調整部106は、カメラ部角度自動調整装置202から出力された値が制御値と所定の範囲内で一致すれば、カメラ部200の角度が調整されていると判定する。
一方、カメラ部200の角度が調整されていない場合は、取付け状態調整部106は、制御値を制御信号としてカメラ部角度自動調整装置202に出力し、カメラ部角度自動調整装置202に制御値に従って駆動機構を駆動させ、カメラ部200を目標角度に調節させる(S403)。
S403の調整が終わると、ユーザに通知するため、判定結果通知制御部107が取付け状態調整部106の結果からユーザへの通知方法を決定する(S404)。
その後、判定結果通知装置108が判定結果通知制御部107からの通知内容に従ってLEDの点滅やスピーカから音声出力を行う(S405)。
カメラ部角度調節処理の結果、角度調整情報(制御信号)と処理結果情報が出力される。
角度調整情報はカメラ部200の角度調整具合を示す制御信号である。
この角度調整情報がカメラ部角度自動調整装置202の入力となる。
また、処理結果コードが、判定結果通知制御部107で行われる通知内容判定処理の入力となる。
通知内容判定処理の結果、LEDの点灯方法やスピーカの音声出力方法を定めた通知データが出力され、判定結果通知装置108の入力となる。
また、その結果を用いて、カメラ部角度の自動調整を行うことができ、ユーザへのカメラ部角度調整処理を不要にすることができる。
また、基準の取付け状態を規定する必要がないため、専用の取付け器具が不要となり、部品点数が減ることによる原価低減につながる。
さらに、ドライブレコーダを直接フロントガラスに取付けるため、衝撃等によるドライブレコーダのずれをなくすことができる。
また、取付け状態検出処理結果およびカメラ部角度調整結果をユーザに通知することで、処理が確実に行われたこと、あるいはエラーが発生したことを迅速にユーザに伝えることができ、ユーザの不安解消、ユーザビリティの向上につながる。
また、取付け角度から車両方向の加速度データ補正を行うことによって、正確な事故あるいは急ブレーキ等の判定を行うことができるため、ごみデータの削減につながる。
さらに、事故等のデータを確実に記録できることにつながる。
さらに、事故時には、補正後の加速度データを分析することで、衝撃の加わった方向などの解析に利用することが可能となる。
以上の実施の形態3では、カメラ部の角度調整処理を自動で行った。
本実施の形態では、画像処理技術を用いてカメラ部の自動調整の精度を高める方法について述べる。
図2と同様の構成部分は説明を省略する。
なお、以下では加速度値の補正処理は記載を省略しているが、本実施の形態においても実施の形態1と同様の加速度の補正処理を行う。
カメラ部撮影装置203は、例えば30分の1秒(所定の撮影間隔時間)に1枚の割合で静止画像を撮影する。
図16は実施の形態4におけるドライブレコーダの動作の流れの一例を示すフローチャートである。
その後、取付け状態調整部106が、取付け角度の値から、カメラ部200の角度の調整度合いを判定する(S502)。例えば、図4のS402の説明において示した方法を用いる。
判定結果をもとに、取付け状態調整部106は、カメラ部角度自動調整装置202を制御し、カメラ部200の角度の調整を行う(S503)。例えば、図4のS403の説明において示した方法を用いる。
判定方法は、例えば消失点の算出から判定する、センターライン、信号、標識を検出し、その相対位置から判定する、などが考えられる。
ずれの程度の判定は、例えば、撮影画像処理部109は、距離の差と角度のずれの対応関係を予め記憶しておき、導出した距離の差に応じて角度のずれを判定するようにする。
また、S504は、他の方法により実現されてもよい。
また、ユーザに通知するため、判定結果通知制御部107が取付け状態調整部106の結果からユーザへの通知方法を決定する(S506)。
その後、判定結果通知装置108が判定結果通知制御部107からの通知内容に従ってLEDの点滅やスピーカから音声出力を行う(S507)。
カメラ部角度調節処理の結果、角度調整情報(1)が出力される。角度調整情報(1)は取付け角度の値から算出したカメラ部200の角度調整具合を示す制御信号である。
この角度調整情報(1)がカメラ部角度自動調整装置202の入力となる。
カメラ部撮影装置203からは、画像情報が出力され、撮影画像処理部109で行われる画像解析処理の入力となる。
画像解析処理の結果、撮影画像のずれの度合いを示した解析情報が出力され、カメラ部角度調節処理の入力となる。
再度カメラ部角度調節処理を行った結果、角度調整情報(2)と処理結果情報が出力される。
角度調整情報(2)は解析情報の値から算出したカメラ部の角度調整具合を示す制御信号である。
また、処理結果コードが、判定結果通知制御部107で行われる通知内容判定処理の入力となる。
通知内容判定処理の結果、LEDの点灯方法やスピーカの音声出力方法を定めた通知データが出力され、判定結果通知装置108の入力となる。
また、その結果を用いて、カメラ部角度の自動調整を行うことができ、ユーザへのカメラ部角度調整処理を不要にすることができる。
さらに、画像処理によってより精度の高いカメラ部角度の自動調整を行うことができる。
また、基準の取付け状態を規定する必要がないため、専用の取付け器具が不要となり、部品点数が減ることによる原価低減につながる。
さらに、ドライブレコーダを直接フロントガラスに取付けるため、衝撃等によるドライブレコーダのずれをなくすことができる。
また、取付け状態検出処理結果およびカメラ部角度調整結果をユーザに通知することで、処理が確実に行われたこと、あるいはエラーが発生したことを迅速にユーザに伝えることができ、ユーザの不安解消、ユーザビリティの向上につながる。
また、取付け角度から車両方向の加速度データ補正を行うことによって、正確な事故あるいは急ブレーキ等の判定を行うことができるため、ごみデータの削減につながる。
さらに、事故等のデータを確実に記録できることにつながる。
さらに、事故時には、補正後の加速度データを分析することで、衝撃の加わった方向などの解析に利用することが可能となる。
実施の形態1から実施の形態4までの処理は、運転状態検出装置102をドライブレコーダ本体100の中に取付けていた。
実施の形態5以降では、運転状態検出装置102をカメラ部200の中に取付けた場合について説明する。
図2と同様の構成部分は説明を省略する。
運転状態検出装置204(加速度センサ)は、実施の形態1から4の運転状態検出装置102と同様の部品であり、取付け場所がカメラ部200に変わっただけである。
本実施の形態では、カメラ部200の前面200aが向く方向を前方としている。また、カメラ部200の下面200bが向く方向を下方としている。カメラ部200の前面200aには、撮影のためのレンズが配置されている。
そして、運転状態検出装置204(加速度センサ)は、取付け状態の検出のために、ドライブレコーダ本体100が取付けられている車両(取付け対象物)が水平状態にある場合(車両が平地に置かれているとき)にカメラ部200の前方に作用する加速度の値を前方加速度値として測定するとともにカメラ部200の下方に作用する加速度の値を下方加速度値として測定する。
また、本実施の形態では、ドライブレコーダ装置10がデータ処理装置の例となる。
図19は実施の形態5におけるドライブレコーダの動作の流れの一例を示すフローチャートである。
なお、カメラ部200の角度調整はユーザが手動で行う。
起動検出部101がドライブレコーダの電源ONを検出する(S600)と、運転状態検出装置102が加速度を測定する(S601)(加速度測定ステップ)。
次に、運転状態取得部103は運転状態検出装置204が出力する各軸の加速度値を取得する(S602)。
なお、加速度値がアナログ値の場合は、運転状態取得部103でA/D変換を行う。
加速度値が取付け状態判定部104へ送られると、取付け状態判定部104は、重力加速度値記憶部110から重力加速度値(g)を読み出す(重力加速度読み出しステップ)とともに、カメラ部200の傾き角度(θ’)(以下、取付け角度(θ’)ともいう)を求め、カメラ部200の角度が調節済であるかどうかを判定する(S603)(傾き角度導出ステップ)。
取付け状態判定部104による取付け角度(θ’)の求め方を図20に示す。
加速度センサの値(x,z)と重力加速度(g)から以下の式(5)及び式(6)で取付け角度(θ’)を求める。
x=gsinθ’ 式(5),z=gcosθ’ 式(6)
ここで、xは前方加速度値(加速度センサにて計測した前方の加速度値)であり、zは下方加速度値(加速度センサにて計測した下方の加速度値)である。
そして、取付け状態判定部104は、算出した取付け角度(θ’)が予め設定されている許容範囲内にあるか否かを判断し、許容範囲内にあれば、取付け状態判定部104はカメラ部200の角度が調節済であると判定する。
判定結果取得部105が取得した結果がカメラ部調整済に対応するものであった場合(S605でYES)、判定結果通知制御部107は、判定結果取得部105の処理結果を受け取り、判定結果通知装置108の動作を決定する(S606)。
判定結果通知装置108は、判定結果通知制御部107からの制御に従って、ユーザに結果を通知する(S607)。
判定結果取得部105が取得した結果がカメラ部調整済に対応するものでない場合(S605でNO)、S601に戻って、カメラ部角度の判定を継続して行う。
この加速度データと重力加速度データ(重力加速度値記憶部110にて保持されている)は、取付け状態判定部104で行われる取付け状態判定処理の入力となる(加速度値入力処理)(重力加速度値読み出し処理)。
取付け状態判定処理(傾き角度導出処理)の結果、処理結果コードが出力される。
処理結果コードとは、正常終了や異常終了(複数あってもよい)を示したデータである。
取付け状態判定処理の処理結果コードは、判定結果通知制御部107で行われる通知内容判定処理の入力となる。
通知内容判定処理の結果、LEDの点灯方法やスピーカの音声出力方法を定めた通知データが出力され、判定結果通知装置108の入力となる。
また、同時に、カメラ部の角度調整の判定を行うことができ、ユーザへのカメラ部角度調整処理の負担を軽減することができる。
また、基準の取付け状態を規定する必要がないため、専用の取付け器具が不要となり、部品点数が減ることによる原価低減につながる。
さらに、ドライブレコーダを直接フロントガラスに取付けるため、衝撃等によるドライブレコーダのずれをなくすことができる。
また、取付け状態検出処理結果をユーザに通知することで、処理が確実に行われたこと、あるいはエラーが発生したことを迅速にユーザに伝えることができ、ユーザの不安解消、ユーザビリティの向上につながる。
また、運転状態検出装置204の検出方向を車両方向に一致させることによって、正確な事故あるいは急ブレーキ等の判定を行うことができるため、ごみデータの削減につながる。
さらに、事故等のデータを確実に記録できることにつながる。
さらに、事故時には、補正後の加速度データを分析することで、衝撃の加わった方向などの解析に利用することが可能となる。
この場合、ドライブレコーダの取付け位置がある許容範囲α以上横方向にずれているかを判定し、ずれていた場合はユーザに通知することで、ユーザに取付けの修正を行わせることができる。
例えば、車両の走行中の一時停止中にユーザがボタン操作でS601以降の処理を開始させるようにしてもよい。
実施の形態5では、カメラ部の角度調節処理をユーザが手動で行う必要がある。
本実施の形態では、カメラ部の角度調節処理を自動で行う方法について述べる。
図18と同様の構成部分は説明を省略する。
つまり、実施の形態3において説明したように、カメラ部角度自動調整装置202は駆動機構を備え、取付け状態調整部106からの制御信号に基づき、駆動機構を駆動させてカメラ部200の姿勢(傾き角度)を変化させることが可能である。
本実施の形態では、制御値記憶部111は、カメラ部200の傾き角度(θ’)の刻みごとに、カメラ部角度自動調整装置202の駆動機構に対する制御値を記憶している。
制御値は、カメラ部200を適切な角度に向けるための値である。例えば、目標となる角度自体である。もしくは、目標となる角度に対応する、駆動機構の基準位置から回転位置や回転時間である。または、目標となる角度に対応する、駆動機構の基準位置からの移動距離や移動時間である。または、これら目標角度、回転位置、回転時間、移動距離、移動時間等に対応する電圧値等である。
また、取付け状態調整部106は、取付け状態判定部104により導出されたカメラ部200の傾き角度(θ’)が所定の許容範囲(閾値)の範囲内でないと判定された場合に、取付け状態判定部104により導出されたカメラ部200の傾き角度(θ’)に対応する制御値を制御値記憶部111から取得するとともに、取得した制御値を制御信号としてカメラ部角度自動調整装置202の駆動機構に出力し駆動機構を制御信号に従って駆動させてカメラ部200の傾き角度を許容範囲内にする調整を行う。
本実施の形態においても、取付け状態調整部106は撮影装置姿勢調整部として機能する。
図23は実施の形態6におけるドライブレコーダの動作の流れの一例を示すフローチャートである。
起動検出部101がドライブレコーダの電源ONを検出する(S700)と、運転状態検出装置204が加速度を測定する(S701)。
次に、運転状態取得部103は運転状態検出装置204が出力する各軸の加速度値を取得する(S702)。
なお、加速度値がアナログ値の場合は、運転状態取得部103でA/D変換を行う。
取付け状態判定部104は、重力加速度値記憶部110から重力加速度値(g)を読み出すとともに、カメラ部200のずれである取付け角度(θ’)を求める(S703)。取付け角度(θ’)の導出方法は、実施の形態5で説明したとおりである。
次に、取付け状態判定部104は、取付け角度(θ’)が許容範囲内であるか否かを判断し、許容範囲内であれば取付け状態判定部104は、カメラ部200の角度が調整されていると判定する。
一方、取付け角度(θ’)が許容範囲を超えていれば、取付け状態調整部106が取付け角度(θ’)に対応する制御値を制御値記憶部111から取得するとともに、取得した制御値をカメラ部角度自動調整装置202の駆動機構に出力し駆動機構を制御値に従って駆動させてカメラ部200の傾き角度を許容範囲内にする調整を行う(S704)。
取付け状態判定部104及び取付け状態調整部106の判定結果は判定結果取得部105が取得・保存する(S705)。
判定結果通知制御部107は、判定結果取得部105の処理結果を受け取り、判定結果通知装置108の動作を決定する(S706)。
判定結果通知装置108は、判定結果通知制御部107からの制御に従って、ユーザに結果を通知する(S707)。
この加速度データと重力加速度データ(重力加速度値記憶部110にて保持されている)は、取付け状態判定部104及び取付け状態調整部106で行われる取付け状態判定処理の入力となる。
取付け状態判定処理の結果、角度調整情報(制御信号)と処理結果コードが出力される。
角度調整情報はカメラ部200の角度調整具合を示す制御信号である。
この角度調整情報がカメラ部角度自動調整装置202の入力となる。
処理結果コードとは、正常終了や異常終了(複数あってもよい)を示したデータである。
取付け状態判定処理の処理結果コードは、判定結果通知制御部107で行われる通知内容判定処理の入力となる。
通知内容判定処理の結果、LEDの点灯方法やスピーカの音声出力方法を定めた通知データが出力され、判定結果通知装置108の入力となる。
また、同時に、カメラ部の角度自動調整を行うことができ、ユーザへのカメラ部角度調整処理を不要とすることができる。
また、基準の取付け状態を規定する必要がないため、専用の取付け器具が不要となり、部品点数が減ることによる原価低減につながる。
さらに、ドライブレコーダを直接フロントガラスに取付けるため、衝撃等によるドライブレコーダのずれをなくすことができる。
また、取付け状態検出処理結果をユーザに通知することで、処理が確実に行われたこと、あるいはエラーが発生したことを迅速にユーザに伝えることができ、ユーザの不安解消、ユーザビリティの向上につながる。
また、運転状態検出装置204の検出方向を車両方向に一致させることによって、正確な事故あるいは急ブレーキ等の判定を行うことができるため、ごみデータの削減につながる。
さらに、事故等のデータを確実に記録できることにつながる。
さらに、事故時には、補正後の加速度データを分析することで、衝撃の加わった方向などの解析に利用することが可能となる。
例えば、車両の走行中の一時停止中にユーザがボタン操作でS701以降の処理を開始させるようにしてもよい。
以上の実施の形態6では、カメラ部の角度調整処理を自動で行った。
本実施の形態では、画像処理技術を用いてカメラ部の自動調整の精度を高める方法について述べる。
図22と同様の構成部分は説明を省略する。
カメラ部撮影装置203は、例えば30分の1秒(所定の撮影間隔時間)に1枚の割合で静止画像を撮影する。
図26は実施の形態7におけるドライブレコーダの動作の流れの一例を示すフローチャートである。
起動検出部101がドライブレコーダの電源ONを検出する(S800)と、運転状態検出装置204が加速度を測定する(S801)。
次に、運転状態取得部103は運転状態検出装置204が出力する各軸の加速度値を取得する(S802)。
なお、加速度値がアナログ値の場合は、運転状態取得部103でA/D変換を行う。
取付け状態判定部104は、重力加速度値記憶部110から重力加速度値(g)を読み出すとともに、カメラ部200のずれである取付け角度(θ’)を求める(S803)。取付け角度(θ’)の導出方法は、実施の形態5で説明したとおりである。
取付け状態判定部104は、取付け角度(θ’)が許容範囲内であるか否かを判断し、許容範囲内であれば取付け状態判定部104は、カメラ部200の角度が調整されていると判定する。
一方、取付け角度(θ’)が許容範囲を超えていれば、取付け状態調整部106が取付け角度(θ’)に対応する制御値を制御値記憶部111から取得するとともに、取得した制御値を制御信号としてカメラ部角度自動調整装置202の駆動機構に出力し駆動機構を制御信号に従って駆動させてカメラ部200の傾き角度を許容範囲内にする調整を行う(S804)。
判定方法は、例えば消失点の算出から判定する、センターライン、信号、標識を検出し、その相対位置から判定する、などが考えられる。
具体的には、実施の形態4で説明したように、カメラ部200を正しい角度に取付けた際の画像内の消失点位置と、その消失点の垂直方向の距離(消失点から画像の下端への距離)をあらかじめ記憶しておき、調整時に撮影画像処理部109がカメラ部200から入力した入力画像を解析して入力画像における消失点の位置を導出し、入力画像の消失点の垂直方向の距離(消失点から入力画像の下端への距離)を導出し、記憶している距離と調整時に導出した距離とを比較して、カメラが正しく正面を向いているか否か及びずれの程度を判定する。
また、センターライン、信号、標識等を用いる場合は、ドライブレコーダとセンターライン、信号、標識との距離を一定に保ちカメラ部200を正しい角度に取付けた際の各対象物の画像内の位置と、その垂直方向の距離(各対象物から画像の下端への距離)をあらかじめ記憶しておき、実際に調整する時には、対象物との位置関係を上記と同じように保つようにドライブレコーダを置き、撮影画像処理部109がカメラ部200から入力した入力画像を解析して入力画像における各対象物の位置を導出し、入力画像における各対象物の垂直方向の距離(各対象物から入力画像の下端への距離)を導出し、記憶している距離と調整時に導出した距離とを比較して、カメラが正しく正面を向いているか否か及びずれの程度を判定する。なお、対象物は、センターライン、信号、標識に限らず画像認識可能な形状の物体、図案、人物などであっても良い。
また、S805は、他の方法により実現されてもよい。
判定結果通知制御部107は、判定結果取得部105の処理結果を受け取り、判定結果通知装置108の動作を決定する(S808)。
判定結果通知装置108は、判定結果通知制御部107からの制御に従って、ユーザに結果を通知する(S809)。
この加速度データと重力加速度データ(重力加速度値記憶部110にて保持されている)は、取付け状態判定部104及び取付け状態調整部106で行われるカメラ部角度調節処理の入力となる。
カメラ部角度調節処理の結果、角度調整情報(1)と処理結果コードが出力される。
角度調整情報(1)はカメラ部200の角度調整具合を示す制御信号である。
この角度調整情報(1)がカメラ部角度自動調整装置202の入力となる。
カメラ部撮影装置203からは、画像情報が出力され、撮影画像処理部109で行われる画像解析処理の入力となる。
画像解析処理の結果、撮影画像のずれの度合いを示した解析情報が出力され、カメラ部角度調節処理の入力となる。
再度カメラ部角度調節処理を行った結果、角度調整情報(2)と処理結果コードが出力される。
角度調整情報(2)は解析情報の値から算出したカメラ部の角度調整具合を示す制御信号である。
処理結果コードとは、正常終了や異常終了(複数あってもよい)を示したデータである。
取付け状態判定処理の処理結果コードは、判定結果通知制御部107で行われる通知内容判定処理の入力となる。
通知内容判定処理の結果、LEDの点灯方法やスピーカの音声出力方法を定めた通知データが出力され、判定結果通知装置108の入力となる。
また、同時に、カメラ部の角度自動調整を行うことができ、ユーザへのカメラ部角度調整処理を不要とすることができる。
さらに、画像処理によってより精度の高いカメラ部角度の自動調整を行うことができる。
また、基準の取付け状態を規定する必要がないため、専用の取付け器具が不要となり、部品点数が減ることによる原価低減につながる。
さらに、ドライブレコーダを直接フロントガラスに取付けるため、衝撃等によるドライブレコーダのずれをなくすことができる。
また、取付け状態検出処理結果をユーザに通知することで、処理が確実に行われたこと、あるいはエラーが発生したことを迅速にユーザに伝えることができ、ユーザの不安解消、ユーザビリティの向上につながる。
また、運転状態検出装置204の検出方向を車両方向に一致させることによって、正確な事故あるいは急ブレーキ等の判定を行うことができるため、ごみデータの削減につながる。
さらに、事故等のデータを確実に記録できることにつながる。
さらに、事故時には、補正後の加速度データを分析することで、衝撃の加わった方向などの解析に利用することが可能となる。
以上の実施の形態7では、画像処理技術を用いてカメラ部の自動調整の精度を高めた。
本実施の形態では、画像処理技術を用いて取付け状態も判定する方法について述べる。
図25と同様の構成部分は説明を省略する。
撮影画像処理部109は、図22にも存在するが、図28では、取付け状態判定部104にもつながっている部分が異なる。
また、本実施の形態では、適正姿勢画像記憶部112が存在する。
適正姿勢画像記憶部112は、ドライブレコーダ本体100及びカメラ部200が取付けられている車両(取付け対象物)が水平状態にある場合(車両が平地に置かれているとき)であって、カメラ部200が適正姿勢(撮影範囲が車両の正面方向になる姿勢)にて取付けられているときにカメラ部200が撮影した撮影画像を適正姿勢画像として記憶する。
図29は実施の形態8におけるドライブレコーダの動作の流れの一例を示すフローチャートである。
起動検出部101がドライブレコーダの電源ONを検出する(S901)と、撮影画像処理部109はカメラ部撮影装置203が出力する画像を取得し(撮影画像入力ステップ)、また、適正姿勢画像記憶部112から適正姿勢画像を読み出し(適正姿勢画像読み出しステップ)、両画像の解析を行う(S902)。
撮影画像処理部109は、両画像に対して消失点の位置と、消失点から画像下端への垂直方向の距離を導出する。
図30(a)は、適正姿勢画像記憶部112に保存されている適正姿勢画像の例を示し、例えば、図30(c)に示す姿勢220aのようにカメラ部200の撮影方向が車両の進行方向と一致する姿勢(適正姿勢)であるときにカメラ部200が撮影した画像である。
撮影画像処理部109は、解析により、適正姿勢画像内の消失点位置(図30(a)の消失点(1))と、その消失点の垂直方向の距離(図30(a)の消失点(1)から画像の下端に伸びている破線の長さ)を抽出する。
図30(b)は、S902において入力された入力画像の例を示し、例えば、図30(c)に示す姿勢220b時にカメラ部200が撮影した画像である。
撮影画像処理部109は、解析により、入力画像における消失点の位置(図30(b)の消失点(2))と、入力画像の消失点の垂直方向の距離(図30(b)の消失点(2)から画像の下端に伸びている破線の長さ)を抽出する。
なお、適正姿勢画像記憶部112に、予め、適正姿勢画像での消失点の垂直方向の距離が記憶されている場合は、撮影画像処理部109は適正姿勢画像については消失点位置と垂直方向の距離の抽出処理を省略することができる。
そして、取付け状態判定部104は、撮影画像処理部109が適正姿勢画像から抽出した距離(図30(a)の破線の長さ)と入力画像から抽出した距離(図30(b)の破線の長さ)とを比較して、カメラが正しく正面を向いているか否か及びずれの程度(θ’’)を判定する。
例えば、取付け状態判定部104は、距離の差と角度のずれ(θ’’)の対応関係を予め記憶しておき、導出した距離の差に応じて角度のずれ(θ’’)を判定するようにする。
なお、S903は、他の方法により実現されてもよい。例えば、実施の形態4で説明したように、センターライン、信号、標識を検出し、その相対位置から判定するようにしてもよい。
つまり、取付け状態判定部104が判定した角度(θ’’)が許容範囲を超えている場合は、取付け状態判定部104が判定した角度(θ’’)に基づいて制御信号を生成し、カメラ部角度自動調整装置202に制御信号を出力する。
判定方法は、例えば上記の通り消失点の算出から判定するようにしてもよいし、センターライン、信号、標識を検出し、その相対位置から判定するようにしてもよい。
もちろん他の方法を用いてもよい。
つまり、取付け状態判定部104が判定した角度(θ’’)が許容範囲を超えている場合は、取付け状態判定部104が判定した角度(θ’’)に基づいて制御信号を生成し、カメラ部角度自動調整装置202に制御信号を出力する。
判定結果通知制御部107は、判定結果取得部105の処理結果を受け取り、判定結果通知装置108の動作を決定する(S908)。
判定結果通知装置108は、判定結果通知制御部107からの制御に従って、ユーザに結果を通知する(S909)。
撮影画像処理部109での画像解析処理の結果、適正姿勢画像における消失点の垂直方向の距離が示される解析情報(a)と入力画像における消失点の垂直方向の距離が示される解析情報(b)が出力され、取付け状態判定部104及び取付け状態調整部106で行われるカメラ部角度調節処理(傾き角度導出処理)の入力となる。
カメラ部角度調節処理の結果、角度調整情報(制御信号)が出力される。
角度調整情報はカメラ部200の角度調整具合を示す制御信号である。
この角度調整情報がカメラ部角度自動調整装置202の入力となる。
その後、再びカメラ部撮影装置203からは、新たな入力画像である画像情報(b)が出力され、撮影画像処理部109で行われる画像解析処理の入力となる。
画像解析処理の結果、新たな入力画像における消失点の垂直方向の距離が示される解析情報(b)が出力され、取付け状態判定部104及び取付け状態調整部106で行われるカメラ部角度調節処理の入力となる。
再度カメラ部角度調節処理を行った結果、新たな角度調整情報(制御信号)と処理結果コードが出力される。
新たな角度調整情報は解析情報の値から算出したカメラ部200の角度調整具合を示す制御信号である。
処理結果コードとは、正常終了や異常終了(複数あってもよい)を示したデータである。
取付け状態判定処理の処理結果コードは、判定結果通知制御部107で行われる通知内容判定処理の入力となる。
通知内容判定処理の結果、LEDの点灯方法やスピーカの音声出力方法を定めた通知データが出力され、判定結果通知装置108の入力となる。
また、同時に、カメラ部の角度自動調整を行うことができ、ユーザへのカメラ部角度調整処理を不要とすることができる。
さらに、画像処理によってより精度の高いカメラ部角度の自動調整を行うことができる。
また、基準の取付け状態を規定する必要がないため、専用の取付け器具が不要となり、部品点数が減ることによる原価低減につながる。
さらに、ドライブレコーダを直接フロントガラスに取付けるため、衝撃等によるドライブレコーダのずれをなくすことができる。
また、取付け状態検出処理結果をユーザに通知することで、処理が確実に行われたこと、あるいはエラーが発生したことを迅速にユーザに伝えることができ、ユーザの不安解消、ユーザビリティの向上につながる。
また、運転状態検出装置204の検出方向を車両方向に一致させることによって、正確な事故あるいは急ブレーキ等の判定を行うことができるため、ごみデータの削減につながる。
さらに、事故等のデータを確実に記録できることにつながる。
さらに、事故時には、補正後の加速度データを分析することで、衝撃の加わった方向などの解析に利用することが可能となる。
例えば、車両の走行中の一時停止中にユーザがボタン操作でS902以降の処理を開始させるようにしてもよい。
また、車両走行中は継続して画像の解析処理によるカメラずれ検出処理(S903)を継続して行わせ、カメラずれが起こった場合にカメラの角度を調節する(S904)ようにしてもよい。
図33は、実施の形態1〜8に示すドライブレコーダ装置10のハードウェア資源の一例を示す図である。
なお、図33の構成は、あくまでもドライブレコーダ装置10のハードウェア構成の一例を示すものであり、ドライブレコーダ装置10のハードウェア構成は図33に記載の構成に限らず、他の構成であってもよい。
CPU911は、バス912を介して、例えば、ROM(Read Only Memory)913、RAM(Random Access Memory)914、LCDやLED等の表示装置(DSP)901、カメラ902、加速度センサ915、スピーカー905、フラッシュメモリ920と接続され、これらのハードウェアデバイスを制御する。
また、ドライブレコーダ装置10は、これらのハードウェアデバイス以外に、キーボード、非接触ICカード、マイク等を備えていてもよい。
ドライブレコーダ装置10の起動時には、ROM913のBIOSプログラム及び磁気ディスク装置920のブートプログラムが実行され、BIOSプログラム及びブートプログラムによりオペレーティングシステム921が起動される。
「〜ファイル」や「〜データベース」は、記録媒体に記憶される。記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してCPU911によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・編集・出力・表示などのCPUの動作に用いられる。
抽出・検索・参照・比較・演算・計算・処理・編集・出力・表示のCPUの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリ、レジスタ、キャッシュメモリ、バッファメモリ等に一時的に記憶される。
また、以上説明したフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、記録媒体に記録される。また、データや信号は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
Claims (22)
- 前方及び下方が定められ、所定の取付け対象物に取付けられるデータ処理装置であって、
前記データ処理装置が水平状態にある取付け対象物に取付けられている際に前記データ処理装置の前方に作用する加速度の値を前方加速度値として測定するとともに前記データ処理装置の下方に作用する加速度の値を下方加速度値として測定する加速度センサと、
重力加速度値を記憶する重力加速度値記憶部と、
前記加速度センサにより測定された前方加速度値と下方加速度値と、前記重力加速度値記憶部に記憶されている重力加速度値とに基づき、前記データ処理装置の傾き角度を導出する傾き角度導出部とを有することを特徴とするデータ処理装置。 - 前記傾き角度導出部は、
前方加速度値をxとし、下方加速度値をzとし、重力加速度値をgとし、前記データ処理装置の傾き角度をθとした場合に、式x=g・sinθと、式z=g・cosθとを用いて、前記データ処理装置の傾き角度を導出することを特徴とする請求項1に記載のデータ処理装置。 - 前記データ処理装置は、更に、
前記傾き角度導出部により導出された傾き角度に基づいて、前記加速度センサによる前方加速度値と下方加速度値とから水平方向の加速度値と鉛直方向の加速度値を算出するための補正式を算出する補正式算出部を有することを特徴とする請求項1又は2に記載のデータ処理装置。 - 前記補正式算出部は、
前方加速度値をxとし、下方加速度値をzとし、重力加速度値をgとし、前記データ処理装置の傾き角度をθとし、水平方向の加速度値をXとし、鉛直方向の加速度値をZとした場合に、式X=x・cosθ−z・sinθに傾き角度θの値を代入して水平方向の加速度値を算出するための補正式を算出し、式Z=x・sinθ+z・cosθに傾き角度θの値を代入して鉛直方向の加速度値を算出するための補正式を算出することを特徴とする請求項3に記載のデータ処理装置。 - 前記データ処理装置は、姿勢を変化させることができる撮影装置に接続され、
前記データ処理装置は、更に、
前記撮影装置の姿勢を調整するための制御値を、前記データ処理装置の傾き角度に対応させて記憶する制御値記憶部と、
前記傾き角度導出部により導出された前記データ処理装置の傾き角度に対応する制御値を前記制御値記憶部から取得するとともに、取得した制御値を用いて前記撮影装置の姿勢を調整する撮影装置姿勢調整部とを有することを特徴とする請求項1〜4のいずれかに記載のデータ処理装置。 - 前記データ処理装置は、
可変抵抗器を備え、姿勢に応じて前記可変抵抗器の抵抗値を変化させて前記可変抵抗器から出力される電圧値を変化させる撮影装置に接続され、
前記制御値記憶部は、
前記制御値として、前記データ処理装置の傾き角度に対応させて電圧値を記憶し、
前記撮影装置姿勢調整部は、
前記傾き角度導出部により導出された前記データ処理装置の傾き角度に対応する電圧値を前記制御値記憶部から取得するとともに、取得した電圧値と前記撮影装置から出力される電圧値とを用いて前記撮影装置の姿勢を調整することを特徴とする請求項5に記載のデータ処理装置。 - 前記データ処理装置は、
駆動機構を備え、前記駆動機構の駆動により姿勢を変化させる撮影装置に接続され、
前記制御値記憶部は、
前記制御値として、前記データ処理装置の傾き角度に対応させて前記駆動機構に対する制御値を記憶し、
前記撮影装置姿勢調整部は、
前記傾き角度導出部により導出された前記データ処理装置の傾き角度に対応する制御値を前記制御値記憶部から取得するとともに、取得した制御値を前記駆動機構に出力し前記駆動機構を制御値に従って駆動させて前記撮影装置の姿勢を調整することを特徴とする請求項5又は6に記載のデータ処理装置。 - 前記データ処理装置は、更に、
前記撮影装置により撮影された撮影画像を入力し、入力した撮影画像を解析する撮影画像処理部を有し、
前記撮影装置姿勢調整部は、
前記撮影画像処理部による撮影画像の解析結果を用いて、前記撮影装置の姿勢を調整することを特徴とする請求項5〜7のいずれかに記載のデータ処理装置。 - 前方及び下方が定められ、姿勢を変化させることができる撮影装置
が含まれるデータ処理装置であって、
前記撮影装置内に配置され、前記データ処理装置が水平状態にある取付け対象物に取付けられている際に前記撮影装置の前方に作用する加速度の値を前方加速度値として測定するとともに前記撮影装置の下方に作用する加速度の値を下方加速度値として測定する加速度センサと、
重力加速度値を記憶する重力加速度値記憶部と、
前記加速度センサにより測定された前方加速度値と下方加速度値と、前記重力加速度値記憶部に記憶されている重力加速度値とに基づき、前記撮影装置の傾き角度を導出する傾き角度導出部とを有することを特徴とするデータ処理装置。 - 前記傾き角度導出部は、
導出した前記撮影装置の傾き角度が所定の閾値の範囲内であるか否かを判定し、
前記データ処理装置は、更に、
前記傾き角度導出部の判定結果を出力する判定結果出力部を有することを特徴とする請求項9に記載のデータ処理装置。 - 前記傾き角度導出部は、
導出した前記撮影装置の傾き角度が所定の閾値の範囲内であるか否かを判定し、
前記データ処理装置は、更に、
前記撮影装置内に配置され、前記撮影装置の姿勢を変化させることができる駆動機構と、
前記撮影装置の傾き角度に対応させて前記駆動機構に対する制御値を記憶する制御値記憶部と、
前記傾き角度導出部により前記撮影装置の傾き角度が所定の閾値の範囲内でないと判定された場合に、前記傾き角度導出部により導出された前記撮影装置の傾き角度に対応する制御値を前記制御値記憶部から取得するとともに、取得した制御値を前記駆動機構に出力し前記駆動機構を制御値に従って駆動させて前記撮影装置の傾き角度を前記閾値の範囲内にする撮影装置姿勢調整部とを有することを特徴とする請求項9又は10に記載のデータ処理装置。 - 前記データ処理装置は、更に、
前記撮影装置により撮影された撮影画像を入力し、入力した撮影画像を解析する撮影画像処理部を有し、
前記撮影装置姿勢調整部は、
前記撮影画像処理部による撮影画像の解析結果を用いて、前記撮影装置の姿勢を調整することを特徴とする請求項11に記載のデータ処理装置。 - 前方及び下方が定められ、姿勢を変化させることができる撮影装置
に接続されるデータ処理装置であって、
前記撮影装置が水平状態にある取付け対象物に所定の適正姿勢にて取付けられているときに前記撮影装置が撮影した撮影画像を適正姿勢画像として記憶する適正姿勢画像記憶部と、
前記撮影装置が水平状態にある取付け対象物に取付けられている状態で撮影した撮影画像を入力する撮影画像処理部と、
前記撮影画像処理部により入力された入力撮影画像と、適正姿勢画像とを用いて、前記撮影装置の現在の姿勢における前記適正姿勢からの傾き角度を導出する傾き角度導出部とを有することを特徴とする - 前記傾き角度導出部は、
導出した前記撮影装置の傾き角度が所定の閾値の範囲内であるか否かを判定し、
前記データ処理装置は、更に、
前記傾き角度導出部の判定結果を出力する判定結果出力部を有することを特徴とする請求項13に記載のデータ処理装置。 - 前記傾き角度導出部は、
導出した前記撮影装置の傾き角度が所定の閾値の範囲内であるか否かを判定し、
前記データ処理装置は、
駆動機構を備え、前記駆動機構の駆動により姿勢を変化させる撮影装置に接続され、
前記データ処理装置は、更に、
前記撮影装置の傾き角度に対応させて前記駆動機構に対する制御値を記憶する制御値記憶部と、
前記傾き角度導出部により前記撮影装置の傾き角度が所定の閾値の範囲内でないと判定された場合に、前記傾き角度導出部により導出された前記撮影装置の傾き角度に対応する制御値を前記制御値記憶部から取得するとともに、取得した制御値を前記駆動機構に出力し前記駆動機構を制御値に従って駆動させて前記撮影装置の傾き角度を前記閾値の範囲内にする撮影装置姿勢調整部とを有することを特徴とする請求項13又は14に記載のデータ処理装置。 - 前記データ処理装置は、
車両を取付け対象物とし、
車両の傾斜のあるフロントガラスに取付けられるドライブレコーダ装置の少なくとも一部であることを特徴とする請求項1〜15のいずれかに記載のデータ処理装置。 - 前方及び下方が定められているデータ処理装置が水平状態にある取付け対象物に取付けられている際に、前記データ処理装置内に配置されている加速度センサが、前記データ処理装置の前方に作用する加速度の値を前方加速度値として測定するとともに前記データ処理装置の下方に作用する加速度の値を下方加速度値として測定する加速度測定ステップと、
前記データ処理装置の演算処理装置が、重力加速度値を記憶している重力加速度値記憶領域から重力加速度値を読み出す重力加速度読み出しステップと、
前記データ処理装置の演算処理装置が、前記加速度測定ステップにより測定された前方加速度値と下方加速度値と、前記重力加速度値読み出しステップにより読み出された重力加速度値とに基づき、前記データ処理装置の傾き角度を導出する傾き角度導出ステップとを有することを特徴とするデータ処理方法。 - 前方及び下方が定められ、姿勢を変化させることができる撮影装置内に配置されている加速度センサが、前記撮影装置に接続されているデータ処理装置が水平状態にある取付け対象物に取付けられている際に前記撮影装置の前方に作用する加速度の値を前方加速度値として測定するとともに前記撮影装置の下方に作用する加速度の値を下方加速度値として測定する加速度測定ステップと、
前記データ処理装置の演算処理装置が、重力加速度値を記憶している重力加速度値記憶領域から重力加速度値を読み出す重力加速度読み出しステップと、
前記データ処理装置の演算処理装置が、前記加速度測定ステップにより測定された前方加速度値と下方加速度値と、前記重力加速度値読み出しステップにより読み出された重力加速度値とに基づき、前記撮影装置の傾き角度を導出する傾き角度導出ステップとを有することを特徴とするデータ処理方法。 - 前方及び下方が定められ、姿勢を変化させることができる撮影装置が水平状態にある取付け対象物に所定の適正姿勢にて取付けられているときに前記撮影装置が撮影した撮影画像を適正姿勢画像として記憶する適正姿勢画像記憶領域から、前記撮影装置に接続されているデータ処理装置の演算処理装置が、適正姿勢画像を読み出す適正姿勢画像読み出しステップと、
前記データ処理装置の演算処理装置が、前記撮影装置が水平状態にある取付け対象物に取付けられている状態で撮影した撮影画像を入力する撮影画像入力ステップと、
前記撮影画像入力ステップにより入力された入力撮影画像と、前記適正姿勢画像読み出しステップにより読み出された適正姿勢画像とを用いて、前記データ処理装置の演算処理装置が、前記撮影装置の前記適正姿勢からの傾き角度を導出する傾き角度導出ステップとを有することを特徴とするデータ処理方法。 - 前方及び下方が定められているデータ処理装置が水平状態にある取付け対象物に取付けられている際に前記データ処理装置の前方に作用する加速度の値を前方加速度値として測定するとともに前記データ処理装置の下方に作用する加速度の値を下方加速度値として測定する加速度センサから、前方加速度値と下方加速度値とを入力する加速度値入力処理と、
重力加速度値を記憶している重力加速度値記憶領域から重力加速度値を読み出す重力加速度読み出し処理と、
前記加速度値入力処理により入力された前方加速度値と下方加速度値と、前記重力加速度値読み出し処理により読み出された重力加速度値とに基づき、前記データ処理装置の傾き角度を導出する傾き角度導出処理をコンピュータである前記データ処理装置に実行させることを特徴とするプログラム。 - 前方及び下方が定められ姿勢を変化させることができる撮影装置内に配置され、前記撮影装置に接続されているデータ処理装置が水平状態にある取付け対象物に取付けられている際に前記撮影装置の前方に作用する加速度の値を前方加速度値として測定するとともに前記撮影装置の下方に作用する加速度の値を下方加速度値として測定する加速度センサから、前方加速度値と下方加速度値とを入力する加速度値入力処理と、
重力加速度値を記憶している重力加速度値記憶領域から重力加速度値を読み出す重力加速度読み出し処理と、
前記加速度値入力処理により入力された前方加速度値と下方加速度値と、前記重力加速度値読み出し処理により読み出された重力加速度値とに基づき、前記撮影装置の傾き角度を導出する傾き角度導出処理とをコンピュータである前記データ処理装置に実行させることを特徴とするプログラム。 - 前方及び下方が定められ姿勢を変化させることができる撮影装置が水平状態にある取付け対象物に所定の適正姿勢にて取付けられているときに前記撮影装置が撮影した撮影画像を適正姿勢画像として記憶する適正姿勢画像記憶領域から、適正姿勢画像を読み出す適正姿勢画像読み出し処理と、
前記撮影装置が水平状態にある取付け対象物に取付けられている状態で撮影した撮影画像を入力する撮影画像入力処理と、
前記撮影画像入力処理により入力された入力撮影画像と、前記適正姿勢画像読み出し処理により読み出された適正姿勢画像とを用いて、前記撮影装置の現在の姿勢における前記適正姿勢からの傾き角度を導出する傾き角度導出処理とをコンピュータであるデータ処理装置に実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009138407A JP5342333B2 (ja) | 2009-06-09 | 2009-06-09 | データ処理装置及びデータ処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009138407A JP5342333B2 (ja) | 2009-06-09 | 2009-06-09 | データ処理装置及びデータ処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010286278A true JP2010286278A (ja) | 2010-12-24 |
JP5342333B2 JP5342333B2 (ja) | 2013-11-13 |
Family
ID=43542095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009138407A Expired - Fee Related JP5342333B2 (ja) | 2009-06-09 | 2009-06-09 | データ処理装置及びデータ処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5342333B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014045344A1 (ja) * | 2012-09-18 | 2014-03-27 | トヨタ自動車株式会社 | 車載カメラのfoe設定装置及びfoe設定方法 |
KR20140145363A (ko) * | 2013-06-13 | 2014-12-23 | 엘지이노텍 주식회사 | 촬영 장치, 촬영 시스템 및 이의 동작 방법 |
JP2015204062A (ja) * | 2014-04-16 | 2015-11-16 | 株式会社デンソー | ドライブレコーダ及びドライブレコーダにおける加速度補正プログラム |
CN109883395A (zh) * | 2019-04-03 | 2019-06-14 | 刘晓宇 | 一种自动测斜装置 |
JP2019537797A (ja) * | 2017-02-16 | 2019-12-26 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 撮影方向ずれ検出方法、装置、デバイス及び記憶媒体 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331426A (ja) * | 1995-05-30 | 1996-12-13 | Sharp Corp | カメラ監視装置 |
JPH0918861A (ja) * | 1995-06-30 | 1997-01-17 | Sharp Corp | カメラ監視装置 |
JPH0948298A (ja) * | 1995-08-09 | 1997-02-18 | Mitsubishi Motors Corp | 走行路における対象物位置計測方法 |
JP2001153883A (ja) * | 1999-11-26 | 2001-06-08 | Mitsubishi Motors Corp | 勾配車両加速度センサの補正装置 |
JP2006321423A (ja) * | 2005-05-20 | 2006-11-30 | Yazaki Corp | 取付状態検出装置、ドライブレコーダ及びドライブレコーダ解析ユニット |
JP2007311904A (ja) * | 2006-05-16 | 2007-11-29 | Victor Co Of Japan Ltd | ドライブレコーダの映像修正方法、ドライブレコーダ及び、ドライブレコーダシステム |
JP2008082855A (ja) * | 2006-09-27 | 2008-04-10 | Keihin Corp | 鞍乗り型の車両の転倒検出装置 |
-
2009
- 2009-06-09 JP JP2009138407A patent/JP5342333B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331426A (ja) * | 1995-05-30 | 1996-12-13 | Sharp Corp | カメラ監視装置 |
JPH0918861A (ja) * | 1995-06-30 | 1997-01-17 | Sharp Corp | カメラ監視装置 |
JPH0948298A (ja) * | 1995-08-09 | 1997-02-18 | Mitsubishi Motors Corp | 走行路における対象物位置計測方法 |
JP2001153883A (ja) * | 1999-11-26 | 2001-06-08 | Mitsubishi Motors Corp | 勾配車両加速度センサの補正装置 |
JP2006321423A (ja) * | 2005-05-20 | 2006-11-30 | Yazaki Corp | 取付状態検出装置、ドライブレコーダ及びドライブレコーダ解析ユニット |
JP2007311904A (ja) * | 2006-05-16 | 2007-11-29 | Victor Co Of Japan Ltd | ドライブレコーダの映像修正方法、ドライブレコーダ及び、ドライブレコーダシステム |
JP2008082855A (ja) * | 2006-09-27 | 2008-04-10 | Keihin Corp | 鞍乗り型の車両の転倒検出装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014045344A1 (ja) * | 2012-09-18 | 2014-03-27 | トヨタ自動車株式会社 | 車載カメラのfoe設定装置及びfoe設定方法 |
KR20140145363A (ko) * | 2013-06-13 | 2014-12-23 | 엘지이노텍 주식회사 | 촬영 장치, 촬영 시스템 및 이의 동작 방법 |
KR102085866B1 (ko) * | 2013-06-13 | 2020-03-09 | 엘지이노텍 주식회사 | 촬영 장치, 촬영 시스템 및 이의 동작 방법 |
JP2015204062A (ja) * | 2014-04-16 | 2015-11-16 | 株式会社デンソー | ドライブレコーダ及びドライブレコーダにおける加速度補正プログラム |
JP2019537797A (ja) * | 2017-02-16 | 2019-12-26 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 撮影方向ずれ検出方法、装置、デバイス及び記憶媒体 |
US10893209B2 (en) | 2017-02-16 | 2021-01-12 | Tencent Technology (Shenzhen) Company Limited | Photographing direction deviation detection method, apparatus, device, and storage medium |
CN109883395A (zh) * | 2019-04-03 | 2019-06-14 | 刘晓宇 | 一种自动测斜装置 |
CN109883395B (zh) * | 2019-04-03 | 2023-11-10 | 刘晓宇 | 一种自动测斜装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5342333B2 (ja) | 2013-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6284644B2 (ja) | 自動二輪車のための情報提供装置及びプログラム | |
JP5342333B2 (ja) | データ処理装置及びデータ処理方法及びプログラム | |
US7970175B2 (en) | Method and apparatus for assessing head pose of a vehicle driver | |
CN109716062B (zh) | 姿势估计装置 | |
JP6776202B2 (ja) | 車載カメラのキャリブレーション装置及び方法 | |
US11017552B2 (en) | Measurement method and apparatus | |
JP2005326963A5 (ja) | ||
JP5358414B2 (ja) | 漫然状態判定装置、方法及びプログラム | |
CN102194100A (zh) | 手指静脉认证装置 | |
KR20200020827A (ko) | 아날로그 스트로크들을 생성하고, 아날로그 스트로크들을 디지털 방식으로 저장하기 위한 전자 디바이스, 및 아날로그 레코딩들을 디지털화하기 위한 입력 시스템 및 방법 | |
JP6992726B2 (ja) | 運転支援装置、運転支援方法、プログラム | |
JP2005331332A (ja) | センサ装置 | |
JP2011150573A (ja) | ドライブレコーダ | |
JP6213359B2 (ja) | ドライブレコーダ及びドライブレコーダにおける加速度補正プログラム | |
JP2017117211A (ja) | 検出装置、方法、及びプログラム | |
JP2006143159A (ja) | 車両用動き認識装置 | |
JP2007015483A (ja) | 鉄道車両の走行位置検出方法 | |
KR102121287B1 (ko) | 카메라 시스템 및 카메라 시스템의 제어 방법 | |
JP5995808B2 (ja) | レール消失点検出装置、鉄道用前方監視カメラ装置、鉄道車両、およびレール消失点検出方法ならびに制御方法 | |
US7800653B2 (en) | Systems and methods for compensating signal drift according to a calculated absolute difference value | |
JP5272431B2 (ja) | 対象物測距装置及びプログラム | |
JP2007072774A (ja) | 運転者監視システム | |
JP2020173262A (ja) | 補正装置、補正方法及び補正装置用プログラム | |
JP6955464B2 (ja) | 車両位置判定装置 | |
JP2018132378A (ja) | 加速度センサ較正装置、加速度センサ較正プログラム及び加速度センサ較正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130716 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130809 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |