JP2006172012A - Uneasiness detection device and uneasiness detection method - Google Patents
Uneasiness detection device and uneasiness detection method Download PDFInfo
- Publication number
- JP2006172012A JP2006172012A JP2004361903A JP2004361903A JP2006172012A JP 2006172012 A JP2006172012 A JP 2006172012A JP 2004361903 A JP2004361903 A JP 2004361903A JP 2004361903 A JP2004361903 A JP 2004361903A JP 2006172012 A JP2006172012 A JP 2006172012A
- Authority
- JP
- Japan
- Prior art keywords
- anxiety
- average
- jerk
- vehicle
- deceleration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Regulating Braking Force (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両運転中における運転者の不安感を検出する不安感検出装置および不安感検出方法に関する。 The present invention relates to an anxiety detecting device and an anxiety detecting method for detecting a driver's anxiety while driving a vehicle.
近年、自動車には、運転者に対して様々な情報を提供するための装置が搭載されている。たとえば、同一地点や近傍地域の通過回数、不必要なウインカー操作などから迷走状態を検出し、走行中の道路名称やこれから向かう道路名称、地名を提示して、運転者が現在どの地点を走行しているのかを迅速に認知させるために有効な情報提供を行うようにした走行情報提供装置が知られている(特許文献1参照)。
しかしながら、従来の走行情報提供装置では、同一地点、近傍付近の重複通過という挙動を迷走状態の検出に用いているため、目的地に近い場所で迷走した場合には同一地点やその近傍の重複通過が多くなることから、比較的速くそのような迷走状態を検出できるが、たとえば目的地へ向かう途中で現在走っている道路が目的地に向かっているかどうか不安を抱いているような状態、つまり走行軌跡上に直接現れない運転者の走行中における進路に対する不安感などは検出することができないという問題がある。 However, in the conventional travel information providing device, the behavior of overlapping passage near the same point and the vicinity is used for detection of the stray state. However, it is possible to detect such a stray state relatively quickly, but for example, a state where the user is worried about whether the current road is heading for the destination. There is a problem that a driver who does not appear directly on the trajectory cannot detect anxiety about the course while driving.
また、同一地点の通過を検出するということでは、前述のように目的地に近い場所や近傍においては、同一地点通過も短時間でおこりうるが、迷走状態の距離が長い場合は、同一地点通過までの時間が長くなるため、迷走状態であることの検出に時間がかかるという問題がある。 In addition, when detecting the passage of the same point, as described above, the same point can be passed in a short time at a place close to the destination as described above. Since it takes a long time, it takes time to detect that the vehicle is in a stray state.
本発明に係わる不安感検出装置は、車両の現在速度を検出し車速情報を出力する車速検出手段と、ブレーキの操作を検出しブレーキ操作情報を出力するブレーキ検出手段と、前記車速情報と前記ブレーキ操作情報を取得し、ブレーキの操作開始から車両停止までの車両挙動によって前記車両の運転者に不安感があるかどうかを推定する不安感推定手段とを備えることを特徴とするものである。 An anxiety detection device according to the present invention includes vehicle speed detection means for detecting a current speed of a vehicle and outputting vehicle speed information, brake detection means for detecting a brake operation and outputting brake operation information, the vehicle speed information and the brake An anxiety estimation means that acquires operation information and estimates whether or not the driver of the vehicle has anxiety based on vehicle behavior from the start of brake operation to the stop of the vehicle is provided.
また、本発明に係わる不安感検出方法は、車両の走行中にブレーキ操作が開始されたか否かを判断するステップと、ブレーキ操作後車両が停止したか否かを判断するステップと、ブレーキ操作開始から停止までの間の車両挙動より、前記車両の運転者に不安感があるかどうかを推定するステップとを備えることを特徴とするものである。 Further, the anxiety detection method according to the present invention includes a step of determining whether or not a brake operation is started while the vehicle is traveling, a step of determining whether or not the vehicle is stopped after the brake operation, and a brake operation start. And a step of estimating whether or not the driver of the vehicle is uneasy based on the vehicle behavior from the start to the stop.
本発明は、運転者がブレーキを踏んでから停止するまでの車両挙動から運転者の不安感を検出することとしたので、運転者の中で停止をするというはっきりとした意識があるか否かにより不安感があるかどうかを推定して検出判断をしているため、実際の走行経路などによらず、また、ブレーキ操作以外の外乱に影響されにくい状態で不安感を検出することができる。 In the present invention, since the driver's anxiety is detected from the vehicle behavior from when the driver steps on the brake to when the vehicle stops, whether or not there is a clear consciousness of stopping in the driver. Therefore, it is possible to detect anxiety in a state that is less susceptible to disturbances other than the brake operation, regardless of the actual travel route.
以下、本発明に係わる不安感検出装置および不安感検出方法の実施例を図面を参照しながら説明する。 Embodiments of an anxiety detection device and anxiety detection method according to the present invention will be described below with reference to the drawings.
図1は、本発明の実施例1に係わる不安感検出装置の機能的な構成を示すブロック図である。
FIG. 1 is a block diagram showing a functional configuration of an anxiety detection apparatus according to
この不安感検出装置1は、車両の現在速度を検出する車速検出部11と、運転者によるブレーキ操作を検出するブレーキ検出部13と、車両の停止を判断する停止動作判断部15と、車速、ブレーキ操作などの車両情報を一時記憶する車両情報一時記憶部17と、車速およびブレーキ操作などの車両情報から不安感を抱いているかどうかを推定する不安感推定部19と、推定結果に基づき運転者が必要とする情報表示データを作成する表示情報作成部21とを備えている。また、この不安感検出装置1にはナビゲーション装置31と表示装置33が接続されている。
This
このように構成された不安感検出装置1は、運転者に不安感があると判断された場合にはナビゲーション装置31の情報をもとに表示情報作成部21が作成した情報を表示装置33に表示する。
The
以下各部について説明する。 Each part will be described below.
車速検出部(車速検出手段)11は、通常車両の車軸などに取り付けられていて、車両の現在速度を検出する。検出した速度は停止動作判断部15へ車速情報として出力する。
The vehicle speed detection unit (vehicle speed detection means) 11 is attached to the axle of a normal vehicle and detects the current speed of the vehicle. The detected speed is output to the stop
ブレーキ検出部(ブレーキ検出手段)13は、プレーキペダルまたはプレキーシリンダなどに取り付けられ、ブレーキ操作が行われたことを検出し、ブレーキ操作が行われた場合にオン信号をブレーキ操作情報として停止動作判断部15へ出力する。なお、ブレーキ検出部13はブレーキ操作中、すなわちブレーキベダルが踏み込まれている間はこのオン信号を出力し続ける。一方、ブレーキ操作が行われていない場合には、信号を出力しない。
A brake detection unit (brake detection means) 13 is attached to a brake pedal or a pre-key cylinder and detects that a brake operation has been performed. Output to the
停止動作判断部15は、車速検出部11からの速度情報をもとに車両が停止したか否かを判断し、また、ブレーキ検出部13からのブレーキ操作情報(オン信号の有無)によりブレーキ操作が行われたか否かを判断する。これらの判断結果は、ブレーキ操作開始時刻、車両停止時刻などと共に、車両情報として車両情報一時記憶部17に記憶させている。
The stop
車両情報一時記憶部17は、現在の車両の状況、すなわち、車両が停止しているか否か、ブレーキ操作が行われているか否かなどの車両情報を一時的に記憶する。 The vehicle information temporary storage unit 17 temporarily stores vehicle information such as the current vehicle status, that is, whether the vehicle is stopped, whether a brake operation is being performed, or the like.
不安感推定部19は、本実施例では停止動作判断部15と共に不安感推定手段として機能する。不安感推定部19は、車両情報一時記憶部17に記憶された車両情報をもとに運転者が不安感を抱いているか否かを推定する。
The
表示情報作成部21は、不安感推定部19による推定結果をもとに表示画面データを作成し、表示装置33に表示する。
The display
ナビゲーション装置31は、車両の現在位置から地図データをもとに地図上における車両現在位置を表示し、また目的地までの道案内などを行う、通常のナビゲーション装置31である。
The
表示装置33は、運転者に対して表示情報作成部21が作成した画面データを表示するものである。ナビゲーション装置31に使用されている表示装置33をそのまま利用することができる。
The
この不安感検出装置1において、停止動作判断部15、不安感推定部19、および表示情報作成部21は、たとえば車載コンピュータであり、このコンピュータに後述する手順を行わせるプログラムを実行させることによって各部の機能を実施するものである。また、車両情報一時記憶部17は、このコンピュータ内のRAMなどの高速読み書き可能な記憶媒体である。
In this
車速検出部11およびブレーキ検出部13は、上述したように車両各部取り付けられたセンサーであるが、車両各部の制御に使用するために設けられたネットワークから、車速やブレーキ操作の情報を得るようにしてもよい。
The vehicle speed detection unit 11 and the
次に、この不安感検出装置1の作用を説明する。
Next, the operation of the
図2は、不安感検出装置1における不安感検出処理の動作手順を示すフローチャートである。
FIG. 2 is a flowchart showing an operation procedure of anxiety detection processing in the
不安感検出装置1は、車両のイグニッションスイッチがオン状態になるのに応じて開始となり、処理を開始する。
The
まず、停止動作判断部15が車速検出部11を介して取得した車速情報より、自車が走行しているか否かを判断する(S101)。走行中でなければ(S101:No)、そのまま走行中かどうかを監視し続ける。
First, based on the vehicle speed information acquired by the stop
ここで自車が走行中であると判断した場合は(S101:Yes)、停止動作判断部15がブレーキ検出部13を介して取得したブレーキのオン信号により、運転者がブレーキを踏み始めたか否か、すなわちブレーキ操作が開始されたか否かを判断する。ここで、ブレーキが踏まれ始めたと判断された場合は(S102:Yes)、ステップS103に進む。一方、ブレーキ操作が行われていなければ(S102:No)、そのままステップS101へ戻る。
If it is determined that the host vehicle is traveling (S101: Yes), whether or not the driver has started to step on the brake according to the brake on signal acquired by the stop
ブレーキ操作が開始されたと判断された後、停止動作判断部15は後のステップS108における平均ジャークおよび平均減速度算出に用いるために必要な情報(車速およびブレーキ操作開始時刻)を車両情報一時記憶部17に保存し始める(S103)。
After it is determined that the brake operation has been started, the stop
続いて、停止動作判断部15は、ブレーキ検出部13を介して取得したブレーキのオン信号の有無から運転者がブレーキを放したか否かを判断する(S104)。ブレーキを放した場合(ブレーキ検出部13からのオン音信が途絶えることになるので、これをブレーキが開放されたものとする。S104:Yes)。この処理の段階では、今回のブレーキ操作が車両の停止にまでは至らなかったものとして、車両情報一時記憶部17に保存していた車両情報を破棄し(S105)、処理はステップS101へ戻る。
Subsequently, the stop
一方、ブレーキを踏み続けている場合は(ブレーキ検出部13からオン信号が出ている状態。S104:No)、続いて停止動作判断部15が車速検出部11を介して取得した車速情報により、自車が停止したか否かを判断する(S106)。ここで、自車が停止していないと判断された場合は(S106:No)、ステップS104に戻り、ブレーキが開放されたか否かを監視し続けることになる。
On the other hand, when the brake is continuously depressed (a state in which an on signal is output from the
一方、自車が停止したと判断された場合は(S106:Yes)、車両停止時刻を車両情報として車両情報一時記憶部17に記憶した後、車両情報一時記憶部17への車両情報の保存動作を停止する(S107)。 On the other hand, if it is determined that the host vehicle has stopped (S106: Yes), the vehicle stop time is stored in the vehicle information temporary storage unit 17 as vehicle information, and then the vehicle information is stored in the vehicle information temporary storage unit 17. Is stopped (S107).
続いて、停止動作判断部15は、車両情報一時記憶部17に保存していた車両情報を不安感推定部19に渡し、不安感推定部19が車両情報から平均ジャーク、平均減速度を算出する(S108)。
Subsequently, the stop
ここでジャーク(躍度)とは、加速度が時間的に変化する割合であり、車両においては車両走行状態の滑らかさを表す指標となる。ジャークは速度の2階微分のことで求められる。そして停止動作期間中のジャークを平均化することで、平均ジャークを算出している。 Here, the jerk (jumping degree) is a rate at which the acceleration changes with time, and is an index representing the smoothness of the vehicle running state in the vehicle. Jerk is determined by the second derivative of speed. The average jerk is calculated by averaging the jerk during the stop operation period.
平均減速度は、運転者がブレーキを踏み始める停止動作開始時の速度を停止動作にかかった時間で割ったものである。ここで停止動作にかかった時間は、車両情報として記憶された車両停止時刻からブレーキ操作開始時刻を減算した時間である。この平均減速度は、停止動作開始時の速度の大きさに依存することなく、運転者がどのくらい急ブレーキを行ったかを表すものである。 The average deceleration is the speed at the start of the stop operation at which the driver starts to step on the brake divided by the time taken for the stop operation. Here, the time taken for the stop operation is a time obtained by subtracting the brake operation start time from the vehicle stop time stored as the vehicle information. This average deceleration represents how much the driver brakes suddenly without depending on the speed at the start of the stop operation.
その後、不安感推定部19は、算出した平均ジャークと平均減速度を用いて不安感を推定する(S109)。この推定には、図3に示す平均減速度と平均ジャークの関係グラフが用いられる。すなわち、平均減速度と平均ジャークの関係値(図3における各点)が、平均減速度に応じて変化する所定範囲内か否かをもって不安感の有無を推定する。
Thereafter, the
ここで平均減速度に応じて変化する所定範囲は、図3に示すグラフ中のしきい値線301と302である。平均減速度と平均ジャークの関係値がグラフ中のしきい値線301以上で302以下の場合は、不安感がある状況と判断してステップS110へ進む。一方、しきい値線301と302の間に平均減速度と平均ジャークの関係値がない場合には不安感がない状況と判断しステップS111へ進む。なお、平均減速度と平均ジャークの関係値がしきい値線302を超える場合は、突発的な状況で運転者が対応した可能性が高く、警報などを出すようにしてもよい。
Here, the predetermined range that changes according to the average deceleration is the
所定範囲を定める一方のしきい値線301は、具体的には下記(1)式で表される。
One
{平均ジャーク(0.5m/s3)2}=46×{平均減速度(km/h/s)+40 …(1)
上記(1)式のうち、平均減速度の係数である46は、平均減速度が上がる場合に(急停止気味になるにつれて)どのくらい平均ジャークが上がるかを表している。この値は、通常の走行時(事故や違反運転を除く)、平均減速度が大体2〜10(km/h/s)の範囲に収まると考えられ(平均減速度10(km/h/s)の時は、約0.28Gとなるが、通常の急ブレーキは0.3Gといわれている)、その範囲内での平均ジャークと平均減速度の関係より係数を決めた。その決め方は、1985年にフラッシュ(Flash)とホーガン(Hogan)により提案された人間の手の到達運動をモデル化した躍度最小モデル(Flash, T., Hogan, N. 1985. The coordination of arm movements: an experimentally confirmed mathematical model. J. Neurosci., 5, 1688−1703)を用いて算出する。
{Average jerk (0.5 m / s3) 2} = 46 × {Average deceleration (km / h / s) +40 (1)
In the above equation (1), 46, which is a coefficient of average deceleration, represents how much the average jerk increases when the average deceleration increases (as it seems to suddenly stop). This value is considered that the average deceleration is within the range of 2 to 10 (km / h / s) during normal driving (excluding accidents and illegal driving) (average deceleration 10 (km / h / s ) Is about 0.28G, but normal sudden braking is said to be 0.3G), but the coefficient was determined from the relationship between average jerk and average deceleration within that range. The method of determination is the minimum jerk model (Flash, T., Hogan, N. 1985. The coordination of arm), which modeled the reaching movement of the human hand, proposed by Flash and Hogan in 1985. movements: an experientially conformed mathematical model. J. Neurosci., 5, 1688-1703).
これによれば、たとえば時速40kmからの停止として、平均減速度2(km/h/s)と10(km/h/s)の値より係数は36と算出されるが、今回は、平均減速度が4〜10(km/h/s)の範囲で、より人の運転操作の乱れが起きるだろうと仮定し、係数を46とした。 According to this, for example, as a stop from 40 km / h, the coefficient is calculated as 36 based on the values of average deceleration 2 (km / h / s) and 10 (km / h / s). The coefficient was set to 46, assuming that more disturbed driving operation would occur when the speed was in the range of 4 to 10 (km / h / s).
今回係数を求めるに当たり時速40kmを用いているが、時速により本来は理想の係数は変わってくる。しかし、時速40kmモデルと平均ジャーク値が乖離していくのは低速で停止動作時間が極小の状態と、より高速な状態の二つとなるが、停止動作が極小の時点で人間が滑らかな制御を行うことは、ほとんどできないために低速時は省くことができ、また、高速の場合でも値が乖離していくのは、停止動作が短い場合なため、常用範囲としている平均減速度2〜10(km/h/s)の範囲では、問題ないと考えられる。 This time, 40 km / h is used to determine the coefficient, but the ideal coefficient changes depending on the speed. However, the 40km / h model deviates from the average jerk value at two speeds: the low speed and the minimum stop operation time, and the higher speed state. Since it can hardly be performed, it can be omitted at low speeds, and even when the speed is high, the value deviates when the stop operation is short. km / h / s), it is considered that there is no problem.
また、上記(1)式の切片の値40は、上記で求めた理想の係数に対して、どの程度運転者の誤差や操作変動を許容するかという範囲を決める値である。これは、運転者の通常運転時のデータより回帰分析を行い、切片の標準誤差の平均が40前後となったため、理想係数よりマイナス40でも平均ジャーク(二乗値なためマイナスにはなりえない)がマイナスにならないように切片を40とおいた。 Further, the intercept value 40 in the above equation (1) is a value that determines the extent to which the driver's error and operation variation are allowed with respect to the ideal coefficient obtained above. This is a regression analysis based on the driver's normal driving data, and the average standard error of the intercept was around 40, so even if it is minus 40 from the ideal coefficient, the average jerk (cannot be minus because it is a square value) The section was set to 40 so as not to be negative.
この所定範囲を定めるもう一方のしきい値線302は、具体的には下記(2)式で表される。
The
{平均ジャーク(0.5m/s3)2}=46×{平均減速度(km/h/s)}+500 …(2)
上記(2)式の切片500について説明する。ここでは、平均減速度10(km/h/s)以上を範囲外としているが、平均減速度10(km/h/s)では理想停止(限りなく0に近い状態)平均ジャークが460増えることになるため、式1の切片40に460を足した500を用いている。
{Average jerk (0.5 m / s3) 2} = 46 × {Average deceleration (km / h / s)} + 500 (2)
The intercept 500 of the above equation (2) will be described. Here, the average deceleration of 10 (km / h / s) or more is out of the range, but at the average deceleration of 10 (km / h / s), the average jerk increases by 460 in an ideal stop (infinitely close to 0). Therefore, 500 obtained by adding 460 to the intercept 40 of
なお、これらのしきい値線(すなわち所定範囲)はあらかじめ不安感推定部19に記憶させておく。
These threshold lines (that is, predetermined ranges) are stored in advance in the
図3に示した平均減速度と平均ジャークの関係グラフについてさらに説明する。図3のグラフは、縦軸に平均ジャーク((0.5m/s3)2)、横軸に平均減速度(km/h/s)をおいたグラフである。縦軸の平均ジャークは、前述のとおり車両の動きの滑らかさであるが、ここではブレーキを踏み込んだときの動作であるから、制動時の滑らかさを表している。横軸の平均減速度は、停止動作を開始する時点での時速を停止動作にかかった時間で割った値であり、停止動作がどれだけ急停止であったか余裕をもって停止したのかを表している。 The relationship graph between average deceleration and average jerk shown in FIG. 3 will be further described. The graph of FIG. 3 is a graph with the average jerk ((0.5 m / s3) 2) on the vertical axis and the average deceleration (km / h / s) on the horizontal axis. The average jerk on the vertical axis represents the smoothness of the movement of the vehicle as described above, but represents the smoothness at the time of braking since it is an operation when the brake is depressed. The average deceleration on the horizontal axis is a value obtained by dividing the speed at the time of starting the stop operation by the time taken for the stop operation, and indicates how much the stop operation has been stopped with a margin.
ここで、たとえば、運転者が予測運転を行えている場合(たとえばこの先のカーブの影で信号が赤になっていそうとか、もうそろそろ信号が赤になりそうだなどの周囲の予測ができている場合)には、もし急停車気味になったとしても、運転者の動作(すなわちブレーキの踏み込み動作)は、止まる位置や前車の動きを予想できているためブレーキを一定に踏むことができ、平均ジャークはあまり高くはならない(減速度自体が高くなるため、相対的に平均ジャークも上がる)。したがって、平均ジャークの値は予測運転が行えている場合には図3中のしきい値線301より下の範囲内に大体収まる。
Here, for example, when the driver is performing predictive driving (for example, when the signal is likely to turn red due to the shadow of the future curve, or when the surroundings are predicted to turn red soon, for example) ) If the driver feels suddenly stopped, the driver's movement (ie, the brake pedaling action) can predict the stopping position and the movement of the front car. Should not be too high (since the deceleration itself is higher, the average jerk is also higher). Therefore, the average jerk value generally falls within the range below the
これに対して、運転者が何らかの不安感をもった運転をしている場合には、運転リソースが減り予測運転が上手くできなくなる。このため、ブレーキの制御がスムーズではなくなり平均減速度が低い状況でも平均ジャークが大きく出てくることになる。したがって、このような場合には、平均ジャークの値が図3のしきい値線301と302の間に入ることになる。そして、本実施例は、この場合に運転者が不安感を抱いているものと判断している。
On the other hand, when the driver is driving with some sense of anxiety, driving resources are reduced and the predicted driving cannot be performed well. For this reason, the brake control is not smooth, and the average jerk appears greatly even in a situation where the average deceleration is low. Therefore, in such a case, the average jerk value falls between the
また一方で、突然の飛び出しや信号の見落としなどで突発的な対応をした場合には、不安感をもった場合などとは違い、急激な加速度変化を起こすため平均減速度が高くなくても非常に大きな平均ジャーク値が出て、所定範囲を定めるしきい値線302を越えることになる。そのため、しきい値線302を超えた場合は、突発的な対応を運転者が行っているとみなし、不安感検出からははずすことができる(請求項3,9の効果)。
On the other hand, sudden response by sudden jumping out or overlooking of a signal is very unlikely to cause anxiety. Thus, a large average jerk value is generated and exceeds a
次に、不安感推定部19はステップS109で不安感があると判断した場合(S109:Yes)、表示情報作成部21に対して、ナビゲーション装置31の情報を用いて不安感を低減させるための不安感低減情報を作成し、表示装置33に表示する(S110)。表示情報作成部21で作成される不安感低減情報は、不安感を抱いている場合に、運転者は、たとえば、自分の今走っている道路が自分の思っているルートと一致しているのか、現在走っている道がどこなのか、曲がろうとしているところは後どのくらいなのかといったことを知りたいと考えられ、ナビゲーション装置31によって提供される現在の地図表示に、市区町名や駅名、現在走行している道路名、進行方向上の大きな道路名など自分の現在位置や進行方向上の目印となるような名称やランドマークなどのPOI情報を表示するデータを作成することになる。
Next, when the
なお、画面に表示するPOI情報については、進行方向道路上の見てすぐにわかるようなもの、たとえば、ガソリンスタンドやコンビニ、ファミリーレストランなどを表示するにとどめ、地図に表示されているPOI情報を減らして視認性を高めるようにすることが好ましい。また、ナビゲーション装置31において目的地までの経路設定がなされている場合は、次の右左折を行う交差点までの距離と現在地を認識しやすくするための自車周辺のわかりやすいPOIや地名のみを表示するようにしてもよい。
As for the POI information displayed on the screen, the POI information displayed on the map is only displayed on the road such as a gas station, convenience store, family restaurant, etc. It is preferable to reduce the number to increase visibility. In addition, when the route to the destination is set in the
ただし、運転者によるナビ操作が入った場合にはナビの表示を変更しない。また、停止動作中にハンズフリー携帯電話などの車載機器の操作がある場合も、ナビの表示を変更しないことが考えられる。 However, the navigation display is not changed when the driver performs a navigation operation. In addition, it is conceivable that the navigation display is not changed even when an on-vehicle device such as a hands-free mobile phone is operated during the stop operation.
以上の一連の処理が終了したなら、停止動作判断部15が車両情報一時記憶部17に保存していた車両情報を破棄し(S111)、ここまでの一連の処理を終了して、元のステップS101へ戻り本処理を繰り返し継続することになる。
When the above series of processing is completed, the stop
以上の説明から明らかなように、本実施例によれば、停止動作判断部15と不安感推定部19により、ブレーキ操作開始から車両停止までの間の車両挙動より、運転者に不安感があるかどうかを推定するようにしたので、同一地点やその近傍領域の通過回数に依存せずに不安感検出を行うことができ、車両の走行軌跡に関係なくどのような経路、行程でも検出することができる(請求項1,7の効果)。
As is clear from the above description, according to the present embodiment, the stop
また、本実施例では、ブレーキ操作による停止動作時における平均ジャークと平均減速度を算出して、その二つの値の関係から不安感の有無を判断することとしているので、不安感の推定をブレーキ操作に基づいた停止動作に限定することで運転者が停止するという意思の下の動作データのみで推定することができ、外乱の影響が少ない状態で判断することができる。これは、たとえば、ブレーキ操作に限らず、ハンドル操作やアクセルの踏み込み具合など運転中における運転者の様々操作によって不安感検出を行うとすれば、これら操作は前車の影響や道の形状、右左折、カーブ車線変更など色々な状況によっておこるため、外乱が大きく、かえって不安感の検出が困難になるため、本実施例のようにブレーキ操作のみの方が、不安感の検出(推定)が容易になる(請求項2,8の効果)。
In this embodiment, the average jerk and average deceleration during the stop operation by the brake operation are calculated, and the presence or absence of anxiety is determined from the relationship between the two values. By limiting to the stop operation based on the operation, it is possible to estimate only with the operation data with the intention of the driver to stop, and it is possible to determine in a state where the influence of the disturbance is small. For example, if anxiety is detected not only by the brake operation but also by various operations of the driver during driving, such as the steering wheel operation and the depression of the accelerator, these operations are affected by the influence of the front car, the shape of the road, Because it is caused by various situations such as turning left or changing the curve lane, the disturbance is large and it is difficult to detect anxiety. Therefore, it is easier to detect (estimate) anxiety when only the brake is operated as in this example. (Effects of
また、運転者が不安感をもっていると判断された際に、表示情報作成部21が自車位置を確認しやすい表示を作成表示するので、運転者が迅速に自車位置を確認することができる。
In addition, when it is determined that the driver has anxiety, the display
また、平均ジャークと平均減速度の関係を用いることで、停止ごとの減速の仕方(減速の大きさ、停止距離や停止開始速度)の違いを考慮することができ、運転者の微妙なブレーキ操作の影響を見ることができる。そのため、運転者が運転以外のことに意識を奪われていること(たとえば車内外の表示や看板など)を検出することができる。 In addition, by using the relationship between average jerk and average deceleration, it is possible to take into account differences in the deceleration method (deceleration magnitude, stop distance, stop start speed) at each stop, and the driver's delicate brake operation You can see the effect of. For this reason, it is possible to detect that the driver is deprived of things other than driving (for example, a display inside or outside the vehicle or a signboard).
図4は、本発明の実施例2に係わる不安感検出装置の機能的な構成を示すブロック図である。なお、前述した実施例1における各部と同様の機能を有する各部については同一の符号を付しそれらの説明は省略する。 FIG. 4 is a block diagram illustrating a functional configuration of the anxiety detection apparatus according to the second embodiment of the present invention. In addition, about each part which has a function similar to each part in Example 1 mentioned above, the same code | symbol is attached | subjected and those description is abbreviate | omitted.
本実施例における不安感検出装置2は、不安感検出装置1同様に、車速検出部11、ブレーキ検出部13、停止動作判断部15、車両情報一時記憶部17、および不安感推定部19を備え、さらに不安感推定学習手段である不安感推定学習部41を備えている。
Similar to the
この不安感検出装置2において、不安感推定学習部41は、運転者が運転に集中できている状態での平均減速度と平均ジャークの関係を、日常の運転動作から学習して記憶、蓄積して、その情報から不安感を判断するための所定範囲を求めている。このような不安感推定学習部41は、たとえば、車載コンピュータの読み書き可能な不揮発性メモリが好ましく、ハードディスクユニットなどであってもよい。
In this
この不安感検出装置2の作用を説明する。
The operation of the
図5は、不安感検出装置2における不安感検出処理の動作手順を示すフローチャートである。
FIG. 5 is a flowchart showing an operation procedure of the anxiety detection process in the
不安感検出装置2においても、前述した実施例1と同様に、車両のイグニッションスイッチがオン状態になるのに応じて処理を開始する。そして、ステップS101からステップS108までの処理は、前述した実施例1と同じである。したがって、ここではステップS209以後の処理についてのみ説明する。
In the
不安感推定部19によって車両情報から平均ジャークおよび平均減速度が算出(S108)された後、不安感推定部19は、平均ジャークと平均減速度を用いて不安感を推定する(S209)。ここでは、この不安感の推定に、図6に示す平均ジャークと平均減速度の関係グラフ内での不安感検出用学習型のしきい値線601と602を所定範囲として用いる。
After the average jerk and the average deceleration are calculated from the vehicle information by the anxiety estimation unit 19 (S108), the
すなわち、算出された平均ジャークの値がしきい値線601と602の間にある場合に不安感があると判断して、不安感推定部19は、ステップS210の処理において、前述したステップS110と同じく、現在地を迅速に認識できる情報を提供すべく、表示情報作成部21に対して、ナビゲーション装置31の情報を用いて不安感低減情報を作成させ、運転者に進行中または進行上の道や地名などのPOI情報を表示装置33に表示する。
That is, when the calculated average jerk value is between the
一方、しきい値線601と602の間に平均ジャークの値がない場合には(S209:No)不安感がないと判断し、不安感推定部19は、続いて今回の平均ジャークと平均減速度がしきい値線602を超えて運転者が突発対応をしているか否かを判断する(S211)。なおここで、突発対応している場合とは、平均減速度が高くなくても非常に大きな平均ジャーク値が出たような場合であり、具体的には、所定範囲の上限値であるしきい値線602を越えた場合である。
On the other hand, when there is no average jerk value between the
ここで、運転者が突発対応していないと判断された場合は(S211:No)、不安感推定学習部41が不安感推定部19において突発対応ではないと判断されたときの平均ジャークと平均減速度の値を保存する(S213)。したがって、不安感推定学習部41では不安感推定部19において、不安感がなく、かつ突発対応ではないと判断されたときの平均ジャークと平均減速度の値が順次蓄積されてゆくことになる。
Here, when it is determined that the driver does not respond suddenly (S211: No), the average jerk and average when the anxiety estimation learning unit 41 determines that the anxiety
そして、不安感推定学習部41では、蓄積されたデータから不安感推定部19が不安感有無の判断に用いる所定範囲のしきい値線601と602を作成する。なお、この保存している平均ジャークと平均減速度のデータ量があらかじめ決められた記憶容量を超えるような場合には、たとえば、古いデータから順に削除するようにしてもよい。
Then, the anxiety estimation learning unit 41 creates
ここで具体的なしきい値線601と602の算出方法を説明する。
Here, a specific method for calculating the
ある停止動作における平均ジャークと平均減速度を一組と考えて、平均ジャークを目的変数Y、平均減速度を説明変数Xとし、単回帰分析を行う。 Considering the average jerk and average deceleration in a certain stop operation as one set, the average jerk is the objective variable Y and the average deceleration is the explanatory variable X, and a single regression analysis is performed.
このときのモデル式は下記(3)式のようになる。 The model formula at this time is as shown in the following formula (3).
Y=β0+β1X …(3)
単回帰分析は一般的な解析方法なため、ここでは説明を省略する。この方法で求められた、β0、β1とβ0の標準誤差Seを用いて、不安感検出用関係式を算出する。不安感検出用関係式は、下記(4)式のように切片β0にβ0の標準誤差Seを足した関係式となる。
Y = β0 + β1X (3)
Since single regression analysis is a general analysis method, description thereof is omitted here. Using the standard error Se of β0, β1, and β0 obtained by this method, an anxiety detection relational expression is calculated. The relational expression for anxiety detection is a relational expression obtained by adding the standard error Se of β0 to the intercept β0 as shown in the following equation (4).
Y=β0+Se+β1X …(4)
この(4)式を用いて次回の不安感検出のしきい値線601を求め、ステップS209において不安感検出を行う。
Y = β0 + Se + β1X (4)
The
一方、しきい値線602は、固定でも良いが先に求めた不安感しきい値線の関係式である(4)式を用いて、下記(5)式により求めるようにしてもよい。
On the other hand, the
Y=β0+Se+460+β1X …(5)
上記(5)式の460は、実施例1における(2)式と同等の理由であるが、(5)式では係数がβ1になっているため、β1×10の値を使うようにしてもよい。
Y = β0 + Se + 460 + β1X (5)
460 in the above formula (5) is the same reason as the formula (2) in the first embodiment. However, since the coefficient is β1 in the formula (5), a value of β1 × 10 may be used. Good.
なお、このようなしきい値線601および602は、ステップS213の処理において蓄積される平均ジャークおよび平均減速度の組が最低2組あれば可能である。しかし、ある程度のデータ量が蓄積されていなければ、得られたしきい値線そのものの信頼性が低くなるため、ある程度データがたまるまでしきい値線の算出を行わないようにしている。しきい値線601および602が算出されていない時点では、たとえば前述した実施例1におけるしきい値線301および302を用いて不安感の判断を行うようにしてもよい。
また、本フローチャートでは、一回の停止ごとにしきい値線を求める動作になっているが、車両のグニッションスイッチがオン状態になるのと同時に、しきい値線の算出を動かすのでも良い(一回のエンジン始動につき、一回のしきい値線関係式を変更する)。 Further, in this flowchart, the threshold line is obtained every stop, but the calculation of the threshold line may be moved simultaneously with the vehicle ignition switch being turned on ( (The threshold line relational expression is changed once per engine start).
その後処理は、停止動作判断部15が車両情報一時記憶部17に保存していた車両情報を破棄し(S214)、ステップS101へ戻る。 Thereafter, the processing discards the vehicle information stored in the vehicle information temporary storage unit 17 by the stop operation determination unit 15 (S214), and returns to step S101.
なお、ステップS211において運転者が突発対応をしていると判断された場合は(S211:No)、停止動作判断部15が車両情報一時記憶部17に保存していた車両情報を破棄し(S214)、処理はステップS101へ戻る。
If it is determined in step S211 that the driver is responding suddenly (S211: No), the vehicle information stored in the vehicle information temporary storage unit 17 by the stop
以上の説明から明らかなように、本実施例によれば、運転者が不安感を抱いていない状態で、かつ突発対応していない場合の平均ジャークと平均減速度を蓄積してそれらの値から不安感を判断するための所定範囲となるしきい値線を求めることとしたので、不安感検出の精度を上げることができる(請求項4,10の効果)。
As is clear from the above description, according to the present embodiment, the average jerk and average deceleration when the driver is not anxious and does not respond suddenly are accumulated from those values. Since the threshold line that is a predetermined range for determining anxiety is obtained, the anxiety detection accuracy can be improved (effects of
また、これらの値は、運転中に逐次蓄積されてゆくので、たとえば、イグニッションをオンにした時点から毎回蓄積を始めるようにすれば、不安感の検出を個々の運転者の特性にあわすことができる。また、不安感検出の学習を一回の停止ごともしくは一回の走行ごとなどで行うことにより、運転者の運転趣向の変化などにも少しずつではあるが対応することができる。これは、ジャークと平均減速度の関係は、運転に集中しており予測運転ができている状態でも個々の運転者で急ブレーキ気味の人や、ブレーキの踏み方が多少雑な人、非常に滑らかな停止をする人などがおり、その個々の運転者の特性を日頃の運転から学習していくことで、個々の運転者の平均ジャークと平均減速度の関係を推定することができ、それを基に個々の運転者の特性に合わせて不安感を検出することができる(請求項5,11の効果)。 Since these values are accumulated sequentially during driving, for example, if accumulation is started every time ignition is turned on, anxiety detection can be applied to individual driver characteristics. it can. In addition, by performing learning of anxiety detection at every stop or every run, it is possible to cope with changes in the driving preferences of the driver little by little. This is because the relationship between jerk and average deceleration is concentrated in driving, and even if the predicted driving is possible, the individual driver seems to brake suddenly, the person who brakes a little bit, There are people who make a smooth stop, etc., and by learning the characteristics of each individual driver from daily driving, the relationship between the average jerk and average deceleration of each individual driver can be estimated. Based on the above, it is possible to detect anxiety in accordance with the characteristics of individual drivers (effects of claims 5 and 11).
なお、しきい値線601および602を算出する際に用いる平均ジャークと平均減速度は、極端な突発的事象に対応したような場合の値、たとえば、平均減速度が高くないとしても平均ジャークが非常に高い値となっているような場合では、これらの値を不安感推定学習部41で保存しないようにしてもよい。これにより、単回帰分析によって算出されるしきい値線のずれを少なくして、不安感検出用学習型しきい値線を、不安感をもたずに通常運転している場合に近づけることができ、特にデータ数が少ないときに有効である(請求項6,12の効果)。
The average jerk and average deceleration used in calculating the
以上、本発明の実施例について説明したが、本発明の実施はこれらの実施例に限定されるものではない。たとえば、上述した各実施形態では、車速およびブレーキ操作を車両情報一時記憶部17に一時記憶してから不安感推定部19が使用するようにしているが、このような一時記憶を行う構成は一般的なコンピュータの構成に沿うようにしたためであり、これに代えて、車速およびブレーキの操作信号を一時記憶することなく、直接、不安感推定部19となるコンピュータのCPUなどが取得して不安感の有無を判断するようにしてもよい。
As mentioned above, although the Example of this invention was described, implementation of this invention is not limited to these Examples. For example, in each of the above-described embodiments, the vehicle speed and the brake operation are temporarily stored in the vehicle information temporary storage unit 17 and then used by the
また、本実施例では、停止動作判断部15と不安感推定部19により不安感推定手段を構成することとしたが、これは不安感の推定判断と、車両停止などの判断を別処理として行わせることにより不安感検出装置としての処理速度を上げようとするためのものである。したがって、これらは処理速度に問題なければ一つの機能として、たとえば、車速およびブレーキ操作信号から不安感推定部19が車両停止など停止動作判断部15に行っている処理をすべて統合して行うようにしてもよい。
In the present embodiment, the anxiety estimation means is configured by the stop
1、2 不安感検出装置
11 車速検出部
13 ブレーキ検出部
15 停止動作判断部
17 車両情報一時記憶部
19 不安感推定部
21 表示情報作成部
31 ナビゲーション装置
33 表示装置
41 不安感推定学習部
1, 2 Anxiety detection device 11 Vehicle
Claims (12)
ブレーキの操作を検出しブレーキ操作情報を出力するブレーキ検出手段と、
前記車速情報と前記ブレーキ操作情報を取得し、ブレーキの操作開始から車両停止までの車両挙動によって前記車両の運転者に不安感があるかどうかを推定する不安感推定手段と、
を備えることを特徴とする不安感検出装置。 Vehicle speed detection means for detecting the current speed of the vehicle and outputting vehicle speed information;
Brake detection means for detecting brake operation and outputting brake operation information;
Anxiety estimation means for acquiring the vehicle speed information and the brake operation information, and estimating whether the driver of the vehicle has anxiety based on a vehicle behavior from a brake operation start to a vehicle stop;
An anxiety detection device comprising:
{平均ジャーク(0.5m/s3)2}=46×{平均減速度(km/h/s)+40 …(1)
{平均ジャーク(0.5m/s3)2}=46×{平均減速度(km/h/s)}+500 …(2) 3. The anxiety detection apparatus according to claim 2, wherein the predetermined range is between threshold lines represented by the following formulas (1) and (2).
{Average jerk (0.5 m / s3) 2} = 46 × {Average deceleration (km / h / s) +40 (1)
{Average jerk (0.5 m / s3) 2} = 46 × {Average deceleration (km / h / s)} + 500 (2)
ブレーキ操作後車両が停止したか否かを判断するステップと、
ブレーキ操作開始から停止までの間の車両挙動より、前記車両の運転者に不安感があるかどうかを推定するステップと、
を備えることを特徴とする不安感検出方法。 Determining whether a brake operation has been started while the vehicle is running;
Determining whether the vehicle has stopped after the brake operation;
Estimating whether the driver of the vehicle has anxiety from the vehicle behavior from the start to the stop of the brake operation;
An anxiety detection method comprising:
ブレーキ操作開始時点での車速と停止にかかった時間により平均減速度と停止動作中の車速の2階微分であるジャークを平均した平均ジャークを求め、当該平均減速度と平均ジャークの関係が所定範囲内のときに不安感があるものと推定することを特徴とする請求項7記載の不安感検出方法。 The step of estimating whether there is anxiety includes
The average jerk is obtained by averaging the jerk, which is the second derivative of the average deceleration and the vehicle speed during the stop operation, according to the vehicle speed at the start of the brake operation and the time taken to stop, and the relationship between the average deceleration and the average jerk is within a predetermined range 8. The method of detecting anxiety according to claim 7, wherein it is presumed that there is anxiety during the period.
{平均ジャーク(0.5m/s3)2}=46×{平均減速度(km/h/s)+40 …(1)
{平均ジャーク(0.5m/s3)2}=46×{平均減速度(km/h/s)}+500 …(2) 9. The anxiety detection method according to claim 8, wherein the predetermined range is between threshold lines represented by the following formulas (1) and (2).
{Average jerk (0.5 m / s3) 2} = 46 × {Average deceleration (km / h / s) +40 (1)
{Average jerk (0.5 m / s3) 2} = 46 × {Average deceleration (km / h / s)} + 500 (2)
12. The storage / accumulation is not performed when the average deceleration and average jerk determined to have no anxiety exceeds an upper limit value of a predetermined range obtained by the single regression analysis. The anxiety detection method described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004361903A JP4529671B2 (en) | 2004-12-14 | 2004-12-14 | Anxiety detection device and anxiety detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004361903A JP4529671B2 (en) | 2004-12-14 | 2004-12-14 | Anxiety detection device and anxiety detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006172012A true JP2006172012A (en) | 2006-06-29 |
JP4529671B2 JP4529671B2 (en) | 2010-08-25 |
Family
ID=36672713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004361903A Expired - Fee Related JP4529671B2 (en) | 2004-12-14 | 2004-12-14 | Anxiety detection device and anxiety detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4529671B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010143525A (en) * | 2008-12-22 | 2010-07-01 | Ud Trucks Corp | Collision damage reduction braking control device |
JP2012086640A (en) * | 2010-10-18 | 2012-05-10 | Mazda Motor Corp | Vehicle driving support device |
JP2012203869A (en) * | 2011-03-28 | 2012-10-22 | Nissan Motor Co Ltd | Travel evaluation device |
WO2015028881A1 (en) | 2013-09-02 | 2015-03-05 | Toyota Jidosha Kabushiki Kaisha | Vehicle driving situation determination apparatus and vehicle driving situation determination method |
KR20180115986A (en) * | 2017-04-14 | 2018-10-24 | 현대자동차주식회사 | Apparatus and method for autonomous driving control, vehicle system |
US10278634B2 (en) | 2016-10-14 | 2019-05-07 | International Business Machines Corporation | Detecting and explaining driver confidence |
CN111767851A (en) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | Method and device for monitoring emergency, electronic equipment and medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001047949A (en) * | 1999-08-06 | 2001-02-20 | Toyota Central Res & Dev Lab Inc | On-vehicle information presentation controller |
JP2003075175A (en) * | 2001-09-03 | 2003-03-12 | Sony Corp | Navigation device and method |
JP2003259502A (en) * | 2002-03-04 | 2003-09-12 | Railway Technical Res Inst | Vehicle traveling controller |
-
2004
- 2004-12-14 JP JP2004361903A patent/JP4529671B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001047949A (en) * | 1999-08-06 | 2001-02-20 | Toyota Central Res & Dev Lab Inc | On-vehicle information presentation controller |
JP2003075175A (en) * | 2001-09-03 | 2003-03-12 | Sony Corp | Navigation device and method |
JP2003259502A (en) * | 2002-03-04 | 2003-09-12 | Railway Technical Res Inst | Vehicle traveling controller |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010143525A (en) * | 2008-12-22 | 2010-07-01 | Ud Trucks Corp | Collision damage reduction braking control device |
JP2012086640A (en) * | 2010-10-18 | 2012-05-10 | Mazda Motor Corp | Vehicle driving support device |
JP2012203869A (en) * | 2011-03-28 | 2012-10-22 | Nissan Motor Co Ltd | Travel evaluation device |
WO2015028881A1 (en) | 2013-09-02 | 2015-03-05 | Toyota Jidosha Kabushiki Kaisha | Vehicle driving situation determination apparatus and vehicle driving situation determination method |
US9975548B2 (en) | 2013-09-02 | 2018-05-22 | Toyota Jidosha Kabushiki Kaisha | Vehicle driving situation determination apparatus and vehicle driving situation determination method |
US10278634B2 (en) | 2016-10-14 | 2019-05-07 | International Business Machines Corporation | Detecting and explaining driver confidence |
KR20180115986A (en) * | 2017-04-14 | 2018-10-24 | 현대자동차주식회사 | Apparatus and method for autonomous driving control, vehicle system |
KR102287316B1 (en) | 2017-04-14 | 2021-08-09 | 현대자동차주식회사 | Apparatus and method for autonomous driving control, vehicle system |
CN111767851A (en) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | Method and device for monitoring emergency, electronic equipment and medium |
Also Published As
Publication number | Publication date |
---|---|
JP4529671B2 (en) | 2010-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106043299B (en) | Controller of vehicle | |
JP4738852B2 (en) | Driving support device and driving support system | |
JP6287728B2 (en) | In-vehicle system, vehicle control device, and program for vehicle control device | |
US8686845B2 (en) | Automotive vehicle and method for advising a driver therein | |
US11906318B2 (en) | Personalized routing based on driver fatigue map | |
JP6703465B2 (en) | Driving support device, center device | |
JP4862502B2 (en) | Driving support system and driving support method | |
JP2018097804A (en) | Information processing system, information processing method, and program | |
JP5598411B2 (en) | Vehicle information providing device | |
WO2016170647A1 (en) | Occlusion control device | |
JP2016216021A (en) | Driving support method, and driving support device, automatic driving control device, vehicle and program utilizing the same | |
KR20170093817A (en) | Automatic driving control device and automatic driving control method, and program | |
JP4770521B2 (en) | Landmark presentation device, in-vehicle navigation device, and in-vehicle navigation system | |
JPH08178712A (en) | Rambling-drive detection apparatus | |
US20170147004A1 (en) | Technique for automatic stopping of a vehicle in a target area | |
JP2002127780A (en) | Vehicle alarm system | |
JP2021026718A (en) | Driving behavior evaluation device and program | |
JP2018185229A (en) | Route search system, route search program and route search method | |
JP6303795B2 (en) | Route search system and route search method | |
JP2008070128A (en) | Driving history recording device and program used for the same | |
JP4529671B2 (en) | Anxiety detection device and anxiety detection method | |
US20190147264A1 (en) | Concentration determination apparatus, concentration determination method, and program for concentration determination | |
JP4789367B2 (en) | Driving psychology determination device, driving psychology determination method, driving support device, and driving support method | |
US20240326851A1 (en) | Systems and methods for advanced vehicular alerts | |
JP2014218124A (en) | Operation support device and operation support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071029 |
|
A977 | Report on retrieval |
Effective date: 20091203 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Effective date: 20100105 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100518 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100531 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 3 Free format text: PAYMENT UNTIL: 20130618 |
|
LAPS | Cancellation because of no payment of annual fees |