JP2008151934A - 運転研修装置 - Google Patents

運転研修装置 Download PDF

Info

Publication number
JP2008151934A
JP2008151934A JP2006338612A JP2006338612A JP2008151934A JP 2008151934 A JP2008151934 A JP 2008151934A JP 2006338612 A JP2006338612 A JP 2006338612A JP 2006338612 A JP2006338612 A JP 2006338612A JP 2008151934 A JP2008151934 A JP 2008151934A
Authority
JP
Japan
Prior art keywords
moving image
vehicle
displayed
travel
switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006338612A
Other languages
English (en)
Other versions
JP4728941B2 (ja
Inventor
Yoshitaka Kato
良隆 加藤
Fujio Noguchi
富士雄 野口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2006338612A priority Critical patent/JP4728941B2/ja
Publication of JP2008151934A publication Critical patent/JP2008151934A/ja
Application granted granted Critical
Publication of JP4728941B2 publication Critical patent/JP4728941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】車両の運転者の危険予測能力を訓練するための装置を提供する。
【解決手段】
研修者が車両を運転する際の危険予測能力を訓練するための運転研修装置は、該車両が指定された走行経路に沿って走行している間の該車両の運転者の視点から見える該車両の周囲の状況を動画として表示する。該動画の表示中に危険シーン予測スイッチが操作されたことに応答して、該スイッチが操作されたタイミングに相当する走行位置を記録する。該走行位置の記録が行われた状態で該動画を表示する際に、該記録された走行位置で該動画を自動的に停止させることにより、該記録された走行位置における車両の周囲の状況をスクリーンに静止画像として表示する。この装置によれば、危険シーンを予測した瞬間の走行状況を様々な観点から検討することができる。
【選択図】図4

Description

この発明は、車両の走行状況についての運転者の危険予測能力を、動画表示を介して模擬的に訓練する運転研修装置に関する。
自動車等の車両を運転する際、運転者は、刻々と変化する周囲の状況に応じて、運転操作を的確に実行することが要求される。安全運転の教育を行う場合、危険シーン(危険な場面)を回避する運動能力を訓練する観点からは、下記の特許文献1および2に記載されているように、様々な試みが行われている。
たとえば下記の特許文献1では、模擬ハンドルを介して運転操作をシミュレートする装置が開示されており、運転者のハンドル操作を訓練する。下記の特許文献2では、運転者のブレーキ操作を訓練するための装置が開示されている。
特開平11−65418号公報 特開2004−325851号公報
車両を運転する際、運転者が安全運転を継続するためには、危険シーンを早めに予知して、余裕をもって対応することが大切である。危険シーンを予測する能力を訓練するのに、従来は、危険予知チャートとして知られる交通場面を描写した教材(絵や写真等)が用いられていた。これは、予め危険シーンとして設定された交通場面を研修者に対して提示し、研修者は、その交通場面を見て学習するというものである。
しかしながら、実際に車両を運転する時は、運転者は、刻々と変化する周囲の状況の中で自分の対応を決定する必要がある。上記のような手法では、危険シーンとして設定された交通場面が一方的に提示されるのみであるため、刻々と変化する状況の中での運転者の危険シーン予測能力を訓練するという観点からは不十分であった。
したがって、本願発明は、実際の車両の運転と同様に、動的に変化する周囲の状況の中で運転者が危険シーンを予測することを訓練するための装置を提供することを目的とする。
この発明の一つの側面によると、研修者が車両を運転する際の危険予測能力を訓練するための運転研修装置は、該車両が指定された走行経路に沿って走行している間の該車両の運転者の視点から見える該車両の周囲の状況を動画として表示する表示手段と、該動画の表示中に危険シーン予測スイッチが操作されたことに応答して、該スイッチが操作されたタイミングに相当する走行位置を記録する手段と、該走行位置の記録が行われた状態で該動画を表示する際に、該記録された走行位置で該動画を自動的に停止させることにより、該記録された走行位置における車両の周囲の状況をスクリーンに静止画像として表示する制御手段と、を備える。
この発明によれば、研修者が危険シーンを予測した走行位置を記録し、次の動画表示中に、該記録された走行位置で該動画を自動的に停止させて該走行位置における周囲の状況を静止画像として表示するので、危険シーンを予測した瞬間の走行状況を様々な観点から検討することができる。たとえば、危険シーンを予測したタイミングは適切であるか、該予測した危険シーンにはどういう危険がありうるか、研修者の視点はどうあるべきか、等について検討することができる。
この発明の一実施形態によると、運転研修装置は、動画の表示中に、該走行経路を表すスケールをモニタに表示する手段と、該スケールに対応させて、上記スイッチが操作されたタイミングに相当する走行位置を表すマークを表示する手段と、該マークされた走行位置のうち、所望の走行位置を選択する手段を備える。制御手段は、該選択された走行位置で動画を自動的に停止する。
この発明によれば、研修者が危険シーンを予測した走行位置をモニタ上にマークで表示するので、研修者毎に、危険シーンの予測がどのように行われるかを視覚的に評価することができる。また、マークされた走行位置のうち、選択された位置において動画を自動的に停止させるので、特に気になった走行位置における交通場面について重点的に検討することができる。
この発明の一実施形態によると、危険シーン予測スイッチは、複数設けられると共に、動画の表示中何度でも操作可能である。該スイッチ操作に応答して、該スイッチごとにマークが表示される。
この発明によれば、複数の研修者について同時に訓練することができる。研修者が、互いの危険シーン予測を比較して他者との相違も題材として訓練することができる。
この発明の一実施形態によると、上記選択手段によって選択されたマークの表示形式を変更することができる。これにより、動画を自動的に停止させる位置をモニタ上で簡単に識別することができる。
この発明の一実施形態によると、運転研修装置は、動画を停止することによりスクリーンに表示された静止画像を、運転者の視点とは異なる視点から見た静止画像に切り換えて表示する手段を備える。
この発明によれば、危険シーンの予測が行われた交通場面について、様々な視点からの静止画像を映し出すことができるので、どのような交通場面で危険シーンの予測が行われたかを3次元上で判断することができる。たとえば、上空から見た場合、鳥瞰図的に見た場合、他車から見た場合などに視点を切替えることができる。
次に図面を参照してこの発明の実施の形態を説明する。図1は、この発明の一実施形態に従う、運転研修システムの全体的な構成を示す。
運転研修装置1は、中央演算処理装置(CPU)1a、ランダムアクセスメモリなどにより実現されるメモリ1b、および、ハードディスクなどにより実現される記憶装置1cを備えるコンピュータにより実現される。図には示していないが、さらにGPU(グラフィックスプロセシングユニット、図示せず)をコンピュータに備えて、後述する動画表示のためのグラフィックス処理に必要な演算を適宜行わせてもよい。運転研修装置1は、さらに、キーボードおよびマウス等の入力装置2、操作画面あるいはデータを適宜表示するためのモニタ(表示装置)3を備える。
運転研修装置1には、研修者が危険シーンを予測した時点で操作するように設けた危険シーン予測スイッチ4が接続されている。接続は、有線でも無線でもよい。危険シーン予測スイッチ4は、この実施例では、研修者によって押圧操作可能な自己復帰型の押しボタンスイッチで構成されており、該ボタンが押圧操作されることに応じて、信号(以下、危険シーン予測信号と呼ぶ)が運転研修装置1に送られる。代替的に、押圧操作とは異なる操作によって信号を発するよう危険シーン予測スイッチ4を構成してもよい。運転研修装置1には、複数の危険シーン予測スイッチ4を接続することができ、運転研修装置1は、該複数の危険シーン予測スイッチ4からの信号を受け取ることができるよう構成されている。
さらに、運転研修装置1には、プロジェクタ5が接続されている。接続は、有線でも無線でもよい。プロジェクタ5は、運転研修装置1から受け取ったデータをスクリーン6に投影するよう動作する。
運転研修装置1の中央演算処理装置1aは、記憶装置1cに格納されたプログラムを呼び出して実行し、記憶装置1cに記憶されたデータ、入力装置2を介して受け取ったデータ、危険シーン予測スイッチ4からの危険シーン予測信号等に基づき、メモリ1bを用いながら所定の演算を行う。処理装置1aは、演算の結果を、モニタ3に表示したり、プロジェクタ5を介してスクリーン6に投影したり、記憶装置1cに記憶したりすることができる。
ここで図2を参照すると、図1に示される運転研修システムが活用されることのできる状況の一例が示されている。この例では、指導員10が入力装置2あるいはモニタ3(図2には示さず)の画面を介して各種操作可能なように、運転研修装置1が配置されている。指導員10の運転研修装置1に対する操作により、データが、プロジェクタ5を介してスクリーン6に投影される。複数の研修者11は、スクリーン6を閲覧することができる。複数の研修者11のそれぞれには、危険シーン予測スイッチ4が割り当てられている。
発明の理解をうながすため、本願発明の一実施例による、運転研修装置1を用いた訓練内容の一例を説明する。指導員10による運転研修装置1に対する操作により、スクリーン6には、或る車両が走行経路を走行している動画が投影される。動画表示中のエンジン音および環境音等はスピーカ12から流される。動画は、該車両の運転者から見た周囲の状況の移り変わりを映し出すよう生成される。よって、研修者11は、スクリーン6に映し出される動画を眺めることによって、該車両の運転走行を擬似的に体験することができる。
ここで図3を参照すると、訓練シナリオには、所定の走行経路について、問題モード用のものと事故モード用のものとが予め用意されている。問題モード用のシナリオと事故モード用のシナリオとは、危険シーンとして予め設定された地点(トラブルポイントと呼ぶ)において異なる。事故モード用の動画は、トラブルポイントにおいて事故等のトラブルが発生するシナリオに基づいて生成される。問題モード用の動画は、車両が、トラブルを発生させることなく該トラブルポイントを通過するシナリオに基づいて生成される。
訓練では、最初に、問題モード用のシナリオが選択される(該選択は、デフォルトであることができる)。運転研修装置1は、問題モード用の動画をスクリーン6上に表示する。研修者11は、該動画を見ながら、車両が危険シーンにさしかかることを予測したならば、手許の危険シーン予測スイッチ4を押す。動画の表示中、危険シーン予測スイッチ4は何度押されてもよい。
危険シーン予測スイッチ4が押されると、該スイッチからの危険シーン予測信号が運転研修装置1に送られて記録される。該走行経路の動画表示が終了するまで、危険シーン予測スイッチ4が押されるたびにこのような記録が行われる。
運転研修装置1は、該受取った信号に基づいて、スイッチごとに、該スイッチ4が押された走行位置をモニタ3に表示する。指導員10は、モニタ3を介して、誰がどのタイミング(どの走行位置)で危険シーン予測スイッチ4を押したのかを見ることができる。指導員10は、該スイッチ4が押された走行位置のうち、所望の走行位置を、入力装置2を介して選択することができる。
所望の走行位置が選択された状態で問題モード用の動画表示を再び行った時、運転研修装置1は、該選択された位置で該動画を自動的に停止させることにより、危険シーンを予測した時点における該車両の周囲の状況を静止画像としてスクリーン6上に表示することができる。研修者11は、該静止画像を見ながら、危険シーンを予測したタイミングが適切であったのか、どういう危険シーンを予測したのか等を検討することができる。
問題モード用のシナリオと事故モード用のシナリオとの間を、動画表示中も含めて任意の時点で切換えることができる。切換えは、指導員10の入力装置2を介した指示に従って行われる。
事故モード用のシナリオに変更すると、運転研修装置1は、事故モード用の動画表示に切換える。これにより、トラブルポイントにおいてどのようなトラブルが生じるのかを、研修者11は擬似的に経験することができる。また、上記選択された位置において動画を自動的に停止させることにより、トラブルポイントに対して、危険シーンを予測したタイミングが適切であったかどうかを判断することができる。
また、事故モード用のシナリオに変更すると、運転研修装置1は、トラブルポイントおよび危険シーン予測判定ゾーン(図示せず)をモニタ3に表示する。危険シーン予測判定ゾーンは、後述するように、危険シーン予測のタイミングの適正さを判定するのに用いられる。この表示により、研修者11による危険シーン予測のタイミングが適切であったかどうかを視覚的に判断することができる。
図4は、図1に示される運転研修装置1の処理装置1a(GPUが設けられている場合には、GPUを含む)が実現する機能を、ブロック図で表したものである。典型的には、これらの機能は、前述したプログラムを介して実現される。
まず、記憶装置1cに格納される情報について説明する。
前述したように、所定の走行経路について、問題モード用のシナリオに基づく動画と、事故モード用のシナリオに基づく動画とがある。該走行経路について、それぞれのシナリオに基づき、該走行経路を車両が走行している間の該車両とその周囲の環境についての3次元情報(たとえば、該車両の位置および向き、該車両の周囲にある他車、建物、標識等の位置および向き等)を、所定の時間間隔(たとえば10ミリ秒間隔)で記録する。該3次元情報には、該車両および周囲の状況音などの付加情報を含めることができる。このような記録には、たとえば、該走行経路を実際に車両が走行している間に、たとえばビデオカメラで撮像したデータを用いることもできる。
動画は、一連のフレームから構成される。個々のフレームは静止画像である。上記のように所定の時間間隔で記録された3次元情報に基づいて、適切な周知のグラフィックス処理手法(たとえば、シェーディング、隠面消去等)を用い、該所定の時間間隔でフレームをリアルタイムに生成することができる。該車両の運転手の視点から見た状況を描画したフレームだけでなく、異なる視点から見た状況を描画したフレームをリアルタイムに生成することができる。所定の時間間隔で記録された3次元情報は、対応するフレームを生成するのに必要なデータ(以下、画像データと呼ぶ)として記憶装置1cに時系列に記憶される。
ここで図5(A)を参照すると、それぞれの動画について記憶装置1cに格納されるフレーム情報テーブルの一例が示されている。この例では、動画を構成するフレーム数はN個であり、生成されて表示される順番に番号が割り当てられる。画像データA0〜A(N―1)を順番に用いて0〜N−1番のフレームを次々と生成することにより、動画がスクリーン上に表示される。
それぞれのフレームの画像データには、該フレームに対応する走行位置を示す位置データが対応付けられている。位置データは、任意の適切な表現をとることができる。たとえば、走行経路のスタート地点からの距離で表してもよい。または、走行経路をいくつかの区画に分割し、それぞれの区画における相対位置により表してもよい。
また、記憶装置1cには、走行経路情報が記憶されている。一例として図5の(B)を参照すると、走行経路情報のレコードのフォーマット例が示されている。レコードは、走行経路毎に設けられ、走行経路IDフィールド、走行経路データフィールド、画像データフィールド、およびトラブルポイントフィールドを含む。走行経路IDフィールドは、走行経路を識別する走行経路番号を格納する。走行経路データフィールドは、該走行経路を視覚的にモニタ3に表示するための走行経路データの記憶位置を格納する。走行経路データは、記憶装置1cに記憶されている。
画像データフィールドは、該走行経路の動画を構成する一連のフレームの画像データ(図5(A)参照)の記憶位置を格納する。前述したように、動画には問題モードと事故モードがあるので、問題モード用の動画を生成するための画像データと、事故モード用の動画を生成するための画像データとが用意される。問題モード用の動画データと事故モード用の動画は、トラブルポイントにおける画像のみ異なるので、事故モードについては、該トラブルポイントにおける動画を生成するための画像データのみを記憶してもよい。
トラブルポイントフィールドは、該走行経路におけるトラブルポイントを特定するためのデータを含む。トラブルポイントは、後述する「走行位置」と同様のデータ表現により表されることができる。
また、記憶装置1cには、モニタ3に表示される様々な画面(操作画面等)が記憶されている。
次に、図4に示す各ブロックによって実現される機能を、種々の動作について説明する。
1.走行経路の選択
モニタ表示制御部21は、図6Aに示されるような、走行経路を選択するための画面を記憶装置1cから読み出してモニタ3に出力する。運転研修装置1の入力装置2を介して、たとえば指導員10は、所望の走行経路を選択することができる。この例では、「コースNo.」のいずれかの番号をクリックすることにより走行経路を選択することができる。映像制御部22は、モニタ表示制御部21に選択された走行経路番号を渡す。モニタ表示制御部21は、上記の走行経路情報を参照して、該走行経路番号に対応する走行経路データを記憶装置1cから読み込み、図6Bに示すようにモニタ3に視覚表示する。たとえば、参照符号31に示すように、選択された走行経路は色が付けられて表示される。
モニタ表示制御部21は、走行経路情報からトラブルポイントのデータを読み出し、参照符号32に示すように、該トラブルポイントの標示を表示することができる。代替的に、走行経路データを、予めトラブルポイントの標示を含むよう生成し、これを視覚表示してもよい。
図6Aの画面で走行経路の選択が切り換えられるたびに、該切り換えられた走行経路が図6Bのように視覚表示される。
2.動画表示
走行経路が選択された後、指導員10は、図6Aの画面上のスタートボタン33をクリックすることができる。該スタートボタンがクリックされたことに応じて、映像制御部22は、映像生成部23に、該選択された走行経路の動画表示を開始させるための指示を送る。映像生成部23は、これに応答して上記の走行経路情報を参照し、該走行経路に関連付けられた問題モード用の画像データを記憶装置1cから読み込み、該画像データに基づいてフレームを所定時間間隔で生成することにより、プロジェクタ5を介してスクリーン6上に動画を表示する。映像生成部23は、スクリーン6上への動画表示と同時に、モニタ3上のウィンドウにおいて該動画表示を行うことができる。
図7には、該走行経路上の或る走行地点におけるフレームの一例が示されている。ここでは、見やすくするためにトレースされた図として示されているが、前述したように、この実施形態では3次元CG画像である。
図7に示されるように、或る走行経路に関連づけられた動画は、車両40が該走行経路を走行している間の、該車両40の運転手の視点で見た周囲の状況を映し出すように生成される。フィールド41には該車両40の速度計が示されており、この例では時速25kmである。また、右側の小さいウィンドウ42には、該車両40の右側のドアミラーから見た状況が映し出され、左側の小さいウィンドウ43には、該車両40の左側のドアミラーから見た状況が映し出されている。さらに、上部の小さいウィンドウ44には、該車両40のルームミラーから見た状況が映し出されている。このように、スクリーン上で該動画を見る研修者は、該車両40の運転走行を擬似的に体験することができる。
3.危険シーン予測が行われた走行位置の特定
研修者は、スクリーン6上に表示される動画を見ながら、危険シーンを予測したならば、割り当てられた危険シーン予測スイッチ4を押す。
たとえば、図7に示されるフレームがスクリーンに表示された時、速度を落とさなければ割り込もうとしている他の車両45と衝突する「危険シーン」に至るおそれがある、と研修者が判断したならば、該研修者は危険シーン予測スイッチ4を押す。
危険シーン予測スイッチ4が押されたならば、危険シーン予測信号が、運転研修装置1に送られて走行位置特定部24(図4)に渡される。危険シーン予測信号には、該危険シーン予測スイッチ4を識別する(したがって研修者を識別する)IDが含まれている。走行位置特定部24は、危険シーン予測信号の受信に応答して、危険シーン予測スイッチ4が押された時の走行位置を、該スイッチ毎に特定する。
図8の(A)を参照して、一実施形態による、走行位置特定部24により実施される走行位置の特定手法を説明する。この図は、図5(A)のフレーム情報に基づいた例であり、走行経路についての動画が時刻time0で開始し、0〜(N―1)番のN個のフレームが順番に生成されて表示される。フレームが生成される時間間隔はtであるよう設定されており、動画の総表示時間はT=N×tである。
危険シーン予測スイッチ4が押されたことに応じて発せられた危険シーン予測信号が、時刻time1に運転研修装置1に到達したと仮定する。走行位置特定部24は、時刻time1で映像生成部23により生成されたフレーム(この例では、番号nのフレーム)を求める。たとえば、走行位置特定部24は、危険シーン予測信号を受け取った瞬間に生成されたフレームの番号nを映像生成部23から取得することができる。または、走行位置特定部24は、(time1―time0)/tにより、フレームの番号nを算出することができる。走行位置特定部24は、図5の(A)に示すようなフレーム情報を参照して、該求めたフレームに対応する位置データにより、該スイッチ4が押された走行位置を特定する。この例では、番号nのフレームに対応する位置データはanである。
上記の手法では、スイッチ4が押されてからフレームが特定されるまでの時間遅延が考慮されていないが、このような時間遅延は、多くの場合、実用上無視できる程度のものであることがわかっている。スイッチ操作のばらつきは0.4秒程度であり、たとえば毎秒100フレームで生成された表示されるとき、40フレーム程度のばらつきが生じる。しかしながら、この程度のばらつきは、信号の転送時間を考慮しても、画像更新レート(画像の描画内容が変わるレートであり、たとえば毎秒60フレーム程度)内に収まり、実用上問題とはならない。
しかしながら、このような時間遅延を補償するようにしてもよい。たとえば、危険シーン予測信号に、危険シーン予測スイッチ4が押されたタイムスタンプを含めることができる。この場合、走行位置特定部24は、該タイムスタンプに示される時刻に生成されたフレームを特定する。たとえば、走行位置特定部24は、映像生成部23により各フレームが生成された時刻を監視することができ、該時刻と、危険シーン予測信号のタイムスタンプとを突き合わせることができる。
走行位置特定部24は、受信した危険シーン予測信号のIDごとに、特定した走行位置を記録する。記録は、メモリ1bに一時的に記憶することにより行ってもよいし、記憶装置1cに記憶することにより行ってもよい。このような記録は、危険シーン予測スイッチ4が押されるたびに行われる。
図8の(B)に、走行位置の記録の一例を示す。この例では、ID0の危険シーン予測スイッチが、位置データanとan’の走行位置で押され、ID1の危険シーン予測スイッチが、位置データanの走行位置で押された記録が示されている。それぞれの記録に、選択フラグフィールドが付与されているが、これについては後述される。
危険シーン予測スイッチのIDに対応する研修者を、たとえば入力装置2を介して予め登録して記憶装置1cに記憶させることにより、該スイッチのIDから研修者を識別することができる。よって、走行位置の記録を研修者ごとに行うようにしてもよい。
以下の説明において、図4の機能ブロックにより用いられる「走行位置」は、上で述べたように位置データにより表されることができるが、代替的に、該位置データに対応する動画開始からの経過時間で表してもよい。たとえば、図8の(A)の場合、位置データanに対応する経過時間はn×tで表されることができる。
4.危険シーン予測が行われた走行位置の表示
モニタ表示制御部21は、それぞれの走行経路について、図9のようなスケール画面を記憶装置1cから読み出してモニタ3に表示することができる。スケールは、選択されている走行経路を表しており、該スケールの横方向の長さLは、該走行経路の動画の総表示時間の長さ(図8(A)のT)に対応する。スケール画面は、研修者すなわち危険シーン予測スイッチ4ごとに行表示されている。この例では、4つの危険シーン予測スイッチの行が設けられている(Aさん〜Dさん)。ライン52は、動画中の車両40の現在位置を示すラインである。
たとえば指導員10は、前述したように、危険シーン予測スイッチのIDに対応する研修者を記憶装置1cに登録することができる。モニタ表示制御部21は、該登録された研修者の数に従って、スケール画面上に表示すべき行数を自動的に変更する。モニタ表示制御部21は、該登録情報を参照して、危険シーン予測スイッチIDに代えて、図に示すように研修者名を表示することができる。
モニタ制御部21は、走行位置特定部24によって危険シーン予測スイッチごとに記録された走行位置を受け取る。モニタ表示制御部21は、該スケールに対応させて、該受け取った走行位置に対応する場所にマーク(標示)を付ける。図8(A)および(B)の例で具体的に述べれば、スイッチID0の走行位置はanであり、走行位置anは、動画開始からの経過時間(n×t)に対応する。モニタ表示部21は、総表示時間T(=N×t)に対応するスケールに対し、経過時間n×tに対応するところにマークを付ける。図9の例では、白い三角マーク53が付けられており、これが、対応する研修者によって危険シーン予測スイッチ4が押された走行位置を示す。
この実施例では、モニタ表示制御部21は、スケール画面へのマーク表示を、危険シーン予測スイッチ4が押されたことに応答してリアルタイムに行うことができる。代替的に、所定の更新ボタンが押されるたびに、マーク表示を最新の状態に更新してもよい。または、マーク表示を、走行経路についての動画表示が終了した後に行うようにしてもよい。
こうして、指導員10は、スケール画面上において、それぞれの研修者11がどのような走行位置で危険シーンを予測したのかを見ることができる。映像生成部23は、たとえば入力装置2を介した操作に応答して、このようなスケール画面をプロジェクタ5を介してスクリーン6に投影させることができる。研修者11は、該スケール画面を介して、他者と比べてどのように危険シーンの予測が異なるのかを検討することができる。
指導員10は、入力装置2を用いて、スケール画面に表示されたマークのうち、所望のマークを選択することができる。たとえば、所望のマークをマウスでクリックすることにより選択することができる。映像制御部22は、マークの選択が行われたことに応答して、該選択されたマークに対応する走行位置を記録する。記録は、メモリ1bに行ってもよいし、記憶装置1cに行ってもよい。たとえば、図8の(B)に示すような選択フラグフィールドを設け、該フィールドに1のフラグを立てることによって、選択を記録することができる。
モニタ表示制御部21は、映像制御部22を介してどのマークが選択されたかについての情報を受け取り、図9の参照符号55に示すように、該選択されたマークに色をつけて(この例では、黒色)、マーク選択が行われたことを指導員10に示す。
複数のマークを選択することができる。また、色のついたマークをクリックすることにより、該選択を解除することができる。選択解除が行われたならば、映像制御部22は、選択解除されたマークに対応する走行位置を、上記選択された走行位置の記録からはずす。たとえば、図8の(B)に示すような選択フラグフィールドに立てられたフラグをゼロにリセットすることにより、選択解除することができる。
5.動画の自動停止
スケール画面(図9)には、動画に関する制御を入力装置2を介して指示するための走行制御ボタン57が設けられている。「<<」ボタンは動画の開始地点にスキップし、「<」ボタンは動画を巻き戻し、「>>」ボタンは動画の終了地点にスキップし、「>」ボタンは動画を早送りする。「停止」は動画を一時停止し、「前進」は動画を再開する。「後進」は、逆方向に動画表示を行う(すなわち、フレームの番号が小さくなる方向に動画表示を行う)。これらのボタンが押されたならば、映像制御部22は、該押されたボタンに対応する操作を行うよう映像生成部23に指示する。
走行位置が選択されている状態で動画表示が行われる時、映像制御部22は、映像生成部23に該選択された走行位置を送り、該選択された走行位置で動画を自動的に停止する自動停止モードで動画を表示するよう指示する。この時、動画表示は、上記の走行制御ボタン57を用いて、任意の地点から開始されることができる。たとえば、「<<」ボタンにより動画の開始地点(番号0のフレームに対応する)にスキップし、「前進」ボタンを押すことにより、動画を該開始地点から表示させることができる。
映像生成部23は、該動画中の車両40が、選択された走行位置に達したならば、動画を一時的に停止する。図8(A)および(B)の例で具体的に述べれば、走行位置anが選択されているので、映像生成部23は、該走行位置に対応する番号nのフレームで動画を停止する。前述した図7は、このような自動停止によりスクリーン上に静止画像として表示されたフレームの一例を示している。研修者は、この静止画像を見ながら、どのような場面で危険を予測したのかを確認することができる。
一実施形態では、スケール画面に、自動停止制御用の所定のボタンを設け、該ボタンにより自動停止が選択されている間は、上記の選択された走行位置で動画が自動的に停まるようにし、該ボタンにより自動停止が選択されていない時には、該選択された走行位置での自動停止を行わないようにしてもよい。この場合、該ボタンに対する操作に従って、映像制御部22は、映像生成部23に、自動停止モードで動画表示を行うべきかどうか指示する。
スケール画面には、図9に示すように、視点を変更するための視点アイコン61〜65が設けられている。たとえば指導員10は、所望の視点アイコンをクリックすることにより、該視点アイコンに関連付けられた視点について作成されたフレームに切換えることができる。
CARアイコン61は、危険シーンに関して自車40に最も関連する他の車両から見た視点を示す。図7のフレームにより描画される場面では、車両45が、該他の車両として予め設定されている(各フレームについて「他の車両」を予め決めて、該フレームに関連づけて記憶装置1cに記憶しておくことができる)。CARアイコン61がクリックされたことに応答して、映像制御部22は、映像生成部23に対し、この場面をCAR視点から見た状況を表す静止画像を、該フレームに対応した画像データからリアルタイムに生成して、プロジェクタ5を介してスクリーン6に投影するよう指示する。こうしてスクリーン6上に投影された静止画像が、図10Aに示されている。前述したように、該静止画像はモニタ3に表示されることもできる。
図10Aは、図7に示される場面において、他の車両45から正面を向いた時に見た状況を描画した静止画像を示しており、これは、スケール画面上の中央ボタン71が押されている場合(デフォルトである)に表示される。一方、スケール画面上の左右ボタン72が押されると、該ボタンが押されている間、映像制御部22は、映像生成部23に、右および左方向に移動する視点から見た状況の動画をスクリーン6に表示するよう指示する。右方向から見た状況の一例が図10Bに示されており、このような動画は、該フレームに対応する画像データからリアルタイムに生成される。ボタン72を離した時点で、該動画は停止する。中央ボタン71を押すことにより、図10Aの静止画像に表示が戻される。
図9に戻り、BRDアイコン62は、鳥瞰図のような、鳥が斜めに車両40を見下ろした場面に切換えるためのアイコンである。CAR視点と同様に、BRDアイコンが選択されたならば、映像制御部22は、映像生成部23に対し、この場面をBRD視点から見た状況を描画した静止画像をリアルタイムに生成し、プロジェクタ5を介してスクリーン6上に投影するよう指示する。これが図10Cに示されている。
SKYアイコン63は、自車40の上空から見た場面に切換えるためのアイコンである。SKYアイコンが選択されたならば、映像制御部22は、映像生成部23に対し、この場面をSKY視点から見た状況を描画した静止画像をリアルタイムに生成し、プロジェクタ5を介してスクリーン6上に投影するよう指示する。これが図10Dに示されている。
HYRアイコン64は、図には示していないが、ホバーリングしているヘリコプターからこの場面を見た状況を描画した静止画像に切換えるためのアイコンである。これらの視点は一例であり、他の視点からの映像を用意してもよい。EYEアイコン65をクリックすると、自車40から見た状況を表すフレーム(すなわち、図7)が再び投影される。
こうして、研修者が危険シーンを予測した走行位置がどのような状況であるのかを、様々な視点から検証することができる。たとえば、図7、図10A〜Dの例の場合、他の車両45からは、トラック46の死角で自車40が見えにくくなっており、そのまま該他の車両45が割り込むと、自車40は該他の車両45と衝突する危険がある、という場面であることがわかる。したがって、このような場面で危険シーン予測スイッチ4が押されたということは、当該研修者の危険シーンの予測は適切であったと判断することができる。
なお、視点アイコン61〜64は、動画表示中も選択されることができる。この場合、変更された視点から見た周囲の状況を描画した動画が表示されることとなる。
また、スケール画面の走行制御ボタン57を用いて、停止時に表示されたフレームにより描画されている場面の直前および直後の場面を映し出すこともできる。たとえば、「<」のボタンが押されたことに応答して、映像制御部22は、該停止したフレームより前のフレームを生成して表示するよう映像生成部23に指示する。こうして、危険シーンを予測した場面の直前や直後の走行状況を適宜確認することができる。
映像制御部22は、スケール画面において走行制御ボタン57の「前進」がクリックされたことに応答して、映像生成部23に、上記の一時停止を解除して動画表示を再開させるよう指示することができる。自車40が、次の選択された走行位置のマークに達したならば(すなわち、現在表示中のフレームが、次の選択された走行位置に対応するフレームに達したならば)、映像生成部23は、再び動画を停止する。動画の表示中および停止中、視点アイコン61〜64が選択されたことに応じて、前述したように視点が変更されたフレームを生成してスクリーン6に表示することができる。
6.事故モード用のシナリオ(トラブルポイントおよび危険シーン予測判定ゾーン)
図9に示されるスケール画面においては、シナリオ選択ボタン77が設けられている。この図の例では「問題」が選択されており(デフォルトである)、問題モード用のシナリオが選択されていることが示されている。ここで、「事故」を選択することにより、事故モード用のシナリオに切換えることができる。どちらのボタンを選択するかにより、任意の時点で両者のシナリオ間を瞬時に切換えることができる。
「事故」モードのシナリオが選択されると、映像制御部22は、映像生成部23に事故モード用の動画に切換えるよう指示する。たとえば、問題モード用の動画が表示されている最中に事故モードが選択されると、映像制御部22は、映像生成部23に、事故モード用の動画に切換えて表示するよう指示する。事故モード用の動画データは、前述したように、トラブルポイントにおいて事故等のトラブルが発生するシナリオに基づいて生成された動画である。図7の例で言うと、自車40が他の車両45と衝突する場面が含まれている。映像生成部23は、映像制御部22からの指示に応答して、記憶装置1cから、事故モード用の動画の画像データを読み出してフレームを所定時間間隔で生成することにより、該動画を表示する。こうして、リアルタイムに事故モード用の動画に切換えられる。
前述したように、事故モード用については、トラブルポイントの画像データのみを用意して記憶しておくことができる。したがって、映像生成部23は、たとえば図5の(B)のような走行経路情報を参照することによりトラブルポイントを求め、該トラブルポイントに対応するフレームについては、事故モード用の画像データに基づいてフレームを生成し、他のフレームについては、問題モード用の画像データに基づいてフレームを生成することができる。
さらに、「事故」モードが選択されたことに応じて、映像制御部22は、モニタ表示制御部21に、事故モード用のスケール画面に切り換えるよう指示する。モニタ表示制御部21は、上記の走行経路情報を参照して、該走行経路に予め設定されているトラブルポイントのデータを読み出す。また、該トラブルポイントに対する危険シーン予測判定ゾーンを算出する。モニタ表示制御部21は、図9に示すようなスケール画面上のスケールに対応させて、トラブルポイントに対応する走行位置にトラブルポイントを示す標示を表示すると共に、危険シーン予測判定ゾーンに対応する走行距離範囲に、危険シーン予測判定ゾーンを示す標示を表示することにより、事故モード用のスケール画面に切り換える。
図11は、こうして表示された事故モード用のスケール画面の一例である。この画面を、走行経路の一部について拡大したのが図12に示されている。ライン81はトラブルポイントを示し、ゾーン82は危険シーン予測判定ゾーンを示す。この実施例では、危険シーン予測判定ゾーン82は、第1のゾーン83および第2のゾーン84を含む。たとえば、第1のゾーン83は赤色で表示され、第2のゾーン84は黄色で表示されることができる。
第1のゾーン83は、トラブルポイント81から所定の走行距離範囲を持つよう設定され、このゾーン内での危険シーンの予測は、事故等のトラブルを招くおそれが高いゾーンを示す。第2のゾーン84は、第1のゾーン83から所定の走行距離範囲を持つよう設定され、このゾーン内での危険シーンの予測は、第1のゾーンほど事故等のトラブルを招くおそれは高くないが、注意すべきであるゾーンを示す。第2のゾーン84の手前で危険シーンを予測することが望ましいと判定される。
図12の例では、参照符号86で示される走行位置に対応するトラブルポイント81に対して、Dさんは、第2のゾーン83よりも手前で危険シーン予測スイッチを押しており(マーク85により示される)、よって適切なタイミングで危険シーンを予測していると評価することができる。
第1および第2のゾーンのそれぞれの上記走行距離範囲は、この実施例では、動画の1秒の表示時間に対応するよう設定される。車両40の速度は動画の表示速度に依存するので、表示速度を早くすればするほど、車両40の速度は速くなり、該走行距離範囲は大きくなる。これは、車両の速度が速いほど、早いタイミングで危険シーンを予測すべきことを意味している。
車両40の速度は、スケール画面の表示速度変更ボタン91(図11)で動画の表示速度を変更することにより変更されることができる。この例では、デフォルト(省略時値)の表示速度に対する比率(×1/2、×1/4、×2、×4等)を、ボタン91により選択する。映像制御部22は、映像生成部23に、選択された表示速度で動画表示を行うよう指示する。映像生成部23は、該指示に従って動画の表示速度を調節する。たとえば、ボタン91により「×2」が押されると、デフォルトの表示速度の2倍の速度で動画が表示される。図8の(A)に示すように、デフォルトでフレームが時間間隔tで生成される場合には、「×2」が選択されると、時間間隔t/2で生成されることとなる。デフォルトの表示速度に対応する車両40の通常走行(加減速しない走行状態)の速度が時速25kmならば、表示速度を2倍することにより、時速50kmとなる。
モニタ表示制御部21は、映像制御部22から、表示速度変更ボタン91によって選択された表示速度を受取り、第1および第2のゾーンの走行距離範囲を算出してスケール画面上に表示する。前述したように、スケール画面上のスケールの長さL(図9)は、動画の総表示時間Tに対応する。Tが「秒」で表されるとすると、走行距離範囲は、L/Tにより算出されることができる。
代替的に、デフォルトの表示速度に対応する走行距離範囲を予め計算して、前述の走行経路情報のトラブルポイントに関連づけて記憶しておくことができる。スケール画面上で表示速度が変更されたならば、該変更された表示速度の、デフォルトの表示速度に対する比率に基づいて、該走行距離範囲を算出してもよい。たとえば、「×2」に表示速度が変更されたならば、モニタ表示制御部21は、予め記憶された走行距離範囲を2倍にして表示することができる。
この実施例では、第1および第2のゾーンは、互いに同じ大きさの走行距離範囲を持つよう設定されるが、第1および第2のゾーンとで、走行距離範囲を異ならせてもよい。また、表示時間が1秒に相当する走行距離範囲を、たとえば対象とする研修者にしたがって変更することができるよう、スケール画面に操作ボタンを設けるようにしてもよい。このような操作ボタンにより、たとえば、比較的高齢者の研修者に対しては、より大きい走行距離範囲を持つよう、第1および第2のゾーンを表示させることができる。
図11および図12に示されているように、事故モード用のスケール画面でも、所望の走行位置を選択することができる。走行位置が選択された状態で事故モード用の動画表示を行うと、問題モード用の動画表示と同様に、映像生成部23は、該選択された走行位置に自車40が達したとき動画を自動的に停止することができる。こうして、事故等のトラブルが起こる前に危険シーンの予測が行われたかどうか、危険シーンを予測したタイミングは遅くないか等を検証することができる。
事故モードのシナリオにおいても、動画の表示中および停止中、前述したように所望の視点アイコンを選択することにより、所望の視点から状況を描画した静止画像に切換えて表示することができる。
上の実施形態では、シナリオ選択ボタン77により事故モードが選択されたことに応じて、動画およびスケール画面が事故モード用のものに切り換えられた。代替的に、事故モード用の動画に切り換える操作と、事故モード用のスケール画面に切り換える操作とを、別のタイミングで行ってもよい。たとえば、シナリオ選択ボタン77により「事故」が選択されたことに応じてスケール画面が事故モード用のものに切り換えられ、他の所定のボタンが選択されたことに応じて事故モード用の動画表示に切り換えられるようにしてもよい。
また、上の実施形態では、フレームをリアルタイムで生成して表示することにより動画表示を行うが、代替的に、フレームを予め生成して記憶装置に記憶し、これを読み出して動画表示を行うようにしてもよい。
この発明の一実施例に従う、運転研修システムのブロック図。 この発明の一実施例に従う、運転研修システムを活用する状況の一例を示す図。 この発明の一実施例に従う、2つのシナリオについて説明する図。 この発明の一実施例に従う、運転研修装置のブロック図。 この発明の一実施例に従う、(A)フレーム情報、および(B)走行経路情報の一例を示す図。 この発明の一実施例に従う、走行経路選択画面の一例を示す図。 この発明の一実施例に従う、走行経路の視覚表示の一例を示す図。 この発明の一実施例に従う、動画中の1フレームを示す図。 この発明の一実施例に従う、(A)危険シーン予測スイッチが押された走行位置を特定する手法を説明するための図、および、(B)走行位置の記録の一例を示す図。 この発明の一実施例に従う、問題モード用のスケール画面の一例を示す図。 この発明の一実施例に従う、他車から正面を見た時の状況を描画した画像の一例を示す図。 この発明の一実施例に従う、他車から右方向を見た時の状況を描画した画像を示す図。 この発明の一実施例に従う、鳥瞰図的に見た時の状況を描画した画像を示す図。 この発明の一実施例に従う、上空から見た時の状況を描画した画像を示す図。 この発明の一実施例に従う、事故モード用のスケール画面の一例を示す図。 この発明の一実施例に従う、事故モード用のスケール画面において、走行経路の一部を拡大した図。
符号の説明
1 運転研修装置
2 入力装置
3 モニタ
4 危険シーン予測スイッチ
5 プロジェクタ
6 スクリーン

Claims (5)

  1. 研修者が車両を運転する際の危険予測能力を訓練するための運転研修装置であって、
    前記車両が走行経路を走行している間の該車両の運転者の視点から見える該車両の周囲の状況を動画としてスクリーン上に表示する表示手段と、
    前記動画の表示中に危険シーン予測スイッチが操作されたことに応答して、該スイッチが操作されたタイミングに相当する走行位置を記録する手段と、
    前記走行位置の記録が行われた状態で前記動画を表示する際に、該記録された走行位置で該動画を自動的に停止させることにより、該記録された走行位置における前記車両の周囲の状況を前記スクリーンに静止画像として表示する制御手段と、
    を備える、運転研修装置。
  2. 前記動画の表示中に前記走行経路を表すスケールをモニタに表示するスケール表示手段と、
    前記スケールに対応させて、前記スイッチが操作されたタイミングに相当する走行位置を表すマークを表示するマーク表示手段と、
    前記マークされた走行位置のうち、所望の走行位置を選択する選択手段と、を備え、
    前記制御手段は、前記選択された走行位置で前記動画を自動的に停止する、
    請求項1に記載の装置。
  3. 前記危険シーン予測スイッチは、複数設けられると共に、前記動画の表示中何度でも操作可能であり、
    前記マーク表示手段は、前記危険シーン予測スイッチの操作に応答して、該スイッチごとに前記マークを表示する、
    請求項1または2に記載の装置。
  4. 前記マーク表示手段は、前記選択手段によって選択された走行位置に対応するマークの表示形式を変更する、
    請求項2または3に記載の装置。
  5. 前記動画を停止することにより前記スクリーンに表示された静止画像を、前記運転者の視点とは異なる視点から見た静止画像に切り換えて表示する手段を備える、
    請求項1から4のいずれかに記載の装置。

JP2006338612A 2006-12-15 2006-12-15 運転研修装置 Active JP4728941B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006338612A JP4728941B2 (ja) 2006-12-15 2006-12-15 運転研修装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006338612A JP4728941B2 (ja) 2006-12-15 2006-12-15 運転研修装置

Publications (2)

Publication Number Publication Date
JP2008151934A true JP2008151934A (ja) 2008-07-03
JP4728941B2 JP4728941B2 (ja) 2011-07-20

Family

ID=39654183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006338612A Active JP4728941B2 (ja) 2006-12-15 2006-12-15 運転研修装置

Country Status (1)

Country Link
JP (1) JP4728941B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015079223A (ja) * 2013-10-18 2015-04-23 本田技研工業株式会社 運転訓練装置及び運転訓練方法
TWI491524B (zh) * 2012-03-08 2015-07-11 Ind Tech Res Inst 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
JP7349230B2 (ja) 2020-09-30 2023-09-22 本田技研工業株式会社 運転教習装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195646A (ja) * 1997-09-16 1999-04-09 Noiman:Kk 教習システム及び教習方法並びに記憶媒体
JP2001109364A (ja) * 1999-10-01 2001-04-20 Noiman:Kk 教習システム及び教習方法並びに記憶媒体
JP3267713B2 (ja) * 1992-12-14 2002-03-25 本田技研工業株式会社 車両用運転練習装置
JP2002260146A (ja) * 2001-03-02 2002-09-13 Toyota Central Res & Dev Lab Inc 運転者危険認知特性記憶方法、運転者危険度演算装置、運転能力診断・評価装置、及び車両用予防安全装置
JP2004246214A (ja) * 2003-02-14 2004-09-02 Honda Motor Co Ltd ライディングシミュレーション装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3267713B2 (ja) * 1992-12-14 2002-03-25 本田技研工業株式会社 車両用運転練習装置
JPH1195646A (ja) * 1997-09-16 1999-04-09 Noiman:Kk 教習システム及び教習方法並びに記憶媒体
JP2001109364A (ja) * 1999-10-01 2001-04-20 Noiman:Kk 教習システム及び教習方法並びに記憶媒体
JP2002260146A (ja) * 2001-03-02 2002-09-13 Toyota Central Res & Dev Lab Inc 運転者危険認知特性記憶方法、運転者危険度演算装置、運転能力診断・評価装置、及び車両用予防安全装置
JP2004246214A (ja) * 2003-02-14 2004-09-02 Honda Motor Co Ltd ライディングシミュレーション装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI491524B (zh) * 2012-03-08 2015-07-11 Ind Tech Res Inst 全周鳥瞰影像產生方法、訓練方法及應用其之車體端裝置及訓練裝置
US9082315B2 (en) 2012-03-08 2015-07-14 Industrial Technology Research Institute Surrounding bird view monitoring image generation method and training method, automobile-side device, and training device thereof
JP2015079223A (ja) * 2013-10-18 2015-04-23 本田技研工業株式会社 運転訓練装置及び運転訓練方法
JP7349230B2 (ja) 2020-09-30 2023-09-22 本田技研工業株式会社 運転教習装置

Also Published As

Publication number Publication date
JP4728941B2 (ja) 2011-07-20

Similar Documents

Publication Publication Date Title
US10497174B2 (en) Method and device for augmented depiction
WO2014141526A1 (ja) 車両用危険場面再現装置、およびその使用方法
JP3817612B2 (ja) バーチャルドライビングシステム
EP2963632A1 (en) Manoeuvre assistance
JP2009193135A (ja) 車載モニタ装置
JP2005538393A (ja) コンピュータ利用運転授業システム
JP7367680B2 (ja) 表示装置
KR20130063605A (ko) 지리정보와 연계된 촬영 이미지를 이용한 도로 안내 표시 방법 및 그 장치
KR101813018B1 (ko) 차량과 연계된 3d 콘텐츠 제공 장치 및 그 방법
JP2009244660A (ja) 運転研修装置
JP4728941B2 (ja) 運転研修装置
JP4739174B2 (ja) 運転研修装置
JP5687879B2 (ja) 情報処理装置、自動車、情報処理方法及びプログラム
JP4750816B2 (ja) 運転研修装置
JP6645805B2 (ja) 危険予知の訓練装置及び訓練プログラム
JP5090891B2 (ja) 安全運転教示システム
JPWO2015033446A1 (ja) ランニング支援システムおよびこれに用いるヘッドマウントディスプレイ装置
KR101408325B1 (ko) 열차 시뮬레이터 장치, 열차 시뮬레이터 제공방법 및 그 기록매체
JP2004150918A (ja) 地図表示方法
JP2007094082A (ja) 移動体シミュレータ装置およびその制御方法並びに制御プログラム
JP6717516B2 (ja) 画像生成システム、画像生成方法及びプログラム
US20210295731A1 (en) Information processing apparatus, information processing system, information processing method, and computer program
JP2003233298A (ja) ナビゲーション装置の評価システム
JP2007323001A (ja) 画像表示装置
JP7281742B2 (ja) プログラムおよび列車運転シミュレータ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110415

R150 Certificate of patent or registration of utility model

Ref document number: 4728941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3