JP2022057895A - 運転教習装置 - Google Patents

運転教習装置 Download PDF

Info

Publication number
JP2022057895A
JP2022057895A JP2020166390A JP2020166390A JP2022057895A JP 2022057895 A JP2022057895 A JP 2022057895A JP 2020166390 A JP2020166390 A JP 2020166390A JP 2020166390 A JP2020166390 A JP 2020166390A JP 2022057895 A JP2022057895 A JP 2022057895A
Authority
JP
Japan
Prior art keywords
simulated
driving
calculation
video
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020166390A
Other languages
English (en)
Other versions
JP7410836B2 (ja
Inventor
克仁 青木
Katsuto Aoki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020166390A priority Critical patent/JP7410836B2/ja
Publication of JP2022057895A publication Critical patent/JP2022057895A/ja
Application granted granted Critical
Publication of JP7410836B2 publication Critical patent/JP7410836B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】映像再生中において指標の変化を映像と関連付けた状態で視覚的に把握することができ、教習効果を向上させることができる運転教習装置を提供する。【解決手段】運転教習装置1のコントローラ30では、模擬走行制御中の演算結果が記憶され、映像再生制御において、模擬走行制御中の演算結果がモニタ11に再生表示される。さらに、映像再生制御の実行中、2点間距離dが所定距離dref以下になったときには、2点間距離dが継続して演算され、2点間距離d及び模擬車両の速度vに応じて、余裕度Eが継続して演算され、余裕度Eを表す指標(○、△、×)がモニタ11に表示される。【選択図】図10

Description

本発明は、模擬車両を運転したときの運転結果を用いて、運転教習を支援するための運転教習装置に関する。
従来、運転教習装置として、特許文献1に記載されたものが知られている。この運転教習装置は、2輪タイプの模擬車両を用いて、受講者の運転技能などを判定するものであり、ハンドル及びアクセルレバーなどの操作装置と、模擬走行環境の映像が表示されるモニタなどを備えている。この運転教習装置の場合、受講者がモニタに表示された模擬走行環境の映像を視認しながら模擬車両の運転を実行し、その際の映像が制御装置に記憶される。そして、摸擬運転の終了後、摸擬運転中の映像がモニタに再生表示される。
その映像再生中、指導者によって再生映像が一時停止された状態で演算操作が実行された場合、他の車両との2点間距離が演算される。そして、この2点間距離と摸擬車両の速度に基づいて、3種類の路面に対する余裕度が指標として算出されるとともに、これらの余裕度がモニタに表示される。さらに、指導者の操作によって2点間距離及び設定速度が変更された場合、余裕度が再演算されてモニタに表示される。
特開2019-66637号公報
上記の運転教習装置によれば、指導者の操作によって2点間距離及び設定速度が変更された場合、余裕度が再演算されてモニタに表示されるものの、静止画像上の模擬車両と他の車両との関係が変化しないため、受講者は、指標としての余裕度が模擬車両と他の車両との位置関係の映像に関連付けられた状態で視覚的に把握することができないという問題がある。この問題は、摸擬車両と他の車両との位置関係に限らず、歩行者などの車両以外の交通参加者との位置関係においても発生する。したがって、教習効果の点で問題がある。
本発明は、上記課題を解決するためになされたもので、映像再生中において指標の変化を映像と関連付けた状態で視覚的に把握することができ、教習効果を向上させることができる運転教習装置を提供することを目的とする。
上記目的を達成するために、請求項1に係る発明は、ユーザ(受講者M1)が模擬車両2を模擬走行環境下で運転したときの運転結果を用いて、運転教習を支援する運転教習装置1において、出力インターフェース(メインモニタ11、操作モニタ21)と、模擬走行環境を映像化した模擬映像データを記憶する模擬映像データ記憶部(コントローラ30)と、模擬映像データ記憶部に記憶された模擬映像データを出力インターフェースに表示させる表示制御を実行する表示制御部(コントローラ30、STEP3)と、表示制御の実行中におけるユーザによる模擬車両の操作状態を表す操作状態データを検出する操作状態データ検出部(センサ装置4)と、操作状態データ検出部によって検出された操作状態データ及び模擬映像データに応じて、ユーザによる模擬車両の運転状態及び模擬走行環境の変化態様を演算する演算部(コントローラ30、STEP2)と、演算部の演算結果を記憶する演算結果記憶部(コントローラ30、STEP6)と、演算結果記憶部に記憶された演算結果を用いて、ユーザの運転状態を表す映像を出力インターフェースに再生表示させる映像再生制御を実行する映像再生制御部(コントローラ30、STEP24)と、映像再生制御の実行中、所定の演算条件が成立しているか否かを判定する演算条件判定部(コントローラ30、STEP46,51)と、演算条件判定部によって所定の演算条件が成立していると判定された場合、映像再生制御の実行中、模擬走行環境下での模擬車両2Aの現在位置P1と所定地点(危険運転状態の発生地点P2)との間の2点間距離dを継続して演算するとともに、2点間距離d及び模擬車両の速度vに応じて、走行状態の安全性の評価を表す評価パラメータ(余裕度E)を継続して演算する評価パラメータ演算部(コントローラ30、STEP71~74)と、所定の演算条件が成立している場合、映像再生制御の実行中、評価パラメータの演算結果を表す指標(○、△、×)を出力インターフェースに表示させる演算表示制御を実行する演算表示制御部(コントローラ30、STEP76)と、を備えることを特徴とする。
この運転教習装置によれば、映像再生制御の実行中、所定の演算条件が成立しているか否かが判定され、所定の演算条件が成立していると判定された場合、映像再生制御の実行中、模擬走行環境下での模擬車両の現在位置と所定地点との間の2点間距離が継続して演算されるとともに、2点間距離及び模擬車両の速度に応じて、走行状態の安全性の評価を表す評価パラメータが継続して演算される。さらに、所定の演算条件が成立している場合、映像再生制御の実行中、評価パラメータの演算結果を表す指標を出力インターフェースに表示させる演算表示制御が実行される。このように、映像再生制御の実行中、評価パラメータが継続して演算され、その演算結果を表す指標が連続的に出力インターフェースに表示されるので、ユーザは、指標の変化を模擬車両の現在位置と所定地点との間の位置関係の映像と関連付けた状態で視覚的に認識することができる。それにより、教習効果を向上させることができる。なお、本明細書における「条件が成立する」ことは、条件が満たされること及び所定の状態が成立することを意味する。
請求項2に係る発明は、請求項1に記載の運転教習装置1において、演算条件判定部は、ユーザの模擬車両の運転中に危険運転状態が発生していた場合において、映像再生制御の実行中、模擬車両の現在位置P1と所定地点としての危険運転状態の発生地点P2との距離(2点間距離d)が所定距離dref以下になったときに、所定の演算条件が成立していると判定することを特徴とする。
この運転教習装置によれば、ユーザの模擬車両の運転中に危険運転状態が発生していた場合において、映像再生制御の実行中、模擬車両の現在位置と所定地点としての危険運転状態の発生地点との距離が所定距離以下になったときに、評価パラメータが継続して演算され、演算表示制御が実行されることになる。それにより、映像再生制御の実行中、評価パラメータの演算結果を表す指標を出力インターフェースに自動的に表示することができ、指導者の負担を軽減することができる。
請求項3に係る発明は、請求項1又は2に記載の運転教習装置において、模擬走行環境下における模擬車両の危険運転が発生する状態を模擬的に映像化した危険模擬映像データを記憶する危険模擬映像データ記憶部(コントローラ30)と、危険模擬映像データの再生条件が成立しているか否かを判定する再生条件判定部(コントローラ30、STEP49)と、をさらに備え、映像再生制御部は、再生条件判定部によって危険模擬映像データの再生条件が成立していると判定されている場合、危険模擬映像データを出力インターフェースに表示させる危険模擬映像表示制御を実行し、演算条件判定部は、危険模擬映像表示制御の実行中、所定の演算条件が成立しているか否かを判定し、評価パラメータ演算部は、所定の演算条件が成立している場合、危険模擬映像表示制御の実行中、模擬走行環境下での模擬車両の現在位置と所定地点としての危険運転の発生地点との間の2点間距離dを継続して演算するとともに、2点間距離d及び模擬車両の速度vに応じて、評価パラメータを演算し、演算表示制御部は、危険模擬映像表示制御の実行中、演算表示制御を実行することを特徴とする。
この運転教習装置によれば、危険模擬映像データの再生条件が成立している場合、危険模擬映像表示制御が実行され、所定の演算条件が成立している場合、危険模擬映像表示制御の実行中、評価パラメータが演算されるとともに、演算表示制御が実行される。このように、危険模擬映像データの再生条件が成立しかつ所定の演算条件が成立している場合、評価パラメータの演算結果を表す指標が出力インターフェースに表示されるので、危険模擬映像データの再生条件を、例えばユーザの模擬車両の運転中に危険運転状態が発生していないことに設定することにより、ユーザは、危険運転状態が発生したときの状況を模擬的に体験することができ、運転教習効果を高めることができる。
本発明の一実施形態に係る運転教習装置の構成を示す正面図である。 運転教習装置の構成を示す側面図である。 ハンドル装置の構成を示す図である。 運転教習装置の電気的な構成を示すブロック図である。 模擬走行制御を示すフローチャートである。 走行再生制御を示すフローチャートである。 走行再生制御の内容を示すフローチャートである。 演算表示制御の内容を示すフローチャートである。 2点間距離を説明するための図である。 図10Aは、走行再生制御中の危険設定領域における表示映像例を示す図あり、図10Bは、図10Aの演算結果の表の拡大図である。 図11Aは、図10Aの位置から危険運転状態の発生点にさらに近づいたときの表示映像例を示す図あり、図11Bは、図11Aの演算結果の表の拡大図である。 図12Aは、図11Aの位置から危険運転状態の発生点にさらに近づいたときの表示映像例を示す図であり、図12Bは、図12Aの演算結果の表の拡大図である。
以下、図面を参照しながら、本発明の一実施形態に係る運転教習装置について説明する。図1及び図2に示すように、本実施形態の運転教習装置1は、模擬車両2を用いて、運転教習を実行/支援するものであり、模擬車両2に加えて、表示音響装置10及び指導用装置20などを備えている。
この模擬車両2は、受講者M1(ユーザ)が跨がって運転する二輪車タイプのものであり、MT車用の運転教習と、AT車用の運転教習とに切り換えて運転教習を実行できるように構成されている。なお、図1,2では、受講者M1がAT車用の教習運転時に足を乗せるステップの図示が省略されている。
模擬車両2は、図3に示すように、ハンドル3を備えており、このハンドル3には、兼用レバー3a、リアビュースイッチ3b、前照灯上下切換スイッチ3c、方向指示スイッチ3d、ホーンスイッチ3e、スタータスイッチ3f、エンジン停止スイッチ3g、前輪ブレーキレバー3h及びスロットルグリップ3iが設けられている。
この兼用レバー3aは、MT車の運転教習時には、クラッチレバーとして機能し、AT車の運転教習時には、後輪ブレーキレバーとして機能するように切換可能に構成されている。また、リアビュースイッチ3bは、表示音響装置10の後述するメインモニタ11内へのリアビュー(サイドミラーの映像)の表示/非表示を切り換えるものである。
さらに、前照灯上下切換スイッチ3cは、前照灯のハイビーム/ロービームを切り換えるものであり、方向指示スイッチ3dは、左右の方向指示器の点滅/停止を切り換えるものである。一方、ホーンスイッチ3eは、押下して警告音を発生するためのものであり、スタータスイッチ3f及びエンジン停止スイッチ3gはそれぞれ、エンジンの始動用及び停止用のものである。
また、前輪ブレーキレバー3hは、前輪ブレーキ操作を実行するためのものであり、スロットルグリップ3iは、回動させることよってエンジン回転数を上昇させるためのものである。
さらに、模擬車両2には、後輪ブレーキレバー3j(図2参照)及び変速レバー(図示せず)が設けられている。この後輪ブレーキレバー3jは、MT車の運転教習時、右足で後輪ブレーキ操作を実行するためのものであり、変速レバーは、MT車の運転教習時、左足で変速動作を実行するためのものである。
前述した表示音響装置10は、メインモニタ11及び左右のスピーカ12,12を備えており、これらのメインモニタ11及び左右のスピーカ12,12は、図4に示すように、コントローラ30に電気的に接続されている。
この表示音響装置10では、運転教習中、後述するコントローラ30からの映像信号によって、模擬走行環境下での教習用映像がメインモニタ11に表示され、コントローラ30からの音響信号によって、運転教習用の走行音などが左右のスピーカ12,12から出力される。
また、前述した指導用装置20は、操作モニタ21、キーボード22及びマウス23を備えており、図4に示すように、これらの構成要素21~23はいずれもコントローラ30に電気的に接続されている。
操作モニタ21は、指導者M2が運転教習時に参照するものであり、テーブル24上に載置されているとともに、後述するように、運転教習中、コントローラ30から映像信号が供給されることで、メインモニタ11と同じ映像を表示できるように構成されている。なお、本実施形態では、メインモニタ11及び操作モニタ21が出力インターフェースに相当する。
さらに、キーボード22及びマウス23も、テーブル24上に載置されており、指導者M2は、これらのキーボード22及びマウス23を介して、運転教習の開始/終了動作や、運転教習中の後述する各種の操作を実行する。なお、以下の説明では、指導者M2がキーボード22及びマウス23の少なくとも一方を操作することを「指導者M2の入力インターフェース操作」という。
一方、コントローラ30は、表示音響装置10に内蔵されており(図2参照)、このコントローラ30によって、運転教習中、後述するように、模擬走行制御及び走行再生制御が実行される。
このコントローラ30には、前述した構成要素11,12,21~23に加えて、センサ装置4及びアクチュエータ装置5が電気的に接続されている。
センサ装置4は、各種のセンサで構成されており、前述した各種の構成要素3a~3j及び変速レバーの操作状態と、ハンドル3の操舵角とを表す操作状態データを検出して、それらを表す検出信号をコントローラ30に出力する。なお、本実施形態では、センサ装置4が操作状態データ検出部に相当する。
また、アクチュエータ装置5は、複数のアクチュエータで構成されている。コントローラ30は、運転教習の実行中、アクチュエータ装置5を駆動することにより、後述する車両制御を実行する。この車両制御では、受講者M1が前後方向、上下方向及び左右方向の加減速度などを感じるように、模擬車両2の挙動が制御される。
一方、コントローラ30は、記憶装置31、データベース32及び演算処理装置33を備えている。この記憶装置31は、例えば、RAM及びE2PROMなどで構成されており、前述したセンサ装置4からの検出信号が表す操作状態データ及び後述する模擬走行制御における演算結果などを記憶する。なお、本実施形態では、コントローラ30が、模擬映像データ記憶部、表示制御部、演算部、演算結果記憶部、映像再生制御部、演算条件判定部、評価パラメータ演算部、演算表示制御部、危険模擬映像データ記憶部、及び、再生条件判定部に相当する。
また、データベース32は、例えば、ROMなどで構成されており、その内部には、通常運転用の模擬走行環境データ及び危険運転データが記憶されている。この模擬走行環境データは、運転教習用の各種走行コース、各種走行条件及び各種環境条件などを含むデータ(映像データ及び音響データ)である。
この模擬走行環境データは、受講者が一般的な運転操作で模擬車両2を運転した際に、危険運転状態(例えば事故など)が走行コース内の複数の領域で意図的に発生するように設定されており、以下、この危険運転状態が意図的に発生するように設定されている領域を「危険設定領域」という。
一方、危険運転データは、上記の複数の危険設定領域において危険運転が発生した状態を模擬的に再現したデータであり、後述する危険運転映像データ及び危険運転音響データで構成されている。
さらに、演算処理装置33は、例えば、CPUなどで構成されており、運転教習時には、キーボード22及びマウス23の操作状態と、センサ装置4からの検出信号などに応じて、以下に述べるように、模擬走行制御及び走行再生制御を実行する。
次に、図5を参照しながら、模擬走行制御について説明する。この模擬走行制御は、受講者M1による模擬車両2の模擬走行状態を制御するものであり、コントローラ30によって所定の制御周期で実行される。
まず、実行条件が成立しているか否かが判定される(図5/STEP1)。この実行条件は、模擬走行制御の実行条件であり、以下の(f1)~(f2)がいずれも成立しているときには、実行条件が成立していると判定され、それ以外のときには、実行条件が不成立であると判定される。
(f1)記憶装置31内に記憶されている演算結果及び後述するフラグなどの各種のデータがリセットされていること。
(f2)走行条件が設定済みであること。
この走行条件は、走行コース、走行環境及び模擬車両2の変速機タイプ(MT/AT)などの条件であり、指導者M2の入力インターフェース操作により、操作モニタ21のプログラム画面上の図示しないボタンが選択されることで設定される。
この判定が否定(図5/STEP1…NO)で、実行条件が不成立であるときには、そのまま本処理が終了する。一方、この判定が肯定(図5/STEP1…YES)で、実行条件が成立しているときには、交通状態データが演算される(図5/STEP2)。
この場合、具体的には、再生中の映像データ、音響データ及びセンサ装置4の検出信号に応じて、所定の制御アルゴリズムにより、模擬走行環境下の交通状態データを演算する。この交通状態データとしては、模擬車両2の走行状態及びその周囲の交通移動体の走行状態を表す走行状態データと、それらを表す映像データ及び音響データなどが演算される。すなわち、受講者M1による模擬車両2の運転状態を表すデータが演算される。
次いで、映像制御が実行される(図5/STEP3)。この映像制御では、上述した交通状態データに含まれる映像データに基づいて、映像信号値が算出され、それに対応する映像信号がメインモニタ11及び操作モニタ21に供給される。それにより、模擬車両2の前方の走行環境を表す映像が2つのモニタ11,21に表示される。
次に、音響制御が実行される(図5/STEP4)。この音響制御では、上述した交通状態データに含まれる音響データに基づいて、音響信号値が算出され、それに対応する音響信号がスピーカ12に供給される。それにより、例えば、模擬車両2の走行音、エンジン音及びブレーキ音などがスピーカ12から出力される。
この音響制御に続けて車両制御が実行される(図5/STEP5)。この車両制御では、上述した交通状態データに含まれる走行状態データに基づいて、駆動信号値が演算され、それに対応する駆動信号がアクチュエータ装置5に供給される。それにより、例えば、受講者M1がスロットルグリップ3iを開ける方向に回したときには、加速感が得られるように、模擬車両2の挙動が制御され、受講者M1がブレーキ操作を実行したときには、減速感が得られるように、模擬車両2の挙動が制御される。
次いで、前述したように演算された交通状態データが記憶装置31内に記憶される(図5/STEP6)。
次に、模擬走行が終了したか否かが判定される(図5/STEP7)。この場合、例えば、模擬走行のコースが終了し、それがモニタ11,21に表示された状態で、指導者M2の入力インターフェース操作によって模擬走行の終了が選択されたとき、又は、模擬走行の実行中であっても、何らかの理由により、指導者M2の入力インターフェース操作によって模擬走行の中止操作が実施されたときに、模擬走行が終了したと判定される。
この判定が否定(図5/STEP7…NO)で、模擬走行が終了していないときには、そのまま本処理が終了する。一方、この判定が肯定(図5/STEP7…YES)で、模擬走行が終了したときには、それを表すために、模擬走行終了フラグF_RUN_ENDが「1」に設定される(図5/STEP8)。その後、本処理が終了する。
次に、図6を参照しながら、走行再生制御について説明する。この走行再生制御は、図5の模擬走行制御を実行したときの受講者M1の運転状態を再生したり、後述する危険運転を再現したりするものであり、コントローラ30によって所定の制御周期で実行される。
まず、前述した模擬走行終了フラグF_RUN_ENDが「1」であるか否かが判定される(図6/STEP21)。この判定が否定(図6/STEP21…NO)で、模擬走行制御が終了していないときには、そのまま本処理が終了する。
一方、この判定が肯定(図6/STEP21…YES)で、模擬走行制御が終了済みであるときには、走行再生終了フラグF_ALL_ENDが「1」であるか否かが判定される(図6/STEP22)。この判定が肯定(図6/STEP22…YES)で、走行再生制御が終了済みであるときには、そのまま本処理が終了する。
一方、この判定が否定(図6/STEP22…NO)で、走行再生制御が終了していないときには、走行再生条件が成立しているか否かが判定される(図6/STEP23)。この走行再生条件は、走行再生制御の実行条件であり、以下の(f3)~(f4)の条件がいずれも成立しているときには、走行再生条件が成立していると判定され、それ以外のときには、走行再生条件が不成立であると判定される。
(f3)視点モードが設定済みであること。
(f4)再生開始動作が実行済みであること。
上記(f3)の条件の視点モードは、モニタ11,21で再生する映像の視点モードであり、視点モードとしては、自車モード、俯瞰視モード、見下ろしモード及び他車モードの4つのモードが存在している。
この自車モードでは、図示しないが、模擬車両2からの視点で映像が再生され、俯瞰視モードでは、模擬車両2及び他の交通移動体を俯瞰した視点で映像が再生される(図8A~図8C参照)。また、見下ろしモードでは、図示しないが、模擬車両2をその斜め後方から見下ろした視点で映像が再生され、他車モードでは、図示しないが、他車からの視点で映像が再生される。この場合、指導者M2の入力インターフェース操作により、操作モニタ21のプログラム画面上の図示しないモード選択ボタンが操作されることで、視点モードが設定される。
さらに、上記(f4)の再生開始動作は、指導者M2がキーボード22及びマウス23を操作し、操作モニタ21のプログラム画面上の図示しない再生開始ボタンを押下することで実行される。
前述した判定が否定(図6/STEP23…NO)で、走行再生条件が不成立であるときには、そのまま本処理が終了する。一方、この判定が肯定で走行再生条件が成立しているときには(図6/STEP23…YES)、走行再生制御が実行される(図6/STEP24)。この走行再生制御は、具体的には、図7に示すように実行される。
同図に示すように、まず、運転結果判定済みフラグF_JUDGEが「1」であるか否かが判定される(図7/STEP41)。この運転結果判定済みフラグF_JUDGEは、以下に述べる運転結果判定処理が実行済みであるか否かを表すものである。
この判定が肯定(図7/STEP41…YES)で、運転結果判定処理が実行済みであるときには、後述するSTEP44に進む。一方、この判定が否定(図7/STEP41…NO)のときには、運転結果判定処理が実行される(図7/STEP42)。
この運転結果判定処理では、記憶装置31内に記憶されている交通状態データと、危険運転再現データとを比較することにより、摸擬走行制御の実行中、走行コース中の複数の危険設定領域において、受講者M1の危険運転状態が発生したか否かが判定される。この判定結果は後述するSTEP49の判定において利用される。
次いで、運転結果判定処理が実行済みであることを表すために、運転結果判定済みフラグF_JUDGEが「1」に設定される(図7/STEP43)。
このように運転結果判定済みフラグF_JUDGEが「1」に設定されたとき、又は、運転結果判定処理が実行済みであるときには、前述した記憶装置31に記憶されている交通状態データに基づき、走行再生制御における模擬車両2の現在位置が危険設定領域であるか否かが判定される(図7/STEP44)。
この判定が否定(図7/STEP44…NO)で、模擬車両2の現在位置が危険設定領域でないときには、後述する運転映像再生制御が実行される。
一方、この判定が肯定(図7/STEP44…YES)で、模擬車両2の現在位置が危険設定領域であるときには、受講者M1の危険運転状態が発生していたか否かが判定される(図7/STEP49)。この判定は、前述した運転結果判定処理の判定結果に基づいて実行される。
この判定が肯定(図7/STEP49…YES)で、受講者M1の危険運転状態が発生していたとき、又は、模擬車両2の現在位置が危険設定領域でないときには、運転映像再生制御が実行される(図7/STEP45)。
この運転映像再生制御では、指導者M2の入力インターフェース操作によりモニタ21に表示されているプログラム画面上で選択された再生状態(通常再生、巻き戻し、一時停止)や、再生速度(早送り、スロー、コマ送り)に応じて、交通状態データを読み出すことにより、受講者M1の模擬走行中の映像がメインモニタ11及び操作モニタ21に表示される。
次いで、演算表示条件が成立しているか否かが判定される(図7/STEP46)。この場合、以下の(f5)~(f7)の条件がいずれも成立しているときには、演算表示条件が成立していると判定され、それ以外のときには、演算表示条件が不成立であると判定される。なお、本実施形態では、演算表示条件が所定の演算条件に相当する。
(f5)運転映像再生制御において再生中の走行環境を定める模擬車両の現在位置が走行コース内のいずれかの危険設定領域にあること。
(f6)上記(f5)の危険設定領域において、今回以前の摸擬走行制御の実行中に受講者M1の危険運転状態が発生したことが記憶装置31に記憶されていること。
(f7)今回の運転映像再生制御における模擬車両の現在位置と、記憶装置31に記録されている上記(f6)の危険運転状態の発生地点との距離が所定距離dref以下にあること。
この判定が否定(図7/STEP46…NO)で、演算表示条件が不成立であるときには、後述する運転音響再生制御が実行される。一方、この判定が肯定(図7/STEP46…YES)で、演算表示条件が成立しているときには、演算表示制御が実行される(図7/STEP47)。この演算表示制御は、具体的には、図8に示すように実行される。
同図に示すように、まず、2点間距離dが演算される(図8/STEP71)。この2点間距離dは、運転映像再生制御の実行中、模擬車両が危険設定領域を走行している際の模擬車両の現在位置と危険運転状態の発生地点との距離である。この場合、危険設定領域は、前述したように、受講者M1が一般的な運転操作で模擬車両2を運転した際に、危険運転状態が意図的に発生するように設定されている領域である。
例えば、図9に示す危険運転領域の場合、模擬車両2Aが停止車両40と対向車線の大型車両41との間を走行する際に、危険車両42が大型車両41の陰から右折して模擬車両2Aの前方に飛び出す状態すなわち危険運転状態が発生するように設定されている。同図は、視点モードが前述した俯瞰視モードのときのものであり、図中の模擬車両2Aは、映像再生制御の実行中に2つのモニタ11,21に表示される模擬車両2の映像である。
同図の場合、2点間距離dは、模擬車両2Aの位置P1と危険運転状態の発生地点P2との間の距離として算出される。また、2点間距離dは、模擬走行環境下での座標系における距離を実空間の距離に換算することによって演算される。なお、本実施形態では、危険運転状態の発生地点P2が所定地点に相当する。
次いで、下式(1)により、減速度αが演算される(図8/STEP72)。この減速度αは、模擬車両2Aが危険運転状態の発生地点P2で停止するのに必要な減速度である。
Figure 2022057895000002
上式(1)のvは、模擬車両2Aの速度(以下「自車速度」という)であり、相手が車両の場合には、相対速度となる。
次に、下式(2)により、限界停止距離Saが演算される(図8/STEP73)。
Figure 2022057895000003
上式(2)のμは、路面の限界減速度であり、その路面状態で達成可能な最大減速度に相当する。本実施形態の場合、路面状態すなわち路面種類としては、乾路面、濡路面及び固雪路の3種類が設定されており、上式(2)においては、限界減速度μを乾路面用の値0.7と、濡路面用の値0.45と、固雪路用の値0.15とに切り換えることにより、3種類の路面用の限界停止距離Saが演算される。これらの3種類の限界減速度μは、乾路面、濡路面及び固雪路における動摩擦係数に基づいて演算されたものである。
さらに、下式(3)により、余裕度Eが演算される(図8/STEP74)。なお、本実施形態では、余裕度Eが評価パラメータに相当する。
Figure 2022057895000004
この場合、3種類の路面用の限界停止距離Saを用いて、3種類の路面用の余裕度Eが演算される。
次いで、余裕度Eが判定される(図8/STEP75)。具体的には、上記のように算出された3つの余裕度Eが、E≦1.0が成立する第1範囲、1.0<E≦1.3が成立する第2範囲、1.3<Eが成立する第3範囲のいずれの範囲にあるかが判定される。
次に、演算結果が表示される(図8/STEP76)。この場合、演算結果は、2つのモニタ11,21において、例えば、図10A~図12Aの映像60~62に示すように表形式で表示される。すなわち、前述した3つの路面種類に対して、限界減速度μ(図中では「限界減速度G」と表示)及び自車速度での限界停止距離Saの値が表示される。
これに加えて、余裕度Eが上述した第1範囲にあるときには、余裕度Eを表す指標として「×」マークが表示され、余裕度Eが上述した第2範囲にあるときには、余裕度Eを表す指標として「△」マークが表示され、余裕度Eが上述した第3範囲にあるときには、余裕度Eを表す指標として「○」マークが表示される。これらの図10A~図12Aの詳細については後述する。以上のように、演算結果が表示された後、本処理が終了する。なお、本実施形態では、「×」マーク、「△」マーク及び「○」マークが評価パラメータの演算結果を表す指標に相当する。
図7に戻り、演算表示制御が以上のように実行されたとき、又は前述した演算表示条件が不成立であるときには、運転音響再生制御が実行される(図7/STEP48)。この音響再生制御では、記憶装置31に記憶されている交通状態データを読み出すことにより、模擬走行中の音響がスピーカ12から出力される。その後、本処理が終了する。
一方、前述した判定が否定(図7/STEP49…NO)で、受講者M1の危険運転状態が危険設定領域で発生していないときには、危険運転映像制御が実行される(図7/STEP50)。この危険運転映像制御では、データベース32内の危険運転映像データの中から、現在の危険設定領域に対応するデータが読み出され、これが2つのモニタ11,21に再生表示される。なお、本実施形態では、受講者M1の危険運転状態が危険設定領域で発生していないことが、危険模擬映像データの再生条件が成立していることに相当する。
次いで、演算表示条件が成立しているか否かが判定される(図7/STEP51)。この場合、以下の(f8)の条件が成立しているときには、演算表示条件が成立していると判定され、それ以外のときには、演算表示条件が不成立であると判定される。なお、本実施形態では、演算表示条件が所定の演算条件に相当する。
(f8)今回の危険運転映像制御における模擬車両の現在位置と危険運転状態の発生地点との距離が所定距離dref以内にあること。
この判定が否定(図7/STEP51…NO)で、演算表示条件が不成立であるときには、後述する危険運転音響制御が実行される。一方、この判定が肯定(図7/STEP51…YES)で、演算表示条件が成立しているときには、演算表示制御が実行される(図7/STEP52)。この演算表示制御は、前述した図8の演算表示制御と同様に実行される。
演算表示制御が以上のように実行されたとき、又は前述した演算表示条件が不成立であるときには、危険運転音響制御が実行される(図7/STEP53)。この危険運転音響制御では、データベース32内の危険運転音響データの中から、現在の危険設定領域に対応するデータが読み出され、これがスピーカ12から出力される。その後、本処理が終了する。
図6に戻り、走行再生制御が以上のように実行された後、走行再生制御が終了したか否かが判定される(図6/STEP25)。この場合、記憶装置31に記憶されている交通状態データが最後まで再生された状態で再生制御の終了動作が実行されたとき、又は、再生制御の実行中であっても、何らかの理由により、再生制御の終了動作が実行されたときに、走行再生制御が終了したと判定される。なお、再生制御の終了動作は、指導者M2の入力インターフェース操作によって実行される。
この判定が否定のときには(図6/STEP25…NO)、そのまま本処理が終了する。一方、この判定が肯定で走行再生制御が終了したときには(図6/STEP25…YES)、それを表すために、走行再生終了フラグF_ALL_ENDが「1」が設定される(図6/STEP26)。その後、本処理が終了する。
以上のように、本実施形態の走行再生制御では、模擬車両2Aが危険設定領域を走行している場合において、危険運転状態が発生しなかった場合には、危険運転映像制御及び危険運転音響制御が実行される。これは、以下の理由による。
すなわち、危険設定領域は、受講者M1が一般的な運転操作で模擬車両2を運転した際に危険運転状態が意図的に発生するように設定されているのに対して、受講者M1が危険設定領域を法定速度をかなり下回る速度で走行した場合などには、危険運転状態が発生しなくなる可能性がある。その場合には、運転教習効果が得られなくなるので、それを回避するために、走行再生制御では、受講者M1の危険運転状態が危険設定領域で発生しなかった際に、危険運転映像制御及び危険運転音響制御が実行される。
次に、図10A~図12Bを参照しながら、前述した演算表示制御を実行したときの余裕度などの表示結果例について説明する。まず、走行再生制御の実行中、視点モードが自車モードに設定され、模擬車両2Aが前述した図9の危険設定領域を走行している場合において、2点間距離dが所定距離以下になった時点で、図10Aに示す映像50が2つのモニタ11,21に表示される。
この映像50には、模擬車両2Aの走行メータ2a、左右のリアビュー2b,2bが表示され、さらに、停止車両40及び対向車線の大型車両41などが表示される。これに加えて、映像50の左上には、演算表示制御による演算結果の表(以下「演算結果表」という)60が表示される。
この演算結果表60は、図10Bに示すように、2点間距離d=49.6m、自車速度v=33.1km/hの場合の演算結果、すなわち限界減速度G及び限界停止距離Saの演算結果と、余裕度Eの判定結果とを表示したものである。
この演算結果表60では、乾路面、濡路面及び固雪路における余裕度Eがいずれも第3範囲(1.3<E)にあることで、余裕度Eを表す指標として「○」マークが表示されている。すなわち、乾路面、濡路面及び固雪路のいずれにおいても、余裕度が高い状態にあることが表示される。それにより、受講者M1は、乾路面、濡路面及び固雪路のいずれにおいても、この位置で制動を開始すれば、危険運転状態の発生地点よりも手前で停止可能であることが判る。
走行再生制御の進行に伴い、模擬車両2Aが上記図10Aの位置から危険運転状態の発生地点により近づいた場合には、図11Aに示す映像51が2つのモニタ11,21に表示され、この映像51の左上には、演算表示制御による演算結果表61が表示される。
この演算結果表61は、図11Bに示すように、2点間距離d=14.5m、自車速度v=38.7km/hの場合の演算結果を表示したものである。この演算結果では、乾路面における余裕度Eが前述した第3範囲(1.3<E)にあることで、余裕度Eを表す指標として「○」マークが表示され、濡路面における余裕度Eが前述した第2範囲(1.0<E≦1.3)にあることで、余裕度Eを表す指標として「△」マークが表示されている。
さらに、固雪路における余裕度Eが前述した第1範囲(E≦1.0)にあることで、余裕度Eを表す指標として「×」マークが表示されている。すなわち、乾路面の場合には余裕度が高いものの、濡路面の場合には余裕度が低く、固雪路の場合には余裕度がないことが表示される。それにより、受講者M1は、乾路面の場合には、この位置で制動を開始すれば、危険運転状態の発生地点よりも手前で停止可能であるものの、濡路面の場合には危険運転状態の発生地点よりも手前で停止可能か否かが微妙であり、固雪路の場合には、危険運転状態の発生地点よりも手前で停止不能であることが判る。
さらに、走行再生制御の進行に伴い、模擬車両2Aが上記図11Aの位置から危険運転状態の発生地点により近づいた場合には、図12Aに示す映像52が2つのモニタ11,21に表示され、この映像52の左上には、演算表示制御による演算結果表62が表示される。
この演算結果表62は、図12Bに示すように、2点間距離d=8.4m、自車速度v=42.4km/hの場合の演算結果を表示したものである。この演算結果では、乾路面、濡路面及び固雪路における余裕度Eがいずれも前述した第1範囲(E≦1.0)にあることで、余裕度Eを表す指標として「×」マークが表示されている。すなわち、乾路面、濡路面及び固雪路のいずれにおいても、余裕度が高い状態にあることが示されている。それにより、受講者M1は、乾路面、濡路面及び固雪路のいずれにおいても、この位置で制動を開始しても、危険運転状態の発生地点よりも手前で停止不能であることが判る。
以上のように、本実施形態の運転教習装置1によれば、走行再生制御の実行中、模擬車両の現在位置と危険運転状態の発生地点との距離、すなわち2点間距離dが所定距離dref以下になったときに、2点間距離d、限界減速度G、限界停止距離Sa及び余裕度Eが継続して演算される。そして、自車モードでは、これらの演算結果が2つのモニタ11,21内の模擬車両の前方の映像に表形式で継続して表示されることになるので、受講者M1は、余裕度Eなどの変化を模擬車両の前方の映像における交通参加者などとの位置関係の映像と関連付けた状態で視覚的に認識することができる。それにより、運転教習効果を向上させることができる。
さらに、走行再生制御の実行中、2点間距離d、限界減速度G、限界停止距離Sa及び余裕度Eが2つのモニタ11,21内に自動的に表示されるので、指導者M2の負担を軽減することができる。
また、模擬走行制御の実行中、模擬車両が危険設定領域を走行している場合において、危険運転状態が発生しなかったときには、走行再生制御の実行中、危険運転映像制御及び危険運転音響制御が実行される。それにより、受講者M1の摸擬運転中において、危険運転状態が発生しなかったときでも、危険運転状態が発生した状態を再現することができ、運転教習効果をさらに向上させることができる。
なお、実施形態は、模擬車両として、2輪車両タイプのものを用いた例であるが、本発明の模擬車両はこれに限らず、3輪以上の車輪を備えた車両を用いてもよい。
実施形態は、受講者M1をユーザとした例であるが、これに代えて、指導者M2をユーザとしてもよい。
実施形態は、出力インターフェースとして、メインモニタ11及び操作モニタ21を用いた例であるが、本発明の出力インターフェースはこれに限らず、模擬映像データを表示可能なものであればよい。例えば、出力インターフェースとして、1つのモニタや、1つのタッチパネル式のモニタを用いてもよい。また、出力インターフェースとして、3Dホログラム装置や、ヘッドマウント式のVR装置を用いてもよい。
実施形態は、模擬映像データ記憶部、演算結果記憶部、及び、危険模擬映像データ記憶部として、コントローラ30を用いた例であるが、これに代えて、HDDなどのストレージ又はメモリなどの記憶装置を、模擬映像データ記憶部、演算結果記憶部、及び、危険模擬映像データ記憶部として用いてもよい。
実施形態は、表示制御部、演算部、映像再生制御部、演算条件判定部、評価パラメータ演算部、演算表示制御部、及び、再生条件判定部として、コントローラ30を用いた例であるが、これに代えて、マイクロコンピュータ又はサーバなどを、表示制御部、演算部、映像再生制御部、演算条件判定部、評価パラメータ演算部、演算表示制御部、及び、再生条件判定部として用いてもよい。
実施形態は、STEP46において、前述した(f5)~(f7)の条件がいずれも成立しているときには、演算表示条件が成立していると判定した例であるが、これに代えて、前述した(f5)の条件のみが成立しているときに、演算表示条件が成立していると判定してもよい。また、(f5)の条件が成立し、かつ、模擬的な交通参加者(例えば、歩行者、自転車及び自動車など)又は模擬的な構造物(例えば、ガードレール、ポール、カラーコーン(登録商標)、電柱など)が存在する地点と模擬車両の現在位置との距離がdref以下であること)ときに、演算表示条件が成立していると判定してもよい。さらに、指導者M2によって再生映像が一時停止された状態で、指導者M2により入力インターフェースを介して所定操作が実行されたときに、演算表示条件が成立していると判定するように構成してもよい。
実施形態は、危険運転状態の発生地点P2を所定地点とした例であるが、走行コース内の危険運転状態の発生地点P2以外の位置を模擬車両以外の物体の位置としてもよい。例えば、模擬走行環境データの走行コース内において、模擬的な交通参加者(例えば、歩行者、自転車及び自動車など)又は模擬的な構造物(例えば、ガードレール、ポール、カラーコーン(登録商標)、電柱など)が存在する地点を所定地点としてもよい。
M1 受講者(ユーザ)
1 運転教習装置
2 模擬車両
2A 模擬車両
4 センサ装置(操作状態データ検出部)
11 メインモニタ(出力インターフェース)
21 操作モニタ(出力インターフェース)
30 コントローラ(模擬映像データ記憶部、表示制御部、演算部、演算結果記憶部 、映像再生制御部、演算条件判定部、評価パラメータ演算部、演算表示制御部 、危険模擬映像データ記憶部、再生条件判定部)
P1 模擬車両の現在位置
P2 危険運転状態の発生地点(所定地点)
d 2点間距離
dref 所定距離
v 模擬車両の速度
E 余裕度(評価パラメータ)
○ マーク(評価パラメータの演算結果を表す指標)
△ マーク(評価パラメータの演算結果を表す指標)
× マーク(評価パラメータの演算結果を表す指標)

Claims (3)

  1. ユーザが模擬車両を模擬走行環境下で運転したときの運転結果を用いて、運転教習を支援する運転教習装置において、
    出力インターフェースと、
    前記模擬走行環境を映像化した模擬映像データを記憶する模擬映像データ記憶部と、
    当該模擬映像データ記憶部に記憶された前記模擬映像データを前記出力インターフェースに表示させる表示制御を実行する表示制御部と、
    当該表示制御の実行中における前記ユーザによる前記模擬車両の操作状態を表す操作状態データを検出する操作状態データ検出部と、
    当該操作状態データ検出部によって検出された操作状態データ及び前記模擬映像データに応じて、前記ユーザによる前記模擬車両の運転状態及び前記模擬走行環境の変化態様を演算する演算部と、
    前記演算部の演算結果を記憶する演算結果記憶部と、
    当該演算結果記憶部に記憶された前記演算結果を用いて、前記模擬走行環境下での前記ユーザの運転状態を表す映像を前記出力インターフェースに再生表示させる映像再生制御を実行する映像再生制御部と、
    前記映像再生制御の実行中、所定の演算条件が成立しているか否かを判定する演算条件判定部と、
    当該演算条件判定部によって前記所定の演算条件が成立していると判定された場合、前記映像再生制御の実行中、前記模擬走行環境下での前記模擬車両の現在位置と所定地点との間の2点間距離を継続して演算するとともに、当該2点間距離及び前記模擬車両の速度に応じて、走行状態の安全性の評価を表す評価パラメータを継続して演算する評価パラメータ演算部と、
    前記所定の演算条件が成立している場合、前記映像再生制御の実行中、前記評価パラメータの演算結果を表す指標を前記出力インターフェースに表示させる演算表示制御を実行する演算表示制御部と、
    を備えることを特徴とする運転教習装置。
  2. 請求項1に記載の運転教習装置において、
    前記演算条件判定部は、前記ユーザの前記模擬車両の運転中に危険運転状態が発生していた場合において、前記映像再生制御の実行中、前記模擬車両の前記現在位置と前記所定地点としての前記危険運転状態の発生地点との距離が所定距離以下になったときに、前記所定の演算条件が成立していると判定することを特徴とする運転教習装置。
  3. 請求項1又は2に記載の運転教習装置において、
    前記模擬走行環境下における前記模擬車両の危険運転が発生する状態を模擬的に映像化した危険模擬映像データを記憶する危険模擬映像データ記憶部と、
    前記危険模擬映像データの再生条件が成立しているか否かを判定する再生条件判定部と、をさらに備え、
    前記映像再生制御部は、前記再生条件判定部によって前記危険模擬映像データの前記再生条件が成立していると判定されている場合、前記危険模擬映像データを前記出力インターフェースに表示させる危険模擬映像表示制御を実行し、
    前記演算条件判定部は、前記危険模擬映像表示制御の実行中、前記所定の演算条件が成立しているか否かを判定し、
    前記評価パラメータ演算部は、前記所定の演算条件が成立している場合、前記危険模擬映像表示制御の実行中、前記模擬走行環境下での前記模擬車両の現在位置と前記所定地点としての前記危険運転の発生地点との間の2点間距離を継続して演算するとともに、当該2点間距離及び前記模擬車両の速度に応じて、前記評価パラメータを演算し、
    前記演算表示制御部は、前記危険模擬映像表示制御の実行中、前記演算表示制御を実行することを特徴とする運転教習装置。
JP2020166390A 2020-09-30 2020-09-30 運転教習装置 Active JP7410836B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020166390A JP7410836B2 (ja) 2020-09-30 2020-09-30 運転教習装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020166390A JP7410836B2 (ja) 2020-09-30 2020-09-30 運転教習装置

Publications (2)

Publication Number Publication Date
JP2022057895A true JP2022057895A (ja) 2022-04-11
JP7410836B2 JP7410836B2 (ja) 2024-01-10

Family

ID=81111290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020166390A Active JP7410836B2 (ja) 2020-09-30 2020-09-30 運転教習装置

Country Status (1)

Country Link
JP (1) JP7410836B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456797A (zh) * 2023-12-26 2024-01-26 成都运达科技股份有限公司 一种模拟驾驶实训接续方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002260146A (ja) * 2001-03-02 2002-09-13 Toyota Central Res & Dev Lab Inc 運転者危険認知特性記憶方法、運転者危険度演算装置、運転能力診断・評価装置、及び車両用予防安全装置
JP2012128375A (ja) * 2010-12-17 2012-07-05 Honda Motor Co Ltd ライディングシミュレータ
JP2019066637A (ja) * 2017-09-29 2019-04-25 本田技研工業株式会社 運転教習装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002260146A (ja) * 2001-03-02 2002-09-13 Toyota Central Res & Dev Lab Inc 運転者危険認知特性記憶方法、運転者危険度演算装置、運転能力診断・評価装置、及び車両用予防安全装置
JP2012128375A (ja) * 2010-12-17 2012-07-05 Honda Motor Co Ltd ライディングシミュレータ
JP2019066637A (ja) * 2017-09-29 2019-04-25 本田技研工業株式会社 運転教習装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456797A (zh) * 2023-12-26 2024-01-26 成都运达科技股份有限公司 一种模拟驾驶实训接续方法、系统及存储介质
CN117456797B (zh) * 2023-12-26 2024-03-15 成都运达科技股份有限公司 一种模拟驾驶实训接续方法、系统及存储介质

Also Published As

Publication number Publication date
JP7410836B2 (ja) 2024-01-10

Similar Documents

Publication Publication Date Title
JP4235465B2 (ja) ライディングシミュレーション装置
JP5919243B2 (ja) 運転訓練装置及び運転訓練方法
JP3400969B2 (ja) 4輪車運転シミュレータ
CN112258925A (zh) 一种具有反馈转向真实路感的汽车驾驶模拟训练系统
JP2022057895A (ja) 運転教習装置
JP6854227B2 (ja) 運転教習装置
JP5328758B2 (ja) ライディングシミュレータ
JP5390251B2 (ja) 運転訓練装置
JP7064424B2 (ja) 運転教習システム
JP2019066636A (ja) 運転教習装置及び運転教習方法
JP2018083517A (ja) 車両システム
JP4189233B2 (ja) ライディングシミュレーション装置
JP7082031B2 (ja) 運転教習装置及び運転教習方法
JP7410835B2 (ja) 運転教習装置
JP7349230B2 (ja) 運転教習装置
JP7082030B2 (ja) 運転教習装置及び運転教習方法
JP7097323B2 (ja) 運転教習装置及び運転教習方法
JP6917970B2 (ja) 模擬運転装置
JP3878426B2 (ja) ライディングシミュレーション装置
JP2015079224A (ja) 運転訓練装置及び運転訓練方法
JP2019045693A (ja) 運転シミュレータ装置、運転シミュレート方法、及びそのプログラム
JP5366329B2 (ja) ライディングシミュレータ
JP5996341B2 (ja) ライディングシミュレーション装置
JPH113027A (ja) 運転教育用シミュレータ
JPH10293526A (ja) ライディングシミュレーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231222

R150 Certificate of patent or registration of utility model

Ref document number: 7410836

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150