JP2018082805A - 違和感判別方法及び違和感判別装置 - Google Patents

違和感判別方法及び違和感判別装置 Download PDF

Info

Publication number
JP2018082805A
JP2018082805A JP2016226788A JP2016226788A JP2018082805A JP 2018082805 A JP2018082805 A JP 2018082805A JP 2016226788 A JP2016226788 A JP 2016226788A JP 2016226788 A JP2016226788 A JP 2016226788A JP 2018082805 A JP2018082805 A JP 2018082805A
Authority
JP
Japan
Prior art keywords
driver
discomfort
brain activity
appropriateness
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016226788A
Other languages
English (en)
Other versions
JP6988075B2 (ja
Inventor
清水 俊行
Toshiyuki Shimizu
俊行 清水
義治 紙透
Yoshiharu Kamisuke
義治 紙透
ルチアン ギョルゲ
Lucian Gheorghe
ルチアン ギョルゲ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2016226788A priority Critical patent/JP6988075B2/ja
Publication of JP2018082805A publication Critical patent/JP2018082805A/ja
Application granted granted Critical
Publication of JP6988075B2 publication Critical patent/JP6988075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】運転者の現在の状態に合わせて違和感を覚えているか否かを判別することを目的とする。【解決手段】違和感判別方法では、運転者の脳活動を測定して得られた脳活動データを判別基準に照合することにより運転者が違和感を覚えているか否かを判別する(S1、S2)。そして、判別基準の適正度合いを算出し(S3)、適正度合いが所定条件を満たす場合に運転者に違和感を発生させる(S7)。違和感を発生させた時の脳活動データを用いて判別基準を変更する(S8)。【選択図】図8

Description

本発明は、違和感判別方法及び違和感判別装置に関する。
特許文献1には、自動運転によるカーブ走行時に運転者が覚える違和感を軽減させるように目標軌跡を設定する運転支援装置が提案されている。
特開2014−218098号公報
運転者が違和感を覚えているか否かは、運転者の脳活動を観察することで判別できる。しかしながら、脳活動には個人差や被験者の状態の違いによるばらつきがあり、このような脳活動のばらつきが違和感の判別精度を低下させる原因となる。
本発明は、運転者の現在の状態に合わせて違和感を覚えているか否かを判別することを目的とする。
本発明の一態様に係る違和感判別方法では、運転者の脳活動を測定して得られた脳活動データを判別基準に照合することにより運転者が違和感を覚えているか否かを判別する。この方法では、判別基準の適正度合いを算出し、適正度合いが所定条件を満たす場合に運転者に違和感を発生させる。違和感を発生させた時の脳活動データを用いて判別基準を変更する。
本発明によれば、運転者の現在の状態に合わせて違和感を覚えているか否かを判別できる。
実施形態に係る違和感判別装置を備える運転支援装置の構成例を示す図である。 脳波測定の一例の説明図である。 実施形態に係る適正状態判定装置のコントローラによる機能構成例を示すブロック図である。 脳波特徴量ベクトルの説明図である。 特徴空間マップの第1例の説明図である。 特徴空間マップの第2例の説明図である。 加加速度プロファイルの第1例を示すグラフである。 加加速度プロファイルの第2例を示すグラフである。 第1実施形態に係る違和感判別方法の一例を示すフローチャートである。
以下において、図面を参照して本発明の実施形態を説明する。なお、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の材質、形状、構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
(第1実施形態)
(構成)
図1を参照する。運転支援装置1は、本発明の実施形態に係る違和感判別装置10と、周囲環境センサ群20と、車両挙動センサ群30と、車載装置50と、触覚インタフェース装置51と、車両走行コントローラ60と、車両制御アクチュエータ群61を備える。なお、図1において触覚インタフェース装置を「触覚I/F装置」と表記する。
周囲環境センサ群20は、運転支援装置1を搭載する車両(以下、単に「車両」と表記することがある)の周囲環境を検出するセンサ群であり、車両の周囲の物体を検出するためのセンサを含む。周囲環境センサ群20は、カメラ21と、レーダ22と、地図データベース23を備える。なお、図1において地図データベースを「地図DB」と表記する。
カメラ21及びレーダ22は、車両周囲に存在する物体、車両と物体との相対位置、車両と物体との距離等の車両の周囲環境を検出する。カメラ21及びレーダ22は、検出した周囲環境の情報である周囲環境情報を、車両の運転支援制御又は自動運転制御を行う車両走行コントローラ60へ出力する。
地図データベース23は、地図情報のデータベースである。例えば、カーナビゲーションシステムが備える地図データベースを、地図データベース23として使用してよい。車両走行コントローラ60は、車両の現在位置の周囲の状況の情報を地図データベース23から取得する。例えば車両走行コントローラ60は、車両周囲の既知の物標の位置、車両の走行路の形状、路曲率、道路種別、停止線等の道路上の白線、車線数等の情報を、周囲環境情報として地図データベース23から取得してよい。
車両挙動センサ群30は、車両の車両挙動を検出するセンサ群であり、車速センサ31と、加速度センサ32と、ヨーレートセンサ33と、操舵角センサ34と、転舵角センサ35を含む。
車速センサ31は、車両の車輪速を検出し、車輪速に基づいて車両の速度を算出する。車速センサ31は、算出した車速の情報を車両走行コントローラ60へ出力する。
加速度センサ32は、車両の前後方向の加速度及び車幅方向の加速度を検出し、これらの加速度の情報を車両走行コントローラ60へ出力する。
ヨーレートセンサ33は、車両のヨーレート(車体が旋回する方向への回転角の変化速度)を検出し、検出したヨーレートの情報を車両走行コントローラ60へ出力する。
操舵角センサ34は、操舵操作子であるステアリングホイールの現在の回転角度(操舵操作量)である現在の操舵角を検出する。操舵角センサ34は、検出した操舵角の情報を車両走行コントローラ60へ出力する。
転舵角センサ35は、操向輪の転舵角を検出し、検出した転舵角の情報を車両走行コントローラ60へ出力する。
車両挙動センサ群30から車両走行コントローラ60に出力される車速の情報、加速度の情報、ヨーレートの情報、操舵角の情報、及び転舵角の情報を、総称して「車両挙動情報」と表記することがある。
車載装置50は、車両に搭載され運転者や他の乗員に視覚情報及び聴覚情報の少なくとも一方を提示する機能を有する装置である。車載装置50は、例えば、ナビゲーション装置や、オーディオ装置、情報通信装置などであってよい。
触覚インタフェース装置51は、ステアリングホイールや運転席など運転者に接触する位置に設置され、触覚的な感覚を触覚情報として運転者に与えるユーザインタフェース装置である。触覚インタフェース装置51は、例えば、バイブレータや、ピエゾ素子、電気活性ポリマーアクチュエータなどを含んでよい。
車両走行コントローラ60は、車両の自動運転制御及び運転支援制御を行う電子制御ユニットである。車両走行コントローラ60は、プロセッサと、記憶装置等の周辺部品とを含む。プロセッサは、例えばCPU(Central Processing Unit)、やMPU(Micro-Processing Unit)であってよい。
記憶装置は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。
なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両走行コントローラ60を実現してもよい。例えば、車両走行コントローラ60はフィールド・プログラマブル・ゲート・アレイ(FPGA:Field-Programmable Gate Array)等のプログラマブル・ロジック・デバイス(PLD:Programmable Logic Device)等を有していてもよい。
車両走行コントローラ60は、自動運転制御及び運転支援制御において車両の運転動作を実行する。
自動運転モードにおいて車両走行コントローラ60は、周囲環境センサ群20から入力した周囲環境情報と、車両挙動センサ群30から入力した車両挙動情報とに基づいて、走行する経路を生成する。
車両走行コントローラ60は、生成した経路に基づいて、車両制御アクチュエータ群61を駆動して車両の運転動作を実行し、自動的に車両を走行させる。
車両走行コントローラ60が実行する車両の運転動作には、例えばこのような自動運転制御における自動操舵及び自動制動が含まれる。
車両制御アクチュエータ群61は、コントローラ11からの制御信号に応じて、車両のステアリングホイール、アクセル開度及びブレーキ装置を操作して、車両の車両挙動を発生させる。車両制御アクチュエータ群61は、ステアリングアクチュエータ62と、アクセル開度アクチュエータ63と、ブレーキ制御アクチュエータ64を備える。
ステアリングアクチュエータ62は、車両のステアリングの転舵方向及び転舵量を制御する。
アクセル開度アクチュエータ63は、車両のアクセル開度を制御する。
ブレーキ制御アクチュエータ64は、車両のブレーキ装置の制動動作を制御する。
手動運転モードにおいて車両走行コントローラ60は、周囲環境センサ群20から入力した周囲環境情報と、車両挙動センサ群30から入力した車両挙動情報とに基づいて、車両制御アクチュエータ群61を駆動し、車両の運転支援制御を行う。
車両走行コントローラ60による運転支援制御は、例えば、自動操舵及び自動制動の少なくとも一方を含む制御介入であってよい。
車両走行コントローラ60が実行する車両の運転動作には、例えばこのような運転支援制御における自動操舵及び自動制動が含まれる。
車両走行コントローラ60は、例えば、車両周囲の物体との衝突予測時間(TTC:Time-To-Collision)や、車両周囲の他車両に対する車間時間(THW:Time-Headway)が、作動閾値よりも小さくなった場合に、車両の運転動作を実行してよい。
例えば車両走行コントローラ60は、ステアリングアクチュエータ62を駆動して、車両の転舵方向及び転舵量を自動的に制御し障害物回避する車両挙動を発生させてよい。また、例えば車両走行コントローラ60は、ブレーキ制御アクチュエータ64を駆動して、車両のブレーキ装置を自動的に制御し障害物との衝突を回避する車両挙動を発生させてよい。
また、車両がステアバイワイヤ式の転舵機構を備える場合、車両走行コントローラ60は、操舵角センサ34が検出した操舵角、転舵角センサ35が検出した転舵角、車速センサ31が検出した車速に応じてステアリングアクチュエータ62を駆動し、車両の転舵方向及び転舵量を制御する。
また、車両が電動パワーステアリング機構を備える場合、車両走行コントローラ60は、操舵角センサ34が検出した操舵角、転舵角センサ35が検出した転舵角、車速センサ31が検出した車速に応じてステアリングアクチュエータ62を駆動してステアリング機構にアシストトルクを付与する。
違和感判別装置10は、車両の運転者が違和感を覚えているか否かを判別する。違和感判別装置10は、コントローラ11と、脳活動センサ12を備える。
コントローラ11は、運転者が違和感を覚えているか否かを判別する電子制御ユニットである。コントローラ11は、プロセッサ13と、記憶装置14等の周辺部品とを含む。
プロセッサ13は、例えばCPU、やMPUであってよい。
記憶装置14は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置14は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等のメモリを含んでよい。
なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ11を実現してもよい。例えば、コントローラ11はフィールド・プログラマブル・ゲート・アレイ等のプログラマブル・ロジック・デバイス等を有していてもよい。
脳活動センサ12は、運転者の脳活動を測定するセンサである。脳活動センサ12は、測定した運転者の脳活動の情報をコントローラ11へ出力する。コントローラ11は、脳活動センサ12が検出した脳活動の情報に基づいて運転者の違和感を検出する。
例えば脳活動センサ12は、脳活動として運転者の脳波を測定してよい。すなわち脳活動センサ12は、脳活動として運転者の脳波を検出する脳波センサであってよい。
図2を参照する。脳活動センサ12は、車両の運転中に運転者の脳波信号をリアルタイムで測定する。脳活動センサ12は複数の電極を有し、複数の電極が運転者の頭部に取り付けられる。脳活動センサ12の複数の電極は、例えば、国際10−20法に準拠し、認知機能に関わる運転者の頭頂部Fz,Fcz,Cz,CPzに配置される。脳活動センサ12が有する複数の電極の頭部への取り付け方法は特に限定されないが、例えば運転者の頭部に配置しやすいように装着型の電極帽子で構成されていてもよい。
図1を参照する。コントローラ11は、リアルタイムで測定された現在の運転者の脳波のパターンを、予め測定された脳波パターンに照合することにより、現在の運転者の違和感の有無(運転者が違和感を覚えているか否か)を判定する。
コントローラ11の機能構成例を図3に示す。コントローラ11は、違和感判別部70と、適正度合い算出部71と、判別基準更新部72の機能を実現する。例えばコントローラ11は、記憶装置14に格納されたコンピュータプログラムをプロセッサ13で実行することにより違和感判別部70と、適正度合い算出部71と、判別基準更新部72の機能を実現してよい。
また、予め測定された脳波パターンは、データベース化されて記憶装置14に脳活動データベース15として格納されている。なお、図1及び図3において脳活動データベースを「脳活動DB」と表記する。
脳活動データベース15には、例えば、運転者が違和感を覚えないイベントを発生させたときの運転者の脳波の電位と、違和感を覚えるようなイベントを発生させたときの脳波の電位の各々の特徴ベクトルPを、特徴空間にプロットした特徴空間マップを記憶してよい。特徴ベクトルPは、特許請求の範囲に記載の「脳活動データ」の一例である。特徴空間マップは、特許請求の範囲に記載の「判別基準」の一例である。
特徴ベクトルPは、例えば図4に示すように所定時間T(例えば500ミリ秒)の脳波信号からN個の特徴量p1,p2,…,pNを抽出し、これらを特徴ベクトルP=(p1,p2,…,pN)に変換することにより生成してよい。特徴量は、例えば一定の等間隔でサンプリングした値等を使用可能である。
図5に、特徴空間マップ80の一例を示す。ハッチングされた丸形のプロット点P1は、運転者が違和感を覚えているときの特徴ベクトルを示し、ハッチングされていない丸形のプロット点P2は、運転者が違和感を覚えていないときの特徴ベクトルを示す。
運転者が違和感を覚えているときの特徴ベクトルP1は、特徴空間内の一定の領域に集中する傾向がある。また、運転者が違和感を覚えていないときの特徴ベクトルP2も同様に一定の領域に集中する傾向がある。
図5の例では、運転者が違和感を覚えているときの特徴ベクトルP1は、比較的左上の領域D1に集中しており、運転者が違和感を覚えていないときの特徴ベクトルP2は、比較的右下の領域D2に集中している。
このような運転者が違和感を覚えているときの特徴ベクトルP1及び運転者が違和感を覚えていないときの特徴ベクトルP2を特徴空間上にプロットして特徴空間マップ80を作成することにより、特徴ベクトルP1が取り得る範囲と、特徴ベクトルP2が取り得る範囲を区分する判別平面81を設定することができる。
図5の例では、運転者の現在の脳波の特徴ベクトルPcが判別平面81よりも上に位置すれば、違和感判別部70は、運転者が違和感を覚えていると判別する。
運転者の現在の脳波の特徴ベクトルPcが判別平面81よりも下に位置すれば、違和感判別部70は、運転者が違和感を覚えていないと判別する。
判別平面81は、例えば線形判別法を用いて設定することができる。判別平面81は、特許請求の範囲に記載の「判別基準において脳活動データと比較される基準値」の一例である。
図3を参照する。違和感判別部70は、運転者が違和感を覚えているか否かの判別結果を、適正度合い算出部71と、車両走行コントローラ60へ出力する。
車両走行コントローラ60は、違和感判別部70から判別結果を受信する。車両走行コントローラ60は、運転者が違和感を覚えていると違和感判別部70が判定した場合に、車両走行コントローラ60が実行する車両の運転動作の開始タイミングおよび運転動作の制御量の少なくとも一方を補正する。
例えば、運転動作の開始前に運転者が違和感を覚えたと判定された場合、車両走行コントローラ60は、運転動作の開始タイミングを現在の設定値よりも早める。
また、運転動作の開始直後に運転者が違和感を覚えたと判定された場合、車両走行コントローラ60は、運転動作の開始タイミングを現在の設定値よりも遅らせる。
また、運転動作中に運転者が違和感を覚えたと判定された場合、車両走行コントローラ60は、運転動作の制御量を段階的に変化させる。ここで、運転動作の開始直後とは、運転動作の開始タイミングから所定時間Δtが経過するまでの期間をいい、運転動作中とは、所定時間Δtが経過してから運転動作を終了するまでの期間をいう。
運転者が違和感を覚えているか否かを違和感判別部70が判別すると、適正度合い算出部71は、特徴空間マップ80の適正度合い(すなわち判別基準の適正度合い)apを算出する。以下、特徴空間マップ80の適正度合いapを単に「適正度合いap」と表記することがある。
適正度合いapは、脳活動データベース15に現在記憶している特徴空間マップ80(すなわち判別基準)が、運転者の現在の脳活動データから運転者の違和感を判別するのにどのくらい適しているかを示す指標である。いいかえれば適正度合いapは、現在記憶している特徴空間マップ80に現在の脳活動データを照合して運転者の違和感を判別するのがどれくらい適正であるかを示す。
図5を参照する。現在の脳波の特徴ベクトルPcが判別平面81から離れているほど、運転者が違和感を覚えているか否かの判別結果の尤度が高く、現在記憶している特徴空間マップ80は、運転者の現在の脳活動データから違和感を判別するのに適しているといえる。
反対に、特徴ベクトルPcが判別平面81に近いほど、運転者が違和感を覚えているか否かの判別結果の尤度が低く、特徴空間マップ80は、運転者の現在の脳活動データから違和感を判別するのに適していないといえる。
例えば、現在の脳波の特徴ベクトルPcが判別平面81付近の中間領域Gにあるとき、特徴空間マップ80は、運転者の現在の脳活動データから違和感を判別するのに適していないといえる。
そこで、適正度合い算出部71は、現在の脳波の特徴ベクトルPcが判別平面81からどれだけ離れているかの乖離度d(すなわち、判別平面81から特徴ベクトルPcまでの距離d)を、適正度合いapとして算出する。この例では、乖離度dが大きいほど適正度合いapが高くなる(より適正であると評価される)。
図6を参照して、適正度合いapの他の算出例を説明する。この例では、違和感判別部70は、運転者が違和感を覚えているときの特徴ベクトルP1が集中する領域D1内に現在の脳波の特徴ベクトルPcがあるとき、運転者が違和感を覚えていると判別する。
例えば領域D1は、運転者が違和感を覚えているときの特徴ベクトルP1の集合{P1}の重心点C1を中心とする重心点C1から所定の距離の範囲でもよく、重心点C1を中心とし集合{P1}を内包する円であってもよい。重心点C1は、特許請求の範囲に記載の「判別基準において脳活動データと比較される基準値」の一例である。
この場合、適正度合い算出部71は、重心点C1からの特徴ベクトルPcの乖離度d1の逆数(1/d1)、及び運転者が違和感を覚えていないときの特徴ベクトルP2の集合の重心点C2からの乖離度d2の逆数(1/d2)うちいずれか大きい方を、適正度合いapとして算出する。この例では、乖離度d1又はd2が小さいほど適正度合いapが高くなる。
さらに他の適正度合いapの算出例として、予め測定又は計算しておいた違和感を示す脳活動データと、運転者の現在の脳活動データとの相関係数を適正度合いapとしてもよい。この場合、相関係数が高いほど適正度合いapが高くなる。
図3を参照する。適正度合い算出部71は、算出した適正度合いapを判別基準更新部72へ出力する。
判別基準更新部72は、適正度合いapと第1所定値αとを比較する。
適正度合いapが第1所定値α以上である場合、判別基準更新部72は、脳活動データベース15に現在記憶している特徴空間マップ80が、運転者の現在の脳活動データから運転者の違和感を判別するのに十分適していると判定する。この場合、判別基準更新部72は、脳活動データベース15に現在記憶している特徴空間マップ80を変更しない。
適正度合いapが第1所定値α未満である場合、判別基準更新部72は、第1所定値αよりも小さな第2所定値βと適正度合いapとを比較する。
適正度合いapが第2所定値β未満である場合、判別基準更新部72は、現在の特徴空間マップ80の適正度合いが低すぎ違和感判別部70の判別結果が信用できないと判断して、脳活動データベース15に記憶される特徴空間マップ80をリセットする。
例えば、判別基準更新部72は、脳活動データベース15に記憶される特徴空間マップ80を初期値に戻すことにより特徴空間マップ80をリセットする。
例えば、標準的な被験者が違和感を覚えるようなイベントを発生させたときの特徴ベクトルと、標準的な被験者が違和感を覚えないイベントを発生させたときの特徴ベクトルを特徴空間にプロットした特徴空間マップを予め記憶装置14に記憶させておき、特徴空間マップ80の初期値として使用してよい。
また例えば、運転支援装置1の使用開始時に、運転支援装置1を使用する運転者が違和感を覚えるようなイベントを発生させたときの脳波とこの運転者が違和感を覚えないイベントを発生させたときの脳波を測定して特徴空間マップを作成し、記憶装置14に記憶させておいてもよい。そして、記憶装置14に記憶させた特徴空間マップを特徴空間マップ80の初期値として使用してもよい。
適正度合いapが第1所定値α未満かつ第2所定値β以上である場合、判別基準更新部72は、運転者に違和感を発生させる。
例えば判別基準更新部72は、所定強度以上の車両挙動を発生させることにより運転者に違和感を発生させる。
運転者に違和感を発生させる場合、判別基準更新部72は、車両挙動発生指令を車両走行コントローラ60へ出力する。車両挙動発生指令は、運転者が違和感を覚えるような所定強度以上の車両挙動を発生を車両走行コントローラ60に要求する指令である。
両挙動発生指令を受信した車両走行コントローラ60は、車両制御アクチュエータ群61を駆動して、所定強度以上の車両挙動を発生させる。
例えば車両走行コントローラ60は、アクセル開度アクチュエータを駆動することにより車両挙動として加加速度(ジャーク)を車両に与えることにより運転者に違和感を発生させてよい。加加速度は、運転者に強い違和感を発生させることができる。
図7Aを参照する。車両の加速時に、車両走行コントローラ60は図7Aに示すような加加速度プロファイルを作成する。車両走行コントローラ60は、時刻t0から時刻t4までの期間Tに目標加速度GMAXに到達するように加加速度プロファイルを作成する。
運転者に違和感を発生させない場合、例えば、最大加加速度は第1閾値Jth1以下に制限される。第1閾値Jth1は、乗員に車両挙動を意識させない値に設定してよい。
運転者に違和感を発生させる場合、車両走行コントローラ60は、図7Bに示す加加速度プロファイルを作成し、このプロファイルにしたがって加加速度を発生させる。
図7Bに示す加加速度プロファイルにしたがって車両を加速させることにより、車両走行コントローラ60は、最大加加速度Jth2の加加速度を発生させる。最大加加速度Jth2は、運転者に違和感を与え得る値に設定してよい。
なお、車両走行コントローラ60は、最大加加速度を変更しても車両の挙動変化を最小限に抑えるため、目標加速度GMAXに到達するまでの時間Tと目標加速度GMAXとを変化させないように、運転者に違和感を発生させる加加速度プロファイルを作成する。
すなわち車両走行コントローラ60は、目標加速度に到達する時刻t4までの加加速度プロファイルの積分値(面積)GMAXが、図7Aに示した違和感を発生させない加加速度プロファイルの積分値(面積)GMAXと同じになるように、図7Bに示す加加速度プロファイルを調整する。
図3を参照する。判別基準更新部72は、違和感を発生させた時に運転者の脳活動を測定して得られた脳活動データを用いて、判別基準である特徴空間マップ80を変更する。
例えば判別基準更新部72は、違和感を発生させた時の運転者の脳波を測定し、この測定により得られた脳波の情報から違和感を発生させた時の特徴ベクトルP1を新たに生成する。
同様に判別基準更新部72は、違和感を発生させていない時の運転者の脳波を測定し、この測定により得られた脳波の情報から違和感を発生させていない時の特徴ベクトルP2を新たに生成する。
判別基準更新部72は、これら新たに生成された特徴ベクトルP1及び特徴ベクトルP2を特徴空間マップ80にプロットすることにより特徴空間マップ80を変更する。
判別基準更新部72は、新たに生成された特徴ベクトルを既存の特徴空間マップ80に追加して特徴空間マップ80を更新することにより特徴空間マップ80を変更してよい。
あるいは、判別基準更新部72は、既存の特徴空間マップ80にすでにプロットされている特徴ベクトルの一部を新たに生成された特徴ベクトルで置換して特徴空間マップ80を更新することにより、特徴空間マップ80を変更してよい。
すなわち、判別基準更新部72は、適正度合いapと第1所定値αとを比較する前(例えば違和感を発生させる前)の脳活動データと違和感を発生させた時の脳活動データとを用いて特徴空間マップ80を更新してよい。
なお、判別基準更新部72は、適正度合いapが第2所定値β未満である場合、上述のように特徴空間マップ80を初期値に戻すことによりリセットするのに代えて、特徴空間マップ80を一旦消去することによりリセットしてよい。
特徴空間マップ80を消去した後、判別基準更新部72は、車両挙動発生指令を車両走行コントローラ60へ出力して運転者に違和感を発生させる。
判別基準更新部72は、適正度合いapと第2所定値βとを比較した後に違和感を発生させた時の脳活動データと、違和感を発生させない時の脳活動データを用いて新たな特徴空間マップ80を作成する。
この結果、脳活動データベース15に記憶される特徴空間マップ80は、適正度合いapと第2所定値βとを比較した後に作成された新しい特徴空間マップ80に置き換えられる。
(動作)
次に、第1実施形態に係る違和感判別方法の一例について説明する。
ステップS1において図1の脳活動センサ12は、運転者の脳活動を測定する。脳活動センサ12は、運転者の脳活動を測定して得られた脳波の情報をコントローラ11へ出力する。
ステップS2において図3の違和感判別部70は、脳活動センサ12から得られた脳波の情報に基づき、運転者の現在の脳波の特徴ベクトルPcを脳活動データとして生成する。違和感判別部70は、判別基準である特徴ベクトルPcを特徴空間マップ80に照合することにより、運転者が違和感を覚えているか否かを判別する。
例えば違和感判別部70は、特徴空間マップ80の判別平面81の位置と、特徴ベクトルPcとの位置を比較することにより運転者が違和感を覚えているか否かを判別する。
ステップS3において適正度合い算出部71は、脳活動データベース15に現在記憶している特徴空間マップ80が、運転者の現在の脳活動データから運転者の違和感を判別するのにどのくらい適しているかを判断するために、特徴空間マップ80の適正度合いapを算出する。
ステップS4において判別基準更新部72は、適正度合いapが第1所定値α以上か否かを判定する。適正度合いapが第1所定値α以上である場合(ステップS4:Y)、判別基準更新部72は、特徴空間マップ80が十分適していると判定し、特徴空間マップ80を変更するステップS5〜S8をスキップして、処理はステップS9へ進む。
適正度合いapが第1所定値α未満である場合(ステップS4:N)、判別基準更新部72は、特徴空間マップ80が適していないと判定し、特徴空間マップ80を変更するために処理はステップS5へ進む。
ステップS5において判別基準更新部72は、適正度合いapが第2所定値β未満か否かを判定する。適正度合いapが第2所定値β未満の場合(ステップS5:Y)、特徴空間マップ80の適正度合いが低すぎ違和感判別部70の判別結果が信用できないと判断し、処理はステップS6へ進む。
ステップS6において判別基準更新部72は、脳活動データベース15に記憶される特徴空間マップ80をリセットする。その後に処理はステップS9へ進む。
適正度合いapが第2所定値β未満でない場合(ステップS5:N)、特徴空間マップ80を更新するために処理はステップS7へ進む。
ステップS7において判別基準更新部72は、運転者が違和感を覚えている時の脳活動データを取得するために、運転者に違和感を発生させる。
ステップS8において判別基準更新部72は、違和感を発生させた時に運転者の脳活動を測定して得られた脳活動データを用いて、判別基準である特徴空間マップ80を変更する。
例えば判別基準更新部72は、ステップS5の判定後(すなわちステップS4の判定後)に違和感を発生させた時に運転者の脳活動を測定して得られた脳波の情報と、違和感を発生させない時に運転者の脳活動を測定して得られた脳波の情報を用いて、新たな特徴ベクトルを生成する。判別基準更新部72は、新たな特徴ベクトルを特徴空間マップ80にプロットすることにより特徴空間マップ80を更新する。その後に処理はステップS9へ進む。
ステップS9においてコントローラ11は、車両のイグニッションスイッチ(IGN)がオフになったか否かを判定する。イグニッションスイッチがオフになった場合(ステップS9:Y)に処理は終了する。イグニッションスイッチがオフでない場合(ステップS9:N)に処理はステップS1へ戻る。
(第1実施形態の効果)
(1)違和感判別部70は、脳活動センサ12で運転者の脳活動を測定して得られた脳活動データを判別基準に照合することにより運転者が違和感を覚えているか否かを判別する。適正度合い算出部71は、判別基準の適正度合いapを算出する。適正度合いapが所定条件を満たす場合に、判別基準更新部72は、運転者に違和感を発生させ、違和感を発生させた時に運転者の脳活動を測定して得られた脳活動データを用いて判別基準を変更する。
これにより、最新の状態で運転者が違和感を覚えている時の脳活動データを用いて判別基準を更新することができる。このため、最新の状態の運転者の脳活動データから運転者の違和感を判別するのに適合するように判別基準を更新できる。この結果、運転者の現在の状態に合わせて違和感を覚えているか否かを判別することができる。
(2)判別基準更新部72は、所定条件として適正度合いapが第1所定値α未満且つ第1所定値αより小さな第2所定値β以上であるか否かを判定する。判別基準更新部72は、適正度合いapが第1所定値α未満且つ第2所定値β以上の場合に違和感を発生させて、違和感を発生させた時の脳活動データを用いて判別基準を更新する。判別基準更新部72は、適正度合いapが第2所定値β未満の場合に判別基準を初期値にリセットする。
このように、適正度合いapの低下の程度に応じて判別基準の変更方法を変えることにより、適正度合いapをより早く回復することが可能となる。
すなわち、適正度合いapが第2所定値β以上であり、ある程度信用できる場合には、新たに違和感を発生させて得られた脳活動データを用いて現在の判別基準を更新するのにとどめる。一方で、適正度合いapが第2所定値β未満であり信用できない場合には、判別基準を初期値にリセットする。
これにより、適正度合いapを回復するのに新たに取得する脳活動データの数を抑えることが可能になり、適正度合いapを早期に回復できる。
(3)判別基準更新部72は、所定条件として適正度合いapが第1所定値α未満であるか否かを判定する。判別基準更新部72は、適正度合いapが第1所定値α未満の場合に違和感を発生させる。判別基準更新部72は、適正度合いapが第1所定値α未満且つ第1所定値αより小さな第2所定値β以上の場合に、適正度合いapが第1所定値α未満か否かを判定する前の脳活動データと違和感を発生させた時の脳活動データとを用いて判別基準を更新する。判別基準更新部72は、適正度合いapが第2所定値β未満の場合に、違和感を発生させた時の脳活動データを用いた基準で判別基準を置き換える。
このように、適正度合いapの低下の程度に応じて判別基準の変更方法を変えることにより、適正度合いapをより早く回復することが可能となる。
すなわち、適正度合いapが第2所定値β以上であり、ある程度信用できる場合には、既存の脳活動データを生かしつつ新たに違和感を発生させて得た脳活動データを用いて現在の判別基準を更新する。一方で、適正度合いapが第2所定値β未満であり信用できない場合には、新たに違和感を発生させて得た脳活動データと用いた基準で判別基準を置き換える。
これにより、適正度合いapを回復するのに新たに取得する脳活動データの数を抑えることが可能になり、適正度合いapを早期に回復できる。
(4)適正度合い算出部71は、運転者の脳活動を測定して得られた脳活動データが、判別基準において脳活動データと比較される基準値からどれだけ離れているかに応じて、適正度合いを算出する。
これにより、現在の運転者の脳活動データに基づく違和感の判別結果の尤度を判断することができる。このため、現在の判別基準が、運転者の現在の脳活動データから運転者の違和感を判別するのにどのくらい適しているかを示す指標を得ることができる。
(5)判別基準更新部72は、車両に加加速度を与えることにより、運転者に違和感を覚えさせる。加加速度は、運転者に強い違和感を覚えさせることができるので、運転者が違和感を覚えたときの脳活動データを確実に得ることができる。
(変形例)
(1)車両走行コントローラ60は、判別基準更新部72から車両挙動発生指令を受信した場合に、車両の操舵角、転舵角、ヨーレートを変更することにより運転者に違和感を覚えさせてもよい。
例えば、車両がステアバイワイヤ式の転舵機構を備える場合、車両走行コントローラ60は、ステアリングアクチュエータ62を駆動して車両の操舵応答を変更することにより、運転者に違和感を覚えさせてもよい。
車両が電動パワーステアリング機構を備える場合、車両走行コントローラ60は、ステアリングアクチュエータ62によるアシストトルクを変更することにより操舵応答を変更し、運転者に違和感を覚えさせてもよい。
このように、操舵応答を変更して運転者に違和感を覚えさせることにより、車両の加速時以外のタイミングで、違和感発生時の脳活動データを得ることができる。
(2)判別基準更新部72は、車載装置50の動作を変更することにより運転者に違和感を覚えさせてもよい。
例えば、車載装置50により運転者に提示する視覚情報又は聴覚情報の提示様式(モダニティ)を変更することにより、運転者に違和感を覚えさせてもよい。
例えば、視覚情報で与えていた情報を聴覚情報として提示し、又は聴覚情報で与えていた情報を視覚情報として提示することにより提示様式を変更してよい。
また例えば、聴覚情報の音量及び周波数のすくなくとも一つを変更することにより提示様式を変更してよい。
このように、車載装置50の動作を変更して運転者に違和感を覚えさせることにより、車両挙動を発生させることなく運転者に違和感を覚えさせることができる。このため、例えば停車中に違和感発生時の脳活動データを得ることができる。
(3)判別基準更新部72は、触覚インタフェース装置51を駆動して運転者に触覚情報を与えることにより運転者に違和感を覚えさせてもよい。
このように、触覚情報を与えて運転者に違和感を覚えさせることにより、車両挙動を発生させることなく運転者に違和感を覚えさせることができる。このため、例えば停車中に違和感発生時の脳活動データを得ることができる。
(4)脳活動センサ12は、運転者の脳波、脳血流、心拍数、呼吸数、発汗量、運転者の顔画像の少なくとも一つから脳活動を測定してもよい。これらを測定しても、運転者の違和感の有無を判別できる脳活動データを得ることができる。
(第2実施形態)
続いて、第2実施形態の違和感判別装置10を説明する。第2実施形態の違和感判別装置10は、適正度合いapが第1所定値α未満であるか否かに関わらず違和感を発生させて、違和感を発生させた時の脳活動データを用いて判別基準を変更する。
例えば、定期的に違和感を発生させて、違和感を発生させた時の脳活動データを用いて判別基準を変更する。これにより現在の運転者の状態に判別基準を常に適合させることが可能となる。
第2実施形態の違和感判別装置10の構成及びコントローラ11の機能構成は、それぞれ図1に示す構成及び図3に示す機能構成と同様である。
判別基準更新部72は、定期的に違和感を発生させて、違和感を発生させた時の脳活動データを用いて判別基準である特徴空間マップ80を変更する。
判別基準更新部72は、違和感を発生させた時に生成された特徴ベクトルP1を特徴空間マップ80にプロットすることにより特徴空間マップ80を変更する。
また、違和感を発生させていない時の特徴ベクトルP2を定期的に生成し、特徴空間マップ80にプロットすることにより特徴空間マップ80を変更する。
また、判別基準更新部72は、運転者が違和感を覚えていると違和感判別部70が判別しない期間が所定期間以上連続した場合に違和感を発生させて、違和感を発生させた時の脳活動データを用いて判別基準を変更してもよい。
これにより、適正度合いapの低下のために運転者が違和感を覚えていると判別できなくなっている状態を解消することができる。
(第2実施形態の効果)
(1)判別基準更新部72は、違和感を定期的に発生させて、違和感を発生させた時の脳活動データを用いて判別基準を変更する。
これにより、現在の運転者の状態に判別基準を常に適合させることが可能となる。
(2)判別基準更新部72は、運転者が違和感を覚えていると判別されない期間が所定期間以上連続した場合に違和感を発生させて、違和感を発生させた時の脳活動データを用いて判別基準を変更する。
これにより、適正度合いapの低下のために運転者が違和感を覚えていると判別できなくなっている状態を解消することができる。
本発明は、ここで記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
1…運転支援装置、10…違和感判別装置、11…コントローラ、12…脳活動センサ、13…プロセッサ、14…記憶装置、15…脳活動データベース、20…周囲環境センサ群、21…カメラ、22…レーダ、23…地図データベース、30…車両挙動センサ群、31…車速センサ、32…加速度センサ、33…ヨーレートセンサ、34…操舵角センサ、35…転舵角センサ、50…車載装置、51…触覚インタフェース装置、60…車両走行コントローラ、61…車両制御アクチュエータ群、62…ステアリングアクチュエータ、63…アクセル開度アクチュエータ、64…ブレーキ制御アクチュエータ、70…違和感判別部、71…適正度合い算出部、72…判別基準更新部

Claims (14)

  1. 運転者の脳活動を測定して得られた脳活動データを判別基準に照合することにより前記運転者が違和感を覚えているか否かを判別する違和感判別方法であって、
    前記判別基準の適正度合いを算出し、
    前記適正度合いが所定条件を満たす場合に前記運転者に違和感を発生させ、
    前記違和感を発生させた時に前記運転者の脳活動を測定して得られた脳活動データを用いて前記判別基準を変更する、
    ことを特徴とする違和感判別方法。
  2. 前記所定条件として前記適正度合いが第1所定値未満且つ前記第1所定値より小さな第2所定値以上であるか否かを判定し、
    前記適正度合いが前記第1所定値未満且つ前記第2所定値以上の場合に前記違和感を発生させて、前記違和感を発生させた時の脳活動データを用いて前記判別基準を更新し、
    前記適正度合いが前記第2所定値未満の場合に、前記判別基準を初期値にリセットすることを特徴とする請求項1に記載の違和感判別方法。
  3. 前記所定条件として前記適正度合いが第1所定値未満であるか否かを判定し、
    前記適正度合いが前記第1所定値未満の場合に前記違和感を発生させ、
    前記適正度合いが前記第1所定値未満且つ前記第1所定値より小さな第2所定値以上の場合に、前記適正度合いが第1所定値未満か否かを判定する前の脳活動データと前記違和感を発生させた時の脳活動データとを用いて前記判別基準を更新し、
    前記適正度合いが前記第2所定値未満の場合に、前記違和感を発生させた時の脳活動データを用いた基準で前記判別基準を置き換えることを特徴とする請求項1に記載の違和感判別方法。
  4. 前記運転者の脳活動を測定して得られた脳活動データが、前記判別基準において脳活動データと比較される基準値からどれだけ離れているかに応じて、前記適正度合いを算出することを特徴とする請求項1〜3のいずれか一項に記載の違和感判別方法。
  5. 前記違和感を定期的に発生させて、前記違和感を発生させた時の脳活動データを用いて前記判別基準を変更することを特徴とする請求項1〜4のいずれか一項に記載の違和感判別方法。
  6. 前記運転者が違和感を覚えていると判別されない期間が所定期間以上連続した場合に前記違和感を発生させて、前記違和感を発生させた時の脳活動データを用いて前記判別基準を変更することを特徴とする請求項1〜4のいずれか一項に記載の違和感判別方法。
  7. 車両に加加速度を与えることにより、前記運転者に前記違和感を覚えさせることを特徴とする請求項1〜6のいずれか一項に記載の違和感判別方法。
  8. 車両の操舵応答を変更することにより、前記運転者に前記違和感を覚えさせることを特徴とする請求項1〜6のいずれか一項に記載の違和感判別方法。
  9. 車両の車載装置の動作を変更することにより前記運転者に前記違和感を覚えさせることを特徴とする請求項1〜6のいずれか一項に記載の違和感判別方法。
  10. 前記車載装置により前記運転者に提示する視覚情報又は聴覚情報の提示様式を変更することにより、前記運転者に前記違和感を覚えさせることを特徴とする請求項9に記載の違和感判別方法。
  11. 前記車載装置により前記運転者に提示する聴覚情報の音量及び周波数のすくなくとも一つを変更することにより前記運転者に前記違和感を覚えさせることを特徴とする請求項9に記載の違和感判別方法。
  12. 前記運転者に触覚情報を与えることにより前記運転者に前記違和感を覚えさせることを特徴とする請求項1〜6のいずれか一項に記載の違和感判別方法。
  13. 前記運転者の脳波、脳血流、心拍数、呼吸数、発汗量、運転者の顔画像の少なくとも一つから脳活動を測定することを特徴とする請求項1〜12のいずれか一項に記載の違和感判別方法。
  14. 運転者の脳活動を測定するセンサと、
    前記センサにより得られた脳活動データを判別基準に照合することにより前記運転者が違和感を覚えているか否かを判別する処理と、前記判別基準の適正度合いを算出する処理と、前記適正度合いが所定条件を満たす場合に前記運転者に違和感を発生させる処理と、前記違和感を発生させた時に前記センサにより得られた脳活動データを用いて前記判別基準を変更する処理と、を実行するコントローラと、
    を備える違和感判別装置。
JP2016226788A 2016-11-22 2016-11-22 違和感判別方法及び違和感判別装置 Active JP6988075B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016226788A JP6988075B2 (ja) 2016-11-22 2016-11-22 違和感判別方法及び違和感判別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016226788A JP6988075B2 (ja) 2016-11-22 2016-11-22 違和感判別方法及び違和感判別装置

Publications (2)

Publication Number Publication Date
JP2018082805A true JP2018082805A (ja) 2018-05-31
JP6988075B2 JP6988075B2 (ja) 2022-01-05

Family

ID=62236759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016226788A Active JP6988075B2 (ja) 2016-11-22 2016-11-22 違和感判別方法及び違和感判別装置

Country Status (1)

Country Link
JP (1) JP6988075B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020062963A (ja) * 2018-10-17 2020-04-23 日産自動車株式会社 駐車支援方法及び駐車支援装置
JP2020062990A (ja) * 2018-10-18 2020-04-23 日産自動車株式会社 駐車支援方法及び駐車支援装置
JP2020062962A (ja) * 2018-10-17 2020-04-23 日産自動車株式会社 駐車支援方法及び駐車支援装置
JP2020093621A (ja) * 2018-12-11 2020-06-18 日産自動車株式会社 自動駐車制御方法及び自動駐車制御装置
US11435737B2 (en) 2019-05-21 2022-09-06 Honda Motor Co., Ltd. System and method for various vehicle-related applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009018047A (ja) * 2007-07-12 2009-01-29 Toyota Motor Corp 心理状態推定装置
JP2012091739A (ja) * 2010-10-28 2012-05-17 Honda Motor Co Ltd 制動装置
JP2015128989A (ja) * 2015-01-08 2015-07-16 マツダ株式会社 ドライバ感情に基づく運転支援装置
US20160264131A1 (en) * 2015-03-11 2016-09-15 Elwha Llc Occupant based vehicle control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009018047A (ja) * 2007-07-12 2009-01-29 Toyota Motor Corp 心理状態推定装置
JP2012091739A (ja) * 2010-10-28 2012-05-17 Honda Motor Co Ltd 制動装置
JP2015128989A (ja) * 2015-01-08 2015-07-16 マツダ株式会社 ドライバ感情に基づく運転支援装置
US20160264131A1 (en) * 2015-03-11 2016-09-15 Elwha Llc Occupant based vehicle control

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020062963A (ja) * 2018-10-17 2020-04-23 日産自動車株式会社 駐車支援方法及び駐車支援装置
JP2020062962A (ja) * 2018-10-17 2020-04-23 日産自動車株式会社 駐車支援方法及び駐車支援装置
JP7206785B2 (ja) 2018-10-17 2023-01-18 日産自動車株式会社 駐車支援方法及び駐車支援装置
JP7206786B2 (ja) 2018-10-17 2023-01-18 日産自動車株式会社 駐車支援方法及び駐車支援装置
JP2020062990A (ja) * 2018-10-18 2020-04-23 日産自動車株式会社 駐車支援方法及び駐車支援装置
JP7268321B2 (ja) 2018-10-18 2023-05-08 日産自動車株式会社 駐車支援方法及び駐車支援装置
JP2020093621A (ja) * 2018-12-11 2020-06-18 日産自動車株式会社 自動駐車制御方法及び自動駐車制御装置
JP7155978B2 (ja) 2018-12-11 2022-10-19 日産自動車株式会社 自動駐車制御方法及び自動駐車制御装置
US11435737B2 (en) 2019-05-21 2022-09-06 Honda Motor Co., Ltd. System and method for various vehicle-related applications

Also Published As

Publication number Publication date
JP6988075B2 (ja) 2022-01-05

Similar Documents

Publication Publication Date Title
US11794788B2 (en) Automatic driving system
JP6988075B2 (ja) 違和感判別方法及び違和感判別装置
JP6342856B2 (ja) 車両制御装置
JP6237685B2 (ja) 車両制御装置
JP6565408B2 (ja) 車両制御装置及び車両制御方法
JP2018127112A (ja) 覚醒度推定装置及び覚醒度推定方法
JP5668862B2 (ja) 運転支援装置及び運転支援方法
JP6509940B2 (ja) 運転支援装置および運転支援方法
JP6720785B2 (ja) 運転支援方法及び運転支援装置
JP6933275B2 (ja) 運転支援方法及び運転支援装置
JP7429498B2 (ja) 運転支援方法及び運転支援装置
JP6790813B2 (ja) 操舵支援方法及び操舵支援装置
JP6922494B2 (ja) 運転支援方法及び運転支援装置
JP7081131B2 (ja) 加減速制御方法及び加減速制御装置
JP6880673B2 (ja) 走行制御方法及び走行制御装置
JP7043726B2 (ja) 適正状態判定方法及び適正状態判定装置
JP6977543B2 (ja) 運転支援方法及び運転支援装置
JP2020062990A (ja) 駐車支援方法及び駐車支援装置
JP7188072B2 (ja) 車両制御方法及び車両制御装置
JP7188073B2 (ja) 車両制御方法及び車両制御装置
JP2013156688A (ja) 運転支援装置及び運転支援方法
JP7155978B2 (ja) 自動駐車制御方法及び自動駐車制御装置
JP7468329B2 (ja) 運転支援装置、運転支援方法、運転支援プログラム
JP7091915B2 (ja) 車線維持制御方法及び車線維持制御装置
JP2020062963A (ja) 駐車支援方法及び駐車支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R151 Written notification of patent or utility model registration

Ref document number: 6988075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151