JP2019103581A - 脳波測定方法及び脳波測定装置 - Google Patents
脳波測定方法及び脳波測定装置 Download PDFInfo
- Publication number
- JP2019103581A JP2019103581A JP2017237125A JP2017237125A JP2019103581A JP 2019103581 A JP2019103581 A JP 2019103581A JP 2017237125 A JP2017237125 A JP 2017237125A JP 2017237125 A JP2017237125 A JP 2017237125A JP 2019103581 A JP2019103581 A JP 2019103581A
- Authority
- JP
- Japan
- Prior art keywords
- electroencephalogram
- electrode
- target position
- signal
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000005259 measurement Methods 0.000 claims abstract description 55
- 210000004556 brain Anatomy 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 50
- 238000000691 measurement method Methods 0.000 claims description 36
- 238000012880 independent component analysis Methods 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 abstract 4
- 238000006243 chemical reaction Methods 0.000 description 86
- 230000007177 brain activity Effects 0.000 description 40
- 230000009471 action Effects 0.000 description 33
- 238000002360 preparation method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 31
- 230000006399 behavior Effects 0.000 description 22
- 230000000644 propagated effect Effects 0.000 description 21
- 210000003128 head Anatomy 0.000 description 18
- 230000000694 effects Effects 0.000 description 10
- 238000004070 electrodeposition Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000013016 damping Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006698 induction Effects 0.000 description 4
- 230000001902 propagating effect Effects 0.000 description 4
- 210000000624 ear auricle Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 210000003478 temporal lobe Anatomy 0.000 description 2
- 235000007119 Ananas comosus Nutrition 0.000 description 1
- 244000099147 Ananas comosus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000005153 frontal cortex Anatomy 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
Description
しかしながら、毎回理想的な位置に電極を配置できるとは限らないため、不適切な配置により測定精度の低下を招いていた。
本発明は、脳波を測定する際の電極の配置位置のズレによる測定精度の低下を抑制することを目的とする。
本発明の実施形態に係る脳波測定装置の一例として、車両に搭載され、運転者の脳波の運動準備電位を測定して運転者の行動を予測する行動予測装置の場合を例示する。ただし本発明は、このような行動予測装置に限定されず被験者の脳波を測定するための様々な脳波測定方法及び脳波測定装置に広く適用可能である。
脳波測定装置は、図1に示すように、コントローラ1と、コントローラ1に接続された脳波計2、走行状態センサ群3、周囲状況センサ群4、アクチュエータ群5及び出力装置6とを備える。コントローラ1、脳波計2、走行状態センサ群3、周囲状況センサ群4、アクチュエータ群5及び出力装置6は、有線又は無線でデータや信号、情報を互いに送受信可能である。
運動準備電位は、思考や認知の結果として現れる脳の反応を示す事象関連電位(ERP)の一種であり、自発的に手や脚等を動かそうとする時に発生する電位である。
カメラ41は、例えば車室内のフロントウィンドウ上部に設けられたCCDの広角カメラからなる。カメラ41は、ステレオカメラや全方位カメラであってもよく、複数のイメージセンサを含むようにしてもよい。カメラ41は、取得した画像データから、車両の周囲に存在する道路及び道路周辺の構造物、道路標示、標識、他車両、歩行者等を車両の周囲状況として検出し、検出された車両の周囲状況のデータをコントローラ1に出力する。
また、ディスプレイ61及びブザー62は、コントローラ1からの制御指令の信号に基づいて運転支援情報を出力する。
このため、繰り返し脳波を測定する場合(例えば日常的に脳波を測定する場合)のように、脳波測定の知識がある者に配置位置を毎回決定してもらうことが困難な場合、理想的な位置からずれた位置に電極群21が配置されて測定精度が低下するおそれがある。また、脳波測定の知識がある者であっても配置位置がずれるおそれがある。
そして、特徴信号を電極群21で検出し、電極群21に含まれる各電極(以下、単に「各電極」と表記する)まで伝播した特徴信号の伝播程度を測定する。
この状態で特徴信号を被験者に発生させ、目標位置まで伝播する特徴信号の第1伝播程度を測定して記録しておく。以下、電極群21を配置すべき目標位置を単に「目標位置」と表記する。
例えば、特徴信号が混入した脳波を各電極により測定し、測定された脳波に含まれる特徴信号を検出することにより、各電極の目標位置までのそれぞれの伝播程度を測定してよい。
この状態で特徴信号を被験者に発生させて、各電極の現在の配置位置まで伝播する特徴信号の第2伝播程度を測定する。
そして、第1伝播程度と第2伝播程度とを比較することにより現在の配置位置と目標位置とのずれを検出する。したがって、検出したずれが小さくなるように配置位置を調整すれば、理想的な配置位置とのずれを低減もしくは無くすことができる。
図5を参照する。コントローラ1は、伝播程度判定部70と、脳波データベース(DB)71と、位置ずれ検出部72と、変換式決定部73と、近似部74と、予測部75を備える。
例えばコントローラ1は、記憶装置12に格納されたコンピュータプログラムをプロセッサ11で実行することにより伝播程度判定部70と、位置ずれ検出部72と、変換式決定部73と、近似部74と、予測部75の機能を実現してよい。
伝播程度判定部70は、目標位置に配置された電極群21により検出した脳波信号に基づいて判定した伝播程度を、第1伝播程度として脳波データベース71に記録する。
伝播程度判定部70は、図6に示すような振幅値マップを第1伝播程度として脳波データベース71に記録してよい。振幅値マップは、鼻根から各電極Fz、Cz、Pz、Oz、…までのそれぞれの距離と各電極において検出した特徴信号の振幅値に基づいて求められた、鼻根から距離と振幅値との関係を示す。
位置ずれ検出部72は、第1伝播程度を脳波データベース71から読み出す。位置ずれ検出部72は、第1伝播程度と第2伝播程度とを比較し、比較結果に基づいて現在の配置位置と目標位置とのずれを検出する。
例えば、位置ずれ検出部72は、第1伝播程度と第2伝播程度との比較結果に基づいて前後方向の位置ずれを検出してよい。
例えば瞬目信号の場合には、左右対称に配置された2つの電極(例えば電極C3及びC4)までの伝播程度は互いに等しくなる。したがって、これらの電極位置での第2伝播程度の差を横方向の位置ずれとして検出できる。
例えば図7Aに示すように、左右対称に配置された2つの電極について、現在の電極位置でそれぞれ検出した振幅値の比較結果を、横方向の位置ずれとしてディスプレイ61に表示してよい。
また例えば図7Bに示すように、振幅値マップと現在の配置位置で検出した特徴信号の振幅値との比較結果を前後方向の位置ずれとしてディスプレイ61に表示してよい。
各電極の配置位置を調整する際には、第1ステップとして各電極の横方向位置を調整する。
例えば、第1ステップでは、左右対称に配置された2つの電極で検出された振幅値が等しくなるように電極の横方向位置を調整する。このとき、電極の前後方向位置は変更しない。
図7Aの例では、左側部に配置される電極C3での振幅値が右側部に配置される電極C4での振幅値よりも小さいため、電極C3及びC4が目標位置より左側にずれていることが分かる。このため、電極C3及びC4を右側へ移動することにより、これらの振幅値が等しくする。
例えば、第2ステップでは、各電極で測定される振幅値が、振幅値マップとして記憶された目標位置での振幅値と等しくなるように電極の前後方向位置を調整する。
図7Bの例では、電極Fzの現在の配置位置で検出した振幅値は目標位置での振幅値よりも小さく、目標位置よりも後方に距離Lだけずれていると考えられる。したがって、電極Fzの配置位置を前方に距離Lだけ移動することにより、電極Fzでの振幅値を目標位置での振幅位置と等しくする。
このように各電極の横方向位置及び前後方向位置を修正した後に、予測部75は、脳波計2により運転者の脳波信号を採取する。予測部75は、採取した脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。
なお、変換式決定部73と、近似部74の機能については後述する。
ステップS1において運転者の頭部の目標位置に電極群21を装着する。ステップS2において特徴信号を運転者に発生させる。ステップS3において目標位置の置かれた電極群21により脳波を測定する。
ステップS9において伝播程度判定部70は、ステップS8で電極群21により測定した運転者の脳波信号に混入した特徴信号の振幅値を、現在の配置位置まで伝播した特徴信号の第2伝播程度として検出する。
ステップS10及びS11では、ディスプレイ61に表示された現在の配置位置と目標位置とのずれを参照して、電極群21の位置ずれを修正する。第1ステップとしてステップS10において電極群21の横方向位置を調整する。第2ステップとしてステップS11において電極群21の前後方向位置を調整する。
電極群21の配置位置を修正した後に、脳波計2により運転者の脳波信号を採取する。この脳波信号から運動準備電位を算出することにより、予測部75は運転者の行動を予測する。
(1)第1実施形態の脳波測定方法は、被験者に装着した電極群21により被験者の脳波を測定する。このとき、電極群21で得られる脳波信号に混入する特徴信号を被験者に発生させる。そして、電極を配置すべき目標位置まで特徴信号が伝播する第1伝播程度と、電極の現在の配置位置まで特徴信号が伝播する第2伝播程度とを比較する。第1伝播程度と第2伝播程度との比較結果に基づいて、現在の配置位置と目標位置とのずれを検出する。
これにより、特徴信号の振幅値を用いて現在の配置位置と目標位置とのずれを検出することが可能になり、検出したずれに基づいて、毎回理想的な目標位置に電極群21を配置できので、脳波の測定精度を向上できる。
次に、第2実施形態を説明する。第2実施形態に係る脳波測定装置は、目標位置まで特徴信号が伝播する第1伝播程度と、電極の現在の配置位置まで特徴信号が伝播する第2伝播程度とに基づいて、現在の配置位置の電極で検出した脳波信号を補正(近似)することにより目標位置にて検出される脳波信号を推定する。
例えば、第1実施形態と同様に、目標位置まで伝播した特徴信号の振幅A1と現在の配置位置まで伝播した特徴信号の振幅A2を、それぞれ第1伝播程度及び第2伝播程度として検出する。
そして図9Bに示すように、実際に被験者の脳活動の測定を行う際に、現在の配置位置の電極で検出した脳波信号に変換式Wを乗ずることにより、目標位置にて検出される脳波信号を推定する。
近似部74は、実際に被験者の脳活動の測定を行う際に配置された電極で検出した脳波信号を脳波計2から読み込む。近似部74は、読み込んだ脳波信号に変換式Wを乗ずることにより、目標位置にて検出される脳波信号を推定する。近似部74は、推定された脳波信号を予測部75へ出力する。
運転者の行動が予測された場合、予測部75は、車両の走行状況や車両の周囲状況に基づいて運転者の行動意図を推定し、アクチュエータ群5及び出力装置6に対して車両の運転を支援するための制御指令を出力する。
ステップS20〜S23の処理は、図8のステップS1〜S4の処理と同様である。ステップS24において伝播程度判定部70は、目標位置に電極群21が配置されたときに検出した特徴信号の振幅A1を、第1伝播程度として脳波データベース71に記録する。
ステップS30において近似部74は、現在の配置位置の電極で検出した脳波信号を脳波計2から読み込む。近似部74は、読み込んだ脳波信号に変換式Wを乗ずることにより、目標位置にて検出される脳波信号を推定する。予測部75は、推定された脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。
第2実施形態の脳波測定方法は、被験者に装着した電極群21により被験者の脳波を測定する。このとき、電極群21で得られる脳波信号に混入する特徴信号を被験者に発生させる。そして、電極を配置すべき目標位置まで特徴信号が伝播する第1伝播程度と、電極の現在の配置位置まで特徴信号が伝播する第2伝播程度とに基づいて、現在の配置位置の電極で検出した脳波信号から目標位置にて検出される脳波信号を推定する。
次に、第3実施形態を説明する。第3実施形態に係る脳波測定装置は、第1実施形態の振幅値の代わりに、それぞれの電極の位置まで伝播した特徴信号の減衰係数を伝播程度として算出する。
ここで「減衰係数」は、特徴信号の入力値に対する電極位置での検出値の比として算出する。特徴信号の入力値は、例えば脳波に混入する眼電位の大きさは毎回等しいと仮定して、理想的な目標位置に配置した電極群で検出した眼電位から推定してよい。
伝播程度判定部70は、目標位置に電極群21が配置されたときに算出した第1減衰係数R1を脳波データベース71に記録する。
伝播程度判定部70は、図11に示すような減衰係数マップを第1伝播程度として脳波データベース71に記録してよい。減衰係数マップは、鼻根から距離と第1減衰係数R1との関係を示す。
位置ずれ検出部72は、第1減衰係数R1を脳波データベース71から読み出す。位置ずれ検出部72は、第1減衰係数R1と第2減衰係数R2とを比較し、比較結果に基づいて現在の配置位置と目標位置とのずれを検出する。
例えば、位置ずれ検出部72は、第1減衰係数R1と第2減衰係数R2との比較結果に基づいて前後方向の位置ずれを検出してよい。
例えば瞬目信号の場合には、左右対称に配置された2つの電極(例えば電極C3及びC4)までの減衰係数は互いに等しくなる。したがって、これらの電極位置での第2減衰係数R2の差を横方向の位置ずれとして検出できる。
位置ずれ検出部72は、検出した現在の配置位置と目標位置とのずれを、例えば出力装置6のディスプレイ61へ出力する。
また図7Bに示すように、減衰係数マップと現在の配置位置について算出した第2減衰係数との比較結果を前後方向の位置ずれとしてディスプレイ61に表示してよい。
ディスプレイ61に表示された比較結果を参照することにより、現在の配置位置と目標位置とのずれを低減もしくは無くすように配置位置を調整することができる。配置位置の調整方法は、第1実施形態と同様である。
運転者の行動が予測された場合、予測部75は運転者の行動意図を推定し、アクチュエータ群5及び出力装置6に対して車両の運転を支援するための制御指令を出力する。
ステップS40〜S42の処理は、図8のステップS1〜S3の処理と同様である。ステップS43において伝播程度判定部70は、目標位置に電極群21が配置されたときに検出した特徴信号の第1減衰係数R1を算出する。ステップS44において伝播程度判定部70は、鼻根から距離と第1減衰係数R1との関係を表す減衰係数マップを作成し、第1伝播程度として脳波データベース71に記録する。
位置ずれ検出部72は、減衰係数マップを脳波データベース71から読み出す。位置ずれ検出部72は、減衰係数マップと第2減衰係数R2とを比較し、比較結果に基づいて現在の配置位置と目標位置との前後方向の位置ずれを検出する。また位置ずれ検出部72は、左右対称に配置された2つの電極の第2減衰係数R2を比較し、比較結果に基づいて横方向の位置ずれを検出する。
ステップS49及びS50では、ディスプレイ61に表示された現在の配置位置と目標位置とのずれを参照して、電極群21の位置ずれを修正する。第1ステップとしてステップS49において電極群21の横方向位置を調整する。第2ステップとしてステップS50において電極群21の前後方向位置を調整する。
電極群21の配置位置を修正した後に、脳波計2により運転者の脳波信号を採取する。この脳波信号から運動準備電位を算出することにより、予測部75は運転者の行動を予測する。
第3実施形態の脳波測定方法は、第1伝播程度及び第2伝播程度としてそれぞれ算出された特徴信号の第1減衰係数R1及び第2減衰係数R2の比較結果に基づいて、現在の配置位置と目標位置とのずれを検出する。
これにより、特徴信号の減衰係数を用いて現在の配置位置と目標位置とのずれを検出することが可能になり、検出したずれに基づいて、毎回理想的な目標位置に電極群21を配置できので、脳波の測定精度を向上できる。
次に、第4実施形態を説明する。第4実施形態に係る脳波測定装置は、第2実施形態の振幅値の代わりに、第1減衰係数R1と第2減衰係数R2に基づいて現在の配置位置の電極で検出した脳波信号を補正(近似)することにより目標位置にて検出される脳波信号を推定する。
例えば、図14に示すように現在の配置位置の電極で検出した脳波信号を目標位置にて検出される脳波信号へ変換するための変換式W(=R1/R2)を算出する。そして、実際に被験者の脳活動の測定を行う際に現在の配置位置の電極で検出した脳波信号に変換式Wを乗ずることにより、目標位置にて検出される脳波信号を推定する。
近似部74は、実際に被験者の脳活動の測定を行う際に現在の配置位置の電極で検出した脳波信号を脳波計2から読み込む。近似部74は、読み込んだ脳波信号に変換式Wを乗ずることにより、目標位置にて検出される脳波信号を推定する。近似部74は、推定された脳波信号を予測部75へ出力する。
予測部75は、推定された脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。
運転者の行動が予測された場合、予測部75は運転者の行動意図を推定し、アクチュエータ群5及び出力装置6に対して車両の運転を支援するための制御指令を出力する。
ステップS60〜S63の処理は図13のステップS40〜S43の処理と同様である。ステップS64において伝播程度判定部70は、目標位置に電極群21が配置されたときに検出した特徴信号の第1減衰係数R1を、第1伝播程度として脳波データベース71に記録する。
ステップS70において近似部74は、現在の配置位置の電極で検出した脳波信号を脳波計2から読み込む。近似部74は、読み込んだ脳波信号に変換式Wを乗ずることにより、目標位置にて検出される脳波信号を推定する。予測部75は、推定された脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。
第4実施形態の脳波測定方法は、第1伝播程度及び第2伝播程度としてそれぞれ算出された特徴信号の第1減衰係数R1及び第2減衰係数R2に基づいて、現在の配置位置の電極で検出した脳波信号から目標位置にて検出される脳波信号を推定する。
これにより、現在の配置位置と目標位置とのずれにより生じる脳波信号の誤差を特徴信号の減衰係数を用いて補正して、理想的な位置に電極を配置したときに得られる波形を近似することができるので、脳波の測定精度を向上できる。
次に、第5実施形態を説明する。第5実施形態に係る脳波測定装置は、電極群21の各電極の検出信号から特徴信号を抽出する独立成分分析(ICA:Independent Component Analysis)によって、第1伝播程度及び第2伝播程度を算出する。そして、第1伝播程度と第2伝播程度の比較結果に基づいて現在の配置位置と目標位置とのずれを検出する。
例えば、各電極で検出した脳波信号X=(x1、x2、…xn)から独立成分S=(s1、s2、…sn)を求める正方行列W0を、独立成分分析を用いて予測することにより、脳波信号Xを独立成分Sに分解する。ここで脳波信号x1、x2、…xnは、電極群21の各電極のそれぞれの検出信号を示す。
そして、正方行列W0を構成する行ベクトルのうち、脳波信号X=(x1、x2、…xn)に乗じて特徴信号sx=w1×x1+w2×x2+…+wn×xnを抽出する行ベクトル(w1、w2、…wn)の各成分w1、w2、…wnを算出する。
以下、脳波信号Xから特徴信号sxを算出する行ベクトルを「復元作用素」と表記し、その成分w1、w2、…wnを、各電極に対する「重み」と表記する。
そこで、目標位置に配置された各電極で検出した脳波信号X1から特徴信号sxを抽出する復元作用素W1=(w11、w12、…w1n)を算出し、その重みw11、w12、…w1nを、各電極の目標位置まで伝播した特徴信号の第1伝播程度とする。
そして、これらの重みw11とw21との比較結果、重みw12とw22との比較結果、…重みw1nとw2nとの比較結果に基づいて、各電極の現在の配置位置と目標位置とのそれぞれのずれを検出する。
次に伝播程度判定部70は、実際に被験者の脳活動の測定を行う際に電極群21が配置されたときに脳波計2から入力した脳波信号X2を、独立成分分析を用いて独立成分S2へ分解する。伝播程度判定部70は、脳波信号X2から特徴信号sxを抽出する復元作用素W2を第2伝播程度として選択し、第2伝播程度として位置ずれ検出部72へ出力する。
例えば、位置ずれ検出部72は、現在の配置位置の各電極で検出した脳波信号を各目標位置にて検出される脳波信号へ変換するための変換式φ1(=w21/w11)、φ2(=w22/w12)、…φn(=w2n/w1n)を算出する。変換式φ1、φ2、…φnを総称して変換式Φと表記する。
例えば瞬目信号の場合には、左右対称に配置された2つの電極(例えば電極C3及びC4)までの伝播程度は互いに等しくなる。したがって、これらの電極に対する重みの比φtを横方向の位置ずれとして算出してよい。
φt>1の場合には、左側部に配置される電極C3に伝播した特徴信号が、右側部に配置される電極C4まで伝播した特徴信号よりも小さいため、電極C3及びC4が目標位置まで左側へずれていると判定してよい。反対に、φt<1の場合には、電極C3及びC4が目標位置よりも右側にずれていると判定してよい。φt=1の場合には、電極C3及びC4が図4Bに示す鼻根PAと後頭結節PBを結ぶ直線L1に対して左右対称に配置されていると判定してよい。
ディスプレイ61に表示された比較結果を参照することにより、現在の配置位置と目標位置とのずれを低減もしくは無くすように配置位置を調整することができる。
各電極の配置位置を調整する際には、第1ステップとして各電極の横方向位置を調整する。
上記の電極C3及びC4の例では、φt>1の場合には電極C3及びC4が目標位置まで左側へずれている。この場合には電極C3及びC4を右側へ移動することによりφtを1にする。反対に、φt<1の場合には電極C3及びC4を左側へ移動することによりφtを1にする。
例えば、第2ステップでは、変換式Φが1となるように各電極の前後方向位置を調整する。例えば、Φ>1の場合には、現在の配置位置が目標位置よりも後方にずれている。この場合には電極を前方に移動することにより変換式Φを1にする。反対に、Φ<1の場合には、電極を後方に移動することにより変換式Φを1にする。
運転者の行動が予測された場合、予測部75は運転者の行動意図を推定し、アクチュエータ群5及び出力装置6に対して車両の運転を支援するための制御指令を出力する。
ステップS80〜S82の処理は、図8のステップS1〜S3の処理と同様である。ステップS83において伝播程度判定部70は、目標位置に電極群21が配置されたときに検出した脳波信号X1を、独立成分分析を用いて独立成分S1へ分解する。ステップS84において伝播程度判定部70は、独立成分S1のうち、脳波信号X1から特徴信号sxを抽出する復元作用素W1を第1伝播程度として選択する。ステップS85において伝播程度判定部70は復元作用素W1を脳波データベース71に記録する。
ステップS89において伝播程度判定部70は、電極群21が現在の配置位置に配置されたとき検出した脳波信号X2を、独立成分分析を用いて独立成分S2へ分解する。ステップS90において伝播程度判定部70は、独立成分S2のうち、脳波信号X2から特徴信号sxを抽出する復元作用素W2を第2伝播程度として選択する。
また、位置ずれ検出部72は、復元作用素W2の重みのうち左右対称に配置された2つの電極に対する重みの比φtを算出する。位置ずれ検出部72は、変換式Φ及び重みの比φtを出力装置6のディスプレイ61へ出力する。
電極群21の配置位置を修正した後に、脳波計2により運転者の脳波信号を採取する。この脳波信号から運動準備電位を算出することにより、予測部75は運転者の行動を予測する。
運転者の行動が予測された場合、予測部75は運転者の行動意図を推定し、アクチュエータ群5及び出力装置6に対して車両の運転を支援するための制御指令を出力する。
第5実施形態の脳波測定方法は、電極の検出信号から特徴信号を抽出する独立成分分析によって算出された第1伝播程度及び第2伝播程度に基づいて、現在の配置位置と目標位置とのずれを検出する。
これにより、独立成分分析を用いて現在の配置位置と目標位置とのずれを検出することが可能になり、検出したずれに基づいて、毎回理想的な目標位置に電極群21を配置できので、脳波の測定精度を向上できる。
次に、第6実施形態を説明する。第6実施形態に係る脳波測定装置は、電極群21の各電極の検出信号から特徴信号を抽出する独立成分分析によって算出した第1伝播程度及び第2伝播程度に基づいて、現在の配置位置の電極で検出した脳波信号を補正(近似)することにより目標位置にて検出される脳波信号を推定する。
そして、実際に被験者の脳活動の測定を行う際に現在の配置位置の電極で検出した脳波信号に変換式Wを乗ずることにより、目標位置にて検出される脳波信号を推定する。
伝播程度判定部70は、復元作用素W1を第1伝播程度として脳波データベース71に記録する。
次に伝播程度判定部70は、実際に被験者の脳活動の測定を行う際に電極群21が現在の配置位置に配置されたときに検出した脳波信号X2から特徴信号sxを抽出する復元作用素W2を算出する。
伝播程度判定部70は、復元作用素W2を第2伝播程度として変換式決定部73へ出力する。
変換式決定部73は、脳波データベース71に記録された復元作用素W1を読み出して変換式Φ、すなわちφ1(=w21/w11)、φ2(=w22/w12)、…φn(=w2n/w1n)を算出する。変換式決定部73は、変換式Φを近似部74へ出力する。
予測部75は、推定された脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。
運転者の行動が予測された場合、予測部75は運転者の行動意図を推定し、アクチュエータ群5及び出力装置6に対して車両の運転を支援するための制御指令を出力する。
ステップS100〜S110の処理は、図16のステップS80〜S90の処理と同様である。ステップS111において変換式決定部73は、復元作用素W1を脳波データベース71から読み出す。変換式決定部73は、復元作用素W1と復元作用素W2とを比較して、現在の配置位置の各電極で検出した脳波信号を各目標位置にて検出される脳波信号へ変換するための変換式Φを算出する。
ステップS112において近似部74は、現在の配置位置の電極で検出した脳波信号を脳波計2から読み込む。近似部74は、読み込んだ脳波信号に変換式Φを乗ずることにより、目標位置にて検出される脳波信号を推定する。予測部75は、推定された脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。
第6実施形態の脳波測定方法は、電極群21の各電極の検出信号から特徴信号を抽出する独立成分分析によって算出した第1伝播程度及び第2伝播程度に基づいて、現在の配置位置の電極で検出した脳波信号から目標位置にて検出される脳波信号を推定する。
これにより、現在の配置位置と目標位置とのずれにより生じる脳波信号の誤差を、独立成分分析を用いて特徴信号の減衰係数を用いて補正して、理想的な位置に電極を配置したときに得られる波形を近似することができるので、脳波の測定精度を向上できる。
次に、第7実施形態を説明する。上記の通り、独立成分分析を用いて求めた復元作用素の重みは、各電極までの特徴信号の伝播距離が大きいほど(すなわち特徴成分が減衰するほど)重みw1、w2、…wnはより大きくなる。
そこで、第7実施形態に係る脳波測定装置は、独立成分分析を用いて求めた復元作用素W1及びW2の重みに基づいて、目標位置まで伝播した特徴信号の第1減衰係数R1と電極の現在の配置位置まで伝播した特徴信号の第2減衰係数R2とを求め、これらをそれぞれ第1伝播程度及び第2伝播程度とする。減衰係数として、例えば重みの逆数を算出してよい。
そして、第1減衰係数R1と第2減衰係数R2に基づいて現在の配置位置の電極で検出した脳波信号を補正(近似)することにより目標位置にて検出される脳波信号を推定する。
次に、伝播程度判定部70は、復元作用素W2に基づいて、実際に被験者の脳活動の測定を行う際に配置した各電極の現在の配置位置まで伝播した特徴信号の第2減衰係数r21=1/w21、r22=1/w22、…r2n=1/w2nを算出する。第2減衰係数r21、r22、…r2nを総称して「第2減衰係数R2」と表記する。
近似部74は、実際に被験者の脳活動の測定を行う際に現在の配置位置の電極で検出した脳波信号を脳波計2から読み込む。
ステップS120〜S123の処理は、図16のステップS80〜S83の処理と同様である。ステップS124において伝播程度判定部70は、独立成分S1のうち、脳波信号X1から特徴信号sxを抽出する復元作用素W1を第1伝播程度として選択する。伝播程度判定部70は、復元作用素W1に基づいて、各電極の目標位置まで伝播した特徴信号の第1減衰係数R1を求める。ステップS125において伝播程度判定部70は、第1減衰係数R1を脳波データベース71に記録する。
ステップS131において変換式決定部73は、脳波データベース71に記録された第1減衰係数R1を読み込む。変換式決定部73は、現在の配置位置の各電極で検出した脳波信号を各目標位置にて検出される脳波信号へ変換するための変換式W(=R1/R2)を算出する。
ステップS132において近似部74は、現在の配置位置の電極で検出した脳波信号を脳波計2から読み込む。近似部74は、読み込んだ脳波信号に変換式Wを乗ずることにより、目標位置にて検出される脳波信号を推定する。予測部75は、推定された脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。
第7実施形態の脳波測定方法は、独立成分分析によって求めた復元作用素W1及びW2に基づいて第1減衰係数R1及び第2減衰係数R2を算出し、これら第1減衰係数R1及び第2減衰係数R2に基づいて、現在の配置位置の電極で検出した脳波信号から目標位置にて検出される脳波信号を推定する。
これにより、現在の配置位置と目標位置とのずれにより生じる脳波信号の誤差を、特徴信号の減衰係数を用いて補正して、理想的な位置に電極を配置したときに得られる波形を近似することができるので、脳波の測定精度を向上できる。
次に、第8実施形態を説明する。第8実施形態に係る脳波測定装置は、実際の脳活動の測定時に配置された電極の脳波信号から各目標位置にて検出される脳波信号へ変換するための学習モデルWを、機械学習によって算出する。
例えば、目標位置に配置された電極で検出した特徴信号を目的変数とし、実際に被験者の脳活動の測定を行う際に現在の配置位置の電極で検出した特徴信号を説明変数として学習させた学習モデルWを算出する。
その後、学習モデルWに基づいて、現在の配置位置の電極で検出した脳波信号を補正(近似)することにより目標位置にて検出される脳波信号を推定する。
変換式決定部73は、実際の脳活動の測定に際して電極群21が配置された脳波計2から、特徴信号が混入した脳波信号を説明変数として入力する。
学習モデルWは、例えば実際の脳活動の測定時に配置された電極群21の脳波信号X=(x1、x2、…xn)から、目標位置に配置された電極群21で検出される脳波信号Y=(y1、y2、…yn)を推定するための近似多項式関数であってよい。変換式決定部73は、機械学習により多項式関数の各係数等のパラメータを学習してよい。学習方法は、例えば重回帰分析や、ディープラーニング、ニューラルネットワーク等であってよい。
このように、変換式決定部73は、多項式関数の係数を算出することにより電極の現在の配置位置と目標位置との位置ずれを検出する。
予測部75は、推定された脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。運転者の行動が予測された場合、予測部75は運転者の行動意図を推定し、アクチュエータ群5及び出力装置6に対して車両の運転を支援するための制御指令を出力する。
ステップS140〜S142の処理は、図8のステップS1〜S3の処理と同様である。ステップS143において脳波データ記録部76は、特徴信号が混入した脳波信号を、電極群21が目標位置に配置された脳波計2から入力し、脳波データベース71へ記録する。
(1)第8実施形態の脳波測定方法は、目標位置に配置された電極で検出した特徴信号を目的変数とし現在の配置位置の電極で検出した特徴信号を説明変数として学習させた学習モデルにより、現在の配置位置と目標位置とのずれを検出する。
これにより、機械学習を用いて現在の配置位置と目標位置とのずれを検出することが可能になり、検出したずれに基づいて、毎回理想的な目標位置に電極群21を配置できので、脳波の測定精度を向上できる。
これにより、現在の配置位置と目標位置とのずれにより生じる脳波信号の誤差を、機械学習を用いて特徴信号の減衰係数を用いて補正して、理想的な位置に電極を配置したときに得られる波形を近似することができるので、脳波の測定精度を向上できる。
次に、第9実施形態を説明する。第9実施形態に係る脳波測定装置は、目標位置に配置された電極の検出信号から特徴信号を抽出する第1学習モデルW1と、実際に被験者の脳活動の測定を行う際に配置された電極の検出信号から特徴信号を抽出する第2学習モデルW2と、を機械学習により算出する。
第1学習モデルW1及び第2学習モデルW2は、例えば独立成分分析において脳波信号から独立成分を分離する上述の正方行列W0と同様の変換式であってよい。
そして、第1学習モデルW1及び第2学習モデルW2に基づいて、実際に被験者の脳活動の測定を行う際に配置された電極の脳波信号を補正(近似)することにより目標位置にて検出される脳波信号を推定する変換式Φを算出する。変換式Φは、例えば第6実施形態又は第7実施形態と同様に算出してよい。
次に、実際の脳活動の測定に際して電極群21が配置された脳波計2から、特徴信号が混入した脳波信号を入力して、入力した脳波信号から特徴成分を抽出する第2学習モデルW2を機械学習により算出する。
近似部74は、実際の脳活動の測定に際して電極群21が配置された脳波計2から脳波信号を入力する。近似部74は、変換式決定部73が算出した変換式Φに基づいて、入力した脳波信号から目標位置にて検出される脳波信号を推定する。近似部74は、推定された脳波信号を予測部75へ出力する。
予測部75は、推定された脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。運転者の行動が予測された場合、予測部75は運転者の行動意図を推定し、アクチュエータ群5及び出力装置6に対して車両の運転を支援するための制御指令を出力する。
ステップS150〜S152の処理は、図8のステップS1〜S3の処理と同様である。ステップS153において変換式決定部73は、電極群21が目標位置に配置された脳波計2から入力した脳波信号から特徴成分を抽出する第1学習モデルW1を算出する。ステップS154において変換式決定部73は、第1学習モデルW1を脳波データベース71へ記録する。
近似部74は、実際の脳活動の測定に際して電極群21が配置された脳波計2から脳波信号を入力する。近似部74は、変換式決定部73が算出した変換式Φに基づいて、入力した脳波信号から目標位置にて検出される脳波信号を推定する。予測部75は、推定された脳波信号から運動準備電位を算出することにより、運転者の行動を予測する。
第9実施形態の脳波測定方法は、目標位置に配置された電極の検出信号から特徴信号を抽出する第1学習モデルW1と、実際に被験者の脳活動の測定を行う際に配置された電極の検出信号から特徴信号を抽出する第2学習モデルW2と、を機械学習により算出する。そして第1学習モデルW1と第2学習モデルW2との比較結果に基づいて、実際に被験者の脳活動の測定を行う際に配置された電極の脳波信号から目標位置にて検出される脳波信号を推定する。
これにより、現在の配置位置と目標位置とのずれにより生じる脳波信号の誤差を、機械学習により求めた特徴信号の減衰係数を用いて補正して、理想的な位置に電極を配置したときに得られる波形を近似することができるので、脳波の測定精度を向上できる。
Claims (10)
- 被験者に装着した電極により前記被験者の脳波を測定する脳波測定方法であって、
前記被験者に発生して前記脳波に混入する特徴信号が、前記電極を配置すべき目標位置まで伝播する第1伝播程度と、前記特徴信号が前記電極の現在の配置位置まで前記特徴信号が伝播する第2伝播程度とを比較し、
前記第1伝播程度と前記第2伝播程度との比較結果に基づいて、前記現在の配置位置と前記目標位置とのずれを検出する、
ことを特徴とする脳波測定方法。 - 被験者に装着した電極により前記被験者の脳波を測定する脳波測定方法であって、
前記被験者に発生して前記脳波に混入する特徴信号が、前記電極を配置すべき目標位置まで伝播する第1伝播程度と、前記特徴信号が前記電極の現在の配置位置まで前記特徴信号が伝播する第2伝播程度とに基づいて、前記現在の配置位置の前記電極で検出した脳波信号から前記目標位置にて検出される脳波信号を推定することを特徴とする脳波測定方法。 - 前記第1伝播程度及び前記第2伝播程度として、前記電極で検出した前記特徴信号の減衰係数を算出することを特徴とする請求項1又は2に記載の脳波測定方法。
- 前記電極の検出信号から前記特徴信号を抽出する独立成分分析によって、前記第1伝播程度及び前記第2伝播程度を算出することを特徴とする請求項1又は2に記載の脳波測定方法。
- 前記第1伝播程度及び前記第2伝播程度として、前記電極で検出した前記特徴信号の振幅値を検出することを特徴とする請求項1又は2に記載の脳波測定方法。
- 前記目標位置に配置された前記電極で検出した前記特徴信号を目的変数とし前記現在の配置位置の前記電極で検出した前記特徴信号を説明変数として学習させた学習モデルにより、前記現在の配置位置と前記目標位置とのずれを検出することを特徴とする請求項1に記載の脳波測定方法。
- 前記目標位置に配置された前記電極で検出した前記特徴信号を目的変数とし前記現在の配置位置の前記電極で検出した前記特徴信号を説明変数として学習させた学習モデルに基づいて、前記現在の配置位置の前記電極で検出した脳波信号から前記目標位置にて検出される脳波信号を推定することを特徴とする請求項2に記載の脳波測定方法。
- 前記目標位置に配置された前記電極の検出信号から前記特徴信号を抽出する第1学習モデルと、前記現在の配置位置の前記電極の検出信号から前記特徴信号を抽出する第2学習モデルと、を機械学習により算出し、
前記第1学習モデルと前記第2学習モデルとの比較結果に基づいて、前記現在の配置位置の前記電極で検出した脳波信号から前記目標位置にて検出される脳波信号を推定することを特徴とする請求項2に記載の脳波測定方法。 - 被験者に装着した電極により前記被験者の脳波を測定する脳波計と、
前記被験者に発生して前記脳波に混入する特徴信号が、前記電極を配置すべき目標位置まで伝播する第1伝播程度と、前記特徴信号が前記電極の現在の配置位置まで前記特徴信号が伝播する第2伝播程度とを比較し、前記第1伝播程度と前記第2伝播程度との比較結果に基づいて、前記現在の配置位置と前記目標位置とのずれを検出するコントローラと、
を備えることを特徴とする脳波測定装置。 - 被験者に装着した電極により前記被験者の脳波を測定する脳波計と、
前記被験者に発生して前記脳波に混入する特徴信号が、前記電極を配置すべき目標位置まで伝播する第1伝播程度と、前記特徴信号が前記電極の現在の配置位置まで前記特徴信号が伝播する第2伝播程度とに基づいて、前記現在の配置位置の前記電極で検出した脳波信号から前記目標位置にて検出される脳波信号を推定するコントローラと、
を備えることを特徴とする脳波測定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017237125A JP7222176B2 (ja) | 2017-12-11 | 2017-12-11 | 脳波測定方法及び脳波測定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017237125A JP7222176B2 (ja) | 2017-12-11 | 2017-12-11 | 脳波測定方法及び脳波測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019103581A true JP2019103581A (ja) | 2019-06-27 |
JP7222176B2 JP7222176B2 (ja) | 2023-02-15 |
Family
ID=67060751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017237125A Active JP7222176B2 (ja) | 2017-12-11 | 2017-12-11 | 脳波測定方法及び脳波測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7222176B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021132998A (ja) * | 2020-02-28 | 2021-09-13 | 株式会社Subaru | 車両用制御システム |
JP7564465B2 (ja) | 2020-11-12 | 2024-10-09 | 日本電信電話株式会社 | 端末装置、情報取得システム及び情報処理方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010082496A1 (ja) * | 2009-01-19 | 2010-07-22 | パナソニック株式会社 | 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム |
JP2010246821A (ja) * | 2009-04-20 | 2010-11-04 | Konica Minolta Holdings Inc | 生体情報検出装置、電気的特異部位検出装置およびブレイン・マシン・インターフェース |
JP2011005177A (ja) * | 2009-06-29 | 2011-01-13 | Sony Corp | 生体信号測定用装具及び生体信号測定方法 |
JP2011083393A (ja) * | 2009-10-14 | 2011-04-28 | Osaka Bioscience Institute | 睡眠ステージ自動判定の装置と方法およびそのためのコンピュータプログラム |
JP2013121369A (ja) * | 2011-12-09 | 2013-06-20 | Sony Corp | 入力装置及び校正方法 |
JP2016220770A (ja) * | 2015-05-27 | 2016-12-28 | パナソニックIpマネジメント株式会社 | 脳波計 |
JP2017074356A (ja) * | 2015-10-16 | 2017-04-20 | 国立大学法人広島大学 | 感性評価方法 |
JP2017144200A (ja) * | 2016-02-15 | 2017-08-24 | 松本 眞理子 | 遅延選択を用いた生体信号分析装置、プログラム及びシステム |
-
2017
- 2017-12-11 JP JP2017237125A patent/JP7222176B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010082496A1 (ja) * | 2009-01-19 | 2010-07-22 | パナソニック株式会社 | 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム |
JP2010246821A (ja) * | 2009-04-20 | 2010-11-04 | Konica Minolta Holdings Inc | 生体情報検出装置、電気的特異部位検出装置およびブレイン・マシン・インターフェース |
JP2011005177A (ja) * | 2009-06-29 | 2011-01-13 | Sony Corp | 生体信号測定用装具及び生体信号測定方法 |
JP2011083393A (ja) * | 2009-10-14 | 2011-04-28 | Osaka Bioscience Institute | 睡眠ステージ自動判定の装置と方法およびそのためのコンピュータプログラム |
JP2013121369A (ja) * | 2011-12-09 | 2013-06-20 | Sony Corp | 入力装置及び校正方法 |
JP2016220770A (ja) * | 2015-05-27 | 2016-12-28 | パナソニックIpマネジメント株式会社 | 脳波計 |
JP2017074356A (ja) * | 2015-10-16 | 2017-04-20 | 国立大学法人広島大学 | 感性評価方法 |
JP2017144200A (ja) * | 2016-02-15 | 2017-08-24 | 松本 眞理子 | 遅延選択を用いた生体信号分析装置、プログラム及びシステム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021132998A (ja) * | 2020-02-28 | 2021-09-13 | 株式会社Subaru | 車両用制御システム |
JP7376389B2 (ja) | 2020-02-28 | 2023-11-08 | 株式会社Subaru | 車両用制御システム |
JP7564465B2 (ja) | 2020-11-12 | 2024-10-09 | 日本電信電話株式会社 | 端末装置、情報取得システム及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7222176B2 (ja) | 2023-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107336710B (zh) | 驾驶意识推定装置 | |
US10520939B2 (en) | Drive assist apparatus | |
JP6409699B2 (ja) | 自動運転システム | |
JP6950346B2 (ja) | 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 | |
JP2020115322A (ja) | 車両位置推定のためのシステムおよび方法 | |
CN110654381B (zh) | 用于控制车辆的方法和装置 | |
JP2017027180A (ja) | 車両制御装置及び車両制御方法 | |
JP2016215658A (ja) | 自動運転装置および自動運転システム | |
CN110641468A (zh) | 基于乘客行为控制自主车辆 | |
JP2019103581A (ja) | 脳波測定方法及び脳波測定装置 | |
CN110654380A (zh) | 用于控制车辆的方法和装置 | |
JP6946734B2 (ja) | 行動予測方法及び行動予測装置 | |
JP7331728B2 (ja) | 運転者状態推定装置 | |
CN113205088A (zh) | 障碍物图像展示方法、电子设备和计算机可读介质 | |
CN113696900A (zh) | 驾驶技能评价系统 | |
WO2019155914A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
US20230098314A1 (en) | Localizing and updating a map using interpolated lane edge data | |
JP7099036B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP2018139070A (ja) | 車両用表示制御装置 | |
US11380120B2 (en) | Driving assistance device | |
JP7331729B2 (ja) | 運転者状態推定装置 | |
JP2019079096A (ja) | 状態改善装置、状態改善方法、及び制御プログラム | |
JP7107060B2 (ja) | 運転支援方法及び運転支援装置 | |
JP7107061B2 (ja) | 運転支援方法及び運転支援装置 | |
JP6582799B2 (ja) | サポート装置及びサポート方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180110 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201002 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220304 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220922 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221011 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7222176 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |