JP2021524787A - 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法 - Google Patents

人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法 Download PDF

Info

Publication number
JP2021524787A
JP2021524787A JP2020565947A JP2020565947A JP2021524787A JP 2021524787 A JP2021524787 A JP 2021524787A JP 2020565947 A JP2020565947 A JP 2020565947A JP 2020565947 A JP2020565947 A JP 2020565947A JP 2021524787 A JP2021524787 A JP 2021524787A
Authority
JP
Japan
Prior art keywords
task
stimulus
human brain
type
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020565947A
Other languages
English (en)
Other versions
JP7152520B2 (ja
Inventor
アンベック−マドセン ヨーナス
アンベック−マドセン ヨーナス
ラビイ ニリ
ラビイ ニリ
ブルックマイヤー メリット
ブルックマイヤー メリット
タットシディス イーリアス
タットシディス イーリアス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UCL Business Ltd
Original Assignee
UCL Business Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UCL Business Ltd filed Critical UCL Business Ltd
Publication of JP2021524787A publication Critical patent/JP2021524787A/ja
Priority to JP2022101049A priority Critical patent/JP7392050B2/ja
Application granted granted Critical
Publication of JP7152520B2 publication Critical patent/JP7152520B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0048Detecting, measuring or recording by applying mechanical forces or stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Optics & Photonics (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Educational Technology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

発明は、人間の脳の知覚負荷を決定する方法に関する。知覚負荷は、人間によって実行される既定のタスクによって誘導される。方法は、タスクが実行される間に人間の脳の代謝活性を、機能的近赤外線分光法(fNIRS)センサ装置を用いて測定するステップと、知覚負荷を、代謝活性の測定された変化の関数として決定するステップと、を備える。また、発明は、刺激知覚のレベルを決定する方法及び対応するシステムに関する。

Description

本開示は、人間の脳の知覚負荷、特に、人間によって実行される既定のタスク、例えば、車両の運転のタスクによって生じた知覚負荷を決定するシステム及び方法に関する。さらに、本開示は、人間の脳による第2のタイプの刺激、特に、人間が既定のタスク、例えば、車両の運転を実行する間の注意を向けない刺激の知覚のレベルを決定するシステム及び方法に関する。
制御できない動的な視環境の知覚負荷及び注意を向けないイベントを含むそのような知覚負荷の変化を認識する能力は、警報信号を使用するための新しい設計及び手順の基礎を設けることによって安全(安全運転)を著しく向上させることができる。そのような能力は、人間の注意及び関与を検出する他の測定、例えば、瞳孔測定又はEEG測定のような生理学的測定の有用性を評価することができる基準を設定することもできる。さらに、上記能力は、例えば、いわゆるテイクオーバーリクエストの場合であるがそれに限定されない高度に自動化したシステム(例えば、車両)に対するマシン−ヒューマン(例えば、ビークル−ドライバ)の相互作用の最適な手順を設計するのに適用することができ、自動制御システムは、車両の動作の制御を引き継ぐようにドライバに要求する。
目の網膜に当たる全ての情報が知覚されるわけではない。情報が知覚されるか否かは、視覚野(一次視覚野及び有線外皮質)の神経信号の強度に依存する。注意を向けた情報が高い知覚負荷である場合、すなわち、高い要求のタスクを実行する間に注意の焦点外にある情報を人々は知覚しない(見ても見えない)ことが証明されている。「見ても見えない」ことの影響は、事故(例えば、車両及び飛行機の衝突等)の主な原因として知られている。
人間による知覚情報を処理する能力は限られている。したがって、タスク処理における知覚負荷のレベルは、どの刺激が知覚されるかを判断する際の重要な要素である。知覚負荷が高いとき、例えば、視覚的シーンが混雑しているとき又は更なる要求を行う必要があるとき、注意の焦点外にある刺激に気付く可能性が低い。その理由は、処理のために予備の注意能力を利用できないからである。極端な場合、これによって、非注意性盲目(又は難聴)になり、当事者が知覚リソースの不足のために刺激を知覚できなくなる。Cartwright-Finch U, Lavie N (2007) The role of perceptual load in inattentional blindness. Cognition 102:321-340を参照。
一方、低負荷の状態の下では、予備の能力が利用可能であるとき、タスクに関係のない刺激の知覚に自動的に「波及」し、これは、惑わすものとして機能する可能性が高い。Forster S, Lavie N (2008) Failures to ignore entirely irrelevant distractors: The role of load. J Exp Psychol Appl 14:73-83参照。
fMRIは、注意を向けない刺激に対する血管反応(例えば、BOLD反応)に対する注意を向けたタスク処理の知覚負荷の影響を測定するのに用いられてきた。例えば、Rees G, Frith CD, Lavie N (1997) Modulating irrelevant motion perception by varying attentional load in an unrelated task. Science 278:1616-1619、Schwartz S, Vuilleumier P, Hutton C, Maravita A, Dolan RJ, Driver J (2005) Attentional load and sensory competition in human vision: modulation of fMRI responses by load at fixation during task-irrelevant stimulation in the peripheral visual field. Cereb cortex 15:770-786及びTorralbo A, Kelley TA, Rees G, Lavie N (2016) Attention induced neural response trade-off in retinotopic cortex under load. Sci Rep 6:33041参照。
しかしながら、fMRIは、ポータブルかつウェアラブルな技術ではなく、したがって、ウェアラブルシステムとして存在するfNIRSと同一のアプリケーションを用いることができない。EEGシステムは、注意を向けない刺激に対する脳の反応に対する知覚負荷の影響を測定するために使用されてきた(例えば、Parks NA, Beck DM, Kramer AF (2013): Enhancement and suppression in the visual field under perceptual load. Front Psychol 4:275参照。)。しかしながら、EEGは、当事者の動きに対して非常に敏感であり、ポータブルであるとしても、EEGのセットアップは幾分煩わしい(例えば、一部のシステム形態において頭部への導電性ゲルの塗布が必要である。)。したがって、実験室環境外の実用的応用に適していない。
幾つかの研究は、知覚負荷に間接的に関連する認知的要因に反応する血液の酸素レベル及び脱酸素レベル(HbO2及びHHb)を測定するために市販のfNIRSを用いた。HbO2及びHHbが視覚運動の要求のレベルに関連することを示した。Hosseini SMH, Bruno JL, Baker JM, Gundran A, Harbott LK, Gerdes JC, Reiss AL (2017) Neural, physiological, and behavioral correlates of visuomotor cognitive load. Sci Rep 7:8866参照。
また、HbO2及びHHbは、認知的負荷に関連する。Fishburn FA, Norr ME, Medvedev A V., Vaidya CJ (2014) Sensitivity of fNIRS to cognitive state and load. Front Hum Neurosci 8:76参照。
両方のタイプの負荷は、(しばしば「非注意性盲目」と称される)「見ても見えない」の影響を及ぼし得る知覚負荷に関連しない。Zhang等, 2016 and Kojima及びSuzuki, 2010は、HbO2のレベル及びHHbのレベルをタスクの注意要求に関連付けるが、注意要求の操作は、知覚負荷の認知神経科学研究で示すように、非注意性盲目となると予測される知覚負荷を構成することを示さなかった。それらは、代謝を測定する技術でもない。
Harasawa及びShiori, 2011は、1枚のディスクの追跡条件と2枚のディスクの追跡条件の間のHbO2の差を見付けたが、それは、一方的に提示されたときのみであり、相互に提示されたときではない。この研究は、非注意性盲目となる視覚負荷に対処しなかった。Harasawa M, Shioiri S (2011) Asymmetrical brain activity induced by voluntary spatial attention depends on the visual hemifield: A functional near-infrared spectroscopy study. Brain Cogn 75:292-298参照。
fMRI及び市販のfNIRSの両方は、血液の酸素レベルの測定から間接的に神経活動について推測する。ある研究は、注意を向けた刺激条件及び注意を向けない刺激条件に対する定数を用いて他の生理学的変数を近似するモデルに基づいて視覚野の酸素の代謝率を(測定するのではなく)推定するために血液の酸素レベル及び血流を測定するfMRIを用いた。Moradi F, Buracas GT, Buxton RB (2012) Attention strongly increases oxygen metabolic response to stimulus in primary visual cortex. Neuroimage 59:601-607参照。
Heekeren等, 1999及びPhan等, 2016aは、神経細胞に広く行き渡るとともに神経の酸素代謝のレベルを表すミトコンドリアのシトクロムcオキシターゼ酵素(oxCCO)の酸素レベルを検出することによって神経活動を更に直接的に測定するために開発されたブロードバンドfNIRSを用いた。それらは、相対oxCCOレベルを視覚刺激の存在に関連付ける。Heekeren HR, Kohl M, Obrig H, Wenzel R, von Pannwitz W, Matcher SJ, Dirnagl U, Cooper CE, Villringer A (1999) Noninvasive assessment of changes in cytochrome-c oxidase oxidation in human subjects during visual stimulation. J Cereb Blood Flow Metab 19:592-603及びPhan P, Highton D, Brigadoi S, Tachtsidis I, Smith M, Elwell CE (2016a) Spatial Distribution of Changes in Oxidised Cytochrome C Oxidase During Visual Stimulation Using Broadband Near Infrared Spectroscopy Imaging. In: Advances in Experimental Medicine and Biology, pp 195-201参照。
Kolyva等, 2012 and Phan et等, 2016bは、前頭前野のoxCCOのレベルが認知課題(例えば、タスク対レストを解決するアナグラムのパフォーマンス)によって影響が及ぼされることを示した。Kolyva C, Tachtsidis I, Ghosh A, Moroz T, Cooper CE, Smith M, Elwell CE (2012) Systematic investigation of changes in oxidized cerebral cytochrome c oxidase concentration during frontal lobe activation in healthy adults. Biomed Opt Express 3:2550-2566及びPhan P, Highton D, Lai J, Smith M, Elwell C, Tachtsidis I (2016b) Multi-channel multi-distance broadband near-infrared spectroscopy system to measure the spatial response of cellular oxygen metabolism and tissue oxygenation. Biomed Opt Express 7:4424参照。
認知負荷の神経相関が様々な神経画像技術を用いた多数の研究において調べられたが、能力の限界の原因はまだ理解されていない。
現在、人間の脳の知覚負荷を決定するシステム及び方法を提供することが依然として望ましい。さらに、人間が既定のタスク(例えば、運転タスク)を実行する間に注意を向けない刺激を人間の脳が知覚する(すなわち、刺激に露出される及び/又は刺激からの信号を受信する)ときに特に人間の脳の刺激知覚のレベルを決定するシステム及び方法を提供することが依然として望ましい。
更に具体的には、現在のEEGベースのシステムと同様に動きに敏感でない特に運転中(又は他の予測されるタスクを実行する間)に注意を向けない刺激の感知のレベルを検出することができるポータブルな非侵襲的システムを有することが望ましい。そのようなシステムによって、EEGを用いる現在のシステムに比べて、運転中のドライバの状態をよりよく理解することができ、したがって、補助自動車技術の開発の情報をよりよく提供することができる。
既に指摘したように、Heekeren等, 1999及びPhan等, 2016aは、視覚野のoxCCOのレベルを視覚刺激の存在に関連付ける。Kolyva等, 2012 and Phan et等, 2016bは、前頭前野のoxCCOのレベルが認知課題(例えば、タスク対レストを解決するアナグラムのパフォーマンス)によって影響が及ぼされることを示した。しかしながら、これらの文献のいずれも注意、知覚及び(更に詳しくは)知覚負荷の認知神経科学に関連せず、注意の認知神経科学の専門知識で要求されるような知覚負荷の測定及び検出に適用することができない。一方、認知神経科学で用いられる技術は、神経代謝を測定することができず、血液の酸素化レベル及び脱酸素化レベル(HbO2,HHb)の更に間接的な測定に限定される。神経代謝の測定は、神経活動の更に直接的な指標となるという利点を有し、したがって、遅延される欠陥の血行力学反応に依存する既存のfNIRSセンサ装置における酸素化測定及び脱酸素化測定(HbO2,HHb)に比べて神経活動のあらゆる変化に対する迅速な応答を提供することができる。
したがって、本開示の実施の形態によれば、本開示は、人間の脳の知覚負荷を決定する方法に関する。知覚負荷は、人間によって実行される既定の(又は所定の)タスク(例えば、運転タスク又は自動車が自律モードで運端される間の他の非運転タスク、例えば、映画鑑賞)によって誘導される。方法は、タスクが実行される間に人間の脳の代謝活性を、機能的近赤外線分光法(fNIRS)センサ装置を用いて測定するステップと、
知覚負荷を、代謝活性の測定された変化の関数として決定するステップと、
を備える。
そのような方法を設けることによって、いわゆる知覚負荷を含む認知状態の可動の動きに強い(特に、リアルタイム又は準リアルタイムの)測定を可能にする。
既定のタスクは、相応に変動する知覚負荷を誘導する変動する複雑性を備えてもよい。
上記複雑性を、知覚複雑性と称してもよい。特に、既定のタスクは、既定の(又は所定の)変動するレベルの知覚負荷を備えてもよい。
一般的には、代謝活性が、タスクの知覚負荷の変化に関連して、既定の量より大きく変化する場合、人間の脳が知覚及び/又はタスクの制御の維持が可能のままであると判断してもよい。換言すれば、負荷のタスク変化に関連する著しい変化は、人間の脳がまだ知覚できる及び/又はタスクの制御を保持できることを表すことができる。
例えば、複雑性が増大するのと同時に代謝活性の測定された変化が既定の第1の上限しきい値を超えない場合、既定のタスクによって誘導された知覚負荷が知覚負荷しきい値を超える及び/又は人間の脳がタスクに注意を向けなかったと判断してもよい。
しきい値は、しきい値が既定の値によって表される又はしきい値が脳の能力それ自体によって予め決定されるという意味で望ましくは予め決定される。他の態様において、既定のしきい値を、脳の知覚負荷容量によって予め決定してもよいが、上記既定のしきい値は、望ましくは、人間の脳の最大負荷容量よりも低い。
したがって、知覚負荷が既定のしきい値を超えると判断される場合、知覚負荷が人間の脳の容量を超える及び/又はタスクの非注意性盲目/難聴になる。
例えば、そのような場合、予防的措置を取ることができ、例えば、警報信号をトリガする又は運転制御を引き継ぐ自動運転システムをアクティブにする。
複雑性が減少するのと同時に代謝活性の測定された変化が第1の上限しきい値より下に減少しない又は既定の第の下側しきい値を越えない場合、人間の脳がタスクに注意を向けなかったと判断してもよい。
したがって、上記タスクが減少した複雑性を有する場合でも、人間がタスクに注意を払っている(とともに眠気がないか)否かを判断してもよい。そのような低い複雑性のタスクを実行することを、基本的活動と称することができる。しかしながら、人間がタスクに注意を向けない場合、上記タスクに対応する代謝反応がない。換言すれば、代謝活性は、既定の(又は所定の)第1の下限しきい値を超えない。
一例は、全自動運転中に運転シーンを見る(ドライバを意図した)車両の乗員であってもよい。上記運転シーンは、空いた又は比較的空いた道路、すなわち、減少した複雑性のタスクを提供することがある。本開示によれば、乗員が運転シーンの出来事、例えば、道路標識に注意を払っているか否かをチェックすることができる。出来事が生じたとき(例えば、道路標識を通過したとき)に代謝活性が既定の(又は所定の)第1の下限しきい値を超えると判断しなかった場合、乗員が運転シーンに注意を向けなかったと判断してもよい。
複雑性が減少するのと同時に代謝活性の測定された変化が既定の(又は所定の)第1の上限しきい値より下に減少しない場合、人間の脳がタスクに注意を向けなかったと判断してもよい。
複雑性が減少するとともに人間(例えば、ドライバ)の脳がタスクに従事している場合、人間の脳の代謝活性も低下していると予測される。脳の代謝活性が高いままである場合、人間の脳が異なるタスクに従事していること、例えば、ドライバの脳が非運転タスクに従事していることを意味することがある。一般的には、所定のしきい値を超える複雑性の変化が存在するとともに代謝活性の変化が所定のしきい値を超えない場合、人間の脳がタスクに注意を向けなかったと判断してもよい。
したがって、知覚負荷が非常に低くなる場合には、刺激に関係ない自動処理タスクとなる(すなわち、刺激に関係ないタスクの自動処理)となってもよい。例えば、人間の脳は、他の何かに集中しなくなることがあり、もはやタスクに十分に注意を向けなくなることがある。その結果、タスクの非注意盲目/難聴に再びなるおそれがある。
例えば、そのような場合、予防的措置を取ることができ、例えば、人間を「目覚めさせる」ために、すなわち、人間の注意を再びタスクに向けるために警報信号をトリガする。
また、本開示は、人間の脳による第2のタイプの刺激の知覚のレベルを決定する方法に関する。方法は、
第1の期間において、人間が既定のタスクを実行することに応答して、人間の脳を第1のタイプの既定の刺激に暴露し、これによって、人間の脳に知覚負荷を誘導するステップと、
第2の期間において、人間の脳を、第1のタイプの既定の刺激及び人間の脳によって近く可能な第2のタイプの既定の刺激に暴露するステップと、
第1の期間及び第2の期間の人間の脳の代謝活性を、機能的近赤外線分光法(fNIRS)センサ装置を用いて測定するステップと、
第2のタイプの刺激の知覚のレベルを、第1の期間に関連する第2の期間の代謝活性の測定された変化の関数として決定するステップと、
を備える。
決定した上記知覚のレベルは、第2のタイプの刺激を実際に感知する場合(肯定)と、視界にあるにもかかわらず第2の刺激を何ら感知しない逆のケース(見えても見えない場合)の両方を含んでもよい。例えば、知覚のレベルが“0”である場合、知覚がないと判断してもよい。知覚のレベルが“100”である場合、知覚があると判断してもよい。
第1の時間及び第2の時間は、任意の順番及び長さであってもよい。それらを複数回繰り返してもよい。
第2のタイプの刺激を有する時間及び第2のタイプの刺激がない時間が存在する限り、負荷測定を連続的なものと理解することができる。
一般的には、第2のタイプの刺激の知覚のレベルを決定する方法は、人間の脳の知覚負荷を決定する方法の態様と組み合わせることができる。
既定のタスクは、運転タスクであってもよい。本開示によれば、運転タスクが既定のタスクのタイプ、例えば、操舵、加速、ブレーキ等を備えるという意味で運転タスクが既定の(又は所定の)ものであると理解されることに留意されたい。さらに、人間が反応する必要がある刺激は、運転タスクを実行するために、道路の曲がり角、他の車両等のような既定のすなわち予測される刺激である。
第1のタイプは、タスク−1次タイプであってもよく、第2のタイプは、タスク−2次タイプであってもよい。
換言すれば、実行されるタスクは、主に、第1のタイプの(すなわち、タスク−一次タイプ刺激によって規定される)刺激に依存する。第2のタイプの刺激は、実行されるタスクに影響を及ぼさないことがある及び/又は突然であるが時間的に制限された反応しか要求しないことがある。一例として、タスクを、運転(例えば、「仕事の後に車で家に帰る」)とすることができ、タスク−2次刺激タイプを、歩行者の突然の出現とすることができる。例えば、歩行者が通りを横断しない場合、歩行者の出現は、運転タスクに影響を及ぼさない。いずれにせよ、ドライバが歩行者に気付くことは重要な予防的措置である。
他の例において、自動運転の状況下では、タスクは、車両中での映画鑑賞となることができ、第1のタイプの刺激は、表示された映画であり、第2のタイプの刺激は、車両の外側の運転シーンにおける歩行者の突然の出現又は他の発生となることができる。例えば、車両の自動運転システムは、発生に自律的に反応してもよい。いずれにせよ、車両の乗員(及び/又は意図したドライバ)が発生に気付くか否かをチェックすることも予防的措置となることができる。
第1の期間に関連する第2の期間の代謝活性の測定された変化が、既定の(又は所定の)(第2の上限)しきい値を越える場合、第2のタイプの刺激の知覚のレベルが既定の最小知覚レベルを超えると判断してもよい。
例えば、そのような場合、予防的措置を取る必要がなく、例えば、警報信号をトリガする必要がない又は運転制御を引き継ぐ自動運転システムをアクティブにする必要がない。
第1の期間に関連する第2の期間の代謝活性の測定された変化が、既定の(又は所定の)しきい値を越えない場合、人間の脳が第2のタイプの刺激を知覚しない及び/又は人間の脳が第2のタイプの刺激に注意を向けなかったと判断してもよい。
例えば、そのような場合、予防的措置を取ることができ、例えば、警報信号をトリガする又は運転制御を引き継ぐ自動運転システムをアクティブにする。
方法は、人間によって実行される既定のタスクを生成するステップ及び/又は人間によって実行される既定のタスクを検知するステップを更に備えてもよい。
例えば、実験的テストの場合、既定のタスクを完全に生成することができる。また、運転タスクの場合において、タスクは、車両の動き(例えば、速度及び向き)によって部分的に生成されてもよい/影響が及ぼされてもよい。いずれにせよ、運転タスクの場合、上記タスクを、例えば、種々のセンサ、例えば、光学センサ、速度センサ等を用いて検知してもよい。
方法は、人間が特に運転タスクを備える既定の(又は所定の)タスクを実行することに応答して、人間の脳を、特に運転シーンを備える第1のタイプの既定の(又は所定の)刺激に暴露するステップを更に備えてもよい。
第1のタイプの刺激は、タスクを実行するときに人間によって注意が向けられてもよい。
例えば、実行されるタスクが運転タスクである場合、第1のタイプの刺激は、人間が操舵タスクを実行する必要があることに応答した、運転シーン、例えば、道路の曲がり角の注意が向けられた刺激であってもよい。
第2のタイプの刺激は、タスクを実行するときの人間が注意を向けない刺激となるようにタスクによって予め決定されない。
例えば、実行されるタスクが運転タスクである場合、第2のタイプの刺激は、運転シーン、例えば、道路を転がるサッカーボールの注意が向けられない刺激であってもよい。
脳の全体的なエネルギー消費は、略一定であることが知られており、ニューラルスパイキングの生体エネルギーコストは高く、利用できるリソースの有効利用を必要とする。発明者は、(低負荷に対する)高負荷のタスクの追加の処理要求に関連したエネルギー消費が増加すると注意が向けられない刺激の処理に対する代謝リソースが少なくなることを見いだした。
第1のタイプの刺激は、既定のタスクの複雑性が相応に変化するように可変である(すなわち、変化してもよい)。
さらに、本開示は、人間の脳の知覚負荷を決定するシステムに関する。システムは、
人間の脳の代謝活性の変化を測定するように構成された機能的近赤外線分光法(fNIRS)センサ装置と、
知覚負荷を代謝活性の測定された変化に基づいて決定する制御装置と、
を備える。
一般的には、上記システムは、特に人間の脳の知覚負荷を決定する方法の上述した方法形態に対応する一つ以上のシステム形態を備えてもよい。
知覚負荷は、人間によって実行される既定の(又は所定の)タスクによって誘導されてもよい。
システムは、人間によって実行される既定の(又は所定の)タスクを生成する及び/又は人間によって実行される既定の(又は所定の)タスクを検知するように構成された生成及び/又は検知装置を更に備えてもよい。
また、本開示は、人間の脳による刺激の知覚のレベルを決定するシステムに関する。システムは、
第1の期間及び第2の期間の人間によって実行される既定の(又は所定の)タスクを生成及び/又は人間によって実行される既定の(又は所定の)タスクを検知し、
第2の期間の人間の脳によって感知される既定の(又は所定の)刺激を生成及び/又は検知するように構成された生成及び/又は検知装置と、
第1の期間及び第2の期間の人間の脳の代謝活性を測定するように構成された機能的近赤外線分光法(fNIRS)センサ装置と、
刺激の知覚のレベルを、第1の期間に関連する第2の期間の代謝活性の測定された変化の関数として決定する制御装置と、
を備える。
上記刺激は、望ましくは、上述した方法の「第2のタイプの刺激」に対応する。一般的には、上記システムは、特に人間の脳の第2のタイプの刺激の知覚のレベルを決定する方法の上述した方法形態に対応する一つ以上のシステム形態を備えてもよい。
さらに、上記システムは、上述した人間の脳の知覚負荷を決定するシステムであってもよい、又は、上記システムは、上述した人間の脳の知覚負荷を決定するシステムと組み合わせることができてもよい。
生成及び/又は検知装置は、人間が既定の(又は所定の)タスクを実行する必要があることに応答して、第1のタイプの既定の刺激を生成するとともに人間の脳を第1のタイプの既定の刺激に暴露するように構成されてもよい。
代替的に又は追加的に、生成及び/又は検知装置は、人間によって実行される既定の(又は所定の)タスクを検知するように構成されてもよい。
ブロードバンド機能的近赤外線分光法(fNIRS)センサ装置を、代謝活性の変化をテストするのに用いてもよい。センサ装置を、酸素化(HbO2)及び/又は脱酸素化(HHb)ヘモグロビンの濃度変化に加えてシトクロムcオキシターゼ(oxCCO)の酸化還元状態変化及び細胞の酸素代謝を示すミトコンドリア酵素をモニタするように構成してもよい。
ニューロン活性化中のエネルギー要求の増大は、ミトコンドリアの酸化的リン酸化によってほとんどカバーされる。したがって、oxCCO活性を測定することによって、神経反応中のエネルギー消費の増大に関連する代謝活性の変化をモニタすることができる。本開示によって、異なるレベの知覚負荷の下で光学的に同一の刺激によって誘発される代謝活性を直接比較することができる。
機能的近赤外線分光法(fNIRS)センサは、細胞の酸素代謝を示すミトコンドリア酵素、特に、シトクロムcオキシターゼ(oxCCO)の酸化還元状態変化を測定するように構成されてもよい。
制御装置は、細胞の酸素代謝を示すミトコンドリア酵素、特に、シトクロムcオキシターゼ(oxCCO)の測定された酸化還元状態変化に基づいて、知覚負荷を決定するように構成されてもよい。
代謝活性の測定された変化は、人間の脳の神経反応中のエネルギー消費の増大を表してもよい。
機能的近赤外線分光法(fNIRS)センサ装置は、酸素化(HbO2)及び/又は脱酸素化(HHb)ヘモグロビンの濃度変化を測定するように更に構成されてもよい。
制御装置は、酸素化(HbO2)及び/又は脱酸素化(HHb)ヘモグロビンの測定された濃度変化に基づいて、脳の関心領域を予め選択し、脳の予め選択した関心領域の代謝活性の測定された変化に基づいて、知覚負荷を決定してもよい。
機能的近赤外線分光法(fNIRS)センサ装置は、人間の脳の後頭葉及び/又は右内側後頭回の代謝活性の変化を測定するように構成されてもよい。
制御装置は、後頭葉及び/又は右内側後頭回の代謝活性の測定された変化に基づいて、知覚負荷を決定するように構成されてもよい。
センサ装置は、例えば、650nm〜900nmの範囲を検知するように構成されたブロードバンド機能的近赤外線分光法(fNIRS)センサ装置でであってもよい、
例えば、頭部用のブロードバンドfNIRSセンサ装置を、注意が向けられるタスクの知覚負荷のレベルと注意が向けられない刺激に対する応答を視覚野で識別する際に脳信号(HbO2,HHb,oxCCO)の強度を測定及び検出する新たな方法を確立するのに用いてもよい。
ブロードバンドfNIRSは、シトクロムcオキシターゼの酸化還元状態(oxCCO)並びに酸素化レベル及び脱酸素化レベル(HbO2及びHHb)を介して脳代謝を測定してもよい。
代謝測定は、神経反応に直接関連し、それに対し、血管反応の測定であるHbO2及びHHbは、神経反応についての結論に間接的にしか導かない。
所望の代謝反応は、今までの従来のfNIRSで利用できない。その理由は、今までの従来のfNIRSがブロードバンドではなく2,3の波長しか用いないからである。
減少した代謝の測定は、望ましくは、タスクを実行する間の注意が向けられない刺激が負荷の減少した注意が向けられたタスクの条件よりも増大した負荷を示すことを表す。新たなデータの最初の分析は、注意が向けられた刺激に応答した増大した代謝も表す。
センサ装置は、脳の後頭葉に複数の測定チャネルを設けるように構成された複数のソース及び複数の検出器を備えてもよい。
測定チャネルは、脳の一次視覚野(V1)の外側の範囲及び/又は線条体外領域(V2,V3及びV4)の全体に亘って広がってもよい。
測定チャネルは、特に、左/右下後頭回(IOG)、左/右中後頭回(MOG)及び/又は内側後頭葉を含む脳の複数の関心領域にグループ分けされてもよい。
一般的には、(例えば、実際の運転シーンの観点から)測定した結果が正確でないことがあるために開示による決定、例えば、「知覚負荷の決定」を推定とみなしてもよいことに留意されたい。
さらに、開示は、上述した制御装置を備える車両に関する。
車両は、視覚的な運転シーン及び/又はドライバの顔、特に、眼/瞳孔を検知するように構成されたセンサを更に備え、センサは、特に、光学センサであり、更に具体的には、少なくとも一つのデジタルカメラである。運転シーンは、第1のタイプの刺激であってもよい。
車両は、少なくとも部分的に自動化された運転制御のために構成されてもよい。制御装置を、ドライバの知覚負荷の増大を示す状況を識別するために運転制御の前処理段階で用いてもよい。
車両は、少なくとも部分的に自動化された運転制御のために構成されたハードウェアリソース及び/又はソフトウェアリソースを備えてもよい。
車両は、例えば、知覚負荷の増大に関する重大な状況について人間に情報を提供するように構成されたヒューマンマシンインタフェースを備えてもよい。したがって、ヒューマンマシンインタフェースは、ドライバの安全運転に貢献することができる。
追加的に又は代替的に、ヒューマンマシンインタフェースは、いわゆるテイクオーバーリクエストのために構成されてもよく、この場合、自動制御システムは、ドライバに車両操作の引き継ぎを要求する。そのような状況において、運転タスクに関連した運転シーンの知覚負荷を確実に決定できるようにすることが自動制御システムにとって重要である。別の例示的な構成は、自動制御システムが、例えば、決定された知覚負荷が特定のしきい値を超えたことをシステムによって認識された場合に運転制御を引き継ぐことである。
特に指定のない限り、上述した要素の組合せ及び明細書内の要素の組合せを行うことができることを意図する。
上述した一般的な説明及び以下の詳細な説明は、例示的であるとともに説明だけのためのものであり、特許請求の範囲にあるように、開示の限定するものではないことを理解すべきである。
この明細書に組み込まれるとともにその一部を構成する添付図面は、説明と共に開示の実施の形態を示し、その原理を説明する役割を果たす。
本開示の実施の形態による制御装置を有するシステムのブロック図を示す。 本開示の実施の形態による知覚負荷を決定する例示的な方法を示す概略フローチャートを示す。 本開示の実施の形態による知覚負荷を決定する例示的な方法を示す概略フローチャートを示す。 本開示の実施の形態による例示的な刺激の概略図を示す。 本開示の実施の形態による測定された代謝活性の例示的なレベルを有する図を示す。 本開示の実施の形態による第2のタイプの追加された刺激が原因の測定された代謝活性の例示的な変化を有する図を示す。 本開示の実施の形態によるタスクの複雑性の増大が原因の測定された代謝活性の例示的な変化を有する図を示す。
本開示の例示的な実施の形態を詳しく参照し、その例を添付図面に示す。可能な限り、同一又は同様のパーツを示すために図面を通じて同一の参照番号を用いる。
図1は、本開示の実施の形態による制御装置(又は電子装置)1を有するシステム10のブロック図を示す。
制御装置1は、(図示しない)データ記憶装置に接続されてもよい又は当該データ記憶装置を備えてもよい。上記データ記憶装置を、上述したように知覚負荷又は刺激知覚のレベルを決定するアルゴリズムを記憶するのに用いてもよい。
制御装置1は、システム10の別の機能を更に実行してもよい。例えば、制御装置は、システムの汎用ECU(電子制御装置)として機能してもよい。制御装置1は、電子回路、プロセッサ(共有、専用又はグループ)、組合せ論理回路、一つ以上のソフトウェアプログラムを実行するメモリ、及び/又は、上述した機能を提供する他の適切な構成要素を備えてもよい。
制御装置1は、fNIRセンサ装置2に更に接続される。制御装置1及びセンサ装置2は、システム10によって構成されてもよい。fNIRセンサ装置は、機能的近赤外線分光法であってもよい。望ましくは、fNIRセンサ装置は、例えば、650nm〜900nmの範囲(すなわち、赤色光から近赤外光までの)ブロードバンドセンサであってもよい。これに関連して、バンドは、光の波長であり、したがって、ブロードバンドは、光の膨大な数(多数)の波長を意味する。例えば、島津製作所のLightNIRシステムが三つのバンドの光を用いるのに対し、センサ装置10は、好適には、数百のバンドの光を用いる。
fNIRセンサ装置2は、細胞の酸素代謝を示すミトコンドリア酵素、特に、シトクロムcオキシターゼ(oxCCO)の酸化還元状態変化を測定してもよい。
fNIRセンサ装置2は、人間hの脳の代謝活性を測定するように構成されてもよい。センサ装置は、特に、視覚野、更に具体的には、一次視覚野(V1)の外側の範囲及び(V2,V3及びV4を含む)線条体外領域での測定を行ってもよい。
fNIRS装置は、(5個の検出器の行、4個のソースの行及び5個の検出器の行として配置された)4個のソース及び10個の検出器を備え、その結果、人間の後頭葉に合計16個の測定チャネルとなる。オプトードを、10−20電極システムに従って配置してもよく、全ての位置の配置を、標準化された脳のチャネル位置にマッピングできるように設計してもよい。平均MNI座標に関連付けられた解剖学的領域に基づいて、測定チャネルを、5個の関心領域:(AALデジタル脳地図に基づく)左/右内側後頭回(IOG)、左/右中後頭回(MOG)及び内側後頭部にグループ分けしてもよい。機能的には、これは、チャネルが一次視覚野(V1)の外側の範囲及び(V2,V3及びV4を含む)線条体外領域の全体に亘って望ましく広がることを意味する。セットアップは、後頭皮質又は注意及び知覚に関連した他の非室領域、例えば、頭頂葉皮質及び聴覚側頭皮質にある他の形態であってもよい。
後頭皮質の好適な関心領域(ROI)は、左中後頭回(MOG)、内側後頭葉、右MOG及び/又は右内側後頭回(IOG)である。
適切な解剖学的部位を、各チャネルに対する平均MNI座標の次の表に示す。
Figure 2021524787
さらに、システム10は、生成及び/又は検知装置20に接続されている又は生成及び/又は検知装置20を備える。装置20は、人間hが暴露される刺激を生成及び/又は検知するように構成される。したがって、装置20が刺激生成器として構成される場合、システム10、特に、制御装置1は、装置20を制御する。装置20が刺激センサとして構成される場合、システム10、特に、制御装置1は、装置20のセンサデータを受信する。生成器及びセンサとしての装置20の組合せ形態も可能である。
刺激に関して、人間の脳が知覚できる限りあらゆる種類の刺激が可能である。図4に関連して後に説明する基本的な刺激領域の例では、システム10は、主に実験テストシステムとしての役割を果たす。
しかしながら、システムを、現実的な応用、例えば、車両で用いてもよい。この場合、(後に詳しく説明する)第1のタイプの刺激は、例えば、ドライバ(すなわち、人間h)によって知覚できる視覚的かつ動的な運転シーンから構成されてもよい。
生成及び/又は検知装置20は、視覚的な運転シーンを検知するように構成されたセンサを備えてもよく、センサは、特に、光学センサであり、更に具体的には、少なくとも一つのデジタルカメラである。
したがって、運転シーンを検知(すなわち、知覚)するために、複数のセンサを用いてもよい。例えば、運転シーンの3次元情報、サラウンドビュータイプセンサ形態及びその組合せを取得するために、二つのセンサを用いてもよい。
装置20のセンサデータを、システム10、特に、制御装置1に供給してもよい。
さらに、(後に詳しく説明する)第2のタイプの刺激は、例えば、視覚的かつ動的な運転シーンの既定のイベント、例えば、走行車線を通過する又は走行車線に近づく人から構成されてもよい。この場合、第2のタイプの刺激を、(例えば、第1のタイプの刺激と同じ方法で)検知するとともに装置20によって識別してもよく、各情報をシステム10に提供してもよい。代替的には、制御装置は、装置20のセンサ出力を受信し、例えば、機械学習技術に基づいて、それ自体で第2のタイプの刺激を識別してもよい。
第2のタイプの刺激は、装置20によって生成される刺激、例えば、既定の音又は光信号から構成されてもよく、それは、ドライバによって知覚することができる。この場合、システム10、特に、制御装置1は、装置20の出力を制御してもよい。
生成及び/又は検知装置20は、第1のタイプの刺激の知覚に応答して特定のタスクを実行するよう人間に指示するように構成されてもよい。この場合は、例えば、図4の状況における実験状況に特に関連する。
代替的には、装置は、第1のタイプの刺激によって示された(すなわち、提供された)タスクを決定してもよい。この場合は、例えば、車両の運転における現実的な応用に特に関連する。この例において、第1のタイプの刺激は、運転シーンであってもよく、したがって、関連のタスクは、車両の運転を備えてもよい。
例えば、運転シーンは、ブレーキ(タスク)を示してもよい。この場合、ドライバによって実行されるタスクは、運転シーン、すなわち、第1のタイプの(検知される)刺激に依存する。他の例において、装置20は、スケジュールされた目的地に基づいて、ドライバが現在の道路を離れる必要があるとともに新たな道路に到達するために左又は右に曲がって車線(高い知覚負荷)又は空いた道路(低い知覚負荷)を横切る必要があると決定してもよい。この場合、ドライバによって実行されるタスクは、運転シーン、すなわち、第1のタイプの(検知された)刺激及びドライバに与えられる外部の命令に依存する。要約すると、タスクは、状況に依存する。
以下、制御装置1の機能、特に、fNIR装置2及び生成又は検知装置20からのセンサデータを処理する方法を、図2及び図3に関連して更に詳しく説明する。
図2は、本開示の実施の形態による知覚負荷を決定する例示的な方法を示す概略フローチャートである。
ステップS21において、人間の脳の代謝活性ma11を、人間によって実行される第1の複雑性レベルc1を有するタスクの間に測定する。更に詳しくは、人間は、第1のタイプの刺激に暴露されてもよく、第1のタイプの刺激を知覚するように命令されるとともにそれに反応して既定のタスクを実行してもよい。実行されるタスクのために、知覚負荷が人間の脳に誘導され、これによって、測定可能な代謝活性が生じる。
ステップS22において、ステップS21の手順が繰り返されるが、タスクの複雑性レベルc2が増大する。このように増大した複雑性を、対応して更に複雑になった第1のタイプの刺激によって制御してもよい。ステップS22において、代謝活性ma12が測定される。
ステップS21及びS22が他の順序を有してもよい。ステップS21及びS22を複数回繰り返してもよく、例えば、各測定の平均値が決定される。
ステップS23において、人間の脳の知覚負荷(pl)を、ステップS21で測定された代謝活性ma11とステップS22で測定された代謝活性ma12の間の代謝活性の変化に基づいて決定(又は推定)する。一般的には、著しい変化は、人間の脳が知覚及び/又はタスクの制御の維持が可能のままであることを示す。
ステップS24において、(測定された)変化が既定の第1のしきい値を超えたか否か判断する。
そうでない場合、ステップS25において、知覚負荷が既定の負荷しきい値、例えば、既定値又は最大脳能力を超えたと判断する。人間の脳が(例えば、複雑性が増大したためにもはや)タスクに注意を向けなかったとしてもよい。例えば、方法を車両で用いるとともに関連のタスクが運転タスクである場合、自動運転システムが運転制御を引き継いでもよい。
図3は、本開示の実施の形態に従って第2のタイプの(注意を向けない)刺激の知覚のレベルを決定する方法を示す概略フローチャートを示す。
ステップS31において、第1のタイプの刺激の間に代謝活性ma21が測定される。更に詳しくは、人間は、第1のタイプs1の刺激に暴露され、第1のタイプの刺激を知覚するように命令され、それに反応して既定のタスクを実行する。刺激の知覚及び実行されるタスクのために、知覚負荷が人間の脳に誘導され、これによって、測定可能な代謝活性が生じる。
ステップS32において、ステップS31の手順が繰り返されるが、望ましくは第1のタイプs1の刺激と同時に第2のタイプs2の刺激に人間を暴露する。
第2のタイプの刺激は、望ましくは人間によって実行される既定のタスクに関連せず、1次タスク刺激に弱く関連してもよい又は2次刺激として1次タスク刺激に関連してもよい。換言すれば、第2のタイプの刺激を、刺激の1次刺激に関連したタスク以外の追加のタスクを行うことなく人間によって知覚され、したがって、注意が向けられるようにしてもよい。すなわち、fnirsセンサを、刺激に注意が向けられたか否かを判断するのに用いてもよい。方法を、注意が向けられる必要があるがタスク関連刺激の2次レベルの重要性を有する刺激に適用してもよい。
また、ステップS32において、代謝活性ma22を測定するが、代謝活性ma22は、(ステップS31のma21のような)第1のタイプの刺激による影響が及ぼされるだけでなく第2のタイプs2の刺激による影響が及ぼされる。
ステップS31及びS32が他の順序を有してもよい。ステップS31及びS32を複数回繰り返してもよく、例えば、各測定の平均値が決定される。
ステップS33において、第2のタイプ(s2)の刺激の知覚のレベルを、ステップS31で測定した代謝活性ma21とステップS32で測定した代謝活性ma22の間の代謝活性の変化に基づいて決定(又は推定)する。一般的には、変化の減少は、第2のタイプの刺激の知覚のレベルが低減したことを表す。換言すれば、大きい変化は、人間の脳が知覚及び/又はタスクの制御の維持が可能のままであることを表す。
ステップS34にいて、(測定された)変化が既定の第2のしきい値を超えるか否かを判断してもよい。
そうでない場合、ステップ35において、第2のタイプの刺激が感知されなかった又は少なくとも十分に感知されなかったと判断される。例えば、方法が車両に用いられるとともに第2のタイプの刺激が運転シーンの識別される潜在的に危険なイベントである場合、警報信号が有効になり、自動運転システムは、予防的措置として運転制御を引き継いでもよい。
図4は、本開示の実施の形態による例示的な刺激の概略図を示す。特に、図4は、実験で使用される刺激を示し、この場合、関係者は、種々の色及び形状の十字が出現する形態の第1のタイプの異なる刺激及びランダムに出現する又は(例えば、)n(n>1)回の刺激ごとに出現するチェッカーボードの形態の第2のタイプの刺激に暴露される。
更に詳しくは、関係者には、二つの異なる向き(直立/反転)を有する有色の十字の急速な流れが示される。(上向きの矢印によって示されるブロックを見る)高負荷ブロックの間、ターゲットは、向きと色の組合せによって特徴付けられ、それに対し、(下向きの矢印によって示されるブロックを見る)低負荷ブロックの間、ターゲットは、色のみによって特徴付けられる。視覚的なシミュレーションが両方の条件において同一であるとともにターゲット命令のみが変わることに留意されたい。
各ブロックは、例えば、25秒の持続時間を有し、25秒の残り時間が続く。トライアルの途中では、全領域でちらつきのあるチェッカーボードが周辺に示され、関係者は、無視するように命令される。
注意が向けられない刺激に反応するoxCCO信号の変化が負荷のレベルによって変調されるという仮説を検証するために、負荷及び妨害の存在(すなわち、第2のタイプの刺激の存在)の二つの要因を有する反復測定ANOCA(分散分析)を、各関心領域(ROI)で行ってもよい。
図5は、本開示の実施の形態による測定された代謝活性の例示的なレベルを有する図を示す。特に、図5は、各脳領域に対する四つの平均(すなわち、テスト結果)を示す。これらは、第2のタイプの追加の刺激(すなわち、チェッカーボード)を有する高負荷状態、第2のタイプの追加の刺激を有しない高負荷状態、第2のタイプの追加の刺激を有する低負荷状態及び第2のタイプの追加の刺激を有しない低負荷状態に対応する。二つの領域(内側後頭葉及び右MOG)において、チェッカーボードが存在しない状態からチェッカーボードが存在する状態への相対的な増大は、高知覚負荷の下よりも低知覚負荷の下の方が著しく大きい(すなわち、チェッカーボードは、簡単なタスクの間に更に強く知覚される。)。
図6は、本開示の実施の形態による第2のタイプの追加の刺激による測定された代謝活性の例示的な変化を有する図である。図5と比較すると、図6は、高負荷及び低負荷におけるチェッカーボードが存在する状態とチェッカーボードが存在しない状態の間の相対的な差(すなわち、チェッカーボードが存在するときの値からチェッカーボードが存在しないときの値を減算したもの)を示す。
特に、図6は、高い知覚負荷の状態及び低い知覚負荷の状態の下での第2のタイプの刺激の存在に関連するoxCCO濃度変化の比較(存在−不在)を示す。高負荷の間より低負荷の間の方がチェッカーボードの存在に反応する信号の著しい増大が内側後頭葉及び右内側後頭回で見つけられた。エラーバーは、標準誤差を表す。
負荷と妨害の存在(すなわち、第1のタイプの刺激及び第2のタイプの刺激)の間の相互作用は、内側後頭葉で著しくなる(F(1,12)=9.18,p=.010)及び右MOGで著しくなる(F(1,9)=10.39,p=.010)。この相互作用の向きは予測された。両方のROIに対して、存在状態と不在状態の間の信号変化の差は、高負荷の場合(内側後頭葉:M=0.018μM,SD=0.019;右MOG:M=0.011μM,SD=0.011)よりも低負荷の場合(内側後頭葉:M=0.029μM,SD=0.019;右MOG:M=0.029μM,SD=0.018)の方が大きかった。事後の対応のあるtテストは、両方のROIにおいて低負荷(内側後頭葉:t(12)=5.52,p<.001;右MOG:t(9)=5.29,p=.001)及び高負荷(内側後頭葉:t(12)=3.40,p<.005;右MOG:t(9)=3.20,p=.011)における妨害の存在の単純な主影響が存在することを確認した。妨害の不在に対する妨害の存在の注意が向けられるoxCCO信号の傾向は、左IOGから離れた他の全てのROIで一貫していた(図5参照)。これは、妨害の存在に関連する代謝活性が低負荷の状態よりも高負荷の状態で小さくなることを示す。発明者の知識によれば、これは、負荷に依存する注意変調が視覚野の脳代謝に影響を及ぼすという第1の直接的な証拠である。
この結果は、視覚野の反応の神経反応の負荷変調を測定するために血液酸素レベル依存(BOLD)信号を用いた以前のfMRIの発見に一致する(Rees等,1997;Schwartz等,2005;Torralbo等,2016)。しかしながら、これらの以前の発見は、脳のエネルギー消費に直接関連しない。BOLD信号は、HHbの常磁性を利用する。神経活動中、HHbの濃度は、脳血流の変化、脳血液量の変化及び細胞代謝の変化の複雑な相互作用のために減少する。血流の著しく大きい変化は、増大したエネルギー要求の直接的な結果ではなく、グルタミン酸のシグナル伝達によってトリガされる。重要なのは、それらの間の結合が空間及び時間に亘って可変であるとともに神経活性化によって影響が及ぼされるので、二つのプロセスを互いに同一視すべきでない。したがって、HHbのレベルを測定するBOLD信号は、脳代謝に特有の仮説を検証するのに適切でない。
本開示で説明した結果は、抹消チェッカーボード刺激の注意が向けられる観察状態及び注意が向けられない観察状態の間の脳酸素消費量(CMRO2)を数学的に推定するためにBOLD信号及び脳血流(CBF)を測定するfMRIを用いたMradi等(2012)による最近の発見に適合する。注意が向けられない状態は、集中的なnバック課題で構成されていたのに対し、注意が向けられた状態は、スクリーンの中央を固定する間に注意のチェッカーボードにひそかに注意を移動させるとともに輝度の変化を検出する関係者を必要とした。しかしながら、この実験では目の動きを制御することができず、注意が向けられた状態と注意が向けられない状態の間の差は、(注意のひそかな移動ではなく)注意が向けられた状態の間のチェッカーボードの固定によって生じた強い視覚信号が原因である可能性がある。
本開示によれば、図4〜6に関連して説明したように、関係者は、高負荷(注意が向けられない)状態及び低負荷(注意が向けられた)状態の間にスクリーンの中央でタスクを実行する必要があり、チェッカーボードの妨害は、両方の状態に関連しなかった。さらに、高速の刺激提示は、この固定を支持することを確実にした。
負荷理論の知覚処理の制限された能力モデルは、知覚処理の能力制限のあり得る生理的相関物として代謝に焦点を当てる図4〜6に関連して上述した結果によってサポートされる。脳の全体的なエネルギー消費は、精神状態に関係なく比較的一定のままである。しかしながら、ニューラルスパイキングは、代謝的に非常に高価である。これによって、関連情報を表すために非常に少ない活性ニューロンを用いることによってリソースが節約されるスパースコーディングモデルの提案につながった。本開示は、そのようなモデルをサポートする。その理由は、他の刺激の処理の増大がタスク要求のために必要となる状態の下で代謝活性が著しく減衰することを本開示が示すからである。特に、高負荷状態の下でタスクに関係ない刺激の表示を減らすことによって節約される代謝リソースは、注意が向けられたタスクに関係ある刺激の表示を改善するために実際に用いられる。
結論として、図4〜6に関連して上述した結果は、タスクに関係ない刺激に対する有線皮質及び外線条皮質の脳代謝が低知覚負荷の状態の間よりも高知覚負荷の状態の間に著しく減少する。これらの注意によって誘発される細胞代謝の負荷依存変化は、知覚負荷理論の枠組みの中で説明される(例えば、Lavie, Nilli; Tsal, Yehoshua (1994). "Perceptual load as a major determinant of the locus of selection in visual attention", Perception and Psychophysics, 56 (2): 183-197, Lavie, N. (1995). Perceptual load as a necessary condition for selective attention. Journal of Experimental Psychology: Human Perception and Performance, 21, 451-468, Lavie, N. (2005) Distracted and confused?: selective attention under load. Trends in Cognitive Sciences, 9, 75-82, and Lavie, N., Beck, D. M. & Konstantinou, N. (2014). Blinded by the load: attention, awareness and the role of perceptual load. Philosophical Transactions of the Royal Society B: Biological Sciences, 369: 20130205) and accommodate a wealth of neuroimaging findings that found reduced BOLD responses (Rees et al., 1997; Schwartz et al., 2005; Torralbo et al., 2016), neural excitability (Muggleton et al., 2008) and neural field potentials for task-irrelevant stimuli under high load conditions参照)。重要なのは、代謝が負荷によって直接的に影響が及ぼされ、したがって、代謝が負荷論理で概説されている能力制限の神経相関である可能性があることを示している。さらに、本開示は、マルチチャネルのブロードバンドfNIRSが有利なニューロイメージングツールとなることができる方法を示す。その理由は、BOLD信号のような測定で不可能である欠陥因子と代謝因子との区別を可能にするからである。
図7は、人間によって実行されるタスクの知覚負荷の変化による測定された代謝活性の例示的な変化の図を示す。タスクは、図4と同一であるが、十字は更に大きく、パターン化されていた。特に、図7は、チェッカーボードのちらつきのない場合(第2のタイプの刺激)の低負荷タスクと高負荷タスクの間のoxCCO濃度変化の比較を示す。タスクの知覚負荷の増大に応答した著しく大きい信号の増大が見られた。エラーバーは、標準誤差を示す。
本例において、チャネル8を測定に用いた。fMRIシステムは、各ソースと検出器の間に存在する測定チャネルを有する。この例示的な場合において、チャネル8は、高負荷と低負荷の間の測定された変化が統計的有意義性に到達した後頭葉(左内側後頭回)の位置を意味する。したがって、望ましくは、測定は後頭葉で行われる。
特許請求の範囲を含む説明全体を通して、用語「備える」は、特に明記しない限り「少なくとも一つを備える」と同義であると理解すべきである。さらに、特区請求の範囲を含む説明に記載された範囲は、特に明記されない限りその(一つ以上の)終値を含むものと理解すべきである。上記構成要素の特定の値は、当業者に知られている許容された製造公差又は産業公差内にあるものと理解すべきであり、用語「略」及び/又は「約」及び/又は「一般的には」は、そのような許容範囲内にあることを意味するものと理解すべきである。
ここでの本開示を特定の実施の形態を参照しながら説明したが、これらの実施の形態は、原理及び本開示の応用の例示にすぎないことを理解すべきである。
明細書及び例を例示としてのみみなされることが意図され、開示の真の範囲は、特許請求の範囲によって示される。

Claims (21)

  1. 人間の脳の知覚負荷を決定する方法であって、
    前記知覚負荷は、人間によって実行される既定のタスクによって誘導され、
    前記タスクが実行される間に人間の脳の代謝活性を、機能的近赤外線分光法(fNIRS)センサ装置を用いて測定するステップと、
    前記知覚負荷を、前記代謝活性の測定された変化の関数として決定するステップと、
    を備える方法。
  2. 前記既定のタスクは、相応に変動する知覚負荷を誘導する変動する複雑性を備え、
    前記代謝活性が既定の量より大きく変化する場合、人間の脳が知覚及び/又は前記タスクの制御の維持が可能のままであると判断し、及び/又は、
    前記複雑性が増大するのと同時に前記代謝活性の測定された変化が既定の第1の上限しきい値を超えない場合、前記既定のタスクによって誘導された前記知覚負荷が知覚負荷しきい値を超える及び/又は人間の脳が前記タスクに注意を向けなかったと判断し、及び/又は、
    前記複雑性が減少するのと同時に前記代謝活性の測定された変化が前記第1の上限しきい値より下に減少しない又は既定の第の下側しきい値を越えない場合、人間の脳が前記タスクに気を配らなかったと判断する、請求項1に記載の方法。
  3. 人間の脳による第2のタイプの刺激の知覚のレベルを決定する方法であって、
    第1の期間において、人間が既定のタスクを実行することに応答して、人間の脳を第1のタイプの既定の刺激に暴露し、これによって、人間の脳に知覚負荷を誘導するステップと、
    第2の期間において、人間の脳を、前記第1のタイプの既定の刺激及び人間の脳によって近く可能な第2のタイプの既定の刺激に暴露するステップと、
    前記第1の期間及び前記第2の期間の人間の脳の代謝活性を、機能的近赤外線分光法(fNIRS)センサ装置を用いて測定するステップと、
    前記第2のタイプの刺激の知覚のレベルを、前記第1の期間に関連する前記第2の期間の前記代謝活性の測定された変化の関数として決定するステップと、
    を備える方法。
  4. 前記第1のタイプは、タスク−1次タイプであり、前記第2のタイプは、タスク−2次タイプである、請求項3に記載の方法。
  5. 前記第1の期間に関連する前記第2の期間の前記代謝活性の測定された変化が、既定の第2の上限しきい値を越える場合、前記第2のタイプの刺激の知覚のレベルが既定の最小知覚レベルを超えると判断し、及び/又は、
    前記第1の期間に関連する前記第2の期間の前記代謝活性の測定された変化が、前記第2の上限しきい値を越えない場合、人間の脳が前記第2のタイプの刺激を知覚しない及び/又は人間の脳が前記第2のタイプの刺激に注意を向けなかったと判断する、請求項3又は4に記載の方法。
  6. 人間によって実行される前記既定のタスクを生成するステップ及び/又は人間によって実行される前記既定のタスクを検知するステップを更に備える、請求項1〜5のいずれか一項に記載の方法。
  7. 人間が特に運転タスクを備える既定のタスクを実行することに応答して、前記人間の脳を、特に運転シーンを備える第1のタイプの既定の刺激に暴露するステップを更に備える、請求項1〜6のいずれか一項に記載の方法。
  8. 前記第1のタイプの刺激は、前記タスクを実行するときに人間によって注意が向けられる、及び/又は
    前記第2のタイプの刺激は、前記タスクを実行するときの人間によって注意が向けられない刺激となるように前記タスクによって予め決定されない、請求項1〜7のいずれか一項に記載の方法。
  9. 前記第1のタイプの刺激は、前記既定のタスクの複雑性が相応に変化するように可変である、請求項1〜8のいずれか一項に記載の方法。
  10. 人間の脳の知覚負荷を決定するシステムであって、
    人間の脳の代謝活性の変化を測定するように構成された機能的近赤外線分光法(fNIRS)センサ装置と、
    前記知覚負荷を前記代謝活性の測定された変化に基づいて決定する制御装置と、
    を備えるシステム。
  11. 前記知覚負荷は、人間によって実行される既定のタスクによって誘導される、及び/又は、
    人間によって実行される既定のタスクを生成する及び/又は人間によって実行される既定のタスクを検知するように構成された生成及び/又は検知装置を更に備える、請求項10に記載のシステム。
  12. 人間の脳による刺激の知覚のレベルを決定するシステムであって、
    第1の期間及び第2の期間の人間によって実行される既定のタスクを生成及び/又は人間によって実行される既定のタスクを検知し、
    前記第2の期間の人間の脳によって感知される既定の刺激を生成及び/又は検知するように構成された生成及び/又は検知装置と、
    前記第1の期間及び前記第2の期間の人間の脳の代謝活性を測定するように構成された機能的近赤外線分光法(fNIRS)センサ装置と、
    前記刺激の知覚のレベルを、前記第1の期間に関連する前記第2の期間の前記代謝活性の測定された変化の関数として決定する制御装置と、
    を備えるシステム。
  13. 前記機能的近赤外線分光法(fNIRS)センサは、細胞の酸素代謝を示すミトコンドリア酵素、特に、シトクロムcオキシターゼ(oxCCO)の酸化還元状態変化を測定するように構成された、請求項10〜12のいずれか一項に記載のシステム。
  14. 前記代謝活性の測定された変化は、人間の脳の神経反応中のエネルギー消費の増大を表す、請求項10〜13のいずれか一項に記載のシステム。
  15. 前記機能的近赤外線分光法(fNIRS)センサは、酸素化(HbO2)及び/又は脱酸素化(HHb)ヘモグロビンの濃度変化を測定するように更に構成された、請求項10〜14のいずれか一項に記載のシステム。
  16. 前記制御装置は、
    酸素化(HbO2)及び/又は脱酸素化(HHb)ヘモグロビンの測定された濃度変化に基づいて、脳の関心領域を予め選択し、予め選択した脳の関心領域の前記代謝活性の測定された変化に基づいて、前記知覚負荷を決定する、請求項10〜15のいずれか一項に記載のシステム。
  17. 前記機能的近赤外線分光法(fNIRS)センサ装置は、人間の脳の後頭葉及び/又は右内側後頭回の前記代謝活性の変化を測定するように構成され、
    前記制御装置は、後頭葉及び/又は右内側後頭回の前記代謝活性の測定された変化に基づいて、前記知覚負荷を決定するように構成された、請求項10〜16のいずれか一項に記載のシステム。
  18. 前記センサ装置は、特に650nm〜900nmの範囲を検知するように構成されたブロードバンド機能的近赤外線分光法(fNIRS)センサ装置である、請求項10〜17のいずれか一項に記載のシステム。
  19. 前記センサ装置は、脳の後頭葉に複数の測定チャネルを設けるように構成された複数のソース及び複数の検出器を備える、請求項10〜18のいずれか一項に記載のシステム。
  20. 前記測定チャネルは、脳の一次視覚野(V1)の外側の範囲及び/又は線条体外領域(V2,V3及びV4)の全体に亘って広がる、請求項10〜19のいずれか一項に記載のシステム。
  21. 前記測定チャネルは、特に、左/右下後頭回(IOG)、左/右中後頭回(MOG)及び/又は内側後頭葉を含む脳の複数の関心領域にグループ分けされる、請求項10〜20のいずれか一項に記載のシステム。
JP2020565947A 2018-05-25 2018-05-25 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法 Active JP7152520B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022101049A JP7392050B2 (ja) 2018-05-25 2022-06-23 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/063809 WO2019223880A1 (en) 2018-05-25 2018-05-25 System and method for determining the perceptual load and the level of stimulus perception of a human brain

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022101049A Division JP7392050B2 (ja) 2018-05-25 2022-06-23 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法

Publications (2)

Publication Number Publication Date
JP2021524787A true JP2021524787A (ja) 2021-09-16
JP7152520B2 JP7152520B2 (ja) 2022-10-12

Family

ID=62530198

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020565947A Active JP7152520B2 (ja) 2018-05-25 2018-05-25 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法
JP2022101049A Active JP7392050B2 (ja) 2018-05-25 2022-06-23 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022101049A Active JP7392050B2 (ja) 2018-05-25 2022-06-23 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法

Country Status (4)

Country Link
US (1) US20210153792A1 (ja)
JP (2) JP7152520B2 (ja)
CN (2) CN117679032A (ja)
WO (1) WO2019223880A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2617562A (en) * 2022-04-11 2023-10-18 Fc Laboratories Ltd Apparatus to monitor mental attention

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007061484A (ja) * 2005-09-01 2007-03-15 Toyota Motor Corp 注意喚起システム
JP2007183824A (ja) * 2006-01-06 2007-07-19 Advanced Telecommunication Research Institute International 運転支援装置
JP2009261588A (ja) * 2008-04-24 2009-11-12 Shimadzu Corp 光生体測定装置及びそれに用いられるホルダ配置支援システム
JP2011010714A (ja) * 2009-06-30 2011-01-20 Hitachi Ltd 生体光計測装置、ゲームシステムおよび生体信号発生方法
US20120184584A1 (en) * 2011-01-10 2012-07-19 Zinfandel Pharmaceuticals, Inc. Methods and drug products for treating alzheimer's disease
CN102715889A (zh) * 2012-06-11 2012-10-10 天津大学 一种脑力负荷检测方法
WO2013186911A1 (ja) * 2012-06-15 2013-12-19 株式会社日立製作所 刺激呈示システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10370012B2 (en) * 2017-03-09 2019-08-06 Ge Global Sourcing Llc Adaptive vehicle control system
BRPI0716106A2 (pt) * 2006-09-07 2014-07-01 Procter & Gamble Métodos de medição da resposta emocional e da preferência de escolha
US9005126B2 (en) * 2007-05-03 2015-04-14 University Of Washington Ultrasonic tissue displacement/strain imaging of brain function
US8069125B2 (en) * 2007-12-13 2011-11-29 The Invention Science Fund I Methods and systems for comparing media content
JP4518189B2 (ja) * 2008-05-28 2010-08-04 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
EP2649935A2 (en) 2012-04-12 2013-10-16 Canon Kabushiki Kaisha Evaluation method, evaluation device, program, and recording medium
US10839712B2 (en) * 2016-09-09 2020-11-17 International Business Machines Corporation Monitoring learning performance using neurofeedback
CN107788970B (zh) * 2017-11-15 2020-08-07 中国航天员科研训练中心 一种基于多生理参数方法融合的脑力负荷评估方法
US11717686B2 (en) * 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007061484A (ja) * 2005-09-01 2007-03-15 Toyota Motor Corp 注意喚起システム
JP2007183824A (ja) * 2006-01-06 2007-07-19 Advanced Telecommunication Research Institute International 運転支援装置
JP2009261588A (ja) * 2008-04-24 2009-11-12 Shimadzu Corp 光生体測定装置及びそれに用いられるホルダ配置支援システム
JP2011010714A (ja) * 2009-06-30 2011-01-20 Hitachi Ltd 生体光計測装置、ゲームシステムおよび生体信号発生方法
US20120184584A1 (en) * 2011-01-10 2012-07-19 Zinfandel Pharmaceuticals, Inc. Methods and drug products for treating alzheimer's disease
JP2017014296A (ja) * 2011-01-10 2017-01-19 ジンファンデル ファーマシューティカルズ インコーポレイテッド アルツハイマー病を治療するための方法及び製剤
CN102715889A (zh) * 2012-06-11 2012-10-10 天津大学 一种脑力负荷检测方法
WO2013186911A1 (ja) * 2012-06-15 2013-12-19 株式会社日立製作所 刺激呈示システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
室井みや: "選択的注意における知覚的負荷の影響 : 知覚的負荷とは?", 京都大学大学院教育学研究科紀要,[ONLINE], vol. 46巻, JPN7022000247, 31 March 2000 (2000-03-31), pages 183 - 195, ISSN: 0004690316 *
星詳子: "近赤外脳機能計測", 光学, vol. 30巻10号, JPN7022000248, 2001, pages 651 - 657, ISSN: 0004690317 *

Also Published As

Publication number Publication date
US20210153792A1 (en) 2021-05-27
CN117679032A (zh) 2024-03-12
JP7152520B2 (ja) 2022-10-12
JP2022128481A (ja) 2022-09-01
CN112384140A (zh) 2021-02-19
WO2019223880A1 (en) 2019-11-28
JP7392050B2 (ja) 2023-12-05

Similar Documents

Publication Publication Date Title
Gebuis et al. The neural mechanisms underlying passive and active processing of numerosity
Wronka et al. Attention modulates emotional expression processing
Benwell et al. On the neural origin of pseudoneglect: EEG-correlates of shifts in line bisection performance with manipulation of line length
Eimer et al. Event-related brain potential correlates of emotional face processing
US10327705B2 (en) Method and device to monitor at least one vehicle passenger and method to control at least one assistance device
Vibell et al. Temporal order is coded temporally in the brain: early event-related potential latency shifts underlying prior entry in a cross-modal temporal order judgment task
Vansteenkiste et al. The visual control of bicycle steering: The effects of speed and path width
Sibi et al. Monitoring driver cognitive load using functional near infrared spectroscopy in partially autonomous cars
KR20190061726A (ko) 차량의 운전제어권 조정 시스템 및 방법
JP2008220424A (ja) 眠気判定装置,プログラムおよび眠気判定方法
Wardak et al. Focused visual attention distorts distance perception away from the attentional locus
Chen et al. Hemispheric asymmetry: looking for a novel signature of the modulation of spatial attention in multisensory processing
Vuilleumier et al. Attention and automaticity in processing facial expressions
Lewandowska et al. Changes in fMRI BOLD response to increasing and decreasing task difficulty during auditory perception of temporal order
JP7392050B2 (ja) 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法
Seya et al. Useful field of view in simulated driving: Reaction times and eye movements of drivers
De Winkel et al. Neural correlates of decision making on whole body yaw rotation: an fNIRS study
Yuen et al. Driving with distraction: measuring brain activity and oculomotor behavior using fMRI and eye-tracking
JP7342637B2 (ja) 車両制御装置および運転者状態判定方法
JP7342636B2 (ja) 車両制御装置および運転者状態判定方法
Everatt Visual processes
Niedeggen et al. Probing the prerequisites for motion blindness
Pavan et al. Detection of first-and second-order coherent motion in blindsight
Techer et al. Assessing the impact of anger state on the three Attentional Networks with the ANT-I.
Murata et al. Effectiveness of back and foot pressures for assessing drowsiness of drivers

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220929

R150 Certificate of patent or registration of utility model

Ref document number: 7152520

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350