JP2020512120A - ユーザーの健康状態を評価するシステム - Google Patents

ユーザーの健康状態を評価するシステム Download PDF

Info

Publication number
JP2020512120A
JP2020512120A JP2019553268A JP2019553268A JP2020512120A JP 2020512120 A JP2020512120 A JP 2020512120A JP 2019553268 A JP2019553268 A JP 2019553268A JP 2019553268 A JP2019553268 A JP 2019553268A JP 2020512120 A JP2020512120 A JP 2020512120A
Authority
JP
Japan
Prior art keywords
user
eye
data
sensor
monitoring unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019553268A
Other languages
English (en)
Other versions
JP7106569B2 (ja
Inventor
ザカロフ パベル
ザカロフ パベル
ミロヘン ミヒャエル
ミロヘン ミヒャエル
Original Assignee
ビビオール アクチェンゲゼルシャフト
ビビオール アクチェンゲゼルシャフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビビオール アクチェンゲゼルシャフト, ビビオール アクチェンゲゼルシャフト filed Critical ビビオール アクチェンゲゼルシャフト
Publication of JP2020512120A publication Critical patent/JP2020512120A/ja
Application granted granted Critical
Publication of JP7106569B2 publication Critical patent/JP7106569B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/101Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the tear film

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】センサーユニット、監視ユニット、および格納ユニットを含む、ユーザの健康状態を評価するためのシステム。【解決手段】センサーユニットは、少なくとも1つの眼球センサーを備えている。少なくとも1つの眼球センサーは、ユーザーの眼球および/または周囲の組織から反射された光信号を取得するように適合されている。センサーユニットはウェアラブルデバイスに取り付けることができる。監視ユニットはセンサーユニットに接続されている。監視ユニットは、光信号を処理することにより、ユーザーの眼球活動に関連するデータを導出するように適合されている。ユーザー眼球活動に関連するデータは、光信号に含まれている。格納ユニットは監視ユニットに接続されている。格納ユニットは、ユーザの眼球活動に関連する導出データおよび記録されたデータを格納するように適合されている。監視ユニットは、格納ユニットから格納されたデータを取得するようにさらに適合されている。監視ユニットはさらに、ユーザーの眼球活動に関連する記録されたデータを導出されたデータと比較することにより、ユーザーの健康状態を評価するように適合されている。さらに、本発明は、ユーザーの健康状態を評価する方法に関する。【選択図】図1

Description

本発明は、ユーザの健康状態を評価するためのシステム、およびユーザの健康状態を評価するための方法に関する。
通常、瞬きを検出するシステムは、ドライバーの睡眠警告の場合に適用される。それにより、光源から検出器までの光の経路が、瞬きする目によって遮られる可能性があり、したがって、識別することができる。さらに、反射ベースの視線追跡システムは、ユーザーが光源または光センサーの方向を見ているとき、イベントをトリガーすることでユーザーの視線方向を検出できる。ユーザーがまっすぐ見ている場合、光源からの入射光線は、散乱強膜で実質的に反射され、光センサーによって出力される第1のレベルを与える。次に、光源の方向を見るために目を向けて、光線は主に虹彩または瞳孔に当たり、光センサーが出力する光レベルが低下する。これにより、光センサーの電気出力が大幅に変化し、目的の制御アクティビティを実行するために接続されるリレースイッチなど、制御デバイスが変化することがあり得る。さらに、瞬き検出技術は、光源と検出器のペアに基づくことができる。さらに、まぶたと眼球との間の反射強度は、デバイスを提供するために効果的に利用することができる。これは、わずかな眼球運動による偶発的な活性化の影響を受けない。たとえば、目が開いているときに光源と検出器を適切に配置すると、入射光のほとんどは眼球に吸収され、わずかな部分のみが反射される。目を閉じると、眼球と比較して、入射光の大部分がまぶたで反射される。
本発明の目的は、たとえば、ドライアイ現象から苦しんでいる患者の治療を改善し、医学的に患者をサポートすることである。
第1の態様によれば、ユーザの健康状態を評価するためのシステムは、センサーユニット、監視ユニット、および、格納ユニットを備える。センサーユニットは、少なくとも1つのアイセンサーを備えている。少なくとも1つのアイセンサーは、ユーザーの目から反射された光信号を取得するように適合されている。センサーユニットはウェアラブルデバイスに取り付けることができる。監視ユニットはセンサーユニットに接続されている。監視ユニットは、光信号を処理することにより、ユーザーの眼球活動に関連するデータを導出するように適合されている。ユーザーの眼球活動に関連するデータは、光信号に含まれている。格納ユニットは監視ユニットに接続されている。格納ユニットは、ユーザの眼球活動に関連する導出データおよび記録されたデータを格納データするように適合されている。監視ユニットは、格納ユニットから記録されたデータを取得するようにさらに適合されている。監視ユニットは、ユーザーの健康状態を評価するようにさらに適合されている。記録されたデータを、ユーザーの眼球活動に関連する導出データと比較する。
センサーユニットと監視ユニットとを、無線チャネル(Bluetooth(登録商標)、ANT +、WiFiなど)、光チャネル(LiFi、赤外線チャネルなど)、またはデジタルバス(USB、I2C、SPIなど)を介して接続することができる。
このシステムの利点は、患者の健康状態に関連する情報で患者をサポートするツールを提供することにある。センサーユニットにより、患者はさまざまなユーザーおよび自分自身のデータ収集を取得できる。これにより、医療行為に関する患者の決定をより正確にするデータプールが生成される。
「眼球活動」という用語は、眼球の生理学的状態の調整として理解することができる。これには、瞬き、回転運動などの眼球運動、瞳孔サイズの変化、調節、涙液膜の品質、涙液膜の動きなどが含まれる。さらなる眼球活動は、関心対象のパラメータによって参照することができる。関心対象のパラメータは、瞬きの頻度(つまり、瞬き/分)、瞬き間隔(つまり、秒)、眼球運動(すなわち、垂直対水平)、瞳孔半径、瞬きの完全性、および屈折特性などであり得る。
ウェアラブルデバイスは、ユーザーの頭に装着できるように適合されることができる。センサーユニットは、ウェアラブルデバイスに取り付けることができる。ウェアラブルデバイスは眼鏡フレームであり得る。これは、センサーアタッチメントを保持するのに適した専用フレームまたは通常のメガネ(処方および非処方の両方)である。
監視ユニットは、別個のデバイスであっても、ウェアラブルデバイスに取り付けることもできる。監視ユニットは、(生)データの処理、眼球活動のパラメーターの評価、および、センサーと監視ユニットと、センサーと格納ユニットと、および/または、監視ユニットと格納ユニットと間のデータ交換の制御を実行するようにさらに適合されることができる。監視ユニットは、スマートフォン、タブレット、デスクトップ、ラップトップコンピューター、またはダッシュボードソフトウェアなどのウェアラブルデバイスまたはモバイルデバイスの形式であってもよい。監視ユニットは、ウェアラブルデバイスのフレームに配置することも、別のユニットにすることもできる。監視ユニットは、スクリーンまたはインジケータを介してユーザに情報を表示するように適合されたコントローラを備えることができる。コントローラは、ボタン、ジェスチャー(頭、手、腕の両方の動き)または他の手段を介してユーザーからの入力を受け入れるように適合させることができる。コントローラーには、スマートフォンのカメラやコンピューターのウェブカメラなどユーザーの瞬きパターンを基準として取得するように構成された追加のセンサーがあり得る。監視ユニットは、ユーザーまたは他のユーザーからのデータを含む履歴較正データベースにアクセスするように、さらに適合させることができる。監視ユニットは、さらに較正プロセスを実行できる。監視ユニットは、導出/履歴/校正データを中央データベースと同期させるように適合させることができる。監視ユニットは、共有される導出データに準拠するユーザーの入力に依存するようにさらに適合されることができる。導出データを共有する場合、他のユーザーは自分の用途に導出データを使用できる。
格納ユニットは、クラウド、インターネットサーバー、携帯電話ストレージなどの形をとることができる。
少なくとも1つのアイセンサーは、それ自体が光検出器であり得るか、または、それを含む光学センサーであり得る。少なくとも1つの眼球センサーは、少なくとも1つの眼球活動センサーと呼ぶことができる。少なくとも1つのアイセンサーは、光源から反射された光が最適に受信されるように、ウェアラブルデバイスの眼鏡に配置されることができる。少なくとも1つのアイセンサーは、シングルポイント光検出器(すなわち、フォトダイオードまたはフォトトランジスタ)、複数の空間的に分離されたポイント検出器(つまり、フォトダイオードの列)、および/または、検出器アレイ(つまり、グリッドまたはカメラに配置されたポイント検出器)の形であることができる。カメラは、CCDまたはCMOSタイプのものであり得る。
記録されたデータは、ユーザーの眼球活動に関連する格納データを含むことができる。記録されたデータはさらに、他のユーザーの眼球活動に関連する格納データを含むことができる。記録されたデータは、ユーザーの健康状態に関連する格納データをさらに含むことができる。記録されたデータは、ユーザーの入力に関連する格納データをさらに含むことができる。記録されたデータは、健康状態または他のユーザーの入力に関連する格納データをさらに含むことができる。
記録されたデータは、以前に格納されたデータであり得る。記録されたデータは履歴データであり得る。記録されたデータは、ユーザーの健康状態を示すことができる。記録されたデータは、別のユーザーまたは他のユーザーの健康状態を示すことができる。
記録されたデータは、そのようなシステムが提供されている患者のより良い医療処置を可能にするという利点を提供する。
光信号は光源から発生することができる。
光源は環境光であり得る。光源は人工光源であり得る。人工光源は、ウェアラブルデバイスに取り付け可能である。
システムは、少なくとも1つの光源をさらに含むことができる。少なくとも1つの光源は、ユーザーの目および/または周囲組織に光信号を送信するように適合させることができる。少なくとも1つの光源は、ユーザーの目および/または周囲組織に光信号を送信するように配置することができる。少なくとも1つの光源はさらに較正され得る。少なくとも1つの光源はさらに、ユーザの眼および/または周囲組織に光信号を送信するためにウェアラブルデバイスに搭載可能であることができる。少なくとも1つのアイセンサーは、監視ユニットがユーザーの眼球活動に関連するデータを最適に導出するために、光源と整列しているようにさらに較正することができる。
システムは、少なくとも1つの光検出器をさらに含むことができる。少なくとも1つの光検出器は、ユーザーの目および/または周囲の組織から光信号を受信するように適合させることができる。少なくとも1つの光検出器は、ユーザーの目から光信号を受信するように配置することができる。少なくとも1つの光検出器をさらに較正することができる。少なくとも1つの光検出器は、ユーザーの目の構造、まぶた、および/または、他の眼球周囲組織から反射された光信号を受信するためにウェアラブルデバイスにさらに搭載可能であり得る。少なくとも1つの光検出器は、受信した光信号に基づいて、ユーザーの眼球活動に関連するデータを最適に導出するために、監視ユニット用の少なくとも1つの光源と整列するようにさらに較正することができる。
光源/環境光と光検出器の組み合わせには、データの導出を敏感にするという利点がある。
光源は、単一の光源、複数の光源、および/または環境光にすることができる。光源の基礎となる光技術は、発光ダイオード(LED)、超高輝度ダイオード(SLD)、光の経路を定義するためのレーザーダイオードおよび/または特定の方向の導波路であり得る。光源は、処理結果を改善するために最適に位置合わせされるように、ウェアラブルデバイスの眼鏡にさらに配置されることができる。光源は、机、コンピューター画面、モバイルデバイス(スマートフォンやテーブルなど)の上など、ウェアラブルデバイスの外部にさらに配置されることができる。
アイセンサーは、ユーザーの個人的な状態に合わせて調整できる。個人的な状態は、ユーザーの眼球の大きさを含むことができる。個人状態は、ユーザーの目の位置に対するフレームの相対位置を含むことができる。個人状態は、ユーザの目の位置に対するウェアラブルデバイスの相対的な位置を含むことができる。
較正には、システムを特別なユーザーに適応させ、導出データをより正確に、記録されたデータなどの他のユーザーの抽出データと比較可能にするという利点がある。
監視ユニットは、較正データを使用して、(生の)光信号をユーザーの眼球活動に関連付けるようにさらに適合されることができる。光信号は、目の構造、まぶた、および/またはユーザーの他の周囲組織からの反射であることができる。
「較正データ」という用語は、導出された信号などの測定された生信号を実際の眼球活動に関連付けるためにアルゴリズムによって使用されるデータとして理解することができる。較正データは、生の測定データ、基準データ、またはコンテキストデータの形式にすることができる。センサーユニットとモニタリングユニットとは、独立した基準信号から瞬き状態に関する情報を取得することによって、生信号を較正するように適合されている(生信号には、コンテキスト、基準、および光学データが含まれることができる)。このような基準信号は、ウェアラブルデバイスのフレームにあるボタンを押すこと、フレーム上の加速度計によって検出されたフレームをタップすること、頭または手のジェスチャーのような、ウェアラブルデバイスの眼鏡を通して提供される直接的なユーザー入力であることができる。この機能は、さらに、スマートフォンまたはモバイルデバイスアプリで実装できる。たとえば、瞬き検出の基準信号は、ユーザーの目を撮像するスマートフォンのカメラからの画像を分析する、瞬き検出ビジョンアルゴリズムである。
センサーユニットは、コンテキストセンサーをさらに備えてもよい。コンテキストセンサーは、ユーザーの環境に関連する別の信号を検出するように適合させることができる。コンテキストセンサーはセンサーユニットに配置できる。コンテキストセンサーはモニタリングユニットに配置できる。監視ユニットは、他の信号を処理することにより、他の信号に含まれる環境データを導出するようにさらに適合させることができる。格納ユニットは、導出された環境データを格納データするようにさらに適合させることができる。監視ユニットは、ユーザーの眼球活動と導出した環境データに関連する記録されたデータと導出データを比較することにより、ユーザーの健康状態を評価するようにさらに適合させることができる。コンテキストセンサーは、センサーユニットおよび/または監視ユニット上に配置されることができる。コンテキストセンサーは、生理学的センサーまたは周囲/環境センサーであることができる。センサーユニットは、加速度計、磁力計、および/またはジャイロスコープ、環境センサーおよび/または追加の生理学的センサー、または、それらの組み合わせなどの運動センサーをさらに備えることができる。加速度計/磁力計/ジャイロスコープは、ユーザーの頭部の向きを検出するように適合されていることができる。加速度計/磁力計/ジャイロスコープは、ウォーキング、ランニング、読書、会話などのユーザーアクティビティを検出するように適合させることができる。加速度計/磁力計/ジャイロスコープは、タップ、揺れ、ジェスチャーなどユーザー入力を検出するように適合させることができる。生理学的センサーは、心拍数、血液の酸素化、および/または皮膚電気活動などバイタルサインを測定するように適合させることができる。環境/環境センサーは、例えばウェアラブルデバイスのフレーム上の近接センサーの形態であり得る。近接センサーは、視線方向に向けられ、対象物までの距離を検出することができる。周囲/環境センサーは、可視および/または赤外線および/または紫外線範囲の強度および/またはスペクトル成分を測定するように適合された環境光センサーの形式でもあり得る。ここで、ここで監視ユニットはさらに、UVインデックスを計算して、それを眼球活動に関連付けるように適合されている。周囲/環境センサーは、温度を測定するように適合された温度センサーの形であり得る。ここで、監視ユニットは、温度をユーザーの活動に関連付けるように適合されている。周囲/環境センサーは、湿度を測定するように適合された湿度センサーの形であり得る。ここで、監視ユニットは、湿度をユーザーの活動に関連付けるように適合されている。周囲/環境センサーは、圧力を測定するように適合された圧力センサーの形態であり得る。ここで、監視ユニットは、圧力をユーザーの活動に関連付けるように適合されている。周囲/環境センサーは、空気中の汚染の量を決定するように適合された環境汚染監視ユニットの形態であり得る。ここで、監視ユニットは、汚染に基づいた瞬きのトリガーなど、眼球活動に関連するデータを取得するようにさらに適合されている。周囲/環境センサーは、影のない環境でのユーザーの位置を決定するように適合された位置ベースのセンサーの形であり得る。ここで、監視ユニットは、通信システムまたはインターネット接続に基づいて位置を計算するようにさらに適合されている。周囲/環境センサーはカメラの形をとることもできる。カメラは、例えば、ユーザーの環境の画像を定期的にキャプチャすることができる。カメラは、ユーザーがトリガーできる。監視ユニットは、環境に関する情報を含むコンテキストに関連するデータを導出するようにさらに適合させることができる。
コンテキストセンサーの利点は、導出されるデータおよび格納/記録されたデータに、環境および周囲の影響を組み込むことである。これにより、処理がより柔軟になり、さらなる医学的問題を観察して治療することができる。これは、さらに意味のある生理学的解釈を可能にする。
「環境データ」という用語は、ユーザーに関する情報であるコンテキストデータとして理解できる。コンテキストデータは、心拍数、汗、頭の向き、年齢など、目から直接得られない情報であることができる。コンテキストデータは、温度、湿度、位置など、ユーザーの環境に関する情報であり得る。コンテキストデータは、テキスト、音声および/または画像入力を介して提供される、かゆみ、疲れ、および/または眠気などの情報に関するユーザーからの情報であり得る。
このシステムは、ユーザーインターフェースをさらに備えることができる。ユーザーインターフェイスは、ユーザーからの入力を受け取るように適合させることができる。ユーザーは、健康状態が導出された眼球活動データおよび/または導出された環境データに対応するかどうかを示すことができる。指示は、入力インターフェースを介したユーザーの入力によって実行できる。
ユーザーインターフェースには、偽であると判断された場合、健康状態の重みを減らすことができるように、および、適切であると判断された場合、その重みを小さくすることができるように、健康状態の決定された結果を重み付けするという利点があり得る。これは、結果として、ユーザーの入力に従って指定された重みで記録されたデータとして格納できる。
記録されたデータは、ユーザーおよび/または他のユーザーからの以前に格納された較正データおよび以前に格納された環境データをさらに含むことができる。
さらに、監視ユニットおよびセンサーユニットは、ユーザによって実行される較正プロセスによって較正データを受信するように適合させることができる。較正データと以前に格納された較正データは、たとえば、光検出器やセンサーユニットなど、関心対象の生理学的パラメーターのコンテキストデータなど、検出器からの生信号を変換するアルゴリズムで使用されるデータであり得る。較正データおよび以前に格納された較正データの少なくとも一部は、そのような変換のためのアルゴリズムのパラメーターの形式であり得る。さらに、較正データまたは以前に格納された較正データの少なくとも一部は、そのような変換のためのコンピュータ命令の形式であり得る。
ユーザインターフェースは、比較に基づいて身体的および/または心理的異常が発生したかどうかを示すようにさらに適合させることができる。
監視ユニットは、アラームユニットをさらに備えることができる。アラームユニットは、比較に基づいて身体的および/または心理的異常が発生したことを、ユーザに示すように適合させることができる。表示は、例えばウェアラブルデバイスの眼鏡に投影された画像、振動アラーム、または単なる可視光の形式であり得る。さらに、この表示は、ユーザーに、瞬きをする、目をリラックスさせる、有害な環境への露出を減らすなどの通知を行うなどユーザーの生理学的状態に依存する、および/または、バッテリーステータス、接続ステータスなど、監視ユニットまたはセンサーユニットのステータスに依存する場合があり得る。この表示はさらに、電話の着信、外気温の低下などの外部条件またはイベントに依存する場合がある。警報ユニットは、入力ユニットの形態であるように、およびボタン/加速度計ベースのタップ検出器を介してユーザー入力を受信するようにさらに適合され得る。モニタユニットは、アラームユニットからの指示に基づいて、ユーザに情報を表示し、かつ/またはユーザにアラームを出すようにさらに適合されることができる。
アラームユニットには、ユーザー/患者は、迅速な反応が必要な医療または治療シナリオで迅速な責任を負うことができるような、ユーザー/患者に直接情報を提供するという利点があり得る。
本願システムは、例えば、スマートフォンカメラなどの追加のセンサーをさらに備えることができる。スマートフォンの前面および/または背面カメラを使用できる。追加のセンサーは、ユーザーの目から反射される別の光学信号を取得するように適合されている。監視ユニット、たとえばスマートフォンは、画像分析アルゴリズムを実行するように適合させることができる。画像分析アルゴリズムは、ユーザーの瞬きを識別し、識別されたユーザーの瞬きを眼球活動に関連するデータに関連付けるように適合されている。
本願システムは、ユーザの目の動き(および/または瞳孔)を感知するように適合された目の動きセンサー、および/または、少なくとも1つの方向において、距離測定センサーから1つ以上の対象物までの距離を測定するように適合された距離測定センサーをさらに備えることができる。監視ユニットは、検知された動きを使用してユーザの視線の方向を測定し、視線の方向からの少なくとも1つの方向の偏差に基づいて、測定された距離に重みを付け、重み付き距離に基づいて、1つ以上の対象物とユーザーの間の視距離を計算するようにさらに適合することができる。
このシステムは、視線の方向を導き出すために、目の動きを監視するようにさらに適合させることができる。眼球運動センサーは、目の動きを感知することができる。監視ユニットは、目の視線方向を導き出すことができる。眼球運動センサーは、システムのセンサーユニットに装備されていてもよいし、または、眼球運動センサーの機能はセンサーユニットで実行されてもよい。目の動きは、目の動き(および/または瞳孔)に対応することができる。監視ユニットは、目または瞳孔の動きに基づいて視線方向を導き出すことができる。
本願システムは、さらに、少なくとも、ユーザーを囲んで、一方向に、距離測定センサーから1つ以上の対象物までの距離(または視距離)を測定する距離測定センサーを備えることができる。監視ユニットは、ユーザーが特に見ている対象物またはシーンを導き出すことができる。その対象物またはシーンは、測定された距離を使用するユーザーの環境またはアクティビティに対応することがあり得る。例えば、本を読む活動のための特定の方向の典型的な距離を定義し、格納ユニットに格納することができる。通常の距離が測定された距離と一致する場合(オフセットあり、または、なし)、監視ユニットは、ユーザーが本を読んでいる、または、対象物が本に対応していると判断することができる。
距離測定センサーが単一方向の距離を測定し、測定された距離に重みを付ける場合、距離測定センサーと注視方向のアライメントに基づいて適用することができる。導出された注視方向が距離測定センサーと同じ方向である場合、すなわち、目は距離測定センサーの方向を見ている場合、たとえば、測定された距離により多くの値(より大きな重み)が与えられる場合がある。反対の場合、視線の方向が距離測定センサーの検知方向から大きく外れると、距離の測定値は、値を小さくする(より小さな重みを割り当てる)ことも、統計から破棄することもできる。距離測定センサーが複数の方向で同時にサンプリングできる場合、カメラの場合のように、またはスキャナーの場合のように順番に、またはその両方のように、システムは、視線の方向に沿った方向の測定値から距離を導き出すことができる。
眼球運動センサーまたはセンサーユニットは、さらに、調整された目の動き(および/または瞳孔)、瞳孔のサイズ、または、ユーザーのレンズ形状の変化のうちの少なくとも1つの感知することができる。監視ユニットは、感知された目の動きから導出した輻輳、瞳孔の大きさ、レンズ形状の変化のうちの少なくとも1つを使用して調節努力をさらに決定することができる。
監視ユニットは、決定された調節努力に基づいてユーザの視距離を計算することができる。視距離は、ユーザーが見ている地点までの距離として定義できる。
眼球活動は、また、調節努力としても理解することができる。このシステムは、目の調節力を監視するようにさらに適合させることができる。人間の目が対象物に焦点を合わせると、輻輳の調整が調整され、屈折力とそれに対応する焦点距離と瞳孔サイズを変更するために、レンズを形成する。例えば、両目の位置を監視することにより、輻輳の検出が可能になり、これは、反対方向への両眼の同時移動である。目は近くの対象物に焦点を合わせながら互いに向かって移動し、遠くの対象物に焦点を合わせながら、それぞれを離れて移動する。レンズの形状の変化は、レンズの表面からのプローブ光の反射を追跡することで(たとえば、P3やP4などのプルキンエ反射を分析することにより)監視できる。近くの対象物に焦点を合わせる場合、画像のぼけを最小限に抑えるために瞳孔が収縮する。瞳孔サイズは、イメージングまたは他の適切な方法で測定できる。システムは、瞳孔サイズの変化を検出することで調節を検出できる。瞳孔サイズから調節の検出中に、システムは、明るさによる瞳孔のサイズへの影響を補正することができる。これは、環境光センサーなどのコンテキストセンサーで測定できる。
上記の機能のいずれか、またはそれらの2つ以上の組み合わせを使用して、調整作業を追跡することにより、輻輳、レンズ形状の変化、瞳孔サイズ、システムはユーザーが使用している視距離を追跡できる。(ユーザーの視覚的ライフスタイルに関連した)視距離の統計を利用して、ユーザーにリアルタイムでアドバイス/警告を行い、たとえば、ユーザーが長時間近くの対象物に常に焦点を合わせている場合、読書中やコンピューターでの作業中など、ユーザーの視覚的動作をより健康的なものに調整する。このシステムは、休憩を取ること、遠くの対象物を見ることで目をリラックスすることなどをアドバイスできます。視覚的行動の分析は、より長期間に対して実行でき、そして、フィードバックを、「コンピューターの前で過ごす時間を短くする必要がある」や「屋外で過ごす時間を増やす」など、より一般的な行動方法で与えることができる。
測定または導出された眼球活動/視覚行動の統計は、医療従事者が患者の治療をカスタマイズするために使用できる。たとえば、異常な瞬きパターンはドライアイ疾患を示している可能性があるため、その状態が改善するまで、外科医が屈折矯正手術を実行することを防ぐことができる。測定または導出された眼球活動/視覚行動統計は、ユーザーが、ユーザーがより健康的なライフスタイルに向くように、視力のパフォーマンスを最適化し、および/または、目のストレスを軽減するために使用できる。ユーザーは、また、作業領域の湿度を上げてドライアイ関連の症状を軽減したり、コンピューターモニターの位置を調整して首への負荷を軽減するなど、環境を改善することができる。
第2の態様によれば、ユーザの健康状態を評価する方法は、センサーユニットにより、方法は、ユーザーの目から反射される光信号を取得するステップを含む。センサーユニットはウェアラブルデバイスに取り付けることができる。この方法は、さらに、センサーユニットに接続された監視ユニットにより、光信号を処理することで、ユーザーの眼球活動に関連するデータを導出するステップを含む。ユーザーの眼球活動に関連するデータは、光信号に含まれている。この方法は、さらに、監視ユニットに接続された格納ユニットにより、ユーザーの眼球活動に関連する導出データと記録されたデータとを格納するステップを含む。この方法は、さらに、監視ユニットによって、格納ユニットから記録されたデータを取得するステップをさらに含む。この方法は、さらに、監視ユニットによって、記録されたデータを、ユーザーの目の動きに関連する導出データと比較することで、ユーザーの健康状態を評価するステップを含む。
上記の態様のいくつかがシステムに関して説明されたとしても、これらの態様は、方法に対しても適用され得る。同様に、方法に関して上記で説明した態様は、システムに対応する方法で適用可能であることができる。
他の対象物、機能、利点、およびアプリケーションが、添付図面を参照して、非限定的な実施形態の以下の説明から明らかになる。図面では、すべての説明および/または図解された特徴は、クレーム内のグループ化または関係/参照に関係なく、単独または任意の組み合わせで、そこに開示されている主題を形成する。図に示されているコンポーネントまたは部品の寸法と比率は、必ずしも縮尺どおりではない。これらの寸法と比率は、図および実装された実施形態の図と異なることがあり得る。
図面は、下記を示す。
図1は、一実施形態によるシステム実装を概略的に示している。 図2は、一実施形態による方法の実施を概略的に示す。 図3は、一実施形態の方法の実装によるフローチャートを概略的に示している。 図4は、一実施形態による例示的なシステム実装を概略的に示す図である。 図5は、一実施形態によるウェアラブルデバイス上の光検出器および光源の実装を概略的に示す図である。 図6は、一実施形態によるアルゴリズムプロセスを例示する流れ図を概略的に示す図である。 図7は、一実施形態による光信号に含まれる瞬き信号を表す図を概略的に示す。 図8は、ユーザの視線方向に関して測定距離に重み付けするための垂直方向の例を概略的に示している。 図9は、ユーザーの視線方向に関する測定距離の重み付けの水平方向の例を模式的に示している。
機能面と運用面のバリエーションとその機能そしてここに記載されている操作上の態様は、その構造、機能、およびプロパティのより良い理解のためのみである。それらは、開示を実施形態に限定するものではない。図は部分的に概略図であり、本質的な特性と効果を、機能、有効原理、実施形態、技術的特徴を明確にするために、部分的に拡大して明確に示している。図または本文中に開示されているすべての操作、すべての原則、すべての技術的側面、すべての機能は、すべてのクレーム、本文および他の図の各機能、他の操作モード、原則、本開示に含まれる技術改良点および機能、またはその結果と組み合わせることができ、可能なすべての組み合わせが、説明されているデバイスと方法に割り当てられるようにできる。テキスト内の、つまり、説明の各セクションにおける、クレームおよびテキストの異なるバリエーション間の組み合わせにおいて、クレームおよび図において、個々のコメントすべての組み合わせも含まれ、そして、さらなるクレームの主題に対して行うことができる。クレームは、開示を制限せず、したがって、識別されたすべての特性の可能な組み合わせ制限しない。開示されたすべての機能は、明示的、また、個別的であり、そして、ここに開示されている他のすべての機能と組み合わせられる。
図1は、本発明の一実施形態にしたがいシステム100の実装を概略的に示している。ユーザーの健康状態を評価するためのシステム100は、センサーユニット105、監視ユニット107、および、格納ユニット109を備える。センサーユニット105は、少なくとも1つのアイセンサー110を含む。少なくとも1つのアイセンサー110は、ユーザーの目から反射される光信号を取得するように適合されている。光信号は人工光によって生成できる、または、ユーザーの少なくとも1つの目で反射した環境光を使用する少なくとも1つのアイセンサー110によって収集することができる。人工光は、センサーユニット105または監視ユニット107に接続することができる。センサーユニット105は、ウェアラブルデバイスに取り付けることができる。ウェアラブルデバイスは、センサーユニット105、監視ユニット107、格納ユニット109、および/または、人工光源/光源を搭載するのに適合することができる・監視ユニット107は、センサーユニット105に接続されている。この接続は、ブルートゥース(登録商標)接続を介して確立できる。監視ユニット107は、光信号を処理することにより、ユーザーの眼球活動に関連するデータを導出するように適合されている。ユーザーの眼球活動に関連するデータは、光信号に含まれている。格納ユニット109は、監視ユニット107に接続されている。この接続は、インターネット接続を介して確立できる。格納ユニット109は、ユーザーの眼の活動と記録されたデータに関連している導出されたデータを格納するように適合される。監視ユニット107はさらに、記録ユニット109から記録データを取得するように適合する。監視ユニット107はさらに、ユーザーの目の動きに関連して記録されたデータと導出データを比較することによりユーザーの健康状態を評価するように適合する。
ユーザーの眼球活動に関連するデータは、たとえば、ドライアイ監視を評価するための、瞬きと目の動きに関連するデータであり得る。眼球活動に関連するデータから関心対象のパラメーターを抽出できるようにすることは、本発明の利点である。例えば、格納ユニット109は、他のユーザーから入手可能な較正データのデータベースであり得る。さらに、この較正データは、現在ウェアラブル端末を装着しているユーザーからの記録データであり得る。さらに、眼球活動に関連するデータの精度をさらに向上させるために環境および生理学データなどコンテキストデータを使用することには利点がある。さらに、より意味のある生理学的解釈のために、コンテキストデータはデータを強化できる。図1では、コンテキストデータはコンテキストセンサー115によって収集される。コンテキストセンサー115は、周囲センサー120および/または生理学的センサー125を備えることができる。環境センサー120は、周辺環境からデータを収集するように適合させる、および、構成することができる。生理学的センサー125は、ユーザーの人間バイタルに関連するデータを収集するように適合させる、および、構成することができる。さらに、センサーユニットと監視ユニットは、別のユニットにすることも、同じユニットに含めることもできる。監視ユニット107は、ユーザーインターフェース135、アラームユニット130、コンテキストセンサー115を備えることができる。ユーザーインターフェース135は、センサーユニットを取り付ける眼鏡などウェアラブルデバイスを装着しているユーザーからユーザー入力を受信する。さらに、ユーザーインターフェース135は、ユーザーが集積/収集した、眼球活動に関連したデータの重要性を比較検討することが可能であるように監視ユニットと相互作用するように適合させることができる。警報ユニット130は、眼球活動または環境または彼/彼女の生理学に関連する何かを調整する必要があり得ることを、ユーザーへのアラーム/信号として伝えるように適合させる、および、構成することができる。監視ユニット107は、監視ユニット107がデータを導出できるような方法で、格納ユニット109に接続することができる。このデータは、記録データ/格納データまたは現在処理/導出されたデータと比較するために格納ユニット109から現在処理されているデータである。格納ユニット109は、インターネット経由でアクセスできる、サーバ/データベース、クラウド、またはあらゆる種類のストレージであり得る。
たとえば、医学的問題として、瞬き活動と生理的ドライアイ状態を考えることができる。眼鏡のフレームに取り付け可能なアイセンサーは、較正後に瞬きイベントの信号を提供する眼球活動データを収集する。例えば、ユーザーは、最も単純な場合の頻度など特定の瞬き統計を表示する。次に、スマートフォン上の製品固有のアプリケーション(アプリ)は、クラウドデータベースに自動的に問い合わせでき、ウェアラブルデバイスに取り付けられたコンテキストセンサー115など別のセンサーで監視することもできるユーザーの活動や周囲の湿度など、他のパラメータを考慮に入れることができる。その結果、このような瞬きパターンを持ち、そして、後にすべてを報告するそれらの特定の周囲条件下のユーザーの大多数が、ドライアイ問題の発症と診断されたことを示すことができる。このシステムを使用すると、特定のアクションを実行するようユーザーにアドバイスできる。履歴データに基づいて、事前にユーザーに警告するために、クラウド上で予測分析を実行できる。さらに簡単なケースでは、アルゴリズムは、一日中長い間瞬きしないのは、それは、自己報告または、スマートフォンのカメラなど基準センサーによって検出される可能性がある例えば、テレビを見ているとき、またはPCで作業しているとき、夕方に目のかゆみや赤みを引き起こす可能性があることを予測できる。履歴データを使用し、ユーザーの健康状態への瞬きに関連していることは、本発明の利点である。これは、クラウドデータ分析にアクセスするためにデバイスを接続するという概念によっても達成される。これにより、デバイス較正の問題を解決できる。この装置は、センサーユニット105として理解することができる。さらに、基準を使用したデバイスの自動較正は、そのデバイスが接続されるスマートフォンのカメラなどの基準方法に基づいた目を閉じたり開いたり、左右を向いたり、上下を向いたりするなどを述べる。シンプルなユースケースシナリオは、ユーザーはメガネなどのウェアラブルデバイスを装着し、監視ユニットで制御アプリケーションを起動し、それが、眼球活動を監視するためにスマートフォンのカメラを起動することである。次に、ユーザーは目を開閉し、これは、スマートフォンのカメラから、ウェアラブルデバイスにマウントされたセンサーユニット/アイセンサーによって測定された信号に関連する画像をキャプチャするアプリケーションによって自動的に検出される。較正が完了したら、スマートフォンアプリケーションはカメラを無効にし、ユーザーは、通常の日常活動を進めることができる。一方、監視ユニット107と接続しているセンサーユニット105は、ユーザーの瞬きパターンを検出できるようにする。さらに、センサーユニット105によって収集された生信号の較正は、年齢、性別、顔の特徴など、コンテキストデータと組み合わせた他のユーザーのうちの同一ユーザーの利用可能な履歴/記録データに基づいている。システム100により、ユーザーは、同じまたは他のユーザーからの履歴/記録データに基づき、また、自己申告ステータスに関連して、生理学的および/または心理学的情報を推測することが可能になる。生理学的データは、ドライアイ疾患の発症である可能性がある。心理学的データは、ストレス、眠気などである。
眼球活動は、目の心理状態の調整として理解できる。これには、瞬き、回転、瞳孔の大きさの変化、調節などの目の動きが含まれる。コンテキストデータは、(心拍数、汗、頭の向き、年齢など)目から直接導出したものではないユーザーに関する情報であり、ユーザーの環境(温度、湿度、場所)、(かゆい、疲れた、眠いなど)ユーザー自身からの情報を追加するためのテキストフィールド、音声入力または画像である。校正データは、センサーユニットから生の信号を変換するアルゴリズムによって使用されるデータであることができ、対象の生理学的パラメータのコンテキストデータであることができる。校正データの少なくとも一部は、そのような変換のアルゴリズムのパラメーターの形式であることができる。較正データの少なくとも一部は、そのような変換のためのコンピュータ命令の形式であることができる。センサーユニット105と監視ユニット107とは、目からの光の反射のような生のセンサー測定信号を検出して、較正データを使用して実際の眼球活動に関連付けることができる。関心対象の導出された眼の活動パラメータは、毎分瞬き、秒単位の瞬き間隔、垂直および水平方向の目の動き、瞳孔半径、瞬きの完全性および屈折など瞬きの頻度であり得る。センサーユニット105の目的は、目と関連するコンテキストデータから生の信号を取得することである。センサーユニット105は、眼鏡フレームに取り付けることができる。この眼鏡フレームは、センサーユニット105を保持するのに適している専用フレームまたは通常のメガネにすることができる。監視ユニット107は、眼鏡フレームにも取り付けられる別個の装置であり得る。監視ユニット107は、生データの処理、パラメータの評価と制御、および、センサーユニット105と格納ユニット109との間のデータ交換を実行することができ、それは、ネットワークストレージ(クラウド)にすることができる。
センサーユニット105は、近接センサーおよびユーザーの片方または両方の目の前にある赤外線LEDが取り付けられたメガネフレームにおいて実装することができる。近接センサーは、デジタルバスを経由して(眼鏡のテンプルなどのメガネのフレームにも取り付けられる)マイクロコントローラーボードに接続できる近接センサーは、環境光センサーとしても機能する。センサーはLEDの強度を変調し、周囲の背景を削除する。ユーザーの前の対象物の近接に関連する信号を配信する。より近い(またはより反射する)対象物は、より高い信号レベルとなる。マイクロコントローラーボードには、電源としてバッテリー、充電用のマイクロUSBインターフェイス、および、3次元の加速度計と温度センサーを搭載することができる。このボードは、低エネルギーのブルートゥース(登録商標)・インターフェイスを経由してスマートフォンやタブレットなどの監視ユニット107と通信できる。近接センサー、加速度計および温度センサーの測定値を読み取るスマートフォン/タブレットでアプリを実行できる。そして、さらに、それらを後処理のためにデータファイルに格納するように適合させることができる。このスマートフォン/タブレットは、信号変化の事前定義された署名によって瞬きを識別するために、信号の分析を実行することができる。これは、瞬きの統計としてユーザーに表示される。さらに、少なくとも1つのアイセンサー110は、個人用または眼鏡/眼鏡の現在のフィッティング用の信号の最適な組み合わせ/混合物を識別して使用できるようにするために、複数のソースおよび/または検出器を含むことができる。
本発明の原理を理解するために、図2は、一実施形態によるメソッドの実装を概略的に示している。
図2に、本発明の一実施形態による、ユーザーの健康状態を評価するための方法を模式的に示する。この方法は、センサーユニットにより、ユーザーの目から反射される光信号を取得するステップ(S205)を含む。センサーユニットはウェアラブルデバイスに取り付けることができる。この方法は、センサーユニットに接続されたモニタリングユニットにより、光信号を処理してユーザーの眼球活動に関連するデータを導出するステップ(S210)をさらに含み、ユーザーの眼球活動に関連するデータは、光信号に含まれている。この方法は、監視ユニットに接続された格納ユニットにより、ユーザーの眼球活動に関連する導出データと記録されたデータを格納するステップ(S215)をさらに含み、この方法は、監視ユニットにより、格納ユニットから記録されたデータを取得するステップ(S220)をさらに含み、この方法は、監視ユニットにより、ユーザーの眼球活動に関連して記録されたデータと導出データを比較することによりユーザーの健康状態を評価するステップ(S225)をさらに含む。
よりよく理解するために、ユーザーの健康状態を評価する方法の別の実施形態が、図3に示されている。
図3は、本発明の実施形態の方法の実施によるフローチャートを概略的に示している。図3では、測定データ、較正データ、眼球活動データ、環境データは、健康状態を抽出するために、結合されるように示されている。測定データは、図1によると、現在、センサーユニット/アイセンサーで測定された眼の活動に関連するデータにすることができる。センサーユニットを含むウェアラブルデバイスを使用する前にユーザーが実行した較正手法により取得された測定データは較正データにすることができる。さらに、較正データは、ウェアラブルデバイスを使用する以前のセッションで取得した同じユーザーまたは他のユーザーからのデータである。ウェアラブルデバイスは、フレーム/眼鏡にすることができる。較正データを取得するために、較正データ/履歴データを収集するためユーザー/他のユーザーはウェアラブルデバイスを着用する必要がある。履歴データは、本明細書では記録/格納データとも呼ばれ、現在導出されているデータとの比較のステップで使用できる。一方、ユーザーはウェアラブルデバイスを使用してデータを取得する。さらに、環境データは、ユーザーの健康状態をより正確に導出および/または評価するために、較正データと眼球活動データと併せて収集できる。
前述の開示による本願方法の実装の理解を容易にするために、例示的なシステム実装を図4に示す。
図4は、本発明の一実施形態による例示的なシステム実装を概略的に示している。図1によるセンサーユニットとして具現化されたさまざまな種類のセンサーが、アイセンサー1やアイセンサー2、温度および位置センサーなど、図の左側に示されている。これは単なるセンサー配置の例であり、1つのアイセンサーと1つの温度計、そして、例えば、位置センサーのみを含むこともできる。センサーユニットは、たとえば、ブルートゥース(登録商標)接続経由で、ここでは、スマートフォンデバイスとして示しているモニタリングユニットに接続されている。監視ユニット自体は、たとえば、無線通信を介して、較正データベース、測定データベースに接続されている。例えば、ブルートゥース(登録商標)接続および無線通信接続は、ユーザーが、ユーザーインターフェイスを介してオンとオフを切り替えることができる。これにより、監視ユニットは、測定データと組み合わせて、較正データベースからデータを抽出できる。この測定データは導出データにすることができ、較正データベースの較正データは、記録されたデータにすることができる。監視ユニット107は、GPS、GLONASS、またはGNSSセンサーなどの位置ベースのセンサーなど別のタイプのセンサーを備えることもできる。ユーザーの位置を知ることが困難な状況では、ユーザーは自分の位置または、入力を介したコンテキスト情報の決定を支援することができる。ユーザー入力は、たとえば、監視ユニットに含まれるユーザーインターフェイスで処理できる。位置センサーがデータ作成を提供する場合、ユーザーが車やバスに乗っているかどうかを判断するのは難しい。監視ユニット、および、監視ユニットと通信するクラウドサーバーは、ユーザーにバスまたは車に乗ったかどうかを尋ねるクエリを表示できる。車両コンテキスト以外の場所でも同様のクエリが発生することがあり得る。例えば、眼球活動に関連するデータの場合、ユーザーの心理的または生理学的状態および/または環境は、ユーザーが、激しい運動など特定のタスクを完了したことを示す。しかし、ユーザーがジムに行ったことを示す位置データがなく、ユーザーが、今日ジムに行ったかどうか尋ねられることがあり得る。
本発明の一実施形態による、ウェアラブルデバイスがデータを取得する方法を説明するために、図5は、結果のデータを含む対応する図を使用して、例示的な検出器/光源配置を示している。
図5は、本発明の一実施形態によるウェアラブルデバイスでの光検出器/センサーおよび光源の実装を概略的に図示する。ウェアラブルデバイス505は、光源541、542、および543を含むことができる。ウェアラブルデバイスは、光検出器511および512をさらに備えることができる。図5の右側に3つの異なる光源541、542、543の光検出器511との関係を示す図が、図解されている。光源と光検出器間の最短距離は、たまたま、最大量の出力データにつながり、これにより、関連図のピークが高くなる。出力データの最小量は、図5に示すように、光源と光検出器の間の最長距離に対応する。ウェアラブルデバイス505のフレーム、光源および光検出器に関連して、さまざまなユーザーの目を、さまざまな位置に配置できる。例えば、ウェアラブルデバイス505のフレームの上部近くに目があるユーザーの場合、光検出器は、光源541および光検出器511の組み合わせからより良い信号を受け取ることができる。フレームの下部に近い目を持つユーザーの場合、光源543と光検出器512の組み合わせが好ましいことがあり得る。
眼球活動を取得する際に結果データをどのように使用できるかを説明するために、図6は、コンテキストデータと、この開示では光信号とも呼ばれる生の眼球センサーデータとを組み合わせて眼球活動を取得するためのアルゴリズムの使用を模式的に示している。生のアイセンサーデータは、アイセンサーによって検出されたデータである。
図6は、本発明の一実施形態によるアルゴリズムプロセスを例示する概略的流れ図を示す。アルゴリズムのための入力データとして生のアイセンサーデータとコンテキストデータを収集して使用できる。さらに、較正データは、アルゴリズムの別の入力データとして使用できる。校正データは、測定された生信号を実際の眼球活動に関連するアルゴリズムで使用されるデータとして理解することができる。これは、マッピングアルゴリズムによって実行できる。較正データは、生の測定データ、基準データ、コンテキストデータからなり得る。このシステムは、独立した基準信号から、瞬き状態に関する情報を取得することにより、信号を較正できる。そのような基準信号は、ユーザーインターフェイスを通じて提供される直接的なユーザー入力であり得る。ユーザーインターフェースはウェアラブルデバイス上に配置することができる。ユーザー入力を、ウェアラブルデバイスのフレームにあるボタンを押すこと、ウェアラブルデバイスのフレームの上に配置されている加速度計によって検出された(たとえば、シングルタップは目を開くことを意味し、ダブルタップは目を閉じることを意味する)フレームの上のタップ、または、(たとえば、うなずきは瞬きを示し、頭を振ると目が開いていることを示す)ヘッドジェスチャにより、表示することができる。ユーザー入力は、ボタンを押す、コントローラのハードウェア/ソフトウェアがこの種の操作を許可している場合はタップする手段を有するコントローラーで与えることができる。これは、スマートフォンをクリックするか、シェイクするなどしてアプリに実装することもできる。アルゴリズムが実行されると、眼球活動に関連するデータは、図3で行われているようにデータの組み合わせによって抽出される。
眼球活動に関連するデータを説明するために、図7は、アイセンサーによって収集されたデータのタイムリーな変化を示している。
図7は、本発明の一実施形態による、光信号に含まれる瞬き信号を表す図を概略的に示している。このデータは、目の反射から検出された瞬き信号の図を示しているセンサー出力から抽出される。
図8は、ユーザーの視線方向に関して、測定距離の重み付けに対して垂直方向の例を模式的に示している。そして、図9は、ユーザーの視線方向に関する測定距離の重み付けに対して水平方向の例を模式的に示しています距離測定センサーは、対象物Bまでの距離1、2、3、4と対象物Aまでの距離5を感知する。眼球運動センサーは、図に示すように視線の方向を測定することができる。この例では、距離1と視線方向との偏差は、最も大きく、そして視線方向からの距離2、3、4、5の偏差は、2から5の順に減少する。したがって、ユーザーの視距離を導き出すために、距離5の距離は最も重要な測定とみなすことができるように、システムが距離を測定するとき(注視方向に最も近い)距離5に最大の重みを与えることができる。一方、(注視方向から最も遠い)距離1の距離は、最も重要でない測定値として考慮することができる。それに応じて、2−4の距離に重みを付けることができる。ここで、距離4は距離3よりも重要であると見なされることがあり得え、そして距離3は距離2よりも重要であると見なされることがあり得る。
基準信号を取得するために、本発明の実施形態によるシステムは、追加のセンサーを含めることができる。例えば、追加のセンサーは監視ユニットに含めることができる。例えば、監視ユニットがスマートフォンの場合、フロント/バックカメラを使用できる。そして画像分析アルゴリズムは、ユーザーの瞬きを識別するように適合させることができ、そしてユーザーインターフェイスを介した直接のユーザー入力なしで、それらをプライマリ瞬き信号に関連付けることができる。これは、パッシブモニタリングと呼ぶことができる。ここで、基準データ分析は、リアルタイムおよび/または遡及的に実行できる。遡及的分析は、手動モードまたは半自動モードで直接的なユーザー入力の恩恵を受けることができる。例えば、手動モードでは、ユーザーに画像が表示され、そして(たとえば、瞬き、または、目を開いている)目の状態を判断するように求められる。半自動モードでは、アルゴリズムは、眼の状態を識別しており、そして、基準データを含む結果のみをユーザーに表示し、結果の確認または拒否を求める(たとえば、スマートフォンの画面で左または右にスワイプし、それぞれ、結果を承認または拒否する)。較正データにはコンテキストデータを含めることができるため、較正データは、眼球活動の検出精度を向上させるために、追加の生理学的データまたは周囲データに関連付けることができる。コンテキストデータには、年齢、体重、肌のタイプ、目の色、健康に関する情報など、顔の画像または監視パラメータの形式、ユーザーの動き、周囲温度など静的情報の形式がある。コンテキストデータは、コンテキスト関連の統計を導出するために眼球活動データと関連して使用することもできる。

Claims (17)

  1. ユーザーの目から反射された光信号を取得するのに適応した少なくとも1つのアイセンサー(110)を含むセンサーユニット(105)であって、該センサーユニット(105)は、ウェアラブルデバイスに取り付けることができる、センサーユニット(105)と、
    前記センサーユニット(105)に接続され、前記光信号を処理することにより、前記ユーザーの眼球活動に関連するデータを導出するように適合された監視ユニット(107)であって、前記ユーザーの前記眼球活動に関連する前記データが前記光信号に含まれている、監視ユニット(107)と、
    前記監視ユニット(107)に接続され、前記ユーザーの前記眼球活動に関連する導出データと記録データを格納するように適合された格納ユニット(109)であって、前記監視ユニット(107)は、前記格納ユニット(109)から前記記録データを取得し、前記記録データを前記ユーザーの前記眼球活動に関連する前記導出データと比較することにより、前記ユーザーの健康状態を評価するようにさらに適合されている、格納ユニット(109)と、
    を備える、ユーザーの健康状態を評価するためのシステム(100)。
  2. 前記記録データは、前記ユーザーの前記眼球活動に関する格納データ、他のユーザーの前記眼球活動に関する格納データ、前記ユーザーの前記健康状態に関連する格納データ、および/または、前記他のユーザーの健康状態に関連する格納データを含む、請求項1に記載のシステム(100)。
  3. 前記記録データは、前記ユーザーの前記健康状態および/または別のユーザーまたは他のユーザーの健康状態を示す、以前に格納されたデータおよび/または履歴データである、請求項1または2に記載のシステム(100)。
  4. 前記光信号は光源から発生し、ここで、該光源は環境光および/または人工光源であり、該人工光源は前記ウェアラブルデバイスに搭載可能である、請求項1ないし3のいずれか1項に記載のシステム(100)。
  5. 前記ユーザーの眼球および/または周囲組織に前記光信号を送信するように適合および構成された少なくとも1つの光源をさらに備え、
    前記少なくとも1つの光源をさらに較正し、前記ウェアラブルデバイスに取り付けることができ、
    前記ユーザーの前記眼球および/または周囲の組織に前記光信号を送信し、前記少なくとも1つのアイセンサー(110)は、前記監視ユニット(107)が前記ユーザーの前記眼球活動に関連するデータを最適に導出するために、前記光源と位置合わせするようにさらに較正することができる、
    請求項1から4のいずれか1項に記載のシステム(100)。
  6. 前記ユーザーの眼球および/または周囲組織から前記光信号を受信するように適合および構成された少なくとも1つの光検出器をさらに備え、
    ここで前記ユーザーの前記眼球および/または周囲の組織から前記光信号を受信するために、前記少なくとも1つの光検出器をさらに較正し、前記ウェアラブルデバイスに取り付けることができ、
    前記少なくとも1つの光検出器は、前記受信した光信号に基づいて、前記ユーザーの前記眼球活動に関連するデータを最適に導出するために、監視ユニット(107)用の前記少なくとも1つの光源と位置合わせされるようにさらに較正することができる、
    請求項5に記載のシステム(100)。
  7. 前記アイセンサー(110)は、前記ユーザーの眼球の大きさ、および/または、前記ユーザーの前記眼球の位置に対するフレームまたは前記ウェアラブルデバイスの相対位置を含む前記ユーザーの個人的な状態に合わせて較正できる、請求項1から6のいずれか1項に記載のシステム(100)。
  8. 前記センサーユニット(105)は、さらに、前記ユーザーの環境に関連する別の信号を検出するように適合されたコンテキストセンサー(115)を備え、
    該コンテキストセンサー(115)は、前記センサーユニット(105)または前記監視ユニット(107)に配置され、
    前記監視ユニット(107)は、他の信号を処理することにより、前記他の信号に含まれる環境データを導出するようにさらに適合されており、
    前記格納ユニット(109)は、さらに、前記導出された環境データを格納するように適合されており、
    前記監視ユニット(107)は、さらに、前記ユーザーの前記眼球活動に関連した前記導出データを有する前記記録データと、および前記導出した環境データとを比較することにより前記ユーザーの前記健康状態を評価するように適合されている、
    請求項1から7のいずれか1項に記載のシステム(100)。
  9. 前記ユーザーからの入力を受信するように適合されたユーザーインターフェース(135)をさらに備え、
    前記ユーザーは、前記健康状態が前記導出された眼球活動データおよび/または前記導出された環境データに対応するかどうかを示す、
    請求項1から8のいずれか1項に記載のシステム(100)。
  10. 前記ユーザーインターフェース(135)は、前記比較に基づいて身体的および/または心理的異常が発生したかどうかを示すのにさらに適合されている、請求項9に記載のシステム(100)。
  11. 前記記録データは、前記ユーザーおよび/または他のユーザーからの以前に格納された較正データと以前に格納された環境データを含む、請求項1から10のいずれか1項に記載のシステム(100)。
  12. 前記監視ユニットはさらに、前記比較に基づいて、身体的および/または心理的異常が発生したことをユーザーに示すように適合されたアラームユニット(130)を備える、請求項1から11のいずれか1項に記載のシステム(100)。
  13. 前記ユーザーの前記目から反射された別の光信号を取得するようになっている追加のセンサーをさらに備え、前記監視ユニットは、前記ユーザーの瞬きを識別するように適合され、前記ユーザーの該識別された瞬きを、前記眼球活動に関連するデータに関連付ける画像解析アルゴリズムを実行するように適合されている、請求項1から12のいずれか1項に記載のシステム(100)。
  14. 前記ユーザーの眼球の動きを感知するように適合された眼球運動センサーと、
    少なくとも一方向における距離測定センサーから1つ以上の対象物までの距離を測定するように適合された距離測定センサーと
    をさらに備え、
    前記監視ユニット(107)は、前記感知された動きを使用して前記ユーザーの視線の方向を測定し、前記視線の前記方向からの前記少なくとも1つの方向の偏差に基づいて、前記測定された距離に重み付けし、該重み付け距離に基づいて、前記1つ以上の対象物と前記ユーザーとの間の視距離を計算する、ようにさらに適合されている、
    請求項1から13のいずれか1項に記載のシステム(100)。
  15. 前記眼球運動センサーまたは前記センサーユニット(105)は、さらに、前記ユーザーの眼球の動き、瞳孔の大きさ、または、レンズ形状の変化のうちの少なくとも1つを感知するように適合され、
    前記監視ユニット(107)は、前記眼球の前記感知された動きから導出された輻輳(vergence)、前記瞳孔のサイズ、および、前記レンズ形状の変化のうちの少なくとも1つを使用して、調節努力を決定するようにさらに適合されている、
    請求項1から14のいずれか1項に記載のシステム(100)。
  16. 前記監視ユニット(107)はさらに、前記決定された調節努力に基づいて、前記ユーザーの前記視距離を計算するように適合されている、請求項15に記載のシステム(100)。
  17. センサーユニット(105)により、ユーザーの眼球から反射された光信号を取得するステップであって、該センサーユニット(105)はウェアラブルデバイスに取り付けることができる、ステップ(S205)と、
    前記センサーユニット(105)に接続された監視ユニット(107)により、前記光信号を処理することによる前記ユーザーの眼球活動に関連するデータを導出するステップ(S210)であって、前記ユーザーの前記眼球活動に関連する前記データが、前記光信号に含まれている、ステップ(S210)と、
    前記監視ユニット(107)に接続された格納ユニット(109)により、前記ユーザーの前記眼球活動に関連する導出データおよび記録データを格納するステップ(S215)と、
    前記監視ユニット(107)により、前記格納ユニット(109)から前記記録データを取得するステップ(S220)と、
    前記監視ユニット(107)によって、前記記録データを、前記ユーザーの前記眼球活動に関連する前記導出データと比較することにより、前記ユーザーの健康状態を評価するステップ(S225)と、
    を含む、ユーザーの健康状態を評価する方法。
JP2019553268A 2017-03-29 2018-03-29 ユーザーの健康状態を評価するシステム Active JP7106569B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17163664.0A EP3381351A1 (en) 2017-03-29 2017-03-29 System for assessing a health condition of a user
EP17163664.0 2017-03-29
PCT/EP2018/058135 WO2018178267A1 (en) 2017-03-29 2018-03-29 System for assessing a health condition of a user

Publications (2)

Publication Number Publication Date
JP2020512120A true JP2020512120A (ja) 2020-04-23
JP7106569B2 JP7106569B2 (ja) 2022-07-26

Family

ID=58464261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019553268A Active JP7106569B2 (ja) 2017-03-29 2018-03-29 ユーザーの健康状態を評価するシステム

Country Status (12)

Country Link
US (1) US20200297206A1 (ja)
EP (2) EP3381351A1 (ja)
JP (1) JP7106569B2 (ja)
KR (1) KR20190141684A (ja)
CN (1) CN110621212A (ja)
AU (1) AU2018241278A1 (ja)
BR (1) BR112019020025A2 (ja)
CA (1) CA3058254A1 (ja)
IL (1) IL269516A (ja)
MX (1) MX2019011605A (ja)
RU (1) RU2019130119A (ja)
WO (1) WO2018178267A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3666170A1 (en) * 2018-12-11 2020-06-17 Vivior AG Wearable activity parameter collecting device and mounting unit therefor
WO2021014939A1 (ja) * 2019-07-22 2021-01-28 日本電気株式会社 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体
US11553044B2 (en) * 2019-10-17 2023-01-10 Google Llc Systems, devices, and methods for remote access smartphone services
US20210282669A1 (en) * 2020-03-14 2021-09-16 Peter Borden System and method for monitoring eye blink mechanics
US11961232B2 (en) * 2020-07-15 2024-04-16 International Electronic Machines Corp. Automated sensing system for health detection
CN111820865B (zh) * 2020-07-24 2024-05-17 安徽猫头鹰科技有限公司 一种眼部视觉数据采集在线监控系统
CN112674713B (zh) * 2020-11-22 2021-10-08 青岛大学附属医院 昏暗环境瞳孔辨识系统
WO2023277589A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
JP7521748B1 (ja) 2021-06-30 2024-07-24 サイロスコープ インコーポレイテッド 眼球突出の度合いの分析のための側方画像を取得するための方法及び撮影デバイス、及びそのための記録媒体
WO2023277622A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
EP4220282A1 (en) 2022-01-28 2023-08-02 Carl Zeiss Vision International GmbH Determining a lens shape for producing an optical lens for an eye of a person

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0838435A (ja) * 1994-07-29 1996-02-13 Pioneer Electron Corp 在宅健康管理システム
JP2003076353A (ja) * 2001-09-04 2003-03-14 Sharp Corp ヘッドマウント型表示装置
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
US20160022135A1 (en) * 2014-07-28 2016-01-28 Motorola Mobility Llc Method and Apparatus for Managing Blinking
JP2016148622A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2016149416A1 (en) * 2015-03-16 2016-09-22 Magic Leap, Inc. Methods and systems for diagnosing and treating health ailments
JP2017507400A (ja) * 2013-12-31 2017-03-16 アイフルエンス, インコーポレイテッドEyefluence, Inc. 注視によるメディア選択及び編集のためのシステム並びに方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0280124A1 (en) * 1987-02-12 1988-08-31 Omron Tateisi Electronics Co. Doze detector
KR20040023945A (ko) * 2002-09-12 2004-03-20 주식회사 휴비츠 향상된 시력 측정 방법 및 이를 제공하기 위한 시력 측정기
US8469512B2 (en) * 2011-05-31 2013-06-25 Gunnar Optiks, Llc Computer eyewear with spectral filtering
US9993150B2 (en) * 2014-05-15 2018-06-12 Essilor International (Compagnie Generale D'optique) Monitoring system for monitoring head mounted device wearer
TWI603293B (zh) * 2014-10-13 2017-10-21 由田新技股份有限公司 眨眼偵測方法及裝置
US9700200B2 (en) * 2014-12-16 2017-07-11 International Business Machines Corporation Detecting visual impairment through normal use of a mobile device
EP3112927A1 (en) * 2015-06-30 2017-01-04 Essilor International (Compagnie Generale D'optique) A vision monitoring module fixed on a spectacle frame
CN105068646B (zh) * 2015-08-05 2017-11-10 广东欧珀移动通信有限公司 终端的控制方法和系统
CN105559751B (zh) * 2015-12-14 2018-06-12 安徽华米信息科技有限公司 监测微活动状态的方法、装置及可穿戴设备
PT3228237T (pt) * 2016-04-08 2020-06-09 Vivior Ag Um dispositivo e método para medir distâncias
KR20240093840A (ko) * 2016-07-25 2024-06-24 매직 립, 인코포레이티드 광 필드 프로세서 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0838435A (ja) * 1994-07-29 1996-02-13 Pioneer Electron Corp 在宅健康管理システム
JP2003076353A (ja) * 2001-09-04 2003-03-14 Sharp Corp ヘッドマウント型表示装置
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2017507400A (ja) * 2013-12-31 2017-03-16 アイフルエンス, インコーポレイテッドEyefluence, Inc. 注視によるメディア選択及び編集のためのシステム並びに方法
US20160022135A1 (en) * 2014-07-28 2016-01-28 Motorola Mobility Llc Method and Apparatus for Managing Blinking
JP2016148622A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2016149416A1 (en) * 2015-03-16 2016-09-22 Magic Leap, Inc. Methods and systems for diagnosing and treating health ailments

Also Published As

Publication number Publication date
RU2019130119A (ru) 2021-04-29
RU2019130119A3 (ja) 2021-07-19
EP3381351A1 (en) 2018-10-03
AU2018241278A1 (en) 2019-10-10
US20200297206A1 (en) 2020-09-24
CA3058254A1 (en) 2018-10-04
WO2018178267A1 (en) 2018-10-04
CN110621212A (zh) 2019-12-27
IL269516A (en) 2019-11-28
KR20190141684A (ko) 2019-12-24
JP7106569B2 (ja) 2022-07-26
BR112019020025A2 (pt) 2020-04-28
EP3599990A1 (en) 2020-02-05
MX2019011605A (es) 2020-02-05

Similar Documents

Publication Publication Date Title
JP7106569B2 (ja) ユーザーの健康状態を評価するシステム
JP6947817B2 (ja) 視距離を測定する装置及び方法
US20190235624A1 (en) Systems and methods for predictive visual rendering
US8550627B2 (en) Portable fundus observation apparatus
US20160070122A1 (en) Computerized replacement temple for standard eyewear
US11406257B2 (en) Vision screening device and methods
WO2011002837A2 (en) System for at-home eye movement monitoring
US20180184899A1 (en) System and method for detection and monitoring of a physical condition of a user
US10964435B2 (en) Method of monitoring the behavior of a cohort group of members
KR102295587B1 (ko) 가상현실 기반의 시야검사 방법 및 시스템
KR102304369B1 (ko) Vr을 이용한 안과검사방법 및 시스템
US20210315453A1 (en) Visual field examination method and system based on virtual reality
JP2020077271A (ja) 表示装置、学習装置、及び、表示装置の制御方法
Kasprowski Eye tracking hardware: past to present, and beyond
EP3075315B1 (en) System and computer-implemented method for monitoring the visual behavior of a person
US20230359273A1 (en) Retinal reflection tracking for gaze alignment
KR102563365B1 (ko) 일상생활 속 사시 발현 모니터링 시스템 및 방법
KR102665504B1 (ko) Vr 콘텐츠 기반 무자각 안과검사 제공 방법 및 시스템
Mariakakis et al. Ocular symptom detection using smartphones
EP3811849B1 (en) Method and system for determining a prescription for an eye of a person
US20230107167A1 (en) Vision screening device, vision impairment screening system, improved vision screening process, method of assessment, and method of use

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220713

R150 Certificate of patent or registration of utility model

Ref document number: 7106569

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150