JP2023002822A - 情報処理方法、情報処理装置、および情報処理システム - Google Patents

情報処理方法、情報処理装置、および情報処理システム Download PDF

Info

Publication number
JP2023002822A
JP2023002822A JP2022176080A JP2022176080A JP2023002822A JP 2023002822 A JP2023002822 A JP 2023002822A JP 2022176080 A JP2022176080 A JP 2022176080A JP 2022176080 A JP2022176080 A JP 2022176080A JP 2023002822 A JP2023002822 A JP 2023002822A
Authority
JP
Japan
Prior art keywords
subject
information processing
blood flow
moving image
cerebral blood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022176080A
Other languages
English (en)
Other versions
JP7312977B2 (ja
Inventor
真明 柳田
Masaaki Yanagida
雅登 鈴木
Masato Suzuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018079949A external-priority patent/JP7178614B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2023002822A publication Critical patent/JP2023002822A/ja
Application granted granted Critical
Publication of JP7312977B2 publication Critical patent/JP7312977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1495Calibrating or testing of in-vivo probes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683Means for maintaining contact with the body
    • A61B5/6831Straps, bands or harnesses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204Acoustic sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Optics & Photonics (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Neurology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Hospice & Palliative Care (AREA)
  • Dentistry (AREA)
  • Hematology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)

Abstract

Figure 2023002822000001
【課題】被検者の心理状態などの診断をより効果的に行う。
【解決手段】情報処理方法は、第1のカメラから、被検者の顔の少なくとも一部を示す第1動画像を取得することと、光検出器によって検出された前記被検者の頭部からの光の情報に基づき、前記被検者の脳血流の経時変化を示す第2動画像を生成することと、前記第1動画像と、前記第2動画像とを含む出力画像を、ネットワークを介してディスプレイに表示させることと、を含み、前記ディスプレイに表示される前記第2動画像のフレームレートは、前記ディスプレイに表示される前記第1動画像のフレームレートよりも低い。
【選択図】図1

Description

本願は、被検者の生体情報を利用して診断を行うための情報処理方法、情報処理装置、および情報処理システムに関する。
近年、主に都市部ではない地域において、病院および医師が不足している。対策として、ネットワークを介した遠隔診断が有望であると考えられている。
精神疾患の診断では、医師は、問診によって、患者の表情、視線、および顔色などに基づいて病気の診断を行う。他方、診断の補助ツールとして、近赤外分光法(Near Infrared Spectroscopy:NIRS)を利用した装置(以下、「NIRS装置」と称することがある)が用いられている。NIRS装置は、被検者の被検部に近赤外線などの光を照射し、被検部から戻ってきた光を検出することにより、被検部の血流の情報を取得する。
NIRS装置を用いることにより、被検者の脳血流の変化を非侵襲に検出することができる。NIRSを利用した診断は、例えば以下のようにして行われる。まず、患者は、NIRS装置を装着した状態で、診断用タスクを実施する。当該タスクの前後において、NIRS装置を用いて、脳の血液中を伝搬した光の強度分布および経時変化などが計測される。計測されたそれらの情報に基づいて、医師は、被検者の精神疾患の有無および種類を診断する。
特許文献1は、NIRS装置を利用した脳活動状態の解析方法の一例を開示している。
特開2014-023866号公報
本開示は、被検者の心理状態などの診断を、従来よりも効果的に行うための新規な技術を提供する。
本開示の一態様に係る情報処理方法は、第1のコンピュータに接続または内蔵される第1のカメラから、被検者の顔の少なくとも一部の画像を示す第1の画像データを取得することと、前記第1のコンピュータに接続または内蔵され、前記被検者の脳血流の状態を示す脳血流情報を検出する検出装置から、前記脳血流情報を取得することと、前記第1の画像データに基づく第1の画像と、前記脳血流情報に基づく第2の画像とを含む出力画像を、前記第1のコンピュータに遠隔ネットワークを介して接続される第2のコンピュータに接続または内蔵されるディスプレイに表示させることと、を含み、前記第1の画像は前記被検者の前記顔の前記少なくとも一部を含む動画像であり、前記第2の画像は前記脳血流情報の経時変化を示す画像である。
本開示の包括的または具体的な態様は、デバイス、システム、方法、またはこれらの任意の組み合わせによって実現されてもよい。
本開示の一態様によれば、例えば医師と患者とが遠く離れた場所にいる場合であっても、より効果的に診断を行うことが可能になる。
図1は、本開示の例示的な実施形態における情報処理システムの構成を模式的に示すブロック図である。 図2は、検出装置を用いて、被検者の被検部における脳血流情報を検出している様子を模式的に示す図である。 図3は、検出装置が被検者コンピュータに内蔵され、ディスプレイが診断者コンピュータに内蔵された構成の例を示すブロック図である。 図4は、被検者コンピュータ、検出装置、およびカメラの構成の一例を模式的に示す図である。 図5は、被検者コンピュータ、検出装置、およびカメラの構成の他の例を模式的に示す図である。 図6は、図5に示す被検者コンピュータを用いた情報処理システムの構成例を示すブロック図である。 図7は、図6の変形例を示すブロック図である。 図8は、ヘッドマウント装置を用いた例を示す図である。 図9は、ヘッドマウント装置の構成例を模式的に示す図である。 図10は、本開示の例示的な実施形態における遠隔診断での各装置の動作の概要を示す図である。 図11は、本開示の例示的な実施形態における遠隔診断の流れの一例を示すフローチャートである。 図12Aは、診断者コンピュータにおけるディスプレイへの表示例を模式的に示す図である。 図12Bは、図12Aに示す右上の画像の変形例を模式的に示す図である。 図13は、診断者コンピュータにおけるディスプレイへの他の表示例を模式的に示す図である。 図14は、診断者コンピュータにおけるディスプレイへのさらに他の表示例を模式的に示す図である。
従来の問診またはNIRS装置を用いた診断は、診断者(例えば医師)と被検者(例えば患者)とが対面で行う必要があった。しかし、前述したように、近年、病院または医師の不足により、遠隔での医療診断が求められている。本開示の実施形態は、遠隔での診断に特に効果的な情報処理方法を提供する。なお、本開示の技術は、診断者と被検者とが近くにいる場合でも利用することができる。
本開示の実施形態は、例えば以下の情報処理方法、情報処理装置、および情報処理システムを含む。
[第1の項目]
第1の項目に係る情報処理方法は、第1のコンピュータに接続または内蔵される第1のカメラから、被検者の顔の少なくとも一部の画像を示す第1の画像データを取得することと、前記第1のコンピュータに接続または内蔵され、前記被検者の脳血流の状態を示す脳血流情報を検出する検出装置から、前記脳血流情報を取得することと、前記第1の画像データに基づく第1の画像と、前記脳血流情報に基づく第2の画像とを含む出力画像を、前記第1のコンピュータに遠隔ネットワークを介して接続される第2のコンピュータに接続
または内蔵されるディスプレイに表示させることと、を含む。前記第1の画像は前記被検者の前記顔の前記少なくとも一部を含む動画像であり、前記第2の画像は前記脳血流情報の経時変化を示す画像である。
この情報処理方法では、被検者の顔の動画像と、被検者の脳血流情報の経時変化とを含む出力画像が、遠隔ネットワークを介して、第1のコンピュータに接続される第2のコンピュータのディスプレイに表示される。これにより、第2のコンピュータを操作する診断者は、被検者を効果的に遠隔診断することができる。
[第2の項目]
第1の項目に係る情報処理方法において、前記第1の画像が、前記被検者の表情の変化、前記被検者の視線の変化、および前記被検者の顔色の変化からなる群から選択される少なくとも1つを示していてもよい。
これにより、診断者は、被検者を効果的に遠隔診断することができる。
[第3の項目]
第1または第2の項目に係る情報処理方法において、前記第2の画像が、数値化された前記脳血流情報の前記経時変化を示すグラフであってもよい。
これにより、診断者は、被検者を効果的に遠隔診断することができる。
[第4の項目]
第3の項目に係る情報処理方法は、前記第1のコンピュータに接続または内蔵される出力装置に、前記被検者により行われるタスクを示すタスク情報を出力させることをさらに含んでいてもよい。前記第2の画像は、前記脳血流情報の前記経時変化と、前記タスク情報が出力された期間との対応関係を示す画像を含んでいてもよい。
これにより、タスクの実施中における被検者の脳血流情報の経時変化が明確になる。
[第5の項目]
第4の項目に係る情報処理方法は、前記第1のカメラからの第2の画像データ、前記第1のコンピュータに接続または内蔵された第2のカメラからの第3の画像データ、および前記第1のコンピュータに接続または内蔵されるマイクからの音声データからなる群から選択される少なくとも1つのデータから基準を超える変化を検出すること、をさらに含んでいてもよい。前記第2の画像は、前記脳血流情報の前記経時変化と、前記少なくとも1つのデータから前記変化を検出した期間との対応関係を示す画像を含んでいてもよい。
これにより、イベントが被検者の脳血流情報の経時変化に及ぼす影響が明確になる。
[第6の項目]
第3に係る情報処理方法は、前記脳血流情報のうち、前記被検者の脳の少なくとも一つの特定領域に関する部分を選択することと、前記部分をグラフ化することと、をさらに含んでいてもよい。
脳血流情報の一部をグラフ化することにより、被検者の脳血流情報を広範囲に調べる必要がない。その結果、診断者は、被検者を効果的に遠隔診断することができる。
[第7の項目]
第6の項目に係る情報処理方法は、前記ディスプレイに、前記特定領域を決定するため
の項目を表示させることと、前記第2のコンピュータに接続または内蔵される入力装置から、前記項目に関する入力情報を取得することと、をさらに含んでいてもよい。前記特定領域は、前記入力情報に応じて決定されてもよい。
この情報処理方法では、統計データから、病気または症状に応じて大きく活性化する脳の領域が既知である場合、当該脳の領域を設定することにより、特定領域を容易に決定することができる。
[第8の項目]
第6の項目に係る情報処理方法は、前記第1のコンピュータに接続または内蔵される出力装置に、前記被検者により行われる予備タスクを示す予備タスク情報を出力させること、をさらに含んでいてもよい。前記特定領域は、前記予備タスク情報に対する前記脳血流情報の変化に応じて決定されてもよい。
この決定方法は、病気または症状に応じて活性化する脳の領域が既知でない場合に有効である。
[第9の項目]
第1の項目に係る情報処理方法は、前記脳血流情報のうち、前記被検者の脳の少なくとも一つの特定領域に関する部分を選択することと、前記部分を前記第1のコンピュータから前記第2のコンピュータへと前記遠隔ネットワークを介して送信することと、を含んでいてもよい。
これにより、第1のコンピュータから第2のコンピュータへの通信量を削減することができる。その結果、通信の遅延を抑制することができる。
[第10の項目]
第9の項目に係る情報処理方法は、前記ディスプレイに、前記特定領域を決定するための項目を表示させることと、前記第2のコンピュータに接続または内蔵される入力装置から、前記項目に関する入力情報を取得することと、をさらに含んでいてもよい。前記特定領域は、前記入力情報に応じて決定されてもよい。
この情報処理方法では、統計データから、病気または症状に応じて大きく活性化する脳の領域が既知である場合、当該脳の領域を設定することにより、特定領域を容易に決定することができる。
[第11の項目]
第9の項目に係る情報処理方法は、前記第1のコンピュータに接続または内蔵される出力装置に、前記被検者により行われる予備タスクを示す予備タスク情報を出力させること、をさらに含んでいてもよい。前記特定領域は、前記予備タスク情報に対する前記脳血流情報の変化に応じて決定されてもよい。
この決定方法は、病気または症状に応じて活性化する脳の領域が既知でない場合に有効である。
[第12の項目]
第1から第3の項目のいずれかに係る情報処理方法において、前記出力画像が、前記第1の画像と第2の画像とが合成されることにより得られてもよい。
これにより、診断者は、被検者の顔と脳血流情報との両方を見ながら効果的に遠隔診断
することができる。
[第13の項目]
第12の項目に係る情報処理方法において、前記検出装置が、前記被検者の頭部における被検部に出射光を照射する少なくとも1つの光源と、前記被検部から戻った反射光を検出するイメージセンサと、前記イメージセンサによって検出された前記反射光の情報から、前記被検部における前記脳血流情報を生成して出力する処理回路と、を備えてもよい。前記少なくとも1つの光源は、前記被検部における複数の領域を前記出射光で照射してもよい。前記イメージセンサは、前記複数の領域からの前記反射光の強度分布を示す信号を出力してもよい。前記処理回路は、前記イメージセンサから出力された前記信号に基づいて、前記脳血流情報を生成して出力してもよい。前記第2の画像は、前記複数の領域における前記脳血流情報の前記経時変化を示してもよい。
この情報処理方法では、イメージセンサによって検出された被検者の脳血流の2次元分布が、被検者の顔の動画像に合成されて表示される。これにより、診断者は、被検者を効果的に遠隔診断することができる。
[第14の項目]
第13の項目に係る情報処理方法において、前記少なくとも1つの光源が、波長が650nm以上805nm未満である第1の出射光を前記被検部に照射する第1の光源と、波長が805nmより長く950nm以下である第2の出射光を前記被検部に照射する第2の光源と、を含んでいてもよい。前記イメージセンサは、前記第1の出射光の照射に起因して前記被検部から戻った第1の反射光の量に応じた第1の電気信号、および前記第2の出射光の照射に起因して前記被検部から戻った第2の反射光の量に応じた第2の電気信号を出力してもよい。前記処理回路は、前記第1の電気信号および前記第2の電気信号に基づいて、前記被検部における脳血液中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの濃度を示す情報を前記脳血流情報として生成してもよい。前記第2の画像は、前記被検部における前記酸素化ヘモグロビンおよび前記脱酸素化ヘモグロビンからなる群から選択される少なくとも一方の濃度の経時変化を示す情報を含んでいてもよい。
この情報処理方法では、2つの光源により、被検者の脳血液中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンを得ることができる。これにより、診断者は、被検者の脳活動の状態を詳細に診断することができる。
[第15の項目]
第1から第14の項目のいずれかに係る情報処理方法において、前記第2のコンピュータは、前記診断者の操作に応答して、前記ディスプレイに表示される画像を切り替えてもよい。第1から第14の項目のいずれかに係る情報処理方法は、前記第1の画像を前記ディスプレイに表示させることと、前記操作に応答して、前記第1の画像に加えて、または前記第1の画像に代えて、前記第2の画像を前記ディスプレイに表示させることと、をさらに含んでいてもよい。
この情報処理方法では、診断者の操作により、被検者の顔画像に加えて、または被検者の顔画像に代えて、第2の画像をディスプレイに表示させることができる。これにより、診断者は、被検者を効果的に遠隔診断することができる。
[第16の項目]
第1から第15の項目のいずれかに係る情報処理方法において、前記検出装置が、前記第1のコンピュータに接続され、かつヘッドマウント装置に内蔵されていてもよい。
これにより、屋外で使用する場合でも、環境光の影響を小さくすることができる。
[第17の項目]
第1から第16の項目のいずれかに係る情報処理方法は、前記被検者の心理状態および前記被検者が病気である確率からなる群から選択される少なくとも1つの推定を行うことと、前記推定の結果を前記ディスプレイに表示させることと、をさらに含んでいてもよい。
これにより、診断者は、被検者を効果的に遠隔診断することができる。
[第18の項目]
第18の項目に係る情報処理装置は、第1のコンピュータと第2のコンピュータとにネットワークを介して接続される情報処理装置であって、処理回路と、コンピュータプログラムを格納したメモリと、を備える。前記コンピュータプログラムは、前記処理回路に、前記第1のコンピュータに接続または内蔵されるカメラから、被検者の顔の少なくとも一部の画像を示す第1の画像データを取得することと、前記第1のコンピュータに接続または内蔵され、前記被検者の脳血流の状態を示す脳血流情報を検出する検出装置から、前記脳血流情報を取得することと、前記第1の画像データに基づく第1の画像と、前記脳血流情報に基づく第2の画像とを含む出力画像を、前記第1のコンピュータに遠隔ネットワークを介して接続される前記第2のコンピュータに接続または内蔵されるディスプレイに表示させることと、を実行させる。前記第1の画像は前記被検者の前記顔の前記少なくとも一部を含む動画像であり、前記第2の画像は前記脳血流情報の経時変化を示す画像である。
これにより、第2のコンピュータを操作する診断者は、効果的に被検者を遠隔診断することができる。
[第19の項目]
第19の項目に係る情報処理システムは、第18の項目に係る情報処理装置と、前記ディスプレイと、を備える。
この情報処理システムでは、第18の項目に係る情報処理装置と、ディスプレイとにより、診断者は、効果的に被検者を遠隔診断することができる。
[第20の項目]
第19の項目に係る情報処理システムは、前記検出装置と、前記カメラと、をさらに備えていてもよい。
この情報処理システムでは、第19の項目に係る情報処理装置と、出力装置と、カメラとにより、診断者は、効果的に被検者を遠隔診断することができる。
本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む一つ又は複数の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIまたはICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration)と呼ばれるものであってもよい。 LSIの製造後にプ
ログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置(processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。
以下、本開示の実施形態をより具体的に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似する構成要素については、同じ参照符号を付している。
(実施形態)
本実施形態は、診断者(例えば医師)が、例えば、被検者(例えば患者)の心理状態を遠隔診断するための情報処理方法、情報処理装置、および情報処理システムに関する。本実施形態では、診断者と被検者とは、遠く離れた2つの場所(例えば、病院と被検者の自宅)にいるものとする。当該2つの場所は、遠隔ネットワークによって接続される。
「遠隔ネットワーク」とは、離れた2拠点を接続する情報ネットワークを意味する。遠隔ネットワークは、例えば、インターネットまたは専用線などの広域ネットワークであり、ローカルエリアネットワーク(LAN)のみからなるネットワークを含まない。遠隔ネットワークとして、バーチャルプライベートネットワーク(VPN)を利用してもよい。
本明細書において「心理状態」とは、気分(例えば、快、不快)、感情(例えば、安心、不安、悲しみ、憤り)、健康状態(例えば、元気、倦怠)、温度感覚(例えば、暑い、寒い、蒸し暑い)、病状(例えば、躁、鬱、統合失調症)、またはこれらに派生する脳活動の程度を表す指標(例えば、熟練度、習熟度、および集中度)を意味する。心理状態は、脳血流量または血液内成分(例えばヘモグロビン)の変化に基づいて推定することができる。例えば、人間の心理状態の変化に応じて神経細胞の活動が変化すると、脳血流量または血液内の成分が変化する。したがって、NIRS装置などの検出装置を用いて脳血流量または血液内成分の変化などの生体情報を計測することにより、被検者の心理状態を推定することができる。
[構成]
図1は、本実施形態における情報処理システム100の構成を模式的に示すブロック図である。情報処理システム100は、検出装置10と、カメラ20と、ディスプレイ30と、情報処理装置40とを備える。検出装置10およびカメラ20は、被検者側の場所に配置されている。ディスプレイ30は、診断者側の場所に配置されている。情報処理装置40は、検出装置10と、カメラ20と、ディスプレイ30とに、遠隔ネットワークを介して接続されている。情報処理装置40は、例えばインターネット上のサーバコンピュー
タであり得る。なお、情報処理装置40が、遠隔ネットワークではなく、例えばLANまたは単なるケーブルから構成されるネットワークを介して、検出装置10、カメラ20、またはディスプレイ30と接続された場合であっても、本開示の技術を適用することができる。
検出装置10は、例えばNIRS装置であり、被検者1の脳血流情報を検出する。検出装置10は、少なくとも1つの光源12と、光検出器14と、処理回路16とを備えている。カメラ20は、被検者1を撮影して画像データを出力する。当該画像データは、例えば、被検者1の表情、視線、および顔色の少なくとも1つを示す。情報処理装置40は、検出装置10によって検出された脳血流情報に基づいて、被検者1の心理状態を診断するための情報を生成し、ディスプレイ30に送信する。
情報処理装置40は、処理回路42と、メモリ44とを備える。メモリ44は、コンピュータプログラム46を格納している。コンピュータプログラム46は、処理回路42に、以下の(1)から(4)の処理を実行させる。
(1)カメラ20から、被検者1の顔の少なくとも一部を含む画像を示す第1の画像データを取得する。
(2)検出装置10から、被検者1の脳血流情報を取得する。
(3)取得した脳血流情報に基づいて、被検者1の心理状態を診断するための情報を含む第2の画像データを生成する。
(4)第1および第2の画像データに基づく少なくとも1つの画像を、ディスプレイ30に表示させる。
上記(1)および(2)の動作の順序は逆でもよいし、同時であってもよい。
上記の(4)の動作において、ディスプレイ30に表示される画像は、第1の画像データに基づく被検者の顔画像である第1の画像と、第2の画像データに基づく脳血流情報の経時変化を示す画像である第2の画像との組み合わせであり得る。これらの2つの画像を同時に表示してもよいし、異なるタイミングで表示してもよい。あるいは、これらの2つの画像を合成した1つの出力画像を表示してもよい。表示される画像は、静止画像に限らず、動画像であってもよい。動画像の場合、第1の画像は、例えば、被検者1の表情の変化、視線の変化、および顔色の変化からなる群から選択される少なくとも1つを示す。動画像の場合、第2の画像は、数値化された脳血流情報の経時変化を示す画像である。
動画像を表示する場合、情報処理装置40は、上記の(1)から(4)のステップを、例えば一定の時間ごとに繰り返し実行する。当該一定の時間は、動画像のフレームレートに依存する。例えば、30fpsのフレームレートの動画像を表示する場合、情報処理装置40は、1/30秒ごとに上記(1)から(4)のステップを繰り返し実行する。この周期が十分に短ければ、動画像を介したリアルタイムの遠隔診断が可能になる。繰り返しの周期は、各装置の処理能力およびネットワークの帯域幅に依存する。この周期は、例えば1秒以下、さらには1/30秒以下に設定され得る。ただし、この範囲に限定されない。第1の画像データに基づく動画像であるカメラ画像と、第2の画像データに基づく動画像である脳血流画像とを、異なるフレームレートで表示してもよい。例えば、カメラ画像を30fps以上のフレームレートで表示し、脳血流画像を数fps以上のフレームレートで表示してもよい。脳血流の変化は比較的遅いため、脳血流画像のフレームレートは、カメラ画像のフレームレートよりも低くても実用上問題はない。
情報処理装置40における処理回路42は、例えば中央演算処理装置(CPU)または画像処理用演算プロセッサ(GPU)などのプロセッサであり得る。プロセッサとコンピュータプログラムとの組み合わせによって、本実施形態における情報処理方法が実現され
る。処理回路42と、メモリ44とは、1つの集積回路によって実現されていてもよい。処理回路42は、例えばデジタルシグナルプロセッサ(DSP)、またはフィールドプログラマブルゲートアレイ(FPGA)などのプログラマブルロジックデバイス(PLD)によって実現されてもよい。
図2は、検出装置10を用いて、被検者1の被検部2における脳血流情報を検出している様子を模式的に示す図である。図2に示す例では、被検部2は被検者1の額部である。図1および図2には示されていないが、検出装置10は、光源12および光検出器14の動作を同期して制御する制御回路をさらに備え得る。光源12の個数は用途によって異なる。例えば、被検部2における脈拍数を計測したり、脳血液中の酸素化ヘモグロビンの濃度の時間変化を検出したりする用途では、単一波長の光源12を使用できる。他方、脳血液中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの両方の濃度などの情報を取得する用途では、後述するように、波長の異なる2種類の光をそれぞれ出射する2つの光源が用いられ得る。
図2に示すように、光源12は、被検者1の頭部における被検部2を照射する光を出射する。被検部2に入射した光の一部は、被検者1の脳内組織によって散乱され、被検部2から出てくる。当該光は脳内の血液の状態を示す情報を含む。光検出器14は、被検部2から到達した当該光を受け、受光量に応じた電気信号を出力する。処理回路16は、出力された電気信号に基づいて、被検部2における脳血流情報を生成して出力する。
「脳血流情報」とは、脳内の血液の状態を示す任意の情報を意味する。脳血流情報は、例えば、光検出器14から出力される生データそのものであってもよいし、生データを加工して生成されるデータであってもよい。光検出器14から出力される生データとは、被検部の少なくとも一部の領域からの反射光量を示すデータを意味する。光検出器14が生データを情報処理装置40に送信する場合には、処理回路16は、生データに対して特段の処理を行わず、情報処理装置40に転送する。処理回路16は、被検部2の脳血液中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの少なくとも一方の濃度を示す情報を脳血流情報として生成してもよい。処理回路16はまた、脈拍数の情報を脳血流情報として生成してもよい。これらの脳血流情報を生成するための処理は、処理回路16に代えて、情報処理装置40における処理回路42が行ってもよい。
光検出器14は、光源12から出射される光に感度を有する少なくとも1つの受光素子を有する。典型的には、光検出器14は、2次元的に複数の受光素子が配列されたイメージセンサである。イメージセンサにおける各受光素子は、光電変換によって受光量に応じた電気信号を出力する。これらの電気信号の集合は、画像信号を構成する。
光源12は、例えば波長が650nm以上950nm以下の光を出射する。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。上記の波長範囲は、生体の窓と呼ばれ、体内での吸収率が低いことで知られている。本実施形態における光源12は、上記の波長範囲の光を出射するものとして説明するが、他の波長範囲の光を用いてもよい。本明細書では、可視光のみならず赤外線についても、「光」の用語を用いる。
波長650nm未満の可視光領域では、血液中の酸素化ヘモグロビン(HbO)および脱酸素化ヘモグロビン(Hb)による吸収率が大きく、950nmより長い波長域では、水による吸収率が大きい。一方、650nm以上950nm以下の波長範囲内では、酸素化ヘモグロビン、脱酸素化ヘモグロビン、および水による吸収率は比較的低く、酸素化および脱酸素化ヘモグロビンならびに水による散乱率は比較的大きい。波長が805nmにおいて、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンによる吸収率が等しくなる。
したがって、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの両方の情報を取得する場合には、光源12として、650nm以上805nm未満である第1の波長の光を出射する第1の光源と、805nmより長く950nm以下である第2の波長の光を出射する第2の光源とが利用され得る。例えば、第1の波長は、750nmであり、第2の波長は850nmであり得る。
このように2つの波長の光が用いられる場合、光検出器14は、それぞれの波長の光を個別に検出するように構成される。例えば、光検出器14は、少なくとも1つのフォトダイオードと、複数の電荷蓄積部を備え得る。その場合、光源12は2つの波長の光を異なるタイミングで出射し、それらの光が戻ってくるタイミングに合わせて、2つの波長の光による信号電荷が2つの電荷蓄積部にそれぞれ蓄積される。これにより、2つの波長の光を個別に検出することができる。この場合、光検出器14は、被検部2から到達した第1の波長の光の量に応じた第1の電気信号、および被検部2から到達した第2の波長の光の量に応じた第2の電気信号を出力する。処理回路16は、第1および第2の電気信号に基づく所定の演算を行うことにより、被検部2における酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの濃度を求めることができる。ある例において、処理回路16は、それらの濃度情報を、脳血流情報として生成する。
情報処理装置40における処理回路42は、処理回路16から脳血流情報を取得し、被検者1の心理状態を診断するための情報を含む第2の画像データを生成する。第2の画像データは、例えば、被検部2における酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの少なくとも一方の濃度の経時変化を示す情報を含み得る。そのような情報がディスプレイ30に表示されることにより、診断者は、被検者の脳活動の状態を詳細に診断することができる。
検出装置10およびカメラ20は、被検者1が操作する第1のコンピュータに接続または内蔵されていてもよい。他方、ディスプレイ30は、診断者が操作する第2のコンピュータに接続または内蔵されていてもよい。第1および第2のコンピュータは、例えばパーソナルコンピュータ(PC)、タブレットコンピュータ、またはスマートフォンなどの情報機器であり得る。被検者側の第1のコンピュータおよび診断者側の第2のコンピュータは、いずれも通信機能を有し、遠隔ネットワークを介して互いに接続され得る。このような態様において、情報処理装置40は、遠隔ネットワークを介して第1および第2のコンピュータに接続された第3のコンピュータであり得る。あるいは、診断者側の第2のコンピュータが情報処理装置40として機能してもよい。
図3は、検出装置10が、被検者が操作する第1のコンピュータである被検者コンピュータ50に内蔵され、ディスプレイ30が、診断者が操作する第2のコンピュータである診断者コンピュータ60に内蔵された構成の例を示すブロック図である。図3に示す例では、カメラ20も被検者コンピュータ50に内蔵されている。このような構成によれば、被検者コンピュータ50および診断者コンピュータ60は、それぞれの通信機能を介して情報処理装置40に接続される。被検者コンピュータ50および診断者コンピュータ60には、遠隔診断を実現するためのアプリケーションソフトウエアがインストールされる。遠隔診断を実施する際、被検者および診断者は、それぞれの被検者コンピュータ50、診断者コンピュータ60において所定のアプリケーションを立ち上げ、ビデオ通話を実施する。なお、図1のように被検者コンピュータ50および診断者コンピュータ60を設けない構成では、カメラ20、検出装置10、およびディスプレイ30の各々が通信機能を有し、情報処理装置40と通信する。
被検者コンピュータ50、検出装置10、およびカメラ20の構成には、様々なバリエーションが考えられる。以下、それらのバリエーションのいくつかの例を説明する。
図4は、被検者コンピュータ50、検出装置10、およびカメラ20の構成の一例を模式的に示す図である。図4に示す例では、被検者コンピュータ50が、検出装置10およびカメラ20を内蔵している。カメラ20によって撮影された被検者1の顔画像が被検者コンピュータ50のディスプレイに表示される。この顔画像は、診断者コンピュータ60のディスプレイ30に表示される画像と同じものである。これにより、被検者1は、診断者コンピュータ60のディスプレイ30に表示される自身の顔画像を確認することができる。なお、被検者1と診断者とが通話している期間は、被検者コンピュータ50に表示される被検者1の顔画像を、診断者の顔画像へと切り替えてもよい。診断者の顔画像は、例えば診断者コンピュータ60に設けられたカメラ(図示せず)により撮影される。図4に示す例では、検出装置10およびカメラ20が、被検者コンピュータ50に内蔵され、一体化されている。このため、被検者コンピュータ50は小型で持ち運びが容易である。被検者は、キーボードまたはマウスなどのユーザインターフェースを用いて、検出装置10、カメラ20、および被検者コンピュータ50を操作することができる。図4に示す例では、被検者コンピュータ50の一例としてノートPCが示されているが、被検者コンピュータ50はデスクトップPCであってもよい。また、PCに代えて、タブレットまたはスマートフォンを用いてもよい。
図5は、被検者コンピュータ50、検出装置10、およびカメラ20の構成の他の例を模式的に示す図である。図5に示す例では、検出装置10は、カメラ20が内蔵された被検者コンピュータ50に接続されて使用される外部デバイスである。検出装置10と被検者コンピュータ50との接続は、例えばUSB(Universal Serial Bus)などの公知の規格に準拠したケーブルによって実現される。検出装置10は外付け型の機器であることから、既存の被検者コンピュータ50に実行ソフトウエアを追加するだけで実現可能である。また、検出装置10だけを持ち運ぶことができるという利点がある。
図6は、図5に示す被検者コンピュータ50を用いた情報処理システムの構成例を示すブロック図である。検出装置10が被検者コンピュータ50に接続されているため、処理回路16は、被検者コンピュータ50を介して情報処理装置40の処理回路42に接続される。このような形態では、情報処理装置40は、被検者コンピュータ50すなわち第1のコンピュータを介して検出装置10から、脳血流情報を取得する。
図7は、図6の変形例を示すブロック図である。図7に示す例では、処理回路16が、検出装置10ではなく被検者コンピュータ50に設けられている。光検出器14から、生データが被検者コンピュータ50内の処理回路16(例えばCPUまたはDSP)に送られる。処理回路16は、生データに基づいて脳血流情報を生成して情報処理装置40における処理回路42に送信する。このような形態では、情報処理装置40は、被検者コンピュータ50から脳血流情報を取得する。しかし、被検者コンピュータ50も検出装置10の一部であるとみなして、情報処理装置40が検出装置10から脳血流情報を取得すると考えてもよい。
図8は、さらに他の変形例を示す図である。図8に示す例では、検出装置10は、ヘッドマウント装置70に内蔵されている。カメラ20は、被検者コンピュータ50に内蔵されている。被検者1は、診断時には、ヘッドマウント装置70を装着し、所定のアプリケーションを起動する。
図9は、ヘッドマウント装置70の構成を模式的に示す図である。ヘッドマウント装置70は、装着されたときに被検者1の額部に対向する位置に、検出装置10を備えている。このような構成によれば、図5に示す例における利点に加えて、以下の利点がある。ま
ず、被検者1の額がヘッドマウント装置70で覆われることにより、屋外で使用する場合でも、環境光の影響を小さくすることができる。また、ヘッドマウント装置70がヘッドマウントディスプレイ装置であってもよい。その場合、バーチャルリアリティーによって、遠隔地からでも、その場にいるような自然な診断が可能になる。バーチャルリアリティーの特徴を活かした新しいタスクを実施することもできる。
以上の各構成例によれば、情報処理装置40は、被検者1の顔画像と、脳血流画像とを同時に取得し、ディスプレイ30にそれらの画像を表示させることができる。これにより、遠隔地からでも、診断者が被検者1を直接診断する場合と同様に、正確な診断が可能になる。
[動作]
次に、本実施形態における情報処理システムの動作の例を説明する。以下の説明では、一例として、図7および図8の構成が採用されているものとする。脳血流情報として、酸素化ヘモグロビンの濃度および脱酸素化ヘモグロビンの濃度の情報が生成されるものとする。
図10は、本実施形態における被検者1と診断者との間の遠隔診断における各装置の動作の概要を示すシーケンス図である。まず、被検者コンピュータ50と診断者コンピュータ60との間で、遠隔画像通信が確立される。この遠隔画像通信は、例えばSkype(登録商標)などのビデオ通話アプリケーションを利用して行うことができる。画像通信が確立すると、被検者コンピュータ50は、検出装置10に、初期化および位置補正のための制御信号を送信する。初期化とは、検出装置10の計測レンジを調整する動作を意味する。位置補正とは、被検者1の被検部の位置が検出装置10に対して適正な位置になるようにするための調整を意味する。酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度には個人差がある。また、検出装置10における光源12および光検出器14の特性は、温度などの環境条件に依存して変化し得る。このため、被検者コンピュータ50は、毎回の計測開始前に、脳血流の計測値が一定の範囲内に収まるように、光源12の出射光量または光検出器14の露光時間などの各種のパラメータを調整する。さらに、被検者コンピュータ50は、被検者1の体格または座る位置によって変化する被検部の位置に応じて、計測対象の領域を調整する。被検者コンピュータ50は、被検者1の被検部の位置が適正でない場合には、例えばディスプレイにその旨のメッセージを表示してもよい。そのようなメッセージが表示された場合、被検者1は、座る位置を調節したり、ヘッドマウント装置70を再装着したりして、被検部の位置を適正化する。
検出装置10は、被検者1の脳血流を計測し、当該脳血流の生データを被検者コンピュータ50に送信する。被検者コンピュータ50の処理回路16は、検出装置10から出力された生データを用いた信号処理を行い、当該生データから脳血流のデータを生成する。当該信号処理では、上記の第1および第2の電気信号に基づく所定の演算を行うことにより酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度が算出される。信号処理後、被検者コンピュータ50は、必要な場合には、検出装置10に、検出領域、露光、および照明強度などの設定を変更する制御信号を送信する。必要な場合は、例えば、被検者1と検出装置10との距離が、計測前の距離から変化した場合、また環境光の量が、計測前の量から変化した場合などである。
信号処理後、被検者コンピュータ50の処理回路16は、脳血流の生成データ(即ち脳血流情報)を、ネットワークを介して情報処理装置40に送信する。情報処理装置40における処理回路42は、当該データをメモリ44に保存する。情報処理装置40は、その時点までに蓄積されたデータに基づく統計処理により、被検者1の心理状態(例えば、精神疾患の有無および種類)を推定する。例えば、様々な人種、性別、病状ごとに、多数の
被検者の脳血流の経時変化および/または空間分布のデータが、そのときの病状に関連付けられて記録媒体に記録されている。情報処理装置40の処理回路42は、今回の被検者1の脳血流のデータと、蓄積された過去のデータとを比較することで、被検者1の状態を推定することができる。この推定結果を診断結果と呼ぶ。情報処理装置40は、脳血流の生成データである第2の画像データおよび診断結果を示すデータを、診断者コンピュータ60に送信する。診断者コンピュータ60は、ディスプレイ30に脳血流情報および診断結果を示す画像を表示させる。
続いて、被検者と診断者との間で行われる遠隔診断の流れを説明する。
図11は、本実施形態における被検者と診断者との間の遠隔診断の流れの一例を示すフローチャートである。
まず、被検者コンピュータ50および検出装置10は、ベースライン計測を行う(ステップS101)。ベースライン計測とは、脳血流情報の初期値を取得するための計測をいう。被検者1は、計算などの単純タスクを一定時間(例えば2分間)行う。その間に、検出装置10が被検者1の額部を光で照射し、その反射光を検出する。処理回路16は、検出装置10の光検出器14から出力された信号に基づき、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの濃度を算出する。
次に、処理回路16は、算出した脳血流のデータを解析し、被検者1の動きまたはノイズの有無を確認する(ステップS102)。例えば、被検者1の動きは、以下のようにして知ることができる。本来、酸素化ヘモグロビンの濃度および脱酸素化ヘモグロビンの濃度は、逆の経時変化を示す。したがって、酸素化ヘモグロビンの濃度および脱酸素化ヘモグロビンの濃度の両方の経時変化が増加または減少する場合、被検者1が動いていると判断できる。
処理回路16は、解析結果から、当該データが正常であるか否かを判断する(ステップS103)。当該データが正常でない場合は、ステップS101からS103を再度繰り返す。
当該データが正常である場合、被検者1および診断者間において遠隔通信を開始する。カメラ20によって被検者1の顔画像のデータが取得され、検出装置10によって被検者1の脳血流のデータが取得される(ステップS104)。これらのデータは、情報処理装置40の処理回路42に送られる。処理回路42は、それらのデータに基づく画像データを、診断者コンピュータ60のディスプレイ30に送信する。その結果、診断者コンピュータ60のディスプレイ30に、被検者1の顔画像と、脳血流の情報を示す画像とが表示される。これにより、診断者は、被検者1とビデオ通話による診察を行い、被検者1との会話から症状などの情報を収集する(ステップS106)。
被検者コンピュータ50における処理回路16は、さらに、ステップS104で取得した脳血流のデータを解析し、解析結果を診断者コンピュータ60のディスプレイ30に表示させる(ステップS105)。診断者は、表示された解析データに基づき、被検者1を診断する(ステップS107)。診断者は、解析データから、被検者1に対してさらに詳細な検査が必要か否かを判断する(ステップS108)。被検者1の詳細な検査が必要なければ、診断を終了する。
診断者が詳細な検査が必要と判断した場合、情報処理装置40は、診断用タスクなどのタスク情報を被検者コンピュータ50の出力装置に提示する(ステップS110)。被検者コンピュータ50の出力装置は、例えば、ディスプレイまたはマイクである。診断用タ
スクでは、被検者1がリラックスしている状態と、被検者1が課題に取り組んでいる状態との間の血流量の変化が調べられる。
脳の機能はある程度局在していることが知られている。そのため、被検者1のどのような状態を知りたいかに応じて、診断用タスクが設計される。例えば、診断用タスクとして、Nバックタスクが用いられ得る。Nバックタスクは、持続処理課題とも呼ばれ、N個前の提示刺激について回答する課題である。課題を暗記しづらく、慣れによる脳血流変化の低下が起きにくいとされている。Nが大きくなるほど難易度が高くなる。そのため、課題の難易度を容易に設定することができる。
被検者1による診断用タスクの実施後、被検者コンピュータ50は、診断データおよび診断結果を、情報処理装置40を介して診断者コンピュータ60のディスプレイ30に提示する(ステップS111)。診断結果は、診断データとデータベースとを照合して得られる。これにより、被検者1の病気の種類および確率を推定することができる。
次に、診断タスク中における被検者1の脳血流の計測結果に影響を与える外乱要因であるイベントを説明する。
イベントには、大別して、被検者1側の計測環境に起因するイベントと、被検者1自身に起因するイベントとがある。
被検者1側の計測環境に起因するイベントとは、例えば、周囲の大きな音、または点灯もしくは消灯による部屋の照明の変化である。うつ病の診断には、診断タスク中の脳血流の経時変化が用いられる。計測環境によって脳血流の経時変化が変化すると、診断に影響を及ぼす可能性がある。
被検者1自身に起因するイベントとは、例えば、被検者1の体の大きな動き、または、診断タスク中における被検者1の集中力の低下である。被検者1と光検出器14との相対的な位置のずれ、または被検者1の集中力の低下は、脳血流の計測に影響を及ぼす可能性がある。
上記のイベントは、以下の複数のデータの少なくとも1つに基づいて検出することができる。当該複数のデータとは、被検者コンピュータ50におけるカメラ20からの画像データ、被検者コンピュータ50に接続または内蔵された他のカメラからの画像データ、および被検者コンピュータ50に接続または内蔵されたマイクからの音声データである。例えば、上記のイベントは、遠隔診断に用いられるテレビ電話のカメラ、他のカメラ、またはマイクによって検出され得る。
次に、イベントの判定方法の例を説明する。
周囲の大きな音に起因するイベントは、以下のように判定することができる。被検者1および診断者の会話の声の大きさを基準として、マイクによって検出される音声の大きさが当該基準から既定の閾値を超えた場合、イベントが発生したと判定される。
部屋の照明の変化に起因するイベントは、以下のように判定することができる。カメラ画像から照度が一定量以上変化した場合、イベントが発生したと判定される。
被検者1の体の大きな動きに起因するイベントは、以下のように判定することができる。カメラ画像において、被検者1と光検出器14との相対的な位置が一定量以上変化した場合、イベントが発生したと判定される。一定量とは、例えば±3cmである。
被検者1の集中力の低下に起因するイベントは、以下のように判定することができる。被検者1の視線が一定量変化した場合、イベントが発生したと判定される。
上記のイベントは、情報処理装置40または被検者コンピュータ50に内蔵された人工知能(Artificial Intelligence(AI))によって判定されてもよい。
[表示例]
次に、診断者コンピュータ60におけるディスプレイ30への表示例を説明する。
図12Aは、診断者コンピュータ60におけるディスプレイ30への表示例を模式的に示す図である。図12Aに示す例では、ディスプレイ30の画面の左側に被検者1の顔の動画像が表示され、右上に脳血流の経時変化を示すグラフが表示され、右下に被検者1の被検部2が表示される。図12Aに示す右上のグラフにおいて、実線は酸素化ヘモグロビンの濃度の経時変化を示し、破線は脱酸素化ヘモグロビンの濃度の経時変化を示している。図12Aに示す例に限らず、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの一方の濃度の経時変化が示されていてもよい。図12Aに示す右上の画像は、被検部2の一箇所から得られた脳血流の経時変化であってもよく、被検部2の複数箇所または領域から得られた平均の脳血流の経時変化であってもよい。脳血流の経時変化の波形には現時点を示すカーソルまたはタスクの期間を示す表記が示されていてもよい。
図12Bは、図12Aに示す右上の画像の変形例を模式的に示す図である。図12Bに示す例では、タスクの開始および終了、ならびにイベントの発生が、縦線によって表されている。
図12Bに示すように、図12Aに示す右上の画像は、脳血流の経時変化と、タスク情報が出力された期間との対応関係を含んでもよい。これにより、タスク中における被検者1の脳血流の経時変化が明確になる。当該期間は、診断用タスクのタスク開始からタスク終了までの期間に相当する。
図12Bに示すように、図12Aに示す右上の画像は、脳血流の経時変化と、イベントが発生した期間との対応関係を含んでもよい。これにより、イベントが被検者1の脳血流の経時変化に及ぼす影響が明確になる。当該期間が短ければ、一箇所だけを示してもよい。
図13は、診断者コンピュータ60におけるディスプレイ30への他の表示例を模式的に示す図である。図13に示す例では、被検部2における脳血流の2次元濃度分布を示す画像が、被検者1の顔の動画像に合成されて表示されている。当該2次元濃度分布は、例えば、酸素化ヘモグロビンの濃度分布であり得る。さらに、被検者1の顔の動画像の周辺において、被検部2の複数の領域における脳血流の経時変化を示す複数のグラフが表示されている。これらのグラフは、各領域における酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの平均の濃度の経時変化を示す。
図13に示す例では、脳血流の経時変化を示す複数のグラフと、被検部2における複数の領域とが、異なる種類の囲い線(破線、点線、一点鎖線、および二点鎖線)によって関連付けられている。これにより、どのグラフがどの領域における脳血流の経時変化を示しているのかを判別できる。関連付けは囲い線に限らず、例えば色、数字、または文字を用いて行ってもよい。
本実施形態では、図12A、図12B、および図13に示すように、リアルタイムでグラフ化された脳血流情報の画像が表示される。そのため、計測前に、脳血流情報をグラフ化するための脳の領域である特定領域が選択される。特定領域は、例えば、タスクによって脳血流量が大きく変化する脳の領域である。当該脳の領域は、個人によって異なる。
以下に、特定領域を決定する方法の例を説明する。
統計データから、病気または症状に応じて大きく活性化する脳の領域が既知である場合、診断前に予めグラフ化される特定領域を、候補の中から選択することができる。例えば、病気または症状に応じた少なくとも1つの特定領域の部位の名前が、候補として設定される。本明細書では、設定された候補を、「設定項目」と称する。処理回路42は、診断者コンピュータ60のディスプレイ30に、設定項目を表示させる。設定項目を表示する代わりに、図13に示すように、線で囲まれた少なくとも1つの特定領域を表示してもよい。その他にも、設定項目は、病気または症状の名前でもよい。
診断者は、診断者コンピュータ60に接続または内蔵された入力装置に、設定項目に関する入力情報を入力する。入力装置は、例えば、キーボードまたはマウスなどのユーザインターフェースである。処理回路42は、当該入力情報を取得し、当該入力情報に応じて特定領域を決定する。診断者コンピュータ60のディスプレイ30には、決定した特定領域のみが、線で囲まれ表示される。病気または症状に応じて大きく活性化する脳の領域は、複数存在し得る。したがって、決定した特定領域は、1つである必要はなく、複数であってもよい。
特定領域を決定する方法の他の例として、診断用タスクの前に、被検者1に単純計算などの予備タスクを行わせることにより、特定領域を調べてもよい。例えば、図11に示すステップS104において、処理回路42は、被検者コンピュータ50のディスプレイに、予備タスク情報を出力させる。被検者1は、出力された予備タスクを行う。処理回路42は、予備タスクによって変化する被検者1の脳血流情報の大きさに応じて特定領域を決定する。例えば、脳血流情報が既定の閾値よりも大きく変化する領域を、特定領域としてもよい。決定した特定領域は、1つである必要はなく、複数あってもよい。この特定領域の決定方法は、病気または症状に応じて活性化する脳の領域が既知でない場合に有効である。
上記のように、本実施形態では、被検者1の脳の広範囲の脳血流を計測する必要はない。本明細書において、被検者1の脳の少なくとも1つの特定領域に関する脳血流情報を、「一部の脳血流情報」と称する。
本実施形態では、一部の脳血流情報を、例えば前述した決定方法を用いて選択し、選択した一部の脳血流情報をグラフ化してもよい。一部の脳血流情報をグラフ化することにより、診断の効率化を図ることができる。
本実施形態では、一部の脳血流情報を、例えば前述した決定方法を用いて選択し、選択した一部の脳血流情報を、被検者コンピュータ50から診断者コンピュータ60に遠隔ネットワークを介して送信してもよい。グラフ化する前の一部の脳血流情報を送信することにより、通信量を削減することができる。その結果、通信の遅延を抑制することができる。
一部の脳血流情報は、診断者の代わりに、被検者1によって選択されてもよい。その場合、被検者コンピュータ50のディスプレイに、設定項目が表示される。
図13に示す表示を行う場合、光検出器14として、光源12から出射される光(例えば近赤外線)に感度を有するイメージセンサが用いられる。イメージセンサは、2次元的に配列された複数の受光素子を備える。各受光素子は、例えばフォトダイオードなどの光電変換素子であり、受光量に応じた電気信号を出力する。複数の受光素子から出力された電気信号の集合が画像信号として扱われる。被検部2における複数の領域の脳血流情報を取得するために、光源12は、当該複数の領域を光で照射する。処理回路16は、イメージセンサから出力された信号に基づいて、複数の領域のそれぞれにおける脳血流情報を生成して出力する。
図12および図13に示すように、被検者1の顔画像と脳血流の変化を示す画像とを同時に表示することにより、診断者は、被検者1の心理状態をより効果的に診断することができる。
図14は、診断者コンピュータ60におけるディスプレイ30へのさらに他の表示例を模式的に示す図である。図14に示す例では、被検部2のうちの領域1および領域2のそれぞれにおける酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの平均の濃度の経時変化を示すグラフと、被検者の診断結果を示すチャートとが同時に表示されている。図14に示す例において、領域1は前頭部であり、領域2は側頭部である。図14に示す右側のチャートにおける星印は、被検者が罹患していると推定される疾患を表している。被検者がどの疾患に罹患しているかは、各領域における酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの濃度の経時変化から推定される。情報処理装置40は、被検者の心理状態または病気である確率を推定し、推定結果をディスプレイ30に表示させてもよい。
診断者コンピュータ60は、診断者の操作に応答して、ディスプレイ30に表示される画像を切り換えてもよい。例えば、最初は顔画像のみを表示させ、診断者の操作に応じて、脳血流画像または図14に示す画像に切り替えたり、顔画像と脳血流画像とを合成した画像を表示したりしてもよい。その場合、被検者1の顔画像をディスプレイ30に表示させた状態で、診断者が画像を切り換える操作を行うと、診断者コンピュータ60は、表示画像を切り替えるべき旨の信号を情報処理装置40に送信する。情報処理装置40は、その信号を受信すると、当該顔画像に加えて、または当該顔画像に代えて、脳血流の状態を示す画像をディスプレイ30に表示させる。
本開示における情報処理方法は、生体・医療センシングに利用できる。例えば、医師と患者との間の遠隔医療に適用できる。
1 被検者
2 被検部
10 検出装置
12 光源
14 光検出器
16 処理回路
20 カメラ
30 ディスプレイ
40 信号処理装置
42 処理回路
44 メモリ
46 プログラム
50 被検者コンピュータ
60 診断者コンピュータ
70 ヘッドマウント装置

Claims (7)

  1. 第1のカメラから、被検者の顔の少なくとも一部を示す第1動画像を取得することと、
    光検出器によって検出された前記被検者の頭部からの光の情報に基づき、前記被検者の脳血流の経時変化を示す第2動画像を生成することと、
    前記第1動画像と、前記第2動画像とを含む出力画像を、ネットワークを介してディスプレイに表示させることと、
    を含み、
    前記ディスプレイに表示される前記第2動画像のフレームレートは、前記ディスプレイに表示される前記第1動画像のフレームレートよりも低い、
    情報処理方法。
  2. 前記第1動画像は、前記被検者の表情の変化、前記被検者の視線の変化、および前記被
    検者の顔色の変化からなる群から選択される少なくとも1つを示す、
    請求項1に記載の情報処理方法。
  3. 前記出力画像は、前記第1動画像と前記第2動画像とが合成されることにより得られる、
    請求項1に記載の情報処理方法。
  4. 前記第2動画像に基づいて、前記被検者の心理状態および前記被検者が病気である確率からなる群から選択される少なくとも1つの推定を行うことと、
    をさらに含む、
    請求項1に記載の情報処理方法。
  5. 前記第2動画像は、前記被検者の被検部における前記脳血流の2次元濃度分布を示す画像を含み、
    前記ディスプレイに前記出力画像を表示させることは、前記2次元濃度分布を示す画像と、前記脳血流の前記経時変化を示すグラフをともに表示させることを含む、
    請求項1に記載の情報処理方法。
  6. 請求項1に記載の情報処理方法をコンピュータに実行させるプログラム。
  7. 第1のカメラと、
    光検出器と、
    処理回路と、
    を備え、
    前記処理回路は、
    前記第1のカメラから、被検者の顔の少なくとも一部を示す第1動画像を取得し、
    前記光検出器によって検出された前記被検者の頭部からの光の情報に基づき、前記被検者の脳血流の経時変化を示す第2動画像を生成し、
    前記第1動画像と、前記第2動画像とを含む出力画像を、ネットワークを介してディスプレイに表示させるために出力し、
    出力される前記第2動画像のフレームレートは、出力される前記第1動画像のフレームレートよりも低い、
    情報処理システム。
JP2022176080A 2017-06-23 2022-11-02 情報処理方法、情報処理装置、および情報処理システム Active JP7312977B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017123223 2017-06-23
JP2017123223 2017-06-23
JP2018079949A JP7178614B2 (ja) 2017-06-23 2018-04-18 情報処理方法、情報処理装置、および情報処理システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018079949A Division JP7178614B2 (ja) 2017-06-23 2018-04-18 情報処理方法、情報処理装置、および情報処理システム

Publications (2)

Publication Number Publication Date
JP2023002822A true JP2023002822A (ja) 2023-01-10
JP7312977B2 JP7312977B2 (ja) 2023-07-24

Family

ID=64735735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022176080A Active JP7312977B2 (ja) 2017-06-23 2022-11-02 情報処理方法、情報処理装置、および情報処理システム

Country Status (3)

Country Link
US (1) US20220378298A1 (ja)
JP (1) JP7312977B2 (ja)
WO (1) WO2018235466A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176535A1 (ja) * 2018-03-15 2019-09-19 パナソニックIpマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
CN111528826A (zh) * 2020-05-25 2020-08-14 陈聪 一种获取脑阻抗血流图数据的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004255075A (ja) * 2003-02-27 2004-09-16 Hamamatsu Photonics Kk 濃度測定装置
JP2009268707A (ja) * 2008-05-08 2009-11-19 Hitachi Ltd 生体光計測装置
WO2012074039A1 (ja) * 2010-12-02 2012-06-07 大日本印刷株式会社 医用画像処理装置
JP2015116213A (ja) * 2013-12-16 2015-06-25 株式会社国際電気通信基礎技術研究所 脳活動訓練装置および脳活動訓練方法
JP2015134157A (ja) * 2013-12-20 2015-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 光脳機能計測装置
JP2016007300A (ja) * 2014-06-24 2016-01-18 株式会社日立メディコ 生体光計測装置及び生体光計測方法
WO2016084834A1 (ja) * 2014-11-25 2016-06-02 株式会社日立ハイテクノロジーズ 計測システム、頭部装着装置、プログラム、およびサービス提供方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4285012B2 (ja) * 2003-01-31 2009-06-24 株式会社日立製作所 学習状況判断プログラム及びユーザ状況判断システム
US20110144520A1 (en) * 2009-12-16 2011-06-16 Elvir Causevic Method and device for point-of-care neuro-assessment and treatment guidance
EP2967358A4 (en) * 2013-03-13 2016-11-09 Cephalogics Llc OPTICAL TOMOGRAPHIC SENSOR AND APPARATUS AND ASSOCIATED METHODS
WO2015168579A1 (en) * 2014-05-02 2015-11-05 Stephanie Littell Methods of measuring head, neck, and brain function and predicting and diagnosing memory impairment
JP7178614B2 (ja) * 2017-06-23 2022-11-28 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、および情報処理システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004255075A (ja) * 2003-02-27 2004-09-16 Hamamatsu Photonics Kk 濃度測定装置
JP2009268707A (ja) * 2008-05-08 2009-11-19 Hitachi Ltd 生体光計測装置
WO2012074039A1 (ja) * 2010-12-02 2012-06-07 大日本印刷株式会社 医用画像処理装置
JP2015116213A (ja) * 2013-12-16 2015-06-25 株式会社国際電気通信基礎技術研究所 脳活動訓練装置および脳活動訓練方法
JP2015134157A (ja) * 2013-12-20 2015-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 光脳機能計測装置
JP2016007300A (ja) * 2014-06-24 2016-01-18 株式会社日立メディコ 生体光計測装置及び生体光計測方法
WO2016084834A1 (ja) * 2014-11-25 2016-06-02 株式会社日立ハイテクノロジーズ 計測システム、頭部装着装置、プログラム、およびサービス提供方法

Also Published As

Publication number Publication date
US20220378298A1 (en) 2022-12-01
JP7312977B2 (ja) 2023-07-24
WO2018235466A1 (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
JP7178614B2 (ja) 情報処理方法、情報処理装置、および情報処理システム
JP7312977B2 (ja) 情報処理方法、情報処理装置、および情報処理システム
US20230355110A1 (en) Wearable Appliance
Anikwe et al. Mobile and wearable sensors for data-driven health monitoring system: State-of-the-art and future prospect
US9820657B2 (en) Mobile wireless appliance
AU2014225626B2 (en) Form factors for the multi-modal physiological assessment of brain health
US9814425B2 (en) Health monitoring appliance
US8708903B2 (en) Patient monitoring appliance
US8968195B2 (en) Health monitoring appliance
US8500636B2 (en) Health monitoring appliance
US20150269825A1 (en) Patient monitoring appliance
Gibson et al. Non-contact heart and respiratory rate monitoring of preterm infants based on a computer vision system: A method comparison study
JP7386438B2 (ja) 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
Casalino et al. Evaluating the robustness of a contact-less mHealth solution for personal and remote monitoring of blood oxygen saturation
Nie et al. SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition
Banerjee et al. Exploratory analysis of older adults’ sedentary behavior in the primary living area using kinect depth data
WO2022126024A1 (en) Foldable sensor-based devices
JP6014869B2 (ja) 動作識別システム、情報処理装置、情報処理プログラム、および情報処理システム
Walsh et al. Continuous real-world gait monitoring in community-based older adults
Güttler Development of an Ambient Health Monitoring System for a Self-Sufficient and Independent Life in Old Age
US20240115202A1 (en) Smart watch
Ulsamer et al. Motor Imagery to Control Mobile Applications-An fNIRS Study.
Ubale et al. SMART HEALTHCARE MONITORING SYSTEM
Westphal et al. Examination of a Novel Method for Non-Contact, Low-Cost, and Automated Heart-Rate Detection in Ambient Light Using Photoplethysmographic Imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230629

R151 Written notification of patent or utility model registration

Ref document number: 7312977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151