CN111655138B - 用于检测晕动病的系统和方法 - Google Patents

用于检测晕动病的系统和方法 Download PDF

Info

Publication number
CN111655138B
CN111655138B CN201880086112.XA CN201880086112A CN111655138B CN 111655138 B CN111655138 B CN 111655138B CN 201880086112 A CN201880086112 A CN 201880086112A CN 111655138 B CN111655138 B CN 111655138B
Authority
CN
China
Prior art keywords
subject
determining
motion sickness
motion
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880086112.XA
Other languages
English (en)
Other versions
CN111655138A (zh
Inventor
M·布卢特
M·J·A·阿塞尔曼
A·C·登布林克尔
G·M·克斯滕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111655138A publication Critical patent/CN111655138A/zh
Application granted granted Critical
Publication of CN111655138B publication Critical patent/CN111655138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4023—Evaluating sense of balance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A61M2230/06—Heartbeat rate only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/40—Respiratory characteristics
    • A61M2230/42—Rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/50—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Primary Health Care (AREA)
  • Neurosurgery (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Developmental Disabilities (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

为了帮助减少晕动病的影响，提供了一种用于减少对象中的晕动病的方法，所述方法包括：采集视频图像序列；使用光体积描记(PPG)从所述视频图像序列中提取在第一时间段上的所述对象的心率测量结果；计算所述测量结果中的至少一种趋势；当所述至少一种趋势在第一时间窗口上为正时确定晕动病的存在，所述第一时间窗口被包括在所述第一时间段中；并且生成被布置为生成校正动作的事件。通常能够在对象实际感觉到症状之前就检测到晕动病的发作。实际上，当症状出现时，校正动作的效果将大打折扣。因此，通过及早检测到发作并警告对象以使他们能够做出反应，能够避免晕动病的发病或者至少显著降低晕动病的影响。

Description

用于检测晕动病的系统和方法
技术领域
本发明涉及使用对视频图像的分析来检测晕动病的发作。
背景技术
能够分析活体对象的视频序列并检测图像中的细微变化，这些变化是该对象的生理过程的结果。这些生理过程例如包括血液流动、呼吸和出汗。这些过程的测量结果通常被称为生命体征。
经由皮肤反射率变化，能够观察到某些生理过程。能够将人体皮肤建模为具有至少两层的目标，其中，一层是表皮(薄表层)，而另一层是真皮(表皮下的较厚层)。大约5％的入射光线在皮肤表面处反射。剩余的光以被称为(在双色反射模型中描述的)人体反射的现象在这两个皮肤层内被散射和吸收。黑色素通常存在于表皮和真皮的边界处，其行为类似于滤光片，它主要吸收光。在真皮中，光既被散射又被吸收。吸收取决于血液成分，使得吸收对血流变化敏感。真皮含有密集的血管网，其大约占成年人的总血管网的10％。这些血管根据体内的血流而收缩和扩张。因此，它们会改变真皮的结构，从而影响皮肤层的反射率。
其他生理过程(例如，呼吸)会引起患者表面移动。
其他生理过程(例如，血液氧合水平的变化)会通过微小的颜色变化而表现出来。
在周期性过程的情况下，能够检测和提取在这些变化中具有一定周期性内容的信号并从中获得诸如频率之类的结果。例如，可以利用环境光来照射对象并使用视频相机来拍摄对象。通过分析图像序列的帧之间的对应像素的值的变化，能够提取时变信号。可以使用诸如快速傅立叶变换之类的手段将该信号变换到例如频域中并根据频域频谱来获得对象的心率值作为生理测量结果。这些生理测量结果通常被称为生命体征。
许多人都经历过晕动病，特别是当他们处于行驶中的某种形式的交通工具上时。有多种理论解释这种现象的发生，其中，最常见的理论是视觉和前庭运动知觉之间的分歧会导致感觉冲突的状况，这进而导致诸如恶心和头晕等常见症状。对于某些人来说，这种影响可能会使人相当虚弱。预防晕动病或减轻晕动病的严重程度的方法将是有益的。与许多痛苦一样，尽早做出反应或尝试补救也是有帮助的。因此，检测晕动病的发作是有用的。
发明内容
因此，提供了一种用于减少对象中的晕动病的方法，所述方法包括检测晕动病的发作，检测所述发作包括：接收视频图像序列；使用光体积描记(PPG)从所述视频图像序列中提取在第一时间段内的多个时间窗口上的所述对象的心率测量结果；计算所述测量结果中的至少一种趋势；当所述至少一种趋势在第一时间窗口上为正时，确定晕动病的存在，所述第一时间窗口被包括在所述第一时间段中；并且生成被布置为生成校正动作的事件。
通常能够在对象实际感觉到症状之前就检测到晕动病的发作。实际上，当症状出现时，校正动作的效果将大打折扣。因此，通过及早检测到发作并警告对象以使他们能够做出反应，能够避免晕动病的发病或者至少显著降低晕动病的影响。通过观察心率的正趋势，可以在对象实际意识到即将发病时确定晕动病的发作。
在实施例中，所述方法还包括：确定在所述第一时间窗口之后的所述多个时间窗口期间观察到的所述心率中不存在负趋势。以这种方式，能够排除因许多其他原因而频繁发生的心率变化，从而避免误报。
在实施例中，在多个时间窗口上重复所述确定，并且相继的正性确定被解读为指示晕动病的严重程度增加。这可以与阈值结合使用，以便设置确定发作的点。阈值的使用使得能够有机会为不同的对象设置不同的阈值。
在实施例中，所述校正动作包括：向所述对象提供建议，所述建议包括以下各项中的至少一项：向窗外看，呼吸新鲜空气，调整驾驶风格，以及进行呼吸锻炼。这样的动作能够具有防止发作或减轻其严重程度的益处。实际提出建议可以提高对象迅速做出反应以使疗法有效的机会。
在实施例中，所述方法还包括：向所述对象提供用于进行所述呼吸锻炼的指导。这样的锻炼能够起到预防发作或减轻其严重程度的作用。在对象不知道怎么做的情况下，向对象提出建议会很有用。
在实施例中，所述校正动作包括：当与虚拟现实系统结合使用时，将变化应用于以下各项中的至少一项：由所述虚拟现实系统显示的目标的运动，以及所述虚拟现实系统的显示帧率。通过降低视觉刺激的变化速度，视觉信息与来自人体平衡系统的信息之间的差异能够帮助防止发病或减轻其严重程度。
在实施例中，所述方法还可以包括：通过分析所述视频图像序列来测量所述对象的面部皮肤的区的苍白，所述分析包括测量在第二时间段上的多个信号的强度的变化，每个信号具有不同的波长；确定所述强度的比率随时间的变化，随时间的特定变化指示苍白增加，其中，确定所述发作包括确定所述区的苍白的增加，
在实施例中，所述方法还可以包括：使用对所述视频序列的分析来测量呼吸速率的变化，并且其中，确定所述发作包括确定呼吸性窦性心律不齐(RSA)的存在，其中，确定RSA的所述存在包括检测R-R间隔与由呼吸引起的运动之间的同步。
在实施例中，所述方法还可以包括：使用对所述视频序列的分析来测量所述对象的头部的加速度的模式，其中，确定所述发作包括确定频率在0.1Hz至0.3Hz之间的重复性加速度的存在。
在实施例中，所述方法还可以包括：使用运动传感器来测量所述对象的运动模式，根据存在RSA的时刻与所述运动模式之间的时间相关性的存在来确定晕动病的发作。
通过将心率测量结果与皮肤苍白、RSA、对象的头部的移动的加速度以及对象的运动与RSA的存在之间的相关性中的一项或全部进行组合，可以更快地检测到发作并且/或者可以获得更可靠的确定结果。
在一个方面中，还提供了一种用于减少运动中的对象中的晕动病的系统，所述系统包括处理单元，所述处理单元被配置为检测晕动病的发作，所述处理单元包括：输入部，其用于接收对象的皮肤区的至少一部分的视频图像序列；生理测量单元，其被配置为使用光体积描记(PPG)从所述视频图像序列中提取在第一时间段上的所述对象的心率测量结果；计算单元，其被配置为计算所述测量结果中的至少一种趋势；决策单元，其被配置为：当所述至少一种趋势在第一时间窗口上为正时，确定晕动病的存在，所述第一时间窗口被包括在所述第一时间段中；并且生成被布置为生成校正动作的触发事件。
在实施例中，所述决策单元还被配置为通过确定在所述第一时间窗口之后的所述多个时间窗口期间观察到的所述心率不存在负趋势来确定所述发作。
在实施例中，所述系统还可以包括教练单元，所述教练单元被配置为向所述对象提供针对预防动作的建议，所述建议包括以下各项中的至少一项：向窗外看，呼吸新鲜空气，以及进行呼吸锻炼。
在实施例中，生理测量单元被配置为：通过测量在第二时间段上的多个信号的强度的变化来测量所述对象的面部皮肤的区的苍白，每个信号具有不同的波长；并且确定所述强度的比率随时间的变化，所述比率的所述随时间的变化指示苍白增加，其中，确定所述发作包括确定所述区的苍白的增加。
在实施例中，所述生理测量单元还被配置为测量呼吸速率的变化，并且其中，确定所述发作包括确定呼吸性窦性心律不齐(RSA)的存在，其中，确定RSA的所述存在包括检测R-R间隔与由呼吸引起的运动之间的同步。
在实施例中，所述处理单元还可以被配置为使用对所述视频序列的分析来测量所述对象的头部的加速度的模式，其中，检测所述发作包括确定频率在0.1Hz至0.3Hz之间的重复性加速度的存在。
还提供了一种计算机软件产品，其在运行计算机处理系统时使所述计算机处理系统运行上述方面和实施例中的任一个。
附图说明
通过参考附图对以下设备和方法的实施例的说明性和非限制性的详细描述，将更好地理解所公开的设备、系统和方法的上述及额外目的、特征和优点，在附图中：
图1表示示例性用例中的根据实施例的系统。
图2表示根据实施例的系统的组成部分。
图3表示心率对晕动病的感知水平的曲线。
图4表示根据实施例的流程的概要。
图5表示根据实施例的流程的详细部分。
具体实施方式
在下面的描述中，相同的附图标记指代相同的元件。
图1表示所采用的实施例的情况。人或对象1坐在运动中的交通工具(未示出)的座位上。相机2被布置为具有人1的主视图，优选包括人的头部和胸部。相机2被耦合到处理单元3(PROC)，并且相机2将视频图像序列馈送到处理单元3。信号处理单元3还被耦合到显示器4(DIS)和任选的照明源5，使得处理单元3可以控制照明源5(如果存在的话)。人1任选地在窗6的旁边，并且优选地，窗6可以被打开以便增加从外部进入交通工具的空气流。任选地，运动传感器7(ACC)被耦合到处理单元3。运动传感器7可以由加速度计、陀螺仪或其某种组合来实施，并且理想地，运动传感器7将对0.1Hz至0.3Hz的范围内的移动敏感，该范围是许多人的敏感范围。包括预期的交通工具的典型频率范围也将是很好的。对于汽车，移动的频率可以在1Hz左右，而对于小船或轮船，其移动频率会低得多，例如百分之一赫兹。任选地，存在一个或多个IR传感器8，其被布置为测量人1的皮肤温度。理想地，(一个或多个)IR传感器8将被定位为观察人1的皮肤区。(一个或多个)IR传感器8可以被布置在相机2中，但是通过将(一个或多个)IR传感器8分开，能够实现更高的准确度。照明源5可以被配置为利用用于PPG的频率范围的光来对人进行照明。
虽然可以使用其他方法来测量所讨论的生命体征(例如，用于心率的接触式传感器)，但是基于相机的方法的优点在于它是无创的(在某种意义上，人们不需要将自己连接到某物或者被某物触摸)，并且一台仪器能够监测多个人。
图2表示在处理单元3中实施的处理链20。一些区(例如那些包含裸露皮肤的区，特别是面部和颈部的区)通常包含更强的信号。衣服覆盖的区对于信号提取通常是不佳选择。因此，期望选择视频序列的每个帧的某些部分以进行分析。由于信号是根据视频序列的帧之间的变化导出的，因此能够将所选择的区域视为组成的系列或组，并且期望组中的所选择的区域都尽可能好地与人的相同实际区域相对应。片块选择单元21(ROI)选择要跟踪的片块或ROI。可能有一个或多个片块被选择用于后续处理。在人1与相机2之间最可能存在显著水平的相对移动，因此期望尽可能最好地补偿该运动。片块选择单元21参考所选择的片块对图像执行运动补偿，以便将一系列经运动补偿的片块馈送到信号提取器22(EXT)。一种运动补偿方法使用两个自适应滤波器，这两个自适应滤波器对感兴趣皮肤区域的(平均的)x运动和y运动进行滤波，从而提供输入x运动信号和输入y运动信号，这些信号是根据对个体图像的分析导出的。应当注意，两个滤波器的数量以及两个运动信号(针对x方向上的运动和针对y方向上的运动)的使用不是强制性的。通常，也能够使用在期望方向(例如，假定的最强运动的方向)上的一个滤波器和一个运动信号或者(在期望方向上的)多个滤波器和多个运动信号。可以借助于归一化最小均方(NLMS)来更新自适应滤波器的系数，但是也能够使用其他自适应算法来更新自适应滤波器的系数。信号提取器22对信号执行操作，以便获得感兴趣的时变信号。这些操作可以包括对颜色通道的组合和/或对信号的归一化。可以将片块序列分解成更短的序列，以便使运动补偿的任务更加容易。在这种情况下，提取单元22还可以将较短的序列组合成较长的序列。所提取的时变信号然后被馈送到信号分析器23(ANA)，信号分析器23(ANA)扮演生理信息计算器的作用而执行操作，以便获得感兴趣的生理信息或生命体征结果。
片块选择单元21、信号提取单元22和信号分析器23可以被实施在运行适当软件的一个或多个通用处理器中。这样做的优点是能够利用预先存在的硬件并允许后续的修改和调谐。然而，这可能导致比模式专用解决方案更慢和/或更昂贵的解决方案。备选地，片块选择单元21、信号提取单元22和信号分析器23可以被实施在运行被设计为实施相关功能的固件的微控制器中。当生产量足够高时，该解决方案的花费可能会更低。还有另一种可能性是在专用硬件中实施功能。在批量生产时，这通常更便宜并且单位成本的处理速度更高。
片块选择单元21使用多种方法中的一种或多种方法来选择片块。执行有时被称为“分割”的过程。通过选择常规的感兴趣区可以很方便地开始。只要血流是感兴趣的生理过程，面部就很适合，因此可以使用面部识别算法。在Viola,P.和Jones,M.J.的“Robustreal-time object detection”(IEEE视觉统计与计算理论研讨会论文集，2001年7月13日)中描述了用于实施面部检测的合适算法。还存在用于识别形状和颜色图案的备选算法，并且这些算法可以用于检测面部区。对于诸如呼吸之类的其他过程，可以使用用于识别胸部的其他方法。
而且，通过比较块中的每个像素中的颜色的相对值和那些像素的绝对强度，可以将块分类为皮肤区或非皮肤区。分析块内部和块之间的颜色梯度也能够帮助识别皮肤区。种类广泛的可能肤色使得识别皮肤区变得更加困难，但应当考虑到这一点。
决策单元24(DEC)分析生理信息结果的某些特性(例如，随时间的趋势)，以便检测人1中的晕动病(或者优选是晕动病的发作)的存在。
事实证明，人的生命体征的变化与其正在经历的晕动病之间存在关联。
图3示出了来自Holmes,S.R.和Griffin,M.J.的“Correlation between heartrate and the severity of motion sickness caused by optokinetic stimulation”(心理生理学杂志，第15卷，第35-42页，2001年)的作为感觉到的晕动病的严重程度的函数的平均心率的图。从中能够看出，心率的增加与晕动病的存在之间存在正相关性。
呼吸性窦性心律不齐是一种在包括人在内的许多脊椎动物中观察到的现象。R-R间隔的可变性实际上是心率的倒数，心率与呼吸同步，因为心率在吸气期间增加而在呼气期间减少。看起来当人正在经历晕动病时，这种情况发生的程度会降低。Gianaros,P.J.、Quigles,K.S.、Muth,E.R.、Levine,M.E.、Vasco Jr,R.C.、Stern,R.M.的文章“Relationship between temporal changes in cardiac parasympathetic activityand motion sickness severity”(心理生理学，第40卷，第1期，第39-44页，2003年)报告了下表：
通过时间段平均化的晕动病得分、RSA和呼吸速率
Figure GDA0002578520610000081
注意，PDI：Pensacola诊断指数(任意单位)；RSA：呼吸性窦性心律不齐(使用单位)；经校正的RSA：呼吸速率经过调整的RSA值；呼吸速率：呼吸速率(每分钟的呼吸次数)。括号内的值指示均值标准误差。
其中，能够看到，观察到的最显著的变化是在前4分钟左右。
能够以多种不同的方式来量化RSA，最常见的方式包括谱分析、时域峰谷分析或带通滤波器的应用。因此，度量单位也会变化。对于时域测量，RSA通常以毫秒为单位进行估计(例如，RRI的吸气-呼气差异)。利用谱分析和其他频域方法，可以估计在呼吸频率范围内发生的RRI的变化。因此，经常采用ms2，这与通常的统计方差单位相一致。通常会对RSA度量进行对数变换以对分布进行归一化，但并非总是如此。然而，要注意的重要一点是，在开始的四分钟内会注意到最大的变化，因此量的确切物理意义并不重要，但是变化很重要。技术人员可以选择单位以适合于方便地计算的实施方式的细节。
因此，可以使用这些生命体征或生理参数趋势的测量结果和检测结果来检测晕动病的存在或发作并观察其进展。
图4表示根据实施例和替代方案的用于测量生命体征或生理信息的高级流程。在步骤41(ACQ)处，采集视频图像序列。在步骤42(EX)处，然后分析视频图像序列并以参考图2描述的方式提取表示生命体征或生理信息的信号。在步骤43(DET)处，针对指示晕动病的特性来分析信号，并且在步骤44(AL)处，如果做出对晕动病的正性确定，则生成触发事件。
图5表示根据实施例的用于确定晕动病的发作或存在的决策过程。该方法涉及以规则间隔进行一系列心率测量。在51(HF0)处，在间隔0上测量第一心率并存储第一心率。在以后的间隔处，在52处进行第二测量。在53处，比较测量结果。如果第二心率测量结果不大于第一心率测量结果，则删除第一测量结果并用第二读数代替第一测量结果。流程返回到52，在52处进行另一测量，然后再次回到53，在53处比较这两个测量结果。然而，如果第二测量结果大于第一测量结果，则流程进入54，在54处再次以该间隔进行另外4次测量并存储测量结果。在55处，将这些测量结果与其前任进行比较(即，计算HRi－HRi-1)。如果所有比较结果均不为负(即，HRi＜HRi-1)，则判定心率变化显著并做出晕动病的存在或发作的正性确定，并且在56(AL)处将警报状态或标示(心率)设置为“真”，例如，心率＝1，并且在57处生成触发事件。应当注意，可以将步骤54和55进行组合，使得HR3至HR6中的每个都立即与其前任进行比较，而不是在已经测量了全部4个时才进行比较。这样，在出现负变化的情况下可以更早地返回51。也能够进行整个系列的测量，然后一次执行相继的差值计算。在这种情况下，决策点53/55变为决策是否执行后续的差值计算的情况。当选择了非常简单的处理时，第一种方法节省了存储完整系列的时间，而第二种方法节省了计算复杂性。
因此，提供了一种用于减少对象中的晕动病的方法，该方法包括：采集视频图像序列；使用光体积描记(PPG)从视频图像序列中提取在第一时间段上的对象的心率测量结果；计算测量结果中的至少一种趋势；当至少一种趋势在第一时间窗口上为正时确定晕动病的存在，第一时间窗口被包括在第一时间段中；并且生成被布置为生成校正动作的事件。
通常能够在对象实际感觉到症状之前就检测到晕动病的发作。实际上，当症状出现时，校正动作的效果将大打折扣。因此，通过及早检测到发作并警告对象以使他们能够做出反应，能够避免晕动病的发病或者至少显著降低晕动病的影响。通过观察心率的正趋势，可以在对象实际意识到即将发病时确定晕动病的发作。
因此，决策单元24被配置为：当至少一种趋势在第一时间窗口上为正时确定晕动病的存在，第一时间窗口被包括在第一时间段中；并且生成被布置为生成校正动作的触发事件。决策单元还可以被配置为通过确定在第一时间窗口之后的多个时间窗口期间观察到的心率中不存在负趋势来确定发作。
由于不相关的原因，心率可能会以快速且明显不稳定的方式变化，并且出于该方法的目的，这些变化能够被视为噪声。因此，最好在短时间段内进行每次测量并取该时段的平均值。每个时段越长，平均化就能够越好地移除噪声，但是这将乘以6而使整个过程较长，从而延迟触发事件。而且，可能期望连续地监测人1，并且在这种情况下，较长的过程将导致较少的决策点。由于优选尽早采取行动，因此期望该过程不会花费太长时间。这是因为在早期阶段阻止全面发病要容易得多——通常，一旦恶心变得明显，就为时已晚。对于每次测量，方便的时段是一分钟左右，即，上述序列将由6个1分钟的时段组成。每个时段一分钟左右允许平均化以移除随机变化，同时又不会使整个例程的运行时间太久。然而，其他时段长度仍是可能的，并且序列长度可以更短或更长。也可以使用除了6之外的时段数。
在实施例中，警报标示被扩展为警报级别，例如，计数器。在这种情况下，在56处，例如通过使计数器产生增量来提高警报级别。在该实施例中，流程进入56a，在56a处将警报级别与阈值进行比较。在警报级别等于或超过阈值的情况下，流程进入57，否则流程返回到51以进行另外的6个测量时段。在该实施例的另外的变型中，不是将流程返回到51以运行另外的6个测量时段，而是将每个时段与其前任HF7-HF6进行比较，依此类推。在(HRi－HRi-1)的每个正性结果处，警报级别都会提高。最后一种变型与每6个测量时段仅增加一次警报级别的方案之间的区别在于，可以更快地达到阈值，从而能够得到较早的触发事件。
触发事件还会引起为人1提供建议的动作过程。许多晕动病患者说，向外看(例如朝地平线看)会有所帮助。然而，并不是每个人都知道这一点，因此可以建议该人向窗外看。还发现呼吸新鲜空气会有一定帮助。因此，可以提出这一建议。在交通工具存在有节奏的运动的情况下，呼吸锻炼对某些人来说会显示出积极影响。似乎将呼气与向后倾斜匹配或者尝试避免呼吸速率与动作同步会有所帮助。在存在运动传感器7的情况下，所测量的运动频率能够用于调整指令，例如，减慢或加快呼吸速率。还已经观察到，维持缓慢的深呼吸会有所帮助。可以显示与这些可能性相一致的建议或甚至是简要的训练或指导来说明这些可能性。提供正性指导会增加对象实际反应的机会。
此外，能够通过分析头部相对于躯干的运动来获得运动频率的估计结果。对运动频率的确定也可以通过使用面向外部的相机来实施，但是这种方案需要更多的仪器。
因此，该系统还可以包括教练单元，该教练单元被配置为向对象提供针对预防动作的建议，该建议包括以下各项中的至少一项：向窗外看，呼吸新鲜空气，以及进行呼吸锻炼。
为了提供反馈系统，可以连续地监测人1。例如，如果注意到在生成触发事件的测量序列中，心率仍然保持在初始值以上，则可以在建议中指出这一点，或者在采用呼吸锻炼训练的情况下调整指示。或者，在看到心率下降的情况下，能够相应地调整指令——例如让对象知道他们能够停止锻炼或者进一步关上窗户。
在自动驾驶的交通工具中，触发事件也可以用于调整交通工具的驾驶风格，例如，驾驶速度更慢，方向改变更平缓。或者，在所讨论的对象不是驾驶员的情况下，可以向驾驶员提出建议以使其调整其驾驶风格。
在实施例中，进行对总体皮肤苍白变化的测量。还观察到，一些患者在晕动病发病期间变得苍白。由于人们的皮肤色调有所不同，因此需要寻找的是朝向较浅色调的颜色变化。苍白的增加是由于皮肤外层中的氧合血红蛋白的量的减少而改变了皮肤的吸收光谱。针对皮肤的单个位置，可以通过系统测量在反射光谱的两个不同波长处的光吸收属性，并且计算两种吸收属性的比率。假设入射光的光谱保持不变，则所计算的比率的变化是皮肤组织的密度变化的结果。能够通过选择两个波长来获得对血红蛋白的浓度或密度的敏感性，一方面，这两个波长显示出对血红蛋白的吸收水平的较大差异，但是，另一方面，对于所有其他皮肤组织成分的吸收光谱，这两个波长之间的差异较小。在测量红外光谱的情况下(例如通过使传感器的至少一些像素不带红外滤光片)，波长可能例如略低于700nm(其中，在针对氧合血红蛋白的吸收光谱的曲线中有一处下降)和900nm(在血红蛋白吸收光谱的曲线中有一处峰值)。可以使用两个以上的波长。通过观察这两个(或更多个)值处的反射辐射的强度的比率的变化并确定皮肤中的氧合血红蛋白的水平已经下降，可以推断出皮肤苍白增加。在观察到皮肤变得苍白的情况下，能够将这一现象视为晕动病发作的指示。
在实施例中，可以使用复合比率。例如，可以根据在第一时间获取的读数来计算在两个波长中的每个波长处的反射光之间的第一比率。然后可以计算第二时间测量的在这两个波长处的反射光之间的第二比率。可以计算这两个比率之间的比率。这能够使测量结果对由其他生理变化带来的血红蛋白的浓度/密度的变化不那么敏感。当相机适于接收光谱的可见部分和上述两个波长时，可以将皮肤苍白变化的测量方法与先前描述的对心率变化的测量结合使用。许多现代相机都具有CMOS图像传感器，该CMOS图像传感器在被指定用于可见波长时具有红外滤光片。通过将像素的部分布置为不具有红外滤光片，可以检测700nm和900nm左右的波长，而其他像素可以用于针对PPG的光谱的可见部分。
有多种方法来实施使用皮肤苍白和心律的决策过程。例如，在一个简单的版本中，在对心率的控制下设置的标示可以由在对皮肤苍白(皮肤苍白＝1)的控制下设置的标示进行补充，这是因为当两者都为真时会生成触发事件。这可以提高确定的总体可靠性，继而鼓励对象对系统充满信心并做出反应——任何过于频繁的警报或误报的历史记录都会损害信心并降低对象做出反应的可能性。备选地，根据皮肤苍白方法得到的正性结果可能会引起警报级别的提高。由于检测皮肤苍白变化的时间可能早于用于心率测量的6个时段，因此另一实施例使用皮肤苍白标示来改变心率测量的流程。不是在已经获得了两个相继的测量结果之间的正差(决策点53处的“是”)之后进行从时段2至6的测量而将测量结果简单地用作确认结果，而是每当皮肤苍白＝1时，(HRi－HRi-1)的每个正性结果都会引起警报级别增加。在该实施例中，警报级别可以更快地达到阈值。
也能够根据视频图像序列来测量人1的头部的移动，在实施例中使用了这种方案。如前所述，运动补偿通常用于跟踪要从中提取生命体征信号的片块。通常，该运动补偿涉及计算运动向量，该运动向量表征被跟踪的片块的运动。在所选择的片块在人1的头部上的情况下，能够分析这些运动向量以推断出头部的实际运动，并且如果视频序列是在足够长的时间内(应当相对于图5所描述的序列的时间长度是足够的)捕获的，则能够检测到头部的重复性加速度并获得其频率。技术人员将能够选择这种分析的确切方法。如前所述，人们通常对0.1Hz至0.3Hz的范围内的频率敏感。如果检测到人1的头部的运动在该有效范围内，则可以设置头部运动标示(例如，头部运动＝1)。这既适用于水平方向上的运动，又适用于垂直方向上的运动。该头部运动标示可以以与皮肤苍白标示类似的方式进行使用。在既测量皮肤苍白又测量头部运动的情况下，可以使用两个标示的组合来代替单个标示，也可以如前所述地将其与心率测量结果一起使用。在使用运动传感器7的情况下，能够使用在感兴趣频率范围内检测到的显著运动来设置标记(例如，交通工具运动＝1)。该交通工具运动标示能够以与皮肤苍白标示和头部运动标示相同的方式进行使用，即，单独使用或与其他正在使用的标示组合使用。以组合方式使用标示的方式包括使用真函数运算符，该真函数运算符评价包含式析取(例如，OR’ing)。
阈值水平可以是标准预设值，或者可以针对人1随时间调整。标准预设值(例如，警报级别高于2或3就足以确定发作)实施起来较为简单且成本较低，但是可能会产生误报或者生成触发事件太晚。一种针对人调整阈值的方法是将人分类为高易感性、中易感性，低易感性的三大类之一。这种分类例如可以通过询问人来实现。然后能够相应地设置阈值。备选地，对于更高的易感性，可以增加警报级别随心率增加而增加的增量。这利用了以下事实：易感性越高，通常将越早看到发作迹象。另外的备选方案可以是在更少的时段之后生成触发事件，如在将心率变化与皮肤苍白结合使用的示例中就是如此。
另一种针对人调整警报阈值的方法能够通过使人1输入标识或者通过使用面部识别来存储人1的身份来完成。然后，能够将个体阈值与该身份相关联，并且存储在更长的时段(即，比以上描述的针对该人的测量周期更长的时段)上获得的结果并且/或者在各个计算中使用该结果来调整阈值。在该实施例的特定版本中，每当生成触发事件时，系统就能够向人1请求关于他们感觉到晕动病的一些症状的确认。如果他们的回答为“是”，则能够降低阈值，因为系统没有足够早地生成触发事件；如果他们的回答为“否”，则能够提高该阈值，直到响应显示出在“是”与“否”之间振荡为止，由此指示针对该人调整了阈值。避免假的正性结果可能有助于避免对人造成妨害，例如在寒冷的天气下使人开窗。由于前面提到的原因，期望避免延迟触发事件。其他个性化是要求该人输入诸如性别、年龄之类的数据。还可以使用图像来估计后者，以便在广泛的分类项目(例如，婴儿(0-2)、儿童(3-12)、青少年(12-18)、成人(18岁及以上))之间进行选择。在这样的系统中，当首次使用该系统时，将需要预设阈值。
另一种组合各种指示(通过上述例程判断的明显的心率增加、RSA的存在、皮肤苍白的变化、存在在显著频率范围内的运动程度，以及皮肤温度)的方法可以是添加加权结果。可以使用机器学习技术(例如，神经网络)和数学技术(例如，隐式或半隐式马尔可夫模型)来实施对权重和阈值的调整。学习过程可以是识别指示之间的相关性以及指示与人1关于晕动病经历的反应之间的相关性。在这样的情况下，可以利用默认值来设置初始设置。默认值可以是加权较高的心率，例如，所有其他指示均以相同的加权开始。备选地，在可获得人口统计数据的情况下，可以根据这些数据来设置权重和阈值。
已经讨论了关于在运动中的交通工具和人中的使用示例。另一使用示例是在晕动病发生时使用计算机模拟环境(例如，游戏中的虚拟现实)并且相似的原理都适用。有些人会因乘客产生晕动病而经历晕动病。在模拟或虚拟现实的情况下，该系统和方法可以用于检测发作并然后给人建议和/或调整显示，例如通过降低显示器中目标的移动速度和/或幅度或者通过降低帧速率来减慢显示内容的变化，从而调整显示。可以使用反馈系统，由此可以使用连续地监测来实现显示器中的逐渐变化，从而限制对人的干扰。其他情况可能是使用诸如飞行模拟器之类的仪器。
应当注意，上述实施例是说明而不是限制本发明，并且本领域技术人员将能够设计出许多备选实施例而不脱离权利要求的范围。
在权利要求中，被放置在括号之间的任何附图标记都不应被解释为对权利要求的限制。动词“包括”及其词形变化的使用并不排除权利要求中记载的元件或步骤之外的元件或步骤的存在。元件之前的词语“一”或“一个”并不排除多个这样的元件的存在。本发明可以借助于包括若干不同元件的硬件以及借助于经适当编程的计算机或处理单元来实施。在列举了若干单元的装置型权利要求中，这些单元中的若干单元可以由同一个硬件项来体现。某些措施被记载在互不相同的从属权利要求中的事实并不指示不能有利地使用这些措施的组合。
本发明的各方面可以被实施在计算机程序产品中，该计算机程序产品可以是被存储在可以由计算机运行的计算机可读存储设备上的计算机程序指令的集合。本发明的指令可以采用任何可解读的或可执行的代码机制，包括但不限于脚本、可解读程序、动态链接库(DLL)或Java类。指令能够被提供为完整的可执行程序、部分可执行程序、对现有程序的修改(例如更新)或对现有程序的扩展(例如插件)。此外，本发明的部分处理可以被分布在多个计算机或处理器上。
适用用于存储计算机程序指令的存储介质包括所有形式的非易失性存储器，包括但不限于EPROM、EEPROM和闪速存储设备、磁盘(例如，内部和外部硬盘驱动器)、可移动磁盘以及CD-ROM盘。该计算机程序产品可以被分布在这样的存储介质上，或者可以被提供用于通过HTTP、FTP、电子邮件或通过被连接到诸如互联网之类的网络的服务器来下载。

Claims (14)

1.一种计算机软件产品，其在运行计算机处理系统时使所述计算机处理系统运行一种用于减少对象中的晕动病的方法，所述方法包括检测所述晕动病的发作，其中，检测所述发作包括：
接收视频图像序列；
使用光体积描记(PPG)从所述视频图像序列中提取在第一时间段内的多个时间窗口上的所述对象的心率测量结果；
计算所述测量结果中的至少一种趋势；
当所述至少一种趋势在所述多个时间窗口中的一个时间窗口上为正并且针对所述第一时间段的所述多个时间窗口中的任一时间窗口没有观察到负趋势时，确定晕动病的存在；并且
生成被布置为生成校正动作的事件。
2.根据权利要求1所述的计算机软件产品，其中，在所述多个时间窗口上的相继的正性确定被解读为指示晕动病的严重程度增加。
3.根据任一前述权利要求所述的计算机软件产品，其中，所述校正动作包括：向所述对象提供建议，所述建议包括以下各项中的至少一项：向窗外看，呼吸新鲜空气，调整驾驶风格，以及进行呼吸锻炼。
4.根据权利要求3所述的计算机软件产品，所述方法还包括：向所述对象提供用于进行所述呼吸锻炼的指导。
5.根据权利要求1或2所述的计算机软件产品，其中，所述校正动作包括：当与虚拟现实系统结合使用时，将变化应用于以下各项中的至少一项：由所述虚拟现实系统显示的目标的运动，以及所述虚拟现实系统的显示帧率。
6.根据权利要求1-2中的任一项所述的计算机软件产品，所述方法还包括：
通过分析所述视频图像序列来测量所述对象的面部皮肤的区的苍白，所述分析包括测量在第二时间段上的多个信号的强度的变化，每个信号具有不同的波长；
确定所述强度的比率随时间的变化，随时间的特定变化指示苍白增加，其中，确定所述发作包括确定所述区的苍白的增加。
7.根据权利要求1-2中的任一项所述的计算机软件产品，所述方法还包括：使用对所述视频图像序列的分析来测量呼吸速率的变化，并且其中，确定所述发作包括确定呼吸性窦性心律不齐RSA的存在，其中，确定RSA的所述存在包括检测R-R间隔与由呼吸引起的运动之间的同步。
8.根据权利要求1-2中的任一项所述的计算机软件产品，所述方法还包括：使用对所述视频图像序列的分析来测量所述对象的头部的加速度的模式，其中，确定所述发作包括确定频率在0.1Hz至0.3Hz之间的重复性加速度的存在。
9.根据权利要求7所述的计算机软件产品，所述方法还包括：
使用运动传感器来测量所述对象的运动模式，
根据存在呼吸性窦性心律不齐RSA的时刻与所述运动模式之间的时间相关性的存在来确定晕动病的发作。
10.一种用于减少运动中的对象中的晕动病的系统，所述系统包括处理单元，所述处理单元被配置为检测所述晕动病的发作，其中，所述处理单元包括：
输入部，其用于接收对象的皮肤区的至少一部分的视频图像序列；
生理测量单元，其被配置为使用光体积描记(PPG)从所述视频图像序列中提取在第一时间段内的多个时间窗口上的所述对象的心率测量结果；
计算单元，其被配置为计算所述测量结果中的至少一种趋势；
决策单元，其被配置为：当所述至少一种趋势在所述多个时间窗口中的至少一个时间窗口上为正并且针对所述第一时间段的所述多个时间窗口中的任一时间窗口没有观察到负趋势时，确定晕动病的存在；并且生成被布置为生成校正动作的触发事件。
11.根据权利要求10所述的系统，还包括教练单元，所述教练单元被配置为向所述对象提供针对预防动作的建议，所述建议包括以下各项中的至少一项：向窗外看，呼吸新鲜空气，以及进行呼吸锻炼。
12.根据权利要求10或11中的任一项所述的系统，其中，所述生理测量单元被配置为：通过分析在第二时间段上的多个信号的强度的变化来测量所述对象的面部皮肤的区的苍白，每个信号具有不同的波长；并且确定所述强度的比率随时间的变化，所述比率的所述随时间的变化指示苍白增加，其中，确定所述发作包括确定所述区的苍白的增加。
13.根据权利要求10至11中的任一项所述的系统，其中，所述生理测量单元还被配置为测量呼吸速率的变化，并且其中，确定所述发作包括确定呼吸性窦性心律不齐(RSA)的存在。
14.根据权利要求10至11中的任一项所述的系统，其中，所述生理测量单元还被配置为使用对所述视频图像序列的分析来测量所述对象的头部的加速度的模式，其中，确定所述发作包括确定频率在0.1Hz至0.3Hz之间的重复性加速度的存在。
CN201880086112.XA 2017-12-05 2018-11-22 用于检测晕动病的系统和方法 Active CN111655138B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17205374.6A EP3494874A1 (en) 2017-12-05 2017-12-05 A system and method for detecting motion sickness
EP17205374.6 2017-12-05
PCT/EP2018/082141 WO2019110312A1 (en) 2017-12-05 2018-11-22 A system and method for detecting motion sickness

Publications (2)

Publication Number Publication Date
CN111655138A CN111655138A (zh) 2020-09-11
CN111655138B true CN111655138B (zh) 2023-07-14

Family

ID=60673456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880086112.XA Active CN111655138B (zh) 2017-12-05 2018-11-22 用于检测晕动病的系统和方法

Country Status (5)

Country Link
US (1) US11529090B2 (zh)
EP (2) EP3494874A1 (zh)
JP (1) JP7252232B2 (zh)
CN (1) CN111655138B (zh)
WO (1) WO2019110312A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210386307A1 (en) * 2017-09-15 2021-12-16 University Of Maryland, College Park System and method for heart rate measurement using facial video
US11338106B2 (en) * 2019-02-27 2022-05-24 Starkey Laboratories, Inc. Hearing assistance devices with motion sickness prevention and mitigation features
DE102019126396A1 (de) * 2019-09-30 2021-04-01 Ford Global Technologies, Llc Bestimmung der Neigung eines Passagiers zu Reisekrankheit in einem Fahrzeug
DE102019216246B4 (de) * 2019-10-22 2024-08-08 Volkswagen Aktiengesellschaft System und Verfahren zur Unterstützung einer Atemtherapie von Fahrzeuginsassen in einem Fahrzeug
WO2021111567A1 (ja) * 2019-12-04 2021-06-10 日本電気株式会社 体調異常判定システム、体調異常判定方法、及びコンピュータプログラム
CN110974215B (zh) * 2019-12-20 2022-06-03 首都医科大学宣武医院 基于无线心电监护传感器组的预警系统及方法
DE102020201442A1 (de) 2020-02-06 2021-08-12 Zf Friedrichshafen Ag Verfahren zum Feststellen von Kinetose
JP7450396B2 (ja) * 2020-02-10 2024-03-15 株式会社今仙電機製作所 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
JP7504612B2 (ja) * 2020-02-10 2024-06-24 株式会社今仙電機製作所 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
DE102021207945A1 (de) * 2021-07-23 2023-01-26 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Detektieren eines kinetosekritischen Zustands eines Fahrzeuginsassen in einem Fahrzeug

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2953858B2 (ja) * 1992-03-09 1999-09-27 松下電器産業株式会社 乗り物酔い検出装置
US5694939A (en) * 1995-10-03 1997-12-09 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Autogenic-feedback training exercise (AFTE) method and system
JP2006034576A (ja) 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 乗り物酔い対策装置および乗り物酔い対策方法
JP2006036012A (ja) 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 車酔い対策装置
JP2006034760A (ja) 2004-07-29 2006-02-09 Matsushita Electric Ind Co Ltd 乗り物酔い軽減装置
US7949388B1 (en) 2007-03-16 2011-05-24 Pacesetter, Inc. Methods and systems to characterize ST segment variation over time
DE102011109564B4 (de) 2011-08-05 2024-05-02 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
WO2014100484A1 (en) * 2012-12-19 2014-06-26 HeadsUp Technologies, Inc. Methods and systems for managing motion sickness
US8708884B1 (en) * 2013-03-11 2014-04-29 The United States Of America As Represented By The Secretary Of The Army Systems and methods for adaptive mitigation of motion sickness
EP2967377A1 (en) 2013-03-14 2016-01-20 Koninklijke Philips N.V. Device and method for obtaining vital sign information of a subject
WO2016188545A1 (en) * 2015-05-22 2016-12-01 Bayerische Motoren Werke Aktiengesellschaft Vehicle display assembly and method for reducing motion sickness of a vehicle passenger
US10524696B2 (en) * 2015-06-14 2020-01-07 Facense Ltd. Virtual coaching based on respiration signals
US10058708B2 (en) 2015-06-30 2018-08-28 Cardiac Pacemakers, Inc. Heart failure event detection using minimum heart rate
DE102015011708A1 (de) * 2015-09-08 2016-05-04 Daimler Ag Verfahren zur Verringerung von kinetosebedingten Störungen
EP3167927B1 (en) * 2015-11-10 2019-06-12 Bayerische Motoren Werke Aktiengesellschaft System and method for reducing motion sickness of a vehicle passenger
EP3175786A1 (en) 2015-12-01 2017-06-07 Panasonic Intellectual Property Corporation of America Estimation of physical conditions
JP6703893B2 (ja) * 2015-12-01 2020-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 体調推定装置、及び、体調推定システム

Also Published As

Publication number Publication date
CN111655138A (zh) 2020-09-11
JP2021505262A (ja) 2021-02-18
EP3494874A1 (en) 2019-06-12
US11529090B2 (en) 2022-12-20
EP3720346A1 (en) 2020-10-14
WO2019110312A1 (en) 2019-06-13
JP7252232B2 (ja) 2023-04-04
US20200337623A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
CN111655138B (zh) 用于检测晕动病的系统和方法
EP3600018B1 (en) Determining artery location using camera-based sensing
US20220151504A1 (en) Smart windowing to reduce power consumption of a head-mounted camera used for iPPG
Solaz et al. Drowsiness detection based on the analysis of breathing rate obtained from real-time image recognition
US10624574B2 (en) Determination system and method for determining a sleep stage of a subject
CN108135487A (zh) 用于获得对象的生命体征信息的设备、系统和方法
JP2016501048A (ja) 生体パラメータを判定する方法及び装置
JP2019519319A (ja) 顔検出／認識システム用の方法及び装置
Blöcher et al. An online PPGI approach for camera based heart rate monitoring using beat-to-beat detection
JP2021505262A5 (zh)
KR20210001486A (ko) 얼굴 영상 이미지를 이용하여 사용자의 건강 지표를 측정하는 방법 및 그를 이용한 장치
JP2019198531A (ja) 生体情報計測装置及び生体情報計測方法
Rawat et al. Real-Time Heartbeat Sensing with Face Video using a Webcam and OpenCV
JP7158641B1 (ja) 無呼吸低呼吸指標推定装置、方法およびプログラム
Seki et al. Non-contact, real-time monitoring of heart rate with a Webcam with application during water-bed massage
ERDEM Group Members
JP2023131271A (ja) 非接触脈拍推定装置、非接触脈拍推定方法及びプログラム
Ariyanti et al. A Study on the Information System for Users Fatigue Problems Using Web Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant