EA043983B1 - SYSTEM OF SOFTWARE AND HARDWARE NON-CONTACT SCREENING OF CLINICAL SIGNS OF RISK OF SUDDEN DEATH DURING WORK ACTIVITY AND METHOD FOR ASSESSING PSYCHOPHYSIOLOGICAL INDICATORS DETERMINING LOSS OF CONTROL OF ATTENTION AND PERCEPTION, AND SO SAME RISK OF SUDDEN DEATH AT THE WORKPLACE - Google Patents
SYSTEM OF SOFTWARE AND HARDWARE NON-CONTACT SCREENING OF CLINICAL SIGNS OF RISK OF SUDDEN DEATH DURING WORK ACTIVITY AND METHOD FOR ASSESSING PSYCHOPHYSIOLOGICAL INDICATORS DETERMINING LOSS OF CONTROL OF ATTENTION AND PERCEPTION, AND SO SAME RISK OF SUDDEN DEATH AT THE WORKPLACE Download PDFInfo
- Publication number
- EA043983B1 EA043983B1 EA202100151 EA043983B1 EA 043983 B1 EA043983 B1 EA 043983B1 EA 202100151 EA202100151 EA 202100151 EA 043983 B1 EA043983 B1 EA 043983B1
- Authority
- EA
- Eurasian Patent Office
- Prior art keywords
- driver
- software
- dispatcher
- data
- sudden death
- Prior art date
Links
- 238000012216 screening Methods 0.000 title claims description 13
- 206010042434 Sudden death Diseases 0.000 title claims description 12
- 230000008447 perception Effects 0.000 title claims description 9
- 238000000034 method Methods 0.000 title description 24
- 230000003304 psychophysiological effect Effects 0.000 title description 8
- 230000000694 effects Effects 0.000 title description 3
- 238000012545 processing Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 16
- 230000001537 neural effect Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 8
- 206010048232 Yawning Diseases 0.000 claims description 6
- 230000036772 blood pressure Effects 0.000 claims description 6
- 230000036760 body temperature Effects 0.000 claims description 6
- 230000036387 respiratory rate Effects 0.000 claims description 6
- 238000010295 mobile communication Methods 0.000 claims description 5
- 210000003786 sclera Anatomy 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000000004 hemodynamic effect Effects 0.000 claims description 4
- 230000010355 oscillation Effects 0.000 claims description 4
- 208000019430 Motor disease Diseases 0.000 claims description 3
- 208000013140 Sensorimotor disease Diseases 0.000 claims description 3
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000036770 blood supply Effects 0.000 claims description 2
- 238000007418 data mining Methods 0.000 claims description 2
- 230000004089 microcirculation Effects 0.000 claims description 2
- 235000013832 Valeriana officinalis Nutrition 0.000 claims 2
- 244000126014 Valeriana officinalis Species 0.000 claims 2
- 230000029058 respiratory gaseous exchange Effects 0.000 claims 2
- 235000016788 valerian Nutrition 0.000 claims 2
- 239000002876 beta blocker Substances 0.000 claims 1
- 229940097320 beta blocking agent Drugs 0.000 claims 1
- 230000008081 blood perfusion Effects 0.000 claims 1
- 230000010267 cellular communication Effects 0.000 claims 1
- 230000002035 prolonged effect Effects 0.000 claims 1
- 230000036391 respiratory frequency Effects 0.000 claims 1
- 230000002792 vascular Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 10
- 230000036541 health Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 6
- OKKJLVBELUTLKV-UHFFFAOYSA-N Methanol Chemical compound OC OKKJLVBELUTLKV-UHFFFAOYSA-N 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 241001282135 Poromitra oscitans Species 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 208000024172 Cardiovascular disease Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000003403 autonomic nervous system Anatomy 0.000 description 3
- 230000002802 cardiorespiratory effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000002526 effect on cardiovascular system Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000037023 motor activity Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 208000028698 Cognitive impairment Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000004872 arterial blood pressure Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000000748 cardiovascular system Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000004400 mucous membrane Anatomy 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004861 thermometry Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 206010040026 Sensory disturbance Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000000975 bioactive effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000005237 high-frequency sound signal Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000030214 innervation Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 239000000712 neurohormone Substances 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Description
Предлагаемое изобретение относится к медицинскому разделу профилактики сердечно-сосудистых заболеваний, а именно к разработке и внедрению систем ранней диагностики и дистанционного мониторинга состояния здоровья в системе медицины труда. Цифровые методы бесконтактной диагностики и персонифицированного подхода к повседневному мониторингу гемодинамических (микроциркуляторных) механизмов развития сердечно-сосудистых заболеваний предусмотрены для повышения качества профилактических мероприятий в системе охраны здоровья на предприятиях, а также безопасности движения транспортных средств, включая автомобильный, железнодорожный, морской, речной, авиационный, космический, и эксплуатации сложных автоматизированных систем управления.The present invention relates to the medical field of prevention of cardiovascular diseases, namely to the development and implementation of early diagnosis and remote health monitoring systems in the occupational medicine system. Digital methods of non-contact diagnostics and a personalized approach to daily monitoring of hemodynamic (microcirculatory) mechanisms of the development of cardiovascular diseases are provided to improve the quality of preventive measures in the health protection system at enterprises, as well as the safety of vehicles, including automobile, railway, sea, river, aviation , space, and operation of complex automated control systems.
Затрагиваемая проблема в настоящее время актуальна в системе создания цифровых решений в области сохранения психического, эмоционального и физического здоровья человека с использованием мобильных приложений стандартных вычислительных устройств и пользуется высоким потребительским спросом и значительным ростом научных публикаций в области изучения искусственного интеллекта и исследований в системе сохранения здоровья.The problem addressed is currently relevant in the system of creating digital solutions in the field of preserving human mental, emotional and physical health using mobile applications of standard computing devices and enjoys high consumer demand and a significant increase in scientific publications in the field of studying artificial intelligence and research in the system of preserving health.
Существующие технические решения затрагивают в основном анализ биометрических данных и представление рекомендаций пользователю по двигательной активности, режиму отдыха, досуга и социальному общению.Existing technical solutions mainly affect the analysis of biometric data and the provision of recommendations to the user on physical activity, rest, leisure and social communication.
В области техники известны автоматизированные системы мониторинга поведения водителей за рулем, оценивающие сонливость, отвлечение, невнимательность, курение и разговоры по телефону за рулем. Для оценки нейрофизиологических параметров организма в процессе трудовой деятельности в основном используются контактные носимые устройства, использующие только периферические показатели микроциркуляции и вегетативной нервной системы. В поставленной задаче оценки критических состояний сердечно-сосудистой и нервной системы могут быть использованы только локусы русла кровоснабжения и иннервации головного мозга, параметры функциональной активности соматической нервной системы. Наиболее близких аналогов к заявленному из области техники не выявлено.Automated systems for monitoring driver behavior while driving are known in the art, assessing drowsiness, distraction, inattention, smoking, and talking on the phone while driving. To assess the neurophysiological parameters of the body during work, contact wearable devices are mainly used, using only peripheral indicators of microcirculation and the autonomic nervous system. In the posed task of assessing critical conditions of the cardiovascular and nervous system, only loci of the blood supply and innervation of the brain, parameters of the functional activity of the somatic nervous system can be used. The closest analogues to the claimed one from the technical field have not been identified.
Достигаемым при использовании предлагаемого изобретения техническим результатом является обеспечение интерактивного мониторинга нейрофизиологического состояния работника на рабочем месте и своевременного выявления клинических признаков потери контроля внимания, восприятия и риска возникновения критических состояний поведения и здоровья, в том числе внезапной смерти.The technical result achieved by using the proposed invention is to provide interactive monitoring of the neurophysiological state of an employee in the workplace and timely identification of clinical signs of loss of control of attention, perception and the risk of critical conditions of behavior and health, including sudden death.
Технический результат достигается тем, что программно-аппаратная система бесконтактного скрининга индивидуальных нейрофизиологических и клинических признаков потери контроля внимания, восприятия и риска внезапной смерти работника в процессе трудовой деятельности включает в себя элементы, объединенные пользовательским интерфейсом и собранные в единый корпус, позволяющие регистрировать в реальном времени показатели важнейших физиологических функций, психоэмоционального состояния и двигательной активности с возможностью их передачи по каналам связи на серверную часть системы. Система, в том числе аппаратно-программный комплекс водителя/работника, включает в себя процессор с предустановленной программой, цифровую камеру, микрофон, акустическую систему, пирометр, газоанализатор, датчики расстояния, температуры, освещенности, а также другие датчики и устройства, размещенные в едином корпусе и устанавливаемые в зоне прямой видимости от работника на расстоянии не более 1,5 м с углом отклонения от фронтальной оси лица работника не более 25°, что обеспечивает возможность проведения скрининга индивидуальных нейрофизиологических и клинических признаков потери контроля внимания, восприятия и риска возникновения критических состояний поведения и здоровья водителя/работника, а также внезапной смерти, с использованием технологий машинного зрения, на основе бесконтактной регистрации в реальном режиме времени графической информации с камеры видеонаблюдения за водителем.The technical result is achieved by the fact that the software and hardware system for non-contact screening of individual neurophysiological and clinical signs of loss of control of attention, perception and the risk of sudden death of an employee in the course of work includes elements combined by a user interface and assembled into a single body, allowing registration in real time indicators of the most important physiological functions, psycho-emotional state and motor activity with the possibility of their transmission via communication channels to the server part of the system. The system, including the driver/employee hardware and software complex, includes a processor with a preinstalled program, a digital camera, a microphone, an acoustic system, a pyrometer, a gas analyzer, distance sensors, temperature sensors, light sensors, as well as other sensors and devices located in a single housing and installed in the line of sight from the employee at a distance of no more than 1.5 m with an angle of deviation from the frontal axis of the employee’s face of no more than 25°, which makes it possible to screen for individual neurophysiological and clinical signs of loss of control of attention, perception and the risk of critical conditions behavior and health of the driver/employee, as well as sudden death, using machine vision technologies, based on contactless registration in real time of graphic information from the driver’s video surveillance camera.
Система также содержит устройства ввода, регистрации, измерения сигналов, параметров, данных графической, акустической, текстовой, пирометрической, спектроскопической, электрохимической и координатной информации, программно-математическое обеспечение, использующее технологии компьютерного зрения и интеллектуального анализа данных градиента цвета элементов изображения кожного покрова в динамике, с дискретностью не менее 15 кадров/с, позволяющие оценивать характер гемодинамических осцилляций кровенаполнения сосудов лица (движение крови в поверхностных и более глубоких сосудах лица), фониатрических изменений в процессе интервьюирования, расстояние от и температуру поверхности кожи лица, с целью выявления корреляции осцилляции перфузии крови и температурного градиента, химический состав выдыхаемого воздуха (частоту дыхательных движений, объем и параметры газообмена).The system also contains devices for input, registration, measurement of signals, parameters, data of graphic, acoustic, text, pyrometric, spectroscopic, electrochemical and coordinate information, software and mathematics using computer vision technologies and intelligent analysis of color gradient data of skin image elements in dynamics , with a discreteness of at least 15 frames/s, allowing to assess the nature of hemodynamic oscillations of the blood vessels of the face (blood movement in the superficial and deeper vessels of the face), phoniatric changes during the interviewing process, distance from and temperature of the surface of the skin of the face, in order to identify the correlation of perfusion oscillations blood and temperature gradient, chemical composition of exhaled air (respiratory rate, volume and parameters of gas exchange).
Система имеет встроенное специальное программное обеспечение, алгоритмом которого на основе данных, регистрируемых аппаратными устройствами, предусматривает идентификацию пользователя, оценку основных физиологических параметров, а именно частоту и вариативность пульсовых волн, частоту дыхания, кровяное давление, температуру поверхности тела, характеристики цветовых параметров слизистых поверхностей склеры глаз, уровень стресса и психоэмоционального состояния, регистрацию фониатрических, сенсомоторных и двигательных нарушений, отличных от индивидуально предустановленных норм. Программное обеспечение выполнено в виде сопряженных серверных и клиентских частей с возможностью интерактивной передачи данных с использованием мобильных средств связи (сотоваяThe system has built-in special software, the algorithm of which, based on data recorded by hardware devices, provides for user identification, assessment of basic physiological parameters, namely the frequency and variability of pulse waves, respiratory rate, blood pressure, body surface temperature, characteristics of color parameters of the mucous surfaces of the sclera eyes, level of stress and psycho-emotional state, registration of phoniatric, sensorimotor and motor disorders that differ from individually preset norms. The software is made in the form of coupled server and client parts with the possibility of interactive data transfer using mobile communications (cellular
- 1 043983 связь, Wi-Fi, Bluetooth и т.д.).- 1 043983 communication, Wi-Fi, Bluetooth, etc.).
Серверная часть программы включает программно-математическое обеспечение интеллектуального анализа данных и систему поддержки принятия решений и выдачи экспертных заключений, в том числе при наличии значимой доли неопределенности регистрируемых данных в виде прецедентов и нечетких правил состояния кардиореспираторной, вегетативной нервной системы, опорно-двигательного аппарата, психоэмоциональной сферы с использованием искусственного интеллекта например, при прогнозе внезапной смерти водителя за рулем, позволяющих дистанционно передать сигнал/уведомление диспетчеру, или осуществить экстренную остановку, или заглушить двигатель транспортного средства. Программноматематическое обеспечение вычисляет психофизиологические индексы и показатели кардиореспираторного континуума, например частота сердечных сокращений, частота дыхательных движений, индекс стресса, кардиореспираторный индекс, индекс резервных возможностей организма, индекс напряженности вегетативной нервной системы и многие другие.The server part of the program includes software and mathematical support for data mining and a system for supporting decision-making and issuing expert opinions, including in the presence of a significant degree of uncertainty in the recorded data in the form of precedents and fuzzy rules for the state of the cardiorespiratory, autonomic nervous system, musculoskeletal system, psycho-emotional areas using artificial intelligence, for example, when predicting the sudden death of a driver while driving, allowing you to remotely transmit a signal/notification to the dispatcher, or make an emergency stop, or turn off the vehicle engine. The software calculates psychophysiological indices and indicators of the cardiorespiratory continuum, such as heart rate, respiratory rate, stress index, cardiorespiratory index, reserve capacity index of the body, tension index of the autonomic nervous system and many others.
Система может быть сопряжена с данными, получаемыми с видеорегистратора, обстановки окружающих внешних факторов, например дорожной обстановки для формирования оповещений о дорожных знаках, о нарушениях правил дорожного движения водителем, об опасных дорожных ситуациях (минимальное расстояние до впереди идущего транспорта) или показателей приборной панели оператора сложной АСУ и т.д.The system can be interfaced with data received from the video recorder, the situation of surrounding external factors, for example, road conditions to generate alerts about road signs, about violations of traffic rules by the driver, about dangerous road situations (minimum distance to the vehicle in front) or operator dashboard indicators complex automated control system, etc.
Такое техническое решение позволяет оценивать реакцию работника на изменения в рабочей обстановке, отвлечение взгляда от направления движения транспортного средства, превышающего заранее заданный интервал времени, изменение психофизиологических параметров от предустановленных величин, смену освещенности, наличие посторонних в помещении, на предупредительные акустические и графические стимулы с целью определения индивидуальных стресс-факторов и выдачи мгновенных оповещений по безопасности, а также рекомендаций по режиму труда и отдыха.This technical solution makes it possible to evaluate the employee’s reaction to changes in the working environment, distraction of the gaze from the direction of movement of the vehicle exceeding a predetermined time interval, changes in psychophysiological parameters from preset values, changes in illumination, the presence of strangers in the room, to warning acoustic and graphic stimuli in order to identifying individual stress factors and issuing instant safety alerts, as well as recommendations on work and rest schedules.
Техническое решение созданной системы позволило реализовать способ регистрации и определения индивидуальных клинических признаков критических состояний сердечно-сосудистой, респираторной, когнитивной и психоэмоциональной систем, выявляющих у работника элементы потери контроля за вниманием при выполнении трудовой деятельности, снижения восприятия окружающей среды, изменения двигательной активности, а также определения риска внезапной смерти на рабочем месте. Способом предусмотрено использование системы интерактивного бесконтактного скрининга индивидуальных нейрофизиологических показателей, на основе получения интерактивных данных, в том числе видеоплетизмографии и обработки этих данных с использованием метода вариационной пульсометрии. Способ включает оценку состояния механизмов нейрогуморальной регуляции сердечно-сосудистой системы на основе частотного, временного и статистического анализа, а также мимических проявлений психоэмоционального состояния.The technical solution of the created system made it possible to implement a method for recording and determining individual clinical signs of critical conditions of the cardiovascular, respiratory, cognitive and psycho-emotional systems, identifying in the employee elements of loss of attention control when performing work activities, decreased perception of the environment, changes in motor activity, as well as determining the risk of sudden death in the workplace. The method provides for the use of a system for interactive non-contact screening of individual neurophysiological indicators, based on obtaining interactive data, including video plethysmography and processing this data using the method of variation pulsometry. The method includes assessing the state of the mechanisms of neurohumoral regulation of the cardiovascular system based on frequency, time and statistical analysis, as well as facial manifestations of the psycho-emotional state.
Представленный способ позволяет использовать алгоритм оценки получаемых данных, основанный на технологиях искусственного интеллекта и нейронных сетей разного типа, в том числе глубоких нейронных сетей, включая использование машинного обучения, в том числе классификацию, моделирование и прогнозирование, основанное на интеллектуальном анализе персональных результатов с построением системы поддержки принятия решений и выдачи рекомендаций, созданных с учетом детализации процессов эмоциональных проявлений, связанных с нейрофизиологическим возбуждением в режиме производственного процесса, а также степень централизации управлением ритмом сердца. Персонифицированный подход к повседневному скринингу гемодинамических (микроциркуляторных) механизмов развития сердечно-сосудистых заболеваний и психоэмоциональных нарушений может также использоваться с целью повышения качества профилактических мероприятий в системе охраны здоровья на предприятиях и в повседневной жизни.The presented method allows the use of an algorithm for assessing the received data, based on artificial intelligence technologies and neural networks of various types, including deep neural networks, including the use of machine learning, including classification, modeling and forecasting, based on the intelligent analysis of personal results with the construction of a system support for decision-making and issuance of recommendations created taking into account the detailing of the processes of emotional manifestations associated with neurophysiological arousal in the production process mode, as well as the degree of centralization of heart rhythm control. A personalized approach to routine screening of hemodynamic (microcirculatory) mechanisms of the development of cardiovascular diseases and psycho-emotional disorders can also be used to improve the quality of preventive measures in the health care system at enterprises and in everyday life.
Сущность изобретенияThe essence of the invention
Заявляемая система и способ направлены на повышение качества жизни человека, мониторинга состояния здоровья и своевременной профилактики, а также предотвращения опасных и критических ситуаций в процессе выполнения трудовых обязанностей. Мировая статистика аварий и катастроф за последние 20 лет подтверждает, что 90% из них произошли по вине человека. Основными причинами являются именно те факторы, регистрация и выявление которых заложены в представленном изобретении, а именно невнимательность, сон, усталость, эмоциональное выгорание, потеря сознания, дезориентация, алкоголь, психоактивные вещества, монотонность труда.The inventive system and method are aimed at improving the quality of human life, monitoring health status and timely prevention, as well as preventing dangerous and critical situations in the process of performing work duties. World statistics of accidents and disasters over the past 20 years confirm that 90% of them occurred due to human fault. The main reasons are precisely those factors, the registration and identification of which are included in the presented invention, namely inattention, sleep, fatigue, emotional burnout, loss of consciousness, disorientation, alcohol, psychoactive substances, monotony of work.
Предотвращение и сокращение частоты внезапных сердечных смертей - серьезная социальнозначимая и актуальная задача. Единственная возможность решения этой задачи лежит в комплексной оценке факторов риска. Нельзя не видеть, что лишь часть из них является сегодня контролируемой. Можно повышать качество ранней диагностики, разрабатывать и соблюдать безопасные режимы нагрузок, накапливать и учитывать данные о предикторах, предписывать тонко рассчитанные диеты, все более жестко контролировать прием любых биоактивных препаратов и веществ. Однако наследственные факторы сегодня практически неустранимы. Что касается производственных мер, входящих в интересы медицины труда, то ситуация начнет существенно меняться лишь тогда, когда изменится отношение руководителей и самих работников к профессиональной деятельности, когда результаты перестанут бытьPreventing and reducing the frequency of sudden cardiac deaths is a serious socially significant and urgent task. The only way to solve this problem lies in a comprehensive assessment of risk factors. It is impossible not to see that only part of them is controlled today. It is possible to improve the quality of early diagnosis, develop and maintain safe exercise regimens, accumulate and take into account data on predictors, prescribe finely calculated diets, and increasingly strictly control the intake of any bioactive drugs and substances. However, hereditary factors today are practically irremovable. As for production measures that are part of the interests of occupational medicine, the situation will begin to change significantly only when the attitude of managers and workers themselves to professional activities changes, when the results cease to be
- 2 043983 важнее здоровья и самой жизни. Сегодня, к сожалению, приоритеты зачастую расставлены совершенно недопустимым, антигуманным образом. Представляемое изобретение может стать той отправной технологией, позволяющей своевременно осуществлять профилактику и разработать персональный режим труда и отдыха.- 2 043983 is more important than health and life itself. Today, unfortunately, priorities are often set in a completely unacceptable, inhumane way. The presented invention can become the starting technology that allows for timely prevention and the development of a personal work and rest regime.
Возможность проведения скрининга индивидуальных нейрофизиологических и клинических признаков потери контроля внимания, восприятия и риска возникновения критических состояний поведения и здоровья водителя/работника, а также внезапной смерти с использованием технологий машинного зрения, на основе бесконтактной регистрации в реальном режиме времени графической информации с камеры видеонаблюдения за водителем и анализа данных, включающих детекцию лица, расчёт биометрических шаблонов изображений лиц для идентификации работника, измерение углов и частоты отклонения головы (вокруг оси тангажа и рысканья), измерение частоты моргания и продолжительности закрывания глаз, измерение продолжительности и частоты зевательных движений, измерение изменения цветности изображения кожи лица и построение видеоплетизмограммы. Бесконтактные датчики системы позволяют в реальном времени контролировать температуру поверхности кожи лица, газовый состав и объем выдыхаемого воздуха, расстояние от системы до поверхности лица, температуру воздуха на рабочем месте представлением данных психофизиологического состояния в реальном времени работнику и диспетчеру, представление уведомления об отклонениях их показателей персонально критически заданных значений.The ability to screen individual neurophysiological and clinical signs of loss of control of attention, perception and the risk of critical conditions of behavior and health of the driver/employee, as well as sudden death using machine vision technologies, based on non-contact registration in real time of graphic information from the driver’s video surveillance camera and data analysis, including face detection, calculation of biometric templates of facial images for employee identification, measurement of angles and frequency of head deviation (around the pitch and yaw axis), measurement of blink frequency and duration of eye closure, measurement of duration and frequency of yawning movements, measurement of image color changes facial skin and video plethysmogram construction. The system's non-contact sensors allow real-time monitoring of the surface temperature of the facial skin, the gas composition and volume of exhaled air, the distance from the system to the surface of the face, the air temperature in the workplace by presenting data on the psychophysiological state in real time to the employee and the dispatcher, and providing notification of deviations in their indicators personally critically specified values.
Краткое описание чертежейBrief description of drawings
Сопроводительные фигуры/чертежи, на которых одинаковые ссылочные позиции, относятся к идентичным или функционально подобным элементам, которые вместе с подробным описанием изобретентия служат для дополнительной иллюстрации различных вариантов осуществления и объяснения различных принципов и преимуществ в соответствии с настоящим изобретением.The accompanying figures/drawings, where like reference numerals refer to identical or functionally similar elements, which together with the detailed description of the invention serve to further illustrate various embodiments and explain various principles and advantages in accordance with the present invention.
Фиг. 1 - блок-схема системы бесконтактного скрининга признаков потери контроля внимания, восприятия и риска внезапной смерти на рабочем месте с помощью клиентской части и сервера/базы данных в связи с применением настоящего изобретения.Fig. 1 is a block diagram of a system for non-contact screening for signs of loss of control of attention, perception and risk of sudden death in the workplace using a client part and a server/database in connection with the use of the present invention.
Фиг. 2 - блок-схема состава системы аппаратно-программного комплекса в соответствии с аспектом настоящего изобретения.Fig. 2 is a block diagram of a hardware/software system composition in accordance with an aspect of the present invention.
Фиг. 3 схема, иллюстрирующая возможность оценки нейрофизиологических и клинических признаков и принятия экспертных решений.Fig. 3 diagram illustrating the possibility of assessing neurophysiological and clinical signs and making expert decisions.
Фиг. 4 - схема возможного расположения пользователя относительно чувствительных элементов системы в соответствии с аспектом настоящего изобретения.Fig. 4 is a diagram of a possible user position relative to the sensing elements of a system in accordance with an aspect of the present invention.
Подробное описание чертежейDetailed description of drawings
Хотя описание завершается формулой изобретения, определяющей признаки изобретения, которые следует полагать инновационными, считается, что изобретение будет понято лучше при ознакомлении с нижеследующим описанием в сочетании с фигурами/чертежами. Должно быть понятно, что представленные варианты реализации изобретения являются просто примерами, которые могут быть воплощены в различных формах.Although the description concludes with claims defining features of the invention that are to be considered innovative, it is believed that the invention will be better understood when read in conjunction with the following description in conjunction with the figures/drawings. It should be understood that the presented embodiments of the invention are merely examples which may be embodied in various forms.
Настоящее изобретение обеспечивает новый и эффективный, реализуемый с помощью системы бесконтактного скрининга и способа осуществления объективного исследования состояния организма человека, в процессе трудовой деятельности с использованием технологий машинного зрения и искусственного интеллекта.The present invention provides a new and effective, implemented using a non-contact screening system and a method for carrying out an objective study of the state of the human body during work using machine vision and artificial intelligence technologies.
Обращаясь теперь к фиг. 1, можно отметить, что один вариант реализации настоящего изобретения показан в виде блок-схемы, иллюстрирующей примерную организацию системы обработки данных, в которой может быть реализовано настоящее изобретение. На фиг. 1 показаны некоторые преимущества настоящего изобретения, но, как будет описано ниже, изобретение может быть представлено в нескольких формах, размерах, комбинациях свойств и элементов и с различным количеством компонентов и их функций. Первый вариант, корпоративной интернет-платформы, обеспечивающей организацию дистанционного контроля состояния водителей в рейсе и доступа к большим базам данных и знаний, сочетающей в себе информационную и вычислительную компоненту, содержит систему интеллектуального анализа, систему интерактивного скрининга и систему поддержки принятия экспертных решений. Сеть 100, как показано на фиг. 1, включает в себя соединения 102a-n, которые являются средой, используемой для обеспечения линий связи между клиентской и серверной частью, различными устройствами и компьютерами, соединенными между собой в сети 100. Соединениями 102a-n могут быть проводные или беспроводные соединения. Несколько вариантов проводных соединений - кабель, телефонная линия и оптоволоконный кабель. Варианты беспроводных соединений включают в себя радиочастотную (RF) и инфракрасную (IR) передачу. Многие другие проводные и беспроводные соединения известны в данной области техники и могут быть использованы одновременно с настоящим изобретением.Referring now to FIG. 1, it may be noted that one embodiment of the present invention is shown in block diagram form illustrating an exemplary organization of a data processing system in which the present invention may be implemented. In fig. 1 shows some of the advantages of the present invention, but, as will be described below, the invention can be presented in several shapes, sizes, combinations of features and elements and with varying numbers of components and their functions. The first option, a corporate Internet platform that provides remote monitoring of the condition of drivers during a trip and access to large databases and knowledge, combining information and computing components, contains an intelligent analysis system, an interactive screening system and an expert decision support system. Network 100, as shown in FIG. 1 includes connections 102a-n, which are the media used to provide communication links between the client and server, various devices, and computers interconnected on the network 100. Connections 102a-n may be wired or wireless connections. Several wired connection options - cable, telephone line and fiber optic cable. Wireless connection options include radio frequency (RF) and infrared (IR) transmission. Many other wired and wireless connections are known in the art and can be used concurrently with the present invention.
В указанном варианте сеть 100 включает в себя клиентскую часть аппаратно-программной системы водителя 103 установленную в кабине, клиентская часть диспетчера организации 104, сервер 105 и программный комплекс интеллектуального анализа данных и экспертных ращений 106. Аппаратнопрограммная система, система скрининга нейрофизиологических и клинических рисков 103 может исIn this embodiment, the network 100 includes the client part of the driver’s hardware-software system 103 installed in the cab, the client part of the organization’s dispatcher 104, the server 105 and the software complex for intelligent data analysis and expert development 106. The hardware-software system, the screening system for neurophysiological and clinical risks 103 can is
- 3 043983 пользоваться для выполнения команд программирования, содержащихся в программном обеспечении, которое может находиться на устройстве 103 или может быть получено от сервера 105 через глобальную сеть передачи данных (WAN) 101. В одном варианте осуществления WAN представляет собой Интернет. Конечно, сеть 100 также может быть реализована как множество различных типов сетей, таких как, например, интрасеть, локальная вычислительная сеть (LAN) или сотовая сеть. Фиг. 1 рассматривается как пример, а не как структурное ограничение для настоящего изобретения.- 3 043983 be used to execute programming commands contained in software that may reside on the device 103 or may be received from the server 105 via a wide area network (WAN) 101. In one embodiment, the WAN is the Internet. Of course, network 100 may also be implemented as a variety of different types of networks, such as, for example, an intranet, a local area network (LAN), or a cellular network. Fig. 1 is considered as an example and not as a structural limitation to the present invention.
Сервер 105 можно рассматривать как компьютер, который управляет доступом к централизованному ресурсу или базе данных. В некоторых вариантах реализации изобретения пользователи персонального вычислительного устройства 106 и аппаратно-программной системы водителя 103 могут запрашивать программное приложение, являющееся примером использования настоящего изобретения. Сервер 105 может принимать, обрабатывать и выполнять запрос путем передачи программного приложения в персональное вычислительное устройство 103 через WAN/LAN, выдавать рекомендации через сервер 105 и WAN/LAN 101 напрямую.Server 105 can be thought of as a computer that controls access to a centralized resource or database. In some embodiments, users of the personal computing device 106 and the driver firmware system 103 may request a software application that exemplifies the use of the present invention. The server 105 can receive, process and execute the request by transmitting the software application to the personal computing device 103 via WAN/LAN, make recommendations through the server 105 and WAN/LAN 101 directly.
Теперь обратимся к фиг. 2, в указанном выше примере аппаратно-программная система водителя 103 состоит из устройства обработки данных системы 200, включающего в себя персональное вычислительное устройство, оснащенное дисплеем и/или сенсорным экраном, а также интерфейсом пользовательского ввода 204, памятью 210 видеокамерой 201 с встроенным микрофоном 201а, аудиосистемой (динамики) 213, сетевым интерфейсом 209. Программное математическое обеспечение 206 осуществляет коммутационные связи процессора с устройствами и датчиками, обеспечивающими биомониторинг и скрининговую оценку, такими как пирометрический инфракрасный датчик 202, обеспечивающий контроль поверхностной температуры тела, спектрофотометрические инфракрасные датчики 203 и газоанализатор электрохимический 207 для контроля газовой среды, а также датчик освещенности 205, датчик расстояния 209 и другие встраиваемые датчики и устройства 208.Let us now turn to FIG. 2, in the above example, the driver hardware and software system 103 consists of a system data processing device 200, including a personal computing device equipped with a display and/or touch screen, as well as a user input interface 204, a memory 210, a video camera 201 with a built-in microphone 201a , audio system (speakers) 213, network interface 209. Mathematical software 206 carries out switching connections between the processor and devices and sensors that provide biomonitoring and screening assessment, such as a pyrometric infrared sensor 202, which provides control of surface body temperature, spectrophotometric infrared sensors 203 and an electrochemical gas analyzer 207 for monitoring the gas environment, as well as a light sensor 205, a distance sensor 209 and other built-in sensors and devices 208.
Камера 201 может включать в себя объектив и может использоваться для фиксации неподвижных изображений, а также видеосъемки. Камера 201 должна быть цифровой, предпочтительно с автоматическим определением фокусного расстояния. Камера 201 выполнена так, чтобы изображения могли быть сохранены в памяти 210 и обработаны программным обеспечением 206.The camera 201 may include a lens and may be used to capture still images as well as video. Camera 201 should be digital, preferably with automatic focal length detection. The camera 201 is configured such that images can be stored in memory 210 and processed by software 206.
Камера 201 связана с микрофоном 201a с целью синхронизации записи звука и видеоизображения.The camera 201 is connected to a microphone 201a for the purpose of synchronizing audio and video recording.
Камера 201 выполнена для фиксации изображений, имеющих пиксельное разрешение, по меньшей мере 640x480 пикселей, чтобы обеспечить высокое разрешением для интерпретации и анализа изображений в соответствии с методами, описанными здесь и общеизвестными в данной области техники. Камеры, имеющие более низкое качество, могут быть не способны обеспечивать изображения с надлежащим разрешением.Camera 201 is configured to capture images having a pixel resolution of at least 640x480 pixels to provide high resolution for image interpretation and analysis in accordance with the techniques described herein and generally known in the art. Cameras of lower quality may not be able to provide images with adequate resolution.
Интерфейс пользовательского ввода 204 функционирует для обеспечения способа ввода входных данных пользователем в вычислительное устройство обработки данных 200.The user input interface 204 operates to provide a method for inputting input data by a user to the computing device 200.
Сенсорный экран 204 также может обеспечивать вывод данных или обратную связь с пользователем, например тактильную отдачу или регулировку ориентации клавиатуры в соответствии с сигналами датчиков, получаемыми датчиками движения, такими как акселерометр, расположенный внутри устройства обработки данных 200.The touch screen 204 may also provide output or feedback to the user, such as haptic feedback or adjustment of keyboard orientation in accordance with sensor signals received by motion sensors, such as an accelerometer located within the processing device 200.
Сетевой интерфейс 209 может включать в себя одну или несколько сетевых интерфейсных плат (NIC) или сетевой контроллер. В некоторых вариантах изобретения сетевой интерфейс 204 может включать в себя интерфейс персональной сети (PAN). Интерфейс PAN может обеспечивать возможность для устройства обработки данных 200 подключаться к сети с использованием протокола передачи данных ближнего действия, например протокола связи Bluetooth. Интерфейс PAN позволяет одному устройству обработки данных системы 200 установить беспроводное соединение с другим устройством обработки данных 200 через одноранговое соединение.Network interface 209 may include one or more network interface cards (NICs) or a network controller. In some embodiments of the invention, the network interface 204 may include a personal area network (PAN) interface. The PAN interface may provide the ability for the data processing device 200 to connect to a network using a short-range communication protocol, such as the Bluetooth communication protocol. The PAN interface allows one data processing device of system 200 to establish a wireless connection with another data processing device 200 through a peer-to-peer connection.
Сетевой интерфейс 209 также может включать в себя интерфейс локальной сети (LAN). Интерфейсом LAN может быть, например, интерфейс беспроводной сети LAN, например сети Wi-Fi. Диапазон интерфейса LAN обычно может превышать диапазон, доступный с помощью интерфейса PAN. В большинстве случаев соединение между двумя электронными устройствами через интерфейс LAN может включать в себя подключение через сетевой маршрутизатор или другое промежуточное устройство.Network interface 209 may also include a local area network (LAN) interface. The LAN interface may be, for example, an interface of a wireless LAN network, such as a Wi-Fi network. The range of the LAN interface can usually exceed the range available through the PAN interface. In most cases, a connection between two electronic devices via a LAN interface may involve a connection through a network router or other intermediate device.
Помимо этого, сетевые интерфейсы 209 могут включать в себя возможность подключения к глобальной сети передачи данных (WAN) через интерфейс глобальной сети (WAN). WAN-интерфейс может обеспечивать возможность соединения, например, сети сотовой мобильной связи. WAN-интерфейс может включать в себя такие схемы связи, как антенна, соединенная с радиосхемой, имеющей приемопередающее устройство для передачи и приема радиосигналов через антенну. Радиосхема может быть сконфигурирована для работы в сети мобильной связи, включая, но не ограничиваясь указанным, системы мобильной связи (GSM, LTE, 4G, 5G), множественный доступ с кодовым разделением каналов (CDMA), широкополосный CDMA (WCDMA) и т.п.In addition, the network interfaces 209 may include the ability to connect to a wide area network (WAN) via a wide area network (WAN) interface. The WAN interface may provide connectivity to, for example, a cellular mobile phone network. The WAN interface may include communication circuitry such as an antenna coupled to a radio circuit having a transceiver device for transmitting and receiving radio signals through the antenna. The radio circuit may be configured to operate in a mobile communications network, including, but not limited to, mobile communications systems (GSM, LTE, 4G, 5G), Code Division Multiple Access (CDMA), Wideband CDMA (WCDMA), and the like. .
Аппаратно-программная система с устройством обработки данных 200 может также включать интерфейс коммуникации ближнего радиуса действия (NFC). Интерфейс NFC может обеспечивать чрезвычайно близкий радиус коммуникации при относительно низких скоростях передачи данных (например,The hardware/software system with data processing device 200 may also include a near field communication (NFC) interface. The NFC interface can provide extremely close communication range at relatively low data rates (e.g.
- 4 043983- 4 043983
424 кбит/с). Интерфейс NFC может функционировать посредством индукции магнитного поля, позволяющей интерфейсу NFC взаимодействовать с другими интерфейсами NFC, расположенными на других устройствах, или извлекать информацию из тегов, имеющих схемы радиочастотной идентификации (RFID). Интерфейс NFC может обеспечить включение и/или ускорение передачи данных от АПК водителя с процессором 200 к другому персональному компьютеру с чрезвычайно близким диапазоном (например, 4 см).424 kbit/s). The NFC interface may function by inducing a magnetic field, allowing the NFC interface to communicate with other NFC interfaces located on other devices or to extract information from tags that have radio frequency identification (RFID) circuits. The NFC interface may enable and/or accelerate data transfer from the driver's APC with processor 200 to another personal computer within an extremely close range (eg, 4 cm).
Память 210, связанная с устройством обработки данных 200, может быть, например, одним или более буфером, флэш-памятью или энергонезависимой памятью, например, оперативным запоминающим устройством (ОЗУ). Устройство обработки данных системы 200 может также включать в себя энергонезависимое запоминающее устройство. Энергонезависимое запоминающее устройство может являться любым подходящим носителем данных, таким как жесткий диск или энергонезависимая память, в частности флэш-память. Память 210 может включать в себя по меньшей мере одну базу данных 212, подключенную к устройству хранения данных 211 устройства 200. В варианте реализации изобретения, в котором база данных 212 считается по меньшей мере частью памяти 210 аппаратной-программной системы 200, такая коммуникативная связь может быть жёстко смонтированным токопроводящим соединением. В варианте реализации изобретения, в котором базой данных 211 считается удаленная база данных 106, доступная с помощью, например, сети большой протяжённости, такой как WAN 101, такая коммуникативная связь может быть установлена через сетевой интерфейс 209 устройства 105. Термин база данных в широком смысле употребляется для обозначения упорядоченного набора данных, который хранится в энергонезависимой памяти, и доступен для устройства обработки данных, использующего набор данных для решения задач, определенных компьютером.Memory 210 associated with data processing device 200 may be, for example, one or more buffers, flash memory, or non-volatile memory, such as random access memory (RAM). The data processing device of the system 200 may also include a non-volatile storage device. The non-volatile storage device can be any suitable storage medium, such as a hard disk or non-volatile memory, in particular flash memory. Memory 210 may include at least one database 212 coupled to storage device 211 of device 200. In an embodiment of the invention in which database 212 is considered at least part of memory 210 of hardware/software system 200, such communication may be a rigidly mounted conductive connection. In an embodiment of the invention in which database 211 is considered to be a remote database 106 accessible via, for example, a long-haul network such as WAN 101, such communications may be established through network interface 209 of device 105. The term database in the broadest sense used to denote an ordered set of data that is stored in non-volatile memory and is accessible to a data processing device that uses the data set to solve problems defined by the computer.
Устройством обработки данных 200 может являться, например, центральный процессор (ЦП), микроконтроллер или микропроцессорное устройство, включающее в себя микропроцессор общего назначения или микропроцессор специального назначения. Устройство обработки данных 200 выполняет код, сохраненный в памяти 210, с целью выполнения операций/команд персонального мобильного вычислительного устройства 103. Устройство обработки данных 210 может обеспечить возможность обработки для управления операционной системой, запуска различных приложений, а также обработки данных для одной или более из описанных здесь методик.The data processing device 200 may be, for example, a central processing unit (CPU), a microcontroller, or a microprocessor device including a general purpose microprocessor or a special purpose microprocessor. The processing device 200 executes code stored in the memory 210 to perform operations/commands of the personal mobile computing device 103. The processing device 210 may provide processing capabilities for controlling an operating system, running various applications, and processing data for one or more of techniques described here.
Дисплей/монитор 204 отображает информацию для пользователя, такую как рабочее состояние, время, номера телефонов, различные меню, значки приложений, выпадающие меню и т.п. Дисплей 204 может использоваться для представления пользователю различных изображений, текста, графики или видео, в частности фотографий, контента мобильного телевидения, интернет-страниц и интерфейсов мобильных приложений. В конкретном случае дисплей 204 может быть сконфигурирован для отображения физиологических параметров и индексов работника/водителя, как описано ниже. Дисплей 204 может представлять собой любой тип подходящего дисплея, такого как жидкокристаллический дисплей (LCD), плазменный дисплей, светодиодный дисплей (LED) и т.п.The display/monitor 204 displays information to the user such as operating status, time, phone numbers, various menus, application icons, drop-down menus, and the like. The display 204 may be used to present a variety of images, text, graphics, or video to the user, such as photographs, mobile television content, Internet pages, and mobile application interfaces. In a specific case, the display 204 may be configured to display physiological parameters and worker/driver indices, as described below. The display 204 may be any type of suitable display, such as a liquid crystal display (LCD), plasma display, light emitting diode (LED), or the like.
Аппаратно-программная система 103, содержащая устройство обработки данных системы 200, может включать в себя структуры аудио входа и выхода 201а, такие как микрофон для приема звуковых сигналов от работника и громкоговорители для вывода звуковых сигналов, таких как голосовые оповещения, звуковые сигналы (алармы) для связи с диспетчером. Аппаратно-программная система 103 может также включать в себя аудиопорт для соединения с периферийными структурами аудио входа и выхода, такими как гарнитура, периферийные громкоговорители или микрофоны.The hardware/software system 103 containing the system data processor 200 may include audio input and output structures 201a, such as a microphone for receiving audio signals from an employee and speakers for outputting audio signals such as voice announcements, alarms, etc. to communicate with the dispatcher. The firmware system 103 may also include an audio port for connecting to peripheral audio input and output structures, such as a headset, peripheral speakers, or microphones.
Аппаратно-программная система 103 включает в себя дополнительные устройства и датчики 208, например глобальная навигационная спутниковая система определения местоположения (GPS, Глонасс и т.д.), акселерометр, гироскоп. Знание скорости, с которой движется автомобиль, позволяет определить степень опасности той или иной ситуации. И на основе всех в совокупности параметров, получаемых от камеры, всех датчиков и анализа их, в том числе с помощью нейронных сетей, позволяет вычислить интегральную оценку психофизиологического состояния водителя 505 за определенный отрезок времени. Сюда включается система подсветки лица водителя/работника при недостаточном освещении или в полной темноте.The hardware and software system 103 includes additional devices and sensors 208, for example, a global navigation satellite positioning system (GPS, Glonass, etc.), an accelerometer, a gyroscope. Knowing the speed at which a car is moving allows you to determine the degree of danger of a particular situation. And based on all the parameters received from the camera, all the sensors and their analysis, including using neural networks, it makes it possible to calculate an integral assessment of the psychophysiological state of the driver 505 for a certain period of time. This includes a system for illuminating the face of the driver/employee in low light or in complete darkness.
Приемный модуль, 404 является неотъемлемой частью системы, может быть объединен в едином корпусе с устройством обработки данных, а может быть выделен в отдельный элемент, соединенный с устройством обработки данных 200, посредством жёстко смонтированного токопроводящего соединения или посредством беспроводных сетей. Приемный модуль включает в себя видеокамеру 201, микрофон 201а, пирометрический инфракрасный датчик 202, спектрофотометрические инфракрасные датчики 203, газоанализатор 203, датчик освещённости 205, датчик расстояния 209, аудиосистему 213, а также другие датчики и устройства, включая систему подсветки лица водителя/работника при недостаточном освещении или в полной темноте 208.The receiving module 404 is an integral part of the system and can be integrated into a single housing with the data processing device, or can be separated into a separate element connected to the data processing device 200 through a hard-wired connection or via wireless networks. The receiving module includes a video camera 201, a microphone 201a, a pyrometric infrared sensor 202, spectrophotometric infrared sensors 203, a gas analyzer 203, a light sensor 205, a distance sensor 209, an audio system 213, as well as other sensors and devices, including a driver/employee face illumination system when insufficient lighting or complete darkness 208.
Аудиосистема 213 встроена/соединена с приёмным модулем системы 103 и содержит хотя бы один из динамика и усилителя звука с регулятором уровня громкости. Аудиосистема 213 должна обеспечивать достаточную громкость звучания голосовых и звуковых оповещений на фоне шума на рабочем месте работника/водителя. Использование микрофона и аудиосистемы позволяет создавать интерактивнуюThe audio system 213 is built-in/connected to the receiving module of the system 103 and contains at least one of a speaker and an audio amplifier with a volume control. The audio system 213 must provide sufficient volume for voice and audio alerts against the background noise at the worker/driver’s workplace. Using a microphone and audio system allows you to create interactive
- 5 043983 связь между водителем и диспетчером, причем, используя видеокамеру, диспетчер может наблюдать за поведением водителя в опасных и критических ситуациях как в режиме реального времени, так и в записи.- 5 043983 communication between the driver and the dispatcher, and, using a video camera, the dispatcher can observe the driver’s behavior in dangerous and critical situations both in real time and in recording.
На фиг. 3 изображена схема возможного взаимодействия основных функциональных блоков аппаратно-программной системы.In fig. Figure 3 shows a diagram of the possible interaction of the main functional blocks of the hardware-software system.
Блок 103 представляет собой аппаратно-программную систему на рабочем месте водителя/оператора, в данном случае водителя, и предназначен для:Block 103 is a hardware-software system at the driver/operator workplace, in this case the driver, and is intended for:
автоматической обработки видеоизображения лица водителя и отслеживания истории событий: глаза закрыты, зевание, голова наклонена вниз, смотрит в сторону,automatic processing of video images of the driver’s face and tracking the history of events: eyes closed, yawning, head tilted down, looking to the side,
ЧСС выходит из интервала нормальных значений, нет лица в кадре;Heart rate is out of the normal range, there is no face in the frame;
для автоматического измерения координат и скорости движения автомобиля посредством GPS;for automatic measurement of vehicle coordinates and speed via GPS;
автоматического измерения температуры тела водителя;automatic measurement of the driver’s body temperature;
автоматического измерения температуры окружающей среды;automatic measurement of ambient temperature;
автоматического измерения наличия паром метанола и загазованности на рабочем месте;automatic measurement of the presence of methanol steam and gas contamination in the workplace;
автоматического исследования склеры глаз;automatic examination of the sclera of the eyes;
автоматической отправки уведомлений об опасных ситуациях на удалённый сервер;automatic sending of notifications about dangerous situations to a remote server;
автоматического развёртывания сервера видео прямой трансляции (стриминга);automatic deployment of a live video (streaming) server;
автоматической идентификации водителя в случае отсутствия соединения с удалённым сервером; автоматического ведения архива событий в случае отсутствия соединения с удалённым сервером; автоматического принятия решения о необходимости аудиосигнализации для предупреждения возникновения опасных состояний водителя за рулём автомобиля;automatic identification of the driver in the event of no connection to the remote server; automatic archiving of events in the event of no connection to a remote server; automatic decision-making on the need for audio alarms to prevent the occurrence of dangerous driver conditions while driving a car;
автоматической проверки обновлений собственной прошивки процессора.automatically checking for updates to the processor's own firmware.
Блок 105 представляет собой серверную часть аппаратно-программной системы и предназначен для:Block 105 is the server part of the hardware-software system and is intended for:
a) организации средств уведомления клиентов о событиях (300);a) organizing means of notifying clients about events (300);
b) предоставлении единой точки входа в API (301);b) providing a single point of entry to the API (301);
c) идентификации водителей по изображению лица (302);c) identification of drivers by facial image (302);
d) организации средств контроля данных (303);d) organizing data controls (303);
e) организации средств хранения данных (304).e) organization of data storage facilities (304).
Для получения оперативных уведомлений диспетчеру можно использовать различные мессенджеры 305 (Telegram, WhatsApp, Viber и т.д.). Диспетчеру автоматически передается уведомление об опасной ситуации в момент ее возникновения. Уведомление содержит информацию о дате и времени, водителе, транспортном средстве, категории опасной ситуации, имеет ссылку на прямую трансляцию из кабины и ссылку на карту с отмеченным местом возникновения опасной ситуации.To receive prompt notifications to the dispatcher, you can use various 305 messengers (Telegram, WhatsApp, Viber, etc.). The dispatcher is automatically notified of a dangerous situation at the moment it occurs. The notification contains information about the date and time, the driver, the vehicle, the category of the dangerous situation, has a link to a live broadcast from the cockpit and a link to a map with the marked location of the dangerous situation.
Блок 106 представляет собой автоматизированное рабочие место диспетчера, которое предназначено для:Block 106 is an automated dispatcher workstation, which is intended for:
работы с Web-клиентом 306, который является основной платформой, где отображается вся необходимая информация с доступом к базе данных и механизмом формирования статистических отчетов;working with the Web client 306, which is the main platform where all the necessary information is displayed with access to the database and a mechanism for generating statistical reports;
просмотра видеопотока 307 прямой трансляции из кабины транспортного средства;viewing the live video stream 307 from the vehicle cabin;
получения оперативных уведомлений 308 об опасных ситуациях.receiving prompt notifications 308 about dangerous situations.
На фиг. 4 показан пример расположения приемного модуля аппаратно-программной системы 103 на рабочем месте работника/водителя 400. Приемный модуль аппаратно-программной системы размещается перпендикулярно фронтальной плоскости лица работника 401 на линии взгляда 402 по направлению движения транспортного средства, в случае водителя или над приборной панелью, либо вмонтированный в приборную панель оператора сложной системы АСУ. Допускается максимальное отклонение от линии взгляда 402 на 25° в правую или левую сторону 405. Расстояние от фронтальной плоскости лица 401 до приемного модуля 404 должно быть в интервале от 70 до 150 см в целях наилучшего видеозахвата лица и получения максимально достоверной информации от встроенных в модуль дополнительных датчиков.In fig. 4 shows an example of the location of the receiving module of the hardware-software system 103 at the workplace of the employee/driver 400. The receiving module of the hardware-software system is placed perpendicular to the frontal plane of the employee’s face 401 on the line of sight 402 in the direction of movement of the vehicle, in the case of the driver, or above the dashboard, or built into the operator’s dashboard of a complex automated control system. A maximum deviation from the line of sight 402 of 25° to the right or left side 405 is allowed. The distance from the frontal plane of the face 401 to the receiving module 404 should be in the range from 70 to 150 cm for the best video capture of the face and obtaining the most reliable information from those built into the module additional sensors.
На фиг. 5 приведена структура функционального взаимодействия между работником/водителем 400, аппаратно-программной системой 103, сервером 105 и диспетчером 104. Все работники должны быть занесены в базу данных на сервере 105, информация о них должна включать фотографию, пригодную для расчета биометрического шаблона. На первом этапе происходит идентификация работника 501 и поступление автоматического подтверждения на разрешение эксплуатации транспортного средства при наличии водителя в базе данных либо от диспетчера 104. В случае включения системы работником, который не занесен в базу данных, происходит уведомление диспетчеру о неопознанном работнике/водителе и ведется прямая видеотрансляция с рабочего места работника/водителя. Диспетчер может заглушить двигатель автомобиля, если система подключена к бортовому компьютеру, либо заблокировать рабочее место оператора. В случае отсутствия сетевого или интернет соединения сIn fig. Figure 5 shows the structure of the functional interaction between employee/driver 400, hardware and software system 103, server 105 and dispatcher 104. All employees must be entered into the database on server 105, information about them must include a photograph suitable for calculating a biometric template. At the first stage, employee 501 is identified and an automatic confirmation is received for permission to operate the vehicle if there is a driver in the database or from the dispatcher 104. If the system is turned on by an employee who is not included in the database, the dispatcher is notified about the unidentified employee/driver and the live video broadcast from the employee/driver’s workplace. The dispatcher can turn off the car engine if the system is connected to the on-board computer, or block the operator’s workplace. If there is no network or Internet connection with
- 6 043983 сервером 105 идентификация происходит на аппаратно-программной системе 103. При восстановлении связи с сервером 105 информация об успешной/неуспешной идентификации передается на сервер. Аппаратно-программная система 103 через определенные равные интервалы времени повторяет операцию идентификации с целью обнаружения подмены работника/водителя.- 6 043983 by the server 105, identification occurs on the hardware and software system 103. When communication with the server 105 is restored, information about successful/unsuccessful identification is transmitted to the server. The hardware and software system 103 repeats the identification operation at certain regular intervals in order to detect the substitution of an employee/driver.
Аппаратно-программная система 103 может в начале работы (при каждом включении) оценивает и передает данные на сервер, температуру тела 503 работника/водителя, информацию о состоянии склеры глаз 404, пульс (частоту сердечных сокращений) 502, частоту дыхательных движений 506, величину артериального давления 505, наличие паров этанола метанола в выдыхаемом воздухе 407, состояние окружающей среды на рабочем месте работника/водителя (уровень загазованности, температуру) 508. Эти данные сравниваются с соответствующими значениями, полученными при прохождении работником/водителем предсменного/предрейсового осмотра/контроля. Диспетчер получает уведомление о соответствии или несоответствии этих данных. Полученные данные можно считать эталонными при проведении и анализе дальнейшей информации, получаемой от аппаратно-программной системы 103, в том числе при расчете индивидуального психофизиологического индекса работника/водителя.The hardware-software system 103 can, at the beginning of operation (each time it is turned on), evaluate and transmit data to the server, body temperature 503 of the worker/driver, information about the state of the sclera of the eyes 404, pulse (heart rate) 502, respiratory rate 506, arterial blood pressure pressure 505, the presence of ethanol and methanol vapors in the exhaled air 407, the state of the environment at the employee/driver’s workplace (gas level, temperature) 508. These data are compared with the corresponding values obtained when the employee/driver underwent pre-shift/pre-trip inspection/control. The dispatcher receives a notification about the compliance or non-compliance of this data. The obtained data can be considered reference data when conducting and analyzing further information received from the hardware-software system 103, including when calculating the individual psychophysiological index of the employee/driver.
Аппаратно-программная система 103 через определенные равные интервалы времени оценивает и передает на сервер 105 данные о температуре тела работника/водителя 503, о частоте дыхательных движений 506, о состоянии окружающей среды на рабочем месте работника/водителя (уровень загазованности, температуру) 508, а также другую информацию, необходимую для расчета психофизиологических индексов через определенные равные интервалы времени.The hardware and software system 103 at certain equal intervals of time evaluates and transmits to the server 105 data on the body temperature of the worker/driver 503, on the frequency of respiratory movements 506, on the state of the environment at the worker/driver’s workplace (gas level, temperature) 508, and as well as other information necessary for calculating psychophysiological indices at certain equal intervals of time.
Длительность интервалов времени для проведения оценки настраивается ответственным лицом.The duration of time intervals for conducting assessments is set by the person in charge.
Аппаратно-программная система 103 в постоянном режиме отслеживает психофизиологические параметры работника/водителя, пульс (частоту сердечных сокращений) 502, продолжительность закрытых глаз 509, число морганий за единицу времени 510, продолжительность и число зевания в определенный интервал времени 511, отклонения взгляда от направления движения транспортного средства (расчет углов тангажа и рысканья) 512, состояние освещённости на рабочем месте 508.The hardware-software system 103 constantly monitors the psychophysiological parameters of the employee/driver, pulse (heart rate) 502, duration of closed eyes 509, number of blinks per unit of time 510, duration and number of yawns in a certain time interval 511, deviations of gaze from the direction of movement vehicle (calculation of pitch and yaw angles) 512, lighting conditions in the workplace 508.
Аппаратно-программная система 103 имеет возможность оповещать работника/водителя голосовыми и звуковыми оповещениями 513. Голосовые оповещения имеют характер предупреждающих сигналов о наступлении опасной ситуации, например Смотрите на дорогу, Откройте глаза, Вы слишком долго зеваете, Возможно вы устали, вам следует отдохнуть и т.д. С целью предотвращения привыкания к тембру голоса и игнорирования оповещений система периодически автоматически меняет голоса, например мужской на женский, также меняется тембр голоса.The hardware and software system 103 has the ability to notify the employee/driver with voice and sound alerts 513. Voice alerts are in the nature of warning signals about the occurrence of a dangerous situation, for example, Look at the road, Open your eyes, You are yawning too much, You may be tired, you should rest, etc. .d. In order to prevent getting used to the timbre of the voice and ignoring alerts, the system periodically automatically changes voices, for example, male to female, and the timbre of the voice also changes.
При критических ситуациях раздается звуковой сигнал высокой частоты (аларм) 514, призванный разбудить и вызвать ответную реакцию работника/водителя. Например, такой сигнал раздается при закрытых глазах более заданного заранее (2 с, например) или при наклоне головы вниз или запрокидывании назад (засыпание) более чем на 2 с при скорости движения, отличной от 0 км/ч. Также звуковой сигнал может быть использован, если работник/водитель не реагирует на предупредительное оповещение и событие сохраняется более заранее заданного времени.In critical situations, a high-frequency sound signal (alarm) 514 is heard, designed to wake up and cause a response from the worker/driver. For example, such a signal is heard when the eyes are closed for more than a preset time (2 s, for example) or when the head is tilted down or thrown back (falling asleep) for more than 2 s at a speed other than 0 km/h. Also, an audible signal can be used if the worker/driver does not respond to a warning alert and the event persists for more than a predetermined time.
При критических ситуациях также могут раздаваться голосовые оповещения, например, при частоте сердечных сокращений 150 ударов/мин и выше на протяжении 15-20 мин, Немедленно остановите транспортное средство и вызовите скорую помощь!.In critical situations, voice alerts may also be heard, for example, if the heart rate is 150 beats/min or higher for 15-20 minutes, immediately stop the vehicle and call an ambulance!.
При возникновении опасных и критических ситуаций на рабочее место диспетчера 104 приходят уведомления 515, которые содержат информацию о времени и дате возникновения ситуации, о транспортном средстве, о водителе, о категории опасной или критической ситуации, ссылку на место положение транспортного средства, ссылку на прямую трансляцию рабочего места (стрим) с опцией голосовой конференции с работником/водителем.When dangerous and critical situations occur, notifications 515 are sent to the dispatcher's workplace 104, which contain information about the time and date of the situation, about the vehicle, about the driver, about the category of a dangerous or critical situation, a link to the location of the vehicle, a link to a live broadcast workplace (stream) with the option of voice conference with an employee/driver.
Кроме того, информация об опасных и критических ситуациях сохраняется на сервере 105 и доступна для статистической обработки и формирования отчетов, в том числе видеоотчетов и рекомендаций.In addition, information about dangerous and critical situations is stored on the server 105 and is available for statistical processing and generation of reports, including video reports and recommendations.
Предлагаемое изобретение подтверждается примерами.The proposed invention is confirmed by examples.
Пример 1.Example 1.
С целью установления достоверности полученных результатов с использованием аппаратнопрограммной системы бесконтактного скрининга индивидуальных нейрофизиологических и клинических признаков риска внезапной смерти в процессе трудовой деятельности и способа определения клинических признаков критических состояний сердечно-сосудистой, дыхательной, когнитивной и психоэмоциональной систем, определяющих потерю контроля внимания и восприятия, а также риска внезапной смерти на рабочем месте проведены пилотные испытания.In order to establish the reliability of the results obtained using a hardware-software system for non-contact screening of individual neurophysiological and clinical signs of the risk of sudden death in the course of work and a method for determining clinical signs of critical conditions of the cardiovascular, respiratory, cognitive and psycho-emotional systems that determine the loss of control of attention and perception, and Pilot tests have also been conducted on the risk of sudden death in the workplace.
В испытаниях приняли участие 20 добровольцев.20 volunteers took part in the tests.
В целях подтверждения достоверности полученных данных с использованием аппаратнопрограммной системы в испытаниях использовались стандартные диагностические приборы и способы.In order to confirm the reliability of the data obtained using the hardware and software system, standard diagnostic instruments and methods were used in the tests.
Добровольцы проходили предсменный, промежуточный и послесменный медицинский осмотр в процессе смены, обо всех изменениях в области состояния и субъективных оценок сообщали диспетчеру, при этом данные регистраторов напряженности дорожного движения просматривались экспертами, соVolunteers underwent pre-shift, intermediate and post-shift medical examinations during the shift; all changes in condition and subjective assessments were reported to the dispatcher, while data from traffic intensity recorders were reviewed by experts, with
- 7 043983 поставляя нарушения правил с синхронной оценкой скрининговых исследований.- 7 043983 delivering violations of the rules with synchronous assessment of screening studies.
Оценке подлежали следующие параметры:The following parameters were subject to evaluation:
сбор жалоб;collection of complaints;
визуальный осмотр;visual inspection;
осмотр видимых слизистых и кожных покровов;examination of visible mucous membranes and skin;
общая термометрия;general thermometry;
измерение артериального давления на периферических артериях;measurement of blood pressure in peripheral arteries;
исследование пульса;pulse examination;
количественное определение алкоголя в выдыхаемом воздухе;quantitative determination of alcohol in exhaled air;
простая и сложная сенсомоторная реакция;simple and complex sensorimotor reaction;
тесты Эрексона.Erekson tests.
Из перечисленных параметров количественной оценке подлежат:Of the listed parameters, the following are subject to quantitative assessment:
частота сердечных сокращений;heart rate;
термометрия;thermometry;
артериальное давление;arterial pressure;
определение паров этанола в выдыхаемом воздухе.determination of ethanol vapor in exhaled air.
Остальные параметры, входящие в перечень клинических признаков, являются субъективными.The remaining parameters included in the list of clinical signs are subjective.
Данные, полученные в результате исследований, подтвердили высокую информативность созданной аппаратно-программной системы и разработанного способа оценки, позволили подтвердить высокую корреляцию со стандартными клиническими методами.The data obtained as a result of the research confirmed the high information content of the created hardware-software system and the developed assessment method, and made it possible to confirm a high correlation with standard clinical methods.
При этом исследования подтвердили возможность количественной оценки изменений значимых параметров, изменений цвета кожных и слизистых покровов, нарушений двигательной активности (тремор конечностей, ресниц, зевания и моргания), координации, дыхательных движений, характер речевых изменений.At the same time, studies have confirmed the possibility of quantitative assessment of changes in significant parameters, changes in the color of the skin and mucous membranes, disturbances in motor activity (tremor of the limbs, eyelashes, yawning and blinking), coordination, respiratory movements, and the nature of speech changes.
В отличие от классических методов оценки физиологического состояния, предусмотренных способом оценки, параметры показали высокую валидность в отношении усталости, функциональной напряженности и интенсивности стресса. Особую ценность, по словам добровольцев, составляет оцениваемый индекс напряжённости и усталости, позволяющий предупредительно делать кратковременный 15-минутный отдых.In contrast to classical methods for assessing the physiological state provided by the assessment method, the parameters showed high validity in relation to fatigue, functional tension and stress intensity. Of particular value, according to volunteers, is the assessed tension and fatigue index, which allows you to proactively take a short 15-minute rest.
Пример 2.Example 2.
Проведение испытаний по оценке уровня стресса и когнитивных нарушений операторов сложных АСУ при суточном сменном графике.Conducting tests to assess the level of stress and cognitive impairment of operators of complex automated control systems during a daily shift schedule.
При этом имелась возможность использовать синхронные методы оценки.At the same time, it was possible to use synchronous assessment methods.
Исследования проводились с использованием суточного ЭКГ-мониторирования по холтеру и аппаратно-программной системы скрининга.The studies were carried out using 24-hour Holter ECG monitoring and a hardware-software screening system.
На основании проведенного тестирования и полученных результатов выявлена значительная корреляция данных, при этом оперативность получения результатов показала эффективность такой оценки и своевременность выдачу рекомендаций при повышении до критического уровня напряжения функциональных систем работников.Based on the testing carried out and the results obtained, a significant correlation of data was revealed, while the speed of obtaining results showed the effectiveness of such an assessment and the timeliness of issuing recommendations when the voltage of the functional systems of workers increases to a critical level.
Пример 3.Example 3.
Проведение испытаний по оценке уровня стресса и когнитивных нарушений операторов, потери контроля внимания и чувственных нарушениях.Conducting tests to assess operator stress levels and cognitive impairment, loss of attention control and sensory disturbances.
Исследования проводились на модели синдром подобных состояний с участием добровольцев при 12-часовом нагрузочном тесте монотонного труда. Добровольцы принимали одноразово 40% спиртовой раствор из расчета 10 г на 1 кг веса, после чего непрерывно выполняли тестовые задания на персональных компьютерах. С помощью системы оценивался уровень параметров, позволяющих выявлять уровень адаптации и локус внимания, эффективность выполняемых задач, количество ошибок, допускаемых при выполнении заданий в процессе скрининга нейрофизиологического и психоэмоционального состояния.The studies were conducted on a model of a syndrome of similar conditions with the participation of volunteers during a 12-hour stress test of monotonous work. Volunteers took a one-time 40% alcohol solution at the rate of 10 g per 1 kg of weight, after which they continuously performed test tasks on personal computers. Using the system, the level of parameters was assessed that made it possible to identify the level of adaptation and locus of attention, the effectiveness of the tasks performed, and the number of errors made when performing tasks in the process of screening the neurophysiological and psychoemotional state.
На основании проведенного тестирования система поддержки принятия экспертных решений своевременно рекомендовала отстранение работника от выполнения служебных обязанностей с подозрением на критическое состояние через 47 мин.Based on the testing, the expert decision support system promptly recommended the removal of an employee from work duties with a suspected critical condition after 47 minutes.
Пример 4.Example 4.
Во время опытной эксплуатации, описанной выше, аппаратно-программной системы на автотранспортном предприятии водитель с режимом работы с 8:00 до 17:00 вышел в рейс. Данные предрейсового контроля: пульс 78 ударов/мин, артериальное давление 130/85, температура тела 36,6°. Диспетчер получил несколько уведомлений подряд о критически опасной ситуации, просмотрев информацию о типе опасной ситуации, он увидел, что на протяжении 10 мин частота сердечных сокращений водителя находилась в интервале от 128 до 135 ударов/мин и скоростной режим колебался в диапазоне от 50 до 80 км/ч. Просмотрев прямую трансляцию из кабины транспортного средства, диспетчер увидел, что водитель крайне возбужден, разговаривает сам с собой, имеет повышенную двигательную активность. Диспетчер связался с водителем через встроенную в аппаратно-программную систему голосовую связь, попросил его сбавить скорость и остановиться на ближайшем возможном месте для парковки. ПроведяDuring the trial operation described above of a hardware-software system at a motor transport enterprise, a driver with an operating schedule from 8:00 to 17:00 went on a trip. Pre-trip control data: pulse 78 beats/min, blood pressure 130/85, body temperature 36.6°. The dispatcher received several notifications in a row about a critically dangerous situation; after reviewing the information about the type of dangerous situation, he saw that for 10 minutes the driver’s heart rate was in the range from 128 to 135 beats/min and the speed limit ranged from 50 to 80 km /h. After watching the live broadcast from the vehicle’s cabin, the dispatcher saw that the driver was extremely excited, talking to himself, and had increased physical activity. The dispatcher contacted the driver via voice communication built into the hardware and software system, asked him to slow down and stop at the nearest possible parking space. After spending
--
Claims (4)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EA043983B1 true EA043983B1 (en) | 2023-07-12 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2395228C2 (en) | Biosensors, communicators and controllers for eye movement monitoring and methods of their application | |
| US10357195B2 (en) | Pupillometry and sensor fusion for monitoring and predicting a vehicle operator's condition | |
| JP7204739B2 (en) | Information processing device, mobile device, method, and program | |
| US7027621B1 (en) | Method and apparatus for operator condition monitoring and assessment | |
| US10039445B1 (en) | Biosensors, communicators, and controllers monitoring eye movement and methods for using them | |
| US20190279482A1 (en) | Methods and apparatus for monitoring alertness of an individual utilizing a wearable device and providing notification | |
| CA2942852C (en) | Wearable computing apparatus and method | |
| USRE41376E1 (en) | System and method for monitoring eye movement | |
| US6542081B2 (en) | System and method for monitoring eye movement | |
| CN109528219A (en) | System for monitoring operation person | |
| US7830249B2 (en) | Communications system based on real-time neurophysiological characterization | |
| US20110077548A1 (en) | Biosensors, communicators, and controllers monitoring eye movement and methods for using them | |
| EP4030394A1 (en) | Flight crew fatigue and controlled rest management system | |
| US10045096B2 (en) | Social media modification of behavior and mobile screening for impairment | |
| EA043983B1 (en) | SYSTEM OF SOFTWARE AND HARDWARE NON-CONTACT SCREENING OF CLINICAL SIGNS OF RISK OF SUDDEN DEATH DURING WORK ACTIVITY AND METHOD FOR ASSESSING PSYCHOPHYSIOLOGICAL INDICATORS DETERMINING LOSS OF CONTROL OF ATTENTION AND PERCEPTION, AND SO SAME RISK OF SUDDEN DEATH AT THE WORKPLACE | |
| Mabry et al. | Commercial motor vehicle operator fatigue detection technology catalog and review | |
| Sini et al. | A Novel Real-Time Redundant System For Aiding Drivers To Increase Their Attention Level | |
| Dibazar et al. | A system for move-free and real time monitoring of readiness |