BR102021025682A2

BR102021025682A2 - A WEARABLE ELECTRONIC SYSTEM AND METHOD FOR PREDICTING A USER'S HEART RATE DURING PHYSICAL ACTIVITY, AND A NON-TRANSITORY COMPUTER READABLE STORAGE MEDIA

Info

Publication number: BR102021025682A2
Application number: BR102021025682-6A
Authority: BR
Inventors: Andre Georghton Cardoso Pacheco; Frank Alexis Canahuire Cabello; Otavio Augusto Bizetto Penatti; Sunmin Lee; Hyunsu KIM; Donghyun Lee
Original assignee: Samsung Eletrônica da Amazônia Ltda.
Filing date: 2021-12-17
Publication date: 2023-06-20

Abstract

A presente invenção se refere a um método para predição da frequência cardíaca (FC) de um usuário durante uma atividade física, o método compreendendo: monitorar o usuário durante a atividade física com um dispositivo eletrônico vestível que compreende um sensor de fotopletismografia (PPG), um acelerômetro, uma memória e um processador; em que a memória está configurada para armazenar dados demográficos do usuário, dados de PPG e dados de acelerômetro detectados por um sensor de PPG e acelerômetro, respectivamente; calcular uma estimativa de frequência cardíaca do sinal de PPG e um indicador de qualidade do sinal de PPG usando os dados PPG e os dados de acelerômetro, em que o indicador de qualidade do PPG indica se os dados de PPG são confiáveis ou não; calcular uma estimativa exponencial de frequência cardíaca aplicando a estimativa da frequência cardíaca feita a partir do sinal de PPG, o indicador de qualidade do PPG e os dados demográficos do usuário em um modelo de aproximação exponencial; se o indicador de qualidade do sinal de PPG for confiável, gerar a estimativa de frequência cardíaca do PPG; de outra forma, gerar a estimativa exponencial de frequência cardíaca. A presente invenção também é relacionada a um sistema e um meio de armazenamento legível por computador não transitório adaptados para realizar o dito método para predição de FC de um usuário durante uma atividade física. The present invention relates to a method for predicting the heart rate (HR) of a user during physical activity, the method comprising: monitoring the user during physical activity with a wearable electronic device comprising a photoplethysmography (PPG) sensor, an accelerometer, a memory and a processor; wherein the memory is configured to store user demographic data, PPG data, and accelerometer data detected by a PPG sensor and accelerometer, respectively; calculate a heart rate estimate from the PPG signal and a PPG signal quality indicator using the PPG data and the accelerometer data, where the PPG quality indicator indicates whether the PPG data is reliable or not; calculate an exponential heart rate estimate by applying the heart rate estimate made from the PPG signal, the PPG quality indicator, and user demographic data into an exponential approximation model; if the PPG signal quality indicator is reliable, generate the PPG heart rate estimate; otherwise, generate the exponential heart rate estimate. The present invention also relates to a system and non-transient computer readable storage medium adapted to perform said method for predicting a user's HR during physical activity.

Description

A WEARABLE ELECTRONIC SYSTEM AND METHOD FOR PREDICTING A USER'S HEART RATE DURING PHYSICAL ACTIVITY, AND A NON-TRANSITORY COMPUTER READABLE STORAGE MEDIA

DESCRIPTION FIELD

[001] A invenção apresentada descreve um método para estimar a frequência cardíaca (FC) de uma pessoa usando um sistema eletrônico vestível (por exemplo, relógio inteligente) durante exercícios físicos. Mais especificamente, a invenção se refere a um Modelo Exponencial Personalizado (PEM) e aceita como entrada apenas os 3 eixos do sinal de acelerômetro, os dados demográficos do usuário (isto é, idade, altura, peso e gênero) e uma estimativa inicial da FC.[001] The presented invention describes a method for estimating the heart rate (HR) of a person using a wearable electronic system (eg smart watch) during physical exercise. More specifically, the invention relates to a Custom Exponential Model (PEM) and accepts as input only the 3 axes of the accelerometer signal, the user's demographic data (i.e. age, height, weight and gender) and an initial estimate of the FC.

DESCRIPTION OF THE RELATED TECHNIQUE

[002] Nos últimos anos, o número de dispositivos vestíveis, em particular relógios inteligentes, aumentou substancialmente no mundo todo e espera-se que alcance aproximadamente um bilhão de dispositivos até 2022. Uma característica importante que contribui fortemente para o sucesso de tais dispositivos é a possibilidade de obter insights imediatos sobre a saúde e o bem-estar de um usuário de forma rápida e não invasiva. Esses insights são obtidos pelo processamento de diferentes pedaços de informações providas pelo dispositivo, como tempo de sono, contagem de passos, padrão de atividade e frequência cardíaca (FC), que é provavelmente a medição mais importante fornecida pelo dispositivo.[002] In recent years, the number of wearable devices, in particular smartwatches, has increased substantially worldwide and is expected to reach approximately one billion devices by 2022. An important characteristic that strongly contributes to the success of such devices is the ability to gain immediate insights into a user's health and well-being quickly and non-invasively. These insights are gained by processing different pieces of information provided by the device, such as sleep time, step count, activity pattern and heart rate (HR), which is probably the most important measurement provided by the device.

[003] A estimativa da FC em tempo real em dispositivos vestíveis depende principalmente da fotopletismografia (PPG), que é uma técnica óptica não invasiva e de baixo custo que pode ser aplicada para medir mudanças no volume sanguíneo usando LEDs e fotodiodos.[003] Real-time HR estimation in wearable devices relies mainly on photoplethysmography (PPG), which is a non-invasive and low-cost optical technique that can be applied to measure changes in blood volume using LEDs and photodiodes.

[004] A fotopletismografia (PPG) é uma técnica óptica clássica que pode ser aplicada para detectar mudanças no fluxo sanguíneo, consequentemente, para medir a FC, que foi descrita pela primeira vez em “A photoelectric plethysmograph for the measurement of cutaneous blood flow” (10.1088/0031-9155/19/3/003). Por ser uma maneira simples e não invasiva de estimar a FC e ter várias aplicações clínicas, essa técnica foi incorporada a diferentes dispositivos médicos, como oxímetros de pulso e sistemas de medição de pressão arterial. Nos últimos anos, a PPG se tornou uma técnica fundamental que tem contribuído para o sucesso dos dispositivos vestíveis, em especial os relógios inteligentes.[004] Photoplethysmography (PPG) is a classical optical technique that can be applied to detect changes in blood flow, consequently, to measure HR, which was first described in “A photoelectric plethysmograph for the measurement of cutaneous blood flow” (10.1088/0031-9155/3/19/003). Because it is a simple and non-invasive way of estimating HR and has several clinical applications, this technique has been incorporated into different medical devices, such as pulse oximeters and blood pressure measurement systems. In recent years, PPG has become a fundamental technique that has contributed to the success of wearable devices, in particular smartwatches.

[005] Vários aparelhos e/ou mecanismos foram propostos para incorporar sensores PPG em dispositivos vestíveis para estimar os sinais vitais do usuário, como a frequência cardíaca. Para citar alguns, em “Automated detection of breathing disturbances” (US10874345B2), foi proposto um método para obter uma pontuação de aptidão do sono e distúrbios respiratórios com base em sinais de PPG; em “Blood pressure sensors” (US20170251935A1) é apresentado um algoritmo para medir a pressão arterial usando os dados do sensor de PPG representando pulsos de volume sanguíneo de amplitude variável. Por último, em “Methods and systems for arrhythmia tracking and scoring” (US10426359B2), os métodos de aprendizagem automática utilizam os sinais PPG para detectar a presença de arritmias significativas no coração do usuário.[005] Several devices and/or mechanisms have been proposed to incorporate PPG sensors into wearable devices to estimate the user's vital signs, such as heart rate. To name a few, in “Automated detection of breathing disturbances” (US10874345B2), a method for obtaining a sleep aptitude and breathing disturbance score based on PPG signals was proposed; in “Blood pressure sensors” (US20170251935A1) an algorithm for measuring blood pressure using PPG sensor data representing blood volume pulses of variable amplitude is presented. Finally, in “Methods and systems for arrhythmia tracking and scoring” (US10426359B2), machine learning methods use PPG signals to detect the presence of significant arrhythmias in the user's heart.

[006] Embora essa técnica tenha se tornado a abordagem padrão para estimar a FC nesses dispositivos, o sinal de PPG é vulnerável a artefatos de movimento (MA), que é um tipo de ruído derivado da movimentação do usuário. Como consequência, a FC estimada a partir dos sinais de PPG é fortemente afetada durante os exercícios físicos, em particular, em dispositivos de pulso, como relógios inteligentes, por serem mais suscetíveis aos movimentos do que um dispositivo acoplado ao tórax, por exemplo. Portanto, mitigar os MA é um dos maiores desafios no monitoramento da frequência cardíaca com base em PPG. Além disso, os métodos direcionados para lidar com tal problema devem conciliar a precisão da estimativa com a memória e as restrições computacionais inerentes às características do dispositivo.[006] Although this technique has become the standard approach to estimating HR in these devices, the PPG signal is vulnerable to motion artifact (MA), which is a type of noise derived from the user's movement. As a consequence, the HR estimated from the PPG signals is strongly affected during physical exercises, in particular, in wrist devices such as smart watches, as they are more susceptible to movements than a device attached to the chest, for example. Therefore, mitigating MA is one of the biggest challenges in PPG-based heart rate monitoring. In addition, methods aimed at dealing with such a problem must reconcile the accuracy of the estimate with the memory and computational constraints inherent to the characteristics of the device.

[007] Uma abordagem típica para lidar com os MA observados na técnica anterior é pré-processar o sinal de PPG a fim de remover a presença de MA antes da estimação da FC. Alguns métodos visam remover os MA sem usar nenhuma outra informação de sinal. No entanto, na maioria dos métodos, os sinais de acelerômetro são usados para obter um insight sobre as informações de movimento, a fim de removê-las do sinal de PPG. Essas abordagens têm se mostrado úteis quando o dispositivo é exposto a movimentos leves. No entanto, quando o usuário executa uma atividade que exige movimentos intensos (por exemplo, uma sessão de exercício de corrida), essas abordagens não são suficientes para limpar os MA do sinal de PPG. Como consequência, a FC do usuário estimada durante este cenário pode estar longe da medição correta. A fim de evitar mostrar medições erradas aos usuários, uma estratégia comum é incorporar um algoritmo de estimativa de qualidade de sinal PPG ao pipeline de estimativa de FC. Este algoritmo tem como objetivo gerar um indicador para sinalizar quando a FC estimada a partir do sinal é confiável ou não. Normalmente, sempre que o indicador for não confiável, o dispositivo é configurado para não mostrar a FC em sua tela. Obviamente, isso prejudica a experiência do usuário, o que pode levar a uma visão negativa do dispositivo.[007] A typical approach to deal with the MA observed in the prior art is to pre-process the PPG signal in order to remove the presence of MA before estimating the HR. Some methods aim to remove MA without using any other signal information. However, in most methods, accelerometer signals are used to gain an insight into motion information in order to remove it from the PPG signal. These approaches have proven useful when the device is exposed to light movement. However, when the user performs an activity that requires intense movements (for example, a running exercise session), these approaches are not sufficient to clear the MA from the PPG signal. As a consequence, the estimated user HR during this scenario may be far from the correct measurement. In order to avoid showing wrong measurements to users, a common strategy is to incorporate a PPG signal quality estimation algorithm into the HR estimation pipeline. This algorithm aims to generate an indicator to signal when the HR estimated from the signal is reliable or not. Normally, whenever the indicator is unreliable, the device is set to not show the HR on its screen. Obviously, this detracts from the user experience, which can lead to a negative view of the device.

[008] Naturalmente, existem diferentes metodologias para lidar com isso. Por exemplo, em “Electronic device and method for measuring vital signal” (EP2992817A1), o sinal vital é medido apenas quando o movimento é menor ou igual a um limiar. Obviamente, esse limiar visa evitar estimativas erradas dos sinais vitais causadas pelos MA. No entanto, esta é uma abordagem ingênua, e tais dispositivos podem não funcionar adequadamente durante a sessão de exercícios físicos, que é um caso bastante importante de uso de itens vestíveis em geral.[008] Of course, there are different methodologies to deal with this. For example, in “Electronic device and method for measuring vital signal” (EP2992817A1), the vital sign is measured only when movement is less than or equal to a threshold. Obviously, this threshold aims to avoid erroneous estimates of vital signs caused by MA. However, this is a naive approach, and such devices may not function properly during the exercise session, which is a very important case of wearing wearables in general.

[009] Outra abordagem para reduzir o impacto dos MA no sinal de PPG é pré-processá-lo para identificar a presença de MA no mesmo. Em “Heart rate measurement and a photoplethysmography (PPG) heart rate monitor” (US10893815B2) aplica-se um filtro adaptativo de Mínimos Quadrados Médios Normalizados (NLMS) para reduzir os MA e uma única Transformada de Fourier no sinal de PPG compensado por movimento para gerar um sinal de PPG no domínio da frequência para estimação da FC com base no mesmo.[009] Another approach to reduce the impact of MA on the PPG signal is to pre-process it to identify the presence of MA in it. In “Heart rate measurement and a photoplethysmography (PPG) heart rate monitor” (US10893815B2) an adaptive Normalized Least Mean Squares (NLMS) filter is applied to reduce the MA and a single Fourier Transform on the motion compensated PPG signal to generate a PPG signal in the frequency domain for HR estimation based on it.

[0010] Em “Motion artifact reduction using multi-channel PPG signals” (US10398383B2) os MA são identificados e reduzidos a partir da aplicação de uma Análise de Componentes Independentes (ICA) em vários canais de PPG que identificam o espaço de ruído relacionado a cada componente independente. Em outros métodos, os sinais de acelerômetro são usados para obter um insight sobre as informações de movimento, a fim de removê-las do sinal de PPG.[0010] In “Motion artifact reduction using multi-channel PPG signals” (US10398383B2) the MA are identified and reduced from the application of an Independent Component Analysis (ICA) in several PPG channels that identify the noise space related to each component independently. In other methods, accelerometer signals are used to gain insight into motion information in order to remove it from the PPG signal.

[0011] Em “TROIKA: A General Framework for Heart Rate Monitoring Using Wrist-Type Photoplethysmographic Signals During Intensive Physical Exercise” (10.1109/TBME.2014.2359372) e em “Noiserobust heart rate estimation algorithm from photoplethysmography signal with low computational complexity” (10.1155/2019/6283279) aplica-se a decomposição de Análise de Espectro Singular (SSA) do sinal de PPG e do sinal do acelerômetro para realizar o cancelamento do MA. Apesar de alcançar resultados satisfatórios para exercícios leves, o método tem dificuldade para manter o mesmo desempenho para exercícios com movimentos intensos (por exemplo, uma sessão de corrida), em particular para dispositivos de pulso.[0011] In “TROIKA: A General Framework for Heart Rate Monitoring Using Wrist-Type Photoplethysmographic Signals During Intensive Physical Exercise” (10.1109/TBME.2014.2359372) and in “Noiserobust heart rate estimation algorithm from photoplethysmography signal with low computational complexity” (10.1155) /2019/6283279) apply Singular Spectrum Analysis (SSA) decomposition of PPG signal and accelerometer signal to perform MA cancellation. Despite achieving satisfactory results for light exercises, the method has difficulty maintaining the same performance for exercises with intense movements (for example, a running session), in particular for wrist devices.

[0012] O principal objetivo das abordagens descritas anteriormente é basicamente limpar o sinal de PPG para melhorar as estimativas dos sinais vitais.[0012] The main goal of the previously described approaches is basically to clean up the PPG signal to improve vital sign estimates.

[0013] Uma perspectiva diferente é usar métodos para dar suporte à estimação baseada em PPG que não dependam deste sinal. Por exemplo, em “Online Heart Rate Prediction using Acceleration from a Wrist Worn Wearable” (1807.04667) é proposta uma metodologia baseada em Regressão Random Forest (Floresta Aleatória) e aprendizagem ativa para prever a FC usando apenas um sinal de aceleração. No entanto, o método é computacionalmente custoso em termos de memória, o que torna inviável a incorporação em dispositivos com poucos recursos, como itens vestíveis. Além disso, não foi projetado para funcionar durante a prática de exercícios físicos e o uso foi validado em apenas quatro indivíduos.[0013] A different perspective is to use methods to support PPG-based estimation that do not depend on this signal. For example, “Online Heart Rate Prediction using Acceleration from a Worn Wearable Wrist” (1807.04667) proposes a methodology based on Random Forest Regression and active learning to predict HR using only an acceleration signal. However, the method is computationally expensive in terms of memory, which makes it unfeasible to incorporate it into devices with few resources, such as wearable items. In addition, it was not designed to work during physical exercise and its use was validated in only four individuals.

[0014] Uma maneira mais simples de modelar a cinética da FC foi proposta em “Muscular Exercise, Lactic Acid, and the Supply and Utilization of Oxygen” (10.1093/qjmed/os-16.62.135) em que aponta que a resposta cardiovascular a um exercício físico constante pode ser aproximada por uma função exponencial ao longo do tempo. Nesse sentido, em “Device and method for estimating the heart rate during motion” (WO2013038296A1) é proposto um método para estimar a FC com base em uma função exponencial e uma medição de movimento.[0014] A simpler way of modeling HR kinetics was proposed in “Muscular Exercise, Lactic Acid, and the Supply and Utilization of Oxygen” (10.1093/qjmed/os-16.62.135) in which it points out that the cardiovascular response to a constant physical exercise can be approximated by an exponential function over time. In this sense, “Device and method for estimating the heart rate during motion” (WO2013038296A1) proposes a method to estimate HR based on an exponential function and a measurement of movement.

[0015] Os aparelhos e mecanismos mencionados assumem um valor constante para a FC de acordo com uma determinada informação de movimento. A partir desse valor, uma interpolação exponencial é aplicada para substituir possíveis medições erradas de FC causadas por MA. Conforme observado pelos presentes inventores, tal suposição é bastante forte e pode não ser viável na maioria das ocasiões.[0015] The devices and mechanisms mentioned assume a constant value for HR according to a given movement information. From this value, an exponential interpolation is applied to replace possible wrong HR measurements caused by MA. As noted by the present inventors, such an assumption is quite strong and may not be feasible in most instances.

[0016] Outras ideias semelhantes são propostas em “Heart rate monitor systems” (US10405760) e “Method and apparatus for estimating heart rate based on movement information” (US2017127960A1). Ambos os métodos propõem um ou mais modelos de regressão para estimação da FC usando as informações de movimento obtidas de atividades físicas. No documento US10405760, a estimativa de FC obtida a partir de um único modelo de regressão é comparada com aquela obtida a partir de um método baseado em PPG para identificar possíveis artefatos no sinal. Por outro lado, o documento US2017127960A1 combina dois modelos de regressão diferentes para estimar a FC sem usar um sensor óptico como um PPG. O primeiro é baseado na média da FC e nas informações de movimento de vários usuários e o segundo usa dados anteriores do usuário atual para ajustar a previsão. Ele também combina as estimativas de FC obtidas a partir de métodos baseados em PPG e não baseados em PPG para melhorar a estimativa final de FC. No entanto, esses métodos baseiam-se nas comparações entre a estimativa de FC a partir de informações de movimento e um método baseado em PPG.[0016] Other similar ideas are proposed in “Heart rate monitor systems” (US10405760) and “Method and apparatus for estimating heart rate based on movement information” (US2017127960A1). Both methods propose one or more regression models for HR estimation using movement information obtained from physical activities. In document US10405760, the HR estimate obtained from a single regression model is compared with that obtained from a PPG-based method to identify possible artifacts in the signal. On the other hand, document US2017127960A1 combines two different regression models to estimate HR without using an optical sensor like a PPG. The first is based on average HR and movement information from multiple users, and the second uses past data from the current user to adjust the prediction. It also combines HR estimates obtained from PPG-based and non-PPG-based methods to improve the final HR estimate. However, these methods are based on comparisons between HR estimation from movement information and a PPG-based method.

[0017] Como pode ser visto, diferentes estratégias foram implementadas para tentar contornar as questões relacionadas aos MA nas previsões de FC. No entanto, o estado da técnica carece de uma solução capaz de atualizar dinamicamente a FC de acordo com o valor atual da informação de movimento obtido a partir de um sinal de acelerômetro. Além disso, existe a necessidade de uma solução que possa apresentar uma abordagem de aprendizagem contínua para personalizar o estimador em tempo real, sem a necessidade de armazenar dados de medições de FC anteriores.[0017] As can be seen, different strategies were implemented to try to circumvent the issues related to MA in CF predictions. However, the state of the art lacks a solution capable of dynamically updating the HR according to the current value of the movement information obtained from an accelerometer signal. Furthermore, there is a need for a solution that can provide a continuous learning approach to customize the estimator in real time, without the need to store data from previous HR measurements.

SUMMARY OF THE INVENTION

[0018] Com o objetivo de resolver as limitações e dificuldades acima mencionadas relacionadas ao suporte da predição de FC baseada em PPG quando o sinal é afetado por MA ou qualquer outro tipo de ruído, em particular, durante sessões de caminhada e/ou corrida, a presente invenção propõe o Modelo Exponencial Personalizado (PEM), uma abordagem que aprende a estimar a FC em tempo real durante os exercícios físicos usando 3 eixos de um sinal de acelerômetro, dados demográficos do usuário e uma estimativa inicial da FC. Além disso, ele utiliza uma abordagem de aprendizagem contínua que permite a personalização em tempo real, sem a necessidade de armazenar predições anteriores na memória. Nesse sentido, nosso método é capaz de mapear melhor a cinética da frequência cardíaca do usuário, o que resulta em uma estimativa da FC mais confiável.[0018] In order to resolve the aforementioned limitations and difficulties related to the support of PPG-based HR prediction when the signal is affected by MA or any other type of noise, in particular during walking and/or running sessions, The present invention proposes the Personalized Exponential Model (PEM), an approach that learns to estimate real-time HR during physical exercise using 3 axes of an accelerometer signal, user demographic data and an initial HR estimate. In addition, it uses a continuous learning approach that allows real-time customization without the need to store previous predictions in memory. In this sense, our method is able to better map the kinetics of the user's heart rate, which results in a more reliable HR estimate.

[0019] A fim alcançar isto, a presente invenção propõe um método para predição da frequência cardíaca (FC) de um usuário durante uma atividade física, o método compreendendo: monitorar o usuário durante a atividade física com um dispositivo eletrônico vestível que é composto por um sensor de fotopletismografia (PPG), um acelerômetro, uma memória e um processador; em que a memória está configurada para armazenar dados demográficos do usuário, dados de PPG e dados de acelerômetro detectados por um sensor de PPG e acelerômetro, respectivamente; calcular uma estimativa de frequência cardíaca a partir do sinal de PPG e um indicador de qualidade do PPG usando os dados de PPG e os dados de acelerômetro, em que o indicador de qualidade do PPG sinaliza se os dados de PPG são confiáveis ou não; computar uma estimativa exponencial de frequência cardíaca aplicando a estimativa de frequência cardíaca do sinal de PPG, o indicador de qualidade do sinal de PPG e os dados demográficos do usuário em um modelo de aproximação exponencial; se o indicador de qualidade do PPG for confiável, gerar a estimativa de frequência cardíaca do sinal de PPG; de outra forma, gerar a estimativa exponencial da frequência cardíaca.[0019] In order to achieve this, the present invention proposes a method for predicting the heart rate (HR) of a user during physical activity, the method comprising: monitoring the user during physical activity with a wearable electronic device that is composed of a photoplethysmography (PPG) sensor, an accelerometer, a memory and a processor; wherein the memory is configured to store user demographic data, PPG data, and accelerometer data detected by a PPG sensor and accelerometer, respectively; calculate a heart rate estimate from the PPG signal and a PPG quality indicator using the PPG data and the accelerometer data, where the PPG quality indicator signals whether the PPG data is reliable or not; compute an exponential heart rate estimate by applying the heart rate estimate from the PPG signal, the PPG signal quality indicator, and user demographic data in an exponential approximation model; if the PPG quality indicator is reliable, generate the heart rate estimate from the PPG signal; otherwise, generate the exponential heart rate estimate.

[0020] A presente invenção também é relacionada a um sistema eletrônico vestível e um meio de armazenamento legível por computador não transitório adaptados para realizar o método proposto para predizer a FC de um usuário durante uma atividade física.[0020] The present invention is also related to a wearable electronic system and a non-transient computer-readable storage medium adapted to perform the proposed method for predicting a user's HR during physical activity.

BRIEF DESCRIPTION OF THE DRAWINGS

[0021] A invenção é explicada em maior detalhe a seguir de acordo com as figuras:
a figura 1a e 1b mostram dois exemplos de espectrogramas obtidos de dois sinais de PPG diferentes coletados durante uma sessão de treino de corrida.[0021] The invention is explained in greater detail below according to the figures:
Figure 1a and 1b show two examples of spectrograms obtained from two different PPG signals collected during a running training session.

[0022] A figura 2 mostra uma ilustração da estimativa ruim de FC durante uma sessão de treino de corrida.[0022] Figure 2 shows an illustration of the poor estimation of HR during a running training session.

[0023] A figura 3 mostra uma ilustração do pipeline completo da invenção proposta.[0023] Figure 3 shows an illustration of the complete pipeline of the proposed invention.

[0024] A figura 4 mostra um fluxograma que ilustra os blocos de préprocessamento do acelerômetro e predição da invenção proposta.[0024] Figure 4 shows a flowchart illustrating the accelerometer preprocessing and prediction blocks of the proposed invention.

[0025] A figura 5 mostra uma ilustração da diferença entre o modelo de aproximação exponencial (EA) com e sem o bloco Gerenciador.[0025] Figure 5 shows an illustration of the difference between the exponential approximation (EA) model with and without the Manager block.

[0026] A figura 6 mostra um exemplo do modelo EA estimando a curva de FC para todo o treino usando alguns pontos de dados do sinal original.[0026] Figure 6 shows an example of the EA model estimating the HR curve for the entire training session using some data points from the original signal.

[0027] A figura 7 mostra um exemplo do cenário de economia de bateria em que a estimativa de FC é intercalada entre os métodos baseados em PPG e acelerômetro.[0027] Figure 7 shows an example of the battery saving scenario in which the HR estimate is interspersed between the PPG and accelerometer-based methods.

[0028] A figura 8 mostra o desempenho de cada método individualmente para um determinado exercício do conjunto de dados de caminhada e corrida.[0028] Figure 8 shows the performance of each method individually for a given exercise from the walking and running dataset.

[0029] A figura 9 mostra o desempenho da FC-GW3 com a atuação da presente invenção para um determinado exercício do conjunto de dados de corrida.[0029] Figure 9 shows the performance of the FC-GW3 with the performance of the present invention for a given exercise of the running data set.

DETAILED DESCRIPTION OF THE INVENTION

[0030] A presente invenção tem como objetivo prover um novo método para estimação da FC de um usuário durante uma atividade física. Para isso, a presente invenção propõe o Modelo Exponencial Personalizado (PEM), uma abordagem que aprende a estimar a FC em tempo real durante exercícios físicos usando 3 eixos de um sinal de acelerômetro, os dados demográficos do usuário e uma estimativa inicial de FC. Além disso, ele usa uma abordagem de aprendizagem contínua que permite a personalização em tempo real, sem a necessidade de armazenar predições anteriores na memória. Nesse sentido, nosso método é capaz de mapear melhor a cinética da frequência cardíaca do usuário, o que resulta em uma estimativa mais confiável da FC.[0030] The present invention aims to provide a new method for estimating the HR of a user during physical activity. For this, the present invention proposes the Personalized Exponential Model (PEM), an approach that learns to estimate the HR in real time during physical exercises using 3 axes of an accelerometer signal, the user's demographic data and an initial estimate of HR. Additionally, it uses a continuous learning approach that allows real-time customization without the need to store previous predictions in memory. In this sense, our method is able to better map the kinetics of the user's heart rate, which results in a more reliable HR estimate.

[0031] Conforme discutido anteriormente, estimar a frequência cardíaca (FC) a partir de sensores de fotopletismografia (PPG) embutidos em dispositivos vestíveis durante exercícios físicos é uma tarefa desafiadora devido a diferentes questões. Além disso, Artefatos de Movimento (MA) são o tipo de ruído responsável por provocar a maioria das estimativas de FC erradas baseadas em PPG em dispositivos de pulso (por exemplo, relógios inteligentes). No entanto, existem outros problemas, como suor e dispositivos colocados folgadamente, que também contribuem para estimativas ruins e são muito difíceis de serem detectados pelos métodos atuais que lidam com esse problema. Para ilustrar como o ruído afeta o sinal de PPG e, consequentemente, a estimativa de FC, as figuras 1a e 1b mostram dois exemplos de espectrogramas obtidos de dois sinais de PPG diferentes coletados durante uma sessão de treino de corrida.[0031] As previously discussed, estimating heart rate (HR) from photoplethysmography (PPG) sensors embedded in wearable devices during physical exercise is a challenging task due to different issues. Furthermore, Motion Artifacts (MA) are the type of noise responsible for causing the majority of erroneous PPG-based HR estimates in wrist-worn devices (eg smartwatches). However, there are other issues such as sweating and loosely placed devices that also contribute to poor estimates and are very difficult to detect with current methods that deal with this issue. To illustrate how noise affects the PPG signal and, consequently, the HR estimation, figures 1a and 1b show two examples of spectrograms obtained from two different PPG signals collected during a running training session.

[0032] No primeiro espectrograma (figura 1a), é possível distinguir o espectro de FC 101 dos MA 102. No segundo (figura 1b), é possível ver fortes interrupções 103 e 104 que são causadas pelos MA e outros tipos de ruídos. Para este caso, é bastante difícil extrair o espectro para a curva de FC.[0032] In the first spectrogram (figure 1a), it is possible to distinguish the spectrum of FC 101 from the MA 102. In the second (figure 1b), it is possible to see strong interruptions 103 and 104 that are caused by MA and other types of noise. For this case, it is quite difficult to extract the spectrum for the FC curve.

[0033] Na figura 2, é ilustrado um exemplo de estimativa de FC ruim causada por ruído no sinal de PPG também durante uma sessão de um protocolo de corrida. O gráfico mostra a estimativa de FC ao longo do tempo, em que o eixo Y 204 e o eixo X 205 representam a FC em batimentos por minuto (bpm) e o tempo em segundos (seg.), respectivamente. O sinal 202 indica a FC de referência obtida de um sensor de frequência cardíaca de eletrocardiograma (ECG) conectado ao tórax do usuário, enquanto o sinal 203 indica uma estimativa de FC baseada em PPG obtida de um relógio inteligente usando um método comum para reduzir o impacto dos MA no sinal de PPG. Por último, a área cinza 201 representa o período de tempo em que o sinal de PPG é fortemente afetado pelo ruído e qualquer estimativa alcançada usando esta parte do sinal é indicada como não confiável.[0033] Figure 2 illustrates an example of a bad HR estimation caused by noise in the PPG signal also during a session of a running protocol. The graph shows the HR estimate over time, where the Y-axis 204 and X-axis 205 represent HR in beats per minute (bpm) and time in seconds (sec), respectively. Signal 202 indicates the reference HR obtained from an electrocardiogram (ECG) heart rate sensor connected to the wearer's chest, while signal 203 indicates a PPG-based HR estimate obtained from a smartwatch using a common method to reduce the impact of MA on the PPG signal. Lastly, the gray area 201 represents the period of time that the PPG signal is heavily affected by noise and any estimation achieved using this portion of the signal is indicated as unreliable.

[0034] A fim de resolver este problema, a presente invenção propõe um método para estimação da FC durante movimentação intensa sem usar o sinal de PPG, que seria não confiável. Desta forma, o método proposto é aplicado para auxiliar a estimação de FC baseada em PPG, substituindo a estimativa ruim alcançada dentro da área cinza 201 por uma mais próxima do sinal de referência 202.[0034] In order to solve this problem, the present invention proposes a method for estimating HR during intense movement without using the PPG signal, which would be unreliable. In this way, the proposed method is applied to assist the PPG-based HR estimation, replacing the bad estimate reached within the gray area 201 by one closer to the reference signal 202.

[0035] Mais especificamente, a presente invenção propõe um método para estimar a frequência cardíaca (FC) de um usuário durante uma atividade física, o método compreendendo: monitorar o usuário durante a atividade física com um dispositivo eletrônico vestível que compreende um sensor de fotopletismografia (PPG), um acelerômetro, uma memória e um processador; em que a memória está configurada para armazenar dados demográficos do usuário, dados de PPG e dados de acelerômetro detectados por um sensor de PPG e acelerômetro, respectivamente; calcular uma estimativa da frequência cardíaca do sinal de PPG e um indicador de qualidade do sinal de PPG usando os dados PPG e os dados de acelerômetro, em que o indicador de qualidade do PPG indica se os dados de PPG são confiáveis ou não; calcular uma estimativa exponencial de frequência cardíaca aplicando a estimativa de frequência cardíaca do sinal de PPG, o indicador de qualidade do PPG e os dados demográficos do usuário em um modelo de aproximação exponencial; se o indicador de qualidade do sinal de PPG for confiável, gerar a estimativa de frequência cardíaca a partir do PPG; de outra forma, gerar a estimativa exponencial da frequência cardíaca.[0035] More specifically, the present invention proposes a method for estimating the heart rate (HR) of a user during physical activity, the method comprising: monitoring the user during physical activity with a wearable electronic device comprising a photoplethysmography sensor (PPG), an accelerometer, a memory and a processor; wherein the memory is configured to store user demographic data, PPG data, and accelerometer data detected by a PPG sensor and accelerometer, respectively; calculate a heart rate estimate from the PPG signal and a PPG signal quality indicator using the PPG data and the accelerometer data, where the PPG quality indicator indicates whether the PPG data is reliable or not; calculate an exponential heart rate estimate by applying the heart rate estimate from the PPG signal, the PPG quality indicator, and user demographic data in an exponential approximation model; if the PPG signal quality indicator is reliable, generate the heart rate estimate from the PPG; otherwise, generate the exponential heart rate estimate.

[0036] Portanto, a presente invenção propõe um método de estimador de FC leve que, em tempo real e de forma recorrente, estima a próxima FC usando como entradas 3 eixos de um sinal de acelerômetro, os dados demográficos do usuário (idade, gênero, altura e peso) e a FC anterior. O estimador proposto não depende do sinal de PPG para estimar a FC. No entanto, não visa substituir os estimadores de FC baseados em PPG, mas apoiá-los quando o sinal de PPG é fortemente afetado por MA ou qualquer outro tipo de ruído, em particular, durante exercícios físicos, que é quando a maioria das estimativas de FC erradas ocorrem.[0036] Therefore, the present invention proposes a light HR estimator method that, in real time and recurrently, estimates the next HR using as inputs 3 axes of an accelerometer signal, the user's demographic data (age, gender , height and weight) and previous HR. The proposed estimator does not depend on the PPG signal to estimate HR. However, it is not intended to replace PPG-based HR estimators, but to support them when the PPG signal is strongly affected by MA or any other type of noise, in particular during physical exercise, which is when most HR estimates Wrong FCs occur.

[0037] Além dos dados de entrada acima mencionados, a invenção proposta também recebe, a partir da abordagem baseada em PPG, a FC estimada e a informação de qualidade do sinal de PPG (doravante referida como indicador de qualidade) que indica se o sinal é confiável ou não. Como tal, podemos ver a invenção proposta como um outro bloco anexado à saída do método baseado em PPG. De acordo com o indicador de qualidade, ele determina o valor da FC que é retornado. Em resumo, se o indicador de qualidade for confiável, a estimativa baseada em PPG sempre será gerada. Por outro lado, se for não confiável, a estimativa da FC resulta de uma composição obtida a partir de ambos os métodos, preferivelmente, com uma transição suave entre eles. Neste sentido, a presente invenção é preferivelmente composta por um pipeline completo que inclui:

• um método de pré-processamento para gerar uma medição do nível de atividade;
• um modelo de Aproximação Exponencial (EA) que estima a FC;
• uma abordagem de aprendizagem contínua para personalizar o modelo de EA em tempo real sem armazenar predições anteriores na memória do dispositivo;
• um bloco gerenciador que usa o indicador de qualidade para garantir uma transição suave entre o modelo exponencial e a abordagem baseada em PPG sempre que a qualidade do sinal for não confiável.

[0037] In addition to the aforementioned input data, the proposed invention also receives, from the PPG-based approach, the estimated HR and quality information of the PPG signal (hereinafter referred to as quality indicator) that indicates whether the signal it is reliable or not. As such, we can view the proposed invention as another block appended to the output of the PPG-based method. According to the quality indicator, it determines the HR value that is returned. In summary, if the quality indicator is reliable, the PPG-based estimate will always be generated. On the other hand, if it is unreliable, the HR estimate results from a composition obtained from both methods, preferably with a smooth transition between them. In this sense, the present invention is preferably composed of a complete pipeline that includes:

• a pre-processing method to generate an activity level measurement;
• an Exponential Approximation (EA) model that estimates HR;
• a continuous learning approach to customize the EA model in real time without storing previous predictions in device memory;
• a manager block that uses the quality indicator to ensure a smooth transition between the exponential model and the PPG-based approach whenever the signal quality is unreliable.

[0038] Todo esse pipeline é denominado Modelo Exponencial Personalizado (PEM) e é projetado para ser executado em tempo real em dispositivos com fortes restrições de memória, o que é indispensável para permitir sua implantação em dispositivos vestíveis.[0038] This entire pipeline is called Custom Exponential Model (PEM) and is designed to run in real time on devices with strong memory constraints, which is indispensable to allow its deployment in wearable devices.

[0039] Mais especificamente, a primeira modalidade do presente método será descrita com referência à figura 3, que mostra um pipeline ilustrativo que representa o presente método de acordo com uma modalidade preferida da presente invenção.[0039] More specifically, the first embodiment of the present method will be described with reference to Figure 3, which shows an illustrative pipeline representing the present method in accordance with a preferred embodiment of the present invention.

[0040] Para a realização da invenção proposta, é necessário monitorar o usuário durante a atividade física por meio de um dispositivo eletrônico vestível que compreende um sensor de fotopletismografia (PPG) e um acelerômetro. Além disso, o dispositivo vestível também compreende uma memória para armazenar os dados demográficos do usuário 303, os dados de PPG 301 e os dados de acelerômetro 302 detectados pelo sensor de PPG e acelerômetro, respectivamente. Preferivelmente, considerando as limitações de memória dos dispositivos vestíveis, a memória pode armazenar esses dados temporariamente, sendo utilizada para o cálculo e sendo descartada ou substituída em futuras iterações do método. No entanto, a memória pode, alternativamente, ser usada para armazenar esses dados por períodos mais longos, dependendo da disponibilidade de memória no dispositivo eletrônico.[0040] To carry out the proposed invention, it is necessary to monitor the user during physical activity through a wearable electronic device comprising a photoplethysmography sensor (PPG) and an accelerometer. Furthermore, the wearable device also comprises a memory for storing user demographic data 303, PPG data 301 and accelerometer data 302 detected by the PPG sensor and accelerometer, respectively. Preferably, considering the memory limitations of wearable devices, the memory can store this data temporarily, being used for the calculation and being discarded or replaced in future iterations of the method. However, memory can alternatively be used to store this data for longer periods depending on the availability of memory in the electronic device.

[0041] Além disso, o dispositivo eletrônico vestível também pode compreender um processador para processar e executar as etapas do método proposto.[0041] Furthermore, the wearable electronic device may also comprise a processor for processing and executing the steps of the proposed method.

[0042] Na figura 3, 312 representa a etapa de cálculo de uma estimativa de frequência cardíaca a partir do PPG 304 e um indicador de qualidade do PPG 305 usando os dados do PPG 301 e dados do acelerômetro 302. O indicador de qualidade do sinal de PPG 305 sinaliza se os dados de PPG 301 são confiáveis ou não. O método baseado em PPG se refere à predição da frequência cardíaca e ao indicador de qualidade do PPG 305 com base nos sinais providos pelo sensor de PPG e pelo acelerômetro. No entanto, os artefatos de movimento afetam os resultados. Consequentemente, a presente invenção propõe a utilização de um método secundário de estimativa da frequência cardíaca.[0042] In figure 3, 312 represents the step of calculating a heart rate estimate from the PPG 304 and a quality indicator from the PPG 305 using data from the PPG 301 and data from the accelerometer 302. The signal quality indicator from PPG 305 signals whether the data from PPG 301 is reliable or not. The PPG-based method refers to the heart rate prediction and the quality indicator of the PPG 305 based on the signals provided by the PPG sensor and the accelerometer. However, motion artifacts affect the results. Consequently, the present invention proposes the use of a secondary method of estimating heart rate.

[0043] O método proposto é composto por três blocos principais: (1) um bloco de pré-processamento do acelerômetro 415, (2) um bloco de predição 416, e (3) um bloco gerenciador 315. Particularmente, o Modelo Exponencial Personalizado (PEM) é ilustrado no pipeline 316 que mostra todos os três blocos, como eles se comunicam entre si e como esses blocos são integrados com uma abordagem baseada em PPG. As entradas são o sinal de PPG 301, 3 eixos de um sinal de acelerômetro 302 e os dados demográficos do usuário 303 (idade, peso, altura e gênero). As saídas são a estimativa de FC baseada em PPG 304 e o indicador de qualidade 305.[0043] The proposed method is composed of three main blocks: (1) an accelerometer pre-processing block 415, (2) a prediction block 416, and (3) a manager block 315. Particularly, the Custom Exponential Model (PEM) is illustrated in pipeline 316 which shows all three blocks, how they communicate with each other, and how these blocks are integrated with a PPG-based approach. The inputs are the PPG signal 301, 3 axes of an accelerometer signal 302, and user demographic data 303 (age, weight, height, and gender). The outputs are the PPG-based FC estimation 304 and the quality indicator 305.

[0044] O bloco de pré-processamento do acelerômetro 415 recebe o sinal do acelerômetro 302 e retorna um valor que representa o nível de movimento 412 e um outro valor que indica a intensidade da atividade física 413. Estes valores são enviados para o bloco de predição 416 que também recebe os dados demográficos 303 do usuário, a estimativa de FC baseada em PPG 304 e o indicador de qualidade 305 como entrada para produzir a estimativa da FC com base no presente modelo 308 e o temporizador de personalização 309, o qual indica por quanto tempo o modelo preditivo foi personalizado usando os dados do usuário. O algoritmo de personalização, que é executado no bloco 416, usa os dados do usuário para atualizar o modelo a fim de melhorar suas predições. Finalmente, o bloco gerenciador 315 obtém como entradas a estimativa de FC baseada em PPG 304, o indicador de qualidade 305, a estimativa da FC com base no presente modelo 308 e o temporizador de personalização 309 para gerar a estimativa de FC final 310 e o indicador de qualidade final 311. Como mencionado anteriormente, o bloco de aproximação exponencial 316 é anexado à abordagem baseada em PPG e o bloco gerenciador 315 garante uma transição suave entre os métodos se o sinal de PPG não for confiável.[0044] The accelerometer pre-processing block 415 receives the signal from the accelerometer 302 and returns a value that represents the movement level 412 and another value that indicates the intensity of the physical activity 413. These values are sent to the block of prediction 416 which also takes the user's demographic data 303, the PPG-based HR estimate 304 and the quality indicator 305 as input to produce the HR estimate based on the present model 308 and the personalization timer 309, which indicates how long the predictive model has been customized using user data. The personalization algorithm, which runs at block 416, uses user data to update the model to improve its predictions. Finally, the manager block 315 takes as inputs the HR estimate based on PPG 304, the quality indicator 305, the HR estimate based on the present model 308 and the personalization timer 309 to generate the final HR estimate 310 and the final quality indicator 311. As mentioned earlier, the exponential approximation block 316 is appended to the PPG based approach and the manager block 315 ensures a smooth transition between the methods if the PPG signal is unreliable.

[0045] Tendo em vista as características acima, a invenção proposta apresenta as seguintes vantagens principais:
Ele estima a FC sem usar o sinal de PPG, que é a abordagem padrão para obter tal medição em dispositivos vestíveis. Conforme declarado, essa característica é importante porque permite que o método cubra estimativas ruins quando o indicador de qualidade for não confiável. Em outras palavras, o acelerômetro não é usado para limpar o sinal PPG. Em vez disso, o acelerômetro é usado como uma característica principal para prever a FC durante um período de tempo em que a PPG é interrompida por ruído.[0045] In view of the above characteristics, the proposed invention has the following main advantages:
It estimates HR without using the PPG signal, which is the standard approach to obtain such a measurement in wearable devices. As stated, this feature is important because it allows the method to cover bad estimates when the quality indicator is unreliable. In other words, the accelerometer is not used to clean up the PPG signal. Instead, the accelerometer is used as a main feature to predict HR over a period of time when PPG is interrupted by noise.

[0046] Apresenta-se uma estratégia para personalizar o modelo de predição em tempo real usando os dados do próprio usuário. Para isso, a presente invenção envolve uma abordagem de aprendizagem para otimizar o modelo sempre que o indicador de qualidade PPG for confiável. Portanto, o modelo de acordo com a presente invenção é capaz de aprender continuamente, o que é importante para melhorar suas predições. É importante observar que o algoritmo de personalização não atrapalha o desempenho do modelo em termos de tempo computacional e carga de memória, uma vez que não precisa salvar dados de treinos anteriores.[0046] A strategy to customize the real-time prediction model using the user's own data is presented. For this, the present invention involves a learning approach to optimize the model whenever the PPG quality indicator is reliable. Therefore, the model according to the present invention is capable of continuous learning, which is important to improve its predictions. It is important to note that the customization algorithm does not hinder the performance of the model in terms of computational time and memory load, since it does not need to save data from previous trainings.

[0047] O presente método é independente de uma abordagem baseada em PPG. Em outras palavras, o pipeline apresentado na figura 3 pode ser aplicado para melhorar qualquer método no qual o sinal de PPG seja interrompido por ruído.[0047] This method is independent of a PPG-based approach. In other words, the pipeline presented in Figure 3 can be applied to improve any method in which the PPG signal is interrupted by noise.

[0048] Além disso, exige menos que 1 KB de memória para estimativa e personalização da FC, o que permite que seja facilmente incorporado em dispositivos vestíveis com fortes restrições em termos de memória.[0048] In addition, it requires less than 1 KB of memory for estimating and customizing the FC, which allows it to be easily incorporated into wearable devices with strong memory constraints.

[0049] Portanto, o presente método pode ser executado completamente no dispositivo, o que significa que nenhum servidor em nuvem ou local é necessário para treinar o modelo. O modelo é constantemente retreinado no dispositivo em tempo real durante atividades físicas, como uma sessão de exercícios. Além disso, a solução no dispositivo também tem a vantagem de manter a privacidade dos dados do usuário, uma vez que nenhum dado precisa ser compartilhado ou carregado em um servidor para inferência ou treinamento. Todas as etapas do método podem ser realizadas no dispositivo.[0049] Therefore, the present method can run completely on the device, which means that no cloud or local server is required to train the model. The model is constantly retrained on the device in real time during physical activities such as an exercise session. In addition, the on-device solution also has the advantage of maintaining user data privacy, as no data needs to be shared or uploaded to a server for inference or training. All method steps can be performed on the device.

[0050] No restante desta seção, os três blocos principais representados na figura 3 serão descritos detalhadamente.[0050] In the rest of this section, the three main blocks represented in figure 3 will be described in detail.

Accelerometer pre-processing and HR prediction

[0051] Na figura 4, as interações entre o bloco de pré-processamento do acelerômetro 415 e o bloco de predição da FC 416 são apresentadas em detalhes. Cada parte desta figura é descrita nas subseções a seguir.[0051] In figure 4, the interactions between the accelerometer pre-processing block 415 and the FC prediction block 416 are presented in detail. Each part of this figure is described in the following subsections.

Accelerometer Preprocessing Block (415)

[0052] O bloco de pré-processamento do acelerômetro 415 executa a etapa de determinar o nível de movimento 412 e a intensidade da atividade física do usuário 413 usando os dados de acelerômetro 302. Preferivelmente, o bloco de pré-processamento do acelerômetro 415 é projetado para aceitar 3 eixos (x, y, z) do sinal do acelerômetro 302, a fim de produzir dois valores que representam o nível de atividade (AL) 412 e o estado de intensidade do treino 413. Para isso, este bloco é composto por três módulos distintos: filtragem e agregação 405, cálculo do nível de atividade 406 e controlador de intensidade 407, os quais são detalhadamente descritos a seguir.[0052] The accelerometer pre-processing block 415 performs the step of determining the movement level 412 and the intensity of physical activity of the user 413 using the accelerometer data 302. Preferably, the accelerometer pre-processing block 415 is designed to accept 3 axes (x, y, z) of the signal from the accelerometer 302, in order to produce two values that represent the activity level (AL) 412 and the training intensity state 413. For this, this block is composed by three different modules: filtering and aggregation 405, activity level calculation 406 and intensity controller 407, which are described in detail below.

Filtering and Aggregation (405)

[0053] Este módulo consiste em duas etapas. Primeiro, os 3 eixos do acelerômetro 302 são filtrados usando filtros de processamento de sinal incluindo, mas não limitados a, um filtro de Resposta ao Impulso Finita (FIR) passa-faixa. Esta etapa visa limpar o sinal do acelerômetro e reduzir o ruído de baixa frequência. Em seguida, agregamos os 3 eixos do acelerômetro, os quais foram filtrados na etapa anterior, usando uma função de norma, como:

em que αx, αy e αz representam as coordenadas de 3 eixos do acelerômetro.[0053] This module consists of two steps. First, the 3 axes of accelerometer 302 are filtered using signal processing filters including, but not limited to, a band-pass Finite Impulse Response (FIR) filter. This step aims to clean up the accelerometer signal and reduce low frequency noise. We then aggregate the 3 accelerometer axes, which were filtered in the previous step, using a norm function such as:

where αx, αy and αz represent the 3-axis coordinates of the accelerometer.

[0054] O valor do acelerômetro agregado 410 é usado como entrada ao próximo módulo 406.[0054] The aggregate accelerometer value 410 is used as input to the next module 406.

Activity level calculation (406)

[0055] Neste módulo, o sinal agregado 410 é integrado usando uma janela de tempo deslizante para obter um valor bruto do nível de atividade ALraw, o qual pode ser aproximado, por exemplo, pela regra trapezoidal:

em que α = [αx, αy, αz] e N é o número de pontos de dados dentro da janela, o qual depende da frequência do sinal do acelerômetro. O ALraw 411 é envido para o módulo de controle de intensidade 407. O valor indicado em 412 é a versão normalizada do nível de atividade bruto. Para atingir esse valor, aplicamos a operação de corte para garantir que 411 esteja dentro de [0, 1] . Em seguida, integramos e normalizamos o resultado, dividindo-o pelo tamanho da janela de tempo (isto é, t2-t1), o qual é o valor máximo que o número inteiro pode assumir.[0055] In this module, the aggregate signal 410 is integrated using a sliding time window to obtain a raw value of the ALraw activity level, which can be approximated, for example, by the trapezoidal rule:

where α = [αx, αy, αz] and N is the number of data points within the window, which depends on the frequency of the accelerometer signal. ALraw 411 is sent to intensity control module 407. The value indicated at 412 is the normalized version of the raw activity level. To achieve this value, we apply the cut operation to ensure that 411 is within [0, 1] . We then integrate and normalize the result by dividing it by the size of the time window (i.e. t2-t1), which is the maximum value the integer can take.

Intensity Controller (407)

[0056] Este módulo aceita como entrada o nível de atividade bruto 411 a fim de calcular a intensidade da atividade física 413. Essa intensidade pode assumir dois estados: baixo ou alto. Para selecionar este estado, definimos um limiar Vi que é obtido dos dados. Se Vi < ALraw por um período de tempo predefinido, o estado é baixo, caso contrário, alto. O estado selecionado é usado como entrada pelo bloco de predição.[0056] This module accepts as input the raw activity level 411 in order to calculate the intensity of physical activity 413. This intensity can assume two states: low or high. To select this state, we define a threshold Vi that is obtained from the data. If Vi < ALraw for a predefined amount of time, the state is low, otherwise high. The selected state is used as input by the prediction block.

Prediction block (416)

[0057] O bloco de predição 416 executa a etapa de estimar uma função exponencial de frequência cardíaca 308 aplicando a estimativa de frequência cardíaca do sinal de PPG 304, o indicador de qualidade do PPG 305 e os dados demográficos do usuário 303 em um modelo de aproximação exponencial 408. Os dados demográficos do usuário 303, que consistem em idade, peso, altura e gênero, a estimativa de FC no tempo t 403, o nível de atividade 412 e o estado de intensidade 413 são aceitos como entradas para estimar a FC no tempo t + 1. O bloco é composto por dois módulos: o modelo de aproximação exponencial (EA) 408 e a aprendizagem contínua 409, que detalhamos a seguir.[0057] The prediction block 416 performs the step of estimating an exponential function of heart rate 308 by applying the heart rate estimate of the PPG signal 304, the PPG quality indicator 305 and the user demographic data 303 in a model of exponential approximation 408. User demographics 303 consisting of age, weight, height, and gender, HR estimate at time t 403, activity level 412, and intensity status 413 are taken as inputs to HR estimation at time t + 1. The block consists of two modules: the exponential approximation model (EA) 408 and continuous learning 409, which we detail below.

Exponential approximation model (408)

[0058] O modelo de aproximação exponencial (EA) vem da observação de que a cinética cardiovascular durante o exercício físico pode ser modelada por uma função exponencial ao longo do tempo [2, 3] . Como tal, apresentamos um novo modelo dinâmico e recursivo que é capaz de prever as FCs futuras de acordo com a seguinte equação:

em que HR(t + 1) é a fc predita 404 e HR é definido como:
HR = DsxWT +{blow, bhigh] (4)[0058] The exponential approximation (EA) model comes from the observation that cardiovascular kinetics during physical exercise can be modeled by an exponential function over time [2, 3] . As such, we present a new dynamic and recursive model that is able to predict future FCs according to the following equation:

where HR(t + 1) is the predicted fc 404 and HR is defined as:
HR = DsxWT +{blow, bhigh] (4)

[0059] Nesta equação, Ds é uma matriz definida como [AL, IMC, idade, homem, mulher] , em que o AL é o nível de atividade 412 e os dados restantes são obtidos de dados demográficos 303, isto é, IMC é o índice de massa corporal (peso/altura²) e o gênero é mapeado para homem e mulher que pode assumir 1 ou 0. Além disso, o parâmetro b é determinado de acordo com a intensidade da atividade física 413.[0059] In this equation, Ds is a matrix defined as [AL, BMI, age, male, female] , where AL is activity level 412 and the remaining data is taken from demographics 303, i.e. BMI is the body mass index (weight/height²) and gender are mapped for men and women which can assume 1 or 0. In addition, parameter b is determined according to the intensity of physical activity 413.

[0060] Conforme podemos ver, o modelo de aproximação exponencial tem apenas oito parâmetros treináveis para prever a FC: W, τ, blow, e bhigh. Em resumo, a FC estimada é obtida de acordo com a FC anterior e a HR, que é uma medida que indica o quanto a FC predita deve aumentar ou diminuir em relação ao seu valor anterior HR(t). Esta mudança é controlada 1 pelo exponencial e

que determina quão rápido ou lento o HR(t + 1) deve aumentar ou diminuir. Como afirmado anteriormente, este é um modelo recorrente, isto é, devemos saber HR(t) a fim de estimar HR(t + 1) e assim por diante. No entanto, se o primeiro valor de F for desconhecido, nossa invenção ~ é capaz de estimá-lo a partir de HR.[0060] As we can see, the exponential approximation model has only eight trainable parameters to predict the HR: W, τ, blow, and bhigh. In summary, the estimated HR is obtained according to the previous HR and the HR, which is a measure that indicates how much the predicted HR should increase or decrease in relation to its previous HR(t) value. This change is controlled 1 by the exponential and

which determines how fast or slow the HR(t + 1) should increase or decrease. As stated earlier, this is a recurrent model, that is, we must know HR(t) in order to estimate HR(t + 1) and so on. However, if the first value of F is unknown, our invention ~ is able to estimate it from HR.

Continuous Learning (409)

[0061] O bloco de aprendizagem contínua 409 implementa uma abordagem de aprendizagem contínua que usa os dados do próprio usuário para melhorar o modelo de aproximação exponencial, otimizando os oito parâmetros treináveis descritos anteriormente. A ideia central é: se a FC obtida a partir da abordagem baseada em PPG estiver disponível e o indicador de qualidade for confiável, é possível ajustar os parâmetros do modelo de aproximação exponencial em tempo real. Essencialmente, esse recurso funciona como uma personalização de modelo para um determinado usuário.[0061] The continuous learning block 409 implements a continuous learning approach that uses the user's own data to improve the exponential approximation model, optimizing the eight trainable parameters described above. The central idea is: if the HR obtained from the PPG-based approach is available and the quality indicator is reliable, it is possible to adjust the parameters of the exponential approximation model in real time. Essentially, this feature works as a template customization for a given user.

[0062] Vamos considerar y e y como sendo a FC estimada a partir da abordagem baseada em PPG e do modelo de aproximação exponencial, respectivamente. Para alcançar uma aprendizagem contínua, realizamos o algoritmo de gradiente descendente utilizando as derivadas do erro médio absoluto (MAE) ao longo do tempo. O MAE é definido pela seguinte equação:

[0062] Let's consider y and y to be the HR estimated from the PPG-based approach and the exponential approximation model, respectively. To achieve continuous learning, we performed the gradient descent algorithm using the derivatives of the mean absolute error (MAE) over time. The MAE is defined by the following equation:

[0063] Uma vez que o MAE não é contínuo, o que é problemático usar a estratégia de gradiente descendente, usamos a definição do módulo para calcular as derivadas para yi - yi > 0 em relação ao Θ=-{W, τ, blow, bhigh} :

[0063] Since the MAE is not continuous, which is problematic to use the gradient descent strategy, we use the modulus definition to compute the derivatives for yi - yi > 0 with respect to Θ=-{W, τ, blow , bhigh} :

[0064] Quando yi - yi > 0, o sinal das derivadas só precisa ser invertido.[0064] When yi - yi > 0, the sign of the derivatives only needs to be inverted.

[0065] Agora, as derivadas do HR(τ + 1) são calculadas:

[0065] Now, the derivatives of HR(τ + 1) are calculated:

[0066] Portanto, para cada parâmetro em Θ , há as seguintes derivadas:

as quais resultam nas seguintes regras de atualização de parâmetros:

em que, α é a taxa de aprendizagem e os parâmetros blow e bhigh são selecionados de acordo com a intensidade do exercício 413.[0066] Therefore, for each parameter in Θ , there are the following derivatives:

which result in the following parameter update rules:

where, α is the learning rate and the parameters blow and bhigh are selected according to the intensity of the exercise 413.

[0067] As equações da regra de atualização são aplicadas ao longo do tempo. Em outras palavras, sempre que a otimização for permitida, ele executa uma etapa do algoritmo de gradiente descendente. Nesse sentido, o pipeline de personalização não salva nenhum dado de treino anterior no dispositivo de memória. Em vez disso, ele executa a otimização em tempo real.[0067] The update rule equations are applied over time. In other words, whenever optimization is allowed, it performs a step of the gradient descent algorithm. In this sense, the customization pipeline does not save any previous training data in the memory device. Instead, it performs optimization in real time.

[0068] Portanto, com base na estimativa de frequência cardíaca exponencial 308 obtida a partir do modelo de aproximação exponencial 408, o método é capaz de gerar uma estimativa secundária para o usuário sempre que o sinal de PPG for não confiável. Portanto, de acordo com o presente método, se o indicador de qualidade PPG 305 for confiável, a estimativa de frequência cardíaca PPG 305 é mostrada ao usuário. Do contrário, é exibida a estimativa exponencial da frequência cardíaca 308.[0068] Therefore, based on the exponential heart rate estimate 308 obtained from the exponential approximation model 408, the method is able to generate a secondary estimate for the user whenever the PPG signal is unreliable. Therefore, according to the present method, if the PPG 305 quality indicator is reliable, the PPG 305 heart rate estimate is shown to the user. Otherwise, the exponential heart rate estimate 308 is displayed.

Manager Block

[0069] Voltando à figura 3, o bloco gerenciador 315 aceita como entrada a FC estimada usando o método baseado em PPG 304, o indicador de qualidade 305, a FC predita pelo modelo de aproximação exponencial 308 e o temporizador de personalização 309. O principal objetivo do bloco gerenciador 315 é garantir uma transição suave entre a FC estimada usando o método baseado em PPG 304 e a FC predita pelo modelo de aproximação exponencial 308 quando o indicador de qualidade mudar de confiável para não confiável. Essencialmente, o pipeline ilustrado na figura 4 com o bloco de pré-processamento do acelerômetro 415 e o bloco de predição 416 é suficiente para prever a FC mesmo sem usar o sinal de PPG. No entanto, uma vez que se destina preferivelmente a auxiliar na estimação provida pelo método baseado em PPG, verifica-se que a transição entre os métodos quando o indicador de qualidade muda pode levar a uma forte descontinuidade na curva de FC quando ambas as estimativas discordam entre si. Portanto, o bloco gerenciador 315 implementa um algoritmo para tornar a transição mais suave e natural.[0069] Returning to figure 3, the manager block 315 accepts as input the HR estimated using the PPG-based method 304, the quality indicator 305, the HR predicted by the exponential approximation model 308 and the personalization timer 309. The objective of the manager block 315 is to ensure a smooth transition between the HR estimated using the PPG-based method 304 and the HR predicted by the exponential approximation model 308 when the quality indicator changes from reliable to unreliable. Essentially, the pipeline illustrated in Figure 4 with the accelerometer pre-processing block 415 and the prediction block 416 is sufficient to predict the HR even without using the PPG signal. However, since it is preferably intended to assist in the estimation provided by the PPG-based method, it appears that the transition between the methods when the quality indicator changes can lead to a strong discontinuity in the FC curve when both estimates disagree. each other. Therefore, manager block 315 implements an algorithm to make the transition smoother and more natural.

[0070] Existem duas possibilidades de transição: (1) quando o indicador de qualidade muda de confiável para não confiável e é necessário mudar a estimativa da abordagem baseada em PPG para o modelo de aproximação exponencial; (2) quando a qualidade do indicador muda de não confiável para confiável e a abordagem baseada em PPG retoma o controle sobre a estimativa de FC com base no modelo de aproximação exponencial. Em ambos os casos, uma equação de estabilização é aplicada com base na aproximação exponencial que foi descrita nas seções anteriores:

em que:

• HR(t) é a FC de transição;
• HR(t - 1) é a FC obtida logo antes do início da transição;
• HRTarget é a FC alvo (da abordagem baseada em PPG ou modelo de aproximação exponencial) em que HR(t) deve estabilizar;
• Δt é uma etapa de tempo que depende da frequência do sinal de PPG; e
• σ controla o quão rápido ou lento a transição deve acontecer.

[0070] There are two transition possibilities: (1) when the quality indicator changes from reliable to unreliable and it is necessary to change the estimate from the PPG-based approach to the exponential approximation model; (2) when the quality of the indicator changes from unreliable to reliable and the PPG-based approach regains control over the FC estimation based on the exponential approximation model. In both cases, a stabilization equation is applied based on the exponential approximation that was described in the previous sections:

on what:

• HR(t) is the transition HR;
• HR(t - 1) is the HR obtained just before the beginning of the transition;
• HRTarget is the target HR (from the PPG-based approach or exponential approximation model) at which HR(t) should stabilize;
• Δt is a time step that depends on the frequency of the PPG signal; It is
• σ controls how fast or slow the transition should happen.

[0071] A ideia da equação de transição é simples: ela funciona como uma função de interpolação entre a FC de transição e a FC alvo. Além desta equação, o algoritmo espera ts segundos para estabilizar o HR(t), se dentro desta janela de tempo o erro absoluto entre HR(t) e HRTarget for maior que Es bpm, o algoritmo força-o a assumir o valor de HRTarget.[0071] The idea of the transition equation is simple: it works as an interpolation function between the transition HR and the target HR. In addition to this equation, the algorithm waits ts seconds to stabilize the HR(t), if within this time window the absolute error between HR(t) and HRTarget is greater than Es bpm, the algorithm forces it to assume the value of HRTarget .

[0072] A fim de ilustrar como funciona o bloco gerenciador 315, na figura 5 é ilustrado um exemplo da estimativa de FC para parte de um protocolo de corrida com e sem a utilização do gerenciador. Como foi descrito anteriormente, o bloco gerenciador 315 gera a FC final 310, que é basicamente a composição da estimativa obtida a partir da abordagem baseada em PPG e do modelo de aproximação exponencial. Como podemos ver, a figura 5 apresenta a FC medida 502, a FC obtida a partir do sinal PPG 506 e a estimativa do modelo de aproximação exponencial 501. Quando o tempo é 160s, o indicador de qualidade 305 muda de confiável para não confiável, o que é ilustrado pela área cinza 504. Portanto, o bloco gerenciador 315 troca do método baseado em PPG para o modelo de aproximação exponencial. No entanto, conforme podemos observar, as estimativas 506 e 501 discordam muito uma da outra. Neste caso, o método baseado em PPG está longe do sinal de referência 502. Desse modo, a curva de FC indicada por 503 mostra o resultado sem aplicar o algoritmo de transição, enquanto a curva de FC indicada por 505 o aplica. Conforme podemos observar, a curva 503 apresenta uma descontinuidade significativa, uma vez que a transição é abrupta. Por outro lado, a curva 505 apresenta uma transição mais suave, que parece mais natural e mais próxima de uma curva de FC que 503.[0072] In order to illustrate how the manager block 315 works, figure 5 illustrates an example of the FC estimation for part of a racing protocol with and without the use of the manager. As previously described, the manager block 315 generates the final FC 310, which is basically the composition of the estimate obtained from the PPG-based approach and the exponential approximation model. As we can see, figure 5 shows the measured HR 502, the HR obtained from the PPG signal 506 and the exponential approximation model estimate 501. When the time is 160s, the quality indicator 305 changes from reliable to unreliable, which is illustrated by the gray area 504. Therefore, the manager block 315 switches from the PPG-based method to the exponential approximation model. However, as we can see, estimates 506 and 501 strongly disagree with each other. In this case, the PPG-based method is far from the reference signal 502. Thus, the HR curve indicated by 503 shows the result without applying the transition algorithm, while the HR curve indicated by 505 applies it. As we can observe, curve 503 presents a significant discontinuity, since the transition is abrupt. Curve 505, on the other hand, has a smoother transition that looks more natural and closer to an HR curve than 503.

[0073] É interessante observar que a transição imposta pelo bloco gerenciador 315 pode levar a um MAE maior quando comparado ao mesmo resultado sem aplicá-lo. É fácil observar isso, uma vez que a curva 503 está mais próxima da curva 501 que da curva 506. Na verdade, é uma balanço entre o MAE e a integridade da curva de FC. A magnitude desse erro é controlada pelos parâmetros de transição σ, ts e Es. Se a integridade for mais importante nesta situação, o bloco gerenciador 315 deve sempre ser aplicado conforme descrito nesta seção.[0073] It is interesting to observe that the transition imposed by manager block 315 can lead to a larger MAE when compared to the same result without applying it. This is easy to see since curve 503 is closer to curve 501 than curve 506. It is actually a trade-off between the MAE and the integrity of the HR curve. The magnitude of this error is controlled by the transition parameters σ, ts and Es. If integrity is more important in this situation, manager block 315 should always be applied as described in this section.

[0074] Além de garantir a transição suave entre as estimativas de FC, o bloco gerenciador 315 também decide quando trocar as estimativas. A abordagem mais simples seria trocá-los sempre que o indicador de qualidade 305 muda de confiável para não confiável e vice-versa. No entanto, uma vez que o modelo é personalizado ao longo do tempo, a fim de aumentar o desempenho, segurança e integridade, preferivelmente, pode ser definido um tempo limite de personalização ( S ) que o modelo deve alcançar antes de permitir que o mesmo assuma o controle da estimativa de FC final. Em outras palavras, o tempo limite ( S ) indica o tempo de treinamento mínimo exigido para o modelo EA antes do uso. A ideia é simples, o bloco gerenciador 315 aceita como entrada o temporizador de personalização 309 e se for maior que S a transição é permitida; do contrário, o gerenciador sempre estima a FC e o indicador de qualidade 305 obtidos no método baseado em PPG de acordo com o bloco 312.[0074] In addition to ensuring the smooth transition between the FC estimates, the manager block 315 also decides when to change the estimates. The simplest approach would be to switch them whenever the 305 quality indicator changes from trusted to unreliable and vice versa. However, since the template is customized over time, in order to increase performance, security, and integrity, you can preferably set a customization timeout ( S ) that the template must reach before allowing it to run. take control of the final HR estimate. In other words, the timeout ( S ) indicates the minimum training time required for the EA model before use. The idea is simple, the manager block 315 accepts as input the personalization timer 309 and if it is greater than S the transition is allowed; otherwise, the manager always estimates the FC and quality indicator 305 obtained in the PPG-based method according to block 312.

A step-by-step example of the proposed invention

[0075] A fim de ilustrar completamente o fluxo de trabalho do presente método, um exemplo passo a passo será descrito para exemplificar cada bloco, entrada e saída apresentados nas figuras 3 e 4. O método gera uma nova estimativa de FC a cada segundo. No entanto, o comprimento do sinal de acelerômetro e os dados de entrada do PPG dependem de sua frequência. O método funciona com qualquer frequência, mas para este exemplo, consideramos como 25Hz. Assim, vamos considerar o exercício ilustrado na figura 5. Nosso objetivo é calcular todos os dados de entrada por t = 160 para prever HR(t =161), em que o indicador de qualidade do sinal de PPG é não confiável.[0075] In order to fully illustrate the workflow of the present method, a step-by-step example will be described to exemplify each block, input and output shown in figures 3 and 4. The method generates a new HR estimate every second. However, the length of the accelerometer signal and the PPG input data depends on its frequency. The method works with any frequency, but for this example we consider it as 25Hz. So let's consider the exercise illustrated in Figure 5. Our goal is to calculate all input data by t = 160 to predict HR(t =161), where the PPG signal quality indicator is unreliable.

Step 0: Determine the inputs

[0076] Primeiro de tudo, é necessário definir as entradas para o método. Na figura 3 é mostrado que o método aceita como entrada o sinal de PPG 301, 3 eixos de um sinal de acelerômetro 302 e os dados demográficos do usuário 303. Além disso, a invenção proposta é independente do método baseado em PPG, isto é, funciona para qualquer método que aceita o sinal PPG e retorna uma estimativa de frequência cardíaca do PPG 304 e o indicador de qualidade do PPG 305. Para este exemplo, o sinal de PPG tem oito canais. Portanto, definimos cada entrada como segue:[0076] First of all, you need to define the inputs for the method. In figure 3 it is shown that the method accepts as input the PPG signal 301, 3 axes of an accelerometer signal 302 and the demographic data of the user 303. Furthermore, the proposed invention is independent of the PPG-based method, i.e. works for any method that accepts the PPG signal and returns a heart rate estimate from the PPG 304 and the quality indicator from the PPG 305. For this example, the PPG signal has eight channels. Therefore, we define each entry as follows:

[0077] Sinal de PPG 301: como o sinal está em 25 Hz e possui quatro canais, a cada segundo ele produz uma matriz P com formato igual a 25 x 8. Por t = 160 s:

[0077] PPG 301 signal: as the signal is at 25 Hz and has four channels, every second it produces a matrix P with a format equal to 25 x 8. For t = 160 s:

[0078] Sinal de acelerômetro 302: uma vez que o sinal está em 25 Hz e tem 3 eixos (x, y, z), a cada segundo produz uma matriz A com formato igual a 25 x 3:

[0078] Accelerometer signal 302: since the signal is at 25 Hz and has 3 axes (x, y, z), every second it produces a matrix A with a format equal to 25 x 3:

[0079] Dados demográficos do usuário 303: neste exemplo, a atividade física é realizada por uma mulher de 23 anos de idade, pesando 61,6 kg e com 1,63 m de altura. Portanto, os dados demográficos são representados por uma matriz d = [IMC, idade, homem, mulher] , em que IMC = (peso/altura²). Desse modo:
d = [23.2, 23, 0, 1][0079] User Demographics 303: In this example, the physical activity is performed by a 23-year-old woman, weighing 61.6 kg and 1.63 m tall. Therefore, demographic data are represented by a matrix d = [BMI, age, male, female] , where BMI = (weight/height²). Thus:
d = [23.2, 23, 0, 1]

[0080] Os dados de PPG P 301 e os dados de acelerômetro A 302 são as entradas para o bloco 312, que representam o método baseado em PPG. Como mencionado anteriormente, o modelo proposto pela presente invenção é independente deste método. Assim, o que é importante é que precisamos obter a estimativa de FC baseada em PPG 304 e o indicador de qualidade do sinal de PPG 305. Para este exemplo, eles assumem os seguintes valores HRppg(t=160)=149 e FlagPPG = não confiável, respectivamente, sendo FlagPPG o indicador de qualidade.[0080] PPG data P 301 and accelerometer data A 302 are the inputs to block 312, which represent the PPG-based method. As mentioned earlier, the model proposed by the present invention is independent of this method. So what is important is that we need to get the HR estimate based on PPG 304 and the signal quality indicator from PPG 305. For this example they assume the following values HRppg(t=160)=149 and FlagPPG = no reliable, respectively, with FlagPPG being the quality indicator.

Step 1: Determine Activity Levels

[0081] Nesta etapa, os níveis de atividade são obtidos, os quais representam as informações de movimento do usuário. Para isso, o bloco de pré-processamento do acelerômetro 415 é realizado, o qual é composto pelos sub-blocos filtragem e agregação 405, cálculo do nível de atividade 406 e controlador de intensidade 407.[0081] In this step, activity levels are obtained, which represent user movement information. For this, the accelerometer pre-processing block 415 is carried out, which is composed of the filtering and aggregation sub-blocks 405, activity level calculation 406 and intensity controller 407.

[0082] Seguindo o fluxo de trabalho apresentado na figura 4, primeiramente, um filtro de Resposta ao Impulso Finita (FIR) passa-faixa é aplicado aos dados do acelerômetro A 302 com frequências de ordem e corte iguais a 2 e (8 Hz, 12 Hz), respectivamente. Resulta na matriz Af ilustrada como segue:

[0082] Following the workflow shown in Figure 4, first, a band-pass Finite Impulse Response (FIR) filter is applied to the A 302 accelerometer data with order and cutoff frequencies equal to 2 e (8 Hz, 12 Hz), respectively. It results in the Af matrix illustrated as follows:

[0083] Em seguida, cada fileira da matriz Af é agregada usando a Equação (1) para obter a matriz Agg do acelerômetro agregada:

[0083] Next, each row of the Af matrix is aggregated using Equation (1) to obtain the aggregated accelerometer Agg matrix:

[0084] A matriz Agg é a saída 410 do módulo de Filtragem e agregação 405, o qual é a entrada do nível de atividade e módulo de cálculo 406.[0084] The Agg matrix is the output 410 of the Filtering and aggregation module 405, which is the input of the activity level and calculation module 406.

[0085] O nível de atividade bruto ALraw 411 é calculado através da Equação (2), o qual resulta na seguinte matriz:

[0085] The gross activity level ALraw 411 is calculated using Equation (2), which results in the following matrix:

[0086] O nível de atividade AL 412 também é calculado através da Equação (2), porém usando a versão normalizada da matriz Agg, que resulta no seguinte:

[0086] The AL 412 activity level is also calculated using Equation (2), but using the normalized version of the Agg matrix, which results in the following:

[0087] Esta matriz representa o nível de atividade AL 412, o qual é a saída do bloco de pré-processamento do acelerômetro 415. Finalmente, a intensidade do treino IW 413 é determinada dentro do módulo Controlador de intensidade 407. Para este exemplo, definimos o limiar φi = 1, 25 e ιΦ=5, o qual resulta no estado alto. É importante observar que os algoritmos para calcular tais medições não são essenciais para esta invenção. Embora sejam importantes para o próximo bloco e módulo, eles se referem a características preferidas da invenção.[0087] This matrix represents the activity level AL 412, which is the output of the accelerometer pre-processing block 415. Finally, the training intensity IW 413 is determined within the Intensity Controller module 407. For this example, we define the threshold φi = 1, 25 and ιΦ=5, which results in the high state. It is important to note that algorithms for calculating such measurements are not essential to this invention. While they are important for the next block and module, they relate to preferred features of the invention.

Step 2: Predict HR and update trainable parameters

[0088] Como afirmado anteriormente, o bloco de predição 416 é um componente chave de nossa invenção. Aceita como entrada o AL = [t =160] matriz 412, IW=[t =160] 413, dados demográficos, d, 303, e para este exemplo, a FC(t) 403 anterior é representada por FCPPG = (t =160) (uma vez que o objetivo é prever FC(t =161), a FC anteriormente disponível é aquela obtida pelo sinal de PPG. Se quisermos prever HR(t =162), por exemplo, a FC anterior seria HR(t =161) uma vez que o sinal PPG será não confiável).[0088] As stated earlier, the prediction block 416 is a key component of our invention. It takes as input the AL = [t =160] matrix 412, IW=[t =160] 413, demographics, d, 303, and for this example, the previous FC(t) 403 is represented by FCPPG = (t = 160) (since the objective is to predict HR(t =161), the previously available HR is the one obtained by the PPG signal. If we want to predict HR(t =162), for example, the previous HR would be HR(t = 161) as the PPG signal will be unreliable).

[0089] A FC estimada é calculada de acordo com as Equações (3) e (4). Para isso, precisamos definir os parâmetros W, τ, blow e bhigh. Para este exemplo, eles são definidos como segue:

• W = {80, 0. 82, -0. 9, -6. 44, -0. 09}
• blow = 80, bhigh = 120, and τ = 75

[0089] The estimated HR is calculated according to Equations (3) and (4). For that, we need to define the parameters W, τ, blow and bhigh. For this example, they are defined as follows:

[0090] Em seguida, a partir da Equação (4), obtemos HR=139. 16. Em seguida, a partir da Equação (3), obtemos a FC estimada do modelo EA 408 para HREA=(t =161)=140 que representa a saída 308.[0090] Then, from Equation (4), we obtain HR=139. 16. Then, from Equation (3), we obtain the estimated HR of the EA model 408 for HREA=(t =161)=140 which represents output 308.

[0091] Após estimar a FC, a próxima etapa é realizar o módulo Aprendizagem Contínua (personalização) 409. Este módulo aceita os parâmetros do modelo EA (W, τ, blow e bhigh), a HREA, HRPPG, e FlagPPG para realizar o algoritmo de personalização sempre que FlagPPG = confiável. Desse modo, para este exemplo, a personalização não é realizada desde FlagPPG = não confiável. No entanto, vamos supor que em t = 180 o FlagPPG se torna confiável. Neste caso, atualizar (W, τ, blow e bhigh) é necessário para realizar Equações (11), (12) e (13) com α = 5, 0, que faz o ajuste do Modelo EA de acordo com o erro entre HREA=(t =180) e HRPPG=(t =180). Além disso, o módulo de personalização retorna o temporizador de personalização 309, o qual representa a quantidade de tempo em segundos que o modelo EA foi ajustado para o usuário atual.[0091] After estimating the HR, the next step is to carry out the Continuous Learning (customization) module 409. This module accepts the EA model parameters (W, τ, blow and bhigh), the HREA, HRPPG, and FlagPPG to carry out the personalization algorithm whenever FlagPPG = trusted. Thus, for this example, customization is not performed since FlagPPG = untrusted. However, let's assume that at t = 180 FlagPPG becomes reliable. In this case, updating (W, τ, blow and bhigh) is necessary to perform Equations (11), (12) and (13) with α = 5, 0, which adjusts the Model EA according to the error between HREA =(t=180) and HRPPG=(t=180). Also, the personalization module returns the personalization timer 309, which represents the amount of time in seconds that the EA model has been adjusted for the current user.

[0092] Nesta etapa, existem duas características que diferenciam ainda mais esta invenção dos métodos da técnica anterior. Primeiro, propomos uma nova função exponencial dinâmica e recursiva (Equação (4)) que é capaz de se adaptar aos diferentes dados demográficos do usuário e intensidade de treino. Em segundo lugar, a personalização é executada em tempo real, sem salvar ou usar quaisquer dados do usuário na memória do dispositivo. Devido às limitações de memória em dispositivos vestíveis, isso representa uma grande vantagem em comparação com a técnica anterior.[0092] At this stage, there are two features that further differentiate this invention from prior art methods. First, we propose a new dynamic and recursive exponential function (Equation (4)) that is able to adapt to different user demographics and training intensity. Second, personalization is performed in real time, without saving or using any user data in the device's memory. Due to memory limitations in wearable devices, this represents a huge advantage compared to the prior art.

Step 3: Deliver the Final HR Prediction

[0093] Conforme mencionado anteriormente, a invenção proposta garante que o Modelo EA e o método baseado em PPG funcionem de forma colaborativa. Para isso, a última etapa é realizar o algoritmo de transição dentro do bloco gerenciador 315, que é importante para garantir a suavidade e integridade da curva final de FC (ver figura 5). Sempre que FlagPPG muda de não confiável para confiável (ou vice-versa), a Equação (14) é aplicada para atingir a previsão final de FC 310. Se não há mudança, a transição não é aplicada. Portanto, para este exemplo, realizados a Equação (14) usando os seguintes parâmetros: fΦ=5, Pt = 120, Δt =1/25, σ = 25, ts = 10 e Es = 3. Isto resulta em HR( t =161) = 139, o qual é a saída 310. O indicador de qualidade final 311 depende do tempo limite de personalização (pt) e de FlagPPG. Se FlagPPG = confiável, o indicador de qualidade final é sempre confiável. Por outro lado, se FlagPPG = não confiável e o temporizador de personalização 309 forem maior que pt, o indicador de qualidade final é confiável. Do contrário, não confiável. Para este exemplo, ajustamos pt = 120, o que significa que o modelo EA deve ser personalizado para o usuário por 120 segundos para poder colaborar com o método baseado em PPG. Para prever ~ HR(t =162), todas as etapas devem ser realizadas novamente.[0093] As mentioned earlier, the proposed invention ensures that the EA Model and the PPG-based method work collaboratively. For this, the last step is to carry out the transition algorithm within the manager block 315, which is important to guarantee the smoothness and integrity of the final FC curve (see figure 5). Whenever FlagPPG changes from unreliable to reliable (or vice versa), Equation (14) is applied to reach the final prediction of FC 310. If there is no change, the transition is not applied. Therefore, for this example, we performed Equation (14) using the following parameters: fΦ=5, Pt = 120, Δt =1/25, σ = 25, ts = 10 and Es = 3. This results in HR( t = 161) = 139, which is the output 310. The final quality indicator 311 depends on the customization timeout (pt) and FlagPPG. If FlagPPG = reliable, the final quality indicator is always reliable. On the other hand, if FlagPPG = unreliable and the customization timer 309 is greater than pt, the final quality indicator is reliable. Otherwise unreliable. For this example, we set pt = 120, which means that the EA template must be customized for the user for 120 seconds to be able to collaborate with the PPG-based method. To predict ~ HR(t =162), all steps must be performed again.

[0094] Esta etapa é outra diferença dos métodos da técnica anterior. Em resumo, o algoritmo de transição (Equação (14)) é importante para evitar fortes descontinuidades na curva final de FC (ver figura 5), o que o torna não natural e não confiável. Além disso, garante uma melhor predição do modelo de regressão, uma vez que forçamos a personalização do modelo para pt segundos.[0094] This step is another difference from prior art methods. In summary, the transition algorithm (Equation (14)) is important to avoid strong discontinuities in the final HR curve (see figure 5), which makes it unnatural and unreliable. Furthermore, it ensures better prediction of the regression model, since we force model customization to pt seconds.

Alternative modalities

[0095] Conforme descrito na seção anterior, o melhor modo da presente invenção é auxiliar na estimativa de FC de um método baseado em PPG. Contudo, além desta aplicação, esta invenção pode ser adaptada para funcionar para outros problemas que descrevemos a seguir.[0095] As described in the previous section, the best mode of the present invention is to aid in estimating FC from a PPG-based method. However, in addition to this application, this invention can be adapted to work for other problems that we describe below.

Predict the HR curve using little data

[0096] É possível usar o modelo EA para prever a curva de FC para um determinado treino de corrida usando apenas alguns pontos de dados amostrados das medições do nível de atividade (AL) originais. Este cenário é ilustrado na figura 6, onde a curva de FC medida 601 é amostrada em vários pontos de tempo indicados por 603. Para cada ponto de tempo, salvamos o AL que é calculado durante a estimativa em tempo real. A partir desses valores, aproximamos a curva de FC 602 usando o modelo EA. Esta aplicação pode ser interessante para prever toda a curva de FC de um treino anterior, salvando apenas alguns pontos de dados relacionados a ela.[0096] It is possible to use the EA model to predict the HR curve for a given running workout using just a few data points sampled from the original activity level (AL) measurements. This scenario is illustrated in figure 6, where the measured HR curve 601 is sampled at various time points indicated by 603. For each time point, we save the AL that is calculated during the real-time estimation. From these values, we approximated the FC 602 curve using the EA model. This application can be interesting to predict the entire HR curve of a previous training session, saving just a few data points related to it.

saving battery

[0097] Embora os métodos baseados em PPG provejam estimativa confiável de FC, o sensor de PPG consome muito mais energia que o acelerômetro. A PPG pode consumir até 5.000 vezes mais energia que o acelerômetro. Obviamente, isso afeta diretamente a vida útil da bateria do dispositivo e prejudica sua autonomia. Nesse sentido, a presente invenção pode ser adaptada para auxiliar o dispositivo hospedeiro a economizar bateria intercalando as estimativas de FC da PPG e os sinais de acelerômetro de acordo com uma dada regra. Na figura 7 é ilustrado um cenário de caso de uso que exemplifica como o modelo EA pode ser adaptado para economizar a bateria do dispositivo. Nesta figura é apresentada a FC estimada a partir dos sinais de PPG 702 e do acelerômetro 701. Como podemos ver, ambos estão próximos da FC de referência representada 702. As áreas cinza 704 mostram quando a estimativa do acelerômetro deve ser substituída por aquela da PPG. Nesse caso, definimos a seguinte regra: a cada ns segundos, comparamos o desempenho da FC obtida a partir do modelo baseado em PPG e do modelo EA. Se a diferença entre eles for menor que E bpm, o dispositivo interromperá as medições de PPG pelos próximos ns segundos e a estimativa de FC resultante virá do modelo EA. Por outro lado, se a diferença for maior que E bpm, a estimativa continuará vindo do método baseado em PPG até que a diferença seja medida novamente (em ns segundos) e reinicie o ciclo. Neste exemplo, o acelerômetro é aplicado para estimar a FC em 68,5% do tempo. Uma vez que gasta menos bateria que o sensor de PPG, essa abordagem economizaria a bateria do dispositivo.[0097] Although PPG-based methods provide reliable HR estimation, the PPG sensor consumes much more energy than the accelerometer. The PPG can consume up to 5,000 times more energy than the accelerometer. Of course, this directly affects the device's battery life and impairs its autonomy. In this sense, the present invention can be adapted to help the host device to save battery by interleaving the PPG HR estimates and the accelerometer signals according to a given rule. Figure 7 illustrates a use case scenario that exemplifies how the EA model can be adapted to save device battery. In this figure, the HR estimated from the PPG signals 702 and the accelerometer 701 is shown. As we can see, both are close to the represented reference HR 702. The gray areas 704 show when the accelerometer estimate should be replaced by that of the PPG . In this case, we define the following rule: every ns seconds, we compare the performance of the HR obtained from the PPG-based model and the EA model. If the difference between them is less than E bpm, the device will stop PPG measurements for the next ns and the resulting HR estimate will come from the EA model. On the other hand, if the difference is greater than E bpm, the estimate will continue to come from the PPG-based method until the difference is measured again (in ns seconds) and the cycle restarts. In this example, the accelerometer is applied to estimate HR 68.5% of the time. Since it uses less battery than the PPG sensor, this approach would save the device's battery.

hardware implementation

[0098] As modalidades exemplificativas descritas no presente documento podem ser implementadas usando hardware, software ou qualquer combinação dos mesmos e podem ser implementadas em um ou mais sistemas de computador ou outros sistemas de processamento. Além disso, uma ou mais das etapas descritas nas modalidades exemplificativas no presente documento podem ser implementadas, pelo menos em parte, por máquinas. Exemplos de máquinas que podem ser úteis para executar as operações das modalidades exemplificativas neste documento incluem dispositivos eletrônicos vestíveis, como relógios inteligentes.[0098] The exemplary embodiments described herein may be implemented using hardware, software, or any combination thereof, and may be implemented on one or more computer systems or other processing systems. Furthermore, one or more of the steps described in exemplary embodiments herein may be implemented, at least in part, by machines. Examples of machines that may be useful for performing the operations of the exemplary embodiments herein include wearable electronic devices such as smart watches.

[0099] Por exemplo, um sistema de exemplo ilustrativo para realizar as operações das modalidades no presente documento pode incluir um ou mais componentes, como um ou mais microprocessadores, para realizar as operações aritméticas e/ou lógicas necessárias para a execução do programa e meios de armazenamento, como uma ou mais unidades de disco ou cartões de memória (por exemplo, memória flash) para armazenamento de programas e dados, e uma memória de acesso aleatório, para dados temporários e armazenamento de instruções de programas.[0099] For example, an illustrative example system for performing the operations of the embodiments herein may include one or more components, such as one or more microprocessors, for performing the arithmetic and/or logical operations necessary for program execution and means storage, such as one or more disk drives or memory cards (eg, flash memory) for storing programs and data, and random access memory, for temporary data and storing program instructions.

[00100] Portanto, a presente invenção também está relacionada a um sistema eletrônico vestível para prever a frequência cardíaca (FC) de um usuário durante uma atividade física que é composto por um processador e uma memória que compreendem instruções legíveis por computador que, quando executadas pelo processador, fazem com que o processador realize as etapas de método anteriormente descritas nesta descrição.[00100] Therefore, the present invention is also related to a wearable electronic system to predict the heart rate (HR) of a user during a physical activity that is composed of a processor and a memory that comprise computer-readable instructions that, when executed by the processor causes the processor to perform the method steps previously described in this description.

[00101] O sistema também pode incluir software residente em uma mídia de armazenamento (por exemplo, uma unidade de disco ou cartão de memória), que, quando executada, direciona o(s) microprocessador(es) na execução de funções de transmissão e recepção. O software pode ser executado em um sistema operacional armazenado na mídia de armazenamento, como, por exemplo, UNIX ou Windows (por exemplo, NT, XP, Vista), Linux e semelhantes, e pode aderir a vários protocolos, como Ethernet, Protocolos ATM, TCP/IP e/ou outros protocolos de conexão ou sem conexão.[00101] The system may also include software residing on storage media (for example, a disk drive or memory card), which, when executed, directs the microprocessor(s) to perform transmission functions and Front desk. The software may run on an operating system stored on the storage media such as UNIX or Windows (eg NT, XP, Vista), Linux and the like and may adhere to various protocols such as Ethernet, ATM protocols , TCP/IP, and/or other connectionless or connectionless protocols.

[00102] Como é bem conhecido na técnica, os microprocessadores podem executar diferentes sistemas operacionais e podem conter diferentes tipos de software, cada tipo sendo dedicado a uma função diferente, como tratamento e gerenciamento de dados/informações de uma fonte particular ou transformação de dados/informações de um formato em um outro formato. As modalidades descritas no presente documento não devem ser interpretadas como sendo limitadas para uso com qualquer tipo particular de computador servidor, e que qualquer outro tipo de dispositivo adequado para facilitar a troca e armazenamento de informações pode ser empregado em seu lugar.[00102] As is well known in the art, microprocessors can run different operating systems and can contain different types of software, each type being dedicated to a different function, such as processing and managing data/information from a particular source or transforming data /information from one format into another format. The embodiments described herein are not to be construed as being limited to use with any particular type of server computer, and that any other type of device suitable for facilitating the exchange and storage of information may be employed instead.

[00103] As modalidades de software das modalidades exemplificativas ilustrativas apresentadas neste documento podem ser providas como um produto de programa de computador, ou software, que pode incluir um artigo de fabricação em um meio acessível por máquina ou legível por computador não transitório (também referido como “meio legível por máquina”) tendo instruções. As instruções no meio acessível ou legível por máquina podem ser usadas para programar um sistema de computador ou outro dispositivo eletrônico. O meio legível por máquina pode incluir, mas não está limitado a, disquetes, discos ópticos, CD-ROMs e discos magneto ou outro tipo de mídia/meio legível por máquina adequado para armazenar ou transmitir instruções eletrônicas.[00103] The software embodiments of the illustrative exemplary embodiments presented in this document may be provided as a computer program product, or software, which may include an article of manufacture on a non-transient machine-accessible or computer-readable medium (also referred to as “machine-readable medium”) having instructions. The instructions on the accessible or machine-readable medium may be used to program a computer system or other electronic device. Machine-readable medium may include, but is not limited to, floppy disks, optical disks, CD-ROMs and magneto disks or other type of machine-readable medium/media suitable for storing or transmitting electronic instructions.

[00104] Portanto, a presente invenção também se refere a um meio de armazenamento legível por computador não transitório para prever a frequência cardíaca (FC) de um usuário durante uma atividade física que compreende instruções legíveis por computador que, quando executadas pelo processador, fazem com que o processador realize as etapas de método anteriormente descritas nesta descrição.[00104] Therefore, the present invention also relates to a non-transient computer-readable storage medium for predicting the heart rate (HR) of a user during a physical activity that comprises computer-readable instructions that, when executed by the processor, make cause the processor to perform the method steps previously described in this description.

[00105] As técnicas descritas no presente documento não se limitam a qualquer configuração de software particular. Elas podem ser aplicáveis em qualquer ambiente de computação ou processamento. Os termos “meio acessível por máquina”, “meio legível por máquina” e “meio legível por computador” usados no presente documento devem incluir qualquer meio não transitório que seja capaz de armazenar, codificar ou transmitir uma sequência de instruções para execução pela máquina (por exemplo, uma CPU ou outro tipo de dispositivo de processamento) e que fazem com que a máquina execute qualquer um dos métodos descritos neste documento. Além disso, é comum na técnica falar de software, de uma forma ou de outra (por exemplo, programa, procedimento, processo, aplicativo, módulo, unidade, lógica e assim por diante) como realizando uma ação ou causando um resultado. Essas expressões são apenas uma forma abreviada de afirmar que a execução do software por um sistema de processamento faz com que o processador execute uma ação para produzir um resultado.[00105] The techniques described in this document are not limited to any particular software configuration. They can be applicable in any computing or processing environment. The terms "machine-accessible medium", "machine-readable medium" and "computer-readable medium" used in this document shall include any non-transient medium that is capable of storing, encoding or transmitting a sequence of instructions for execution by the machine ( for example, a CPU or other type of processing device) and which cause the machine to perform any of the methods described in this document. Furthermore, it is common in the art to speak of software, in one form or another (eg, program, procedure, process, application, module, unit, logic, and so on) as performing an action or causing a result. These expressions are just a shorthand way of stating that the execution of software by a processing system causes the processor to perform an action to produce a result.

It is made

[00106] A fim de avaliar o efeito do método de acordo com a presente invenção, os experimentos foram realizados usando três conjuntos de dados de exercícios diferentes realizados em esteiras que foram recolhidos:

• Caminhada: um conjunto de dados contendo 103 indivíduos diferentes realizando três sessões diferentes de caminhada de 10 a 15 minutos, totalizando 4.625 minutos de dados.

[00106] In order to evaluate the effect of the method according to the present invention, experiments were performed using three data sets of different exercises performed on treadmills that were collected:

• Walking: A dataset containing 103 different individuals performing three different 10- to 15-minute walking sessions, totaling 4625 minutes of data.

[00107] • Corrida: um conjunto de dados contendo 136 indivíduos diferentes realizando três sessões diferentes de corrida de 12 a 18 minutos, totalizando 5.464 minutos de dados.[00107] • Running: a dataset containing 136 different individuals performing three different running sessions of 12 to 18 minutes, totaling 5,464 minutes of data.

[00108] • Caminhada e corrida: um conjunto de dados contendo 14 indivíduos diferentes que intercalam na mesma sessão um minuto de caminhada e dois minutos de corrida até atingir 10 minutos. São seis sessões diferentes, totalizando 881 minutos de dados.[00108] • Walking and running: a dataset containing 14 different individuals who interspersed in the same session one minute of walking and two minutes of running until reaching 10 minutes. There are six different sessions, totaling 881 minutes of data.

[00109] Em cada conjunto de dados, todos os indivíduos usam uma cinta torácica Polar H10 para medir a FC de referência usando ECG e um dispositivo Galaxy Watch 3 para recolher os sinais de PPG e do acelerômetro.[00109] In each dataset, all subjects wear a Polar H10 chest strap to measure baseline HR using ECG and a Galaxy Watch 3 device to collect PPG and accelerometer signals.

[00110] Para desempenhar o papel da abordagem baseada em PPG, foi usado o algoritmo de estimativa de FC mais recente do Samsung Galaxy Watch 3 (FC-GW3), que usa vários canais de PPG e os 3 eixos do acelerômetro para gerar a FC. Além disso, esse algoritmo retorna um indicador que classifica o sinal PPG como confiável ou não confiável (na maioria das vezes, o indicador se torna não confiável por causa de MA). Como método de linha de base para comparação, um Perceptron Multicamadas (MLP) foi aplicado com 2 camadas ocultas contendo 6 neurônios cada. Isso pode ser visto como uma adaptação do método proposto por McCoville et. al [3] que permite o uso de uma personalização online semelhante à descrita na primeira modalidade. Para todos os experimentos, os desempenhos dos métodos são avaliados de acordo com as seguintes métricas:

• O erro médio absoluto (MAE) em batimentos por minuto (bpm). Quanto mais baixo, melhor.

[00110] To play the role of the PPG-based approach, the latest HR estimation algorithm from Samsung Galaxy Watch 3 (FC-GW3) was used, which uses multiple PPG channels and the 3 accelerometer axes to generate HR . Also, this algorithm returns an indicator that classifies the PPG signal as reliable or unreliable (most of the time, the indicator becomes unreliable because of MA). As a baseline method for comparison, a Multilayer Perceptron (MLP) was applied with 2 hidden layers containing 6 neurons each. This can be seen as an adaptation of the method proposed by McCoville et. al [3] that allows the use of an online personalization similar to the one described in the first modality. For all experiments, method performances are evaluated according to the following metrics:

• The mean absolute error (MAE) in beats per minute (bpm). The lower the better.

[00111] • A cobertura de treino (COV) que é a % de tempo em que o indicador de qualidade é confiável. Em outras palavras, ele mostra a % de tempo que o usuário vê uma previsão de FC na tela do dispositivo. Quanto mais alto, melhor.[00111] • Training coverage (COV) which is the % of time that the quality indicator is reliable. In other words, it shows the % of time the user sees a HR prediction on the device screen. The higher the better.

[00112] • A taxa de aprovação (PR), que é a % de tempo em que o MAE é menor que 10 bpm. Quanto mais alto, melhor.[00112] • The pass rate (PR), which is the % of time the MAE is less than 10 bpm. The higher the better.

[00113] Em primeiro lugar, a precisão da previsão de FC do modelo EA foi avaliada em comparação com as outras. Na Tabela 1 é apresentado o desempenho de cada método de estimativa de FC para cada conjunto de dados considerando todo o exercício. Em outras palavras, os resultados consideram os indicadores de qualidade confiáveis e não confiáveis e a abordagem baseada em PPG, FC-GW3 e o modelo de EA estão trabalhando individualmente, isto é, o bloco gerenciador não é aplicado. Como podemos ver, a estimativa de FC-GW3 é, no geral, melhor que os outros métodos, o que é esperado, uma vez que usa o sinal de PPG como fonte primária. No entanto, o modelo EA gera uma estimativa de FC razoável, em particular para o conjunto de dados de caminhada. Além disso, seu desempenho é melhor que o MLP para todos os conjuntos de dados e métricas.

[00113] First, the HR prediction accuracy of the EA model was evaluated compared to the others. Table 1 presents the performance of each HR estimation method for each data set considering the entire exercise. In other words, the results consider reliable and unreliable quality indicators and the approach based on PPG, FC-GW3 and the EA model are working individually, that is, the manager block is not applied. As we can see, the FC-GW3 estimation is, in general, better than the other methods, which is expected, since it uses the PPG signal as the primary source. However, the EA model generates a reasonable HR estimate, particularly for the walking dataset. Also, it performs better than MLP for all datasets and metrics.

[00114] Na Tabela 2 é mostrado o desempenho do método FC-GW3 estratificado por qualidade do sinal. Como podemos observar, o desempenho do método quando o indicador de qualidade é não confiável é muito pior que considerar apenas o confiável. Conforme descrito anteriormente, na maioria das vezes o indicador não confiável ocorre devido aos MA. Desta forma, nosso objetivo é melhorar o desempenho da FC-GW3 apresentado na Tabela 1, substituindo as estimativas de FC não confiáveis por aquelas obtidas usando nossa invenção. Por exemplo, considerando o conjunto de dados da caminhada, nosso método seria executado cerca de 13% do tempo para cobrir o indicador não confiável. A FC-GW3 cobre o resto do tempo. Portanto, ambos os métodos funcionam de forma colaborativa, o que é garantido pelo bloco gerenciador.

[00114] Table 2 shows the performance of the FC-GW3 method stratified by signal quality. As we can observe, the performance of the method when the quality indicator is unreliable is much worse than considering only the reliable one. As described earlier, most of the time the unreliable indicator is due to MA. Therefore, our aim is to improve the performance of the FC-GW3 presented in Table 1, replacing unreliable HR estimates with those obtained using our invention. For example, given the walking dataset, our method would run about 13% of the time to cover the unreliable indicator. The FC-GW3 covers the rest of the time. Therefore, both methods work collaboratively, which is guaranteed by the manager block.

[00115] Na Tabela 3 é apresentado o desempenho dos modelo EA + Gerenciador (PEM) e MLP + Gerenciador substituindo a estimativa de FC quando o indicador de qualidade da FC-GW3 é não confiável. Para ambos os métodos, o bloco gerenciador 315 realiza a transição de FC quando o indicador de qualidade muda da mesma maneira como descrito na primeira modalidade. Em primeiro lugar, comparando os resultados dos métodos tipo Gerenciador com a FC-GW3 na Tabela 2, notamos que o desempenho, em termos de MAE e PR, melhorou para a estratificação Todos e está próximo do confiável. Como esperado, substituir o método não confiável pelo gerenciador resulta em um melhor desempenho se comparado a usar apenas a FC-GW3. É interessante observar que a FC-GW3 também aplica um algoritmo tradicional para lidar com os MA; entretanto, não é suficiente produzir uma estimativa adequada durante todo o exercício. Por último, a cobertura para ambas as estratificações é ligeiramente inferior por causa da regra de integridade definida pelo tempo limite de personalização (pt , o qual é definido para 120 segundos.

[00115] Table 3 shows the performance of the EA + Manager (PEM) and MLP + Manager models replacing the FC estimate when the FC-GW3 quality indicator is unreliable. For both methods, the manager block 315 performs the FC transition when the quality indicator changes in the same manner as described in the first embodiment. First, comparing the results of the Manager-type methods with the FC-GW3 in Table 2, we note that the performance, in terms of MAE and PR, improved for the All stratification and is close to reliable. As expected, replacing the untrusted method with the manager results in better performance compared to using just the FC-GW3. Interestingly, the FC-GW3 also applies a traditional algorithm to deal with MA; however, it is not sufficient to produce an adequate estimate throughout the exercise. Lastly, coverage for both stratifications is slightly lower because of the integrity rule set by the customization timeout (pt , which is set to 120 seconds.

[00116] Comparando o desempenho do Gerenciador usando o modelo EA (PEM) e o MLP, vemos que o desempenho médio para nossa invenção é melhor que o MLP para todos os conjuntos de dados. Além do melhor desempenho, existem outras duas vantagens de usar o PEM em vez do MLP:[00116] Comparing Manager performance using EA model (PEM) and MLP, we see that the average performance for our invention is better than MLP for all datasets. In addition to better performance, there are two other advantages of using PEM over MLP:

[00117] Exige muito menos memória para executar a estimativa e personalização que o MLP. Como deve funcionar em tempo real em dispositivos com forte restrição de memória, essa característica é obrigatória.[00117] Requires much less memory to perform estimation and customization than MLP. Since it must work in real time on devices with a strong memory constraint, this feature is a must.

[00118] Como o PEM possui apenas oito parâmetros treináveis, é mais fácil personalizar para um determinado usuário, para explicar a contribuição de cada parâmetro (consequentemente, para depurar), e seu desempenho é estável independente da sessão de exercício.[00118] Since the PEM has only eight trainable parameters, it is easier to customize for a given user, to explain the contribution of each parameter (hence, to debug), and its performance is stable regardless of the exercise session.

[00119] Na figura 8 está representado um exemplo do desempenho de cada método individualmente para um determinada sessão de exercício do conjunto de dados de caminhada e corrida. Neste exercício, o desempenho da FC-GW3 e do PEM em termos de MAE é bastante próximo, 1,64 e 2,78 bpm, respectivamente. Por outro lado, o desempenho do MLP é 7,84, o que está longe dos outros métodos. Além disso, 801 indica uma região na qual o MLP apresenta uma estimativa bastante errada. Esse comportamento é comum para este método e é difícil identificar o motivo, pois não sabemos o papel de cada parâmetro neste modelo. A curva de FC obtida pelo PEM parece mais natural e resulta em melhor desempenho que o MLP.[00119] Figure 8 shows an example of the performance of each method individually for a given exercise session of the walking and running dataset. In this exercise, the performance of FC-GW3 and PEM in terms of MAE is quite close, 1.64 and 2.78 bpm, respectively. On the other hand, the performance of MLP is 7.84, which is far from other methods. Furthermore, 801 indicates a region in which the MLP has a grossly inaccurate estimate. This behavior is common for this method and it is difficult to identify the reason as we do not know the role of each parameter in this model. The HR curve obtained by PEM looks more natural and results in better performance than MLP.

[00120] Por fim, na figura 9 está ilustrado um exemplo da colaboração entre o modelo EA e a FC-GW3 provido pelo bloco gerenciador, que é o PEM. Como podemos ver, 901 indica o início da transição entre os métodos, isto é, quando o indicador de qualidade muda de confiável para não confiável. Neste exercício, o indicador permanece não confiável para toda a área cinza 902. É fácil ver a melhoria que o gerenciador introduz no algoritmo. Quantitativamente, em termos de MAE, diminui de 22,2 para 3,31 bpm, o que demonstra os benefícios da presente invenção.[00120] Finally, figure 9 illustrates an example of the collaboration between the EA model and the FC-GW3 provided by the manager block, which is the PEM. As we can see, 901 indicates the beginning of the transition between methods, that is, when the quality indicator changes from reliable to unreliable. In this exercise, the indicator remains unreliable for the entire 902 gray area. It is easy to see the improvement that the manager introduces to the algorithm. Quantitatively, in terms of MAE, it decreases from 22.2 to 3.31 bpm, which demonstrates the benefits of the present invention.

Technical advantages of the proposed solution

[00121] Em vista do exposto, a presente invenção provê uma solução baseada na colaboração da comparação entre a estimativa de FC a partir de informações de movimento e um método baseado em PPG para melhorar a estimativa final. Além disso, a presente invenção propõe o uso de apenas um modelo de regressão projetado a partir de uma função exponencial, que permite gerar a estimativa de FC sem o uso de múltiplos modelos. Além disso, a presente invenção se baseia apenas nos dados do usuário atuais, sem usar dados anteriores ou dados de uma pluralidade de usuários para alcançar a personalização. Finalmente, a presente invenção propõe modalidades alternativas em que uma equação de transição é aplicada para melhorar a suavidade e integridade da FC final estimada a partir da colaboração entre o modelo exponencial proposto e a abordagem baseada em PPG.[00121] In view of the above, the present invention provides a solution based on the collaboration of the comparison between the HR estimation from movement information and a PPG-based method to improve the final estimation. Furthermore, the present invention proposes the use of only one regression model projected from an exponential function, which allows generating the HR estimate without the use of multiple models. Furthermore, the present invention is based only on current user data, without using past data or data from a plurality of users to achieve personalization. Finally, the present invention proposes alternative modalities in which a transition equation is applied to improve the smoothness and completeness of the final HR estimated from the collaboration between the proposed exponential model and the PPG-based approach.

[00122] A presente invenção propõe um modelo de aproximação exponencial desenvolvido para estimar a FC de uma determinada pessoa. O uso de uma função exponencial ao longo do tempo para modelar a cinética cardiovascular foi apresentado anteriormente por Hill & Lupton [1] e Zakynthinaki [2] . Embora a suposição de que a FC possa ser aproximada por uma função exponencial seja correta, propor tal função e parametrizá-la é desafiador, pois o perfil de FC de uma pessoa bem treinada e de uma pessoa sedentária é bastante diferente e os modelos anteriores não o consideram. Além disso, não apresentam uma abordagem para considerar dinamicamente tanto o aumento quanto a diminuição da curva de FC. Desta forma, as características de não obviedade que diferem o modelo de regressão exponencial da presente invenção das outras são descritas a seguir:

• ele atualiza dinamicamente a FC estimada em tempo real com base em uma medição de movimento. Em outras palavras, o modelo não depende de uma medição constante e para cada tempo t o mesmo gera uma nova estimativa.

[00122] The present invention proposes an exponential approximation model developed to estimate the HR of a given person. The use of an exponential function over time to model cardiovascular kinetics was previously presented by Hill & Lupton [1] and Zakynthinaki [2] . Although the assumption that HR can be approximated by an exponential function is correct, proposing such a function and parameterizing it is challenging, as the HR profile of a well-trained person and a sedentary person is quite different and previous models do not consider it. Furthermore, they do not present an approach to dynamically consider both the increase and the decrease in the HR curve. In this way, the non-obvious features that differ the exponential regression model of the present invention from others are described below:

• It dynamically updates the estimated HR in real time based on a motion measurement. In other words, the model does not depend on a constant measurement and for each time t generates a new estimate.

[00123] • sua equação incorpora um mecanismo para identificar automaticamente quando a FC deve aumentar ou diminuir de acordo com a função exponencial.[00123] • Your equation incorporates a mechanism to automatically identify when HR should increase or decrease according to the exponential function.

[00124] • também incorpora os dados demográficos do usuário (idade, altura, peso e gênero) em sua equação para adaptar o modelo a diferentes perfis de FC.[00124] • Also incorporates user demographics (age, height, weight, and gender) into your equation to adapt the model to different HR profiles.

[00125] Além das características relacionadas ao modelo exponencial, a presente invenção também apresenta as seguintes inovações:

• possui uma metodologia para personalizar o modelo exponencial em tempo real sem salvar nenhum dado do exercício anterior na memória do dispositivo. Desta forma, o modelo está aprendendo continuamente o perfil de FC do usuário durante a execução da atividade física, a fim de melhorar suas estimativas.

[00125] In addition to the features related to the exponential model, the present invention also features the following innovations:

• has a methodology to customize the exponential model in real time without saving any data from the previous exercise in the device's memory. In this way, the model is continuously learning the user's HR profile during the performance of physical activity, in order to improve its estimates.

[00126] • ele apresenta um algoritmo de transição para melhorar a suavidade e integridade da FC final estimada a partir da colaboração entre o modelo exponencial e a abordagem baseada em PPG.[00126] • It presents a transition algorithm to improve the smoothness and completeness of the final HR estimated from the collaboration between the exponential model and the PPG-based approach.

[00127] Embora várias modalidades exemplificativas tenham sido descritas acima, deve ser entendido que elas foram apresentadas a título de exemplo, e não como limitação. Será evidenciado para os versados na técnica na(s) técnica(s) relevante(s) que podem ser feitas várias alterações na forma e nos detalhes.[00127] While various exemplary embodiments have been described above, it should be understood that they have been presented by way of example, and not limitation. It will be apparent to those skilled in the art in the relevant technique(s) that various changes in form and detail can be made.

REFERENCES

[00128] As seguintes referências podem ser úteis para a compreensão dos conceitos e preceitos da presente invenção e são aqui incorporados por referência.[00128] The following references may be helpful in understanding the concepts and precepts of the present invention and are incorporated herein by reference.

[00129] [1] Hill A. V., Lupton H. Muscular exercise, lactic acid, and the supply and utilization of oxygen. An International Journal of Medicine. 1923 (62):135-71.[00129] [1] Hill A. V., Lupton H. Muscular exercise, lactic acid, and the supply and utilization of oxygen. An International Journal of Medicine. 1923(62):135-71.

[00130] [2] Zakynthinaki MS. Modelling heart rate kinetics. PloS one. 2015 Apr 13;10(4):e0118263.[00130] [2] Zakynthinaki MS. Modeling heart rate kinetics. PloS one. 2015 Apr 13;10(4):e0118263.

[00131] [3] McConville R, Archer G, Craddock I, ter Horst H, Piechocki R, Pope J, Santos-Rodriguez R. Online heart rate prediction using acceleration from a wrist worn wearable. arXiv preprint arXiv:1807.04667. 2018.[00131] [3] McConville R, Archer G, Craddock I, ter Horst H, Piechocki R, Pope J, Santos-Rodriguez R. Online heart rate prediction using acceleration from a wrist worn wearable. arXiv preprint arXiv:1807.04667. 2018.

Claims

Method for predicting the heart rate (HR) of a user during physical activity, the method characterized by the fact that it comprises:
monitoring the user during physical activity with a wearable electronic device comprising a photoplethysmography (PPG) sensor, an accelerometer, a memory and a processor; wherein the memory is configured to store user demographic data (303), PPG data (301) and accelerometer data (302) detected by a PPG sensor and accelerometer, respectively;
calculating (312) a heart rate estimate of the PPG signal (304) and a PPG quality indicator (305) using the PPG data (301) and the accelerometer data (302), wherein the signal quality indicator PPG (305) indicates whether the PPG data (301) is reliable or not;
estimating (416) an exponential heart rate estimate (308) by applying the heart rate estimate from the PPG signal (304), the PPG quality indicator (305) and user demographic data (303) into a model exponential approximation (408); It is
if the PPG signal quality indicator (305) signals that the PPG data (301) is reliable, generating the heart rate estimate using the PPG (304); otherwise,
generate the PPG exponential heart rate estimate (308).

Method according to claim 1, characterized in that it further comprises determining (415) the level of movement (412) and the intensity of physical activity of the user (413) using accelerometer data (302).

Method according to claim 2, characterized in that determining (415) the level of movement (412) and the intensity of physical activity of the user (413) using accelerometer data (302) comprises:
filtering (405) the accelerometer data (302) to reduce noise and aggregating the accelerometer signal using a norm function to produce an accelerometer aggregated value (410);
calculate (406) a raw activity level value, ALraw, (411) by integrating the accelerometer aggregated value (410)
calculate a normalized gross activity level, AL; and calculating (407) the physical activity intensity (413) from the raw activity level value (411) against a defined threshold.

Method according to claim 3, characterized in that the accelerometer signal is added to a norm function defined by:

where αχ, αy and represent the 3-axis coordinates of the accelerometer.

Method according to claim 4, characterized in that it further comprises integrating the aggregated signal (410) to a sliding time window to obtain a raw value of the ALraw activity level; It is
approximate the aggregate signal (410) with the trapezoidal rule:

where a = [αx, αy, αz] and N is the number of points within the window, which depends on the sampling frequency of the accelerometer signal.

Method according to claim 5, characterized in that it further comprises applying a cut operation to ensure that the gross activity level value (411) is within [0, 1] ; It is
integrate the gross activity level value (411); It is
normalize the raw integrated activity level value by dividing it by the time window size.

Method according to any one of claims 3 to 6, characterized in that the raw activity level value (411) assumes a low and a high state, which is determined by a threshold φι; It is
if φι < AL raw for a predetermined period of time, the raw value of the activity level (411) assumes a low state; otherwise, the raw activity level value (411) assumes a high state.

Method according to any one of claims 1 to 7, characterized in that the exponential approximation model (408) is determined by:

where HR(t + 1) is the exponential estimate of heart rate (308), is a parameter that indicates the increase or decrease in the heart rate calculated in the previous iteration, and τ is the constant that determines the rate of increase or decrease , where HR is determined by:
HR = DS X WT + [blow,bhigh]
where Ds is a matrix that defines [AL, BMI, age, male, female] , BMI is the body mass index, and male or female assumes 1 or 0, parameter b is a parameter determined according to the intensity of physical activity from the user (413).

Method according to any one of claims 1 to 8, characterized in that if the PPG signal quality indicator (305) is reliable, the parameters of the exponential approximation model are adjusted in real time as a customization model to the user.

Method according to claim 9, characterized in that it additionally comprises:
perform a gradient descent algorithm using the derivatives of the mean absolute error (MAE) over time, where the MAE is defined by:

where y is the heart rate estimate from the PPG signal (304), y is the exponential heart rate estimate (308).

Method according to claim 10, characterized in that the gradient descent strategy is used with the definition of the modulus to calculate the derivatives for Υι-Υι>0 with respect to Θ = {W , τ, blow , bhigh}:

when Υι-Υι> 0, the signs of the derivatives are inverted; and the derivatives of HR(t + 1) are given by:

Method according to claim 11, characterized in that the exponential approximation model (408) comprises the parameter update rules:

where is the learning rate of the exponential approximation model (408).

Method according to any one of claims 1 to 12, characterized in that it additionally comprises:
manage (315) the transition between the PPG heart rate estimate (304) and the exponential heart rate estimate (308) when the PPG quality indicator (305) changes from reliable to unreliable, or vice versa.

Method according to claim 13, characterized in that managing (315) the transition includes applying a stabilization equation given by:

where HR(t) is the transition HR; HR(t - 1) is the heart rate taken just before the transition starts, HRTarget is the target heart rate at which HR(t) should stabilize; Δt is a time step that depends on the frequency of the PPG signal; and σ controls how fast or slow the transition should occur.

Method according to any one of claims 1 to 14, characterized in that it additionally comprises:
counting a customization timer (309) which indicates the period which indicates how long the exponential approximation model has been customized using the user data;
has been customized using user data;
comparing the customization timer (309) with a timeout, Pt, which indicates the minimum required training time;
if the personalization timer (309) is less than the timeout, generate the heart rate estimate from the PPG signal (304).

Method according to any one of claims 1 to 15, characterized in that a new heart rate estimate is estimated every second.

Wearable electronic system for predicting the heart rate (HR) of a user during physical activity, the system characterized in that it comprises
a processor;
a memory comprising computer-readable instructions which, when executed by the processor, cause the processor to perform the method as defined in any one of claims 1 to 16.

Non-transient computer-readable storage medium, characterized in that it comprises computer-readable instructions that, when executed by a processor, cause the processor to perform the method as defined in any one of claims 1 to 16.