ES2761728A1 - SYSTEM AND METHOD FOR MANAGING OPERATIONAL PERSONNEL IN CRITICAL ENVIRONMENTS (Machine-translation by Google Translate, not legally binding) - Google Patents

SYSTEM AND METHOD FOR MANAGING OPERATIONAL PERSONNEL IN CRITICAL ENVIRONMENTS (Machine-translation by Google Translate, not legally binding) Download PDF

Info

Publication number
ES2761728A1
ES2761728A1 ES201930786A ES201930786A ES2761728A1 ES 2761728 A1 ES2761728 A1 ES 2761728A1 ES 201930786 A ES201930786 A ES 201930786A ES 201930786 A ES201930786 A ES 201930786A ES 2761728 A1 ES2761728 A1 ES 2761728A1
Authority
ES
Spain
Prior art keywords
operator
infrastructure
corrective action
state
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
ES201930786A
Other languages
Spanish (es)
Inventor
Arbide Alberto Corredera
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad Politecnica de Madrid
Original Assignee
Universidad Politecnica de Madrid
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad Politecnica de Madrid filed Critical Universidad Politecnica de Madrid
Priority to ES201930786A priority Critical patent/ES2761728A1/en
Publication of ES2761728A1 publication Critical patent/ES2761728A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons

Abstract

The present invention relates to a method and system for managing the operating personnel of a complex infrastructure. It comprises a first sensor means to measure a set of physical variables of an infrastructure operator; an analysis module to associate the measured variables with excitation and valence values and determine, based on these values, a predominant emotion of the operator; a second sensor means to identify a state of operation of the infrastructure; a process module for determining corrective action based on the current operating state and predominant emotion of the operator: and a display module configured to provide corrective action to the operator. (Machine-translation by Google Translate, not legally binding)

Description

DESCRIPCIÓNDESCRIPTION

SISTEMA Y MÉTODO PARA GESTIONAR PERSONAL DE OPERACIÓN EN ENTORNOS SYSTEM AND METHOD FOR MANAGING OPERATIONAL PERSONNEL IN ENVIRONMENTS

CRÍTICOSCRITICIANS

OBJETO DE LA INVENCIÓNOBJECT OF THE INVENTION

La presente invención se refiere al campo técnico de la gestión de infraestructuras complejas, como grandes centros de datos, y más concretamente, a la gestión emocional de los operadores en puestos críticos de dichas infraestructuras, con los objetivos de reducir la tasa de error y facilitar la realización de sus tareas.The present invention refers to the technical field of managing complex infrastructures, such as large data centers, and more specifically, to the emotional management of operators in critical positions in such infrastructures, with the objectives of reducing the error rate and facilitating completing your tasks.

ANTECEDENTES DE LA INVENCIÓNBACKGROUND OF THE INVENTION

Actualmente, la gestión de infraestructuras complejas recae en un personal de operación expuesto a grandes cantidades de datos y encargado de permanecer en alerta constante para reaccionar eficazmente y de manera inmediata ante cualquier incidencia o malfuncionamiento de las máquinas (por ejemplo los servidores de los grandes centros de datos), siendo básico la priorización en las tareas a realizar antes de un fallo total o incluso realizar las acciones adecuadas para prevenir el fallo, ya que las caídas o cortes de suministro en el servicio proporcionado por dichas infraestructuras complejas causa grandes perjuicios.Currently, the management of complex infrastructures is the responsibility of an operation staff exposed to large amounts of data and in charge of remaining on constant alert to react effectively and immediately to any incident or malfunction of the machines (for example, the servers of large centers data), prioritizing the tasks to be carried out before a total failure or even taking the appropriate actions to prevent the failure, since falls or supply cuts in the service provided by said complex infrastructures cause great damage.

Así, este es un problema de alcance mundial y que se encuentra en constante aumento, donde las pérdidas económicas provocadas por la caída de un centro de datos prácticamente se han doblado en los últimos diez años. Además, la duración de las caídas de la mayoría de los negocios basados en el procesado de datos (Industria 4.0) está aumentando muy por encima de la media de otros negocios. Requiere por tanto de acción inmediata, puesto que alrededor del 50% de los centros de datos no están preparados para los equipos de alta densidad actuales, y los ataques cibernéticos están aumentando espectacularmente (han pasado de ser la causa de un 0.2% de las caídas de centros de datos en 2010 a un 22% en 2016).Thus, this is a global problem that is constantly increasing, where the economic losses caused by the fall of a data center have practically doubled in the last ten years. In addition, the duration of downturns for most data-processing based businesses (Industry 4.0) is increasing well above the average for other businesses. It therefore requires immediate action, since around 50% of data centers are not prepared for today's high-density equipment, and cyber attacks are increasing dramatically (they have gone from being the cause of 0.2% of falls from data centers in 2010 to 22% in 2016).

Las caídas de estas infraestructuras complejas generalmente se deben a motivos que podían haberse evitado. Entre las causas principales de las caídas destacan los fallos en los sistemas de alimentación; los ataques directos; y los errores humanos. Tanto los ataques directos como los errores humanos involucran a personas que, a su vez, toman decisiones en un entorno de elevada complejidad y con alto grado de incertidumbre. Esta problemática tiende a complicarse con la proliferación y estandarización de los procesos de Big Data, Internet of Things y las ciudades inteligentes, ya que aumentan exponencialmente las necesidades de procesamiento de datos.The falls of these complex infrastructures are generally due to reasons that could have been prevented. The main causes of falls include failures in power systems; direct attacks; and human errors. Both attacks Direct as human errors involve people who, in turn, make decisions in an environment of high complexity and with a high degree of uncertainty. This problem tends to be complicated by the proliferation and standardization of Big Data, Internet of Things and smart cities processes, as data processing needs increase exponentially.

Los intentos de reducir el error humano han sido afrontados por varios trabajos conocidos en el estado del arte, los cuales tratan de conocer el estado emocional de los trabajadores mediante reconocimiento facial (para vídeo conferencias), sensores de actividad (seguimiento de pupila), conocimiento (cerebro: ondas cerebrales EEG, ERP-respuesta electrofísica estereotipada a estímulos) o emoción (cara y voz, tamaño de pupila) para líneas de producción. Sin embargo, el campo de aplicación de estas invenciones y, por lo tanto, su desarrollo, es completamente distinto. Por ejemplo, mientras que unas tratan de dar un servicio óptimo a sus clientes en centros de contacto, otras se aplican a centros de producción, en concreto, a líneas de fabricación (mayoritariamente).Attempts to reduce human error have been tackled by several works known in the state of the art, which try to know the emotional state of workers through facial recognition (for video conferences), activity sensors (pupil tracking), knowledge (brain: EEG brain waves, ERP-stereotyped electrophysical response to stimuli) or emotion (face and voice, pupil size) for production lines. However, the field of application of these inventions, and therefore their development, is completely different. For example, while some try to provide optimal service to their clients in contact centers, others apply to production centers, specifically, to manufacturing lines (mostly).

Por otro lado, las soluciones existentes en el estado del arte para controlar y gestionar el funcionamiento de infraestructuras complejas, como grandes centros de datos, para prevenir cualquier malfuncionamiento, están enfocadas en el simple registro de la información y su puesta a disposición del personal de operaciones, de manera que el personal de operaciones debe tomar decisiones complejas basándose en una cantidad de información demasiado amplia y de tan bajo nivel que a menudo conduce a errores. Las decisiones del personal de operaciones comprenden por ejemplo acciones para optimizar el consumo energético del centro de datos, minimizar los riesgos de ataques, optimizar el mantenimiento preventivo o maximizar el beneficio, teniendo en cuenta aspectos del negocio, los recursos y el estado.On the other hand, the existing solutions in the state of the art to control and manage the operation of complex infrastructures, such as large data centers, to prevent any malfunction, are focused on the simple recording of information and its provision to the personnel of operations, so operations personnel must make complex decisions based on too much and too low a level of information that often leads to errors. Operations personnel decisions include, for example, actions to optimize data center energy consumption, minimize the risks of attacks, optimize preventive maintenance or maximize profit, taking into account aspects of the business, resources and health.

Entre otros problemas, los sistemas utilizados hasta ahora optimizan las distintas variables de los centros de datos de forma independiente. De hecho, en muchos centros de datos, la gestión de la infraestructura y de los servidores se encuentra a cargo de empresas diferentes y con escasa o nula comunicación. Sin embargo, las distintas variables del centro de datos sí suelen estar relacionadas entre sí, con relaciones complejas de modelar y que cambian con el tiempo. Among other problems, the systems used so far optimize the different variables of the data centers independently. In fact, in many data centers, infrastructure and server management are carried out by different companies and with little or no communication. However, the different variables of the data center are usually related to each other, with complex relationships to model and that change over time.

Es por ello que el estado del arte echa en falta soluciones para la gestión eficiente y eficaz de infraestructuras complejas, que se centren en la gestión del personal de operación para minimizar los errores y caídas producidas en las infraestructuras complejas.That is why the state of the art lacks solutions for the efficient and effective management of complex infrastructures, which focus on the management of operating personnel to minimize errors and falls produced in complex infrastructures.

DESCRIPCIÓN DE LA INVENCIÓNDESCRIPTION OF THE INVENTION

Con el fin de alcanzar los objetivos y evitar los inconvenientes mencionados anteriormente, la presente invención describe, en un primer aspecto un sistema para gestionar personal de operación de una infraestructura compleja que comprende:In order to achieve the objectives and avoid the aforementioned drawbacks, the present invention describes, in a first aspect, a system for managing operating personnel of a complex infrastructure comprising:

- unos primeros medios sensores configurados para medir un conjunto de variables físicas de un operador de la infraestructura compleja;- a first sensor means configured to measure a set of physical variables of an operator of the complex infrastructure;

- un módulo de análisis configurado para asociar cada una de las variables físicas medidas con un valor de excitación y un valor de valencia y determinar, basado en dichos valores, una emoción predominante del operador;- an analysis module configured to associate each one of the measured physical variables with an excitation value and a valence value and determine, based on said values, a predominant emotion of the operator;

- unos segundos medios sensores configurados para identificar un estado de funcionamiento actual de la infraestructura compleja;- second sensor means configured to identify a current operating state of the complex infrastructure;

- un módulo de proceso configurado para determinar una acción correctiva del funcionamiento de la infraestructura, en función del estado de funcionamiento actual y la emoción predominante del operador; y- a process module configured to determine a corrective action for the operation of the infrastructure, depending on the current state of operation and the predominant emotion of the operator; and

- un módulo de visualización configurado para proporcionar la acción correctiva al operador.- a display module configured to provide corrective action to the operator.

Adicionalmente, en una de las realizaciones de la invención, se contempla un módulo de predicción configurado para predecir un estado de funcionamiento futuro, basado en un algoritmo de inteligencia artificial alojado en una base de datos no relacional que contiene información histórica de los estados de funcionamiento de la infraestructura compleja.Additionally, in one of the embodiments of the invention, a prediction module configured to predict a future operating state is contemplated, based on an artificial intelligence algorithm housed in a non-relational database that contains historical information on operating states. of complex infrastructure.

De acuerdo con una de las realizaciones de la presente invención, los primeros medios sensores comprenden al menos uno de los siguientes elementos: una cámara web, un micrófono y un pulsómetro.According to one of the embodiments of the present invention, the first sensor means comprise at least one of the following elements: a web camera, a microphone and a heart rate monitor.

Adicionalmente, se contempla un dispositivo electrónico configurado para interaccionar con el operador y extraer información emocional a tener en cuenta por el módulo de análisis. Así ventajosamente, mediante preguntas directas al operador, planteadas por ejemplo a través de una tablet o un asistente de voz virtual, se completa la información de su estado emocional, lo que permite corrobar o afinar los resultados obtenidos.Additionally, an electronic device configured to interact with the operator and extract emotional information to be taken into account by the analysis module is contemplated. Thus advantageously, by direct questions to the operator, for example raised through from a tablet or a virtual voice assistant, the information on their emotional state is completed, which allows to corroborate or refine the results obtained.

Una de las realizaciones preferentes de la invención, comprende un puesto de trabajo individual para cada uno de los operadores, donde se disponen físicamente los primeros medios sensores y los dispositivos electrónicos.One of the preferred embodiments of the invention comprises an individual work station for each of the operators, where the first sensor means and the electronic devices are physically arranged.

El módulo de visualización, de acuerdo a una de las realizaciones de la invención, está además configurado para actualizar dinámicamente la acción correctiva mostrada al operario, en función del estado actual y la emoción predominante determinados.The display module, according to one of the embodiments of the invention, is further configured to dynamically update the corrective action shown to the operator, depending on the current state and the predominant emotion determined.

En una realización específica de la invención, el módulo de visualización además está configurado para mostrar las acciones correctivas en ventanas emergentes que incitan al operador a interactuar con la infraestructura. Así, ventajosamente se produce un proceso de interacción con el operador que permite guiarlo de una manera continuada a la ejecución de las acciones correctivas necesarias para preservar o corregir el estado de funcionamiento de la máquina de forma directa o para modificar su propio estado emocional, lo que de manera indirecta también se dirige a preservar el buen funcionamiento de la estructura.In a specific embodiment of the invention, the display module is further configured to display corrective actions in pop-up windows that prompt the operator to interact with the infrastructure. Thus, advantageously there is a process of interaction with the operator that allows him to be guided on an ongoing basis in the execution of the corrective actions necessary to preserve or correct the operating state of the machine directly or to modify his own emotional state. which indirectly also aims to preserve the proper functioning of the structure.

Las variables físicas que se obtienen del operador, al menos en una de las realizaciones de la invención, comprenden parámetros fisiológicos del operador. Así, ventajosamente se realiza una aproximación técnica a la respuesta del operador y el sistema se basa en parámetros objetivos y medibles.The physical variables obtained from the operator, in at least one of the embodiments of the invention, comprise physiological parameters of the operator. Thus, a technical approach to the operator's response is advantageously carried out and the system is based on objective and measurable parameters.

Un segundo aspecto de la presente invención se refiere a un método para gestionar personal de operación de una infraestructura compleja que comprende:A second aspect of the present invention relates to a method for managing operating personnel of a complex infrastructure comprising:

- obtener, por unos primeros medios sensores, un conjunto de variables físicas de un operador de la infraestructura compleja;- obtain, by first sensor means, a set of physical variables of an operator of the complex infrastructure;

- asociar, por un módulo de análisis, cada una de las variables físicas obtenidas con un valor de excitación y un valor de valencia;- associate, by means of an analysis module, each of the physical variables obtained with an excitation value and a valence value;

- determinar, basado en dichos valores, una emoción predominante del operador;- determine, based on said values, a predominant emotion of the operator;

- obtener, por unos segundos medios sensores, un estado de funcionamiento actual de la infraestructura compleja; - obtaining, for a few second sensor means, a current operating state of the complex infrastructure;

- determinar, por un módulo de proceso, una acción correctiva del funcionamiento de la infraestructura, en función del estado de funcionamiento actual y la emoción predominante del operador; y- determine, by a process module, a corrective action for the operation of the infrastructure, based on the current state of operation and the predominant emotion of the operator; and

- proporcionar, por un módulo de visualización, la acción correctiva al operador.- provide, by a display module, corrective action to the operator.

Adicionalmente, en una de las realizaciones se contempla determinar, por un módulo de predicción un estado de funcionamiento futuro, basado en un algoritmo de inteligencia artificial alojado en una base de datos no relacional que contiene información histórica de los estados de funcionamiento de la infraestructura compleja.Additionally, in one of the embodiments, it is contemplated to determine, by a prediction module, a future operating state, based on an artificial intelligence algorithm housed in a non-relational database that contains historical information on the operating states of the complex infrastructure. .

Obtener el conjunto de variables físicas comprende, de acuerdo a una de las realizaciones de la invención: obtener, por una cámara web, una imagen facial del operador; obtener, por un micrófono, una grabación de audio; y obtener, por un pulsómetro, un ritmo cardíaco del operador. Además, en una realización específica, asociar las variables físicas con un valor de excitación y un valor de valencia comprende: comparar la imagen facial del operador con un conjunto de patrones faciales asociados previamente a diferentes emociones; comparar la prosodia y nivel de ruido de la grabación de audio con unos patrones y umbrales máximos definidos previamente y asociados a diferentes emociones; comparar el ritmo cardíaco con diferentes umbrales definidos previamente y asociados a diferentes emociones.Obtaining the set of physical variables comprises, according to one of the embodiments of the invention: obtaining, by a web camera, a facial image of the operator; obtain, through a microphone, an audio recording; and obtain, by a heart rate monitor, an operator's heart rate. Furthermore, in a specific embodiment, associating the physical variables with an excitation value and a valence value comprises: comparing the operator's facial image with a set of facial patterns previously associated with different emotions; compare the prosody and noise level of the audio recording with previously defined maximum thresholds and patterns associated with different emotions; compare heart rate with different thresholds previously defined and associated with different emotions.

De manera opcional, en una realización de la invención, se contempla además extraer, por un dispositivo electrónico, una información emocional adicional del operador mediante una interacción del operador con dicho dispositivo electrónico.Optionally, in one embodiment of the invention, it is further contemplated to extract, by an electronic device, additional emotional information from the operator through operator interaction with said electronic device.

En una de las realizaciones de la invención, además se contempla actualizar dinámicamente la acción correctiva mostrada al operador, en función del estado de funcionamiento actual y la emoción predominante determinados; y mostrar unas ventanas emergentes con las acciones correctivas que incitan al operador a interactuar con la infraestructura.In one of the embodiments of the invention, it is also contemplated to dynamically update the corrective action shown to the operator, depending on the current operating state and the predominant emotion determined; and show pop-up windows with corrective actions that encourage the operator to interact with the infrastructure.

De acuerdo a una realización de la invención, determinar una acción correctiva comprende seleccionar, en una base de datos no relacional, una instrucción para el operador, en función de la comparación del estado de funcionamiento de la infraestructura y la emoción predominante con un primer y un segundo umbral respectivamente. According to an embodiment of the invention, determining a corrective action comprises selecting, in a non-relational database, an instruction for the operator, based on the comparison of the state of operation of the infrastructure and the predominant emotion with a first and a second threshold respectively.

La presente invención implica multitud de ventajas, entre ellas merece destacarse la reducción de errores que se consigue mediante la monitorización del estado emocional de los operadores y la presentación inteligente de la información, de forma que permite gestionar el sesgo emocional de los operadores y guiarlos a decisiones de actuación eficaces y de bajo coste para el sistema. Así, la presente invención asiste de una manera continuada al personal de operación, de manera que el proceso de interacción entre el personal de operación y la presente invención resulta en una serie de acciones que producen el efecto técnico de prevenir el malfuncionamiento de la infraestructura compleja.The present invention implies a multitude of advantages, among them the reduction of errors achieved by monitoring the emotional state of the operators and the intelligent presentation of the information, so that it allows managing the emotional bias of the operators and guiding them to effective and low cost decisions for the system. Thus, the present invention assists the operating personnel in a continuous way, so that the interaction process between the operating personnel and the present invention results in a series of actions that produce the technical effect of preventing the malfunction of complex infrastructure .

De acuerdo a todo lo anterior, la presente invención ofrece una potente herramienta de control y asistencia al funcionamiento de las infraestructuras complejas mediante la gestión del personal de operación en entornos críticos, donde se combinan los estados emocionales de los operarios encargados de tomar decisiones con la monitorización de varios parámetros de funcionamiento de la infraestructura, como la temperatura de las salas, el estado de los racks y los servidores. El resultado, que además puede combinarse con sistemas de predicción de errores basados en inteligencia artificial, permite realizar de forma automática los análisis necesarios y capaces de ofrecer al personal de operaciones toda la información necesaria y al nivel adecuado, automatizando la toma de decisiones total o parcialmente. Es decir que el sistema no sobrecarga de información al operador, sino que solo muestra aquella información relacionada con las funciones específicas de éste (y no de todo el sistema), las cuales requieren una especial atención o una actuación determinada.In accordance with all of the foregoing, the present invention offers a powerful tool for control and assistance in the operation of complex infrastructures through the management of operating personnel in critical environments, where the emotional states of the operators in charge of making decisions are combined with the monitoring of various operating parameters of the infrastructure, such as the temperature of the rooms, the state of the racks and servers. The result, which can also be combined with artificial intelligence-based error prediction systems, allows the necessary analyzes to be carried out automatically and capable of offering operations personnel all the necessary information at the appropriate level, automating total decision-making or partially. In other words, the system does not overload the operator with information, but only displays information related to its specific functions (and not the entire system), which require special attention or a specific action.

La gestión emocional de las infraestructuras complejas, de acuerdo a la presente invención, establece una aproximación sorprendente, al incorporar el factor humano en el foco de las actuaciones basándose en su estado emocional, lo que produce un comportamiento totalmente predecible y objetivo (depende principalmente de parámetros físicos y fisiológicos perfectamente cuantificables) que debe tenerse en cuenta para evitar errores. La interacción del personal de operación incluye la presentación de información relevante para guiar la toma de decisiones de manera automática y conservar el funcionamiento de la infraestructura. Dicha información adapta sus funcionalidades al sesgo emocional de los operarios que finalmente van a ejecutar las instrucciones.The emotional management of complex infrastructures, according to the present invention, establishes a surprising approach, by incorporating the human factor into the focus of actions based on their emotional state, which produces totally predictable and objective behavior (mainly depends on perfectly quantifiable physical and physiological parameters) that must be taken into account to avoid errors. The interaction of operating personnel includes the presentation of relevant information to guide decision-making automatically and preserve the operation of the infrastructure. This information adapts its functionalities to the emotional bias of the operators who will finally execute the instructions.

Además de la gestión de las situaciones en tiempo real, en una de las realizaciones se cuenta con el valor añadido de un módulo de predicción, gracias al cual pueden anticiparse determinados estados desfavorables de la infraestructura y generar anticipadamente las acciones encaminadas a evitar dichos estados desfavorables. Por ejemplo, en el caso de utilización elevada de un servidor, el módulo de predicción puede anticipar el riesgo de una posible caída, de tal forma que se puede actuar antes de que llegue a producirse. Lo mismo ocurre con la temperatura de las salas, si el modelo detecta el alcance de una temperatura crítica, se procede a la regulación del sistema de climatización de la sala o a la actuación particular en los racks o servidores que están produciendo ese aumento de temperatura. Así, el módulo de predicción es una herramienta muy útil en un centro de datos puesto que permite conocer el estado futuro de la infraestructura y permite llevar a cabo actuaciones encaminadas a reducir o evitar riesgos futuros que acaecerán en el centro de datos.In addition to managing situations in real time, one of the projects has the added value of a prediction module, thanks to which they can anticipate certain unfavorable states of the infrastructure and generate in advance the actions aimed at avoiding said unfavorable states. For example, in the case of high use of a server, the prediction module can anticipate the risk of a possible fall, so that it can act before it actually occurs. The same happens with the temperature of the rooms, if the model detects the reach of a critical temperature, the regulation of the room's air conditioning system or the particular action in the racks or servers that are producing this increase in temperature. Thus, the prediction module is a very useful tool in a data center since it allows to know the future state of the infrastructure and allows to carry out actions aimed at reducing or avoiding future risks that will occur in the data center.

BREVE DESCRIPCIÓN DE LAS FIGURASBRIEF DESCRIPTION OF THE FIGURES

Para completar la descripción de la invención y con objeto de ayudar a una mejor comprensión de sus características, de acuerdo con un ejemplo preferente de realización de la misma, se acompaña un conjunto de dibujos en donde, con carácter ilustrativo y no limitativo, se han representado las siguientes figuras:To complete the description of the invention and in order to help a better understanding of its characteristics, according to a preferred example of embodiment thereof, a set of drawings is attached where, by way of illustration and not limitation, have been represented the following figures:

- La figura 1 representa los medios sensores de una de las realizaciones de la invención, dispuestos en un puesto de trabajo del operador.- Figure 1 represents the sensor means of one of the embodiments of the invention, arranged in an operator's workplace.

- La figura 2 representa el modelo de emociones excitación/valencia.- Figure 2 represents the excitation / valence emotion model.

- La figura 3 representa un diagrama de flujo del almacenamiento y procesamiento de los datos en una de las realizaciones de la invención.- Figure 3 represents a flow diagram of data storage and processing in one of the embodiments of the invention.

- La figura 4 representa un diagrama de flujo del tratamiento de los datos y la representación de la información al operador.- Figure 4 represents a flow chart of data processing and representation of information to the operator.

- La figura 5 representa un diagrama de flujo del módulo de predicción.- Figure 5 represents a flow diagram of the prediction module.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓNDETAILED DESCRIPTION OF THE INVENTION

La presente invención divulga un método y un sistema para gestionar el personal de operación de una infraestructura compleja en tiempo real, donde los estados emocionales son medidos para cada operador en su puesto de trabajo, a través de los correspondientes puestos de extracción emocional. El sistema se completa con la monitorización del estado de funcionamiento de la infraestructura y, opcionalmente, dotándolo de inteligencia artificial para predecir futuras anomalías en máquinas y servidores de la infraestructura.The present invention discloses a method and a system for managing the operating personnel of a complex infrastructure in real time, where emotional states are measured for each operator at their workplace, through the corresponding positions of emotional extraction. The system is completed with the monitoring of the state of operation of the infrastructure and, optionally, providing it with artificial intelligence to predict future anomalies in machines and servers of the infrastructure.

La presente invención tiene como uno de los objetivos reducir el error humano y gestionar eficazmente las infraestructuras complejas, fundamentado principalmente en que las emociones de los operadores influencian la toma de decisiones de una forma predecible y objetiva. En los entornos de operación donde, tanto las decisiones como las no decisiones, son críticas, resulta necesario conocer, mostrar y anticipar ciertos escenarios de emoción, estado y acción, para actuar de forma eficaz y eficiente. Asumiendo un método del enfoque del error humano como el modelo de causalidad de Dejoy, en el que se establecen tres categorías principales de factores de error causal (comunicación persona-máquina, entorno y toma de decisiones), la presente invención aborda la gestión óptima de infraestructuras complejas como sistemas ciberfísicos con conciencia emocional. Así pues, para conocer el estado de la infraestructura compleja, como un centro de datos, el primer paso consiste en determinar su estado emocional a través de sus operadores.The present invention has as one of its objectives to reduce human error and effectively manage complex infrastructures, mainly based on the fact that the emotions of the operators influence decision making in a predictable and objective way. In operating environments where both decisions and non-decisions are critical, it is necessary to know, show and anticipate certain scenarios of emotion, state and action, in order to act effectively and efficiently. Assuming a method of approaching human error such as Dejoy's model of causality, in which three main categories of causal error factors are established (person-machine communication, environment and decision-making), the present invention addresses the optimal management of complex infrastructures such as emotionally conscious cyber-physical systems. Thus, to know the state of complex infrastructure, such as a data center, the first step is to determine its emotional state through its operators.

Está demostrado que las emociones interfieren en la toma de decisiones y que estas emociones se manifiestan en elementos característicos de nuestra cara, nuestro ritmo cardiaco o nuestra manera de hablar, así como que el sistema nervioso simpático se excita cuando se producen emociones de alegría, enfado o miedo, lo que induce algunos cambios fisiológicos y el aumento de volumen en la voz, la velocidad de pronunciación y la energía en altas frecuencias. En consecuencia, la presente invención realiza la extracción y reconocimiento emocional a los operadores a través de unos puestos de extracción emocional. Estos puestos están formados por el espacio de trabajo habitual de los operadores, con la salvedad de que están dotados de diferentes sensores y dispositivos electrónicos. Los sensores y dispositivos electrónicos dispuestos en los puestos de extracción tienen la finalidad de extraer y medir ciertas variables emocionales, de la forma menos intrusiva posible, con la intención de definir después la emoción predominante del operador.It has been shown that emotions interfere in decision-making and that these emotions are manifested in characteristic elements of our face, our heart rate or our way of speaking, as well as that the sympathetic nervous system is excited when emotions of joy, anger occur or fear, which induces some physiological changes and the increase in volume in the voice, the speed of pronunciation and the energy in high frequencies. Accordingly, the present invention performs emotional extraction and recognition to operators through emotional extraction stations. These positions are made up of the usual work space of the operators, with the exception that they are equipped with different sensors and electronic devices. The sensors and electronic devices arranged in the extraction stations are intended to extract and measure certain emotional variables, in the least intrusive way possible, with the intention of later defining the predominant emotion of the operator.

En la figura 1 se representa un puesto completo de extracción emocional 1, según el cual en la mesa de trabajo de los operadores se incorporan una cámara web 10 (para el reconocimiento facial), un micrófono 11 (para la detección de ruido ambiental excesivo y emociones en el habla del operador), una aplicación móvil/tablet 12 conectada con un asistente virtual 13 (para el desarrollo de encuestas con las que identificar el estado emocional del operador), un pulsómetro 14 (con el que medir el pulso cardíaco) y ciertos sensores para comprobar el estado de la máquina (temperatura, utilización, etc.). Pueden añadirse sensores biométricos adicionales, como por ejemplo un sensor de temperatura. En la siguiente tabla se recoge la información obtenida por cada uno de los dispositivos. Figure 1 shows a complete emotional extraction station 1 , according to which a webcam 10 (for facial recognition), a microphone 11 (for detection of excessive ambient noise and emotions in the operator's speech), a mobile / tablet application 12 connected to a virtual assistant 13 (for the development of surveys with which to identify the emotional state of the operator), a heart rate monitor 14 (with which to measure the heart rate) and certain sensors to check the status of the machine (temperature, use, etc.). Additional biometric sensors, such as a temperature sensor, can be added. The following table shows the information obtained by each of the devices.

Dispositivo Captura de datos Variable emocional Device Data capture Emotional variable

Reconocimiento facial de Cámara web Foto facialWeb Camera Face Recognition Face Photo

emocionesemotions

Grabación de audio y de Prosodia emocional/ saturación MicrófonoAudio recording and emotional Prosody / saturation Microphone

ruido ambiental por nivel de ruido excesivo ambient noise due to excessive noise level

Estado emocional del trabajador AplicaciónWorker's emotional state Application

Encuestas y su nivel de relación con el móvil/ tabletSurveys and their level of relationship with the mobile / tablet

entornoenvironment

Estado emocional del trabajador AsistenteAssistant worker's emotional state

Encuestas y su nivel de relación con el virtualSurveys and their level of relationship with the virtual

entornoenvironment

Biométricos (pulso Estado de excitación del PulsómetroBiometric (pulse Excitation state of the heart rate monitor

cardíaco) trabajadorheart) worker

Registros, logs, Detección de polaridad en texto y Máquina mensajes, estado de detección de anomalías en las máquinas... máquinasLogs, logs, polarity detection in text and machine messages, detection status of machine anomalies ... machines

A continuación se describe más en detalle cada uno de los elementos del puesto de extracción emocional y las emociones reconocidas:The following describes each of the elements of the emotional extraction station and the recognized emotions in more detail:

- Web Cam y reconocimiento facial 10: la Web Cam está dispuesta en la parte superior de la pantalla de trabajo de cada operador, de tal forma que toma imágenes faciales cada cierto periodo de tiempo (definido por la ventana temporal implementada en el centro de datos), las cuales se procesan por un modelo de reconocimiento facial (basado- Web Cam and facial recognition 10: the Web Cam is arranged at the top of each operator's work screen, in such a way that it takes facial images every certain period of time (defined by the time window implemented in the data center ), which are processed by a facial recognition model (based

1 one

en Machine Learning). Este modelo de reconocimiento facial distingue entre cinco emociones básicas: enfado, tristeza, indiferencia (estado neutral), felicidad y sorpresa. in Machine Learning). This facial recognition model distinguishes between five basic emotions: anger, sadness, indifference (neutral state), happiness, and surprise.

- Micrófono y prosodia emocional 11: el micrófono utilizado permite, para la misma ventana temporal, obtener, en caso de que el operador interactúe verbalmente con algún otro elemento de la infraestructura, un fragmento de audio. Este fragmento de audio se analiza a través del modelo de prosodia emocional, generando una puntuación de -1 a 1 que indica la excitación del operador en el habla, siendo -1 la excitación mínima y 1 la excitación máxima.- Microphone and emotional prosody 11: the microphone used allows, for the same time window, to obtain, in case the operator verbally interacts with some other element of the infrastructure, a piece of audio. This audio fragment is analyzed through the emotional prosody model, generating a score of -1 to 1 that indicates the operator's excitation in speech, with -1 being the minimum excitation and 1 the maximum excitation.

- Aplicación móvil/tablet y encuestas de estado emocional 12: una aplicación informática específicamente desarrollada, para móviles y tablets, plantea una serie de preguntas que el operador debe contestar. Las preguntas están relacionadas con su estado emocional, nivel o carga de trabajo, entorno físico, incidencias, etc. El tiempo estimado de la realización de la encuesta es de escasos minutos, de tal forma que, además de ser un foco adicional de conocimiento del estado emocional del operador, le sirve para mantener un adecuado nivel de atención en las tareas ejecutadas. Todas estas respuestas tendrán atribuidas una puntuación, por lo que la emoción final identificada será la puntuación ponderada de la encuesta. Además, al tener cada una de ellas asociada una tipología de pregunta (por ejemplo, trabajo, humor, entorno...) Es posible conocer además el estado emocional con respecto a las diferentes áreas de la infraestructura, es decir, su relación con el medio de trabajo.- Mobile / tablet application and emotional state surveys 12: a computer application specifically developed for mobile phones and tablets, raises a series of questions that the operator must answer. The questions are related to their emotional state, level or workload, physical environment, incidents, etc. The estimated time of conducting the survey is a few minutes, so that, in addition to being an additional focus of knowledge of the emotional state of the operator, it serves to maintain an adequate level of attention in the tasks performed. All these answers will have a score attributed, so the final emotion identified will be the weighted score of the survey. In addition, since each of them is associated with a type of question (for example, work, humor, environment ...) It is also possible to know the emotional state with respect to the different areas of the infrastructure, that is, its relationship with the working medium.

- Asistente virtual y encuestas de estado emocional 13: la funcionalidad realmente es la misma que la de la aplicación móvil/tablet, con la salvedad de que la interacción es oral, es decir, el asistente lee las preguntas de la encuesta y el operador responde verbalmente, obteniendo además de la puntuación final de la encuesta, un audio disponible para su análisis de prosodia emocional.- Virtual assistant and emotional state surveys 13: the functionality is really the same as that of the mobile / tablet application, except that the interaction is oral, that is, the assistant reads the survey questions and the operator answers verbally, obtaining in addition to the final survey score, an audio available for analysis of emotional prosody.

- Pulsómetro y biométricos 14: se dispone de una pulsera o reloj que, colocada en la muñeca de los operadores, mide su pulso cardíaco. De tal forma que, para la ventana temporal definida en el centro de datos, se obtienen datos reales acerca del nivel de excitación del operador, representado por el valor de su pulso cardíaco.- Heart rate monitor and biometric 14: there is a bracelet or watch that, placed on the wrist of the operators, measures your heart rate. In this way, for the time window defined in the data center, real data is obtained about the operator's excitement level, represented by the value of his cardiac pulse.

El concepto de excitación utilizado, referido al análisis de emociones, se debe a la típica caracterización de las mismas por medio de dos variables: la excitación y la valencia. La figura 2 recoge gráficamente este modelo, donde la excitación 21, que se representa en el eje vertical, se corresponde al grado de activación de la emoción y la valencia 22, que se representa en el eje horizontal, es la dimensión principal sobre la cual se construye la experiencia emocional, es decir, el placer o desagrado que produce la emoción. Así pues, la emoción resultante viene expresada mediante dos valores: valencia y excitación, de los cuales se ha demostrado que la principal variable relacionada con la valencia de una emoción es la expresada a través de una imagen, mediante las expresiones faciales y, por el contrario, a la hora de expresar o indicar excitación, las variables más significativas son las obtenidas a través del audio y el pulso cardíaco.The concept of excitation used, referred to the analysis of emotions, is due to the typical characterization of the emotions by means of two variables: excitation and valence. The Figure 2 graphically collects this model, where the excitation 21 , which is represented on the vertical axis, corresponds to the degree of activation of the emotion and the valence 22 , which is represented on the horizontal axis, is the main dimension on which it constructs the emotional experience, that is to say, the pleasure or displeasure that produces the emotion. Thus, the resulting emotion is expressed through two values: valence and excitement, of which it has been shown that the main variable related to the valence of an emotion is expressed through an image, through facial expressions and, by the On the contrary, when expressing or indicating excitement, the most significant variables are those obtained through audio and the heart rate.

En la figura 3 se representa el flujo seguido en una de las realizaciones de la invención para el almacenamiento y procesamiento de los datos. Llevando a cabo la conversión de todas las variables de entrada en puntuaciones de la emoción, se obtiene una emoción final resultante para cada operador. Uniendo todas las emociones detectadas en el centro de datos, se obtiene una visión general del estado de cada uno de los operadores, su estado emocional resultante y su relación con el entorno de trabajo. Los valores de cada una de las variables de entrada 31 de la emoción forman parte de un sistema Fast Data, donde los datos medidos en cada instante se incorporan a un flujo de información, definiendo tantos temas 32 como variables de entrada, que conectarán con una base de datos no relacional 33. El almacenamiento de los datos se produce de forma distribuida y siempre permanecen disponibles y actualizados. Este mismo flujo es válido para el almacenamiento de cualquier variable de la infraestructura, lo que posibilita la realización y autocorrección de los modelos de predicción 34 que ofrecen como salida 35 las emociones finales y anomalías detectadas. Figure 3 represents the flow followed in one of the embodiments of the invention for data storage and processing. By performing the conversion of all input variables into emotion scores, a resulting final emotion is obtained for each operator. Bringing together all the emotions detected in the data center, an overview of the state of each of the operators, their resulting emotional state and their relationship with the work environment is obtained. The values of each of the input variables 31 of the emotion are part of a Fast Data system, where the data measured at each moment are incorporated into an information flow, defining as many subjects 32 as input variables, which will connect with a non-relational database 33 . The data is stored in a distributed manner and always remains available and updated. This same flow is valid for the storage of any variable of the infrastructure, which enables the realization and self-correction of the prediction models 34 that offer as output 35 the final emotions and anomalies detected.

En la figura 4 se representa el flujo seguido en una de las realizaciones de la invención para el tratamiento de los datos y la representación de su visualización. Este flujo está compuesto por cinco componentes. Las variables de entrada 41 (las cuales pertenecen tanto a las variables detectadas por el puesto de extracción emocional como por las variables propias de las máquinas y la infraestructura (temperatura, nivel de utilización de los servidores, energía consumida, etc.)) son consideradas como datos de entrada del modelo técnico 42 de datos de información emocional y anomalías, el cual procesa y genera unos datos de salida 43 que corresponden tanto a los resultados emocionales de los operadores (emoción final y niveles de relación de estos con su entorno) como a los resultados técnicos de la infraestructura (temperatura, consumo, utilización...) así como la detección de futuras anomalías. Estos resultados condicionan las directrices o pautas seguidas para el desarrollo de la visualización 44, las cuales conforman la visualización inteligente 45, que muestra la información con colores, gráficas o mensajes de aviso en función de los estados y resultados 43 obtenidos por el modelo. Figure 4 shows the flow followed in one of the embodiments of the invention for data processing and the representation of its display. This flow is made up of five components. The input variables 41 (which belong to both the variables detected by the emotional extraction station and the variables of the machines and infrastructure (temperature, level of use of the servers, energy consumed, etc.)) are considered as input data of the technical model 42 of emotional information data and anomalies, which processes and generates output data 43 that correspond both to the emotional results of the operators (final emotion and levels of relationship of these with their environment) and to the technical results of the infrastructure (temperature, consumption, utilization ...) as well as the detection of future anomalies. These results condition the guidelines or guidelines followed for the development of the visualization 44, which make up the intelligent visualization 45, which shows the information with colors, graphs or warning messages depending on the states and results 43 obtained by the model.

Al margen del puesto de extracción descrito arriba y todos los procedimientos implicados en extracción y reconocimiento emocional de los operadores, la presente invención cuenta con una segunda unidad, interrelacionada con la primera, destinada a la gestión técnica y emocional. A su vez, esta segunda unidad está definida por dos módulos: uno de representación de la información y toma de decisiones (basadas en elementos físicos de la infraestructura, como sensores ambientales y máquinas), y otro de actuación en el operador.Apart from the extraction station described above and all the procedures involved in emotional extraction and recognition of operators, the present invention has a second unit, interrelated with the first, intended for technical and emotional management. In turn, this second unit is defined by two modules: one for information representation and decision-making (based on physical elements of the infrastructure, such as environmental sensors and machines), and another for operating on the operator.

El módulo de representación de la información, está configurado para presentar dicha información al operario en una pantalla 15 de manera dinámica, actualizable en tiempo real con los datos que se vayan incorporando al sistema y cambiante en función del operador y emoción detectados, y de la situación de la infraestructura. Se dispone para ello de un flujo de datos en tiempo real, con tantos canales como variables de entrada del sistema, conectado a una base de datos distribuida. Así pues, los datos a representar no son los mismos si se está produciendo un estado crítico en uno de los servidores o si el sistema se desarrolla de acuerdo a la normalidad. Los gráficos, colores, herramientas y acciones son también cambiantes. Por ejemplo, en el caso de un estado crítico, aparecen colores llamativos como el rojo y el naranja, alertas y gráficas concretas de los problemas detectados y que precisan una actuación urgente, ordenadas por el nivel de criticidad. En este tipo de escenarios la globalidad del sistema se desvanece y es preciso particularizar y reducir las dimensiones del sistema, centrándose en las variables dependientes del fallo detectado. Las acciones son directas y concisas, encaminadas a la actuación sobre las variables críticas que permiten reducir, solucionar o anticipar los efectos del estado crítico detectado.The information representation module is configured to present said information to the operator on a screen 15 dynamically, which can be updated in real time with the data that is incorporated into the system and changes depending on the operator and emotion detected, and the infrastructure situation. For this, a real-time data flow is available, with as many channels as input variables of the system, connected to a distributed database. Thus, the data to be represented is not the same if a critical state is occurring on one of the servers or if the system is developing according to normality. The graphics, colors, tools and actions are also changeable. For example, in the case of a critical condition, striking colors such as red and orange appear, alerts and specific graphics of the detected problems that require urgent action, ordered by the level of criticality. In this type of scenario, the overall system fades and it is necessary to specify and reduce the dimensions of the system, focusing on the variables dependent on the detected failure. The actions are direct and concise, aimed at acting on the critical variables that allow reducing, solving or anticipating the effects of the detected critical state.

Por el contrario, en caso de un estado normal, la visualización es mucho más homogénea, con colores como el blanco, azul o verde, la cual muestra el estado global de la infraestructura. Las acciones están encaminadas a mantener los estados de trabajo óptimos de los operadores o a la realización de una revisión periódica del sistema. La infraestructura es mostrada desde un punto de vista global y las gráficas pueden mostrarse y ordenarse aOn the contrary, in the case of a normal state, the display is much more homogeneous, with colors such as white, blue or green, which shows the overall state of the infrastructure. The actions are aimed at maintaining the optimal working states of the operators or carrying out a periodic review of the system. The infrastructure is displayed from a global point of view and the graphs can be displayed and ordered by

1 one

gusto del operador, sin llevar asociado ningún orden de criticidad ni selección de variables críticas.taste of the operator, without having associated any order of criticality or selection of critical variables.

Además, las decisiones que realice el operador están sesgadas por la emoción que experimenta en ese preciso momento, por lo que las decisiones de actuación se muestran de forma inteligente, incentivando al operador a tomar decisiones correctivas. Por ejemplo, en el caso de que la emoción detectada por el operador denote una concentración baja o un nivel bajo de actuación, la acción se expresa de forma simple, sin alternativas y siguiendo un método procedimental que requiere la interacción del operador, por ejemplo, mediante preguntas de realización de la acción o de imposibilidad de avance sin realización de las tareas precedentes. De esta forma el margen de error del operador se disminuye y se incentiva su actuación y aumento del grado de concentración.In addition, the decisions made by the operator are biased by the emotion they are experiencing at that precise moment, so that the action decisions are displayed intelligently, encouraging the operator to make corrective decisions. For example, in the event that the emotion detected by the operator denotes a low concentration or a low level of performance, the action is expressed simply, without alternatives and following a procedural method that requires operator interaction, for example, by asking questions about the action or impossibility of progress without completing the previous tasks. In this way, the operator's margin of error is decreased and its performance and concentration degree are encouraged.

El estado actual de la infraestructura queda determinado, además de por las emociones identificadas, por los sensores dispuestos en todas las máquinas y el entorno físico de trabajo. Por ejemplo, se disponen micrófonos para conocer el ruido ambiental de las salas de trabajo, sensores ambientales para conocer su temperatura y humedad, se monitorizan las máquinas para conocer su temperatura, utilización, logs... Todos estos datos se almacenados, al igual que las variables emocionales, a través de un sistema Fast Data, en una base de datos distribuida y no relacional.The current state of the infrastructure is determined, in addition to the identified emotions, by the sensors arranged in all the machines and the physical working environment. For example, microphones are available to know the environmental noise of the work rooms, environmental sensors to know its temperature and humidity, the machines are monitored to know its temperature, use, logs ... All this data is stored, as well as emotional variables, through a Fast Data system, in a distributed and non-relational database.

El segundo módulo de esta unidad está basado en las acciones directas a los operadores en función del estado emocional reconocido. Estas acciones se encaminan a modificar la emoción del operador para llevarlas al óptimo de trabajo. Estas acciones muestran en forma de ventanas emergentes en las pantallas de trabajo de los operadores órdenes claras y concisas que interactúan con el operario para asistirle en el desarrollo de una actividad concreta (por ejemplo, en la solución de un error detectado, como aumento de temperatura de una máquina o aumento excesivo en la utilización de un servidor) o para modificar su estado emocional (indicando por ejemplo una pausa para reducir su excitación o una acción de actividad para recuperar su atención) y, en consecuencia, el de la infraestructura. La relación de los dos módulos de esta segunda unidad hace necesario que el módulo de actuación tenga influencia también en la visualización de la información. Así, dependiendo de la emoción de los operadores, los datos y las decisiones a tomar se muestran de forma que se maneja el sesgo emocional identificado de los operadores y se les conduce a decisiones de actuación eficaces.The second module of this unit is based on direct actions to operators based on the recognized emotional state. These actions are aimed at modifying the operator's emotion to bring them to the optimal work. These actions show in the form of pop-up windows on the operator's work screens clear and concise orders that interact with the operator to assist him in the development of a specific activity (for example, in the solution of a detected error, such as temperature increase of a machine or excessive increase in the use of a server) or to modify their emotional state (indicating for example a pause to reduce their excitement or an activity action to regain their attention) and, consequently, that of the infrastructure. The relationship of the two modules of this second unit makes it necessary for the actuation module to also influence the display of information. Thus, depending on the emotion of the operators, the data and the decisions to be made are displayed that the identified emotional bias of the operators is managed and they are led to effective action decisions.

Por último, una vez obtenido el estado actual de la infraestructura, mediante las emociones de los operadores y el estado de la infraestructura y de las máquinas, representado el contenido en función del sesgo emocional localizado y los estados críticos, y llevando a cabo las actuaciones en los operadores para mantener su estado óptimo de desarrollo de actividad, en una de las realizaciones de la invención se contempla aportar un valor añadido a los datos almacenados dotando al sistema de una tercera unidad de inteligencia artificial con algoritmos de machine learning. Esta tercera unidad permite predecir estados de máxima criticidad en los centros de datos como son, por ejemplo, las caídas de los servidores y avisan de la posible ocurrencia de un fallo, a partir de los datos históricos almacenados y los obtenidos para un momento dado.Finally, once the current state of the infrastructure has been obtained, using the emotions of the operators and the state of the infrastructure and the machines, representing the content based on the localized emotional bias and critical states, and carrying out the actions In operators to maintain their optimal state of activity development, one of the embodiments of the invention contemplates adding value to the stored data by providing the system with a third artificial intelligence unit with machine learning algorithms. This third unit allows predicting highly critical states in data centers such as, for example, server outages and warns of the possible occurrence of a failure, based on the stored historical data and those obtained for a given moment.

En la figura 5 se representa el flujo seguido por los modelos predictivos de esta tercera unidad de predicción, que consiste en la modelización de la utilización, temperatura, logs, peticiones, etc. de las máquinas de tal manera que se puedan ejecutar distintas medidas y protocolos de seguridad antes de que, por ejemplo, se produzca un ataque informático, una máquina alcance temperaturas críticas o su utilización alcance niveles máximos. A partir de los datos de entrada 51 y el posterior procesado y análisis 52 de los mismos, los modelos 53 y algoritmos son actualizados iterativamente, realimentando de nuevo la entrada y permitiendo al sistema autocorregirse. Una vez aplicados los modelos predictivos a los datos de entrada, el sistema presenta una etapa 54 de evaluación y verificación, antes de finalmente ofrecer los resultados de salida 55. Figure 5 represents the flow followed by the predictive models of this third prediction unit, which consists of modeling utilization, temperature, logs, requests, etc. machines in such a way that different security measures and protocols can be executed before, for example, a computer attack occurs, a machine reaches critical temperatures or its use reaches maximum levels. From the input data 51 and the subsequent processing and analysis 52 thereof, the models 53 and algorithms are updated iteratively, re-feeding the input and allowing the system to self-correct. Once the predictive models have been applied to the input data, the system presents an evaluation and verification step 54 , before finally offering the output results 55 .

La presente invención no debe verse limitada a la forma de realización aquí descrita. Otras configuraciones pueden ser realizadas por los expertos en la materia a la vista de la presente descripción. En consecuencia, el ámbito de la invención queda definido por las siguientes reivindicaciones.The present invention should not be limited to the embodiment described herein. Other configurations can be made by those skilled in the art in view of the present description. Accordingly, the scope of the invention is defined by the following claims.

1 one

Claims (15)

REIVINDICACIONES 1. Sistema para gestionar personal de operación de una infraestructura compleja que comprende:1. System to manage operating personnel of a complex infrastructure that includes: - unos primeros medios sensores configurados para medir un conjunto de variables físicas de un operador de la infraestructura compleja;- a first sensor means configured to measure a set of physical variables of an operator of the complex infrastructure; - un módulo de análisis (34) configurado para asociar cada una de las variables físicas medidas con un valor de excitación (21) y un valor de valencia (22) y determinar, basado en dichos valores, una emoción predominante (35) del operador;- an analysis module (34) configured to associate each of the measured physical variables with an excitation value (21) and a valence value (22) and determine, based on said values, a predominant emotion (35) of the operator ; - unos segundos medios sensores configurados para identificar un estado de funcionamiento actual de la infraestructura compleja;- second sensor means configured to identify a current operating state of the complex infrastructure; - un módulo de proceso configurado para determinar una acción correctiva del funcionamiento de la infraestructura, en función del estado de funcionamiento actual y la emoción predominante del operador; y- a process module configured to determine a corrective action for the operation of the infrastructure, depending on the current state of operation and the predominant emotion of the operator; and - un módulo de visualización configurado para proporcionar la acción correctiva al operador.- a display module configured to provide corrective action to the operator. 2. Sistema de acuerdo a la reivindicación 1, que además comprende un módulo de predicción (53) configurado para predecir un estado de funcionamiento futuro, basado en un algoritmo de inteligencia artificial alojado en una base de datos no relacional (33) que contiene información histórica de los estados de funcionamiento de la infraestructura compleja.2. System according to claim 1, further comprising a prediction module (53) configured to predict a future operating state, based on an artificial intelligence algorithm housed in a non-relational database (33) that contains information history of the operating states of complex infrastructure. 3. Sistema de acuerdo a cualquiera de las reivindicaciones anteriores los primeros medios sensores comprenden al menos uno de los siguientes elementos: una cámara web (10), un micrófono (11) y un pulsómetro (14).3. System according to any of the preceding claims, the first sensor means comprise at least one of the following elements: a web camera (10), a microphone (11) and a heart rate monitor (14). 4. Sistema de acuerdo a cualquiera de las reivindicaciones anteriores que además comprende un dispositivo electrónico (12, 13) configurado para interaccionar con el operador y extraer información emocional a tener en cuenta por el módulo de análisis.4. System according to any of the preceding claims, further comprising an electronic device (12, 13) configured to interact with the operator and extract emotional information to be taken into account by the analysis module. 5. Sistema de acuerdo a las reivindicaciones 3 y 4 donde los primeros medios sensores y los dispositivos electrónicos están físicamente dispuestos en un puesto de trabajo individual (1) para cada operador. 5. System according to claims 3 and 4 where the first sensor means and electronic devices are physically arranged in an individual workstation (1) for each operator. 6. Sistema de acuerdo a cualquiera de las reivindicaciones anteriores donde el módulo de visualización está además configurado para actualizar dinámicamente la acción correctiva mostrada al operario, en función del estado actual y la emoción predominante determinados.6. System according to any of the preceding claims, where the display module is further configured to dynamically update the corrective action shown to the operator, depending on the current state and the predominant emotion determined. 7. Sistema de acuerdo a cualquiera de las reivindicaciones anteriores donde el módulo de visualización además está configurado para mostrar las acciones correctivas en ventanas emergentes que incitan al operador a interactuar con la infraestructura.7. System according to any of the preceding claims, where the display module is also configured to show corrective actions in pop-up windows that encourage the operator to interact with the infrastructure. 8. Sistema de acuerdo a cualquiera de las reivindicaciones anteriores donde las variables físicas comprenden parámetros fisiológicos del operador.8. System according to any of the preceding claims where the physical variables comprise physiological parameters of the operator. 9. Método para gestionar personal de operación de una infraestructura compleja que comprende:9. Method to manage operating personnel of a complex infrastructure that includes: - obtener, por unos primeros medios sensores, un conjunto de variables físicas de un operador de la infraestructura compleja;- obtain, by first sensor means, a set of physical variables of an operator of the complex infrastructure; - asociar, por un módulo de análisis, cada una de las variables físicas obtenidas con un valor de excitación y un valor de valencia;- associate, by means of an analysis module, each of the physical variables obtained with an excitation value and a valence value; - determinar, basado en dichos valores, una emoción predominante del operador; - obtener, por unos segundos medios sensores, un estado de funcionamiento actual de la infraestructura compleja;- determine, based on said values, a predominant emotion of the operator; - obtaining, for a few second sensor means, a current operating state of the complex infrastructure; - determinar, por un módulo de proceso, una acción correctiva del funcionamiento de la infraestructura, en función del estado de funcionamiento actual y la emoción predominante del operador; y- determine, by a process module, a corrective action for the operation of the infrastructure, based on the current state of operation and the predominant emotion of the operator; and - proporcionar, por un módulo de visualización, la acción correctiva al operador.- provide, by a display module, corrective action to the operator. 10. Método de acuerdo a la reivindicación 9 que además comprende determinar, por un módulo de predicción (53) un estado de funcionamiento futuro, basado en un algoritmo de inteligencia artificial alojado en una base de datos no relacional (33) que contiene información histórica de los estados de funcionamiento de la infraestructura compleja.10. Method according to claim 9 which further comprises determining, by a prediction module (53) a future operating state, based on an artificial intelligence algorithm housed in a non-relational database (33) that contains historical information of the operating states of complex infrastructure. 11. Método de acuerdo a cualquiera de las reivindicaciones 9-10 donde obtener el conjunto de variables físicas comprende:11. Method according to any of claims 9-10 where obtaining the set of physical variables comprises: - obtener, por una cámara web, una imagen facial del operador; - obtain, by a webcam, a facial image of the operator; - obtener, por un micrófono, una grabación de audio; y- obtain, by a microphone, an audio recording; and - obtener, por un pulsómetro, un ritmo cardíaco del operador.- obtain, by means of a heart rate monitor, an operator's heart rate. 12. Método de acuerdo a la reivindicación 11 donde asociar las variables físicas con un valor de excitación y un valor de valencia comprende:12. Method according to claim 11 where associating the physical variables with an excitation value and a valence value comprises: - comparar la imagen facial del operador con un conjunto de patrones faciales asociados previamente a diferentes emociones;- compare the operator's facial image with a set of facial patterns previously associated with different emotions; - comparar la prosodia y nivel de ruido de la grabación de audio con unos patrones y umbrales máximos definidos previamente y asociados a diferentes emociones;- compare the prosody and noise level of the audio recording with previously defined maximum thresholds and patterns and associated with different emotions; - comparar el ritmo cardíaco con diferentes umbrales definidos previamente y asociados a diferentes emociones.- compare heart rate with different thresholds previously defined and associated with different emotions. 13. Método de acuerdo a la reivindicación 12 que además comprende extraer, por un dispositivo electrónico, una información emocional adicional del operador mediante una interacción del operador con dicho dispositivo electrónico.The method according to claim 12, further comprising extracting, by an electronic device, additional emotional information from the operator through an interaction of the operator with said electronic device. 14. Método de acuerdo a cualquiera de las reivindicaciones 9-13 que además comprende:14. Method according to any of claims 9-13 which further comprises: - actualizar dinámicamente la acción correctiva mostrada al operador, en función del estado de funcionamiento actual y la emoción predominante determinados; y- dynamically update the corrective action shown to the operator, depending on the current operating state and the predominant emotion determined; and - mostrar una ventana emergente con la acción correctiva que incita al operador a interactuar con la infraestructura.- show a pop-up window with corrective action that encourages the operator to interact with the infrastructure. 15. Método de acuerdo a cualquiera de las reivindicaciones 9-14 donde determinar una acción correctiva comprende seleccionar, en una base de datos no relacional (33), una instrucción para el operador, en función de la comparación del estado de funcionamiento de la infraestructura y la emoción predominante con un primer y un segundo umbral respectivamente.15. Method according to any of claims 9-14 where determining a corrective action comprises selecting, in a non-relational database (33), an instruction for the operator, based on the comparison of the state of operation of the infrastructure and the predominant emotion with a first and a second threshold respectively. 1 one
ES201930786A 2019-09-09 2019-09-09 SYSTEM AND METHOD FOR MANAGING OPERATIONAL PERSONNEL IN CRITICAL ENVIRONMENTS (Machine-translation by Google Translate, not legally binding) Pending ES2761728A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
ES201930786A ES2761728A1 (en) 2019-09-09 2019-09-09 SYSTEM AND METHOD FOR MANAGING OPERATIONAL PERSONNEL IN CRITICAL ENVIRONMENTS (Machine-translation by Google Translate, not legally binding)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201930786A ES2761728A1 (en) 2019-09-09 2019-09-09 SYSTEM AND METHOD FOR MANAGING OPERATIONAL PERSONNEL IN CRITICAL ENVIRONMENTS (Machine-translation by Google Translate, not legally binding)

Publications (1)

Publication Number Publication Date
ES2761728A1 true ES2761728A1 (en) 2020-05-20

Family

ID=70682560

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201930786A Pending ES2761728A1 (en) 2019-09-09 2019-09-09 SYSTEM AND METHOD FOR MANAGING OPERATIONAL PERSONNEL IN CRITICAL ENVIRONMENTS (Machine-translation by Google Translate, not legally binding)

Country Status (1)

Country Link
ES (1) ES2761728A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013006615A1 (en) * 2011-07-05 2013-01-10 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
EP2808761A1 (en) * 2013-05-28 2014-12-03 The Boeing Company Tracking a user to support tasks performed on complex-system components
US20150193718A1 (en) * 2015-03-23 2015-07-09 Looksery, Inc. Emotion recognition for workforce analytics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013006615A1 (en) * 2011-07-05 2013-01-10 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
EP2808761A1 (en) * 2013-05-28 2014-12-03 The Boeing Company Tracking a user to support tasks performed on complex-system components
US20150193718A1 (en) * 2015-03-23 2015-07-09 Looksery, Inc. Emotion recognition for workforce analytics

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CORREDERA A., ROMERO M., MOYA J. Affective computing for Smart operations: a survey and comparative analysis of the available tools, libraries and web services. . International Jounal of Innovative and Applied Research, 2017, Vol. 5, Páginas 12-35 2348-0318, Abstract, Introduction, Affective Computing Research Matrix, Application/Usability; páginas 12-14 *
EOIN WHELAN, DANIEL MCDUFF, ROB GLEASURE, JAN VOM BROCKE. How Emotion-Sensing Technology Can Reshape the Workplace. MIT Sloan Review, 5/2/2018, [en línea][recuperado el 01/05/2020]. Recuperado de Internet (URL:https://web.archive.org/web/20181003231732/https://sloanreview.mit.edu/article/how-emotion-sensing-technology-can-reshape-the-workplace/), Todo el documento *
MUÑOZ S., ARAQUE O., SÁNCHEZ-RADA J., IGLESIAS C. An Emotion Aware Task Automation Architecture Based on Semantic Technologies for Smart Offices. Sensors, 10/05/2018, (DOI: doi:10.3390/s18051499) <p>Todo el documento</p> *
SUBHASINI R., NIVEDITHA P. Analyzing and Detecting Employee's Emotion for Amelioration Of Organizations. International Conference on Intelligent Computing, Communication and Convergence 2015, 2015, Páginas 530-536 (DOI: doi: 10.1016/j.procs.2015.04.131) Todo el documento *

Similar Documents

Publication Publication Date Title
Kim et al. Towards emotionally aware AI smart classroom: Current issues and directions for engineering and education
US10621685B2 (en) Cognitive education advisor
Suero Montero et al. Emotion analysis meets learning analytics: online learner profiling beyond numerical data
US10909462B2 (en) Multi-dimensional sensor data based human behaviour determination system and method
US20150339453A1 (en) Context based augmented reality
Patrick et al. Approaches to understanding, analysing and developing situation awareness
BR112020024771A2 (en) personal protective equipment and safety management system with active worker detection and assessment
US20190213465A1 (en) Systems and methods for a context aware conversational agent based on machine-learning
CN110494874B (en) Configuring classroom physical resources
Uzelac et al. System for recognizing lecture quality based on analysis of physical parameters
JP2021523466A (en) Personal protective equipment and safety management system for comparative safety event evaluation
Al Khamisi et al. Knowledge-based lean six sigma system for enhancing quality management performance in healthcare environment
KR101715323B1 (en) Smart education system based on learner emotion
Escobedo et al. Smart objects to support the discrimination training of children with autism
Giannakos et al. Sensor-based analytics in education: Lessons learned from research in multimodal learning analytics
Li Behavioral challenges to professional skepticism in auditors’ data analytics journey
ES2761728A1 (en) SYSTEM AND METHOD FOR MANAGING OPERATIONAL PERSONNEL IN CRITICAL ENVIRONMENTS (Machine-translation by Google Translate, not legally binding)
US20160140857A1 (en) Personalized and targeted training
Nel et al. A policy framework for integrating smart asset management within operating theatres in a private healthcare group to mitigate critical system failure
Zhao et al. Analysing Verbal Communication in Embodied Team Learning Using Multimodal Data and Ordered Network Analysis
Muris et al. The Consequences of Artificial Intelligence in Human Capital Management in the Next Five to Ten Years
US20230185361A1 (en) System and method for real-time conflict management and safety improvement
Singh et al. Redefining healthcare of tomorrow in smart city
KR102465768B1 (en) A system that provides personalized and customized learning analysis
KR102383457B1 (en) Active artificial intelligence tutoring system that support teaching and learning and method for controlling the same

Legal Events

Date Code Title Description
BA2A Patent application published

Ref document number: 2761728

Country of ref document: ES

Kind code of ref document: A1

Effective date: 20200520

FC2A Grant refused

Effective date: 20220317