ES2927813T3 - Método para asegurar un sistema de decisión basado en aprendizaje automático - Google Patents

Abstract

La presente invención se refiere a un método para asegurar un sistema que se configura para realizar tareas de decisión llevadas a cabo por un motor de aprendizaje automático, equipado para operar con al menos un modelo de aprendizaje automático, el sistema que comprende al menos un componente de entrenamiento para mejorar el al menos uno modelo de aprendizaje automático, un dispositivo para llevar a cabo decisiones basadas en dicho modelo de aprendizaje automático y un conjunto de datos de entrada, y una interfaz de interacción para intercambiar dicho al menos un modelo de aprendizaje automático entre el componente de entrenamiento y el dispositivo, en el que el dispositivo comprende un comprobador de atestación de modelo , comprendiendo el método los pasos de: para el dispositivo: - adquirir datos de entrada, - determinar al menos un modelo de aprendizaje automático a través de la interfaz de interacción, para el verificador de atestación de modelo: - verificar si dicho al menos un modelo de aprendizaje automático es de confianza para un atestación del modelo, -considerando por parte del motor de aprendizaje automático para dicha toma de decisiones sólo aquellos modelos de aprendizaje automático que sean verdaderos sted, para el motor de aprendizaje automático: - llevar a cabo la tarea de decisión para los datos de entrada adquiridos utilizando dicho al menos un modelo de aprendizaje automático confiable, - proporcionar una certificación de resultado para la salida de la decisión. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Método para asegurar un sistema de decisión basado en aprendizaje automático

Campo de la invención

La presente invención se refiere a un método para asegurar un sistema de decisión basado en aprendizaje automático. La invención también se refiere a un dispositivo para usar dicho método.

Antecedentes de la invención

Hoy en día, una cantidad cada vez mayor de tareas para las que en épocas anteriores se requería la interacción humana se realizan ahora mediante sistemas automatizados, gracias a los denominados métodos de inteligencia artificial, principalmente incluidos en los sistemas de “aprendizaje automático” . Dicho sistema de aprendizaje automático comprende al menos un modelo de aprendizaje automático que se capacita con muchos datos de entrada. Dichos datos pueden provenir de diversas fuentes y se supone que construyen un vínculo entre un objeto y una cualificación del objeto. Por ejemplo, para el reconocimiento facial se cargan cientos de miles de imágenes de una persona, y la cualificación asigna nombres a dichas imágenes. Esta tarea es típicamente realizada por humanos.

Pero cada vez más tareas de este tipo se relacionan con decisiones en donde las personas pueden verse seriamente afectadas dependiendo de la decisión. Tales situaciones pueden ocurrir en particular en sistemas automatizados relacionados con el tráfico, por ejemplo, asistencia de frenado, velocímetro autónomo con detección de señales, hasta conducción autónoma. Esto también se aplica en otras áreas como la salud y el análisis financiero, ya que es conocido por la puntuación de credibilidad, el acceso a la atención médica, etc. Esto ya indica la amplia gama de escenarios donde los métodos de decisión basados en aprendizaje automático pueden tener un gran impacto en las personas afectadas.

Es evidente que tales sistemas pueden conducir a resultados, donde una decisión humana muy probablemente conduciría a decisiones de menor impacto. Esto es particularmente cierto en el caso de accidentes automovilísticos, que un conductor humano consciente podría evitar.

Asimismo, tales sistemas son también propensos a actividades de piratería debido al fuerte impacto. Si los piratas informáticos se empoderan para frenar por completo una buena parte de los automóviles producidos por una determinada marca al mismo tiempo, esto podría costar vidas, arruinar grandes empresas o dejarlas expuestas al chantaje.

Tales actividades de piratería pueden afectar diferentes áreas del motor de toma de decisiones, en particular, agregando datos maliciosos a propósito o modificando los componentes de hardware del automóvil. Además de las violaciones de seguridad comunes que pueden afectar a todo tipo de sistemas digitales, para los sistemas basados en aprendizaje automático, la manipulación adicional de los datos de entrada es un problema adicional que requiere una consideración especial. Tales medidas venenosas se denominan “ataques causales” , que son ataques de piratas informáticos destinados a alterar los datos de capacitación para crear un modelo de aprendizaje automático. US 2017/0230360 A1 muestra un sistema de autenticación de usuario para un dispositivo electrónico, por ejemplo, un ordenador personal, para su uso con una pluralidad de sensores médicos portátiles inalámbricos y una estación base inalámbrica, por ejemplo, un teléfono inteligente, configurado para recibir un flujo de datos biomédicos de cada uno de la pluralidad de sensores médicos portátiles inalámbricos. El sistema comprende un motor BioAura ubicado en un servidor o en el ordenador personal. El motor BioAura puede incluir un modelo de aprendizaje automático que usa los datos biomédicos de cada uno de los sensores médicos portátiles inalámbricos para validar o identificar a los usuarios. El sistema de autenticación puede incluir contramedidas contra ataques de envenenamiento, incluida la detección de valores atípicos e información médica firmada digitalmente. Se puede usar una firma digital para verificar la autenticidad de la información. Los sensores médicos portátiles inalámbricos y el teléfono inteligente pueden firmar digitalmente la información biomédica antes de transmitirla.

Asimismo, alterar el modelo de aprendizaje automático es otra puerta abierta para los piratas informáticos.

Por ahora, solo se conocen medidas donde se intentan detener globalmente tales intentos de piratería o detectar algorítmicamente si los datos de capacitación son falsos. Ninguna de las medidas conocidas puede cubrir totalmente los riesgos ni conllevar a la responsabilidad cuando se ha manipulado una decisión basada en aprendizaje automático.

Por lo tanto, requiere no solo asegurar dicho sistema como tal, sino también introducir medidas para mitigar cualquier otro intento de piratería.

Por lo tanto, el objetivo de la presente invención es proponer una solución para una seguridad mejorada de los sistemas de decisión basados en aprendizaje automático.

Además, en la técnica serían deseables otras soluciones alternativas y ventajosas.

Sumario de la invención

Por esto, según un primer aspecto de la invención se sugiere un método para asegurar un sistema que se configura para realizar tareas de decisión según la reivindicación 1. Se sugiere además, según un segundo aspecto de la invención, un dispositivo para realizar una tarea de decisión según la reivindicación 6.

Según el primer aspecto de la invención se propone un método para asegurar un sistema configurado para realizar tareas de decisión realizadas por un motor de aprendizaje automático, equipado para operar con al menos un modelo de aprendizaje automático, comprendiendo el sistema al menos un componente de capacitación para mejorar el al menos un modelo de aprendizaje automático, un dispositivo para tomar decisiones basadas en dicho modelo de aprendizaje automático y un conjunto de datos de entrada, y una interfaz de interacción para intercambiar dicho al menos un modelo de aprendizaje automático entre el componente de capacitación y el dispositivo, en donde el dispositivo comprende un verificador de autenticación de modelo, comprendiendo el método las etapas de: para el dispositivo:

- adquirir datos de entrada,

- determinar al menos un modelo de aprendizaje automático sobre la interfaz de interacción,

para el verificador de autenticación de modelo:

- verificar si dicho al menos un modelo de aprendizaje automático es confiable por una autenticación del modelo, - considerar por parte del motor de aprendizaje automático para dicha toma de decisiones solo aquellos modelos de aprendizaje automático que son confiables,

para el motor de aprendizaje automático:

- realizar la tarea de decisión para los datos de entrada adquiridos usando dicho al menos un modelo de aprendizaje automático confiable,

- proporcionar una autenticación del resultado para la salida de decisión.

El primer aspecto de la invención se refiere a un sistema para realizar tareas de decisión. Tales tareas de decisión comprenden en particular detecciones, predicciones, valoraciones o cualquier otra tarea donde se evalúa y analiza una pluralidad de datos de entrada y se produce un resultado. Para ello, el sistema consiste en un dispositivo que está equipado con un motor de aprendizaje automático. El motor de aprendizaje automático está configurado para emplear al menos un modelo de aprendizaje automático. Asimismo, el sistema comprende al menos un sensor, tal como un sensor óptico o acústico, o cualquier otro medio de entrada para adquirir un conjunto de datos de entrada. El dispositivo recupera el modelo de aprendizaje automático de un componente de capacitación del sistema. El componente de capacitación es un componente que está configurado para procesar una pluralidad de datos de capacitación, como imágenes, archivos de sonido, archivos de texto, etc., que van acompañados de una cualificación. Tal cualificación marca los respectivos datos de capacitación con un cierto significado, o con un rechazo de un significado. Eso comprende, por ejemplo, una imagen de una persona con un nombre u otro identificador de una persona. Alternativamente, dicha imagen está adicional o alternativamente acompañada de una cualificación negativa, como qué persona no es visible en la imagen o qué situaciones no representan una situación que necesite un frenado total.

El dispositivo recupera el modelo de aprendizaje automático del componente de capacitación a través de la interfaz de interacción. En caso de que el dispositivo y el componente de capacitación estén ubicados en diferentes lugares, esta interfaz de interacción es cualquier tipo de transferencia de datos de un componente del sistema al otro. En caso de que el componente de capacitación y el dispositivo estén situados juntos, en particular, cuando el componente de capacitación es parte del dispositivo, entonces se establece un acceso interno del motor de aprendizaje automático al modelo de aprendizaje automático. Tal acceso puede necesitar una operación de copia interna, sin embargo, también está abarcado por la invención que el motor de aprendizaje automático funcione con el modelo de aprendizaje automático en el lugar de capacitación, en particular, mientras se capacita continuamente. Asimismo, la invención abarca que el motor de aprendizaje automático esté configurado para operar con más de un modelo de aprendizaje automático. Esto es aplicable en particular cuando la tarea de decisión puede realizarse a través de un enfoque de dos (o más) pliegues, por ejemplo, una primera categorización, y después una detección detallada. Para el reconocimiento óptico de rostros, por ejemplo, se usa preferiblemente un primer modelo de aprendizaje automático para detectar si una persona está grabada con el sensor óptico, como una cámara. Después, el segundo modelo de aprendizaje automático se usa para detectar qué persona está grabada. Para hacerlo, los resultados o datos auxiliares del primer paso de detección se intercambian entre la primera y la segunda etapa de detección.

El objetivo de la invención es asegurar un sistema para realizar tales tareas de decisión. Para eso, el dispositivo está equipado además con un verificador de autenticación de modelo. El verificador de autenticación de modelo tiene la tarea de determinar si el modelo de aprendizaje automático es confiable o no.

Para hacerlo, el método del sistema opera de tal forma que el dispositivo determina al menos un modelo de aprendizaje automático sobre dicha interfaz de interacción. Sin embargo, antes de usar el modelo de aprendizaje automático, el verificador de autenticación de modelo comprueba si se confía en el modelo de aprendizaje automático gracias a una autenticación del modelo.

Tal autenticación del modelo tiene la tarea de confirmar la confiabilidad del modelo de aprendizaje automático. El modelo de autenticación es preferiblemente emitido por el componente de capacitación. Hablando técnicamente, una autenticación del modelo de este tipo se realiza en una realización preferida mediante una firma digital. La firma digital es, según métodos comúnmente conocidos como DSA, un código o archivo, que se calcula mediante el algoritmo de firma del archivo original - aquí, una representación del modelo de aprendizaje automático - y una clave de firma. El receptor de la firma puede, para su verificación, calcular a partir del archivo original recibido la firma y una clave pública para determinar si el archivo es válido o no. Eso indica la integridad del archivo original recibido, eso significa que el archivo no se modificó desde que se firmó. Asimismo se asegura que el expediente fue creado por la parte firmante. Efectivamente, la autenticación del modelo garantiza que se puede confiar en el modelo de aprendizaje automático.

La invención abarca también otras formas de autenticación, tales como certificados, un hash, etc. y combinaciones de los mismos. La intención principal es que el componente de capacitación proporcione los medios para garantizar que el modelo de aprendizaje automático no se haya visto comprometido desde su creación y que no sea producido por una fuente no confiable.

Para el motor de aprendizaje automático, en consecuencia, el verificador de autenticación de modelo tiene la tarea de analizar el al menos un modelo de aprendizaje automático comprobado y la autenticación del modelo para verificar que el modelo de aprendizaje automático sea válido o confiable.

Solo si esta verificación por parte del verificador de autenticación de modelo de la confiabilidad de los modelos de aprendizaje automático tiene éxito, se considera que el motor de aprendizaje automático usa al menos un modelo de aprendizaje automático.

Si este es el caso, en el dispositivo los datos de entrada adquiridos son analizados por el motor de aprendizaje automático por medio del modelo de aprendizaje automático confiable para lograr unos resultados de la tarea de decisión.

Como la tarea de decisión se basa solo en al menos un modelo de aprendizaje automático autenticado, el motor de aprendizaje automático proporciona además una autenticación del resultado para emitir la decisión. La autenticación resultante es preferiblemente otra firma digital.

El método descrito logra lograr el objetivo de la invención ya que el resultado de la tarea de decisión proporciona una garantía sobre el al menos un modelo de aprendizaje automático que utilizó el motor de aprendizaje automático. Además de las tareas de seguridad comunes de hacer hardware a prueba de manipulaciones, los datos aportados para tomar la decisión no se agrupan arbitrariamente, sino que siguen un enfoque definido, que se autentica al proporcionar la autenticación del modelo y, finalmente, la autenticación del resultado. Con eso, se previenen, o al menos se detectan, ataques causales al sistema. Con un resultado confiable de este tipo dependiendo del caso de uso, la parte receptora, por ejemplo, un coche que decide si frena totalmente, un sistema de autenticación que decide dar acceso a una persona, etc. tiene una entrada responsable de las operaciones que realiza.

Asimismo, el método usa técnicas comunes como firmas digitales, que solo requieren un esfuerzo organizativo para implementar claves y algunos recursos de procesamiento. Para un sistema que usa métodos de aprendizaje automático, la potencia de procesamiento no debería ser un problema.

Según una realización preferida de la invención, se propone que el componente de capacitación comprenda además un verificador de autenticación de capacitación, comprendiendo el método además las etapas para el verificador de autenticación de capacitación de

- adquirir datos de capacitación,

- aprobar datos de capacitación en caso de que los datos de capacitación adquiridos incluyan una autenticación de datos,

para el componente de capacitación:

- mejorar dicho al menos un modelo de aprendizaje automático solo con datos de capacitación aprobados por el verificador de autenticación de capacitación,

- proporcionar una autenticación del modelo para el al menos un modelo de aprendizaje automático.

Esta realización se relaciona principalmente con el componente de capacitación que se ocupa de la creación del al menos un modelo de aprendizaje automático. El componente de capacitación se crea para adquirir una multitud de datos de capacitación y usarlos con un aprendiz del modelo para crear o mejorar el modelo de aprendizaje automático.

Para garantizar que el modelo de aprendizaje automático solo se cree a partir de datos de capacitación confiables, el componente de capacitación tiene un verificador de autenticación de capacitación. En ese sentido, solo los datos de capacitación que comprenden una autenticación de datos se consideran para alimentar al alumno modelo.

En una realización preferida, los datos de capacitación comprenden una autenticación de datos cuando los datos de capacitación son suministrados por un proveedor de contenido supervisado. Como tal, el tipo de recopilación de datos es una indicación sobre la confiabilidad de los datos de capacitación. Como con una firma del proveedor de contenido, se asegura quién proporcionó los datos, el componente de capacitación detecta si los datos son proporcionados por tales proveedores de contenido supervisados o no. Cuando solo se firman dichos datos de capacitación supervisados, no se permite que entren datos aleatorios en la fase de capacitación. Esto aumenta la responsabilidad de los resultados.

Según esta realización preferida, se garantiza que siempre que solo se utilicen datos de capacitación que comprenden una autenticación de datos, el modelo de aprendizaje automático resultante tampoco se verá comprometido. Por ende, el componente de capacitación en este caso proporcionará una autenticación del modelo del modelo de aprendizaje automático producido. A continuación, el motor de aprendizaje automático usa dicha autenticación del modelo para la toma de decisiones, ya que es una condición previa para proporcionar una autenticación del resultado.

En otra realización preferida, se sugiere que las etapas para el verificador de autenticación de modelo de:

- adquirir al menos un conjunto de datos de entrada

- verificar si dicho conjunto de datos de entrada es confiable por firma digital,

para el dispositivo:

- considerar para dicha toma de decisiones únicamente los datos de entrada que sean confiables.

Con esta realización se realiza una tercera etapa de asegurar el resultado de la tarea de decisión basada en aprendizaje automático. Aquí se verifica si los datos de entrada para el motor de aprendizaje automático están firmados digitalmente. Preferiblemente, dicha firma la proporciona un sensor respectivo, en particular, cuando no forma parte del propio dispositivo.

Esta interfaz con el mundo exterior es otra vulnerabilidad para piratear el dispositivo, considerando que esto no se relaciona exactamente con los ataques causales. No obstante, cuando se espera que el dispositivo tome una decisión basada en los datos de entrada, la salida no será confiable, incluso cuando se confíe en los datos de capacitación y el modelo de aprendizaje automático - cuando no se sepa si el sensor es confiable y/o si los datos usados por el motor de aprendizaje automático son exactamente los que son producidos por el sensor.

Cuando el dispositivo confía en las firmas de un determinado sensor, verá a continuación que los datos de entrada de dicho sensor son confiables. Como resultado, el motor de aprendizaje automático solo se refiere a los datos de entrada firmados.

Según otra realización preferida, se propone que el motor de aprendizaje automático sea capaz de usar al menos uno de los datos de entrada que no están firmados y un modelo de aprendizaje automático que no está autenticado, en donde en caso de que no se confíe en al menos uno de los datos de entrada o en el modelo de aprendizaje automático, se omite proporcionar la salida de decisión con una autenticación del resultado.

En esta realización, se propone un escenario donde el motor de aprendizaje automático puede usar tanto datos firmados como no firmados en paralelo. Tales datos pueden comprender el modelo de aprendizaje automático o los datos de entrada. Esto abarca los motores de aprendizaje automático que usan solo modelos de aprendizaje automático autenticados, sino cualquier tipo de datos de entrada y viceversa o cualquier combinación.

Cuando este es el caso, el motor de aprendizaje automático puede producir un resultado de decisión que se proporciona con una autenticación del resultado o no. Una opción es que los datos de entrada nunca estén firmados, pero el modelo de aprendizaje automático puede estar firmado o no. En esta opción, solo la autenticación del modelo disponible determina si se proporciona o no la autenticación del resultado.

En un segundo aspecto de la invención se propone un dispositivo para realizar una tarea de decisión, que comprende un motor de aprendizaje automático y al menos una interfaz de interacción para recuperar al menos un modelo de aprendizaje automático de un componente de capacitación, en donde la tarea de decisión se realiza con el motor de aprendizaje automático, configurado para usar al menos un modelo de aprendizaje automático, el dispositivo comprende además un verificador de autenticación de modelo para controlar al menos una interfaz de interacción del motor de aprendizaje automático, en donde el verificador de autenticación de modelo está configurado para verificar si una autenticación del modelo confía en el modelo de aprendizaje automático recuperado a través de la interfaz de interacción, el motor de aprendizaje automático está configurado para considerar, para dicha toma de decisiones, medir solo dicho modelo de aprendizaje automático confiable y proporcionar una autenticación del resultado para la salida de decisión.

En este aspecto de la invención, el dispositivo forma parte de un sistema que comprende el dispositivo y el componente de capacitación.

El dispositivo comprende circuitos de procesamiento apropiados para operar un motor de aprendizaje automático. El motor de aprendizaje automático es, en particular, un programa de software que tiene acceso a los circuitos de memoria permanente y/o volátil del dispositivo. El circuito de memoria permanente comprende el modelo de aprendizaje automático, que es una estructura de datos, en particular equipada con una biblioteca de software de acceso a datos, como un software de base de datos. En particular, se recomiendan herramientas de software dedicadas para proporcionar acceso optimizado a la velocidad a los datos del modelo de aprendizaje automático. Asimismo, el dispositivo está equipado con una interfaz de interacción con el componente de capacitación, desde donde el dispositivo recibe al menos un modelo de aprendizaje automático.

El dispositivo proporciona además medios para adquirir datos de entrada. Dichos medios pueden abarcar al menos un sensor. De forma adicional o alternativamente, una interfaz de intercambio de datos, como una interfaz en serie o paralela, o un puerto USB, etc., se dispone preferiblemente para proporcionar datos de entrada al dispositivo.

El dispositivo está configurado para realizar una tarea de decisión por medio de los datos de aprendizaje automático, mientras que la tarea de decisión se realizará sobre los datos de entrada. Tal tarea de decisión puede comprender una respuesta, si una persona registrada por voz y/o imagen pertenece al grupo de personas elegibles, donde una pluralidad de datos de capacitación relacionados con este grupo de personas se almacena en el modelo de aprendizaje automático.

En este ejemplo, el resultado sería el nombre o la identificación de una persona y, preferiblemente, una valoración de la probabilidad de que la persona registrada por los datos del sensor coincida con los datos del modelo de aprendizaje automático.

El dispositivo comprende además un verificador de autenticación de modelo, que es un módulo de software que verifica la autenticación de al menos un modelo de aprendizaje automático recibido del componente de capacitación. Preferiblemente, el dispositivo comprende además un componente de autenticación del resultado que está configurado para proporcionar una autenticación del resultado para la salida de decisión en caso de que al menos un modelo de aprendizaje automático empleado por el motor de aprendizaje automático para realizar la tarea de decisión sea confiable por una autenticación del modelo.

El componente de autenticación del resultado es, en particular, un componente de software que opera en el circuito de procesamiento del dispositivo. El mismo está configurado para verificar si se confía en el modelo de aprendizaje automático gracias a una autenticación del modelo. Solo si este es el caso, proporcionará una autenticación del resultado de la decisión. Una autenticación del resultado de este tipo es preferiblemente otra firma.

Esto asegura que el receptor de los resultados de la decisión reciba una indicación de que al menos un modelo de aprendizaje automático usado para tomar la decisión se creó a partir de datos de capacitación confiables.

Con la autenticación del modelo y la autenticación del resultado, la tarea de decisión está asegurada en consecuencia.

Preferiblemente, el dispositivo está configurado de manera que el verificador de autenticación de modelo se ejecuta en un entorno a prueba de manipulaciones que forma parte del dispositivo.

Tal entorno a prueba de manipulaciones se implementa preferiblemente por medio de un módulo de hardware seguro, como un elemento seguro. Alternativamente, se sugiere también un entorno de software seguro para la ejecución a prueba de manipulaciones del verificador de autenticación de modelo.

Dicho entorno comprende preferiblemente tanto áreas de almacenamiento como de ejecución del verificador de autenticación del modelo. Se sabe que enfoques como el concepto de caja de arena o la computación confiable resuelven ese requisito.

Además, es ventajoso si se ubican más componentes en el entorno a prueba de manipulaciones. Esto en particular se relaciona con el motor de aprendizaje automático, así como con partes o el componente completo de capacitación.

Con esta realización, el dispositivo está más protegido no solo para ataques causales, sino también para ataques inmediatos a la propia integridad del dispositivo.

Asimismo, se sugiere que el dispositivo se acople comunicativamente a al menos un componente de capacitación que comprende un verificador de autenticación de capacitación y una interfaz de adquisición de datos de capacitación, en donde la interfaz de adquisición de datos de capacitación está configurada para adquirir datos de capacitación, y el verificador de autenticación de capacitación está configurado para aprobar los datos de capacitación en caso de que los datos de capacitación adquiridos incluyan una autenticación de datos, y el componente de capacitación está configurado para mejorar el modelo de aprendizaje automático solo con datos de capacitación aprobados por el verificador de autenticación de capacitación, y para proporcionar una autenticación del modelo para el modelo de aprendizaje automático mejorado.

Esta realización se refiere al componente de capacitación para crear o mejorar el al menos un modelo de aprendizaje automático, que es usado por el motor de aprendizaje automático de este dispositivo. En una realización preferida, el componente de capacitación es parte del dispositivo. En ese caso, los componentes de software comprendidos por el componente de capacitación se ejecutan preferiblemente en el circuito de procesamiento del dispositivo. Alternativamente, el componente de capacitación proporciona su propio circuito de procesamiento, preferiblemente acompañado por un circuito de memoria suficientemente volátil y permanente.

Por lo general, para la fase de capacitación se necesitan otros requisitos de recursos de hardware que para la propia fase de decisión. En particular, la cantidad de datos a procesar puede variar drásticamente a favor de la fase de capacitación.

El componente de capacitación proporciona una interfaz de adquisición de datos de capacitación para recibir datos de capacitación. Esto se hace preferiblemente mediante cualquier tipo de interfaz de intercambio de datos.

El componente de capacitación comprende además un verificador de autenticación de capacitación. Se trata en particular de un módulo de software o de una aplicación que opera en el componente de capacitación. El verificador de autenticación de capacitación está configurado para verificar si los datos de capacitación brindan autenticaciones de datos. Si este es el caso, el verificador de autenticación de capacitación verifica si las autenticaciones de datos para cada conjunto de datos de capacitación son válidas. Este último es en particular el caso de una autenticación de datos por medio de una firma digital. En ese caso, es necesario realizar las típicas operaciones criptográficas para saber si la verificación de la firma digital conduce a un resultado válido.

Si este es el caso, el verificador de autenticación de capacitación aprueba el uso de los datos de capacitación para la fase de capacitación del al menos un modelo de aprendizaje automático respectivo. Si se mantiene más de un modelo de aprendizaje automático, los datos de capacitación pueden usarse para uno o más de los modelos de aprendizaje automático respectivos.

Cuando la fase de capacitación ha concluido, y solo se usan los datos de capacitación aprobados para capacitar los modelos de aprendizaje automático, a continuación el verificador de autenticación de capacitación se configura para proporcionar una autenticación del modelo para el al menos un modelo de aprendizaje automático producido o mejorado.

En otra realización preferida, se propone además que los datos de capacitación sean aprobados adicionalmente por el verificador de autenticación de capacitación en caso de que dichos datos de capacitación abarquen resultados autenticados de un motor de aprendizaje automático que usa un modelo de aprendizaje automático autenticado. En esta realización se sugiere otra forma de adquirir datos de capacitación. Aquí se usa el resultado de un motor de aprendizaje automático, siempre que esté autenticado. Esto se refiere en particular al resultado del dispositivo respectivo. Alternativamente, otra instancia del mismo tipo de dispositivo puede producir tal resultado autenticado.

Según esta realización, dichos datos se aceptan como datos de capacitación válidos, siempre que se proporcione una autenticación del resultado válida.

Esta realización aparece como un bucle infinitivo. No obstante, para ciertos casos de uso, es preferible usar los datos de resultados, en particular junto con los datos de entrada, de nuevo con fines de capacitación.

El segundo aspecto de la invención cuenta con las ventajas del primer aspecto de la invención.

Como se muestra, la presente invención resuelve ventajosamente el problema representado y sugiere un método y un dispositivo para realizar de forma segura tareas de decisión basadas en aprendizaje automático. La invención proporciona la posibilidad de emplear un flujo de datos seguro de extremo a extremo y, como tal, introduce la responsabilidad de las decisiones basadas en aprendizaje automático.

Breve descripción de los dibujos

La siguiente descripción y los dibujos adjuntos exponen en detalle ciertos aspectos ilustrativos y son indicativos de tan solo algunas de las diversas maneras en las que pueden emplearse los principios de las realizaciones. Las características y ventajas de la presente invención se harán evidentes cuando se lea la siguiente descripción y se vean los dibujos adjuntos de realizaciones ventajosas aportadas como ejemplos ilustrativos no restrictivos.

Fig. 1 representa un sistema del tipo al que se aplica la presente invención según la técnica anterior;

Fig. 2 representa un sistema del tipo al que se aplica la presente invención como una realización;

Fig. 3 muestra otro ejemplo ilustrada de la presente invención;

Fig. 4 muestra un diagrama de flujo que representa una realización de la presente invención.

La Fig. 1 muestra esquemáticamente un sistema 100 para la toma de decisiones basada en aprendizaje automático según la técnica anterior. Este sistema representa los componentes típicos de un sistema de decisión basado en aprendizaje automático. Como tal, un sistema de decisión basado en aprendizaje automático consiste generalmente en un componente de capacitación para crear un modelo de machine learning (aprendizaje automático - ML) y un componente de decisión para tomar una decisión en virtud de dicho modelo de Ml . En esta realización ilustrativa, estos componentes se muestran por separado como grupo 140 de capacitación del modelo y el dispositivo 150. Este es un escenario ventajoso ya que la fase de capacitación requiere una gran cantidad de recursos de procesamiento para manejar la gran cantidad de datos 170 de capacitación que se usan para crear el modelo de ML.

Un modelo de ML de este tipo típicamente representa una estructura de datos como una red neuronal que se vuelve más confiable mediante la capacitación con datos 170 de capacitación recuperados a través de la primera interfaz S1, la denominada interfaz de adquisición de datos de capacitación. Tales datos de capacitación suelen ser datos reales con una cualificación. Por ejemplo, para el caso de uso del reconocimiento visual de obstáculos, el componente 130 de aprendizaje del modelo de ML se proporciona con imágenes más al menos la cualificación si un obstáculo es visible en la imagen o no. Los resultados de dicha fase de capacitación se representan en al menos un modelo 120 de ML.

A continuación, el modelo 120 de ML se proporciona por medio de una interfaz de interacción S2 al dispositivo 150, donde se desea una decisión basada en el aprendizaje automático. Tal dispositivo comprende en particular un motor 110 de aprendizaje automático. El dispositivo está configurado para adquirir un conjunto de datos 160 de entrada. Según el escenario, dicha adquisición de datos de entrada se realiza mediante sensores 190, por ejemplo, en el contexto de un reconocimiento de obstáculos por sensores ópticos como una cámara. Además, es ventajosa una combinación de sensores, como sensores ópticos y acústicos, por ejemplo, para obtener un conjunto de datos de entrada para aumentar la confiabilidad de la decisión basada en ML. Este es típicamente el caso cuando se evita una colisión de coche, ya que el sonido de los frenos puede aumentar la fiabilidad de la detección de colisión.

El resultado de un conjunto de datos 160 de entrada manejados por el motor 110 de aprendizaje automático, equipado con al menos un modelo 120 de ML, es un resultado 180 de ML, que se proporciona a través de la interfaz de resultados S3. Esta suele ser una decisión, preferiblemente enriquecida con una valoración. Una valoración de este tipo indica la confiabilidad de la decisión basada en el aprendizaje automático. Si se hace una combinación perfecta, por ejemplo, en caso de reconocimiento textual, la valoración es obviamente muy alta, si no se recupera una decisión clara, a continuación la valoración es bastante baja.

Con dicha información, el sistema que funciona en el motor de toma de decisiones basado en aprendizaje automático se pone en la posición de manejar en consecuencia. Tal manejo depende en gran medida del caso de uso. Para evitar una colisión, la cuestión es si se realiza o no un frenado automático.

Sin embargo, cuando no se logra una decisión clara con alta confiabilidad, el sistema debe manejar esto en consecuencia. Si corresponde, se realiza una acción intermedia, como un sonido de advertencia para el conductor, un frenado suave, etc. en el caso de evitar colisiones. En el caso del reconocimiento óptico con fines de autenticación, por ejemplo, un abridor de puertas, etc., a continuación podría aplicarse una medida de seguridad adicional.

Todo esto es parte del entorno de toma de decisiones basado en aprendizaje automático. Sin embargo, queda claro que las decisiones, que podrían tener un gran impacto, dependen en gran medida del modelo de ML y, en consecuencia, de los datos de capacitación. Por lo tanto, la cuestión es cómo puede estar seguro el sistema de que tal contenido es realmente lo que dice ser.

Para ello se diseña la solución inventiva, donde en la Fig. 2 se muestra una realización ilustrada, análoga al estado de la técnica antes descrito.

Aquí se muestra un sistema afín 100 que comprende básicamente los mismos bloques de construcción del grupo 140 de capacitación del modelo que comprende el alumno 130 modelo de ML, así como el dispositivo 150 que comprende el motor 110 de ML, en donde, a través de una interfaz de interacción S2, el alumno modelo de ML proporciona un modelo 120 de ML al motor 110 de ML.

La diferencia comienza con la adquisición de los datos 170 de capacitación a través de la interfaz de adquisición de datos de capacitación S1. El sistema según la invención es sospechoso en relación con la fiabilidad de los datos de capacitación. Por ende, el alumno 130 modelo de ML comprende adicionalmente un verificador 200 de autenticación de capacitación. Tal verificador de autenticación de capacitación presenta una especie de filtro de datos de capacitación. Solo se aceptan los datos de capacitación que se ha demostrado que se crearon de manera confiable. Para demostrar que la fiabilidad se realiza añadiendo una autenticación 220 de datos de ML, que es preferiblemente una firma digital para identificar la fuente de los datos. Cuando se sabe que una fuente de datos realiza datos de capacitación supervisados, a continuación una firma digital para los datos indica en primer lugar que los datos de capacitación provienen de dicha fuente de datos y, en segundo lugar, que no se modifican antes de la recepción en el alumno 130 modelo de ML. Esto da suficiente responsabilidad de los datos de capacitación. Por ende, el verificador 200 de autenticación de capacitación permitirá el procesamiento de dichos datos.

La creación supervisada de datos de capacitación comprende, por ejemplo, que la cualificación de los datos de capacitación, por ejemplo, que una persona visible en una imagen es realmente la persona representada según la cualificación, se verifica y se asegura dos veces. En el escenario de autenticación por reconocimiento facial óptico, un hacker podría tratar fácilmente de manipular el sistema introduciendo imágenes de su rostro (u otras imágenes biométricas) y cualificarla con la identidad de otra persona que se supone que es elegible para el acceso. Si dichos datos no están supervisados, es prácticamente imposible descubrir tal manipulación. Si una entidad de origen de datos puede proporcionar pruebas de que tal manipulación se evita técnicamente, o al menos no pasará desapercibida, a continuación la firma de los datos de capacitación de la entidad de origen de datos se entenderá como confiable. Como una firma digital requiere compartir las claves públicas para la operación criptográfica de firma y verificación, solo se mantienen claves públicas de fuentes confiables en el verificador 200 de autenticación de capacitación.

Si tal firma confiable o la autenticación 220 de datos de ML está disponible, a continuación el verificador 200 de autenticación de capacitación aprobará que dichos datos de capacitación firmados se usen en el alumno 130 modelo de ML.

Con el alumno modelo de ML, los datos de capacitación se procesan para crear al menos un modelo 120 de ML. Como se indica con la constelación de un grupo y dispositivo de capacitación de modelo separados, donde se realiza la decisión basada en aprendizaje automático, se hace evidente otra vulnerabilidad. Esta es la interfaz de interacción S2 entre el grupo y el dispositivo de capacitación de modelo, que es la interfaz donde el modelo 120 de ML creado se proporciona al dispositivo.

Por ende, según la realización mostrada de la invención, este problema se aborda agregando una autenticación 230 del modelo de ML, preferiblemente otra firma para el modelo 120 de ML. Con la firma, el alumno modelo de ML aprueba que el modelo de ML solo se creó mediante el uso de datos 170 de capacitación que fueron autenticados, que son confiables.

Entonces, el dispositivo 150 recibe un modelo de ML firmado que se usa a continuación por el motor 110 de ML. Pero incluso cuando ambos componentes no están separados, todavía existe la posibilidad de manipular un modelo de ML almacenado. Por ende, es preferible que el modelo de ML se almacene en un entorno seguro después de verificar su firma.

Para abordar eso, el dispositivo 150 quiere confiar en el resultado 180 de ML producido por el motor de ML, en consecuencia, también el resultado 180 de ML está equipado con una autenticación del resultado de ML 240.

Preferiblemente, el motor de ML o el verificador de autenticación (210) de modelo proporciona otra firma, con lo que se confirma que solo se usó un modelo de ML autenticado, que es solo el caso si solo se usaron datos de capacitación autenticados para crear el modelo de ML.

En otras palabras, se proporciona una autenticación de extremo a extremo que garantiza que el resultado de ML no se vio afectado por ataques causales y que el dispositivo que maneja el resultado de ML puede confiar en la misma. La Fig. 3 y 4 muestra en una realización ilustrada en el flujo de trabajo de cómo usar el sistema y el método de la invención para usar un sistema basado en ML para el reconocimiento de obstáculos, por ejemplo, en un vehículo. La Fig. 3 muestra la configuración del sistema como un dispositivo, por ejemplo, que es parte de un vehículo. Aquí se adquieren datos de sensor que podrían afectar a obstáculos en una trayectoria planificada. Preferiblemente, tales sensores comprenden sensores ópticos como cámaras, pero también podrían usarse sensores acústicos, infrarrojos, ecosondas, etc. El vehículo mostrado está equipado con un sensor óptico 410 y un sensor acústico 420. Cada uno de estos sensores crea datos sin procesar de propiedad exclusiva. En un preprocesador 430, tales datos sin procesar de los diferentes sensores se combinan y se convierten en una fuente de datos 160 de entrada para el motor 110 de ML. En el motor 110 de ML, los datos se manejan a continuación en virtud de un modelo 120 de ML precargado. Este modelo de ML está equipado con una autenticación 230 del modelo, como una firma. El verificador de autenticación (210) de modelo comprueba la autenticación del modelo para averiguar si el modelo de ML es fiable. Si es así, la decisión 180 de salida del motor de ML está también equipada en este caso con una autenticación 240 del resultado de ML.

Todo el proceso se muestra en los diagramas de flujo de la Fig. 4.

El flujo de trabajo comienza para el dispositivo en la etapa S10. Cada uno de estos sensores crea datos sin procesar de propiedad exclusiva relacionados con obstáculos en la trayectoria en la etapa S10. En las etapas S20 y S30, los datos sin procesar se preprocesan y se entregan como datos de entrada al motor de ML, equipados con al menos un modelo de ML. Preferiblemente, se usa más de un modelo de ML, ya que esto permitiría una detección paso a paso para aumentar la tasa de aciertos.

Con este modelo de ML precargado, la alimentación de datos de entrada se usa para clasificar los datos de entrada, como se indica en la etapa S40. Después de hacerlo, el motor de ML proporciona una salida con una recomendación de decisión para el dispositivo. En este caso, la etapa S50 produce una decisión de frenado. Eso significa que el motor de ML encontró, basándose en los datos de entrada en combinación con las experiencias recopiladas en el modelo de ML, que los sensores indican un obstáculo en la trayectoria planificada del vehículo. Para evitar una colisión, el motor de ML recomienda al vehículo que accione el freno.

Sin embargo, el dispositivo verifica primero en la etapa S60 si la salida del motor de ML proporciona adicionalmente una autenticación del resultado. Una autenticación del resultado puede comprender también, dependiendo de la implementación, la autenticación de datos de prueba. Una forma de proporcionar una autenticación del resultado es agregar una firma digital a la salida del motor de ML.

Si este es el caso, se incrementa el valor de confianza de la salida de decisión. Eso significa que la recomendación del motor de ML obtiene una mayor responsabilidad, ya que obviamente se basa en un modelo de ML confiable basado en datos de capacitación confiables. Sin embargo, la firma no es el único indicador de confianza. En primer lugar, el modelo de ML en sí mismo puede estar en posición de proporcionar una valoración, qué tan segura es la detección de obstáculos. En segundo lugar, también se usa preferiblemente una indicación sobre el estado de los sensores. Si uno de los muchos sensores está fuera de servicio, o de alguna manera interrumpido, la decisión podría basarse en menos datos de entrada.

Por ende, al final, el dispositivo comprueba en la etapa S80 si el valor de confianza está por encima de un umbral predefinido. Si este es el caso, se sigue a continuación la recomendación del motor de ML, lo que significa que en este caso se realiza una prevención de colisión, en particular, mediante la activación automática de los frenos (S90). De lo contrario, la confianza no es suficientemente alta, y el vehículo podría tomar otras opciones en la etapa S100. Una advertencia al conductor podría ser una opción, pero esto está muy relacionado con el caso de uso y está fuera del alcance de la presente invención.

En la descripción detallada anterior se hace referencia a los dibujos adjuntos, que muestran, a modo de ilustración, realizaciones específicas en las que puede ponerse en práctica la invención. Estas realizaciones se describen con detalle suficiente para permitir que los expertos en la técnica pongan en práctica la invención. Debe entenderse que, aunque sean diferentes, las diversas realizaciones de la invención no son necesariamente mutuamente excluyentes. Por ejemplo, un rasgo, estructura o característica particular descrito en el presente documento en relación con una realización puede implementarse en otras realizaciones sin salirse del alcance de la invención. Además, debe entenderse que puede haber una ubicación o disposición de elementos individuales en cada realización descrita. La descripción detallada anterior, por lo tanto, no debe tomarse en un sentido limitativo, y el alcance de la presente invención está definido únicamente por las reivindicaciones adjuntas, debidamente interpretadas, junto con el rango completo de equivalentes a los que tienen derecho las reivindicaciones.

Claims (14)

1. REIVINDICACIONES
2. Método para asegurar un sistema (100) que se configura para realizar tareas de decisión realizadas por un motor (110) de aprendizaje automático, equipado para operar con al menos un modelo (120) de aprendizaje automático, comprendiendo el sistema (100) al menos un componente (140) de capacitación para mejorar el al menos un modelo (120) de aprendizaje automático, un dispositivo (150) que comprende el motor (110) de aprendizaje automático para tomar decisiones basadas en dicho modelo (120) de aprendizaje automático y un conjunto de datos (160) de entrada, y una interfaz de interacción (S2) para intercambiar dicho al menos un modelo (120) de aprendizaje automático entre componente (140) de capacitación y dispositivo (150), en donde el dispositivo (150) comprende un verificador (210) de autenticación de modelo, comprendiendo el método las etapas de:

   para el dispositivo (150):

   - adquirir datos (160) de entrada,

   - determinar al menos un modelo (120) de aprendizaje automático sobre la interfaz de interacción (S2),

   para el verificador (210) de autenticación de modelo:

   - verificar si dicho al menos un modelo (120) de aprendizaje automático es confiable por una autenticación (230) del modelo,

   para el motor (110) de aprendizaje automático:

   - considerar por parte del motor (110) de aprendizaje automático para dicha toma de decisiones únicamente aquellos modelos (120) de aprendizaje automático en los que se confía,

   - realizar la tarea de decisión para los datos (160) de entrada adquiridos usando dicho al menos un modelo (120) de aprendizaje automático confiable,

   - proporcionar una autenticación (240) del resultado para la salida (180) de decisión. Método según la reivindicación 1,

   en donde el componente (140) de capacitación comprende además un verificador (200) de autenticación de capacitación, comprendiendo el método además las etapas para el verificador (200) de autenticación de capacitación de:

   - adquirir datos (170) de capacitación,

   - aprobar datos (170) de capacitación en caso de que los datos (170) de capacitación adquiridos comprendan una autenticación (220) de datos,

   para el componente (140) de capacitación:

   - mejorar dicho al menos un modelo (120) de aprendizaje automático únicamente con datos (170) de capacitación aprobados el por verificador (200) de autenticación de capacitación,

   - proporcionar una autenticación (230) del modelo para el al menos un modelo (120) de aprendizaje automático.
3. Método según la reivindicación 2,

   comprendiendo el método además las etapas para el verificador (210) de autenticación de modelo de:

   - adquirir al menos un conjunto de datos (160) de entrada,

   - verificar si dicho conjunto de datos (160) de entrada es confiable por firma digital, para el dispositivo (150):

   - considerar para dicha toma de decisiones únicamente datos (160) de entrada que sean confiables.
4. Método según al menos una de las reivindicaciones anteriores,

   en donde los datos (170) de capacitación comprenden una autenticación (220) de datos cuando los datos (170) de capacitación son suministrados por un proveedor de contenido supervisado.
5. Método según al menos una de las reivindicaciones anteriores,

   en donde el motor (110) de aprendizaje automático es capaz de utilizar al menos uno de los datos (160) de entrada que no están firmados y un modelo (120) de aprendizaje automático que no está autenticado,

   en donde en caso de que al menos uno de los datos (160) de entrada o el modelo (120) de aprendizaje automático no sea confiable, omitir proporcionar la salida (180) de decisión con una autenticación (240) del resultado.
6. 6. Dispositivo (150) para realizar una tarea de decisión, que comprende un motor (110) de aprendizaje automático y al menos una interfaz de interacción (S2) para recuperar al menos un modelo (120) de aprendizaje automático de un componente (140) de capacitación,

   en donde la tarea de decisión se realiza con el motor (110) de aprendizaje automático, configurado para usar al menos un modelo (120) de aprendizaje automático,

   el dispositivo (150) comprende además un verificador (210) de autenticación de modelo para controlar la al menos una interfaz de interacción (S2) del motor (110) de aprendizaje automático, en donde el verificador (210) de autenticación de modelo está configurado para verificar si dicho modelo (120) de aprendizaje automático recuperado a través de la interfaz de interacción (S2) es confiable por una autenticación (230) del modelo,

   el motor (110) de aprendizaje automático está configurado para considerar para dicha medida de toma de decisiones únicamente dicho modelo (120) de aprendizaje automático confiable, y proporcionar una autenticación (240) del resultado para la salida (180) de decisión.
7. 7. Dispositivo (150) según la reivindicación 6,

   en donde el dispositivo (150) está configurado además para recuperar al menos un conjunto de datos (160) de entrada, y el verificador (210) de autenticación de modelo está configurado para verificar si dicho conjunto de datos (160) de entrada es confiable por una firma digital, y el motor (110) de aprendizaje automático está configurado para considerar para dicha medida de toma de decisiones únicamente un dato (160) de entrada confiable.
8. 8. Dispositivo (150) según al menos una de las reivindicaciones 6 o 7,

   en donde el verificador (210) de autenticación de modelo se ejecuta en un entorno a prueba de manipulaciones que forma parte del dispositivo (150).
9. 9. Dispositivo (150) según al menos una de las reivindicaciones 6 a 8,

   que comprende, además, un componente de autenticación del resultado que está configurado para proporcionar una autenticación (240) del resultado para la salida (180) de decisión en caso de que al menos un modelo (120) de aprendizaje automático empleado por el motor (110) de aprendizaje automático para realizar la tarea de decisión sea confiable por una autenticación (230) del modelo.
10. 10. Dispositivo (150) según al menos una de las reivindicaciones 6 a 9,

    estando además acoplado comunicativamente a al menos un componente (140) de capacitación que comprende un verificador (200) de autenticación de capacitación y una interfaz de adquisición de datos de capacitación (S1),

    en donde la interfaz de adquisición de datos de capacitación (S1) está configurada para adquirir datos (170) de capacitación, y

    el verificador (200) de autenticación de capacitación está configurado para aprobar datos (170) de capacitación en caso de que los datos (170) de capacitación adquiridos comprendan una autenticación (220) de datos,

    y el componente (140) de capacitación está configurado para mejorar el modelo (120) de aprendizaje automático únicamente con datos (170) de capacitación aprobados por el verificador (200) de autenticación de capacitación,

    y proporcionar una autenticación (230) del modelo para el modelo (120) de aprendizaje automático mejorado.
11. 11. Dispositivo (150) según la reivindicación 10,

    en donde el componente (140) de capacitación es parte del dispositivo (150).
12. 12. Dispositivo (150) según al menos una de las reivindicaciones 10 a 11,

    en donde los datos (170) de capacitación son aprobados además por el verificador (200) de autenticación de capacitación cuando los datos (170) de capacitación son suministrados por un proveedor de contenido supervisado.
13. 13. Dispositivo (150) según al menos una de las reivindicaciones 10 a 11,

    en donde los datos (170) de capacitación son aprobados además por el verificador (200) de autenticación de capacitación en caso de que dichos datos (170) de capacitación abarquen resultados (180) autenticados de un motor (120) de aprendizaje automático que utiliza un modelo (120) de aprendizaje automático autenticado.
14. 14. Dispositivo (150) según al menos una de las reivindicaciones 6 a 13,

    en donde el motor (110) de aprendizaje automático es capaz de utilizar al menos uno de los datos (160) de entrada que no están firmados y un modelo (120) de aprendizaje automático que no está autenticado,

    en donde en caso de que al menos uno de los datos (160) de entrada o el modelo (120) de aprendizaje automático no sea confiable, el dispositivo (150) está configurado para omitir proporcionar una autenticación (240) del resultado a la salida (180) de decisión.