ES2955985B2

ES2955985B2 - Método implementado por ordenador para identificar una molécula a partir de imágenes de microscopía de fuerzas y generar el nombre de dicha molécula de acuerdo a la nomenclatura IUPAC

Info

Publication number: ES2955985B2
Application number: ES202230398A
Authority: ES
Inventors: Pérez Rubén Pérez; Cosme Jaime Carracedo
Original assignee: Quasar Science Resources S L; Universidad Autonoma de Madrid
Current assignee: Quasar Science Resources S L; Universidad Autonoma de Madrid
Priority date: 2022-04-29
Filing date: 2022-04-29
Publication date: 2024-05-10
Anticipated expiration: 2042-04-29
Also published as: EP4517337A1; JP2025520222A; US20250329153A1; CN119422062A; ES2955985A1; WO2023209264A1; EP4517337B1

Description

DESCRIPCIÓN

Método implementado por ordenador para identificar una molécula a partir de imágenes de microscopía de fuerzas v generar el nombre de dicha molécula de acuerdo a la nomenclatura IUPAC

La invención hace referencia a un método implementado por ordenador para identificar una molécula a partir de microscopía de fuerzas (AFM, por sus siglas en inglés), generando el nombre de dicha molécula de acuerdo a la nomenclatura IUPAC utilizando dos redes neuronales recurrentes multimodales entrenadas.

La presente invención es, por lo tanto, de interés en las áreas de la nanotecnología, particularmente en áreas relacionadas con reacciones químicas en superficies y por lo tanto de interés para usuarios y fabricantes de Microscopía de fuerzas.

ESTADO DE LA TÉCNICA

Los microscopios de sonda de barrido han jugado un papel clave en el desarrollo de la nanociencia como herramientas fundamentales para la caracterización y manipulación local de materia, con alta resolución espacial. En particular, la microscopía de fuerzas (AFM) operada en su modo de modulación de frecuencias (FM) permite la caracterización y manipulación de toda clase de materiales en la escala atómica. Esto se logra midiendo el cambio en la frecuencia de una punta oscilante debido a su interacción con la muestra. Cuando el ápice de la punta se encuentra funcionalizado con átomos o moléculas de capa cerrada, particularmente con una molécula de CO, la resolución se ve drásticamente aumentada, proporcionando acceso a la estructura interna de moléculas.

Este espectacular contraste surge de la repulsión por el principio de repulsión de Pauli entre la sonda de CO y la molécula de muestra modificada por la interacción electrostática (ES) entre el potencial creado por la muestra y la distribución de la carga asociada con el par solitario del oxígeno en la sonda. Además, la flexibilidad de la sonda molecular aumenta los puntos de silla de la superficie de energía potencial (PES, por sus siglas en inglés) total detectada por el CO. Estas capacidades de la AFM de alta resolución (HR-AFM) han hecho posible visualizar orbitales frontera, para determinar los potenciales de orden de enlace y las distribuciones de carga, y han abierto la puerta para controlar y rastrear las reacciones químicas en superficie.

A pesar de estos impresionantes logros, uno de los objetivos más importantes sigue siendo esquivo: el reconocimiento molecular. Es decir, la capacidad de nombrar una determinada molécula exclusivamente mediante observaciones con HR-AFM.

Las moléculas se han identificado combinando la AFM con otras técnicas experimentales como la microscopía de efecto túnel (STM, por sus siglas en inglés) o la microscopía de fuerza de sonda Kelvin (KPFM) y con el soporte de simulaciones teóricas (“Noncontact atomic forcé microscopy: Bond imaging and beyond” Q. Zhong, X. L¡, H. Zhang, L. Chi, Surf. Sci. Rep. 75, 100509 (2020)).

La identificación química mediante AFM de átomos individuales en aleaciones de superficie semiconductoras se logró utilizando ápices semiconductores reactivos. En este caso, la fuerza de atracción máxima entre el ápice de la punta y el átomo analizado en la muestra porta información de la especie química implicada en la interacción covalente. Sin embargo, el escenario es bastante diferente cuando se utilizan puntas funcionalizadas con moléculas de CO inertes en las que la principal fuente de contraste del AFM es la repulsión de Pauli, y las imágenes resultan fuertemente afectadas por la relajación de la sonda. Hasta ahora, los pocos intentos de discriminar átomos en moléculas mediante HR-AFM se han basado bien en diferencias observadas en el deterioro de la interacción punta-muestra en los sitios moleculares o en características de la imagen característica asociadas con las propiedades químicas de ciertos componentes moleculares. Por ejemplo, se muestran vértices más definidos para átomos de N de sustitución en anillos aromáticos de hidrocarburo debido a su par solitario. Además, el deterioro de la interacción CO-muestra sobre los átomos de N de sustitución es más rápido sobre sus átomos de C vecinos. También pueden distinguirse átomos de halógeno en las imágenes AFM gracias a su forma global (asociada con su agujero-o (o-hole)) y a la repulsión significativamente más fuerte en comparación con átomos como nitrógeno o carbono. Sin embargo, incluso estas características atómicas dependen significativamente de la estructura molecular y no pueden asociarse únicamente a una especie determinada, sino a su fracción en la molécula. La gran variedad de posibles entornos químicos hace que la identificación molecular mediante la simple inspección humana mediante los ojos de un humano sea una tarea imposible.

Las técnicas de inteligencia artificial (IA) se optimizan de forma precisa para tratar con esta clase de correlaciones sutiles y de datos masivos. El aprendizaje profundo, con su excepcional capacidad para buscar patrones, se utiliza actualmente de forma rutinaria para clasificar, interpretar, describir y analizar imágenes, proporcionando máquinas con capacidades hasta el momento únicas de los seres humanos o incluso superándolos en algunas tareas. En nuestros trabajos previos (“A Deep Learning Approach for Molecular Classification Based on AFM Images” J. Carracedo-Cosme, C. Romero-Muñiz, R. Pérez, Nanomaterials 11, 1658 (2021)), nos limitamos esencialmente a moléculas planas y sometimos a prueba el potencial de técnicas de aprendizaje para clasificar 60 moléculas orgánicas diferentes de sus imágenes AFM de altura constante. Aunque resulta alentador, el claro éxito de esta prueba de concepto no proporciona una solución al problema general de la identificación molecular. La aproximación de clasificación puede únicamente identificar moléculas incluidas en el conjunto de datos de entrenamiento. Dada la rica complejidad proporcionada por la química orgánica, incluso un conjunto de datos extremadamente grande, que ya plantea unos fantásticos desafíos computacionales (debido a que el vector de salida tiene la dimensión del número de moléculas en la base de datos), no podría clasificar muchas de las moléculas de interés ya conocidas o posiblemente sintetizadas.

Por lo tanto, se necesita desarrollar nuevos métodos para lograr una identificación molecular completa (estructura y composición) a través de imágenes de microscopía de fuerzas, incluyendo estructuras no planas.

DESCRIPCIÓN DE LA INVENCIÓN

La presente invención hace referencia a un método implementado por ordenador para identificar una molécula a partir de imágenes de microscopía de fuerzas, generando el nombre de dicha molécula de acuerdo con la nomenclatura IUPAC, utilizando una combinación de dos redes neuronales recurrentes multimodales entrenadas (M-RNNAy AM-RNN); donde cada red neuronal recurrente multimodal (M-RNNAy AM-RNN) comprende una componente CNN red neuronal convolucional, una componente RNN red neuronal recurrente y una componente 9 multimodal. Por lo tanto, el objeto de la presente invención es proporcionar un texto (el nombre de la molécula de acuerdo con la nomenclatura IUPAC) que describe una imagen (pluralidad de imágenes FM-AFM adquiridas).

La nomenclatura IUPAC, la más ampliamente aceptada y utilizada en la ciencia, se adopta como descriptor molecular en la presente invención. El nombre IUPAC determina sin ambigüedad la composición y la estructura molecular. Esto se realiza definiendo una lista de palabras clave jerárquica para nombrar grupos funcionales que se escriben siguiendo una sintaxis sistemática que define la posición estructural de cada fracción o grupo en la molécula. Para convertir la nomenclatura IUPAC en un lenguaje computacional adecuado, la presente invención define un conjunto de términos en los que se desglosa cada nombre IUPAC. En la presente invención, el término “conjunto de términos en los que se desglosa cada nombre IUPAC” hace referencia en el presente documento a un conjunto de letras o símbolos que indican fracciones moleculares, ligandos o posiciones específicas de átomos utilizadas por la nomenclatura IUPAC. La combinación de estos términos en un orden específico genera los nombres de las moléculas de acuerdo con la nomenclatura IUPAC.

En el método de la presente invención se utiliza una combinación de dos redes neuronales recurrentes multimodales (M-RNNAy AM-RNN) entrenadas diferentes, para generar el nombre de la molécula de acuerdo con la nomenclatura IUPAC. La primera M-RNNAentrenada determina los principales grupos químicos (principales fracciones moleculares) que componen la molécula que define una palabra clave para cada fracción (en el presente documento atributos IUPAC), mientras que la segunda AM-RNN entrenada predice el resto de términos IUPAC y ensambla dichos términos IUPAC restantes con atributos IUPAC determinados por la M-RNNAentrenada en el orden preciso, dando lugar a la nomenclatura IUPAC de la estructura de la molécula.

En la presente invención, un “término” es un conjunto de letras o símbolos que indican fracciones moleculares, ligandos o posiciones específicas de átomos utilizados por la nomenclatura IUPAC. Combinaciones de estos términos producen los nombres IUPAC de moléculas.

En la presente invención, el término “atributos IUPAC” hace referencia a un sub conjunto de 100 elementos de los términos IUPAC que describen en su mayoría grupos atómicos. La tabla 1 muestra los términos para la descomposición IUPAC. Los elementos sobre la línea doble son el sub-conjunto de 100 términos considerados como atributos. La celda gris no corresponde a ningún término, ha sido coloreada para distinguirla del término que se traduce en un espacio en blanco entre dos palabras.

Tabla 1

Se utiliza el conjunto de datos de Quasar Science Resources S.L. - Universidad Autónoma de Madrid - microscopía de fuerzas (QUAM-AFM) (https://doi.org/10.21950/UTGMZ7) para entrenar la primera red neuronal recurrente multimodal entrenada M-RNNAy la segunda red neuronal recurrente multimodal de atributos entrenada AM-RNN.

QUAM-AFM es una base de datos disponible para el público de 165 millones de imágenes AFM generadas teóricamente a partir de 686.000 moléculas aisladas utilizando 240 combinaciones diferentes de parámetros operativos de AFM (10 distancias de punta-muestra, 6 diferentes amplitudes de oscilación, y 4 valores diferentes para la rigidez de torsión de la molécula de CO, que se conocen que dependen de los detalles del acoplamiento de la molécula al ápice de la punta de metal. El conjunto de datos QUAM-AFM también proporciona las representaciones de bolasy-líneas de cada molécula generada a partir de las coordenadas atómicas. Estas representaciones comparten la misma escala utilizada en las imágenes AFM: si superponemos las dos imágenes, cada bola de la representación se encuentra centrada en la posición ocupada por el átomo que representa en las imágenes AFM.

La base de datos QUAM-AFM incluye moléculas orgánicas, descartando todos los demás compuestos que pueden no tener formas puramente moleculares, como sales orgánicas o compuestos inorgánicos y polímeros. Las moléculas seleccionadas contienen los cuatro elementos básicos de la química orgánica (carbono, hidrógeno, nitrógeno y oxígeno), más algunos otros elementos menos comunes que son aún frecuentes en compuestos orgánicos como el azufre, fósforo, y los átomos de halógeno (flúor, cloro, bromo, y yodo). La molécula más grande en la base de datos QUAM-AFM tiene un total de ochenta y cinco átomos.

Se han descartado moléculas muy pequeñas, principalmente aquellas que contienen menos de ocho átomos, ya que debido a su movilidad superficial extremadamente alta y a la enorme variedad de configuraciones de adsorción, no son buenos candidatos para ser identificados únicamente mediante AFM y por lo tanto no se incluyen en la base de datos QUAM-AFM. Además, las moléculas muy grandes que tienen una estructura que no se ajusta a celda con base cuadrada con una longitud de lado de 24 Á tampoco forman parte de la base de datos QUAM-AFM.

La base de datos QUAM-AFM se limita a moléculas casi planas, las cuales muestran únicamente variaciones de altura hasta 1,83 Á a lo largo del eje z para incluir cadenas alifáticas con átomos de carbonosp3(grupos metilo) como grupos laterales. El conjunto de datos QUAM-AFM comprende un conjunto de moléculas que incluye compuestos alifáticos, cíclicos y aromáticos, en particular un gran número de hidrocarburos (alcanos, alquenos, alquinos, etc.) junto con todas las familias orgánicas tradicionales (alcoholes, tioles, éteres, aldehidos y cetonas, ácidos carboxílicos, aminas, amidas, iminas, ésteres, nitrilos, compuestos nitro y azo, halocarbonos y haluros de acilo, etc.).

Los nombres IUPAC en las imágenes QUAM-AFM pueden descomponerse en un total de 199 términos. La longitud máxima de los términos en la descomposición de los nombres IUPAC en QUAM-AFM es 57.

Ha de señalarse que la clase de una molécula se define en el presente documento por el tipo de especie atómica que contiene y el número de átomos repetidos de cada una de estas especies. Un número representativo de QUAM-AFM de cada clase se obtiene excluyendo el hidrógeno de la lista de especies, de manera que las moléculas con diferentes estructuras tales como pirazina, piridazina, but-2-enodinitrilo o butanodinitrilo pertenecen a la misma clase (C4N2). Esto da como resultado un total de 2339 clases para las estructuras de las moléculas consideradas en el conjunto de datos QUAM-AFM. VéaselaFigura 1

Las redes neuronales recurrentes multimodales generan descripciones de nuevas frases para explicar el contenido de las imágenes. Una primera red neuronal recurrente multimodal M-RNNAentrenada se utiliza en el método de la presente invención para obtener los principales grupos químicos, es decir las principales fracciones moleculares, que componen la molécula que define una palabra clave para cada fracción, en el presente documento atributos IUPAC.

Un método para entrenar la primera red neuronal recurrente multimodal M-RNNA entrenada que comprende los siguientes pasos:

i) proporcionar una primera red neuronal recurrente multimodal M-RNNA entrenada, dicha M-RNNAque comprende

• una primera componente CNN/M-RNNA red neuronal convolucional que comprende un bloque de capas convolucionales 3D y una o más capas de dilución,

• una primera componente RNN/M-RNNA red neuronal recurrente que comprende una o más capas de integración, una o más capas de dilución, y una o más capas recurrentes, en donde al menos una capa recurrente es una unidad recurrente cerrada (GRU, del inglés “Gated Recurrent Unit”),

• una primera componente 9/M-RNNA multimodal que comprende capas conectoras con una o más capas de dilución,

• y un generador de imágenes extendido,

ii) pre-entrenar la primera componente CNN/M-RNNA red neuronal convolucional que alimenta dicha primera componente CNN/M-RNNA red neuronal recurrente con un conjunto de imágenes AFM de moléculas conocidas o predeterminadas que se corresponden con la clase de moléculas que comparte la misma composición química (número de diferentes especies químicas y número de átomos para cada especie, excluyendo los átomos de H), por ejemplo con las imágenes AFM de moléculas conocidas o predeterminadas que corresponden a una clase de moléculas que comparte la misma composición química en la base de datos de QUAM-AFM, en donde la forma y el contraste de dichas imágenes y su variación con la altura muestra las posiciones 3D y el tamaño (naturaleza química) de los átomos y la distancia entre dichos átomos en la molécula orgánica;

ni) alimentar la primera red neuronal recurrente multimodal M-RNNAentrenada, cuya primera componente CNN/M-RNNAred neuronal convolucional es pre-entrenada en el paso (ii) con una pluralidad de imágenes en escala de grises de AFM de altura constante de moléculas orgánicas predeterminadas, por ejemplo con las imágenes AFM de la base de datos QUAM-AFM, y, alternativamente,

• entrenar la componente RNN/M-RNNA actualizando sus pesos, a la vez que se fijan los pesos de la componente CNN/M-RNNA,

• o entrenando la componente CNN/M-RNNA, actualizando sus pesos, a la vez que se fijan los pesos de la componente RNN/M-RNNA,

prediciendo de este modo los atributos IIUPAC en una molécula orgánica.

La componente CNN/M-RNNAcomprende un bloque de capas convolucionales 3D y capas de dilución y consiste en una modificación del modelo Inception ResNet V2 (C. Szegedy, S. loffe, V. Vanhoucke, A. A. Alemi,31rd Proc. AAAI Conf. on Artificial Intelligence(AAAI Press, Palo Alto, CA, USA, 2017), p. 4278-4284) donde las capas convolucionales 2D es reemplazada por un bloque que incluye dos capas convolucionales 3D - cada una con 32 filtros, tamaño del kernel (3,3,3) y strides de (2,1,1) - para procesar la pila de 10 imágenes AFM con varias distancias puntamuestra, seguidas por una capa de dilución. Esta capa de dilución es esencial para generalizar diferentes imágenes, tales como las experimentales. Además, hemos retirado la última capa totalmente conectada del modelo, que es específica para la tarea de clasificación original, obteniendo un vector de salidav.

La RNN/M-RNNAcomprende una capa de integración, seguida de una capa de dilución, y terminando con una capa recurrente (véase laFigura 2).Los atributos se codifican asignando números enteros de 1 a 100 a cada atributo. La entrada de RNN/M-RNNAes un vector de tamaño fijo 19, el número máximo de atributos diferentes en los nombres de las moléculas en QUAM-AFM (18) más el símbolostartseq.En el primer paso, solo contendrá un número entero que designa el símbolostartseq,mientras que en los siguientes pasos incluiríastartseqmás los números enteros asociados con atributos predichos en los pasos previos. En cada paso temporal, la entrada se completa con ceros hasta que se obtiene una longitud de 19.

La capa de integración procesa la entrada para representar cada atributo en un espacio de vector, transformando el vector de entrada en un vector denso con valores reales que reflejan el significado sintáctico y semántico del atributo, colocando atributos similares juntos en el espacio del vector, siguiendo las conexiones neuronales establecidas durante el entrenamiento. Por ejemplo, los atributos representados más cercanos abromsonolor, fluory yod

La capa recurrente almacena en su estado interno, información acerca de las anteriores predicciones.

En la predicción de atributos, utilizamos una Unidad recurrente cerrada (GRU) como la capa recurrente. La GRU es computacionalmente eficiente y adecuada para predecir cadenas de atributos cortas. Es necesario introducir una capa de dilución entre la capa de integración y la capa recurrente para evitar un sobreajuste durante el entrenamiento.

La componente multimodal 9/M-RNNA procesa en primer lugar el vde salida de la CNN en dos capas totalmente conectadas con una dilución entre las mismas. El vector resultante se encuentra concatenado con el vector de salida de la RNN para alimentar dos capas totalmente conectadas que producen un vector de probabilidades. Este vector final tiene 103 componentes: cien componentes se encuentran relacionados con los atributos, uno con el relleno (padding) y dos con los símbolosstartseqyendseq.La posición de la componente más grande en el vector nos proporciona la predicción de un nuevo atributo.

Esta predicción de atributos comienza únicamente con el símbolostartseqSo en la entrada (So, 0,..,0) para RNN/M-RNNA. Para un determinado paso temporal t, alimentamos la RNN/M-RNNAcon la entrada (So, Y iA ,...,YAt-i,0...,0), que concatena SO con todas las predicciones ya realizadas en pasos temporales previos, y se rellena con ceros hasta obtener una longitud de 19 (véase laFigura3, como un ejemplo). El proceso se repite hasta que se predice el símboloendseqy se rompe el bucle (véase laFigura 4).

LaFigura5 proporciona detalles de las capas de las componentes RNN/M-RNNAy 9 /M-RNNAde M-RNNA, incluyendo el operador, las dimensiones y las funciones de activación.

El entrenamiento global de una red compleja como la M-RNNAconsume una extremada cantidad de tiempo y es propensa a generar un sobreajuste en las componentes con menos capas. Por lo tanto, la primera red neuronal recurrente multimodal M-RNNAentrenada, se entrena en diferentes etapas:

En primer lugar, la primera componente de la red neuronal convolucional CNN/M-RNNAque alimenta dicha primera componte neuronal recurrente CNN/M-RNNAes pre entrenada con un conjunto de imágenes AFM de moléculas conocidas o predeterminadas correspondientes a una clase de moléculas que comparte la misma composición química, por ejemplo con las imágenes AFM de moléculas conocidas o predeterminadas correspondientes a una clase de moléculas que comparte la misma composición química en la base de datos QUAM-AFM, en donde la forma y el contraste de dichas imágenes y su variación con la altura muestran las posiciones 3D y el tamaño (naturaleza química) de los átomos y la distancia entre dichos átomos en la molécula orgánica.

En segundo lugar, se alimenta la primera red neuronal recurrente multimodal M-RNNA entrenada, cuya primera componente de la red neuronal convolucional CNN/M-RNNAes pre-entrenada con una pluralidad de imágenes en escala de grises de AFM de altura constante de moléculas orgánicas conocidas o predeterminadas, por ejemplo con las imágenes de la base de datos QUAM-AFM, y alternativamente,

• la componente RNN/M-RNNAy la componente CNN/M-RNNAse pesan fijando los pesos de la componente CNN/M-RNNAa la vez que se entrena la componente RNN/M-RNNA,

• o la componente CNN/M-RNNAy la componente RNN/M-RNNAse pesan fijando el peso de la componente RNN/M-RNNAa la vez que se entrena la componente CNN/M-RNNA, para predecir los atributos IUPAC en una molécula orgánica.

Durante el entrenamiento de la primera red neuronal recurrente multimodal M-RNNAentrenada, una de las 24 combinaciones de los parámetros operativos de AFM (6 amplitudes de oscilación diferentes, y 4 valores diferentes para la rigidez de torsión de la molécula de CO), disponibles en el conjunto de datos QUAM-AFM para cada pila de entrada se eligen aleatoriamente. Esta variabilidad en los datos de entrada

• asegura que los parámetros con los que se ha realizado el experimento de AFM no juegan un papel decisivo para la primera red neuronal recurrente multimodal M-RNNAentrenada para tener éxito en la identificación de la estructura,

• evita el sobreajuste, y

• proporciona a la primera red neuronal recurrente multimodal M-RNNA entrenada la capacidad para generalizar.

Esta variabilidad se ve mejorada además con la aplicación de un generador de imágenes extendido (IDG) al conjunto de entrenamiento que aplica diferentes deformaciones (escala, rotaciones, desplazamientos, volteos y cizalla) a las imágenes de entrada(Figura 6)y normaliza el valor del píxel. El uso de un IDG es motivado por el hecho de que las imágenes experimentales tienen algunos rasgos característicos que no son capturados por las simulaciones de AFM y que podrían obstaculizar la identificación. Por ejemplo, las imágenes experimentales no muestran la simetría completa de la molécula orgánica. Estas diferencias entre las imágenes AFM experimentales y teóricas para una molécula orgánica determinada podría deberse aq la inevitable presencia de ruido en los experimentos, asimetrías en la punta que no están incluidas en la simulación de las imágenes AFM, o al hecho de que las moléculas orgánicas se relajan y se deforman debido a la interacción con el sustrato, mientras que se están considerando estructuras en fase gaseosa ideales en las imágenes AFM simuladas utilizadas para el entrenamiento.

Las deformaciones provistas por la aplicación del IDG durante el entrenamiento imitan estos efectos y contribuyen significativamente a otorgar a la primera red neuronal recurrente multimodal M-RNNAla capacidad de identificar moléculas orgánicas a partir de imágenes experimentales. La selección de parámetros de deformación apropiados para el IDG es importante, ya que una elección adecuada aumenta considerablemente la precisión de la identificación.

La primera red neuronal recurrente multimodal M-RNNAentrenada comprende (véase laFigura 2)

• una componente de la red neuronal convolucional CNN/M-RNNA comprende un bloque de capas convolucionales 3D y una o más capas de dilución configuradas para codificar la pluralidad de imágenes de microscopía de fuerzas de altura constante en un vector de salidav,

• una componente de la red neuronal recurrente RNN/M-RNNA que comprende una o más capas de integración, una o más capas de dilución, y una o más capas recurrentes, en donde al menos una capa recurrente es una unidad recurrente cerrada (GRU) que trata con el proceso del lenguaje, y está configurada para integrar una representación de cada atributo basado en su significado semántico colocando atributos similares juntos y, en segundo lugar, para almacenar el contexto temporal semántico en estas capas recurrentes,

• un componente multimodal ^/M-RNNAque comprende capas conectoras con una o más capas de dilución, configuradas para combinar y procesar tanto la salida CNN/M-RNNAcomo la RNN/M-RNNApara predecir uno de los atributos,

• y un generador de imágenes extendido configurado para aplicar una normalización del valor del píxel y diferentes deformaciones aleatorias, seleccionadas de entre [-15,15] % para escala (“zoom”), [-180,180] grados de rotación, desplazamiento vertical y horizontal, volteos verticales y horizontales aleatorios, [-20,20] % para cizalla y cualquier combinación de los mismos a las imágenes AFM teóricas, proporcionando de este modo características miméticas de las imágenes experimentales, como la presencia de ruido y los efectos asociados a la asimetría de la punta, que se encuentran ausentes en las simulaciones y que podrían obstaculizar la identificación.

Se utiliza una red neuronal recurrente multimodal AM-RNNAentrenada en el método de la presente invención, para obtener el nombre de la molécula de acuerdo con la nomenclatura IUPAC, prediciendo en el orden correcto los diferentes términos en el nombre IUPAC de la molécula utilizando el conjunto de datos QUAM-AFM.

Un método para entrenar la segunda red neuronal recurrente multimodal AM-RNN entrenada que comprende los siguientes pasos:

1) proporcionar una segunda red neuronal recurrente multimodal AM-RNN entrenada, dicha AM-RNN que comprende

• una segunda componente de la red neuronal convolucional CNN/AM-RNN que comprende un bloque de capas convolucionales 3D y una o más capas de dilución,

• una segunda componente de la red neuronal recurrente RNN/AM-RNN que comprende una o más capas de integración, una o más capas de dilución, y una o más capas recurrentes, en donde al menos una capa recurrente es una memoria a largo y corto plazo (LSTM, del inglés Long-Short-Term Memory), • una segunda componente multimodal 9/M-RNNA que comprende capas conectoras con una o más capas de dilución,

• y un segundo generador de imágenes extendido

2) entrenar la segunda componente red neuronal convolucional CNN/M-RNNAque alimenta dicha primera componente red neuronal convolucional CNN/M-RNNAcon un conjunto de imágenes AFM de moléculas conocidas o predeterminadas correspondientes a una clase de moléculas que comparte la misma composición química, por ejemplo con las imágenes AFM de moléculas conocidas o predeterminadas correspondientes a una clase de moléculas que comparte la misma composición química en la base de datos QUAM-AFM, en donde la forma y el contraste de dichas imágenes y su variación con la altura muestran las posiciones 3D y el tamaño (naturaleza química) de los átomos y la distancia entre dichos átomos en la molécula orgánica.

3) alimentar la segunda red neuronal recurrente multimodal AM-RNN entrenada, cuya primera componente red neuronal convolucional CNN/AM-RNN se entrena en el paso (2), con una pluralidad de imágenes en escala de grises de AFM de altura constante de moléculas orgánicas conocidas o predeterminadas, por ejemplo con las imágenes AFM de la base de datos QUAM-AFM y los atributos IUPAC obtenidos en el entrenamiento de la primera red neuronal recurrente multimodal M-RNNAentrenada, y, alternativamente,

• pesar la componente RNN/AM-RNN y la componente CNN/AM-RNN, fijando el peso de la componente CNN/AM-RNN a la vez que se entrena la componente RNN/AM-RNN,

• o pesar la componente CNN/AM-RNN y la componente RNN/AM-RNN, fijando el peso de la componente RNN/AM-RNN a la vez que se entrena la componente CNN/AM-RNN,

generando de este modo el nombre IUPAC de la molécula orgánica.

La componente CNN/AM-RNN comprende un bloque de capas convolucionales 3D y capas de dilución y consiste en una modificación del modelo Inception ResNet V2 (C. Szegedy, S. loffe, V. Vanhoucke, A. A. Alemi,31rd Proc. AAAI Conf. on Artificial Intelligence(AAAI Press, Palo Alto, CA, USA, 2017), p. 4278-4284) donde las capas convolucionales 2D son reemplazadas por un bloque que incluye dos capas convolucionales 3D- cada una con 32 filtros, tamaño de kernel (3,3,3) y strides de (2,1,1) - para procesar la pila de 10 imágenes AFM con diversas distancias punta-muestra, seguido de una capa de dilución. Esta capa de dilución es esencial para generalizar diferentes imágenes, tales como las experimentales. Además, hemos retirado la última capa totalmente conectada del modelo, que es específica para la tarea de clasificación original, obteniendo un vector de salidav.

La componente RNN/AM-RNN incluye una capa de integración, seguida de una capa de dilución, y terminando con una capa recurrente (véase laFigura 2).Los términos se codifican asignando números enteros (de 1 a 199) a cada término. La entrada de RNN/AM-RNN es un vector de tamaño fijo 76. Este número procede de la suma del número máximo de diferentes atributos en los nombres de las moléculas en la QUAM-AFM más el símbolostartseq(18+1=19), y el número máximo de términos en los nombres IUPAC de las moléculas en el conjunto de datos QUAM-AFM es 57. Cada entrada de RNN/AM-RNN es un vector de tamaño 76, surgiendo a partir de la concatenación de los atributos predichos por la primera red neuronal recurrente multimodal M-RNNA entrenada (rellenada con ceros si es menor de 18), con el símbolostartseqy los términos predichos en cada paso temporal previo (rellenado hasta que se obtiene un vector con una longitud 57). En el primer paso, contendrá números enteros que designan el símbolostartseqy los atributos, mientras que en los siguientes pasos, también incluiría los números enteros asociados con los términos predichos en los pasos previos.

La capa de integración procesa la entrada para representar cada término en un espacio del vector, transformando el vector de entrada en un vector denso con valores reales que reflejan el significado sintáctico y semántico del término, colocando entradas similares juntas en el espacio del vector, siguiendo las conexiones neuronales establecidas durante el entrenamiento. Por ejemplo, los términos que designan números se representan en proximidad cercana, es decir, los términos más cercanos anonasonocta, deca, undecaydodeca.

La capa recurrente almacena en su estado interno, información acerca de las predicciones previas. En la predicción de términos, utilizamos una red de memoria a largo y corto plazo (LSTM) como la capa recurrente. La LSTM, más precisa con series a largo plazo que la GRU utilizada en la RNN/M-RNNA, es apropiada para la predicción de cadenas de términos más grandes, con una longitud máxima de 57 términos. Finalmente, es necesario introducir una capa de dilución entre la capa recurrente y la capa de integración para evitar un sobreajuste durante el entrenamiento.

La componente multimodal 9/AM-RNN procesa en primer lugar el v de salida de la CNN/M-RNNAen dos capas totalmente conectadas con una dilución entre las mismas. El vector resultante es concatenado con la salida de la RNN/AM-RNN para alimentar dos capas totalmente conectadas que producen un vector de probabilidades. Este vector tiene 202 componentes: 199 componentes están relacionados con los términos, uno con el relleno y dos con los símbolosstartseqyendseq.La posición de la componente más grande en el vector nos proporciona la predicción de un nuevo término.

La predicción de términos comienza con la lista de atributos predicha en el paso (b) (relleno si fuera necesario) más el símbolostartseq(Y<ia>,...,Y<ai>8,startseq,0,...,0)ya que la entrada para la RNN/AM-RNN. Para un paso temporal t determinado, la RNN/AM-RNN es alimentada con la entrada (Y<ia>,...,Y<ai>8,starfseq,YiT,...,YTt-i,0...,0), que incluye todas las predicciones de términos ya realizadas en previos pasos temporales, rellenando con ceros para obtener una longitud de 57, el número máximo de términos. El proceso se repite hasta que se predice el símboloendseqy se rompe el bucle (véase la Figura 4). Las entradas y salidas en cada paso temporal en la predicción de términos con AM-RNN para la molécula de perileno-1,12-diol se muestran en la Figura 7. La representación del estado de la RNN/AM-RNN y el vector de entrada de la AM-RNN en el cuarto paso temporal se muestran en la Figura 3.

La Figura 5 proporciona detalles de las capas de las componentes RNN/AM-RNN y 9/AM-RNN de la AM-RNN, incluyendo el operador, las dimensiones y las funciones de activación.

En primer lugar, la segunda componente red neuronal convolucional CNN/AM-RNN que alimenta dicha segunda componente red neuronal recurrente CNN/AM-RNN es pre entrenada con un conjunto de imágenes de AMF de moléculas conocidas o predeterminadas correspondientes a una clase de moléculas que comparte la misma composición química, por ejemplo con las imágenes AFM de moléculas conocidas o predeterminadas correspondientes a una clase de moléculas conocidas o predeterminadas correspondientes a una clase de moléculas que comparte la misma composición química en la base de datos QUAM-AFM, en donde la forma y el contraste de dichas imágenes y su variación con la altura muestran las posiciones 3D y el tamaño (naturaleza química) de los átomos y la distancia entre dichos átomos en la molécula orgánica.

En segundo lugar, la segunda red neuronal recurrente multimodal AM-RNN entrenada, cuya segunda componente CNN/AM-RNN red neuronal convolucional es pre entrenada con una pluralidad de imágenes en escala de grises de AFM de altura constante de moléculas conocidas o predeterminadas, por ejemplo con las imágenes AFM de la base de datos QUAM-AFM es alimentada y alternativamente,

• la componente RNN/AM-RNN y la componente CNN/AM-RNN se pesan fijando el peso de la componente CNN/AM-RNN a la vez que se entrena la componente RNN/AM-RNN,

• o la componente CNN/AM-RNN y la componente RNN/AM-RNN se pesan fijando el peso de la componente RNN/AM-RNN a la vez que se entrena la componente CNN/AM-RNN, generando de este modo el nombre IUPAC de la molécula orgánica.

La segunda red neuronal recurrente multimodal AM-RNN entrenada comprende (véase laFigura 2)

• una segunda red neuronal convolucional CNN/AM-RNN que comprende un bloque de capas convolucionales 3D y una o más componentes de capas de dilución configuradas para codificar una pluralidad de imágenes de microscopía de fuerzas de altura constante obtenidas en el paso (a) en un vector de salidav\• una segunda componente red neuronal recurrente RNN/AM-RNN que comprende una o más capas de integración, una o más capas de dilución, y una o más capas recurrentes, en donde al menos una capa recurrente es una memoria a largo y corto plazo (LSTM), configurada para encargarse del proceso del lenguaje, y para integrar una representación de cada término IUPAC en base a un significado semántico colocando términos similares juntos y, en segundo lugar, para almacenar el contexto semántico temporal en las capas recurrentes;

• una segunda componente multimodal 9/AM-RNN que comprende unas capas conectaras con una o más capas de dilución, que se encarga de combinar y procesar tanto la salida CNN/AM-RNN como la RNN/AM-RNN para predecir uno de los términos IUPAC;

• y un segundo generador de imágenes extendido configurado para aplicar una normalización píxel-valor y diferentes deformaciones aleatorias seleccionadas de entre [-15,15] % para escala, [-180,180] grados de rotación, desplazamiento vertical y horizontal, volteos vertical y horizontal aleatorios, [-20,20] % para cizalla y cualquier combinación de los mismos a las imágenes AFM teóricas proporcionando, de este modo, características miméticas de las imágenes experimentales como la presencia de ruido y los efectos asociados a la asimetría de la punta, que están ausentes en las simulaciones de AFM y que podrían obstaculizar la identificación.

El primer aspecto de la presente invención hace referencia a un método implementado por ordenador para identificar una molécula orgánica a partir de imágenes de microscopía de fuerzas y para generar el nombre de la molécula orgánica de acuerdo con la nomenclatura IUPAC, dicho método caracterizado por que comprende los siguientes pasos:

a) adquirir una pluralidad de imágenes de microscopía de fuerzas de altura constante de una molécula orgánica a diferentes distancias de altura de la punta por encima de dicha molécula, utilizando un ápice de la punta de metal funcionalizado mediante un microscopio de fuerzas en modo de modulación de frecuencias (microscopio FM-AFM), en donde dichas distancias de altura de la punta se encuentran en un rango de 280 pm y 370 pm sobre dicha molécula, y en donde la forma y el contraste de dicha imagen y su variación con la altura de la punta muestran la posición 3D y, el tamaño (naturaleza química) de los átomos y la distancia entre dichos átomos en la molécula orgánica,

b) proporcionar una primera red neuronal recurrente multimodal M-RNNAentrenada a un dispositivo procesador de datos, en donde la primera red neuronal recurrente multimodal M-RNNAentrenada comprende

- una primera componente red neuronal convolucional CNN/RNNAque comprende un bloque de capas convolucionales 3D y una o más capas de dilución,

- una primera componente red neuronal recurrente RNN/M-RNNAque comprende una o más capas de integración, una o más capas de dilución, y una o más capas recurrentes, en donde al menos una capa recurrente es una unidad recurrente cerrada (GRU), y

- una primera componente multimodal 9/AM-RNN que comprende capas conectoras con una o más capas de dilución,

c) alimentar, al dispositivo procesador de datos, la primera red neuronal recurrente multimodal M-RNNAentrenada con las imágenes de microscopía de fuerzas obtenidas en el paso (a), dicha primera red neuronal recurrente multimodal M-RNNAentrenada generando los atributos IUPAC con significado sintáctico y semántico de la molécula orgánica;

d) proporcionar una segunda red neuronal recurrente multimodal de atributos AM-RNN entrenada al dispositivo procesador de datos, en donde la segunda red neuronal recurrente multimodal de atributos AM-RNN entrenada comprende - una segunda componente red neuronal convolucional CNN/AM-RNN que comprende un bloque de capas convolucionales 3D y una o más capas de dilución,

- una segunda componente red neuronal recurrente RNN/AM-RNN que comprende una o más capas de integración, una o más capas de dilución, y una o más capas recurrentes, en donde al menos una capa recurrente es una memoria a largo y corto plazo (LSTM), y

- una segunda componente multimodal 9/AM-RNN que comprende capas conectoras con una o más capas de dilución,

e) alimentar, al dispositivo procesador de datos, la segunda red neuronal recurrente multimodal AM-RNN entrenada con los atributos IUPAC obtenidos en el paso (d) y las imágenes de microscopía de fuerzas obtenidas en el paso (a), donde dicha red neuronal recurrente multimodal AM-RNN entrenada genera el nombre de la IUPAC de la molécula orgánica.

El AFM operando en su modo dinámico de modulación de frecuencias (FM-AFM) permite la caracterización y manipulación de todo tipo de materiales a escala atómica midiendo el cambio en la frecuencia de una punta oscilante debido a su interacción con la muestra de molécula orgánica. Cuando la punta es funcionalizada con moléculas de capa cerrada inertes, en particular una molécula de CO, la resolución es aumentada, proporcionando acceso a la estructura interna de las moléculas. El espectacular contraste se origina principalmente a partir del principio de repulsión de Pauli entre la sonda de CO y la molécula de muestra. Esta contribución de la fuerza de repulsión surge porque las densidades de electrones de la punta y la muestra se solapan, lo que da como resultado desplazamientos de frecuencia crecientes, que son cambios en la frecuencia de oscilación de la micropalanca en voladizo (cantilever) que sujeta la punta debido a la interacción punta-muestra. Se observan desplazamientos como rasgos brillantes en las imágenes AFM de altura constante sobre las posiciones, tamaños y enlaces del átomo (distancia entre los átomos), reflejando la estructura molecular orgánica.

El término “un ápice de la punta de metal funcionalizado” hace referencia en el presente documento a un ápice de la punta de un metal, habitualmente Cu, pero pueden también utilizarse otros metales como Ag y Pt, que es funcionalizado con átomos o moléculas de capa cerrada que aumentan drásticamente la resolución de las imágenes AFM, proporcionando acceso a la estructura interna de la molécula orgánica. Ejemplos de átomos o moléculas de capa cerrada inertes son un átomo de Xe y una molécula de CO, respectivamente.

Se prefiere un ápice de la punta de metal funcionalizado con CO en la presente invención, ya que aumenta el contraste de la imagen de AFM debido a que:

• la repulsión de Pauli entre el par solitario del átomo de oxígeno en la molécula de CO y la densidad de carga de la molécula de muestra es muy direccional, debido a la distribución preferencial de la carga electrónica asociada con el par solitario a lo largo del eje molecular, y

• la molécula de CO unida a la punta de metal proporciona un campo eléctrico complejo, con un rasgo central muy localizado, justo delante del átomo de O y repulsivo para los electrones en la molécula de muestra, que proporciona una interacción electrostática que varía rápidamente, tanto vertical como lateralmente, y

• la inclinación de la molécula de CO aumenta significativamente los rasgos intramoleculares.

Por lo tanto, en una realización preferida de la presente invención, el ápice de la punta de metal funcionalizado utilizado en el paso (a) se selecciona de entre Cu, Ag o Pt.

En otra realización preferida del método de la presente invención, el ápice de la punta de metal funcionalizado utilizado en el paso (a), es funcionalizado con átomos o moléculas de capa cerrada inertes. Más preferiblemente, el ápice de la punta funcionalizado es funcionalizado con un átomo de Xe o una molécula de CO.

Para adquirir la pluralidad de imágenes en escala de grises de AFM de altura constante, han de obtenerse distancias por encima de dicha molécula orgánica que se encuentran en un rango entre 280 pm y 370 pm mediante un microscopio FM-AFM que permite la adquisición de imágenes con diferentes contrastes como una función de las distancias de la altura de la punta. La forma y el contraste de dichas imágenes y su variación con la altura de la punta definen la distribución espacial 3D de la carga electrónica, que es el resultado de la interrelación de la especie química, su entorno químico y sus alturas relativas con respecto a los demás átomos en la configuración molecular. Por lo tanto, es esencial que se adquiera una pluralidad de imágenes, ya que toda la información referente a dicha distribución espacial 3D de la carga electrónica se encuentra en la misma. Preferiblemente, deberían tomarse al menos 10 imágenes para caracterizar de forma apropiada el contraste de FM-AFM en el rango de la distancia de la altura de la punta entre 280 pm y 370 pm por encima de dicha molécula orgánica. En este rango de altura de la punta, la repulsión de Pauli y la interacción electrostática entre la punta y la molécula orgánica varían significativamente, lo que conduce a fuertes cambios en el contraste de las imágenes de FM-AFM que incluyen rasgos que son característicos de los átomos y de su entorno molecular. La forma y el contraste de dichas imágenes y su variación con la altura de la punta contienen toda la información sobre la posición 3D y el tamaño (naturaleza química) de los átomos y la distancia entre dichos átomos.

Por lo tanto, en una realización preferida del método de la presente invención, una pluralidad de al menos 10 imágenes en escala de grises de AFM de altura constante de la molécula orgánica, se adquieren en el paso (a).

En otra realización preferida del método de la presente invención, el paso (a) se realiza al menos a10 distancias de altura de la punta diferentes.

El paso (b) del método de la invención hace referencia a proporcionar una primera red neuronal recurrente multimodal M-RNNAentrenada a un dispositivo procesador de datos, en donde la primera red neuronal recurrente multimodal M-RNNAentrenada comprende

- una primera componente red neuronal recurrenteRNN/RNNaque comprende una o más capas de integración, una o más capas de dilución, y una o más capas recurrentes, en donde una capa recurrente es una unidad recurrente cerrada (GRU), y

- una primera componente multimodalq/AM-RNNque comprende capas conectoras con una o más capas de dilución,

y el paso c) alimentar, al dispositivo procesador de datos, la primera red neuronal recurrente multimodal M-RNNAentrenada con las imágenes de microscopía de fuerzas obtenidas en el paso (a), donde dicha primera red neuronal recurrente multimodal M -RNNAentrenada genera los atributos IUPAC con significado sintáctico y semántico de la molécula orgánica. Tal como se ha mencionado anteriormente, los atributos se mencionan en la Tabla 1.

En el paso (d) se proporciona una segunda red neuronal recurrente multimodal AM -RNN entrenada al dispositivo procesador de datos, en donde la segunda red neuronal recurrente multimodal AM-RNN entrenada comprende

- una segunda componente red neuronal convolucional CNN/AM-RNN que comprende un bloque de capas convolucionales 3D y una o más capas de dilución,

- una segunda componente red neuronal recurrente multimodal RNN/AM-RNN que comprende una o más capas de integración, una o más capas de dilución, y una o más capas recurrentes, en donde al menos una capa recurrente es una memoria a largo y corto plazo (LSTM), y

- una segunda componente multimodal 9/AM-RNN que comprende capas conectoras con una o más capas de dilución.

El paso (e) hace referencia a alimentar, al dispositivo procesador de datos, la segunda red neuronal recurrente multimodal AM-RNN entrenada con los atributos IUPAC obtenidos en el paso (d) y las imágenes de microscopía de fuerzas obtenidas en el paso (a), donde dicha segunda red neuronal recurrente multimodal AM-RNN entrenada genera el nombre de la IUPAC de la molécula orgánica.

Otro aspecto de la presente invención hace referencia a un microscopio de microscopía de fuerzas con modulación de frecuencias (FM-AFM) que comprende un ápice de la punta de metal funcionalizado (en el presente documento, el microscopio de la presente invención) configurado para realizar el paso (a) del método de la presente invención tal como se ha descrito anteriormente, y un dispositivo procesador de datos configurado para realizar los pasos (b) al paso (e) del método de la presente invención tal como se ha descrito anteriormente.

Preferiblemente, el microscopio de la presente invención comprende además una unidad de visualización conectada al dispositivo procesador de datos y configurada para mostrar el nombre de la molécula de acuerdo con la IUPAC obtenido en el paso (e) del método de la presente invención. Más preferiblemente, la unidad de visualización, conectada al dispositivo procesador de datos, se encuentra además configurada para mostrar la representación estructural de la molécula identificada en el paso (e) del método de la presente invención en forma de una representación de bolas y líneas.

En otra realización preferida del microscopio de la presente invención, el metal del ápice de la punta de metal funcionalizado se selecciona de entre Cu, Ag o Pt. Dicho ápice de la punta de metal aumentó la resolución de las imágenes de FM-AFM.

En otra realización preferida del microscopio de la presente invención, el ápice de la punta de metal funcionalizado es funcionalizado con átomos o moléculas de capa cerrada inertes, preferiblemente el ápice de la punta de metal funcionalizado es funcionalizado con un átomo de Xe de capa cerrada inerte o una molécula de CO de capa cerrada inerte. Dicho ápice de la punta de metal funcionalizado aumentó la resolución de las imágenes de FM-AFM.

Otro aspecto de la presente invención hace referencia a un programa de ordenador (en el presente documento el programa de ordenador de la invención) que comprende instrucciones que, cuando se ejecuta el programa mediante el dispositivo procesador de datos, causa que un dispositivo procesador de datos realice el paso (b) al paso (e) del método de la presente invención, tal como se ha descrito anteriormente en dicho dispositivo procesador de datos.

El último aspecto de la presente invención hace referencia a un soporte de datos legible por ordenador que tiene almacenado en el mismo el programa de ordenador de la presente invención según se ha descrito anteriormente.

A menos que se defina de otro modo, todos los términos técnicos y científicos utilizados en el presente documento tienen el mismo significado que el que se entiende habitualmente por un experto en la técnica a la que pertenece la presente invención. Pueden utilizarse métodos y materiales similares o equivalentes a los descritos en el presente documento, en la práctica de la presente invención. A lo largo de la descripción y las reivindicaciones el término “comprender” y sus variaciones no pretenden excluir otros rasgos, aditivos, componentes o pasos técnicos. Objetos, ventajas y características adicionales de la invención resultarán evidentes para los expertos en la técnica tras examinar la descripción, o pueden aprenderse mediante práctica de la invención. Los siguientes ejemplos y dibujos se encuentran previstos a modo de ilustración y no pretenden ser limitativos de la presente invención.

BREVE DESCRIPCIÓN DE LAS FIGURAS

Figura 1Estructuras atómicas pertenecientes a las diferentes clases de acuerdo a sus especies químicas.

Figura 2muestra la representación gráfica en capas de la estructura común compartida por M-RNNA y AM-RNN con las capas que constituyen sus tres componentes, CNN, RNN y 9. La componente CNN sigue el modelo Inception ResNet V2, donde las primeras capas convolucionales bidimensionales han sido reemplazadas por dos capas convolucionales tridimensionales (para procesar la pila de imágenes), seguidas de una capa de dilución (“dropout”) (gris). Los siguientes bloques son solo una representación pictórica de la compleja arquitectura (con 164 capas) del modelo Inception ResNet V2 original. Nótese que la última capa completamente conectada de este modelo, que es específica para la tarea de clasificación original, ha sido eliminado, obteniéndose un vector de salida (v) que procesa más adelante la componente 9. La componente RNN incluye capas de integración (“embedding”) (blanco), dilución (“dropout”) (gris), y recurrentes (negro). La caja negra representa una capa GRU en M-RNNA, mientras que en AM-RNN representa una capa LSTM. La componente 9 procesa el vector de salida de la componente CNN con dos capas totalmente conectadas (”fully connected”) (blanco) con una capa de dilución entre ellas, concatena este resultado con la salida de la componente RNN, y lo procesa a través de otras dos capas totalmente conectadas que producen un vector de probabilidades. La posición de la componente más grande en el vector nos proporciona la predicción de un nuevo atributo (termino) en el caso de M-RNNA (AM-RNN). La figura 5 proporciona más detalles de las capas de las componentes RNN y 9 de M-RNNA y AM-RNN, incluyendo el operador, las dimensiones y las funciones de activación.

Figura3 muestra una representación de la RNN en el mismo formato usado en la figura 4, correspondiente al cuarto paso temporal en M-RNNA y AM-RNN para la molécula perileno-1,12-diol. Esta figura destaca el. Hecho de que el estado de la RNN, en particular, la capa recurrente, depende de las predicciones previas.

Figura 4muestra el esquema de la arquitectura del método de la presente invención incluyendo la combinación de dos redes neuronales recurrentes multimodales cuyos diagramas de flujo se ilustran en (a) M-RNNA y (b) AM-RNN. Las cajas rectangulares representan las tres componentes de cada M-RNN: una red neuronal convolucional CNN, una red neuronal recurrente RNN, y la componente multimodal 9. En la componente RNN, xt representa la entrada en el paso temporal t, ht representa el estado interno de la capa recurrente en t y ot es la salida de RNN en t. Las flechas indican el flujo de información en el modelo. M-RNNA predice un atributo en cada paso the tiempo hasta que el ciclo se rompe con el símbolo endseq, mientras que AM-RNN predice los términos ordenados (uno en cada paso temporal) que dan lugar al nombre IUPAC. Ejemplos que muestran las entradas y salidas en cada paso temporal predichas por las redes M-RNNA y AM-RNN a partir de una pila tridimensional de imágenes (tomadas del conjunto de datos QUAM-AFM) correspondientes a la molécula perileno-1,12-diol se muestran en la Figura 7. Una representación de la RNN correspondiente al cuarto paso temporal en M-RNNA and AM-RNN para la molécula perileno-1,12-diol se encuentra en la Figura 3.

Figura5 muestra los detalles capa por capa de las componentes RNN y 9 que se integran en M-RNNA y AM-RNN. v corresponde al vector de salida de la componente CNN. Los operadores son los mismos para ambos modelos, a excepción de la última capa de la RNN, una GRU en M-RNNA (predicción de atributos) y una LSTM en AM -RNN (predicción de términos). Sin embargo, las unidades son diferentes como corresponde al diferente tamaño de las entradas y las salidas en cada modelo.

Figura 6muestra el resultado de aplicar el Generador de Imágenes Extendido (“Image Data Generator”, IDG) a la misma imagen AFM de la molécula N-(5-amino-4-metilpiridin-2-yl)-6-fluoro-1-benzotiofeno-2-carboxamida. Los parámetros seleccionados para la IDG durante el entrenamiento se eligen aleatoriamente en el rango de [-180,180] grados para la rotación, [- 15,15] % para la escala (“zoom”) y para los desplazamientos horizontales y verticales, y [-20,20] % para la deformación de cizalla (“shear”) y el volteo horizontal y vertical aleatorio. Cuando resulta necesario, se ha aplicado un rellenado por cercanía a los puntos fuera de los bordes de la entrada. Una elección adecuada del rango de parámetros para la IDG usado durante el entrenamiento aumenta considerablemente la precisión del nombre IUPAC predicho aplicando el método de la invención a las imágenes experimentales.

Figura 7muestra las entradas y salidas en cada paso temporal predichas por las redes M-RNNA y AM-RNN a partir de una pila tridimensional de imágenes (tomadas del conjunto de datos QUAM-AFM) correspondientes al caso de la molécula perileno-1,12diol. El paso temporal t = 4 en cada una de las redes, analizado en detalle en la Figura 3 está destacado en gris.

Figura 8muestra las imágenes AFM experimentales de dibenzotiofeno tomadas a diferentes distancias punta-muestra (tomadas de P. Zahl, Y. Zhang, Energy Fuels 33, 4775 (2019)). A pesar del fuerte ruido y de las líneas blancas que cruzan diagonalmente la imagen, el método de la presente invención proporciona una predicción perfecta del nombre IUPAC.

Figura 9muestra ejemplos de predicciones perfectas para moléculas que contienen carbono, nitrógeno, oxígeno y diferentes átomos halógenos. Cada subfigura muestra (de izquierda a derecha), una imagen de bolas-y-líneas (“ball-and-stick”) (generada con el código abierto Jmol) de la estructura molecular y cinco imágenes AFM a diferentes distancias punta-muestra. El nombre IUPAC predicho por el el método de la presente invención, que reproduce exactamente el resultado correcto, se muestra debajo de las imágenes.

EJEMPLOS

EJEMPLO 1: Predicción del nombre IUPAC a partir de las imágenes AFM experimentales para dibenzotiofeno

El ejemplo se basa en imágenes AFM experimentales para dibenzotiofeno adsorbido en Au (111) medido utilizando una punta funcionalizada con CO en el modo de altura constante. Las mediciones se realizaron con un (LT)-STM de baja temperatura de Createc actualizado con AFM y que utiliza un software de control GSX personalizado. Se utilizó un sensor Q-Plus (operado a 30 kHz con un factor Q habitual alrededor de 10000) con una punta de Ptlr afilada de haz de iones focalizados (FIB) funcionalizada con una molécula de CO. El AFM fue operado en un modo de altura constante, con retroalimentación desactivada, sin necesitar correcciones en un periodo de aproximadamente 1 h o más. La desviación y la deformación de XYZ fue menor de 1 pm/h después de al menos 24 h a 5 K, y sin grandes cambios de desplazamiento de XYZ. Se captaron imágenes de las moléculas con STM y AFM bimodal bajo condiciones de UHV (ultra-alto vacío) a 5 K tras deposición utilizando un evaporador fabricado ex profeso.

Claims

REIVINDICACIONES

1. Método implementado por ordenador para identificar una molécula a partir de imágenes de microscopía de fuerzas y para generar el nombre de la molécula orgánica de acuerdo con la nomenclatura IUPAC, dicho método caracterizado por que comprende los siguientes pasos:

a) adquirir una pluralidad de imágenes de microscopía de fuerzas de altura constante de una molécula orgánica a diferentes distancias de altura de la punta por encima de dicha molécula orgánica, utilizando un ápice de la punta de metal funcionalizado mediante un microscopio de fuerzas en modo de modulación de frecuencias, en donde dichas diferentes distancias de altura de la punta se encuentran en un rango entre 280 pm y 370 pm, y en donde la forma y el contraste de dicha imagen y su variación con la altura de la punta muestran la posición 3D de los átomos, el tamaño de los átomos y la distancia entre dichos átomos en la molécula orgánica;

- una primera componente multimodaly/AM-RNNque comprende capas conectoras con una o más capas de dilución;

d) proporcionar una segunda red neuronal recurrente multimodal de atributos AM-RNN entrenada al dispositivo procesador de datos, en donde la segunda red neuronal recurrente multimodal AM-RNN entrenada comprende

- una segunda componente red neuronal convolucionalCNN/AM-RNNque comprende un bloque de capas convolucionales 3D y una o más capas de dilución,

- una segunda componente red neuronal recurrenteRNN/AM-RNNque comprende una o más capas de integración, una o más capas de dilución, y una o más capas recurrentes, en donde al menos una capa recurrente es una memoria a largo y corto plazo (LSTM), y

- una segunda componente multimodaly/AM-RNNque comprende capas conectoras con una o más capas de dilución,

2. Método según la reivindicación 1, en donde una pluralidad de al menos 10 imágenes de microscopía de fuerzas de altura constante de la molécula orgánica son adquiridas en el paso (a).

3. Método según cualquiera de las reivindicaciones 1 o 2, en donde el paso (a) se realiza a al menos 3 distancias de altura diferentes, preferiblemente a al menos 10 distancias de altura de la punta diferentes.

4. Método según cualquiera de las reivindicaciones 1 a 3, en donde el ápice de la punta de metal funcionalizado utilizado en el paso (a) se selecciona de entre Cu, Ag o Pt.

5. Método según cualquiera de las reivindicaciones 1 a 4, en donde el ápice de la punta de metal funcionalizado utilizado en el paso (a) es funcionalizado con átomos o moléculas de capa cubierta inertes.

6. Método según cualquiera de las reivindicaciones 1 a 5, en donde el ápice de la punta de metal funcionalizado utilizado en el paso (a) es funcionalizado con un átomo de Xe o una molécula de CO.

7. Microscopio de microscopía de fuerzas en modo de modulación de frecuencias (FM-AFM) que comprende un ápice de la punta de metal funcionalizado y configurado para realizar el paso (a) del método según cualquiera de las reivindicaciones 1 a 6 y un dispositivo procesador de datos configurado para realizar los pasos (b) al paso (e) del método según cualquiera de las reivindicaciones 1 a 6.

8. Microscopio FM-AFM según la reivindicación 7, que además comprende una unidad de visualización conectada al dispositivo procesador de datos y configurado para mostrar el nombre de la molécula de acuerdo con la IUPAC obtenida en el paso (e) del método según cualquiera de las reivindicaciones 1 a 6.

9. Microscopio FM-AFM según cualquiera de las reivindicaciones 7 u 8, en donde la unidad de visualización conectada al dispositivo procesador de datos está además configurada para mostrar la representación estructural de la molécula identificada en el paso (e) del método según cualquiera de las reivindicaciones 1 a 6 en forma de una representación de bolas y líneas.

10. Microscopio FM-AFM según cualquiera de las reivindicaciones 7 a 9, en donde el metal del ápice de la punta de metal funcionalizado se selecciona de entre Cu, Ag o Pt.

11. Microscopio FM-AFM según cualquiera de las reivindicaciones 7 a 10, en donde el ápice de la punta de metal es funcionalizado con átomos o moléculas de capa cubierta inertes.

12. Microscopio FM-AFM según cualquiera de las reivindicaciones 7 a 11, en donde el ápice de la punta de metal es funcionalizado con un átomo de Xe o una molécula de CO.

13. Programa de ordenador que comprende instrucciones que, cuando se ejecuta el programa mediante un dispositivo procesador de datos, causan que un dispositivo procesador de datos realice los pasos (b) al (e) según el método de las reivindicaciones 1 a 6, en dicho dispositivo procesador de datos.

14. Un soporte de datos legible por ordenador que tiene almacenado en el mismo el programa de ordenador de la reivindicación 13.