ES2957496A1

ES2957496A1 - PROCEDURE FOR SELECTION AMONG A GROUP OF DONORS THROUGH FACIAL MATCHING, THROUGH A 2D FACIAL IMAGE OF THE DONOR SUBJECT (Machine-translation by Google Translate, not legally binding)

Info

Publication number: ES2957496A1
Application number: ES202230510A
Authority: ES
Original assignee: Fenomatch S L
Current assignee: Fenomatch S L
Priority date: 2022-06-09
Filing date: 2022-06-09
Publication date: 2024-01-19

Abstract

The present invention reveals a procedure that allows selecting from a group of donors, the donor most facially similar to a base user, for a fertility process, through facial matching through a 2D facial image. front of the donor subject. The procedure goes through stages: Generation of a dataset (group of data) for each individual, with the points that define the main facial structures of the subjects to be compared; Generation of the different facial objects; Determination of a summary matrix of the relevant variables for each facial object; Determination of a facial relevance tensor; Incorporation into the relevance tensor of a new dimension with the heritability probabilities of each of the individual's facial objects; and Application of the hereditary comparisons of individuals (CHI) tensors as input for an algorithm to be executed by a computer. (Machine-translation by Google Translate, not legally binding)

Description

DESCRIPCIÓNDESCRIPTION

PROCEDIMIENTO PARA LA SELECCIÓN ENTRE UN GRUPO DE DONANTES MEDIANTE MATCHING FACIAL (PAREO FACIAL), A TRAVÉS DE UNA IMAGEN FACIAL 2D DEL SUJETO DONANTEPROCEDURE FOR SELECTION AMONG A GROUP OF DONORS THROUGH FACIAL MATCHING, THROUGH A 2D FACIAL IMAGE OF THE DONOR SUBJECT

OBJETO DE LA INVENCIÓNOBJECT OF THE INVENTION

La presente invención revela un procedimiento que permite seleccionar entre un grupo de donantes, aquel donante más similar a nivel facial con respecto a un usuario base, para un proceso de fertilidad, mediante un matching facial (pareo facial) a través de una imagen facial 2D frontal del sujeto donante y a las características que definen las principales estructuras faciales como perímetro, área, extremos máximos/mínimos de largo-alto y punto de centralidad, generando de este modo un vector facial de cada sector de la superficie de la cara del usuario base, donde cada vector facial sectorial se le asignará una ponderación de la herencia concreta del usuario que le permitirá saber el peso de transmisión hereditaria de ese rasgo facial. The present invention reveals a procedure that allows selecting from a group of donors, the donor most facially similar to a base user, for a fertility process, through facial matching (facial matching) through a 2D facial image. front of the donor subject and to the characteristics that define the main facial structures such as perimeter, area, maximum/minimum extremes of length-height and point of centrality, thus generating a facial vector of each sector of the surface of the base user's face. , where each sectoral facial vector will be assigned a specific inheritance weight for the user that will allow them to know the weight of hereditary transmission of that facial feature.

ANTECEDENTES DE LA INVENCIÓNBACKGROUND OF THE INVENTION

En los últimos años, la medición de la expresión facial ha recibido una atención significativa y, como resultado, se han desarrollado muchas demostraciones de investigación y aplicaciones comerciales. Las razones del mayor interés son múltiples, pero principalmente se deben a los avances en áreas relacionadas, como la detección de rostros, el seguimiento de rostros y el reconocimiento de rostros, así como a la reciente disponibilidad de potencia computacional relativamente barata. La medición de la expresión facial es ampliamente aplicable a diferentes áreas, como imagen comprensión, estudios psicológicos, clasificación facial en medicina, compresión imagen de la cara, animación de rostros sintéticos, indexación de video, robótica y realidad virtual In recent years, facial expression measurement has received significant attention and, as a result, many research demonstrations and commercial applications have been developed. The reasons for the increased interest are multiple, but primarily due to advances in related areas such as face detection, face tracking, and face recognition, as well as the recent availability of relatively cheap computing power. Facial expression measurement is widely applicable to different areas, such as image understanding, psychological studies, facial classification in medicine, facial image compression, synthetic face animation, video indexing, robotics and virtual reality

Las características faciales humanas varían dramáticamente entre edades, razas y géneros. Como solo un ejemplo, la biodinámica del envejecimiento facial puede ser diferente para varios rangos de edad. Además de los factores de envejecimiento idiosincrásicos que afectan la apariencia de diferentes individuos, el envejecimiento facial también puede estar influenciado por factores biomecánicos relacionados con la edad que afectan a todos los individuos. Por ejemplo, el envejecimiento facial de los niños suele estar dominado por el alargamiento y ensanchamiento de la estructura ósea craneal (p. ej., expansión ósea y/o elongación de los tejidos duros), mientras que el envejecimiento facial de los adultos se debe principalmente a arrugas, y el revestimiento de la piel, la flacidez de los tejidos blandos, el adelgazamiento de las bolsas de grasa y la remodelación ósea de estructuras craneales faciales específicas. En particular, los niños pequeños suelen tener frentes altas, narices pequeñas y mandíbulas pequeñas. Sin embargo, sus ojos pueden parecer grandes en comparación con el resto de sus rostros. La piel de los niños suele ser suave y firme. A medida que los niños crecen, sus frentes se vuelven más inclinadas, sus narices y mandíbulas se alargan y sus ojos se vuelven proporcionalmente más pequeños debido al alargamiento y ensanchamiento de otros componentes faciales. Human facial features vary dramatically between ages, races and genders. As just one example, the biodynamics of facial aging can be different for various age ranges. In addition to idiosyncratic aging factors that affect the appearance of different individuals, facial aging may also be influenced by age-related biomechanical factors that affect all individuals. For example, facial aging in children is typically dominated by lengthening and widening of the cranial bone structure (e.g., bony expansion and/or elongation of hard tissues), while facial aging in adults is due mainly to wrinkles, and the lining of the skin, sagging of soft tissues, thinning of fat pads and bone remodeling of specific facial cranial structures. In particular, young children often have high foreheads, small noses, and small jaws. However, their eyes may appear large compared to the rest of their faces. Children's skin is usually soft and firm. As children grow, their foreheads become steeper, their noses and jaws lengthen, and their eyes become proportionally smaller due to the lengthening and widening of other facial components.

En el estado de la técnica existen procedimientos para el reconocimiento facial, tal y como se describe en el documento US8379917 que proporciona una técnica para reconocer caras en un flujo de imágenes utilizando un dispositivo de adquisición de imágenes digitales. Se recibe una primera imagen adquirida de un flujo de imágenes. Se detecta una primera región facial dentro de la primera imagen adquirida que tiene un tamaño dado y una ubicación respectiva dentro de la primera imagen adquirida. Los primeros datos de huellas faciales que identifican de forma única la primera región de la cara se extraen junto con los primeros datos de la región periférica alrededor de la primera región de la cara. Los datos de la primera impresión facial y de la región periférica se almacenan, y los datos de la primera región periférica se asocian con la primera región facial. Se realiza un seguimiento de la primera región de la cara hasta que se pierde un bloqueo de cara. Se detecta una segunda región de la cara dentro de una segunda imagen adquirida del flujo de imágenes. Se extraen los datos de la segunda región periférica alrededor de la segunda región de la cara. La segunda región de la cara se identifica al hacer coincidir los datos de la primera y la segunda región periférica. In the state of the art there are procedures for facial recognition, as described in document US8379917 which provides a technique for recognizing faces in a stream of images using a digital image acquisition device. A first acquired image is received from an image stream. A first facial region is detected within the first acquired image having a given size and a respective location within the first acquired image. The first faceprint data that uniquely identifies the first face region is extracted along with the first peripheral region data around the first face region. The first facial impression and peripheral region data are stored, and the first peripheral region data is associated with the first facial region. The first face region is tracked until a face lock is lost. A second region of the face is detected within a second image acquired from the image stream. Data is extracted from the second peripheral region around the second face region. The second face region is identified by matching data from the first and second peripheral regions.

El documento US20090180671 muestra un método y un sistema de reconocimiento facial de vista múltiple. En el método de reconocimiento facial multivista, se ingresan dos imágenes a reconocer, se calcula una matriz de proyección lineal en base a imágenes agrupadas en un conjunto de entrenamiento, se extraen dos vectores de características correspondientes a las dos imágenes de entrada en base a la matriz de proyección lineal, se calcula una distancia entre los dos vectores de características extraídos y se determina en base a la distancia entre los dos vectores de características si las dos imágenes de entrada pertenecen a la misma persona. El método comprende, además: realizar detección de rostros en las imágenes de entrada para determinar si las imágenes de entrada son imágenes que tienen una región de rostro; localizar ojos si se determina que las imágenes de entrada son imágenes que tienen una región facial; y dividir las regiones de la cara de las imágenes de entrada en función de los ojos localizados para obtener imágenes de la cara. US20090180671 shows a multi-view facial recognition method and system. In the multi-view face recognition method, two images to be recognized are input, a linear projection matrix is calculated based on images pooled in a training set, two feature vectors corresponding to the two input images are extracted based on the linear projection matrix, a distance between the two extracted feature vectors is calculated, and it is determined based on the distance between the two feature vectors whether the two input images belong to the same person. The method further comprises: performing face detection on the input images to determine whether the input images are images having a face region; localize eyes if the input images are determined to be images that have a facial region; and partition the face regions of the input images based on the located eyes to obtain face images.

La presente invención revela un proceso que permite obtener una métrica objetiva del parecido facial humano en base a sus características fenotípicas faciales, de tal manera que permita seleccionar con precisión entre un grupo de donantes, aquel donante más similar a nivel facial con respecto a un usuario base en un proceso de fertilidad, esto es, en la búsqueda del donante ideal, mediante un matching facial (pareo facial) a través de una imagen facial 2D frontal del sujeto donante y a las características que definen las principales estructuras faciales, para su realización se requiere de un algoritmo de reconocimiento facial particular muy diferente a las de un algoritmo de búsqueda de similitudes como los descritos en los documentos citados, ya que el objetivo de la presente invención es encontrar patrones heredables sectorial de la malla facial. Mientras que los documentos citados buscan características definitorias de las diferencias entre dos individuos, la presente invención permite determinar características definitorias que logra ordenar individuos con respecto a las similitudes ponderándoles según su grado de heredabilidad. Algunas de estas tareas relacionadas con el reconocimiento facial puede ser la evaluación de la edad, sexo, o expresiones faciales. The present invention reveals a process that allows obtaining an objective metric of human facial resemblance based on its facial phenotypic characteristics, in such a way that it allows accurately selecting, among a group of donors, the donor most similar at a facial level with respect to a user. based on a fertility process, that is, on the search for the ideal donor, through facial matching (facial matching) through a frontal 2D facial image of the donor subject and the characteristics that define the main facial structures, for its realization it is requires a particular facial recognition algorithm very different from a similarity search algorithm such as those described in the cited documents, since the objective of the present invention is to find sectoral heritable patterns of the facial mesh. While the cited documents search for defining characteristics of the differences between two individuals, the present invention makes it possible to determine defining characteristics that manage to order individuals with respect to similarities by weighting them according to their degree of heritability. Some of these tasks related to facial recognition may be the evaluation of age, gender, or facial expressions.

Dos de las tareas que también están relacionadas con el uso de este tipo de algoritmos y su posible aplicación para el mundo de la fertilidad, en concreto para encontrar el mayor parecido posible entre dos sujetos, sería el reconocimiento de parentesco y la evaluación de similitud entre caras. En cuanto al reconocimiento de parentesco, son ampliamente reconocidas aplicaciones para diversos ámbitos, como la anotación automática de árboles genealógicos, análisis en redes sociales, o incluso encontrar hijos perdidos o adopción. Sin embargo, ninguna de estas aplicaciones aborda un proceso de creación de indicadores que permitan comparar una cara desde el punto de vista del matching facial o parecido hereditable, y por tanto les es imposible recrear un modelo de inteligencia artificial explicable y confiable como el que permite el proceso descrito en la presente invención. Two of the tasks that are also related to the use of this type of algorithms and their possible application to the world of fertility, specifically to find the greatest possible similarity between two subjects, would be the recognition of kinship and the evaluation of similarity between faces. Regarding kinship recognition, applications are widely recognized for various areas, such as the automatic annotation of family trees, social network analysis, or even finding lost children or adoption. However, none of these applications addresses a process of creating indicators that allow comparing a face from the point of view of facial matching or heritable resemblance, and therefore it is impossible for them to recreate an explainable and reliable artificial intelligence model such as the one that allows the process described in the present invention.

Con respecto a la similitud entre caras, varios estudios evalúan los algoritmos de reconocimiento facial y de similitud facial, concluyendo que ambas tareas no son intercambiables (Sadovnik, W. Gharbi, T. Vu, A. Gallagher, Finding your Lookalike: Measuring Face Similarity Rather than Face Identity, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2018). Además, para realizar estas tareas, las redes neuronales convolucionales son efectivas (R. Zhang and P. Isola and A. A. Efros and E. Shechtman and O. Wang, The Unreasonable Effectiveness of Deep Features as a Perceptual Metric, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018), pero presentan un problema de explicación del modelo a nivel sectorial. Por otra parte, algunos estudios indican que las técnicas de segmentación por diferentes características faciales pueden ser eficientes y han experimentado un gran desarrollo durante los últimos años. Regarding the similarity between faces, several studies evaluate facial recognition and facial similarity algorithms, concluding that both tasks are not interchangeable (Sadovnik, W. Gharbi, T. Vu, A. Gallagher, Finding your Lookalike: Measuring Face Similarity Rather than Face Identity, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2018). Furthermore, to perform these tasks, convolutional neural networks are effective (R. Zhang and P. Isola and A. A. Efros and E. Shechtman and O. Wang, The Unreasonable Effectiveness of Deep Features as a Perceptual Metric, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018), but they present a problem of explaining the model at the sector level. On the other hand, some studies indicate that segmentation techniques by different facial characteristics can be efficient and have experienced great development in recent years.

Otra cosa que se debe tener en cuenta para la aplicación de estos algoritmos para usos concretos como, por ejemplo, el de la búsqueda de donantes en el ámbito de la reproducción humana, son la heredabilidad de los rasgos faciales. Varios estudios confirman la participación de la genética en cuanto a la transmisión de ciertos rasgos faciales a la descendencia (Vandenberg, S. G. & Strandskov, H. H. A comparison of identical and fraternal twins on some anthropometric measures. Human biology, 1964) y (Devor, E. J. Transmission of human craniofacial dimensions. Journal of craniofacial genetics and developmental biology, 1986), como es el caso de las distancias entre nasión-basión y nasión-silla, la posición de la mandíbula inferior o la altura nasal. Another thing that must be taken into account when applying these algorithms for specific uses, such as, for example, searching for donors in the field of human reproduction, is the heritability of facial features. Several studies confirm the participation of genetics in the transmission of certain facial features to offspring (Vandenberg, S. G. & Strandskov, H. H. A comparison of identical and fraternal twins on some anthropometric measures. Human biology, 1964) and (Devor, E. J. Transmission of human craniofacial dimensions. Journal of craniofacial genetics and developmental biology, 1986), such as the distances between nasion-basion and nasion-sella, the position of the lower jaw or nasal height.

Además, existen diferentes algoritmos en el mercado que intentan aplicar reconocimiento facial al caso práctico del parecido facial, pero que, tal y como se menciona anteriormente, no estarían específicamente desarrollados y entrenados para la búsqueda de similitudes faciales, sino al uso global de un output opaco sobre la probabilidad de que dos sujetos sean la misma persona. Furthermore, there are different algorithms on the market that try to apply facial recognition to the practical case of facial resemblance, but which, as mentioned above, would not be specifically developed and trained for the search for facial similarities, but rather for the global use of an output. opaque about the probability that two subjects are the same person.

En ninguno de los documentos de la técnica se observa o se sugiere un procedimiento donde a cada vector facial sectorial se le asigna una ponderación de heritabilidad concreta que permita saber el peso de transmisión hereditaria de un rasgo facial, para un proceso de selección de donantes. Tampoco se detalla o sugiere que cada vector facial resumen obtenido mediante un algoritmo matemático permita determinar la distancia relativa entre las variables para generar el vector de distancias relativas sectoriales y que el dataset (grupo de datos) de cada individuo conformado por los vectores sectoriales ponderados, el vector resumen de variables relevantes y el vector de distancias relativas, mediante un algoritmo de IA determine un parecido entre 1 y 100 de los individuos. In none of the technical documents is a procedure observed or suggested where each sectoral facial vector is assigned a specific heritability weight that allows knowing the weight of hereditary transmission of a facial feature, for a donor selection process. Nor is it detailed or suggested that each summary facial vector obtained through a mathematical algorithm allows determining the relative distance between the variables to generate the vector of sectoral relative distances and that the dataset (group of data) of each individual made up of the weighted sectoral vectors, the summary vector of relevant variables and the vector of relative distances, using an AI algorithm to determine a similarity between 1 and 100 of the individuals.

DESCRIPCIÓN DE LOS DIBUJOSDESCRIPTION OF THE DRAWINGS

Para complementar la descripción que se está realizando y con el objeto de ayudar a una mejor comprensión de las características del invento, de acuerdo con un ejemplo preferente de la realización práctica del mismo, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente: To complement the description that is being made and in order to help a better understanding of the characteristics of the invention, in accordance with a preferred example of the practical implementation thereof, a set of drawings is attached as an integral part of said description. where, for illustrative and non-limiting purposes, the following has been represented:

Figura 1. En esta figura se representa la obtención de una imagen facial (10) 2D/3D frontal, a través de una cámara (12), de la cual se genera un grupo de datos (dataset) (13) para cada individuo con los puntos que definen las principales estructuras faciales de los sujetos a comparar por matching facial. Figure 1. This figure represents the obtaining of a frontal 2D/3D facial image (10), through a camera (12), from which a group of data (dataset) (13) is generated for each individual with the points that define the main facial structures of the subjects to be compared by facial matching.

Figura 2. Representación gráfica de la generación de los siguientes vectores faciales sectoriales para cada individuo a comparar: Figure 2. Graphic representation of the generation of the following sectorial facial vectors for each individual to be compared:

FIG 2.1 Generación del vector facial en base a la estructura ósea de cejas FIG 2.1 Generation of the facial vector based on the bone structure of the eyebrows

FIG 2.2 Generación del vector facial en base a la estructura de boca FIG 2.2 Generation of the facial vector based on the mouth structure

FIG 2.3 Generación del vector facial en base a la estructura de la barbilla FIG 2.3 Generation of the facial vector based on the structure of the chin

FIG 2.4 Generación del vector facial en base a la estructura de las mejillas FIG 2.4 Generation of the facial vector based on the structure of the cheeks

FIG 2.5 Generación del vector facial en base a la estructura del tabique nasal FIG 2.5 Generation of the facial vector based on the structure of the nasal septum

FIG 2.6 Generación del vector facial en base a la estructura de pómulos FIG 2.6 Generation of the facial vector based on the cheekbone structure

FIG 2.7 Generación del vector facial en base a la estructura de las sienes FIG 2.7 Generation of the facial vector based on the structure of the temples

FIG 2.8 Generación del vector facial en base a la estructura de los ojos FIG 2.8 Generation of the facial vector based on the structure of the eyes

Figura 3. En la figura se representan imágenes de árboles genealógicos, con la probabilidad de heredabilidad de los siguientes puntos: nariz/boca: distancia entre el labio inferior y zona superior tabique nasal. Figure 3. The figure represents images of family trees, with the probability of heritability of the following points: nose/mouth: distance between the lower lip and the upper nasal septum.

Figura 4. En la figura se representan imágenes de árboles genealógicos, con la probabilidad de heredabilidad de los siguientes puntos: ojos: distancia entre el párpado inferior y superior. Figure 4. The figure represents images of family trees, with the probability of heritability of the following points: eyes: distance between the lower and upper eyelids.

Figura 5. En la figura se representan imágenes de árboles genealógicos, con la probabilidad de heredabilidad de los siguientes puntos: barbilla/boca: distancia entre protuberancia del mentón y labio inferior Figure 5. The figure represents images of family trees, with the probability of heritability of the following points: chin/mouth: distance between chin protuberance and lower lip

Figura 6. En la figura se representan imágenes de árboles genealógicos, con la probabilidad de heredabilidad de los siguientes puntos: orejas/ojo: distancia entre la fosa navicular e iris. Figure 6. The figure represents images of family trees, with the probability of heritability of the following points: ears/eye: distance between the navicular fossa and iris.

Figura 7. En esta figura se representa como los Tensores de comparaciones hereditarias de individuos (CHI) es el input de un algoritmo IA basado en redes neuronales, con una serie muy numerosa de nodos interconectados que simulan el cerebro humano y que se ejecuta gracias a una gran potencia computacional. Dicho algoritmo procesa esos datos y determina un parecido entre 1 y 100 de los individuos, donde 1 corresponde al menor parecido facial y 100 un parecido facial absoluto Figure 7. This figure represents how the Tensors of hereditary comparisons of individuals (CHI) is the input of an AI algorithm based on neural networks, with a very numerous series of interconnected nodes that simulate the human brain and is executed thanks to great computational power. This algorithm processes this data and determines a resemblance between 1 and 100 of the individuals, where 1 corresponds to the least facial resemblance and 100 an absolute facial resemblance.

Figura 8 muestra un diagrama de flujo de las etapas del procedimiento. Figure 8 shows a flow chart of the steps of the procedure.

REALIZACIÓN PREFERENTE DE LA INVENCIÓNPREFERRED EMBODIMENT OF THE INVENTION

La presente invención revela un procedimiento asistido por ordenador que permite determinar con la mayor precisión posible, la elección de un donante particular a nivel facial con respecto al parecido con un usuario base mediante un matching facial, a través de una imagen facial 2D frontal del sujeto donante en comparación con una pluralidad de imágenes de donantes almacenadas en una base de datos, donde los posibles donantes son electos mediante las características que definen las principales estructuras faciales como perímetro, área, extremos máximos/mínimos de largo-alto y punto de centralidad, donde cada vector facial sectorial se le asigna una ponderación de heredabilidad concreta obtenida por un algoritmo en base a un estudio del árbol genealógico que le permitirá saber el peso de transmisión hereditaria de un rasgo facial particular. The present invention discloses a computer-assisted procedure that allows the choice of a particular donor at the facial level to be determined with the greatest possible precision with respect to the resemblance to a base user through facial matching, through a frontal 2D facial image of the subject. donor compared to a plurality of donor images stored in a database, where potential donors are chosen by characteristics that define the main facial structures such as perimeter, area, maximum/minimum length-height extremes and point centrality, where each sectorial facial vector is assigned a specific heritability weight obtained by an algorithm based on a study of the family tree that will allow you to know the weight of hereditary transmission of a particular facial trait.

El procedimiento pasa por las etapas que implican la obtención de un dataset para cada individuo de los puntos faciales que definen las principales estructuras faciales del sujeto candidato a donante y del sujeto a comparar por matching facial, a través de una imagen facial 2D frontal; generación de los distintos vectores faciales sectoriales para cada individuo a comparar, donde a cada vector facial sectorial se le asignará una ponderación de heredabilidad concreta que le permitirá saber el peso de transmisión hereditaria de ese rasgo facial.; determinación mediante un algoritmo matemático las variables resumen relevantes de cada vector facial: perímetro, área, extremos máximos/mínimos de largo-alto y punto de centralidad; comparación de cada vector facial resumen con el resto generando el vector de distancias relativas sectoriales; y mediante un algoritmo de IA que en base a esos datos determina un parecido entre 1 y 100 de los individuos, considerando todos los datos del proceso realizado. The procedure goes through the stages that involve obtaining a dataset for each individual of the facial points that define the main facial structures of the candidate donor subject and the subject to be compared by facial matching, through a frontal 2D facial image; generation of the different sectorial facial vectors for each individual to be compared, where each sectoral facial vector will be assigned a specific heritability weight that will allow you to know the weight of hereditary transmission of that facial trait.; determination using a mathematical algorithm of the relevant summary variables of each facial vector: perimeter, area, maximum/minimum extremes of length-height and centrality point; comparison of each summary facial vector with the rest generating the vector of sectoral relative distances; and through an AI algorithm that, based on this data, determines a similarity between 1 and 100 of the individuals, considering all the data of the process carried out.

La invención presentada tiene 5 etapas operativas que permiten obtener una métrica objetiva del parecido facial entre dos personas y que conforman el denominado matching facial por parecido, las etapas operativas son: The invention presented has 5 operational stages that allow obtaining an objective metric of the facial resemblance between two people and that make up the so-called facial matching by resemblance, the operational stages are:

Generación de un dataset (grupo de datos) (13) para cada individuo, con los puntos que definen las principales estructuras faciales de los sujetos a comparar por matching facial, utilizando como input (datos de entrada) una imagen facial (10) 2D/3D frontal, que se extraen por visión computacional, mediante una cámara (12) acoplada a un ordenador. (Figura 1) Generation of a dataset (group of data) (13) for each individual, with the points that define the main facial structures of the subjects to be compared by facial matching, using as input (input data) a 2D facial image (10). Frontal 3D, which are extracted by computer vision, using a camera (12) coupled to a computer. (Figure 1)

Ejemplo, individuo 1 y 2, obtenemos un conjunto de puntos faciales en forma de coordenadas normalizadas ancho por alto que definen las principales estructuras faciales y una vez corregido el giro de la cara (procedimiento de preparación de la imagen facial habitual en cualquier proceso de extracción de puntos). Example, individual 1 and 2, we obtain a set of facial points in the form of normalized width-by-height coordinates that define the main facial structures and once the rotation of the face has been corrected (common facial image preparation procedure in any extraction process of points).

Se obtienen las diversas medidas para dos individuos de las diversas estructuras faciales: The various measurements are obtained for two individuals of the various facial structures:

individuo 1 -> [1.324,3.543], [ 2.546, 9.123]... individual 1 -> [1,324,3,543], [ 2,546, 9,123]...

individuo 2-> [1.376,3.012], [2.333,8.762]... individual 2-> [1,376,3,012], [2,333,8,762]...

Generación de los diferentes objetos faciales determinados por listas de vectores faciales sectoriales para cada individuo a comparar. En este punto se localizan las siguientes estructuras faciales: Figura 2 Generation of the different facial objects determined by lists of sectorial facial vectors for each individual to be compared. At this point the following facial structures are located: Figure 2

Cada objeto facial puede estar definido por un número de puntos distinto y un mismo punto o incluso estructura puede formar parte de una que la contiene total o parcialmente. Ejemplo, la estructura de los labios contiene la estructura de la comisura de los labios. Los vectores faciales que se aplican son: Each facial object can be defined by a different number of points and the same point or even structure can be part of one that contains it totally or partially. Example, the structure of the lips contains the structure of the corner of the lips. The facial vectors that are applied are:

• Estructura perimetral-frontal del cráneo. • Perimeter-front structure of the skull.

• Estructura frontal-frente. • Front-front structure.

• Estructura ósea de cejas. • Eyebrow bone structure.

• Estructura muscular de cejas. • Eyebrow muscle structure.

Estructura de labios lip structure

Estructura de la boca. Mouth structure.

Estructura de los pómulos. Structure of the cheekbones.

Estructura de la barbilla. Chin structure.

Estructura de los ojos. Structure of the eyes.

Estructura del arco ciliar. Structure of the ciliary arch.

Estructura del Iris. Structure of the Iris.

Estructura del surco naso-labial. Structure of the nasolabial fold.

Estructura de la zona mentón. Structure of the chin area.

Estructura y posición del nacimiento del cabello. Structure and position of the hairline.

Estructura de la ceja, vértice y cola. Structure of the eyebrow, vertex and tail.

Estructura de la línea de pestañas. Structure of the lash line.

Estructura del borde interior del párpado. Structure of the inner edge of the eyelid.

Estructura de las sienes. Structure of the temples.

Estructura de la zona inferior del ojo. Structure of the lower eye area.

Estructura del tabique nasal. Structure of the nasal septum.

Estructura de la aleta de la nariz. Structure of the nostril.

Estructura de la comisura de labios. Structure of the corner of the lips.

Estructura del hueco mentón. Structure of the chin hollow.

Estructura del arco de cupido. Structure of Cupid's bow.

Estructura de la mejilla. Cheek structure.

Estructura del pómulo. Structure of the cheekbone.

Estructura del hueso cigomático. Structure of the zygomatic bone.

Estructura del hueso maxilar. Structure of the maxillary bone.

Estructura del hueso nasal. Structure of the nasal bone.

Estructura del hueso mandibular. Structure of the mandibular bone.

Ejemplo del objeto facial: Estructura de la comisura de los labios: Example of the facial object: Structure of the corner of the lips:

La estructura de la comisura de los labios tiene dos puntos de definición, el perímetro es igual a la distancia entre esos dos puntos. Como se sabe, la distancia entre dos puntos se determina con la ecuación: The structure of the corner of the lips has two points of definition, the perimeter is equal to the distance between those two points. As is known, the distance between two points is determined with the equation:

Perímetro = d= (X2-X92-(Y2-Y1)2Perimeter = d= (X2-X92-(Y2-Y1)2

individuo 1 -> {(2.824,3.543), (2.946, 6.637)} individual 1 -> {(2,824,3,543), (2,946, 6,637)}

individuo 2-> {(2.176,3.012), (2.371,6.945)} individual 2-> {(2,176,3,012), (2,371,6,945)}

El objeto facial se puede representar mediante una forma algebraica (vector, matriz, tensor...) con el fin de representar los datos de un objeto, en este caso se trata de un objeto facial como pueda ser la forma de la nariz. De esta forma, la nariz está definida no solo por unos puntos faciales, sino como un perímetro, un área, unos extremos y un punto de centralidad, que se determina por medio de dichos puntos faciales. The facial object can be represented by an algebraic form (vector, matrix, tensor...) in order to represent the data of an object, in this case it is a facial object such as the shape of the nose. In this way, the nose is defined not only by facial points, but as a perimeter, an area, some ends and a centrality point, which is determined by said facial points.

Para cada vector proveniente del objeto facial, tal y como se muestra en la figura 2, se calcula la matriz resumen de los vectores faciales, dando lugar a una matriz resumen facial, llamada matriz de referencias del objeto facial: Perímetro, área, extremos máximos/mínimos de largoalto, punto de centralidad, etc. For each vector coming from the facial object, as shown in Figure 2, the summary matrix of the facial vectors is calculated, giving rise to a facial summary matrix, called the reference matrix of the facial object: Perimeter, area, maximum extremes /minima lengthheight, centrality point, etc.

Cada matriz de referencias faciales de un objeto facial es comparada para obtener la distancia relativa con las matrices del resto de objetos, creando un tensor de relevancia facial de tres dimensiones. Each facial reference matrix of a facial object is compared to obtain the relative distance with the matrices of the rest of the objects, creating a three-dimensional facial relevance tensor.

El tensor de relevancia facial es un objeto en forma de matriz multidimensional que expresa algebraicamente la distancia relativa entre el perímetro, área, etc., con el resto de objetos faciales. The facial relevance tensor is an object in the form of a multidimensional matrix that algebraically expresses the relative distance between the perimeter, area, etc., with the rest of the facial objects.

Si se toman dos objetos faciales, por ejemplo, la nariz y los ojos. If two facial objects are taken, for example, the nose and the eyes.

Se calculan las siguientes distancias: The following distances are calculated:

Perímetro de ojos vs perímetro de nariz, se determina la diferencia entre el perímetro de ojos y el perímetro de nariz, el resultado se divide por el segundo perímetro, esto es por el perímetro de nariz, obteniéndose el porcentaje del primero sobre él segundo. Ejemplo, el perímetro de los ojos son un 76% del perímetro de la nariz. Eye perimeter vs nose perimeter, the difference between the eye perimeter and the nose perimeter is determined, the result is divided by the second perimeter, that is, by the nose perimeter, obtaining the percentage of the first over the second. For example, the perimeter of the eyes is 76% of the perimeter of the nose.

Perímetro de ojos vs área de nariz, calculamos el porcentaje del primero respecto al segundo, ejemplo 76%. Eye perimeter vs nose area, we calculate the percentage of the former compared to the latter, example 76%.

Esta operación se puede ampliar para todas las relaciones de las medidas faciales, como: Perímetro - Perímetro This operation can be extended for all facial measurement relationships, such as: Perimeter - Perimeter

Perímetro-área Perimeter-area

Punto superior-Punto superior (distancia entre los puntos) Top point-Top point (distance between points)

Punto superior -Punto inferior (distancia entre los puntos) Upper point -Lower point (distance between points)

Punto central - Punto central (distancia entre los puntos) Center point - Center point (distance between points)

Esta comparación se realiza de todos los objetos faciales con respecto a todos los objetos faciales. Los resultados de estos cálculos se guardan en una matriz o un tensor de 3 dimensiones. This comparison is made of all face objects with respect to all face objects. The results of these calculations are stored in a 3-dimensional matrix or tensor.

Las dimensiones obtenidas son: The dimensions obtained are:

Dimensión 1 ->objeto facial a comparar Dimension 1 ->facial object to compare

Dimensión 2 ->cálculos comparativos de las métricas (% o distancia) entre dos objetos concretos (ej. nariz-boca). perímetro-perímetro. perímetro-área, etc... Dimension 2 ->comparative calculations of the metrics (% or distance) between two specific objects (e.g. nose-mouth). perimeter-perimeter. perimeter-area, etc...

Dimensión 3->objeto facial comparado Dimension 3->compared facial object

Por ejemplo, si hacemos un corte en el cubo de informaciones para el objeto facial a comparar, por ejemplo, "nariz", se puede obtener las medidas de sus comparaciones con el resto de objetos (nariz-boca-perímetro, nariz-ojos-perímetro, etc.). For example, if we make a cut in the information cube for the facial object to be compared, for example, "nose", we can obtain the measurements of its comparisons with the rest of the objects (nose-mouth-perimeter, nose-eyes- perimeter, etc.).

Una vez que se obtiene todas las relaciones de los objetos faciales(nariz-boca) en términos de tamaños relativos(área-área) y distancias(punto-punto), podemos comparar individuos, pudiendo explicar el motivo de su parecido. No es como un modelo de redes neuronales en que se obtienen resultados, pero se desconoce la manera de implementarlo. En este modelo se calculan variables explicativas que al final darán un árbol de decisión predictivo. Once all the relationships of the facial objects (nose-mouth) are obtained in terms of relative sizes (area-area) and distances (point-point), we can compare individuals, being able to explain the reason for their similarity. It is not like a neural network model in which results are obtained, but the way to implement it is unknown. In this model, explanatory variables are calculated that will ultimately give a predictive decision tree.

El resultado es un tensor que contiene la información de las diferentes estructuras faciales de un sujeto a través de su perímetro, área, altura, etc..., y da la relación de cada una de esas métricas conforme a las métricas de los otros objetos. De esta forma se obtendrá una representación de la cara de un individuo que posteriormente permitirá ser comparada con otro individuo y dar una explicación general al modelo. Estas métricas por si solas solo permiten obtener un modelo de parecido facial que no tiene en cuenta el factor de la heredabilidad, por este motivo es necesario incluir un factor que permita un parecido que pueda ser heredable para luego ser aplicado en fertilidad, esto es en la búsqueda de un donante con las características que se puedan heredar. The result is a tensor that contains the information of the different facial structures of a subject through its perimeter, area, height, etc..., and gives the relationship of each of these metrics according to the metrics of the other objects. . In this way, a representation of an individual's face will be obtained that will later allow it to be compared with another individual and give a general explanation to the model. These metrics alone only allow us to obtain a model of facial resemblance that does not take into account the heritability factor, for this reason it is necessary to include a factor that allows a resemblance that can be heritable and then be applied in fertility, that is, in the search for a donor with characteristics that can be inherited.

Al tensor de relevancia facial se le añade una nueva dimensión con las probabilidades de heredabilidad de cada uno de los objetos faciales del individuo en base a su etnia, creando el tensor de comparaciones hereditarias (CHI). A new dimension is added to the facial relevance tensor with the heritability probabilities of each of the individual's facial objects based on their ethnicity, creating the hereditary comparisons tensor (CHI).

El vincular los datos de probabilidades hereditarias permite crear un algoritmo predictivo basado en las mismas que permita ponderar adecuadamente según la etnia del individuo. Linking data on hereditary probabilities makes it possible to create a predictive algorithm based on them that allows for appropriate weighting according to the individual's ethnicity.

El algoritmo se fundamenta en base a los datos comparados de los objetos faciales (ej. narizboca) y la posibilidad de ser heredado de padres a hijos. The algorithm is based on the compared data of facial objects (e.g. nose-mouth) and the possibility of being inherited from parents to children.

Por ejemplo, si dos personas caucásicas tienen los mismos pómulos y las mismas cejas, pero el rasgo facial de los pómulos tiene mayor probabilidad de ser heredado que las cejas en los caucásicos, el modelo final pondera más la proximidad en los pómulos que en las cejas. For example, if two Caucasian people have the same cheekbones and eyebrows, but the facial feature of cheekbones is more likely to be inherited than eyebrows in Caucasians, the final model weights proximity more heavily on cheekbones than on eyebrows. .

El cálculo del porcentaje de heredabilidad de cada uno de los objetos faciales está realizado en base a un estudio de la probabilidad de cada individuo de transmitir ese objeto facial a su descendencia. Para ello se estudiaron un conjunto de árboles genealógicos y se analizaron los diferentes objetos faciales descritos en el presente documento, delimitados por su perímetro, área, puntos superiores e inferiores, extremos laterales y centralidad, así como sus variables relacionales (distancia entre puntos inferiores y superiores, extremos y distancia con respecto al punto de centralidad). De ahí, y agrupando en un conjunto de posibles tipos de relaciones entre objetos faciales y de su forma, se estableció la probabilidad de ser transmitido a su descendencia. The calculation of the percentage of heritability of each of the facial objects is carried out based on a study of the probability of each individual of transmitting that facial object to their offspring. For this purpose, a set of family trees were studied and the different facial objects described in this document were analyzed, delimited by their perimeter, area, upper and lower points, lateral extremes and centrality, as well as their relational variables (distance between lower and lower points). superiors, extremes and distance with respect to the centrality point). From there, and grouping into a set of possible types of relationships between facial objects and their shape, the probability of being transmitted to their offspring was established.

Por ejemplo, se analizó la posibilidad de transmitir la distancia entre la nariz y la boca, teniendo en cuenta sus variables relevantes mencionadas (distancias, perímetro, áreas, puntos), se clusterizó/agrupó/detectó los tipos de relaciones posibles, y se obtuvo la posibilidad de que un hijo tuviera una distancia nariz-boca del mismo tipo que la del padre. Es importante remarcar, que no es un enfoque tradicional de agrupación de narices (chata, alargada...), aquí no solo analizamos la nariz de forma aislada, sino su relación con los otros objetos faciales, tal y como se describe en el ejemplo. Al utilizar las variables escogidas y contar con un modelo automatizado de análisis, permite definir un gran número de relaciones en función de su heredabilidad y su relación con otros objetos vs faciales (ej. boca). En base a estos datos se establece una matriz de probabilidades de transmitir cada uno de los objetos faciales sectoriales. For example, the possibility of transmitting the distance between the nose and the mouth was analyzed, taking into account its relevant variables mentioned (distances, perimeter, areas, points), the types of possible relationships were clustered/grouped/detected, and the types of possible relationships were obtained. the possibility that a child would have a nose-to-mouth distance of the same type as that of the father. It is important to note that this is not a traditional approach to grouping noses (flat, elongated...), here we not only analyze the nose in isolation, but also its relationship with other facial objects, as described in the example. . By using the chosen variables and having an automated analysis model, it allows defining a large number of relationships based on their heritability and their relationship with other vs facial objects (e.g. mouth). Based on these data, a matrix of probabilities of transmitting each of the sectoral facial objects is established.

La ponderación de heredabilidad está calculada a partir de un algoritmo predictivo basado en árboles de decisión realizado y validado con árboles genealógicos que engloban individuos de 3 generaciones distintas, utilizando árboles de diferentes etnias y fenotipos. El input (aporte) del cálculo predictivo son el tensor de relevancia facial y etnia del sujeto. The heritability weight is calculated from a predictive algorithm based on decision trees carried out and validated with family trees that include individuals from 3 different generations, using trees of different ethnicities and phenotypes. The input of the predictive calculation is the facial relevance tensor and the subject's ethnicity.

En base a estos datos se establece una matriz de probabilidades de transmitir cada uno de los objetos faciales sectoriales. Based on these data, a matrix of probabilities of transmitting each of the sectoral facial objects is established.

Aplicación de los tensores de comparaciones hereditarias de individuos (CHI) obtenidos en la etapa anterior como input (aporte) para un algoritmo IA basado en redes neuronales que se ejecuta mediante un ordenador. Application of the hereditary comparisons of individuals (CHI) tensors obtained in the previous stage as input for an AI algorithm based on neural networks that is executed by a computer.

Los tensores de comparaciones hereditarias de individuos (CHI) es el input (aporte) para un algoritmo IA basado en redes neuronales, con una serie muy numerosa de nodos interconectados que simulan el cerebro humano y que se ejecuta gracias a una gran potencia computacional. Dicho algoritmo se procesa esos datos y determina un parecido entre 1 y 100 de los individuos, donde 1 corresponde al menor parecido facial y 100 un parecido facial absoluto. The hereditary comparisons of individuals (CHI) tensors are the input for an AI algorithm based on neural networks, with a very large series of interconnected nodes that simulate the human brain and that is executed thanks to great computational power. This algorithm processes this data and determines a resemblance between 1 and 100 of the individuals, where 1 corresponds to the least facial resemblance and 100 an absolute facial resemblance.

Finalmente, las etapas operativas para obtener mediante matching facial de una imagen facial 2d frontal de un sujeto donante para determinar con precisión el donante más similar a nivel facial, presenta las etapas siguientes: Finally, the operational steps to obtain, through facial matching, a frontal 2D facial image of a donor subject to accurately determine the most facially similar donor, present the following steps:

Generación de un dataset (grupo de datos) para cada individuo, con los puntos que definen las principales estructuras faciales de los sujetos a comparar por pareo facial (matching facial); Generation of a dataset (group of data) for each individual, with the points that define the main facial structures of the subjects to be compared by facial matching;

Generación de los diferentes objetos faciales determinados por listas de vectores faciales sectoriales para cada individuo a comparar en base a el grupo de datos de la etapa anterior; Con los datos obtenidos en la etapa anterior, determinación de una matriz resumen de las variables relevantes para cada objeto facial dando lugar a una matriz resumen facial o matriz de referencias del objeto facial; Generation of the different facial objects determined by lists of sectorial facial vectors for each individual to be compared based on the data group from the previous stage; With the data obtained in the previous stage, determination of a summary matrix of the relevant variables for each facial object, giving rise to a facial summary matrix or reference matrix of the facial object;

Determinación de un tensor de relevancia facial mediante la comparación de la distancia relativa con las matrices del resto de objetos faciales obtenidas en la etapa anterior; Determination of a facial relevance tensor by comparing the relative distance with the matrices of the rest of the facial objects obtained in the previous stage;

Incorporación al tensor de relevancia de una nueva dimensión con las probabilidades de heredabilidad de cada uno de los objetos faciales del individuo en base a su etnia, creando el tensor de comparaciones hereditarias (CHI); y Incorporation into the relevance tensor of a new dimension with the heritability probabilities of each of the individual's facial objects based on their ethnicity, creating the hereditary comparisons tensor (CHI); and

Aplicación de los tensores de comparaciones hereditarias de individuos (CHI) obtenidos en la etapa anterior como input (aporte) para un algoritmo IA basado en redes neuronales para ser ejecutado mediante un ordenador. Application of the hereditary comparisons of individuals (CHI) tensors obtained in the previous stage as input for an AI algorithm based on neural networks to be executed by a computer.

El procedimiento permite que cada vector facial sectorial se le asigne una ponderación de heredabilidad concreta que permita saber el peso de transmisión hereditaria de ese rasgo facial concreta del usuario y mediante un algoritmo de IA en base a esos datos determina un parecido entre 1 y 100 de los individuos. The procedure allows each sectoral facial vector to be assigned a specific heritability weight that allows knowing the weight of hereditary transmission of that specific facial feature of the user and, through an AI algorithm, based on this data, it determines a similarity between 1 and 100. the individuals.

Claims

1- Procedure for selection among a group of donors through facial matching, through a 2D facial image of the donor subject, which is characterized by the following operational stages:

- Generation of a dataset (group of data) for each individual, with the points that define the main facial structures of the subjects to be compared by facial matching;

- Generation of the different facial objects determined by lists of sectoral facial vectors for each individual to be compared based on the data group from the previous stage;

- With the data obtained in the previous stage, determination of a summary matrix of the relevant variables for each facial object, giving rise to a facial summary matrix or reference matrix of the facial object;

- Determination of a facial relevance tensor by comparing the relative distance with the matrices of the rest of the facial objects obtained in the previous stage;

- Incorporation to the relevance tensor of a new dimension with the heritability probabilities of each of the individual's facial objects based on their ethnicity, creating the hereditary comparisons tensor (CHI); and - Application of the hereditary comparisons of individuals (CHI) tensors obtained in the previous stage as input for an AI algorithm based on neural networks to be executed by a computer.

2- Procedure for selection among a group of donors through facial matching, through a 2D facial image of the donor subject, according to claim 1, which is characterized in that the generation of a dataset (group of data) ( 13) for each individual, it is made using a frontal 2D/3D facial image (10) that is extracted by computer vision, using a camera (12) coupled to a computer.

3- Procedure for selection among a group of donors through facial matching, through a 2D facial image of the donor subject, according to claim 1, which is characterized in that the facial vectors that are applied are: perimeter structure - front of skull; front-front structure; eyebrow bone structure, eyebrow muscle structure, lip structure, mouth structure, cheekbone structure, chin structure, eye structure, ciliary arch structure, Iris structure, nasolabial groove structure, structure of the chin area, structure and position of the hairline, structure of the eyebrow, vertex and tail, structure of the eyelash line, structure of the inner edge of the eyelid, structure of the temples, structure of the lower area of the eye, structure of the nasal septum, structure of the wing of the nose, structure of the corner of the lips, structure of the chin cavity, structure of the Cupid's bow, structure of the cheek, structure of the cheekbone, structure of the zygomatic bone, structure of the maxillary bone, structure of the nasal bone and structure of the mandibular bone.

4- Procedure for selection among a group of donors through facial matching, through a 2D facial image of the donor subject, according to claim 1, which is characterized in that the facial relevance tensor is a multidimensional matrix that expresses algebraically the relative distance between the perimeter, area or distances, with the rest of facial objects.

5- Procedure for selection among a group of donors through facial matching, through a 2D facial image of the donor subject, according to claim 1, which is characterized in that the calculation of the percentage of heritability of each of the facial objects is made based on the probability of each individual of transmitting that facial object to his offspring through a set of family trees that include the different facial objects delimited by their perimeter, area, upper and lower points, lateral extremes and centrality, as well as as relational variables such as distance between lower and higher points, extremes and distance with respect to the centrality point.

6- Procedure for selection among a group of donors through facial matching, through a 2D facial image of the donor subject, according to claim 1, characterized in that the heritability weight is calculated from an algorithm. predictive based on decision trees carried out and validated with family trees that include individuals from 3 different generations, using trees of different ethnicities and phenotypes