ES3067342T3 - Machine learning tool for structures - Google Patents
Machine learning tool for structuresInfo
- Publication number
- ES3067342T3 ES3067342T3 ES20711463T ES20711463T ES3067342T3 ES 3067342 T3 ES3067342 T3 ES 3067342T3 ES 20711463 T ES20711463 T ES 20711463T ES 20711463 T ES20711463 T ES 20711463T ES 3067342 T3 ES3067342 T3 ES 3067342T3
- Authority
- ES
- Spain
- Prior art keywords
- machine learning
- data
- image
- components
- structures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Resources & Organizations (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Architecture (AREA)
- Computational Mathematics (AREA)
- Computational Linguistics (AREA)
- Pure & Applied Mathematics (AREA)
- Medical Informatics (AREA)
- Civil Engineering (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Structural Engineering (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Una herramienta de aprendizaje automático para estructuras que permite (1) diseñar estructuras, (2) verificar la construcción y (3) evaluar los daños causados por el deterioro, el cambio de propiedades o un evento destructivo. La herramienta incluye varios modelos de aprendizaje automático preentrenados y algoritmos de posprocesamiento. Cuenta con una interfaz de usuario que permite cargar datos, analizarlos mediante uno o más modelos de aprendizaje automático preentrenados y procesar los resultados de diversas maneras. La herramienta muestra los resultados y permite exportarlos en diferentes formatos. (Traducción automática con Google Translate, sin valor legal)
Description
[0001] DESCRIPCIÓN
[0002] Herramienta de aprendizaje automático para estructuras
[0003] Campo de la tecnología
[0004] La presente divulgación se refiere a herramientas que emplean aprendizaje automático. La presente divulgación también se refiere a evaluaciones de estructura automatizadas.
[0005] Antecedentes
[0006] La solicitud de patente estadounidense publicada US2018373931A1 divulga métodos y aparatos para aplicar análisis de imágenes y algoritmos de aprendizaje automático a una colección de imágenes aéreas 2-D en una o más de un informe de reivindicaciones. Por ejemplo, un método puede incluir generar un proyecto de análisis de seguros basándose en una entrada de usuario, adquirir datos de imagen de la estructura basándose en el proyecto de análisis de seguros, generar un modelo 3-D de la estructura basándose en los datos de imagen, calcular mediciones de la estructura basada en el modelo 3-D y datos de imagen, detectando una o más características de la estructura usando una o más de las mediciones, el modelo 3-D y los datos de imagen, y generando un informe basado en uno o más de los entrada de usuario, los datos de imagen, el modelo 3-D, las mediciones y la una o más características. El diseño de una estructura se realiza habitualmente de forma colectiva por diversos profesionales que son especialistas en su respectivo campo, incluidos, entre otros, ingenieros geotécnicos, ingenieros estructurales, ingenieros mecánicos, ingenieros eléctricos, arquitectos y diseñadores de interiores. Cada grupo profesional depende de los demás para obtener experiencia en su respectivo campo. Las consideraciones de diseño suelen incluir múltiples variables, como el uso del programa, la forma, la estética, los efectos del viento y sísmicos, los efectos solares, la energía, el uso del agua, etc. La consideración de estas variables se realiza normalmente por ensayo y error informado por la experiencia y el conocimiento de los diferentes profesionales implicados.
[0007] Para comunicar el diseño a otras partes interesadas, los profesionales producen conjuntos de dibujos y documentos de especificación que se envían a otros profesionales, el cliente y el contratista general. Estos dibujos y especificaciones, denominados colectivamente como los documentos de contrato, se distribuyen a continuación a los subcontratistas. Los subcontratistas los convierten posteriormente en dibujos de taller que representan las partes de la estructura que corresponden a su respectivo oficio. Estos planos de taller son revisados por el contratista general y los profesionales para el cumplimiento de los documentos del contrato. A continuación, se utilizan para fabricar piezas y construir la estructura. Los dibujos se pueden producir a mano, usando software de dibujo 2D o usando software de modelado 3D.
[0008] A lo largo del proceso de construcción, los contratistas implementarán procedimientos de garantía de calidad/control de calidad (QA/QC) para asegurar la calidad del trabajo y garantizar que cumpla con las expectativas. Además, los inspectores inspeccionarán el trabajo de construcción y lo compararán con los documentos de construcción para garantizar que la estructura se esté construyendo según lo previsto. Las fechas y horas de inspección se coordinan de antemano entre la empresa de inspección y el contratista o contratistas. Los inspectores visitarán físicamente el sitio, inspeccionarán manualmente el artículo o artículos en cuestión y prepararán un informe de inspección para documentar sus hallazgos.
[0009] Los cambios típicamente ocurren durante el curso de la construcción, ya sea debido a cambios de diseño, errores del contratista, condiciones imprevistas u otras razones. El contratista general registra estos cambios y, una vez que la estructura está completa, envía un conjunto de planos de construcción al cliente.
[0010] A lo largo de la vida útil de una estructura, se inspeccionará y reparará para mantenerla. Estas inspecciones se realizan típicamente manualmente y pueden ser costosas, lentas y peligrosas. Se realizan de manera discontinua a lo largo de intervalos que podrían abarcar décadas. Por lo tanto, los problemas que podrían provocar daños importantes o incluso el colapso de una estructura pueden pasarse por alto durante estas inspecciones.
[0011] Después de un desastre natural, las estructuras dañadas son inspeccionadas visualmente por profesionales calificados. Debido a la abrumadora necesidad de inspecciones y al suministro limitado de expertos, los propietarios de viviendas y negocios de edificios dañados pueden esperar meses para que se complete una inspección. En algunos casos, no pueden ocupar su hogar u operar su negocio hasta que se complete esta inspección. Una de las mayores pérdidas económicas asociadas con los desastres naturales se debe al tiempo de inactividad de la reparación y reconstrucción, que se ve exacerbado por el lento proceso de inspección manual.
[0012] Los procesos tradicionales descritos anteriormente que tienen lugar a lo largo de la vida de una estructura, desde el diseño hasta la construcción, la operación y el mantenimiento, son generalmente manuales, ineficientes y dejan margen para el error. Esta invención incorpora aprendizaje automático en estos procesos para automatizarlos, mejorar su eficiencia y reducir errores.
[0013] Sumario
[0014] En el presente documento se divulgan una o más invenciones relacionadas con un sistema o herramienta que usa aprendizaje automático en conexión con evaluaciones de estructuras. Esta nueva herramienta se denomina principalmente en el presente documento como una herramienta de aprendizaje automático para estructuras, aunque a veces también se denomina simplemente como la herramienta o la herramienta de aprendizaje automático. Esta herramienta de aprendizaje automático para estructuras está especialmente entrenada y programada para usar aprendizaje automático para evaluar el rendimiento de estructuras, identificar totalidades o porciones de estructuras a partir de imágenes o dibujos, evaluar daños a estructuras o cualquier combinación de lo anterior. Las referencias a lo largo de la presente divulgación al aprendizaje automático abarcan el aprendizaje profundo. Debe entenderse que la(s) presente(s) invención(es) cae(n) dentro del subconjunto de aprendizaje profundo de aprendizaje automático.
[0015] Al abordar la resiliencia, esta herramienta de aprendizaje automático puede escalarse y usarse para establecer programas de resiliencia para una amplia gama de usuarios, desde propietarios individuales hasta ciudades, condados o países donde las estructuras se evalúan antes y después de un desastre natural o provocado por el hombre. Esta evaluación se puede interconectar con planes de resiliencia más amplios que aborden necesidades críticas después de un evento.
[0016] En una realización, una herramienta de aprendizaje automático comprende: un sistema informático con uno o más procesadores de datos y memoria; una interfaz de usuario a través de la cual se puede emitir información a un usuario y a través de la cual el usuario puede introducir información y datos, identificando los datos una o más estructuras, componentes de los mismos, o ambos; una base de datos en la que se almacenan los datos; un sistema de gestión de base de datos que se comunica con la base de datos para almacenar y recuperar los datos en y desde la base de datos; e instrucciones ejecutables del procesador de datos no transitorios almacenadas en la memoria, comprendiendo las instrucciones uno o más modelos de aprendizaje automático preentrenados, en donde, el uno o más modelos de aprendizaje automático están preentrenados para procesar los datos en la base de datos para evaluar el rendimiento o diseño de una estructura a partir de imágenes, datos de nube de puntos o representaciones tridimensionales o dibujos de los mismos, identificar componentes de una estructura a partir de una imagen o datos de nube de puntos, identificar uno o más componentes de una estructura y extraer texto relacionado de un dibujo, identificar y evaluar el daño en una estructura a partir de una imagen o datos de nube de puntos, o cualquier combinación de los anteriores.
[0017] En una realización, una herramienta de aprendizaje automático comprende: un sistema informático con uno o más procesadores de datos y memoria; una interfaz de usuario a través de la cual se puede emitir información a un usuario y a través de la cual el usuario puede introducir información y datos, identificando los datos una o más estructuras, componentes de los mismos, o ambos; una base de datos en la que se almacenan los datos; un sistema de gestión de base de datos que se comunica con la base de datos para almacenar y recuperar los datos en y desde la base de datos; e instrucciones ejecutables de procesador de datos no transitorias almacenadas en la memoria, comprendiendo las instrucciones uno o más modelos de aprendizaje automático preentrenados y uno o más algoritmos de posprocesamiento, en donde, el uno o más modelos de aprendizaje automático están preentrenados para procesar la datos en la base de datos para evaluar el rendimiento o diseño de una estructura a partir de imágenes, datos de nube de puntos o representaciones tridimensionales o dibujos de los mismos, identificar componentes de una estructura a partir de una imagen o datos de nube de puntos, identificar uno o más componentes de una estructura y extraer texto relacionado de un dibujo, identificar y evaluar daños en una estructura a partir de una imagen o datos de nube de puntos, o cualquier combinación de lo anterior, y el uno o más algoritmos de posprocesamiento comprenden, un algoritmo de cantidad, un algoritmo de medición, un algoritmo de comparación algoritmo, un algoritmo de generación de modelo digital o cualquier combinación de los anteriores. En una realización, el uno o más modelos de aprendizaje automático se entrenan previamente para procesar los datos en la base de datos para evaluar un diseño de una estructura, identificar componentes de una estructura y evaluar daños en una estructura.
[0018] En una realización, el uno o más algoritmos de posprocesamiento comprenden, un algoritmo de cantidad, un algoritmo de medición, un algoritmo de comparación y un algoritmo de generación de modelo digital.
[0019] En una realización, el uno o más modelos de aprendizaje automático se entrenan previamente para procesar los datos en la base de datos para evaluar un diseño de una estructura, identificar componentes de una estructura y evaluar daños en una estructura, y el uno o más post- los algoritmos de procesamiento comprenden, un algoritmo de cantidad, un algoritmo de medición, un algoritmo de comparación y un algoritmo de generación de modelo digital. En una realización, los componentes de una estructura incluyen componentes estructurales y componentes no estructurales.
[0020] En una realización, el algoritmo de cantidad suma un número de instancias de cada clase identificadas por el uno o más del modelo de aprendizaje de máquina para proporcionar un recuento total de instancias identificadas para
cada clase.
[0021] En una realización, el algoritmo de medición comprende las etapas de: usar visión por ordenador, detectar bordes en regiones identificadas por el uno o más modelos de aprendizaje automático, calcular distancias de píxeles dentro de esas regiones y convertir la distancia de píxeles a otra unidad de distancia especificada por el usuario basándose en las propiedades de la cámara y su relación espacial con una estructura.
[0022] En una realización, el algoritmo de comparación comprende las etapas de: comparar información extraída del uno o más modelos de aprendizaje automático con una entrada de referencia por el usuario, obtenida automáticamente a través del análisis de aprendizaje automático de dibujos físicos, u obtenida automáticamente de un dibujo digital o un modelo digital; e informar de cualquier desviación entre los resultados de aprendizaje automático originales y el punto de referencia.
[0023] En una realización, el algoritmo de generación de modelo digital comprende usar resultados de uno o más modelos de aprendizaje automático para generar dibujos digitales bidimensionales o un modelo digital tridimensional de los elementos identificados agrupando los píxeles o puntos para cada clase identificada por el uno o más modelos de aprendizaje automático y convertirlos en líneas bidimensionales o componentes tridimensionales, creándose las líneas reduciendo los grupos de píxeles o puntos a líneas o polilíneas que discurren a través de un centro de ese píxel o grupo de puntos. Los componentes se crean determinando los límites exteriores del píxel o grupo de puntos identificado por aprendizaje automático, determinando sus dimensiones, ubicación y orientación, y generando el componente apropiado basándose en la información de clase, centroide (ubicación), ángulo (orientación) y dimensión obtenida anteriormente.
[0024] El dibujo/modelo digital podría vincularse a través de una plataforma en la nube o a través de un complemento de software.
[0025] En una realización, una herramienta de aprendizaje automático comprende: un sistema informático con uno o más procesadores de datos e instrucciones ejecutables de procesador de datos de almacenamiento de memoria; una interfaz de usuario a través de la cual se puede emitir información a un usuario y a través de la cual el usuario puede introducir información y datos; una base de datos en la que se almacenan los datos; un sistema de gestión de base de datos que se comunica con la base de datos para almacenar y recuperar los datos en y desde la base de datos; y las instrucciones ejecutables del procesador de datos almacenadas en la memoria, en donde, las instrucciones ejecutables del procesador de datos efectúan las etapas de: procesar los datos usando modelos de aprendizaje automático previamente entrenados y evaluar un diseño de una estructura, identificar componentes de una estructura, evaluar daños en una estructura, o cualquier combinación de lo anterior, y el proceso resulta de la etapa anterior invocando un algoritmo de cantidad, un algoritmo de medición, un algoritmo de comparación, un algoritmo de generación de modelo digital o cualquier combinación de los anteriores.
[0026] En una realización, se usa aprendizaje automático para analizar datos sin procesar cargados por el usuario para evaluar el diseño de una estructura, identificar componentes y/o evaluar daños debido al deterioro, cambio de propiedades o un evento destructivo.
[0027] En otra realización, los datos analizados por aprendizaje automático se usan para determinar cantidades y/o mediciones.
[0028] En otra realización, los datos analizados por aprendizaje automático se usan para generar automáticamente un modelo digital de la estructura.
[0029] En otra realización, los datos analizados de aprendizaje automático se comparan con un punto de referencia en forma de tolerancias especificadas, dibujos en 2D, un modelo digital en 3D o similares.
[0030] En otra realización, los resultados obtenidos a partir de la invención pueden visualizarse y exportarse en diversos formatos.
[0031] Estos y otros aspectos y características se describen a continuación con mayor detalle.
[0032] Breve descripción de los dibujos
[0033] Los dibujos adjuntos, que se incorporan y constituyen una parte de esta memoria descriptiva, ilustran una implementación de la(s) presente(s) invención(es) y, junto con la descripción, sirven para explicar las ventajas y principios de la(s) invención(es). En los dibujos:
[0034] La figura 1 representa un diagrama de flujo que muestra el proceso para entrenar modelos de aprendizaje automático de acuerdo con los principios divulgados en el presente documento.
[0035] La figura 2 representa un diagrama de bloques que muestra una conexión entre una herramienta de aprendizaje automático para estructuras que emplean principios divulgados en el presente documento y ordenadores cliente
a través de una red.
[0036] La figura 3 representa un diagrama de bloques que ilustra diferentes componentes que comprenden la herramienta de aprendizaje automático para estructuras de la figura 2.
[0037] Las figuras 4A, 4B y 4C representan un diagrama de flujo que ilustra etapas ilustrativas de la herramienta de aprendizaje automático para las estructuras de las figuras 2 y 3 para procesar unos datos, determinar cantidades y/o mediciones, generar un modelo digital, comparar resultados con un punto de referencia y exportar los resultados.
[0038] La figura 5 representa un diagrama de flujo que ilustra etapas ilustrativas de la herramienta de aprendizaje automático para las estructuras de las figuras 2 y 3 para determinar cantidades y/o mediciones a partir de los datos analizados.
[0039] La figura 6 representa un diagrama de flujo que ilustra etapas ilustrativas de la herramienta de aprendizaje automático para las estructuras de las figuras 2 y 3 para generar un modelo digital a partir de los datos analizados.
[0040] La figura 7 representa un diagrama de flujo que ilustra etapas ilustrativas de la herramienta de aprendizaje automático para las estructuras de las figuras 2 y 3 para comparar los resultados de los datos analizados con un punto de referencia.
[0041] Las figuras 8A, 8B, 9A, 9B, 9C, 9D, 9E, 9F, 9G, 9H, 9I, 9J, 9K, 9L, 10A, 10B, 10C, 10D, 10E, 10F, 10G, 10H, 10I, 10J, 10K, 10L, 10M y 10N ilustran diversas aplicaciones y resultados que se han obtenido de una herramienta de aprendizaje automático tal como la herramienta de aprendizaje automático para estructuras de las figuras 2 y 3. Las figuras 11-19 muestran capturas de pantalla de una interfaz de usuario en diversas etapas durante el uso de la herramienta de aprendizaje automático para estructuras.
[0042] La figura 20A representa un diagrama de flujo que ilustra etapas ilustrativas de la herramienta de aprendizaje automático de las figuras 2 y 3 para implementar un algoritmo de medición de acuerdo con los principios divulgados en el presente documento.
[0043] Las figuras 20B a 21F son imágenes útiles para describir las etapas de la figura 20A.
[0044] La figura 21A representa un diagrama de flujo que ilustra etapas ilustrativas de la herramienta de aprendizaje automático de las figuras 2 y 3 para implementar un algoritmo de generación de modelo digital de acuerdo con los principios divulgados en el presente documento.
[0045] Las figuras 21B a 21K ilustran imágenes útiles para describir las etapas de la figura 21A.
[0046] La figura 22A representa un diagrama de flujo que ilustra etapas ilustrativas de la herramienta de aprendizaje automático de las figuras 2 y 3 para implementar un algoritmo para generar líneas o polilíneas bidimensionales a partir de imágenes de acuerdo con los principios divulgados en el presente documento.
[0047] La figura 22B es una imagen útil para explicar las etapas de las etapas de la figura 22A.
[0048] La figura 23A representa un diagrama de flujo que ilustra etapas ilustrativas de la herramienta de aprendizaje automático de las figuras 2 y 3 para implementar un algoritmo para generar componentes de modelo digital tridimensional a partir de datos de nube de puntos de acuerdo con los principios divulgados en el presente documento.
[0049] La figura 23B es una imagen útil para explicar las etapas de la figura 23A.
[0050] La figura 24A representa un diagrama de flujo que ilustra etapas ilustrativas de la herramienta de aprendizaje automático de las figuras 2 y 3 para implementar un algoritmo de comparación de acuerdo con los principios divulgados en el presente documento.
[0051] Las figuras 24B a 24B son imágenes útiles para explicar las etapas de la figura 24A.
[0053] Descripción detallada
[0055] Aunque en el presente documento se describen diversas realizaciones de la presente invención o invenciones, será evidente para los expertos en la materia que son posibles muchas más realizaciones e implementaciones que están dentro del alcance de la invención o invenciones.
[0057] En el presente documento se describe una herramienta de aprendizaje automático para estructuras que se puede usar para (1) diseñar estructuras, (2) verificar la construcción y/o (3) evaluar el daño debido al deterioro, cambio de propiedades o un evento destructivo, entre otras cosas. Los procesos tradicionales que se producen a lo largo de la vida de una estructura, desde el diseño hasta la construcción, la operación y el mantenimiento, son generalmente manuales, ineficientes y dejan margen para el error. De acuerdo con los principios divulgados en el presente documento, el aprendizaje automático puede incorporarse en estos procesos para automatizarlos, mejorar su eficiencia y reducir errores.
[0059] De acuerdo con los principios divulgados en el presente documento, los modelos de aprendizaje automático pueden usarse para evaluar el rendimiento de una estructura a partir de dibujos de la misma (por ejemplo, bajo diferentes cargas de viento o eventos sísmicos), identificar componentes de una estructura a partir de una imagen, identificar componentes de una estructura a partir de un dibujo, identificar y evaluar daños en una estructura a partir de una imagen, o cualquier combinación de los anteriores. Los datos sin procesar pueden ser fotos, representaciones, dibujos a mano o digitales, datos de nube de puntos o similares. La herramienta de aprendizaje automático para estructuras puede calcular cantidades y mediciones relacionadas con estos artículos. La herramienta de aprendizaje automático para estructuras puede comparar los artículos así como cantidades y/o mediciones contra un punto de referencia apropiado. El punto de referencia se puede obtener a través de dibujos, modelos digitales u otros
formatos.
[0061] Las figuras 1 a 7 son diagramas que ilustran los procesos y la arquitectura de la herramienta de aprendizaje automático para estructuras. También se hace referencia a las figuras 11-19 para entender cómo interactúa un usuario con la herramienta de aprendizaje automático. La interfaz de usuario mostrada en las figuras 11-19 se proporciona como un ejemplo. La herramienta de aprendizaje automático para la interfaz de usuario de estructuras puede diferir de la mostrada en estas figuras.
[0063] La figura 1 representa un diagrama de flujo que muestra el proceso para entrenar los algoritmos de aprendizaje automático para crear los modelos de aprendizaje automático para la presente herramienta de aprendizaje automático para estructuras. Para comenzar, los datos sin procesar se recopilan en la etapa 102. Como se ha indicado anteriormente, los datos sin procesar pueden estar en diversas formas que incluyen fotografías, renderizaciones, dibujos a mano o digitales, datos de nube de puntos o similares. Las fotografías se pueden obtener a nivel de los ojos y/o usando drones por encima de la cabeza. Preferiblemente, los datos sin procesar son datos de imagen relacionados con estructuras o componentes de los mismos. Las fotografías se pueden obtener a través de cámaras digitales, cámaras réflex digitales de objetivo único (DSLR), cámaras de teléfono celular, drones, imágenes de satélite, datos de nube de puntos, documentos escaneados u otros medios. Los datos de nube de puntos se pueden obtener a través de escaneo láser 3D u otros medios. Los datos sin procesar se anotan electrónicamente en la etapa 104 asignando anotaciones globales, de nivel de objeto, de píxel o de punto dependiendo de si se van a usar clasificación, detección de objeto, segmentación u otras técnicas de aprendizaje automático.
[0065] En la etapa 106, los datos anotados se usan como entradas para entrenar una red neuronal existente u otro tipo de algoritmo de aprendizaje automático. Las referencias a redes neuronales en esta divulgación incluyen redes neuronales profundas. Algunos algoritmos de aprendizaje automático comunes son el vecino más cercano, el bayesiano ingenuo, los árboles de decisión, la regresión lineal, las máquinas de vectores de soporte y las redes neuronales. Tales algoritmos de aprendizaje automático y cómo entrenarlos son bien conocidos, aunque diferentes vendedores o proveedores solo pueden soportar un subconjunto de los mismos. Por ejemplo, Amazon Machine Learning de Amazon Corporation (Amazon ML) actualmente solo soporta tres tipos de algoritmos: clasificación binaria, clasificación de clase y regresión. El marco de aprendizaje automático TensorFlow de código abierto de Google se utilizó para entrenar redes neuronales de código abierto u otros tipos de algoritmos de aprendizaje automático en relación con el desarrollo de la presente herramienta de aprendizaje automático para estructuras. También se pueden incorporar diferentes marcos de aprendizaje de máquina en esta invención. Ejemplos de las redes neuronales de código abierto usadas son YOLO, Faster R-CNN, DeepLabV2, ResNet-101, PointNet y PointNet +. Estas redes neuronales, descritas en la sección de referencias a continuación, pueden entrenarse previamente en otros conjuntos de datos, tales como el conjunto de datos de COCO de código abierto, antes del entrenamiento en los datos procesados en la etapa 104 para mejorar su precisión. Para reducir el tiempo de cálculo, los archivos de alta resolución se pueden subdividir en múltiples piezas, que se usan como entradas separadas para la red neuronal. Las salidas de red neuronal pueden recombinarse a continuación en el formato original. Como se describe con más detalle a continuación, se muestra una muestra de una subimagen analizada que detecta pernos de cizalla en la imagen 914 de la figura 9G y se muestra una muestra de una foto recombinada en la imagen 916 de la figura 9H.
[0067] En la etapa 108, se evalúa la precisión de la red neuronal comparando las predicciones de aprendizaje automático con los datos anotados. Si la precisión es insuficiente, se puede mejorar en la etapa 110 aumentando la calidad (por ejemplo, usando imágenes más consistentes, usando mejores condiciones de iluminación, usando un mejor enfoque, evitando obstáculos, etc.) y/o cantidad de los datos de entrada, mejorando anotaciones (por ejemplo, haciendo las anotaciones más precisas, consistentes, etc.), variando algunos o todos los hiperparámetros de red (por ejemplo, épocas, iteraciones, tamaño de lote, tasa de aprendizaje, abandono, tasa de decaimiento, etc.) y/o variando la propia red. Si la precisión es suficiente, los parámetros de red neuronal se emiten en la etapa 112. Las redes y los parámetros emitidos se incorporan en la herramienta de aprendizaje automático para estructuras 208 como modelos de aprendizaje automático 308 para su uso en el análisis de nuevos datos sin procesar. Con el tiempo, se pueden agregar nuevos datos al conjunto de datos original y se pueden usar para desarrollar nuevos modelos de aprendizaje automático reentrenando las redes existentes. Los modelos de aprendizaje automático también pueden actualizarse con redes neuronales nuevas y mejoradas a medida que se crean. También se pueden incorporar nuevas técnicas de aprendizaje automático en la invención a medida que se crean.
[0069] La figura 2 representa un diagrama de bloques que muestra un sistema de procesamiento de datos 200 que comprende una pluralidad de ordenadores de cliente 202 y 204 y una herramienta de aprendizaje de máquina para estructuras 208 conectadas a través de una red 206. La herramienta de aprendizaje automático para estructuras 208 es un ordenador o sistema informático especialmente configurado, como se describe en el presente documento. La red 206 es de un tipo que es adecuado para conectar los ordenadores 202, 204 y 208 para comunicación, tal como una red de conmutación de circuitos o una red de conmutación de paquetes. También, la red 206 puede incluir un número de redes diferentes, tal como una red de área local, una red de área extensa tal como Internet, redes telefónicas que incluyen redes telefónicas con enlaces de comunicación dedicados, red sin conexión y redes inalámbricas. En el ejemplo ilustrativo mostrado en la figura 2, la red 206 es Internet. Cada uno de los ordenadores 202, 204 y 208 mostrados en la figura 2 está conectado a la red 206 a través de un enlace de comunicación
adecuado, tal como una línea de comunicación especializada o un enlace de comunicación inalámbrico. Los usuarios pueden cargar datos sin procesar en la herramienta de aprendizaje automático para estructuras 208, analizar los datos así como ver y exportar los resultados a través de la conexión de red.
[0071] La figura 3 muestra diferentes componentes que comprenden la herramienta de aprendizaje automático para estructuras 208 que incorporan principios de la invención. La herramienta de aprendizaje automático para estructuras 208 es un sistema informático especialmente configurado 300 compuesto por un único ordenador o grupo de ordenadores con uno o más procesadores de datos (no mostrados) para ejecutar instrucciones legibles del procesador de datos no transitorios, así como memoria relacionada (no mostrada) en el que se almacenan las instrucciones. El sistema 300 puede residir en una red en la nube.
[0073] En un extremo frontal, una interfaz de usuario 302 habilita visualizaciones de opciones y resultados para un usuario o un dispositivo de cliente tal como un ordenador de cliente. El extremo frontal también puede incluir una pantalla y dispositivos de entrada conocidos (por ejemplo, un teclado, ratón o puerto de comunicaciones, tal como un puerto USB o un medio de comunicaciones inalámbricas), o la información de opciones y resultados puede comunicarse a un ordenador cliente con sus propios dispositivos de entrada y pantalla. En un extremo trasero, un componente de almacenamiento 304 almacena una base de datos que incluye información necesaria para el funcionamiento apropiado de la herramienta de aprendizaje automático para estructuras 208. El componente de almacenamiento puede ser cualquier dispositivo de almacenamiento adecuado tal como memoria de acceso aleatorio, una unidad de estado sólido, una unidad de disco magnético, una unidad de cinta magnética, etc. Un servidor de base de datos 306 se comunica con la base de datos 304. El servidor de base de datos 304 es un producto de software con la función principal de almacenar y recuperar datos según lo solicitado por otras aplicaciones de software, que puede ejecutarse en el mismo ordenador/plataforma o en otro ordenador/plataforma a través de una red (incluyendo Internet). SQL Server, un sistema de gestión de base de datos relacional desarrollado por Microsoft Corporation es adecuado como la base de datos 304.
[0075] El extremo trasero también incluye diversos modelos de aprendizaje automático 308 y algoritmos o módulos de posprocesamiento que se usan para analizar los datos y resultados de usuario. Los modelos de aprendizaje automático incorporados en la herramienta 208 son redes neuronales que se han entrenado previamente para fines específicos siguiendo el proceso descrito en la figura 1 (por ejemplo, para clasificar el diseño de una estructura, tal como su rendimiento de construcción esperado bajo cargas de viento, para identificar estructuras y componentes no estructurales a partir de fotografías o datos de nubes de puntos, para identificar componentes y subcomponentes a partir de dibujos, para identificar y clasificar daños, etc.).
[0077] Los algoritmos de posprocesamiento incluyen, pero sin limitación, un algoritmo de cantidad 310, un algoritmo de medición 312, un algoritmo de comparación 314 y un algoritmo de generación de modelo digital 316. Estos algoritmos se explican con mayor detalle a continuación en la sección bajo el encabezado: Los algoritmos, aunque también se analizan en relación con las figuras 5 - 7.
[0079] El algoritmo/módulo de cantidad 310 suma el número de instancias de cada clase identificadas por el modelo o modelos de aprendizaje automático para proporcionar un recuento total de instancias identificadas para cada clase (por ejemplo, recuento total de pernos de cizalla en cada imagen). El algoritmo/módulo de medición 312 usa técnicas clásicas de visión por ordenador para detectar bordes en las regiones identificadas por el modelo de aprendizaje automático, calcula la distancia de píxel dentro de esas regiones y convierte la distancia de píxel a otra unidad de distancia especificada por el usuario basándose en información conocida/introducida sobre las propiedades de la cámara y la ubicación/ángulo. El algoritmo/módulo de comparación 314 compara información extraída de los modelos de aprendizaje automático con un punto de referencia obtenido manualmente a partir de información introducida por el usuario, obtenido automáticamente a través de análisis de aprendizaje automático de dibujos físicos, u obtenido automáticamente a partir de un dibujo/modelo digital. El dibujo/modelo digital puede estar en formato de gráfico vectorial, cualquier formato de diseño asistido por ordenador (CAD), cualquier formato de programa de software de modelado tridimensional o de modelado de información de construcción (BIM) (tal como Revit, AutoCAD 3D, Tekla, Rhino) o similares. Se notifica cualquier desviación entre los resultados de aprendizaje automático originales y el punto de referencia. Las comparaciones pueden basarse en cualquier criterio adecuado, incluyendo ubicación, cantidad, mediciones o similares. En el caso de comparar cantidades o mediciones, pueden utilizarse en primer lugar los algoritmos de cantidad o medición 310 y 312. Los resultados de aprendizaje automático pueden convertirse en primer lugar a un formato de modelo digital usando el algoritmo/módulo de generación de modelo digital 316.
[0081] El algoritmo de generación de modelo digital 316 usa los resultados del modelo de aprendizaje automático para generar dibujos digitales bidimensionales o un modelo digital tridimensional de los elementos identificados. El dibujo/modelo digital puede estar en formato de gráfico vectorial, cualquier formato de diseño asistido por ordenador (CAD), cualquier formato de programa de software de modelado tridimensional o de modelado de información de construcción (BIM) (tal como Revit, AutoCAD 3D, Tekla, Rhino) o similares. Los dibujos o modelo digitales se generan agrupando los píxeles o puntos identificados por los modelos de aprendizaje automático para cada clase y convirtiéndolos en líneas bidimensionales o componentes tridimensionales. Las líneas se crean reduciendo los grupos de píxeles o puntos a líneas o polilíneas que discurren a través del centro de ese píxel o grupo de puntos.
[0082] Los componentes se crean determinando los límites exteriores del píxel o grupo de puntos identificado por aprendizaje automático, determinando sus dimensiones, ubicación y orientación, y generando el componente apropiado basándose en la información de clase, centroide (ubicación), ángulo (orientación) y dimensión obtenida anteriormente. Los modelos de aprendizaje automático y los algoritmos de posprocesamiento también pueden emplearse por sí mismos, separados de la arquitectura ilustrada en la figura 3. Se pueden emplear individualmente o en combinación entre sí.
[0084] Las figuras 4A, 4B y 4C representan un diagrama de flujo que ilustra las etapas 400 ilustrativas de la herramienta de aprendizaje automático para estructuras 208 para procesar los datos sin procesar (entradas en A), determinar cantidades y/o mediciones, generar un modelo digital, comparar resultados con un comparativa y exportar los resultados. En la etapa 402, la interfaz de usuario 302 provoca la visualización de las diferentes opciones de análisis de aprendizaje de máquina para el usuario, incluyendo la aplicación y el formato de datos. La solicitud puede incluir, pero sin limitación, evaluar el diseño, identificar componentes (por ejemplo, para verificar la construcción) e identificar daños. En algunos casos, los datos en formato de nube de puntos pueden preprocesarse usando CloudCompare, un software de código abierto para el procesamiento de nubes de puntos y modelos de malla. Las etapas indicadas se efectúan mediante instrucciones ejecutables del procesador de datos o software
[0086] La figura 11 muestra una captura de pantalla de una visualización inicial de la interfaz de usuario 302, con selecciones de menú para aplicación y formato de datos. La figura 12 muestra una captura de pantalla de un visualizador de la interfaz de usuario 302 con el menú desplegable para Aplicación seleccionado. La figura 13 muestra una captura de pantalla de una pantalla de la interfaz de usuario en la que se ha seleccionado la aplicación "Evaluar daño", y se ha seleccionado el menú desplegable para formato de datos. Estas aplicaciones y opciones de formato de datos son ilustrativas para esta herramienta particular, pero podrían incluirse otras aplicaciones y formatos de datos o podrían omitirse algunos de los enumerados.
[0088] En las etapas 404 y 406, la herramienta recibe la aplicación y la información de formato de datos del usuario. En la etapa 408, se visualiza la interfaz para cargar los datos y los datos se reciben en la etapa 410 una vez que se cargan por el usuario. La figura 14 muestra una pantalla de la interfaz de usuario en la que se solicita al usuario que cargue datos de imagen. En la etapa 412, la interfaz de usuario 302 provoca la visualización de los diferentes modelos de aprendizaje automático que están disponibles para analizar los datos basándose en la aplicación y la información de formato de datos recibida en las etapas 404 y 406. Se pueden seleccionar y emplear múltiples modelos de aprendizaje automático al mismo tiempo. En la etapa 414, la selección de modelo de aprendizaje automático se recibe del usuario. La figura 15 muestra una captura de pantalla de una pantalla para la etapa 412 en la que se solicita al usuario que seleccione un modelo de aprendizaje automático. Como puede verse, el usuario ha subido una imagen de una viga laminada encolada de madera. La figura 16 muestra una captura de pantalla de una pantalla de la interfaz de usuario con el menú desplegable de modelos de aprendizaje automático seleccionados, en los que "Daño posterior al terremoto", "Comprobación de madera", "Grietas de mampostería", "Grietas de hormigón" y Las opciones de modelo de "manchas de óxido" son visibles. No todos los modelos disponibles se muestran en esta figura. Estos son ejemplares para esta herramienta y aplicación particular recibida en la etapa 404 pero podrían incluirse otros modelos o podrían omitirse algunos de estos modelos. En la etapa 416 se analizan los datos usando los modelos de aprendizaje automático seleccionados y en la etapa 418 la interfaz de usuario provoca la visualización de los resultados. La figura 17 muestra una captura de pantalla de la interfaz de usuario con la visualización de un resultado usando el modelo de "comprobación de madera". Como puede observarse, se detectaron dos fisuras en la viga, una más larga a lo largo de la viga y una más corta en un extremo de la viga. En este momento, se proporciona al usuario opciones para seleccionar algoritmos de post-procesamiento como es visible en la parte inferior de la captura de pantalla.
[0090] Si es coherente con la aplicación y el formato de datos seleccionados en las etapas 404 y 406, el usuario tiene entonces la opción de determinar cantidades a partir de los resultados en la etapa 420 usando el algoritmo/módulo de cantidad 310. Si se selecciona, el número de instancias de cada clase en el conjunto de datos se cuenta en la etapa 422 y las cantidades se visualizan en la etapa 424. Si es coherente con la aplicación y el formato de datos seleccionados en las etapas 404 y 406, el usuario tiene la opción de determinar mediciones a partir de los resultados en la etapa 426 usando el algoritmo/módulo de medición 312. Si se selecciona, las mediciones se calculan siguiendo el proceso esbozado en la figura 5 y descrito en detalle a continuación y a continuación el sistema continúa a la etapa 428. Si no se selecciona, el sistema continúa a la etapa 428.
[0092] Si es coherente con la aplicación y el formato de datos seleccionados en las etapas 404 y 406, el usuario tiene la opción de generar un modelo digital en la etapa 428 usando el módulo generador de modelos digitales 316. Si se selecciona, el modelo digital se crea siguiendo el proceso esbozado en la figura 6 y descrito en detalle a continuación y a continuación el sistema continúa a la etapa 430. Si no se selecciona, el sistema continúa a la etapa 430.
[0094] Si es consistente con la aplicación y el formato de datos seleccionados en las etapas 404 y 406, el usuario tiene la opción de realizar una comparación contra un punto de referencia en la etapa 430 usando el módulo de comparación 314. Si se selecciona, la comparación se realiza siguiendo el proceso esbozado en la figura 7 y descrito en detalle a continuación y a continuación el sistema continúa a la etapa 432. Si no se selecciona, el sistema continúa a la etapa
432.
[0095] En la etapa 432, el usuario puede elegir exportar los archivos/resultados. En las etapas 434 y 436, la herramienta de aprendizaje automático para estructuras 208 recibe la selección del usuario de archivos/resultados para exportar y su formato. Los formatos pueden incluir, pero sin limitación, archivos de imagen, archivos pdf, archivos de excel, archivos csv y archivos de texto. En la etapa 438, los archivos/resultados seleccionados se exportan en el formato seleccionado.
[0096] La figura 5 representa un diagrama de flujo 500 que ilustra etapas ejemplares por la herramienta de aprendizaje automático para estructuras para determinar mediciones a partir de los datos procesados. El usuario introduce las unidades de medición en la etapa 502. En la etapa 504, el usuario introduce el componente o componentes identificados a medir.
[0097] Con conjuntos de datos de imagen 510, en la etapa 512 el usuario introduce la información requerida para convertir mediciones de píxeles a las unidades especificadas en la etapa 502. El usuario selecciona el tipo de cámara de una lista preestablecida que ya contiene las propiedades de cámara asociadas con cada tipo de cámara en la lista. Como alternativa, el usuario puede introducir las propiedades de la cámara manualmente. A continuación, el usuario también introduce (1) la distancia entre la lente de la cámara y el componente en cuestión, (2) las dimensiones de un objeto de referencia conocido en el plano del componente en cuestión y/o (3) el ángulo entre dos imágenes utilizadas para capturar la misma área. En la etapa 514, se usa visión por ordenador clásica para detectar bordes en la región o regiones del componente o componentes identificados en la etapa 416. En la etapa 516, se calcula la medición o mediciones de píxel de borde en la región o regiones identificadas y la información obtenida en la etapa 512 se usa para convertir esta medición o mediciones a las unidades especificadas en la etapa 502.
[0098] Con los datos de nube de puntos 506, las mediciones se calculan directamente a partir de la información geoespacial almacenada en los datos de nube de puntos en la etapa 508.
[0099] Los resultados de medición se visualizan en la etapa 518. La figura 18 muestra una captura de pantalla de una pantalla de la interfaz de usuario después de ejecutar el algoritmo de post-procesamiento de mediciones de cálculo en el resultado del modelo de aprendizaje automático de "comprobación de madera". Como puede verse, se generaron mediciones de las dos comprobaciones. Las dos comprobaciones se denominan Comprobación 1 y Comprobación 2.
[0100] La figura 6 representa un diagrama de flujo 600 que ilustra etapas ilustrativas por la herramienta de aprendizaje de máquina para estructuras 208 para generar un dibujo/modelo digital a partir de los datos procesados usando el algoritmo/módulo de generación de dibujo/modelo digital 316. Por ejemplo, las regiones de tendones postensados pueden identificarse a partir de imágenes de dron y/o datos de nube de puntos usando los modelos de aprendizaje automático. Estas regiones se convierten a continuación en líneas de detalle o componentes de tendón en un dibujo/modelo digital.
[0101] En la etapa 602, el usuario introduce el formato de archivo para el modelo digital. En la etapa 604 y 606, el usuario introduce el nombre de archivo y la ubicación de archivo para guardar el modelo digital. En la etapa 608, un algoritmo convierte los datos de nube de puntos que se segmentaron en la etapa 416 en el formato de modelo digital especificado en la etapa 602. En la etapa 610, se notifica al usuario cuando se completa la creación del modelo digital.
[0102] La figura 7 representa un diagrama de flujo 700 que ilustra etapas ejemplares por la herramienta de aprendizaje automático para estructuras 208 para comparar los resultados de los datos procesados contra un punto de referencia. El usuario tiene la opción de realizar la comparación manual o automáticamente en la etapa 702. Si el usuario selecciona la comparación manual, la información se introduce en el sistema 300 manualmente en la etapa 704. Si el usuario selecciona la opción de comparación automática, la información extraída usando los modelos de aprendizaje automático, cantidad y algoritmos de medición puede compararse con el diseño pretendido a través de dibujos en la etapa 706 y/o un modelo digital en la etapa 718. Los dibujos pueden ser producidos por el profesional de diseño o los dibujos de taller producidos por el contratista, subcontratista, fabricante u otro. El modelo digital puede ser desarrollado por profesionales del diseño, fabricantes u otros.
[0103] En el caso de comparación automática con dibujos, se visualiza una interfaz de usuario para cargar los datos en la etapa 708. En la etapa 710 se reciben los datos. En la etapa 712, la interfaz de usuario visualiza los diferentes modelos de aprendizaje automático disponibles para analizar los datos. Se pueden seleccionar múltiples modelos. Preferiblemente, se han entrenado diferentes modelos de aprendizaje automático para identificar diferentes componentes de dibujo, tales como diferentes elementos y vistas, y subcomponentes, incluyendo líneas de dimensión y símbolos de soldadura. Usando reconocimiento óptico de caracteres, puede detectarse el texto asociado con cada componente y subcomponente. En la etapa 714, la herramienta de aprendizaje automático para estructuras 208 recibe la selección de modelo del usuario y en la etapa 716 se analizan los datos usando esos modelos.
[0104] En el caso de comparación automática con un modelo digital, el usuario especifica la trayectoria al modelo digital en la etapa 720. La trayectoria se recibe en la etapa 722 y se establece un enlace al modelo digital en la etapa 724. En ambos casos de comparación con dibujos y comparación con un modelo digital, los datos se procesan a continuación a través del algoritmo/módulo de comparación 314 en la etapa 726. En el caso de comparación automática con dibujos, la información extraída de la imagen o imágenes y/o datos de nube de puntos se compara automáticamente con la extraída del dibujo o dibujos y se notifica cualquier desviación. Por ejemplo, las dimensiones de la placa de refuerzo extraídas de una imagen pueden compararse automáticamente con las extraídas del dibujo de taller para la placa de refuerzo en cuestión. Con una comparación de modelo digital, la información relevante del modelo digital a los resultados de la imagen o imágenes y/o los análisis de datos de nube de puntos se comparan directamente, notificándose cualquier desviación. Por ejemplo, el sistema 300 puede comparar regiones de tendones postensados identificados a partir de imágenes de dron y/o datos de nube de puntos en la etapa 416 con el perfil en el modelo digital y destaca cualquier desviación que esté más allá de la tolerancia especificada.
[0105] En la etapa 730, se visualizan los resultados de comparación manual y/o automática. La figura 19 muestra una captura de pantalla de la interfaz de usuario en la que se muestran los resultados de la comparación. Como puede observarse, la verificación más corta y menos ancha en el extremo de la viga, verificación 1, está dentro de los niveles de tolerancia, mientras que la verificación más larga y más ancha a lo largo de la viga, verificación 2, no está dentro de la tolerancia introducida por el usuario.
[0106] Las figuras 8 a 10 proporcionan ejemplos de la herramienta de aprendizaje automático para diferentes aplicaciones de estructuras.
[0107] En términos de diseño, la herramienta de aprendizaje automático para estructuras se puede emplear para evaluar el diseño de una estructura usando representaciones bidimensionales o tridimensionales de la estructura. El diseño puede evaluarse en cuanto a rendimiento estructural, cualidades estéticas, cantidades de material, condiciones ambientales o similares. la herramienta de aprendizaje automático para estructuras se puede utilizar para ayudar a los diseñadores a evaluar rápidamente numerosas opciones de masa sin depender de los comentarios de profesionales experimentados. También se puede usar para proponer nuevas opciones de masa y combinarse con otros modelos de aprendizaje automático para optimizar formas para múltiples parámetros tales como la estética, los efectos del viento, la energía solar, las cantidades de material y similares.
[0108] Por ejemplo, la herramienta de aprendizaje automático para estructuras puede usarse para clasificar formas de edificios altos como malas, regulares, moderadas, buenas y excelentes para mitigar los efectos del viento. Se entrenó un modelo de aprendizaje automático particular utilizando los resultados de las pruebas físicas del túnel de viento. La figura 8A muestra ejemplos de los modelos de espuma de poliestireno 802 que se probaron en el túnel de viento. Las versiones digitales de estos modelos se muestran en la imagen 804. Los resultados del túnel de viento fueron interpretados por ingenieros empleados por el cesionario y clasificados en las cinco categorías de rendimiento de viento diferentes enumeradas anteriormente. El modelo de aprendizaje automático se entrenó utilizando representaciones de imágenes bidimensionales de las formas del edificio, cada una de las cuales se etiquetó con la clasificación de rendimiento del viento apropiada. Algunos ejemplos de estas representaciones bidimensionales se muestran en la imagen 806. Estas imágenes se componen de secciones verticales y horizontales del edificio que se disponen juntas en una imagen, en este caso una imagen cuadrada como se muestra en la imagen 816. Se usan diferentes tonos de gris para representar el fondo y el plano del edificio a través del cual se toma la sección. La figura 8B muestra diferentes permutaciones de diseño de edificios altos 808, 810 y 812 analizadas por el modelo de aprendizaje automático antes de llegar a una forma 814 que se clasificó por el modelo de aprendizaje automático como excelente para mitigar los efectos del viento. La imagen 816 muestra la representación de imagen bidimensional de la forma 814.
[0109] En términos de verificación de la construcción, la herramienta de aprendizaje automático para estructuras se puede emplear para inspeccionar el trabajo en el sitio, rastrear el progreso de la construcción, mejorar la garantía de calidad de la construcción y los procesos de control de calidad, así como generar dibujos según construcción o modelos digitales. Los componentes identificados por la herramienta de aprendizaje automático para estructuras pueden ser de naturaleza estructural o no estructural y pueden comprender una diversidad de materiales, tales como acero, hormigón, madera, mampostería, vidrio o similares. Ejemplos de componentes que la herramienta puede detectar son tendones postensados, barras de acero de refuerzo, placas de refuerzo, pernos, pernos de cizalla, soldaduras, empotramientos, anclajes de pared exterior y similares. Los resultados del análisis de aprendizaje automático pueden usarse para calcular cantidades y mediciones.
[0110] La herramienta de aprendizaje automático para estructuras también puede comprender modelos de aprendizaje automático que identifican componentes y extraen texto de dibujos. Los resultados del análisis de aprendizaje automático in situ pueden compararse con los resultados del análisis de aprendizaje automático de dibujo y/o directamente con el modelo digital.
[0111] Las figuras 9A, 9B, 9C, 9D, 9E, 9F, 9G y 9H muestran componentes que se identificaron a partir de fotos del sitio usando de acuerdo con los principios de esta divulgación. En las imágenes 904 y 908, se identificaron tendones
postensados y anclajes de pared a partir de una foto de dron 902 usando técnicas de segmentación y detección de objetos, respectivamente. La imagen 906 muestra los resultados de aprendizaje automático para los tendones tensados postensados superpuestos con los dibujos de diseño para esa losa. La diferencia en la disposición real de los tendones postensados en comparación con la disposición de diseño es evidente en esta imagen, lo que demuestra la importancia de usar la presente herramienta para la verificación de la construcción. En la imagen 910, los pernos se identificaron usando detección de objetos. En la imagen 912, se identificó una soldadura usando segmentación. En las imágenes 914 y 916, los pernos de cizallamiento utilizados para hacer que la plataforma de metal y la losa de hormigón se compongan con la estructura de acero se identificaron mediante la detección de objetos. Debido a que los pernos de cizallamiento son pequeños y normalmente se cuentan en un área grande, se puede usar una cámara réflex digital de lente única (DSLR) para tomar fotografías de alta resolución de áreas grandes que contienen pernos de cizallamiento. Las imágenes se dividen en nueve subimágenes y, a continuación, cada subimagen se analiza independientemente. Las subimágenes analizadas se recombinan a continuación para visualizar los resultados en el formato de foto original. Esto permite que el usuario in situ tome una única fotografía, al tiempo que permite que el sistema procese las imágenes a una resolución efectiva. Una muestra de una subimagen analizada se muestra en la imagen 914 y una muestra de una foto recombinada se muestra en la imagen 916.
[0113] Las figuras 9I, 9J, 9K y 9L muestran componentes identificados a partir de dibujos de taller, así como un ejemplo de uso de los resultados de análisis de aprendizaje automático para calcular mediciones. Subdividiendo dibujos de taller en componentes y subcomponentes manejables a través de detección de objetos y usando reconocimiento óptico de caracteres para extraer sus bloques de texto asociados, la herramienta de aprendizaje automático para estructura puede usarse para "leer" dibujos de taller. Las imágenes 918 y 920 muestran los resultados de la identificación de diferentes vistas de componentes en un dibujo de taller de vigas de acero y muestran diferentes subcomponentes en un dibujo de taller de acero, tales como líneas de dimensión, símbolos de soldadura y agrupación de pernos. Las imágenes 922 y 924 muestran la misma placa de refuerzo identificada a partir de una foto del sitio y un dibujo de taller usando detección de objetos. Estos dos resultados pueden usarse a continuación por la herramienta de aprendizaje automático para estructuras para realizar un análisis de comparación.
[0115] Un ejemplo de combinación de aprendizaje automático con técnicas de medición para la verificación de la construcción es la identificación de barras de acero de refuerzo y el cálculo de su tamaño y espaciado. En las imágenes 926 y 928, las barras de acero de refuerzo se identifican usando segmentación. Una vez que se ha identificado la barra de refuerzo, la herramienta de aprendizaje automático para estructuras puede utilizar visión por ordenador clásica para detectar bordes en esas regiones como se muestra en la imagen 930. Las mediciones se determinan usando información conocida acerca de las propiedades de la cámara, la ubicación de la cámara, el ángulo de la cámara y/o las dimensiones del objeto de referencia, como se describe con más detalle a continuación.
[0116] En términos de detección de daños, se puede emplear una herramienta de aprendizaje automático para estructuras para supervisar la salud de una estructura, evaluar su rendimiento y realizar evaluaciones de daños después de un evento destructivo. En el presente documento, la expresión "evento destructivo" pretende incluir todos los eventos destructivos naturales y provocados por el hombre, incluidos, entre otros, terremotos, tormentas, huracanes, tornados, vientos fuertes, ataques terroristas, explosiones y cualquier otro evento provocado por el hombre o evento destructivo natural que puede dañar una estructura. El daño identificado por la herramienta de aprendizaje automático puede ser de naturaleza estructural o no estructural y puede clasificarse en diferentes niveles de gravedad, que incluyen, pero sin limitación, ligero, moderado, pesado o severo. La herramienta de aprendizaje automático para estructuras también puede detectar defectos en materiales, incluyendo, pero sin limitación, grietas en miembros de madera y grietas en mampostería, hormigón, acero u otros miembros de tipo similar. También puede identificar estructuras colapsadas o porciones colapsadas de una estructura. Los resultados del análisis de aprendizaje automático también se pueden combinar con técnicas de medición para calcular el tamaño (área, longitud, altura, profundidad) del área dañada identificada.
[0118] Las figuras 10A, 10B, 10C, 10D y 10E muestran resultados de evaluación de daños de aprendizaje automático de imágenes después del terremoto de Puebla-Morelos de 2017 en México. Las ubicaciones que se visitaron después de este terremoto se identifican en la imagen 1002. Las imágenes 1004, 1006, 1008, 1010 y 1012 muestran los diferentes tipos de daño (estructural/no estructural) y niveles de gravedad (ligero/moderado/pesado/grave) que se identificaron por el modelo de aprendizaje automático usando detección de objetos. Las imágenes 1010 y 1012 muestran la diferencia en los resultados entre un modelo de aprendizaje automático que se entrenó usando 3.000 iteraciones (imagen 1010) y uno que se entrenó usando 10.000 iteraciones (imagen 1012), demostrando que se pueden hacer ajustes al entrenamiento del modelo para mejorar la precisión del modelo como se describe con más detalle a continuación.
[0120] El uso de una herramienta de aprendizaje automático para estructuras tales como las descritas en el presente documento proporciona a los usuarios una retroalimentación inmediata con respecto al nivel de daño de una estructura, si puede ocuparse y si requiere reparaciones importantes. Estos resultados pueden usarse para acelerar el proceso de evaluación de estructuras después de un evento destructivo y mitigar el tiempo perdido de las inspecciones manuales. La herramienta de aprendizaje automático para estructuras también puede usar bases de datos de desastres naturales para identificar y evaluar automáticamente daños a partir de fotografías cargadas por
equipos de reconocimiento y voluntarios locales en tiempo real, en lugar de catalogar manualmente las fotografías en las semanas y meses posteriores al evento.
[0121] Las figuras 10F, 10G, 10H, 10I y 10J demuestran cómo puede emplearse una herramienta de aprendizaje automático de este tipo para estructuras para evaluar el rendimiento de una estructura. Las imágenes muestran los resultados de un modelo de aprendizaje automático que se entrenó para identificar deformaciones anormales, bisagras y porciones colapsadas de bóvedas de mampostería que se probaron físicamente en una mesa vibratoria sometida a carga lateral. En las imágenes 1014, 1016, 1018 y 1020, se identificaron deformaciones de bóveda anormales a partir de tomas generales de las muestras de prueba y la mesa vibratoria usando detección de objetos. En las imágenes 1022 y 1024, se identificaron porciones colapsadas de las bóvedas a partir de fotografías de vista lateral de las muestras de ensayo usando detección de objetos. Estas fotografías se recopilaron a partir de vídeos en cámara lenta de 240 fotogramas por segundo (fps) capturados con cámaras instaladas en trípodes junto a la mesa vibratoria. En la imagen 1026, se detectó una bisagra a partir de una fotografía aérea de la muestra de prueba usando detección de objetos. Esta fotografía también se recogió de un vídeo en cámara lenta de 240 fps capturado en una cámara que se colocó sobre la mesa vibratoria.
[0122] Como debería apreciarse, una herramienta de aprendizaje automático para estructuras puede usarse para estructuras in situ o estructuras que se están investigando. Se detecta un comportamiento preciso, inmediato y sensible al tiempo.
[0123] Las figuras 10K, 10L, 10M y 10N ilustran un ejemplo de cómo puede usarse una herramienta de aprendizaje automático para estructuras para monitorizar la salud de una estructura identificando y midiendo cambios a lo largo del tiempo para detectar el deterioro de componentes. En este ejemplo, se supervisan vigas de madera laminada encolada de madera pesada (glulam) para la formación de grietas en un sitio de construcción. La supervisión se realiza durante un largo período de tiempo, desde que se instalan las vigas hasta la operación de construcción, para evaluar cómo se está aclimatando la madera al entorno. Las cámaras réflex digitales de lente única (DSLR) y el equipo auxiliar se alojan dentro de las cajas de cámara instaladas en el edificio. Las cámaras DSLR están programadas para tomar una fotografía de los haces una vez al día usando un disparador remoto temporizado. Esas imágenes se cargan automáticamente en una cuenta en la nube en línea y pueden procesarse usando la herramienta de aprendizaje automático para que las estructuras identifiquen los cheques y calculen sus dimensiones.
[0124] La imagen 1030 muestra una viga de madera laminada con las líneas de cinta que indican las ubicaciones de algunas grietas de madera notables. La imagen 1032 muestra los resultados de un análisis de aprendizaje automático usado para identificar el cheque en una imagen de primer plano y el uso de visión por ordenador clásica en esa región para calcular las dimensiones de los cheques identificados. Las imágenes 1036 y 1038 muestran las cajas de cámara instaladas en el edificio.
[0125] Los diseños de caja de cámara se muestran en la imagen 1040. Las cajas se fabricaron con madera contrachapada. Fueron diseñados para encajar entre y fijarse a viguetas paralelas. Se diseñó una base ajustable para ajustar el ángulo de la cámara para cada ubicación que se esté monitoreando. Se cortó un orificio en la parte frontal de la caja para proporcionar a la lente de la cámara una vista sin obstrucciones de la viga que se está supervisando.
[0126] Algoritmos
[0127] En esta sección se describen con mayor detalle varios de los algoritmos mencionados anteriormente.
[0128] ALGORITMO DE MEDICIÓN 312
[0129] La figura 20A representa un diagrama de flujo 2000 que ilustra las diferentes etapas en un proceso para determinar mediciones a partir de imágenes que han sido analizadas por los modelos de aprendizaje automático de la herramienta. En primer lugar, los resultados del análisis de aprendizaje automático se reciben en la etapa 2004. Si la imagen se analizó usando la detección de objetos 2006, entonces los resultados de detección de objetos se aíslan del resto de la imagen como regiones de interés en la etapa 2008. La segmentación de imagen se realiza a continuación en estas regiones de interés para aislar los píxeles asociados con comprobaciones en la imagen. En la etapa 2010, la región se transforma para aislar parches oscuros en la imagen. A continuación, se obtienen contornos a partir de la imagen transformada en la etapa 2012 y los contornos se superponen sobre la imagen original en la etapa 2014. A continuación, se genera una envolvente convexa sobre los píxeles aislados en la etapa 2016. El casco convexo se crea usando la función minAreaRect en OpenCV. Esta función crea un rectángulo con un área mínima que delimita todos los píxeles, devolviendo la altura de píxel, la anchura de píxel y la rotación del rectángulo dibujado sobre los píxeles. Este proceso puede realizarse en subetapas más pequeñas para determinar con precisión las dimensiones de los objetos que están curvados, doblados, en ángulo, contorneados y similares. El casco convexo puede ajustarse sobre subsegmentos más pequeños de las regiones segmentadas de interés para lograr un ajuste más cercano en el objeto general. En la etapa 2018, la altura de píxel, la anchura de píxel y la rotación del rectángulo o rectángulos delimitadores se reciben desde la función minAreaRect. En la etapa 2020, se reciben las propiedades de cámara, ubicación y/o dimensiones de objeto de referencia y en la etapa 2022 y se usan
para convertir la distancia de píxel a otras unidades. Si el casco convexo se ajustó sobre subsegmentos más pequeños de las regiones segmentadas de interés, las dimensiones determinadas individualmente para cada subsegmento se combinan para determinar las dimensiones generales del objeto. Si la imagen se analizó por los modelos de aprendizaje automático de la herramienta usando la segmentación 2004, entonces los segmentos se agrupan en la etapa 2016 usando un enfoque de vecino más cercano de agrupación, entonces se siguen las etapas 2016 a 2024 como se ha descrito anteriormente.
[0130] Las ecuaciones 1 y 2 a continuación se pueden usar para convertir la altura del objeto en píxeles, h<op>a la altura del objeto en milímetros, h<o>. La ecuación 1 usa la distancia focal de la cámara f (mm), la distancia entre la lente de la cámara y el componente en cuestión re<o>(mm), altura del objeto en cuestión h<op>(píxeles), altura del sensor h<s>(mm) y altura de la imagen h<i>(píxeles). La ecuación 2 usa las dimensiones de un objeto de referencia conocido, h<kp>(píxeles) y h<k>(mm) en el plano del componente en cuestión h<o>(mm) y la medición del objeto h<op>(píxeles).
[0133]
[0135] Si se usan dos cámaras para tomar una fotografía del mismo objeto, su ubicación y propiedades se pueden usar para determinar la distancia del objeto do. En la Ecuación 3, la distancia del objeto do se determina a partir de la distancia entre las dos cámaras B, la resolución de píxeles de imagen x, el ángulo de visión horizontal de las cámaras ϕ y la distancia de píxeles entre el mismo objeto en ambos
[0136] (3) imágenes hola1-hola2. A continuación, las Ecuaciones 1 y 2 pueden usarse para convertir mediciones de píxeles a milímetros como se ha descrito anteriormente.
[0139]
[0141] Para obtener mediciones de objeto en diferentes unidades, las mediciones milimétricas pueden reemplazarse por otras unidades en las ecuaciones anteriores. Las mismas ecuaciones pueden usarse para calcular cualquier medición en el plano del objeto.
[0142] Las figuras 20B a 20F muestran los resultados de las diferentes etapas en el proceso de algoritmo de medición aplicado para medir la dimensión de verificación en vigas de madera laminada encolada (glulam) a partir de imágenes analizadas por la herramienta usando detección de objetos. La imagen 2028 muestra la imagen original antes de que sea analizada por los modelos de aprendizaje automático de la herramienta usando detección de objetos para detectar y localizar comprobaciones en la imagen. Un subsegmento de la región de interés extraído de los resultados de detección de objetos se muestra en la imagen 2030. El subsegmento transformado se muestra en la imagen 2032. El contorno superpuesto sobre la imagen original se muestra en la imagen 2034. El casco convexo y las dimensiones de comprobación determinadas por la herramienta se muestran en la imagen 2036.
[0143] ALGORITMO DE GENERACIÓN DE MODELO DIGITAL 316
[0144] La generación de modelos digitales se refiere a la generación de dibujos y/o modelos digitales en los siguientes formatos: formato gráfico vectorial, cualquier formato de diseño asistido por ordenador (CAD), cualquier modelado tridimensional o programas de software de modelado de información de construcción (BIM), tales como Revit BIM, AutoCAD 3D, Tekla, Rhino o similares.
[0145] Limpieza de imagen (segmentación)
[0146] Antes de generar los elementos de modelo digital, el resultado de imagen segmentada de los modelos de aprendizaje automático de la herramienta puede limpiarse siguiendo el procedimiento descrito en el diagrama de flujo 2100 de la figura 21A. En la etapa 2102, se reciben los resultados del análisis de aprendizaje automático de la herramienta. En la etapa 2104, la imagen de la etapa 2102 se dilata usando la función OpenCV dilatar. Esta función encuentra el valor de píxel máximo en un núcleo centrado en cada píxel. En la etapa 2106, la imagen se erosiona usando la función de OpenCV erosionar. Esta función hace lo contrario de la función de dilatación, calculando el mínimo local sobre el área del núcleo. Ambas funciones juntas en combinación pueden ayudar a reducir el ruido en la imagen y aislar los elementos principales en la imagen. En la etapa 2108, los valores de píxel se redondean a su valor entero más cercano para reducir adicionalmente el ruido en la imagen. En la etapa 2110, se aplican filtros a la imagen obtenida en la etapa 2108. Las funciones de almohada (PIL) MaxFilter y MinFilter se usan para determinar el valor de píxel más grande y más bajo en una ventana de un tamaño dado, respectivamente. Los píxeles en la imagen se convierten a continuación a un formato de canal único de manera que cada píxel tiene un valor que varía
de 0 a 255. En la etapa 2112, todos los píxeles en la imagen obtenida en la etapa 2110 se reasignan en dos valores: 0 o 255 basándose en si el valor de píxel estaba por encima de 200 o no. Esta operación se realiza para eliminar todos los píxeles claros y oscuros intermedios en la imagen y solo retener los valores de píxel extremos. En la etapa 2114, la imagen se convierte al formato rojo verde azul (RGB). En la etapa 2116, la función MaxFilter de PIL puede aplicarse una vez más para diluir píxeles oscuros en la imagen para reducir adicionalmente el ruido y aislar los elementos importantes en la imagen. Las diferentes etapas descritas en este proceso pueden usarse en cualquier orden o combinación. Pueden usarse técnicas similares para limpiar la imagen en lugar de o además de las esbozadas en el diagrama de flujo 2100.
[0147] Las figuras 21B a 21K muestran los resultados de limpiar una imagen de dron analizada por los modelos de aprendizaje automático de la herramienta para identificar tendones postensados usando segmentación. La imagen 2118 muestra la imagen de dron original, mientras que la imagen 2120 muestra resultados del análisis de aprendizaje automático (etapa 2102). La imagen 2122 muestra la dilatación de la imagen después de 4 iteraciones y la imagen 2124 muestra la erosión posterior de la imagen (etapas 2104 y 2106). La imagen 2126 muestra la imagen después del redondeo de los valores de píxel (etapa 2108). La imagen 2128 muestra la imagen después de que se le hayan aplicado los filtros y la imagen 2130 muestra la imagen después de que los píxeles se hayan clasificado en dos grupos (etapas 2110 y 2112). La imagen 2132 muestra la imagen después de que se haya convertido a formato RGB (etapa 2114). La imagen 2136 muestra la imagen 2132 superpuesta sobre la imagen original 2118. La imagen 2134 muestra la imagen después de que se haya aplicado el filtro final (etapa 2116).
[0148] Generación de líneas o polilíneas bidimensionales a partir de imágenes (segmentación)
[0149] La figura 22A representa un diagrama de flujo 2200 que ilustra las diferentes etapas en un proceso para generar líneas vectoriales a partir de imágenes que han sido analizadas por los modelos de aprendizaje automático de la herramienta usando segmentación. En la etapa 2202, se reciben los resultados del análisis de aprendizaje automático de la herramienta y, si es aplicable, los resultados del proceso de limpieza de imagen descrito en el diagrama de flujo 2100. En la etapa 2204, se eliminan los píxeles no asignados a una clase en la imagen obtenida de la etapa 2202. En la etapa 2206, la imagen se esqueletiza usando la función de esqueletización en la biblioteca de Scikit-Image, que reduce la imagen a una representación de un píxel de ancho. En la etapa 2208, la imagen de trama se convierte en una imagen vectorial. En la etapa 2210, las líneas en la imagen vectorial se agrupan dependiendo de su ubicación y orientación. En la etapa 2212, los grupos de líneas se pueden convertir en polilíneas. Estas líneas o polilíneas pueden usarse tal cual por el usuario o importarse por el usuario en el programa de software de dibujo o modelado digital de su elección.
[0150] En la figura 22B, la imagen 2214 muestra la imagen limpia 2134 y la imagen 2216 muestra la versión esqueletizada (etapa 2206).
[0151] Generación de componentes de modelo digital tridimensional a partir de imágenes
[0152] Para generar componentes de modelo digital a partir de imágenes, los resultados de aprendizaje automático se procesan en primer lugar a través del algoritmo de medición siguiendo el proceso descrito en el diagrama de flujo 2000. En lugar de o además de la carcasa convexa en la etapa 2016, puede generarse un contorno de límite de cable (forma de x) alrededor del grupo de píxeles. Estos contornos se pueden usar para calcular las mediciones, así como el centroide y el ángulo de cada forma. Una vez que se han obtenido las mediciones, centroide (ubicación) y ángulo (orientación) para cada objeto de cada clase identificado en la imagen, esta información se usará para generar el componente de modelo correspondiente en el formato de modelo digital apropiado.
[0153] Generación de componentes de modelo digital tridimensional a partir de datos de nube de puntos
[0154] La figura 23A representa un diagrama de flujo 2300 que ilustra cómo puede usarse la herramienta para generar componentes de modelo digital a partir de datos de nube de puntos. En la etapa 2302, se reciben los resultados del análisis de aprendizaje automático que segmenta los datos de nube de puntos en diferentes clases. En la etapa 2304, los puntos segmentados se agrupan usando un enfoque de vecino más cercano de agrupación. En la etapa 2306, se generan secciones para cada agrupación a intervalos establecidos sobre su altura. En la etapa 2308, se genera un contorno de punto en cada sección usando las técnicas de casco convexo y/o forma de x (límite de alambre). En la etapa 2310, el contorno o contornos de forma se usan para calcular el centroide y ángulo de forma. En la etapa 2312, el o los contornos de forma se usan para determinar las dimensiones de la sección. En la etapa 2314, se calcula la altura vertical para cada agrupación. En la etapa 2316, se genera un componente de modelo digital para cada agrupación usando la información de clase de agrupación, centroide (ubicación), ángulo (orientación) y dimensión obtenida anteriormente.
[0155] La figura 23B muestra una imagen 2318 que ilustra cómo se genera un contorno alrededor de una sección de agrupación de puntos.
[0156] ALGORITMO DE COMPARACIÓN 314
[0157] Comparación con el modelo digital
[0159] La comparación con un modelo digital abarca la comparación con dibujos o modelos digitales en los formatos descritos en la sección anterior.
[0161] La figura 24A representa un diagrama de flujo 2400 que ilustra cómo puede usarse la herramienta para comparar los resultados de aprendizaje automático con un modelo digital de la estructura. En la etapa 2402, se establece el enlace al modelo digital y se recibe información de proyecto, tal como ubicación de coordenadas de proyecto y unidades. En la etapa 2404, se recibe la clase para la que se va a realizar la comparación. En la etapa 2406, se recopilan los elementos en el modelo digital que corresponden a la clase de interés. En la etapa 2408, estos elementos se agrupan de acuerdo con la ubicación y la orientación. En la etapa 2410, se reciben los resultados del análisis de aprendizaje automático. Si los resultados se obtuvieron a través de técnicas de detección de objetos 2412, entonces cada elemento de modelo digital se perfila con un cuadro delimitador en la etapa 2414. En la etapa 2416, se calculan los desplazamientos entre el cuadro delimitador de modelo digital y el cuadro delimitador obtenidos a través de aprendizaje automático. Si los resultados del análisis de aprendizaje de máquina se obtuvieron a través de la segmentación semántica 2418, entonces en la etapa 2420, se generan líneas, polilíneas o componentes de modelo digital siguiendo el procedimiento descrito en el diagrama de flujo 2300. En la etapa 2422, se generan puntos de control para los elementos de modelo digital recopilados en la etapa 2406. En la etapa 2424, se genera un plano normalizado en cada punto de control. En la etapa 2426, se calculan los desplazamientos entre los elementos de modelo digital y los elementos generados a partir de los resultados de análisis de aprendizaje de máquina.
[0163] La figura 24B es una imagen 2428 que muestra un ejemplo de la distancia de desplazamiento entre una placa de incrustación de un modelo digital y una detectada a través del análisis de aprendizaje automático de la herramienta usando detección de objetos. La figura 24C es una imagen 2430 que muestra un ejemplo de planos normalizados en cada punto de control generado en la etapa 2424 para tendones postensados. La figura 24D es una imagen 432 que muestra la distancia de desplazamiento en los puntos de control entre el modelo digital y las líneas generadas a partir de los resultados de aprendizaje automático. En la figura 24E, la imagen 2434 muestra un ejemplo de cómo pueden visualizarse los resultados del algoritmo de comparación para tendones postensados en los que los desplazamientos calculados en cada punto de control se indican en una vista en planta que muestra el modelo digital y los resultados de aprendizaje automático.
[0165] Referencias
[0167] Lo siguiente constituye una lista no exhaustiva de recursos de terceros de código abierto que se emplearon en el desarrollo de la herramienta de aprendizaje automático para estructuras:
[0169] ● You Only Look Once (YOLO): YOLO es una red de aprendizaje automático de la licencia MIT de código abierto. Esta red se usó para entrenar modelos de clasificación a nivel de imagen en el desarrollo de la herramienta de aprendizaje automático actualmente desvelada para estructuras. Véase, https://pjreddie.com/darknet/yolo/. ● Tensorflow: Tensorflow es el marco de código abierto de Google para el aprendizaje automático, que es el marco de aprendizaje automático empleado en el desarrollo de la herramienta de aprendizaje automático divulgada actualmente para estructuras. Tensorflow está disponible bajo la licencia de código abierto Apache 2.0. Ver, https://www.tensorflow.org.
[0170] ● Tensorflow Object Detection API: La API de detección de objetos de Tensorflow es un marco de código abierto creado sobre TensorFlow para construir, entrenar e implementar modelos de detección de objetos. Se usó para entrenar modelos de detección de objetos en el desarrollo de la herramienta de aprendizaje automático divulgada actualmente para estructuras y está disponible bajo la licencia Apache 2.0. Consulte https://github.com/tensorflow/models/tree/master/research/object_detection.
[0171] ● Faster Region-Convolutional Neural Network (R-CNN): Faster R-CNN es una red de aprendizaje automático que está disponible bajo la licencia MIT de código abierto. Esta red, inicializada con los pesos previamente entrenados del conjunto de datos de COCO de MS, se usó para entrenar modelos de detección de objetos en el desarrollo de la herramienta de aprendizaje de máquina actualmente desvelada para estructuras. Ver, https://github.com/ShaoqingRen/faster_rcnn y https://github.com/rbgirshick/py-faster-rcnn.
[0172] ● DeepLabV2: DeepLabV2 es una red neuronal profunda para segmentación semántica que está disponible bajo la licencia MIT de código abierto. Esta red se usó para entrenar modelos de segmentación semántica en el desarrollo de la herramienta de aprendizaje de máquina actualmente divulgada para estructuras. Véase, https://github.com/tensorflow/models/tree/master/research/deeplab.
[0173] ● ResNet101: ResNet101 es una red neuronal residual que se entrena en más de un millón de imágenes de la base de datos ImageNet y está disponible bajo la licencia MIT de código abierto. Esta red se usó para entrenar tanto la detección de objetos como los modelos de aprendizaje automático de segmentación semántica en el desarrollo de la herramienta de aprendizaje automático actualmente divulgada para estructuras. Véase, https://github.com/KaimingHe/deep-residual-networks.
[0174] ● PointNet y PointNet++: PointNet y PointNet + son redes neuronales para datos de nubes de puntos que están disponibles bajo la licencia MIT de código abierto. Estas redes se usaron para entrenar modelos de aprendizaje
automático directamente en datos de nube de puntos en el desarrollo de la herramienta de aprendizaje automático divulgada actualmente para estructuras. Consulte https://github.com/charlesq34/pointnet y https://github.com/charlesq34/pointnet2.
[0175] ● Common Objects in Context (COCO) dataset: El conjunto de datos de COCO es un conjunto de datos de detección, segmentación y subtitulado de objetos a gran escala. Algunas de las redes neuronales se inicializaron con las ponderaciones previamente entrenadas del conjunto de datos de COCO en el desarrollo de la herramienta de aprendizaje automático para estructuras divulgada actualmente. El conjunto de datos de COCO está disponible bajo la licencia Creative Commons Attribution 4.0. Véase, http://cocodataset.org.
[0176] ● Google’s Optical Character Recognition (OCR): El OCR de Google es una herramienta para detectar texto dentro de imágenes, que se usó para extraer texto de dibujos en el desarrollo de la herramienta de aprendizaje automático divulgada actualmente para estructuras. El OCR de Google está disponible bajo la licencia de código abierto Apache 2.0. Véase https://cloud.google.com/vision/docs/ocr.
[0177] ● CloudCompare: CloudCompare es una aplicación de software para el procesamiento de modelos de malla triangular y nube de puntos 3D, que se empleó en algunos casos para procesar los datos de nube de puntos y prepararlos para el análisis de aprendizaje automático en el desarrollo de la herramienta de aprendizaje automático actualmente divulgada para estructuras. CloudCompare está disponible bajo la Licencia Pública General de Biblioteca GNU, versión 2.0. Véase, cloudcompare.org.
[0178] ● Revit BIM es una aplicación de modelado de información de construcción disponible de Advenser LLC en los Estados Unidos y Advenser Engineering Services PvT, Ltd. en India. Ver, www.revit-modeling.com.
[0179] ● Open Source Computer Vision Library (OpenCV): OpenCV es una biblioteca de software de aprendizaje automático y visión por ordenador de código abierto disponible bajo la licencia de distribución de software de Berkeley (BSD). Véase, opencv.org.
[0180] ● Pillow (PIL): Pillow es una bifurcación de PIL con licencia de software de PIL de código abierto. Fue desarrollado por Alex Clark y colaboradores. Véase, https://pillow.readthedocs.io/en/stable.
[0181] ● Scikit-image: Scikit-image es una biblioteca de procesamiento de imágenes de código abierto para el lenguaje de programación Python disponible bajo la licencia de Distribución de Software de Berkeley (BSD). Véase, https://scikit-image.org.
[0182] ● Python: Python es un lenguaje de programación de código abierto disponible bajo la licencia de Python. Véase, python.org.
[0183] ● NumPy: NumPy es un paquete de Python de código abierto para computación científica disponible bajo la licencia NumPy. Véase, www.numpy.org.
[0185] Obsérvese que los modelos de aprendizaje automático pueden actualizarse con marcos y redes neuronales nuevos y mejorados a medida que se crean. También se pueden incorporar nuevas técnicas de aprendizaje automático a medida que se crean. Por lo tanto, pueden emplearse recursos de terceros de código abierto adicionales diferentes de los enumerados anteriormente en el desarrollo de la herramienta de aprendizaje de máquina actualmente desvelada para estructuras.
Claims (9)
1. REIVINDICACIONES
1. Un método implementado por ordenador para detectar al menos uno de un estado, rendimiento o daño de uno o más componentes de una estructura física, comprendiendo el método:
recibir datos que incluyen al menos uno de una imagen o datos de nube de puntos, identificando los datos una o más estructuras, componentes de las mismas, o ambos;
procesar los datos con uno o más modelos de aprendizaje automático previamente entrenados para obtener un resultado de aprendizaje automático asociado con al menos uno de:
a) evaluar el rendimiento de una estructura a partir de una imagen de la estructura o datos de nube de puntos que caracterizan la estructura;
b) evaluar el daño en uno o más componentes de la estructura a partir de la imagen o los datos de nube de puntos;
c) monitorizar el estado del uno o más componentes de la estructura a partir de la imagen o datos de nube de puntos;
procesar el resultado de aprendizaje automático con uno o más algoritmos de posprocesamiento, en donde los uno o más algoritmos de posprocesamiento comprenden al menos uno de: un algoritmo de cantidad, un algoritmo de medición, un algoritmo de comparación y un algoritmo de generación de modelo digital;
en donde, el algoritmo de cantidad suma un número de instancias de elementos en una o más clases identificadas por los uno o más de los modelos de aprendizaje automático para proporcionar un recuento total de las instancias identificadas de los elementos para cada clase de los elementos;
en donde el procesamiento con el algoritmo de medición comprende las etapas de:
a) usar visión por ordenador, detectar bordes en regiones identificadas por los uno o más modelos de aprendizaje automático; y
b) calcular la distancia de píxel dentro de esas regiones y convertir la distancia de píxel a otra unidad de distancia especificada por el usuario basándose en propiedades de una cámara y su relación espacial a la estructura;
en donde el procesamiento con el algoritmo de comparación comprende las etapas de:
a) comparar información extraída del uno o más modelos de aprendizaje automático con un punto de referencia:
i) introducido por el usuario,
ii) en forma de datos extraídos de uno o más componentes de dibujo obtenidos automáticamente a través del análisis de aprendizaje automático de dibujos físicos, o
iii) en forma de elementos de modelo digital correspondientes a una clase obtenida automáticamente a partir de un dibujo digital o un modelo digital de la estructura, e
b) informar de cualquier desviación entre la información extraída del uno o más modelos de aprendizaje automático y el punto de referencia de acuerdo con las tolerancias introducidas por el usuario; y
en donde el procesamiento con el algoritmo de generación de modelo digital comprende usar los resultados del uno o más modelos de aprendizaje automático para generar dibujos digitales bidimensionales o un modelo digital tridimensional de elementos identificados por los uno o más modelos de aprendizaje automático, agrupando píxeles o puntos para cada clase de elementos identificados de una o más clases, y convertirlos en líneas bidimensionales o componentes tridimensionales, en donde las líneas se crean reduciendo los grupos de píxeles o puntos a líneas o polilíneas que atraviesan un centro de ese píxel o grupo de puntos, en donde, los componentes tridimensionales convertidos se crean determinando los límites externos del píxel o grupo de puntos identificado por aprendizaje automático, determinando sus dimensiones, ubicación y orientación, y generando el componente tridimensional apropiado basándose en la clase, información de ubicación, orientación y dimensión.
2. El método de la reivindicación 1, en donde los uno o más modelos de aprendizaje automático están entrenados previamente para procesar los datos para identificar los componentes de la estructura y evaluar el daño en la estructura.
3. El método de cualquier reivindicación anterior, en donde los componentes de la estructura incluyen componentes estructurales y componentes no estructurales.
4. El método de cualquier reivindicación anterior, que comprende el algoritmo de medición.
5. El método de cualquier reivindicación anterior, que comprende el algoritmo de comparación.
6. El método de cualquier reivindicación anterior, que comprende el algoritmo de generación de modelo digital.
7. El método de cualquier reivindicación anterior, que comprende además identificar daño específico e incorporar el daño específico en un plan de resiliencia más amplio para diversas condiciones considerando como mínimo estructuras individuales, hasta un máximo de todas las estructuras en ciudades, condados y similares.
8. El método de cualquier reivindicación anterior, que comprende además:
solicitar a un usuario a través de una interfaz de usuario que seleccione un análisis de aprendizaje automático y un formato de datos;
recibir los datos del usuario y almacenar los datos en una base de datos,
solicitar al usuario que seleccione a partir de los uno o más modelos de aprendizaje automático;
invocar cada modelo de aprendizaje automático seleccionado y procesar los datos usando el modelo de aprendizaje automático invocado y generar el resultado de aprendizaje automático;
solicitar al usuario que seleccione uno o más de los algoritmos de posprocesamiento; e
invocar cada algoritmo de posprocesamiento seleccionado y procesar el resultado de aprendizaje automático con los uno o más algoritmos de posprocesamiento seleccionados.
9. Un sistema informático para detectar al menos uno de un estado, rendimiento o daño de uno o más componentes de una estructura física, comprendiendo el sistema:
uno o más procesadores de datos y memoria;
una interfaz de usuario a través de la que se puede emitir información a un usuario y a través de la cual el usuario puede introducir información y datos, identificando los datos una o más estructuras, componentes de las mismas, o ambos;
una base de datos en la que se almacenan los datos;
un sistema de gestión de base de datos que se comunica con la base de datos para almacenar y recuperar los datos en y desde la base de datos; e
instrucciones ejecutables de procesador de datos no transitorias almacenadas en la memoria, que, cuando son ejecutadas por los uno o más procesadores de datos, hacen que el sistema realice el método de cualquiera de las reivindicaciones 1 a 8.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962812029P | 2019-02-28 | 2019-02-28 | |
| PCT/US2020/018770 WO2020176304A1 (en) | 2019-02-28 | 2020-02-19 | Machine learning tool for structures |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES3067342T3 true ES3067342T3 (en) | 2026-05-21 |
Family
ID=69811965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES20711463T Active ES3067342T3 (en) | 2019-02-28 | 2020-02-19 | Machine learning tool for structures |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11341627B2 (es) |
| EP (1) | EP3931768B1 (es) |
| JP (1) | JP7352632B2 (es) |
| CN (1) | CN113424206B (es) |
| CA (1) | CA3125524A1 (es) |
| ES (1) | ES3067342T3 (es) |
| WO (1) | WO2020176304A1 (es) |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018125928A1 (en) | 2016-12-29 | 2018-07-05 | DeepScale, Inc. | Multi-channel sensor simulation for autonomous control systems |
| WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
| US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US12307350B2 (en) | 2018-01-04 | 2025-05-20 | Tesla, Inc. | Systems and methods for hardware-based pooling |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| WO2020077117A1 (en) | 2018-10-11 | 2020-04-16 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
| US11586918B2 (en) * | 2019-06-06 | 2023-02-21 | Bluebeam, Inc. | Methods and systems for automatically detecting design elements in a two-dimensional design document |
| US11904417B2 (en) * | 2019-10-15 | 2024-02-20 | International Business Machines Corporation | Automated material welding |
| EP4116931B1 (en) * | 2020-03-02 | 2026-07-08 | FUJIFILM Corporation | Image processing device, image processing method, and image processing program |
| US12125137B2 (en) * | 2020-05-13 | 2024-10-22 | Electronic Caregiver, Inc. | Room labeling drawing interface for activity tracking and detection |
| US11461292B2 (en) * | 2020-07-01 | 2022-10-04 | International Business Machines Corporation | Quick data exploration |
| US11657373B2 (en) * | 2020-08-21 | 2023-05-23 | Accenture Global Solutions Limited | System and method for identifying structural asset features and damage |
| US11625141B2 (en) * | 2020-09-22 | 2023-04-11 | Servicenow, Inc. | User interface generation with machine learning |
| WO2022070491A1 (ja) * | 2020-09-29 | 2022-04-07 | 株式会社島津製作所 | 画像解析装置 |
| CN112326552B (zh) * | 2020-10-21 | 2021-09-07 | 山东大学 | 基于视觉和力觉感知的隧道掉块病害检测方法和系统 |
| CN112580574A (zh) * | 2020-12-28 | 2021-03-30 | 北京翰立教育科技有限公司 | 一种基于识别手写文字的智能学习方法及装置 |
| CN113160112B (zh) * | 2020-12-30 | 2024-02-02 | 苏州特文思达科技有限公司 | 基于机器学习的钢格板产品智能识别检测方法 |
| US12254429B2 (en) * | 2021-05-28 | 2025-03-18 | Doxel, Inc. | Generating status of construction site based on hierarchical modeling that standardizes physical relationships of elements of a structure |
| EP4348575A4 (en) * | 2021-05-31 | 2025-04-23 | Abyss Solutions Pty Ltd | Method and system for detecting coating degradation |
| CN113533369B (zh) * | 2021-06-21 | 2024-05-17 | 国网山东省电力公司鱼台县供电公司 | 一种输电线路巡检装置 |
| US12462575B2 (en) | 2021-08-19 | 2025-11-04 | Tesla, Inc. | Vision-based machine learning model for autonomous driving with adjustable virtual camera |
| WO2023023265A1 (en) | 2021-08-19 | 2023-02-23 | Tesla, Inc. | Vision-based system training with simulated content |
| JP7687932B2 (ja) * | 2021-10-12 | 2025-06-03 | 富士フイルム株式会社 | 点検支援装置、点検支援方法、及びプログラム |
| US12374032B2 (en) | 2021-10-14 | 2025-07-29 | Outward, Inc. | Interactive image generation |
| KR102934240B1 (ko) | 2021-11-04 | 2026-03-05 | 주식회사 딥인스펙션 | 설명가능 인공지능 기반 댐시설물 결함 검출, 정량화, 캡셔닝, 도면화, 상태평가 보고서 자동 작성을 위한 SaaS 플랫폼 장치 |
| CN113780900B (zh) * | 2021-11-09 | 2022-04-12 | 深圳市裕展精密科技有限公司 | 基于边缘计算的焊接检测系统及方法 |
| US12079982B2 (en) * | 2021-11-17 | 2024-09-03 | Yahoo Ad Tech Llc | Object defect detection |
| CN114359542A (zh) * | 2021-11-26 | 2022-04-15 | 广州大学 | 基于计算机视觉与深度学习的混凝土结构裂缝识别方法 |
| CN116523059B (zh) * | 2022-01-24 | 2026-04-10 | 本源量子计算科技(合肥)股份有限公司 | 数据处理方法、机器学习框架及相关设备 |
| CN114445845B (zh) * | 2021-12-31 | 2025-10-03 | 万翼科技有限公司 | 图纸中构件的识别方法、装置、电子设备和存储介质 |
| CN114863018B (zh) * | 2022-04-28 | 2024-06-25 | 北京石油化工学院 | 一种基于rgb-d深度图像的焊缝三维重建方法 |
| US12623691B2 (en) | 2022-05-20 | 2026-05-12 | Tesla, Inc. | Fail-safe corrective actions based on vision information for autonomous vehicles |
| US11710306B1 (en) * | 2022-06-24 | 2023-07-25 | Blackshark.Ai Gmbh | Machine learning inference user interface |
| US12205363B2 (en) * | 2022-08-04 | 2025-01-21 | Rockwell Automation Technologies, Inc. | Computer vision model drawing interface |
| WO2024054815A1 (en) * | 2022-09-06 | 2024-03-14 | University Of Georgia Research Foundation, Inc. | Pavement management system using satellite data and machine learning |
| CN116086759B (zh) * | 2023-02-06 | 2025-08-05 | 中国航空工业集团公司沈阳空气动力研究所 | 一种风洞试验模型更换状态的纠错方法 |
| WO2024241324A1 (en) | 2023-05-24 | 2024-11-28 | Scintium Ltd | Method for training an artificial intelligence (ai) model and generating a 3d computer-aided design (cad) and system therefor |
| EP4485306A1 (de) * | 2023-06-28 | 2025-01-01 | Hilti Aktiengesellschaft | System und verfahren zur bestimmung eines schutzelements |
| KR102834111B1 (ko) * | 2023-10-27 | 2025-07-15 | 에스티건설 주식회사 | 구조물 외관 조사 시스템 및 이를 이용한 구조물 외관 조사 방법 |
| US20250181321A1 (en) * | 2023-12-04 | 2025-06-05 | The Toronto-Dominion Bank | Design-based intelligent engine |
| US20250259380A1 (en) * | 2024-02-13 | 2025-08-14 | Microsoft Technology Licensing, Llc | System for optimizing sensor settings in a multi-camera environment based on foundation models and historical data |
| US12663854B2 (en) * | 2024-09-16 | 2026-06-23 | Dell Products L.P. | Artificial emotional intelligence for influencing information handling system (IHS) performance |
| US20260086039A1 (en) * | 2024-09-23 | 2026-03-26 | Government Of The United States As Represented By The Secretary Of The Air Force | System and method of geometrical information analysis for explainable damage assessment |
| KR102902446B1 (ko) * | 2025-04-10 | 2025-12-26 | (주)브리콘랩 | 모바일 LiDAR 기반 포인트 밀도 분석을 이용한 실제 시공 철근 모델링 서버 및 방법 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040054568A1 (en) | 2002-07-01 | 2004-03-18 | Bradley Gary J. | Automated construction project estimator tool |
| US7587061B1 (en) | 2002-12-23 | 2009-09-08 | Pacenti James R | Symbol recognition system software and method |
| JP2004362333A (ja) | 2003-06-05 | 2004-12-24 | Mitsubishi Electric Corp | 写真計測システム及び写真計測方法 |
| US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
| US9582932B2 (en) * | 2012-06-05 | 2017-02-28 | Apple Inc. | Identifying and parameterizing roof types in map data |
| US9230339B2 (en) * | 2013-01-07 | 2016-01-05 | Wexenergy Innovations Llc | System and method of measuring distances related to an object |
| JP6032812B2 (ja) | 2013-02-19 | 2016-11-30 | Kddi株式会社 | 検査補助装置 |
| US9041914B2 (en) * | 2013-03-15 | 2015-05-26 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
| US9082015B2 (en) | 2013-03-15 | 2015-07-14 | State Farm Mutual Automobile Insurance Company | Automatic building assessment |
| JP5867432B2 (ja) * | 2013-03-22 | 2016-02-24 | ソニー株式会社 | 情報処理装置、記録媒体および情報処理システム |
| AU2013388670B2 (en) * | 2013-05-01 | 2018-03-08 | Commonwealth Scientific And Industrial Research Organisation | Determining a health condition of a structure |
| US10861224B2 (en) | 2013-07-23 | 2020-12-08 | Hover Inc. | 3D building analyzer |
| US20150186953A1 (en) | 2013-09-27 | 2015-07-02 | John Nicholas And Kristin Gross Trust U/A/D April 13, 2010 | Automated Tool for Property Assessment, Prospecting, and Targeted Marketing |
| CN103605970A (zh) | 2013-12-02 | 2014-02-26 | 华中师范大学 | 一种基于机器学习的图纸建筑元素识别方法及系统 |
| US20150161331A1 (en) * | 2013-12-04 | 2015-06-11 | Mark Oleynik | Computational medical treatment plan method and system with mass medical analysis |
| JP6310288B2 (ja) * | 2014-03-20 | 2018-04-11 | 日本ユニシス株式会社 | 画像処理装置および3次元物体トラッキング方法 |
| US10029422B2 (en) * | 2014-10-07 | 2018-07-24 | Voxel Llc | Three-dimensional modelling and/or manufacturing apparatus, and related processes |
| GB2537681B (en) * | 2015-04-24 | 2018-04-25 | Univ Oxford Innovation Ltd | A method of detecting objects within a 3D environment |
| US12602661B2 (en) * | 2015-11-30 | 2026-04-14 | FAMA Technologies, Inc. | System for searching and correlating online activity with individual classification factors |
| US9846915B2 (en) | 2016-03-17 | 2017-12-19 | Conduent Business Services, Llc | Image capture system for property damage assessment |
| US10511676B2 (en) | 2016-03-17 | 2019-12-17 | Conduent Business Services, Llc | Image analysis system for property damage assessment and verification |
| CN106204723B (zh) * | 2016-06-28 | 2019-01-11 | 浙江大学 | 一种面向三维服装模拟的纸样缝合信息自动设置方法 |
| US11461690B2 (en) * | 2016-07-18 | 2022-10-04 | Nantomics, Llc | Distributed machine learning systems, apparatus, and methods |
| US20180082414A1 (en) | 2016-09-21 | 2018-03-22 | Astralink Ltd. | Methods Circuits Assemblies Devices Systems Platforms and Functionally Associated Machine Executable Code for Computer Vision Assisted Construction Site Inspection |
| GB2554361B8 (en) * | 2016-09-21 | 2022-07-06 | Emergent Network Intelligence Ltd | Automatic image based object damage assessment |
| WO2018058044A1 (en) | 2016-09-23 | 2018-03-29 | Aon Benfield Inc. | Platform, systems, and methods for identifying property characteristics and property feature maintenance through aerial imagery analysis |
| KR20180047232A (ko) * | 2016-10-31 | 2018-05-10 | 삼성에스디에스 주식회사 | 실시간 영상 스트리밍의 네트워크 패킷의 패턴 분석 기반 영상 분석 방법 및 그 장치 |
| US10726558B2 (en) * | 2017-02-27 | 2020-07-28 | Dolphin AI, Inc. | Machine learning-based image recognition of weather damage |
| EP3596449A4 (en) | 2017-03-14 | 2021-01-06 | University of Manitoba | DETECTION OF STRUCTURAL DEFECTS USING MACHINE LEARNING ALGORITHMS |
| US10796394B2 (en) * | 2017-05-16 | 2020-10-06 | One Concern, Inc. | Estimation of damage prevention with building retrofit |
| JP7113657B2 (ja) | 2017-05-22 | 2022-08-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US20180373931A1 (en) * | 2017-06-21 | 2018-12-27 | Panton, Inc. | Image recognition system for roof damage detection and management |
| CN108974044A (zh) * | 2018-08-09 | 2018-12-11 | 铁路愿景欧洲有限公司 | 铁路轨道资产勘测系统 |
| US10769429B2 (en) * | 2018-08-31 | 2020-09-08 | Wipro Limited | Method and system for extracting text from an engineering drawing |
-
2020
- 2020-02-19 CN CN202080011231.6A patent/CN113424206B/zh active Active
- 2020-02-19 US US16/794,871 patent/US11341627B2/en active Active
- 2020-02-19 CA CA3125524A patent/CA3125524A1/en active Pending
- 2020-02-19 WO PCT/US2020/018770 patent/WO2020176304A1/en not_active Ceased
- 2020-02-19 ES ES20711463T patent/ES3067342T3/es active Active
- 2020-02-19 JP JP2021534601A patent/JP7352632B2/ja active Active
- 2020-02-19 EP EP20711463.8A patent/EP3931768B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3931768B1 (en) | 2026-03-18 |
| CN113424206B (zh) | 2024-05-24 |
| JP7352632B2 (ja) | 2023-09-28 |
| US20200279364A1 (en) | 2020-09-03 |
| CN113424206A (zh) | 2021-09-21 |
| JP2022522257A (ja) | 2022-04-15 |
| CA3125524A1 (en) | 2020-09-03 |
| EP3931768A1 (en) | 2022-01-05 |
| US11341627B2 (en) | 2022-05-24 |
| WO2020176304A1 (en) | 2020-09-03 |