CN108475427B - 对象扫描能力的实时检测 - Google Patents

对象扫描能力的实时检测 Download PDF

Info

Publication number
CN108475427B
CN108475427B CN201780004765.4A CN201780004765A CN108475427B CN 108475427 B CN108475427 B CN 108475427B CN 201780004765 A CN201780004765 A CN 201780004765A CN 108475427 B CN108475427 B CN 108475427B
Authority
CN
China
Prior art keywords
scan
new
data
scan data
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780004765.4A
Other languages
English (en)
Other versions
CN108475427A (zh
Inventor
M·A·西马瑞
V·白亚
L·梁
S·斯塔取涅克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108475427A publication Critical patent/CN108475427A/zh
Application granted granted Critical
Publication of CN108475427B publication Critical patent/CN108475427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

公开了用于确定和警告用户关于在扫描数据的后处理之前对象将是否成功扫描的系统和方法。在各实施例中，在扫描数据的后处理开始之前，扫描数据由机器学习算法处理，该算法能够确定扫描数据是否和/或有多大可能返回所扫描对象的准确扫描再现。机器学习算法还可建议在扫描更有可能成功的环境中对象的新位置。

Description

对象扫描能力的实时检测
背景
三维(3D)扫描技术使用图像采集设备对真实世界的对象进行扫描，并在显示器上再现该对象或利用3D打印技术将该对象再现为真实世界的对象副本。对象扫描广泛采用的一个关键障碍是，在通过当前技术扫描时，仍有许多对象不能产生准确的再现。特定对象在被扫描时可能无法准确再现存在各种各样的原因，例如，包括高光、反射率、表面纹理、表面凹凸等。
使这个问题更加复杂的事实是，当目标对象无法被扫描时，常规扫描仪不会警告用户。由于不知道某个对象是否“可扫描”，用户通常在扫描过程中投入大量时间，最终将会失败。扫描数据的后处理可花费多达一到两个小时才能返回所扫描的副本，直到后处理步骤完成，用户才被告知它将不会成功。
概述
本技术的各实施例涉及确定和警告用户关于在扫描数据的后处理之前对象将是否成功扫描的方法。在各实施例中，在扫描数据的后处理开始之前，扫描数据由机器学习算法(此处称为扫描能力算法)处理，该算法能够确定扫描数据是否和/或有多大可能返回所扫描对象的准确扫描再现。扫描能力算法也可建议在扫描更有可能成功的环境中对象的新位置。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图简述
图1是根据本技术的各实施例的解说扫描能力算法的学习模式的流程图。
图2是用户从第一视角扫描对象的透视图。
图3是用户从第二视角扫描图2的对象的透视图。
图4是用户从第一视角扫描对象的透视图。
图5是用户从第二视角扫描图4的对象的透视图。
图6是根据本技术的一实施例在机器学习神经网络中实现的扫描能力模型的图解。
图7是提供用于训练扫描能力模型的步骤208的进一步细节的流程图。
图8是用于预测所扫描设备的成功或失败的本技术的扫描能力模型的操作框图。
图9是用于预测所扫描对象的成功或失败的本技术的操作流程图。
图10是示出图9的步骤232的附加细节的流程图。
图11-14是包括弹出菜单的头戴式显示器的图解，该弹出菜单具有关于该扫描将成功还是不成功的预测。
图15是用于实现本技术的各个方面的解说性计算系统的框图。
详细描述
现在将参照这些附图来描述本技术的各实施例，这些附图一般涉及实时确定给定对象在所扫描数据的后处理之前是否将会在给定环境中成功扫描的方法。在各实施例中，在所扫描数据的后处理开始之前，所扫描数据由机器学习扫描能力模型处理，该模型能够确定扫描数据是否和/或有多大可能返回所扫描对象的准确扫描再现。
在各实施例中，扫描能力模型是从机器学习算法中发展出来的，该模型可以被训练来识别可能导致成功扫描比对不成功扫描的扫描数据。在对象被一个或多个图像传感器扫描的情况下，可以执行大量的学习试验，并且扫描数据流被输入到机器学习算法中。将给定试验中的机器学习算法的输出与来自扫描数据的后处理的实际输出进行比对，并由此，机器学习算法可以基于与各自相应的输出的任何偏离来被更新或完善。
一般来说，扫描能力算法可以通过执行大量的学习试验来发展模型以提高其预测的准确性，通过这些学习试验来训练扫描能力模型以做出准确的预测。在各实施例中，对于扫描能力模型而言可以有一千到十万的学习试验，但是在进一步的各实施例中，学习试验的数目可少于一千和超过十万。此后，扫描能力算法可以被终端用户用于执行扫描。使用经完善的扫描能力模型，扫描能力算法可以在扫描数据的后处理之前向用户告知对象扫描的可能结果。
在各实施例中，除了向用户通知扫描将很有可能不成功外，扫描能力算法还可以建议在扫描更有可能成功的环境中对象的新位置。在各实施例中，新示例数据可以从由扫描能力算法生成的现有捕捉中合成，以生成替代位置的建议。例如，在对象的扫描期间，可以定义在扫描发生的位置处的体积。该体积(例如在深度数据中示出)可以随后被合成地重新注入到其他表面上，以尝试并确定它是否可能在环境的其他部分扫描得更好。
此外，如下文所解释，当由预测成功或不成功扫描的实际实例的终端用户使用时，由扫描能力算法建立的扫描能力模型可以持续学习并基于关于模型的准确性的反馈进行更新。
图1的流程图示出了本技术的机器学习扫描能力算法可如何生成扫描能力模型的实施例。在步骤200中，扫描能力算法接收来自第一学习试验的扫描数据。扫描数据可以包括通过一个或多个图像传感器从不同视角捕捉对象和周围环境的图像而生成的数据流。在各实施例中，图像传感器可以包括生成深度数据流的深度相机、生成RGB数据流的RGB相机和/或生成红外(IR)数据流的IR相机。在任何给定试验中，扫描数据可以由来自这些数据流中的一个或多个的图像数据组成。其他图像传感器也可以或者替换地可以被使用。如下所解释的那样，姿态数据可以被用作扫描将成功还是不成功的指示符。
在下面描述的各实施例中，扫描数据是从用于呈现增强现实体验的头戴式显示设备的一个或多个图像传感器生成的3D扫描数据。头戴式显示设备的图像传感器的操作的细节对于本技术是不重要的，除了它们能够使用例如深度相机、RGB相机和/或IR相机从不同的视角捕捉对象的图像的事实。然而，例如在2013年12月5日公布的题为“位置相对全息相互作用”的美国专利公开No.2013/0326364提供了对头戴式显示设备及其图像传感器的描述。
可理解，本技术并不限于头戴式显示设备，也不限于从特定图像传感器接收扫描数据。本技术可以使用各式各样不同的图像传感器从各式各样的扫描设备接收扫描数据。可能发生的是，扫描设备使用深度相机、RGB相机和IR传感器中的每一者，在这种情况下，这些数据流的每一个可被提供给扫描能力算法用于进行分析。
然而，扫描设备也可采用少于所有这三个图像传感器。本技术的一特征在于，扫描能力算法和经完善的模型可以与来自一个或多个图像传感器的数据流一起操作，而无需具有关于哪些图像传感器在提供数据流的信息。具体而言，如下所述，接收到的数据流被输入到人工神经网络机器学习算法。该算法在一个或多个数据流(例如由深度数据、RGB数据、IR数据和/或姿态数据组成)被接收时执行学习试验。该算法接受训练以标识在给定实例中一个或多个输入数据流将很有可能产生成功扫描还是不成功扫描。
步骤200中接收的数据流是基于扫描设备从各种不同视角捕捉真实世界3D对象。例如，图2和3解说了佩戴头戴式显示设备100的用户的示例，该头戴式显示设备100用于从环境104内的不同视角扫描对象102，环境104具有对象102位于其上的表面106。在各实施例中，被扫描的环境104可以是直接附属于对象的区域。因此，在图2和3中，环境104可以完全由表面106组成。
头戴式显示设备100可以包括一个或多个图像传感器，例如包括深度传感器、RGB相机和/或IR传感器，这些图像传感器从对象102和环境104捕捉图像数据。然后，扫描数据可以由与头戴式显示设备100相关联的处理单元108内执行的扫描能力算法处理。在替换实施例中，还可能将扫描数据上传到云中的一个或多个远程服务器，并且随后在云中运行扫描能力算法。这例如在扫描设备没有足够的计算能力或特殊计算硬件来高效运行该算法时可能有用。图2和3示出了用户从两个不同的视角捕捉对象102，但可以理解，用户可以在对象周围移动并从几个更多的视角捕捉对象。
图4和5解说了用户使用包括一个或多个图像传感器的手持计算设备110来捕捉一环境内的对象102的扫描数据，该一个或多个图像传感器包括例如深度传感器、RGB相机和/或IR传感器。然后可以在计算设备110内或与计算设备110相关联并执行扫描能力算法的处理单元内处理所扫描数据。计算设备110可以是例如笔记本电脑、平板电脑、智能手机或与扫描设备相关的图像扫描仪。再一次，图4和5示出了用户从两个不同视角捕捉对象102，但可以理解，用户可以在对象周围移动并从几个更多的视角捕捉对象。
对象102可能已经从充足数目的不同视角被成像，使得来自对象所有可见表面的图像数据被接收。在这个实例中，学习算法将确定是否可以在扫描中成功地重新创建对象的所有可见表面，如以下所解释的。但是，应理解，在扫描设备仅从有限的视角扫描了3D对象(例如，对象的前半部分)的情况下，学习算法将确定对象的前半部分(或从所扫描视角可用的任何视图)是否可以在扫描中成功地被重新创建。
取决于扫描中所使用的扫描设备和(诸)图像传感器，扫描数据将包括与捕捉对象的属性和对象在其中被捕捉的环境有关的各式各样的信息。例如，扫描数据可以包括与对象的以下属性相关的数据：
高光、或镜面反射——在图像传感器中接收到的从所扫描对象的光滑表面以平行射线反射的光，可使得难以确定表面的性质；
漫反射——在传感器中接收到的从所扫描对象的粗糙表面漫反射的光，可使得难以确定表面的性质；
透明度——穿过所扫描对象表面的光，可使得难以确定表面的性质；
纹理——与所扫描对象的表面的均匀性、粗糙度、波纹度等有关的对象的拓扑特性，可使得更容易或更难确定所扫描表面的性质；
凹面——包括凹面的表面可能难以准确扫描；
对称——关于一个或多个平面对称的对象可能更难以准确扫描；
局部线索——没有局部线索的对象(诸如，不同的线、点或其他不连续)可能更难以准确扫描。
以上并不是旨在全面列出特定图像传感器可捕捉的属性，而且应理解，作为上面列出的属性的补充或替代，还可以从对象的所扫描数据中收集到各种其他属性。
以上属性的每一个都可影响对象是否可以成功地被扫描。然而，如下面所解释的，扫描能力算法的各实施例能够发展模型，其考虑到这些对象属性、而不必个体地量化或分类扫描数据内的这些属性。
除了对象的属性外，(诸)图像传感器可以捕捉与对象处于其中或其上的环境有关的数据。环境(包括对象处于其上的表面)可能具有以上针对对象描述的相同类型的属性。附加环境属性可以是亮度；即，环境中的自然或人造光量。过高的亮度可能会导致对象或对象所处表面的高镜面或漫反射，并使其难以准确扫描对象。反之，过低的亮度可使得难以准确地检测对象表面。再次，如下面所解释的，扫描能力算法的各实施例能够发展模型，其考虑到这些环境属性、而不必个体地量化或分类扫描数据内的这些属性。
一旦步骤200中已经接收到了一个或多个扫描数据流，就可以在步骤202中执行扫描数据的后处理。所扫描数据的后处理是指对图像数据的处理，以生成对象的扫描再现。正如背景部分所指出的，后处理步骤可能很费时。然而，在学习试验期间，后处理被执行以确定具有一个或多个数据流的给定集合是否会实际上导致对象的成功扫描。
在步骤204中，运行一个或多个质量度量算法，以确定扫描是否成功或扫描有多成功。质量度量算法可以测量扫描再现的不同特性，并产生藉以判断给定试验中扫描再现的成功或失败的定量或定性输出。质量度量可以是通过/不合格率或浮动制数值，其中例如低数字代表准确和成功再现，并且高数字代表不准确的失败复制。在各实施例中，质量度量算法可以被编程为对扫描再现中的某些再现特性相比其他再现特性进行估值。在质量度量算法中哪些再现特性相比其他特性更突出可在不同实施例中有所不同，至少部分地取决于质量度量算法的管理员认为什么特性重要。
在步骤206中，针对每个学习试验中的一个或多个输入数据流将由一个或多个质量度量算法确定的(诸)质量度量指派为地面真值(ground truth)、或“目标输出”以用于训练机器学习算法，如下所述。
在步骤208中，使用该一个或多个输入数据流和目标输出来训练扫描能力算法并发展完成的扫描能力模型。现在参照图6的示图和图7的流程图来解释步骤208的进一步细节。
通常，扫描能力算法采用人工神经网络(ANN)120，其符号图解如图6所示。ANN 120由数个神经元或节点122(其中之一被编号)组成，这数个神经元或节点彼此交换信息，如由箭头连接器130(其中之一被编号)指示的。节点122可被组织在包括输入层124、隐藏层126和输出层128的层中。在各实施例中，扫描能力算法可以在ANN 120中采用比图6所示的多得多的层。每个连接器130可以被指派一数字权重。通过学习试验，与每个连接器相关联的数字权重可以如下所解释地完善，直到ANN 120发展成能针对具有一个或多个扫描输入数据流的给定集合准确地预测满意扫描或不满意扫描的结果的扫描能力模型。
现在参考图7的流程图，在步骤218中，将一个或多个输入数据流输入到ANN 120的输入层124。例如，图6示出了深度数据输入流、RGB数据输入流和IR数据输入流。然而，如上所述，在进一步的实施例中，提供给输入层124的数据流可少于三个，并且可能会有附加和/或替换类型的数据流提供给输入层124。作为一个进一步示例，姿态数据也可以用作ANN120的输入层124的输入数据流。具体而言，当姿态数据抖动或高速移动时，这可以被用作趋向于显示较差结果的输入。
在步骤220中，一个或多个输入数据流可以跨节点122和各层传播到输出层的节点122。对每个节点122的输入可以如传统人工神经网络已知的来处理，并且每个节点的输出沿连接器130传递到下一层，乘以连接器的数字权重。第一次通过ANN 120，数字权重可被随机或任意选择，因为它们将随着学习试验进行调整。一个或多个输入数据流的前向传播的结果将是或成功扫描或不成功扫描的计算输出。
在步骤222中，扫描能力算法检查结果是否正确。也就是说，它将具有一个或多个数据流的给定集合的计算输出与如以上描述的步骤204中通过对一个或多个数据流的后处理确定的目标输出进行比对。后处理步骤的目标输出可被提供给扫描能力算法，以供在步骤222中由管理员通过与执行扫描能力算法的计算设备相关联的用户界面来使用。
在对于给定试验，计算结果与步骤222中的目标结果相匹配的情况下，扫描能力算法确定了正确的结果，并且该算法可以继续进行下一次学习试验。另一方面，在对于给定的试验，计算结果与步骤222中的目标结果不匹配的情况下，扫描能力算法确定了不正确的结果。在这种情况下，可以在步骤226中按已知方式例如使用反向传播方法调整一个或多个连接器的数字权重。其他已知的调整连接器权重的方法可以在进一步的实施例中使用。然后该算法可以继续进行下一次学习试验。
再一次参照图1，一旦已经针对给定试验使用数据训练了扫描能力模型，该算法在步骤210中检查是否有附加试验。在各实施例中，这可以是预定数量的试验。在进一步实施例中，学习试验可以继续进行，直到ANN 120的权重已经被完善到一点，在该点，ANN 120正在某一预定百分比的试验中返回以上成功或不成功扫描的正确预测。例如，该百分比可以在95％至100％之间，虽然在进一步实施例中它可包括更低的百分比。
在学习试验和调谐ANN 120的权重完成之后，具有经完善权重的ANN 120可以作为扫描能力模型152被发布(图8)以供终端用户用于预测对象扫描的结果。如由终端用户执行扫描所使用的扫描能力模型152的实现的示例现在将参照图9的流程图来解释。
一旦用户使用例如任何上述扫描设备来扫描对象，扫描能力模型152可以在步骤230中接收扫描数据150。在步骤232中，使用扫描能力模型152，算法可以确定是否将从扫描数据产生准确(成功)扫描。现在将参考附图10的流程图描述步骤232的进一步细节。
在步骤260中，扫描数据中的一个或多个数据流可被提供给扫描能力模型152的ANN 120的输入层。模型152的ANN 120按照以上描述来操作以预测结果。然而，由于权重的值现在可能被完善，所以权重的反向传播调谐步骤被省略。
在各实施例中，输入数据流通过扫描能力模型的各层的前向传播可强烈指向扫描的成功或失败。扫描能力模型的计算输出指向成功扫描/失败扫描的一者或另一者的强度可被量化成步骤264中的置信值。在步骤268中，扫描能力模型152可以从计算输出返回成功或不成功扫描的预测，以及表示计算输出的置信度的置信值。在进一步实施例中，步骤264中置信值的计算可被跳过。
返回到流程图9，在步骤236中，如果扫描能力模型预测成功的扫描，则可以在步骤238中将预测传递给用户，并且可在步骤240中对扫描数据执行后处理。
图11和12示出了头戴式显示器100，包括要扫描的对象102。成功扫描的预测可以例如通过在用户视野中出现弹出显示窗口160来传递给用户。在图11中，预测被传递，而在图12中，预测和预测的置信度被传递。在进一步实施例中，预测和/或置信度可以各式各样的其他方式(包括使用音频)传递给用户。
将扫描数据后处理成所扫描对象的再现可以由各式各样后处理算法中的任何一种来执行。如上所述，本技术并不涉及后处理算法的有效性。本技术的扫描能力模型可以被包括为后处理算法的一部分，或反之。在进一步实施例中，扫描能力模型可以与后处理算法分开。
在扫描完成时，用户可以具有在步骤242中关于预测的准确性提供反馈的能力。例如，如果精确的扫描被预测到，但实际上扫描结果并不准确，则用户可以通过用户界面提供反馈，用户界面反馈可被用于在步骤246中更新和进一步训练扫描能力模型中的数字权重。
另一方面，如果扫描能力模型在步骤236中预测到失败扫描，则该模型可以在步骤248中将此预测传递给用户，如图13和14所示。在对扫描数据执行后处理以生成所扫描对象的再现可花费很长时间(例如1到2小时的数量级上)时，根据本技术的各个方面关于成功或失败的扫描的预测可以实时地确定；也就是说，由执行扫描能力模型的处理器在例如几毫秒内几乎立即确定。因此，关于对象的扫描将会成功还是不成功的预测可以在扫描数据的后处理开始之前被提供。在进一步实施例中，关于对象的扫描将会成功还是不成功的预测可以正好在扫描数据的后处理开始之后且在扫描数据的后处理完成很久之前被提供。
在接收到步骤236和248中的失败扫描的预测之际，用户可以在步骤252中止扫描数据的后处理，并从而节省相当大量的原本浪费的时间。当然，在收到失败扫描的预测之际，用户可以选择无论如何继续进行扫描，并且可以跳过步骤252。
根据本技术的进一步方面，在接收到失败扫描的指示之际，扫描能力模型可以在步骤254中向用户建议可修改扫描从而将导致成功扫描的方式。例如，如果一部分环境内的光过多，可能会使扫描困难。作为进一步示例，在对象的属性(反射率、透明度等)与其上支撑对象的表面的属性过于相似的情况下，这可能会使对象的扫描变得困难。
根据该实施例，扫描能力模型152可以在一个或多个输入数据流(独立于ANN 120)中检测这些属性。因此，例如，在模型检测到高度的亮度(诸如举例而言对象在直射阳光下)的情况下，模型可以向用户建议将对象移到具有较小亮度的环境区域。作为进一步示例，在对象的属性与对象所位于的表面过于相似时，模型可建议用户将对象移动到不同的表面。还构想了其他示例。
图13和14示出了头戴式显示器100，包括要扫描的对象102。不成功扫描的预测可以例如通过在用户视野中出现弹出显示窗口160来传递给用户。在图13中，预测被传递，并且在图14中，预测结果与如何重新定位对象以导致更好的扫描的建议一起被传递。在进一步实施例中，预测和/或建议可按各式各样的其他方式(包括使用音频)被传递给用户。
下面描述的图15阐明了一种计算设备，包括用于执行扫描能力算法的处理器和用于存储无能力模型的存储器。在一个实施例中，在扫描能力模型的发展和训练中的学习试验期间，扫描能力算法可以在管理该扫描能力算法的实体的控制下在一个或多个服务器上运行。一旦学习试验已完成，就可将扫描能力算法和扫描能力模型分发给客户端计算设备(包括头戴式显示设备或其他计算设备)以便在扫描对象时接收预测。在这样的实施例中，当成功扫描预测的反馈被提供时(步骤242，图9)，反馈将从客户端设备上传到中央服务器。中央服务器可以进而更新扫描能力模型，并且然后使用扫描能力算法将更新后的扫描能力模型分发给各客户端设备。
在进一步实施例中，可以实现扫描能力算法而无需在管理实体的控制下在一个或多个服务器上执行学习试验。在这样的实施例中，学习试验可实际上被众包给在其各自客户端设备上的个体用户。每一这样的使用都可导致预测，并且用户可以提供对那些预测的反馈。那个反馈可以从客户端设备上传到中央服务器。中央服务器可以进而更新扫描能力模型，并且然后将更新后的扫描能力模型分发给相应的客户端设备以用于该扫描能力模型的继续使用、训练和发展。
图15解说了了用于执行扫描能力算法和用于存储上述扫描能力模型的计算系统300。计算系统环境300是合适的计算环境的一个示例，而非旨在暗示对本系统的使用或功能性的范围的任何限制。也不应该将计算系统300解释为对示例性计算系统300中解说的任一组件或组件组合有任何依赖性或要求。
本系统与众多其他通用或专用计算系统、环境或配置一起操作。可适于在本系统中使用的众所周知的计算系统、环境和/或配置的示例包括、但不限于，个人计算机、服务器计算机、多处理器系统、基于微处理器的系统、网络PC、微型计算机、手持计算设备、大型计算机以及包含以上系统或设备中的任一者的其它分布式计算环境等。在用于实现本系统的计算系统的分布式和并行处理群集中，任务由通过通信网络链接的远程处理设备执行。在这样的分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质两者中。
参考图15，用于执行上述方法的示例性计算系统300包括通用计算设备。计算系统300的各组件可包括但不限于：处理单元304、系统存储器316，以及将包括系统存储器在内的各种系统组件耦合到处理单元304的系统总线321。系统总线321可以是若干类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线和使用各种总线架构中的任一种的局部总线。作为示例而非限制，这样的架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线和外围部件互连(PCI)总线(也称为夹层(Mezzanine)总线)。
系统存储器316包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)331和随机存取存储器(RAM)332。基本输入/输出系统(BIOS)333(包含有助于诸如在启动期间在计算系统300内元件之间传递信息的基本例程)通常被存储在ROM 331中。RAM 332通常包含处理单元304可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图15解说了操作系统306、应用程序310、其他程序模块336、以及程序数据337。
计算系统300还可包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图15解说了对不可移动、非易失性磁介质进行读写的硬盘驱动器341，对可移动、非易失性磁盘352进行读写的磁盘驱动器351，以及对诸如CD-ROM或其它光学介质等可移动、非易失性光盘356进行读写的光盘驱动器355。可在该示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、DVD、数字录像带、固态RAM、固态ROM等等。硬盘驱动器341通常通过诸如接口340之类的不可移动存储器接口连接到系统总线321，并且磁盘驱动器351和光盘驱动器355通常通过诸如接口350之类的可移动存储器接口连接到系统总线321。在本文档的上下文中，计算机可读存储介质可以是可包含或存储供指令执行系统、装置或设备使用或者结合其使用的程序的任何有形介质。计算机可读存储介质不包括瞬态、经调制或其他类型的信号。
上文讨论并在图15中解说的驱动器及其相关联的计算机存储介质为计算系统300提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图15中，硬盘驱动器341被解说为存储操作系统344、应用程序345、其他程序模块346、以及程序数据347。这些组件可以与操作系统306、应用程序310、其他程序模块336、以及程序数据337相同，也可以不同。在此操作系统344、应用程序345、其他程序模块346以及程序数据347被给予了不同的编号，以至少说明它们是不同的副本。
用户可以通过输入设备(诸如键盘362和定点设备361(通常称为鼠标、跟踪球或触摸垫))向计算系统300输入命令和信息。其他输入设备(未示出)可被包括在内。这些及其他输入设备常常通过耦合到系统总线321的用户输入接口360连接到处理单元304，但是，也可以通过其他接口和总线结构(诸如并行端口、游戏端口、通用串行总线(USB))来连接。监视器391或其他类型的显示设备也经由诸如视频接口390之类的接口连接至系统总线321。除了监视器391以外，计算机还可包括诸如扬声器397和打印机396之类的其他外围输出设备，它们可通过输出外围接口395来连接。
如上面所指示的，计算系统300可使用至群集中的一个或多个远程计算机(诸如远程计算机380)的逻辑连接在联网环境下操作。远程计算机380可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，且通常包括上文相对于计算系统300描述的许多或所有元件，尽管在图15中只示出存储器存储设备381。图15中所描绘的逻辑连接包括局域网(LAN)371和广域网(WAN)373，但是还可以包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和互联网中是常见的。
当在LAN联网环境中使用时，计算系统300通过网络接口或适配器318连接到LAN371。当在WAN联网环境中使用时，计算系统300通常包括调制解调器372或用于通过诸如因特网之类的WAN 373建立通信的其他手段。调制解调器372可以是内置的或外置的，可经由用户输入接口360或其他适当的机制连接到系统总线321。在联网环境中，相关于计算系统300所描绘的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图15解说了驻留在存储器设备381上的远程应用程序385。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
总之，本技术的各实施例涉及一种方法，包括：(a)接收来自在多个试验中对一个或多个对象的多个扫描中的扫描数据；(b)以下操作之一：确定或接收多个试验中关于所述扫描数据导致所述多个试验中一个或多个对象的成功还是失败的扫描的目标输出；关于所述扫描数据导致所述多个试验中一个或多个对象的成功还是失败的扫描来使用算法处理所述多个试验中的所述扫描数据以确定所述多个试验中计算出的输出；以及(d)在计算出的输出与同一扫描数据的目标输出不同的情况下在所述多个试验上完善所述算法，以改善计算出的输出与目标输出之间的对应关系，所述算法能操作用于预测在所述多个试验完成之际执行的对象扫描的成功或失败。
在进一步实施例中，本技术涉及一种计算设备，包括：包括一个或多个图像传感器的一个或多个扫描仪，所述一个或多个图像传感器能操作用于在数个试验中扫描来自多个对象的图像数据；以及处理器，其能操作用于：在所述数个试验的每一个试验中，从所述一个或多个图像传感器接收扫描数据；以及生成使得能够实时预测在所述数个试验完成之际执行的对象扫描的成功或失败的模型，所述模型使用所述数个试验中来自所述一个或多个图像传感器的所述扫描数据来训练。
在其他实施例中，本技术涉及一种用于存储计算机指令的计算机可读介质，所述指令用于提供关于对象扫描是否将成功的反馈，其中所述计算机指令由一个或多个处理器执行以执行以下步骤：(a)接收来自所述对象的扫描数据，所述扫描数据包括一个或多个数据流；以及(b)基于所述扫描数据的一个或多个数据流来预测所述对象的扫描将成功还是不成功，所述预测步骤是对在所述扫描数据进行后处理以获得所扫描对象的再现完成之前发生。
尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于以上所描述的具体特征或动作。更确切而言，以上所描述的具体特征和动作是作为实现权利要求的示例形式公开的。本发明的范围由所附的权利要求进行定义。

Claims (14)

1.一种计算机实现的方法，包括：
接收来自在多个试验中对对象的扫描中的3D的扫描数据；
对所述扫描数据进行后处理以基于所述扫描数据生成所述对象的扫描再现；
使用所述对象的所述扫描再现来确定所述多个试验中关于所述扫描数据的所述后处理是否能够返回所述多个试验中所述对象的准确扫描再现的目标输出；
在所述多个试验上训练机器学习算法，以改善针对所述扫描数据的所述目标输出与机器学习算法所计算出的输出之间的对应关系，所述机器学习算法能操作用于，在新对象的新扫描完成之际且在后处理所述新扫描产生的新扫描数据之前，预测所述新扫描数据是否能返回所述新对象的准确的扫描再现；
将所述机器学习算法应用于所述新对象的所述新扫描以确定所述新对象的所述新扫描数据是否能返回所述新对象的准确的扫描再现；以及
响应于在所述新扫描数据的所述后处理之前确定所述新扫描不可能返回所述新对象的所述准确的扫描再现，至少部分基于所述新扫描数据中包括的扫描环境属性来建议所述新对象的替代位置。
2.如权利要求1所述的方法，其特征在于，进一步包括接收关于对所述新对象的所述新扫描应用所述机器学习算法的输出的反馈，以及基于所述反馈来更新所述机器学习算法。
3.如权利要求1所述的方法，其特征在于，在所述多个试验上训练所述机器学习算法包括：完善所述机器学习算法所使用的数字权重以改善所述目标输出与所计算出的输出之间的所述对应关系。
4.如权利要求1所述的方法，其特征在于，所述机器学习算法能操作用于在新对象的新扫描完成之际且在后处理所述新扫描产生的新扫描数据之前，实时预测所述新扫描数据是否能返回所述新对象的准确的扫描再现。
5.一种计算设备，包括：
包括一个或多个图像传感器的一个或多个扫描仪，所述一个或多个图像传感器能操作用于从多个试验中的对象的扫描中产生3D的扫描数据；以及
处理器，所述处理器能操作用于：
从所述一个或多个图像传感器接收扫描数据；对所述扫描数据进行后处理以基于所述扫描数据生成所述对象的扫描再现；
使用所述对象的所述扫描再现来确定所述多个试验中关于所述扫描数据的所述后处理是否能够返回所述对象的准确扫描再现的目标输出；
在所述多个试验上训练机器学习算法，以改善针对所述扫描数据的所述目标输出与机器学习算法所计算出的输出之间的对应关系，所述机器学习算法能操作用于，在新对象的新扫描完成之际且在后处理所述新扫描产生的新扫描数据之前，预测所述新扫描数据是否能返回所述新对象的准确的扫描再现；
将所述机器学习算法应用于所述新对象的所述新扫描以确定所述新对象的所述新扫描数据是否能返回所述新对象的准确的扫描再现；以及
响应于在所述新扫描数据的所述后处理之前确定所述新扫描不可能返回所述新对象的所述准确的扫描再现，至少部分基于所述新扫描数据中包括的扫描环境属性来建议所述新对象的替代位置。
6.如权利要求5所述的计算设备，其特征在于，所述处理器进一步能操作用于：基于来自该试验中所述一个或多个图像传感器的所述扫描数据和该试验中的所述目标输出从训练中生成模型。
7.如权利要求5所述的计算设备，其特征在于，所述处理器进一步能操作用于：在所述数个试验中的每一个试验中执行后处理操作，以达到关于针对每个试验所接收到的所述扫描数据是否成功地产生对象的再现的数个目标输出，每个试验中有一个目标输出。
8.如权利要求7所述的计算设备，其特征在于，所述处理器进一步能操作用于基于来自每个试验中所述一个或多个图像传感器的所述扫描数据和每个试验中的所述目标输出从训练中生成模型。
9.如权利要求8所述的计算设备，其特征在于，所述处理器进一步能操作用于：在每个试验中通过所述模型处理所述扫描数据以确定每个试验中的计算出的输出，以及基于所述计算出的输出与所述目标输出之间的相似性或相异性来调谐所述模型。
10.如权利要求8所述的计算设备，其特征在于，所述处理器实现包括数字权重的人工神经网络，所述数字权重是基于每个试验中的所述计算出的输出与所述目标输出之间的相似性或相异性而在所述数个试验中完善的。
11.如权利要求5所述的计算设备，其特征在于，进一步包括接收关于对所述新对象的所述新扫描应用所述机器学习算法的输出的反馈，以及基于所述反馈来更新所述机器学习算法。
12.如权利要求5所述的计算设备，其特征在于，所述计算设备与提供增强现实体验的头戴式显示设备相关联地使用。
13.一种用于存储计算机指令的计算机可读介质，所述指令在由计算机执行时执行权利要求1所述的方法。
14.如权利要求13所述的计算机可读介质，其特征在于，所述扫描数据包括一个或多个数据流，所述一个或多个数据流由深度数据、RGB数据、红外数据和姿态数据的一个或多个组成。
CN201780004765.4A 2016-02-18 2017-02-09 对象扫描能力的实时检测 Active CN108475427B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/047,030 US10282614B2 (en) 2016-02-18 2016-02-18 Real-time detection of object scanability
US15/047,030 2016-02-18
PCT/US2017/017088 WO2017142772A1 (en) 2016-02-18 2017-02-09 Real-time detection of object scanability

Publications (2)

Publication Number Publication Date
CN108475427A CN108475427A (zh) 2018-08-31
CN108475427B true CN108475427B (zh) 2022-06-03

Family

ID=58266713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004765.4A Active CN108475427B (zh) 2016-02-18 2017-02-09 对象扫描能力的实时检测

Country Status (4)

Country Link
US (1) US10282614B2 (zh)
EP (1) EP3417424B1 (zh)
CN (1) CN108475427B (zh)
WO (1) WO2017142772A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
US10282614B2 (en) * 2016-02-18 2019-05-07 Microsoft Technology Licensing, Llc Real-time detection of object scanability
US10558857B2 (en) * 2018-03-05 2020-02-11 A9.Com, Inc. Visual feedback of process state
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
US11803664B2 (en) * 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
US11734767B1 (en) 2020-02-28 2023-08-22 State Farm Mutual Automobile Insurance Company Systems and methods for light detection and ranging (lidar) based generation of a homeowners insurance quote
US11508138B1 (en) 2020-04-27 2022-11-22 State Farm Mutual Automobile Insurance Company Systems and methods for a 3D home model for visualizing proposed changes to home

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104226988A (zh) * 2014-08-25 2014-12-24 深圳光韵达光电科技股份有限公司 一种大尺寸零部件的3d打印制造方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835902A (en) * 1994-11-02 1998-11-10 Jannarone; Robert J. Concurrent learning and performance information processing system
US6484048B1 (en) 1998-10-21 2002-11-19 Kabushiki Kaisha Toshiba Real-time interactive three-dimensional locating and displaying system
US6246504B1 (en) * 1999-06-30 2001-06-12 The Regents Of The University Of Caifornia Apparatus and method for optical raster-scanning in a micromechanical system
US7248387B2 (en) 2001-07-31 2007-07-24 Umax Data Systems, Inc. Scanning speed control device and method
DE10207568A1 (de) 2002-02-22 2003-09-11 Wincor Nixdorf Int Gmbh Selbstbedienungs-Warenerfassungsplatz
DE60330276D1 (de) * 2003-04-25 2010-01-07 Fujitsu Ltd Fingerabdruckvergleichseinrichtung, fingerabdruckvergleichsverfahren und fingerabdruckvergleichsprogramm
US7305120B2 (en) 2005-04-28 2007-12-04 Benq Corporation Optimized method of scanning and measuring a three-dimensional object
US8035637B2 (en) * 2006-01-20 2011-10-11 3M Innovative Properties Company Three-dimensional scan recovery
US20070297560A1 (en) 2006-03-03 2007-12-27 Telesecurity Sciences, Inc. Method and system for electronic unpacking of baggage and cargo
CN100444201C (zh) * 2006-08-14 2008-12-17 东南大学 三维扫描系统中点云拼接用标志点匹配方法
US8462355B2 (en) 2008-01-17 2013-06-11 The Salk Institute For Biological Studies 3D scanning acousto-optic microscope
EP2283377A1 (en) * 2008-04-17 2011-02-16 The Government of the United States of America as represented by The Secretary of the Department of Health and Human Services Movement correction in mri using a camera
US8384947B2 (en) 2008-11-17 2013-02-26 Image Trends, Inc. Handheld scanner and system comprising same
JP4807406B2 (ja) 2008-12-16 2011-11-02 ブラザー工業株式会社 画像読取装置
US8279418B2 (en) * 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US20120092724A1 (en) * 2010-08-18 2012-04-19 Pettis Nathaniel B Networked three-dimensional printing
WO2013086543A2 (en) 2011-12-09 2013-06-13 Microsoft Corporation Ambient light alert for an image sensor
US20130208091A1 (en) 2012-02-14 2013-08-15 Microsoft Corporation Ambient light alert for an image sensor
US9569655B2 (en) 2012-04-25 2017-02-14 Jack Harper Digital voting logic for manufacturable finger asperity wafer-scale solid state palm print scan devices
US9135496B2 (en) 2012-05-18 2015-09-15 Apple Inc. Efficient texture comparison
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US10674135B2 (en) * 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
JP5775864B2 (ja) 2012-12-12 2015-09-09 京セラドキュメントソリューションズ株式会社 スキャナー装置及び画像形成装置
US9196084B2 (en) 2013-03-15 2015-11-24 Urc Ventures Inc. Determining object volume from mobile device images
US9453904B2 (en) * 2013-07-18 2016-09-27 Golba Llc Hybrid multi-camera based positioning
US9855698B2 (en) * 2013-08-07 2018-01-02 Massachusetts Institute Of Technology Automatic process control of additive manufacturing device
WO2015101545A1 (en) * 2014-01-06 2015-07-09 Koninklijke Philips N.V. Deployment modelling
US20150243035A1 (en) * 2014-02-21 2015-08-27 Metaio Gmbh Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
US10484561B2 (en) 2014-05-12 2019-11-19 Ml Netherlands C.V. Method and apparatus for scanning and printing a 3D object
US9762791B2 (en) * 2014-11-07 2017-09-12 Intel Corporation Production of face images having preferred perspective angles
US10310922B2 (en) * 2015-04-13 2019-06-04 University Of Southern California Systems and methods for predicting and improving scanning geometric accuracy for 3D scanners
CN204604922U (zh) * 2015-05-06 2015-09-02 泉州美时美刻电子科技有限公司 一种3d打印的数据采集装置
US9773302B2 (en) * 2015-10-08 2017-09-26 Hewlett-Packard Development Company, L.P. Three-dimensional object model tagging
US10282614B2 (en) * 2016-02-18 2019-05-07 Microsoft Technology Licensing, Llc Real-time detection of object scanability
US20210375398A1 (en) * 2020-05-29 2021-12-02 Illumina, Inc. Machine Learning-Based Analysis of Process Indicators to Predict Sample Reevaluation Success

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104226988A (zh) * 2014-08-25 2014-12-24 深圳光韵达光电科技股份有限公司 一种大尺寸零部件的3d打印制造方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Estimation of the CoM and CoP using a 3D body scanning systems: Validation with force plate: A case study;D. Borzelli等;《2016 IEEE International Symposium on Medical Measurements and Applications (MeMeA)》;20160808;第1-6页 *
基于神经网络和遗传算法的三维打印工艺参数优化;李淑娟;《机械科学与技术》;20141115;第33卷(第11期);第1688-1693页 *
没模型哪来3D打印 3D扫描仪不完全盘点;宋达希;《https://3dp.zol.com.cn/427/4274668_all.html》;20140113;第1页 *

Also Published As

Publication number Publication date
EP3417424A1 (en) 2018-12-26
CN108475427A (zh) 2018-08-31
US20170243064A1 (en) 2017-08-24
US10282614B2 (en) 2019-05-07
WO2017142772A1 (en) 2017-08-24
EP3417424B1 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
CN108475427B (zh) 对象扫描能力的实时检测
RU2770752C1 (ru) Способ и устройство для обучения модели распознавания лица и устройство для определения ключевой точки лица
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
US10964060B2 (en) Neural network-based camera calibration
AU2017248506B2 (en) Implementation of an advanced image formation process as a network layer and its applications
US11257298B2 (en) Reconstructing three-dimensional scenes in a target coordinate system from multiple views
US9646410B2 (en) Mixed three dimensional scene reconstruction from plural surface models
Le et al. Interactive boundary prediction for object selection
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
CN111260754B (zh) 人脸图像编辑方法、装置和存储介质
CN114925748B (zh) 模型训练及模态信息的预测方法、相关装置、设备、介质
US11688109B2 (en) Generating differentiable procedural materials
JP2019091436A (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
US11403491B2 (en) Object recognition from images using cad models as prior
US11663761B2 (en) Hand-drawn diagram recognition using visual arrow-relation detection
CN118302111A (zh) 用于皮肤处理的身体部位测量的方法和系统
KR102481583B1 (ko) 인공지능을 이용한 크라우드 아웃소싱 완료 데이터로 검수 기준 데이터를 형성하는 방법 및 그 장치
KR20210024871A (ko) 기계학습 모델 관리 시스템과 방법 및 영상 분석 장치
US20240127153A1 (en) Systems and methods for automated risk assessment in machine learning
CN117745786B (zh) 基于三维点云数据的道路裂缝深度检测装置及检测方法
JP7387703B2 (ja) 広告動画の注視領域を予測する装置、方法およびプログラム
CN116708995B (zh) 摄影构图方法、装置及摄影设备
KR20240018150A (ko) 영상 잡음 제거 방법 및 장치
Chen Deep Learning for Printed Image Quality
CN116777544A (zh) 商品特征处理方法、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant