CN108286945B - 基于视觉反馈的三维扫描系统和方法 - Google Patents

基于视觉反馈的三维扫描系统和方法 Download PDF

Info

Publication number
CN108286945B
CN108286945B CN201810083121.5A CN201810083121A CN108286945B CN 108286945 B CN108286945 B CN 108286945B CN 201810083121 A CN201810083121 A CN 201810083121A CN 108286945 B CN108286945 B CN 108286945B
Authority
CN
China
Prior art keywords
real time
rendering
picture
user
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810083121.5A
Other languages
English (en)
Other versions
CN108286945A (zh
Inventor
李新福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Kang Yun Technologies Ltd
Original Assignee
Guangdong Kang Yun Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Kang Yun Technologies Ltd filed Critical Guangdong Kang Yun Technologies Ltd
Publication of CN108286945A publication Critical patent/CN108286945A/zh
Application granted granted Critical
Publication of CN108286945B publication Critical patent/CN108286945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于视觉反馈的三维扫描系统和方法，系统包括：一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；深度传感器，用于创建对象的点云；反馈模块，用于实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；处理器，用于通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像。本发明能实时生成三维扫描图像和在本地对对象进行实时渲染操作，实时性好；通过在扫描和渲染过程中提供实时的视频反馈内容，方便了用户对扫描和渲染过程进行实时监视或检查，确保了扫描图像的质量，更加可靠和方便。本发明可广泛应用于成像和扫描技术领域。

Description

基于视觉反馈的三维扫描系统和方法
技术领域
本发明涉及成像和扫描技术领域，尤其是一种基于视觉反馈的三维扫描系统和方法。
背景技术
三维扫描仪是一种科学仪器，用来侦测并分析环境或现实世界中物体的形状(几何构造，如高度、长度、宽度等)与外观数据(如颜色、表面反照率等性质)。三维扫描仪搜集到的数据常被用来进行三维重建计算，在虚拟世界中创建实际物体的三维数字模型。通常，三维激光扫描仪会创建物体表面的点云数据。此外，在三维扫描过程中，三维扫描仪会捕捉实体对象的实际大小和形状数据并将其以三维数字的形式进行存储。以三维数字的形式存储的数据可以用于进一步的计算。三维激光扫描仪通过在整个视场内发射激光束来测量水平角度。无论何时激光束照射到反射表面，其都会反射回三维激光扫描仪的方向。以TOF三维激光扫描仪例，其以点云形式提供扫描物体表面的三维数据的工作原理为：根据内部精密的测量系统提供发射出去的激光光束的水平方向角度和垂直方向角度；由脉冲激光发射到反射被接收的时间计算得到仪器到物体扫描点的距离值；根据提供的扫描反射接收的激光强度，对物体扫描点进行颜色灰度的匹配。
然而，目前的三维扫描仪或三维扫描系统仍存在不少缺点或局限性。例如，其需要用户拍摄大量的图片才能进行360度漫游，导致三维扫描仪也需要花费更多的时间来拍摄图像或拍摄照片。而对越多数量的图片(或图像)进行组合或拼接，所需要花费的拼接时间也越多。类似地，处理更多数量的图片(或图像)，所需的处理时间也会增加。而由于图片数量变多，三维扫描仪或系统最终的扫描图片大小会增加，导致可能需要占用更多的存储空间。此外，目前的三维扫描仪只能相用户展示最终的扫描结果，不能向用户展示扫描的中间过程，无法对扫描的过程进行监视或查看，不够方便。另外，目前的三维扫描仪不支持点云和摄像机拍摄照片的实时合并操作，不能进行实时生成三维扫描图像，也不支持本地对对象进行实时渲染操作。
发明内容
为解决上述技术问题，本发明的第一目的在于：提供一种基于视觉反馈的三维扫描系统和方法，以为用户实时提供关于对象扫描过程和渲染过程的视觉反馈内容，并能进行实时合并和在本地进行实时渲染。用户可以根据该视觉反馈内容进行监视/检查并根据需要进行修改，以提升扫描的质量。
本发明的第二目的在于：提供一种基于视觉反馈的三维扫描系统和方法，以为用户实时提供关于对象扫描过程和渲染过程的视觉反馈内容，并能进行实时合并和在云网络进行渲染。用户可以根据该视觉反馈内容进行监视/检查并根据需要进行修改，以提升扫描的质量。
本发明所采取的第一技术方案是：
基于视觉反馈的三维扫描系统，包括：
一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；
深度传感器，用于创建对象的点云；
反馈模块，用于实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；
处理器，用于通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量，此时相应的反馈内容会被实时地发送到反馈模块以展示给用户。
进一步，所述深度传感器包括RGB-D摄像机、TOF摄像机、测距摄像机和闪光激光雷达中的至少一个。
进一步，所述用户提供的输入包括对象渲染的一个或多个属性信息。
进一步，所述一个或多个摄像机根据激光中心坐标和摄像机第一次拍摄的第一张照片的相对宽度逐张地捕捉后续所述一张或多张照片，所述激光中心坐标根据摄像机第一次拍摄的第一张照片来确定。
进一步，还包括激光，所述激光用于通过转向绿色来指示所述拍摄对象的至少一张照片的精确位置。
本发明所采取的第二技术方案是：
基于视觉反馈的三维扫描系统，包括扫描仪和基于云网络的处理器，其中，所述扫描仪包括：
深度传感器，用于创建对象的点云；
一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；
第一反馈模块，用于实时在显示模块上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；
所述基于云网络的处理器，用于依次执行以下操作：
接收来自扫描仪的点云和至少一张照片；
将视觉反馈内容实时发送给第二反馈模块以展示给用户；
通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量；
将对象的扫描图像发送给扫描仪以向用户显示。
其中，第一反馈模块用于方便扫描现场(即扫描仪旁)的用户观看，第二反馈模块用于方便非扫描现场(即云网络上)的用户观看。
进一步，所述一个或多个摄像机根据激光中心坐标和摄像机第一次拍摄的第一张照片的相对宽度逐张地捕捉后续所述一张或多张照片，所述激光中心坐标根据摄像机第一次拍摄的第一张照片来确定。
进一步，所述深度传感器包括RGB-D摄像机、TOF摄像机、测距摄像机和闪光激光雷达中的至少一个。
进一步，所述用户提供的输入包括对象渲染的一个或多个属性信息。
进一步，还包括激光，所述激光用于通过转向绿色来指示所述拍摄对象的至少一张照片的精确位置。
进一步，所述对象包括对称对象和不对称对象中的至少一个。
本发明所采取的第三技术方案是：
一种基于视觉反馈的三维扫描方法，包括以下步骤：
拍摄对象的至少一张照片以进行扫描；
创建对象的点云；
实时在反馈模块的显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；
通过将拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量，此时相应的反馈内容会被实时地发送到反馈模块以展示给用户。
本发明所采取的第四技术方案是：
一种基于视觉反馈的三维扫描方法，包括以下步骤：
通过扫描仪的深度传感器创建对象的点云；
通过扫描仪的一个或多个摄像机拍摄对象的至少一张照片以进行扫描；
通过扫描仪的第一反馈模块实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；
由基于云网络的处理器接收来自扫描仪的点云和至少一张照片；
基于云网络的处理器将视觉反馈内容实时发送给第二反馈模块以展示给用户；
基于云网络的处理器通过将拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量；
由基于云网络的处理器将对象的三维扫描图像发送给扫描仪以向用户展示。
进一步，还包括确定用于拍摄所述至少一张照片的精确位置坐标的步骤。
进一步，所述深度传感器包括RGB-D摄像机、TOF摄像机、测距摄像机和闪光激光雷达中的至少一个。
本发明的有益效果是：本发明基于视觉反馈的三维扫描系统和方法，通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，能实时生成三维扫描图像和在本地对对象进行实时渲染操作，实时性好；通过在扫描和渲染过程中提供实时的视频反馈内容，方便了用户对扫描和渲染过程进行实时监视或检查，从而使得用户可以根据实时的视频反馈内容来进行调整，确保了扫描图像的质量，更加可靠和方便。
附图说明
图1为本发明各种实施例可以起作用的示例性环境；
图2为本发明图1的三维扫描系统的前视图；
图3为本发明图1的三维扫描系统的后视图；
图4为本发明三维扫描系统的一种实施例的结构框图；
图5为本发明基于视觉反馈的三维扫描方法的一种实施例的步骤流程图；
图6为本发明基于视觉反馈的三维扫描方法的另一种实施例的步骤流程图。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。
图1示出了本发明各种实施例的示例性环境。如图1所示，该示例性环境主要包括用户102，用于对对象106进行三维扫描的三维扫描系统104(也可称为激光引导扫描系统104)。对象104可以是对称物体，具有不平坦表面的不对称物体，还可以是环境。
在一些实施例中，用户102可以根据反馈内容和至少一个用户输入使用三维扫描系统104捕捉对象(物体或环境)图像的一张或多张照片，以用于生成对象的3D模型。对象的三维扫描图像由一张或多张照片组成，三维扫描系统104通过根据深度信息等对对象的二维照片进行贴合、拼接等处理，最终生成对象的三维扫描模型和图像。三维扫描系统104可以包括视觉反馈模块和深度传感器，该深度传感器包括用于深度扫描的RGB-D摄像机。此外，三维扫描系统104可实时向用户102提供三维扫描过程的视觉反馈内容，以使得用户102能够监视扫描的范围和质量。深度传感器或RGB-D摄像机可以被用于创建对象的深度图或点云。深度图可以是图像或图像通道，其包含有关于从对象拍摄场景的参考点到对象表面的距离信息。点云可以是坐标系统中的一系列数据点。在三维坐标系中，这些数据点可以由X，Y和Z坐标来定义，并且可以表示对象的外表面。
在一些实施例中，深度传感器可以包括RGB-D摄像机、飞行时间(ToF)摄像机、测距摄像机和闪光激光雷达中的至少一个。
在一些实施例中，三维扫描系统104用于创建对象106的点云。三维扫描系统104用于合并点云和摄像头拍摄的至少一张照片以对对象进行实时渲染。此外，三维扫描系统104还可用于在显示模块或屏幕上实时展示关于对象106渲染的反馈内容。该反馈内容可以是在屏幕上提供给用户102的视觉反馈内容。因此，用户102可以在屏幕上观看和检查扫描过程。例如，如果用户102认为扫描质量不好，那么用户102就可以通过重复整个扫描过程来重新扫描一次对象。
进一步作为优选的实施方式，用户102可以调整一个或多个渲染属性，包括但不限于对象的大小、亮度范围、颜色和阴影等。
进一步作为优选的实施方式，反馈内容可以包括用于拍摄对象106的一张或多张照片中下一张照片拍摄的新位置坐标。用户102可以根据该新位置坐标将三维扫描系统104移动到拍摄对象照片的精确位置。反馈内容可以包括音频反馈、视频反馈以及其组合。音频反馈可以包括声音、音频信息等。视频反馈可以包括视频信息、显示的文本等。在一些实施例中，用户102还可直接访问三维扫描系统104。
进一步作为优选的实施方式，对象106可以是对称对象和不对称对象。对象106可以包括人、椅子、建筑物，房屋或者电器等等。尽管图1仅示出了一个对象106，但是本领域的技术人员可以理解，图1的示例性环境可以包括多于一个的对象106。
进一步作为优选的实施方式，三维扫描系统104可用于对对象106进行三维扫描。
进一步作为优选的实施方式，三维扫描系统104可用于捕捉对象106的一张或多张照片来实现对象104的360度视图。
进一步作为优选的实施方式，三维扫描系统104可以用于生成对象的3D扫描模型和图像。
进一步作为优选的实施方式，三维扫描系统104可以是一个设备或多个设备的组合，能分析环境或现实世界中物体(简称实体)，并且可以收集/捕获关于环境或实体形状和外观的数据，例如颜色，高度，长度，宽度等。接着，三维扫描系统104可以使用所收集的数据来构建数字三维模型。
进一步作为优选的实施方式，三维扫描系统104可以通过反馈信号向用户102指示精确位置以便于拍摄对象106的一张或多张照片或图像。例如，三维扫描系统104可以产生用于指示拍摄的精确位置的声音。为了拍摄到每张照片，三维扫描系统104也可通过绿光为用户102指示对象106的下一张照片的精确位置。三维扫描系统104可以向用户102提供一个或多个反馈以逐张地拍摄对象106的一张或多张照片。例如，用户102可以提供拍摄照片N1的反馈F1，用于拍摄照片N2的反馈F2等等。
进一步作为优选的实施方式，三维扫描系统104可以在第一次拍摄的照片中为对象106确定激光中心坐标。三维扫描系统104可以基于该中心坐标进行拍摄，优选地，三维扫描系统104可以不改变照射到对象的激光中心坐标就能确定后续照片拍摄的精确位置(即确切位置)。照片的相对宽度也可能有助于确定下一次照片拍摄的新位置坐标。因此，通过保持激光中心坐标不变，三维扫描系统104可以捕捉对象的整体或完整照片，使得对象扫描无丢失部分，增加了扫描图像或3D模型的整体质量。故在第一次照片拍摄之后，三维扫描系统104可以基于激光中心坐标和拍摄的第一照片的相对宽度确定后续照片的新位置坐标从属(即下一次拍摄的确切位置)，从而逐个拍摄对象104的后续照片(也就是说三维扫描系统104能以对象为中心进行环绕拍摄，如沿着圆周方向拍摄)。其中，第一照片的相对宽度指对象在第一张照片中的宽度(相对于摄像机来说)。拍摄结束后，三维扫描系统104可以对多张照片进行拼接和处理，以生成包括对象106扫描图像的至少一个3D模型。
图2展示了本实施例三维扫描系统104的前视图。如图2所示，三维扫描系统104包括深度传感器204和多个摄像机206。深度传感器204可以内置于三维扫描系统104的摄像机206中。
其中，深度传感器204用于创建对象(例如图1所示的对象106)的点云。点云可以是坐标系统中的一系列数据点。在三维坐标系中，这些数据点可以由X，Y和Z坐标来定义，并且可以表示对象的外表面。深度传感器204可以包括RGB-D摄像机、飞行时间(ToF)摄像机、测距摄像机和闪光激光雷达中的至少一个。
摄像机206可以用于拍摄对象106的一张或多张照片。用户102可以在激光或反馈信号的指引下将三维扫描系统104从一个位置移动到下一张照片的确切拍摄位置。此外，一个或多个摄像机206可以用于基于反馈内容逐张地捕捉对象106的一张或多张照片。优选地，三维扫描系统104还可以包括用于启动对象106的照片和图像的拍摄的按钮(图2未示出)。与图1所示的实施例相似，摄像机206可以在对象106的第一次照片拍摄之后确定激光中心坐标，进而基于激光中心坐标和第一照片的相对宽度来拍摄后续的一张或多张照片，并使得激光中心坐标在拍摄对象图像的同时保持不变。
此外，该三维扫描系统104还可包括激光，该激光用于通过将绿色等特定颜色的光指向某个精确位置来指示拍摄下一张照片的精确位置。
图3示出了三维扫描系统104的后视图。如图3所示，三维扫描系统104还包括用于实时向用户102展示对象106的视觉反馈内容或渲染的显示模块208。显示模块208可以包括屏幕，该屏幕也用于向用户102提供或展示包括视频反馈内容的反馈内容，以指示如图1所讨论的对象106的照片拍摄的精确位置。例如，包括下一张照片拍摄的精确位置信息或其他扫描信息的视频消息或文本消息可以在显示模块或屏幕208上显示。用户102可以根据显示模块或屏幕208显示的内容将三维扫描系统104移动到拍摄下一张照片的精确位置。优选地，三维扫描系统104还可以包括至少一个用于提供音频反馈的内置扬声器。
图4是本实施例的三维扫描系统104的一种系统结构框图。如图4所示，三维扫描系统104主要包括扫描仪301，扫描仪301包括深度传感器204和一个或多个摄像机206。3D扫描三维扫描系统104还包括反馈模块308、显示模块或显示屏幕208，处理器312和存储模块314。正如图1所讨论的，用户102可以使用三维扫描系统104来三维扫描对象106。
其中，深度传感器204用于创建对象(例如图1所示的对象106)的点云。点云可以是坐标系统中的一系列数据点。在三维坐标系中，这些数据点可以由X，Y和Z坐标来定义，并且可以表示对象的外表面。深度传感器204可以包括RGB-D摄像机、飞行时间(ToF)摄像机、测距摄像机和闪光激光雷达中的至少一个。
摄像机206可以用于拍摄对象106的一张或多张照片。用户102可以在激光或反馈信号的指引下将三维扫描系统104从一个位置移动到下一张照片的确切拍摄位置。此外，一个或多个摄像机206可以用于基于反馈内容逐张地捕捉对象106的一张或多张照片。优选地，三维扫描系统104还可以包括用于启动对象106的照片和图像的拍摄的按钮(图4未示出)。与图1所示的实施例相似，摄像机206可以在对象106的第一张照片拍摄之后确定激光中心坐标，进而基于激光中心坐标和第一张照片的相对宽度来拍摄后续的多张照片拍摄一张或多张照片，并使得激光中心坐标在拍摄对象图像的同时保持不变。
此外，该三维扫描系统104还可包括激光灯(图4未示出)，该激光灯用于通过将绿色等特定颜色的光指向某个精确位置来指示拍摄下一张照片的精确位置。
对于多张照片中的每张照片，反馈模块308提供关于拍摄每张照片的精确位置的反馈。在一些实施例中，反馈模块308可包括至少一个用于提供音频反馈或产生声音的内置扬声器(图4未示出)。
进一步作为优选的实施方式，反馈模块308用于提供关于对象106的渲染和拍摄一张或多张照片的精确位置的一个或多个反馈。反馈内容可以包括用于拍摄对象106的一张或多张照片中下一张照片拍摄的新位置坐标。用户102可以根据该新位置坐标将三维扫描系统104移动到拍摄照片的精确位置。反馈内容可以包括音频反馈、视频反馈以及其组合。音频反馈可以包括声音、音频信息等。视频反馈可以包括视频信息、显示的文本等。在一些实施例中，视频反馈可以被显示在显示屏幕208上。例如，包括用于拍摄一张或多张照片的位置坐标的扫描信息可以被显示在显示模块或显示屏幕208上。反馈模块308将反馈内容实时显示在显示屏幕208上，使得用户可以实时地回顾对象的渲染过程和扫描过程中的至少一个。
与图3类似，显示模块/显示屏幕208可以用于为用户102实时显示对象106的视觉反馈内容或渲染过程。
处理器312，用于通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象106进行实时渲染。此外，在对对象106的渲染期间需要进行任何调整时，用户102可以提供相应的输入来实时地增强扫描图像的质量，同时相应的反馈内容实时发送到反馈模块308以展示给用户102。
处理器312，还用于通过点云来对摄像机拍摄的至少一张照片进行合并和处理来对对象106进行实时渲染。此外，处理器312能根据对象106第一次拍摄的照片确定激光中心坐标和提供对象106的相对宽度。再者，处理器312还可以在激光中心坐标不改变的情况下，根据激光中心坐标和相对宽度在第一次拍摄之后的后续拍摄中确定准确的拍摄位置。准确的拍摄位置可以包括一张或多张照片的位置坐标。另外，处理器312还用于实时地处理照片或图像，以在更短的时间内生成对象的三维模型。处理器312还能通过将多张照片进行拼接和处理来生成对象106的至少一个3D模型。
进一步作为优选的实施方式，反馈模块308还可以用于从远程服务器(图4未示出)接收反馈的内容。
进一步作为优选的实施方式，三维扫描系统104的本地可以不包括处理器312。此时，处理器312可以设置在远程的云网络中。在此实施例中，点云和摄像机拍摄的照片可以被发送到云端的处理器312来进渲染和合并等处理。
存储模块314，用于存储扫描的图像，渲染后的图像，用于扫描和渲染对象106的指令以及三维模型。优选地，存储模块314可以是存储器。
三维扫描系统104还可以包括按钮(图4未示出)。用户102可以通过按压或触摸该按钮来拍摄照片或图像。
如图5所示，应用图4的三维扫描系统104来基于视觉反馈的对象三维(3D)扫描的方法的一种实施例具体包括以下步骤：
步骤402：用户102使用三维扫描系统的摄像机拍摄对象的至少一张照片。
步骤404：创建对象的点云。
步骤406：三维扫描系统的处理器对点云和拍摄的至少一张照片进行合并，以对对象进行渲染。
步骤408：为用户提供实时的视觉反馈。
步骤410：接收用户的输入。
步骤412：根据实时的视觉反馈和用户的输入调整一个或多个对象的渲染属性以提高对象渲染或扫描的质量并产生相应的三维扫描图像。
如图6所示，在图4的三维扫描系统104不包括本地的处理器312的前提下，本实施例基于视觉反馈的对象三维(3D)扫描的方法的具体包括以下步骤：
步骤502：用户102使用扫描仪的摄像机拍摄对象的至少一张照片。
步骤504：扫描仪的深度传感器创建对象的点云。
步骤506：扫描仪将创建的点云和拍摄的至少一张照片发送到远程的处理器(其远离三维扫描系统)以进行处理。
步骤508：远程的处理器合并点云和拍摄的至少一张照片来对对象进行渲染。
步骤510：将关于扫描过程或渲染过程的视觉反馈内容发送到扫描仪上以实时显示给用户。
步骤512：远程的处理器实时接收用户的输入。
步骤514：远程的处理器在对对象进行渲染的同时通过用户的输入来调整渲染的一个或多个属性信息。
本发明提供了一种基于视觉反馈的三维扫描系统和方法，以为用户实时提供关于对象扫描过程和渲染过程的视觉反馈内容。用户可以根据该视觉反馈内容进行监视/检查并根据需要进行修改，以提升扫描的质量。
本发明还提供了一种根据提供给用户的实时视觉反馈内容来实时渲染对象的系统和方法。
本发明还提供了一种使用户能够通过点云来对摄像机拍摄的照片进行渲染并结合实时视觉反馈内容来检查扫描质量的系统和方法。
本发明还提供了一种三维扫描系统的实时视觉反馈模块，以用于扫描多个对象。视觉反馈模块使得用户能够在利用点云来对摄像机拍摄的照片进行渲染的同时实时检查扫描的范围和质量。
本发明还提供了一种能实时为用户提供视觉反馈内容的系统和方法，同时通过用于生成对象的扫描图像的摄像机照片来对点云进行三维渲染。
本发明还提供了一种具有视觉反馈模块和深度传感器的扫描系统，该深度传感器包含有用于扫描的RGB-D摄像机。此外，该扫描系统实时向用户提供三维扫描过程的视觉反馈内容，以使得用户能够监视扫描的范围和质量。深度传感器或RGB-D摄像机可以被用于创建对象的深度图或点云。深度图可以是图像或图像通道，其包含有关于从对象拍摄场景的参考点到对象表面的距离信息。点云可以是坐标系统中的一系列数据点。在三维坐标系中，这些数据点可以由X，Y和Z坐标来定义，并且可以表示对象的外表面。
本发明还提供了一种用于创建对象点云的三维扫描系统，该扫描系统具有深度传感器、RGB-D摄像机/传感器。点云可以与摄像机照片进行合并和处理，以对对象进行实时渲染。在一些实施例中，深度传感器可以包括RGB-D摄像机、飞行时间(ToF)摄像机、测距摄像机和闪光激光雷达中的至少一个。
本发明还提供了一种用于发送包含有视觉反馈内容的实时反馈内容给视觉显示模块或屏幕的三维扫描系统，使得用户可以实时地查看对象的扫描过程。这样，用户就可以在渲染实际发生的同时监视或检查对象扫描的范围或质量。
本发明还提供了一种3D扫描系统，其包括用于创建对象点云的RGB-D摄像机/传感器或深度传感器以及用于向用户提供视觉反馈内容的反馈模块。在对对象的点云进行渲染的过程中，用户获取扫描过程的视觉反馈内容。然后，用户就可以在渲染过程中进行检查或者进行一些修改，以提高对象的扫描质量。这样，可以大大减少通过对点云和摄像机照片进行处理来生成高质量扫描图像所需占用的精力和时间。
以上方法和系统的流程图和/或框图详细描述了本发明的实施例。本领域的技术人员容易理解，上述流程图和/或框图中的每个框以及流程图和/或框图中的框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以实现在流程图和/或框图的一个或多个框中指定的动作的手段，可以被提供给通用计算机，专用计算机或其他可编程数据处理装置的处理器以产生可由计算机或其他可编程数据处理装置的处理器执行的机器指令。这些计算机程序指令还可以被存储在计算机可读存储器中，该计算机可读存储器可以指导计算机或其他可编程数据处理装置以特定方式操作，使得存储在计算机可读存储器中的指令产生能实现该指令在流程图和/或框图的一个或多个方框中指定的动作的装置。计算机程序指令还可以被加载到计算机或其他可编程数据处理装置上，使计算机或其他可编程装置上执行一系列操作，从而在计算机或其他可编程装置根据加载的指令实现在流程图和/或框图的一个或多个框中所指定的动作或步骤。
另外，本发明实施例中的步骤编号或模块编号，其仅为了便于阐述说明而设置，对步骤之间的顺序或模块间的连接关系不做任何限定，实施例中的各步骤的执行顺序和模块间的连接关系均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.基于视觉反馈的三维扫描系统，其特征在于：包括：
一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；
深度传感器，用于创建对象的点云；
反馈模块，用于实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；
处理器，用于通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量，此时相应的反馈内容会被实时地发送到反馈模块以展示给用户；
所述一个或多个摄像机具体用于在对象的第一次照片拍摄之后确定激光中心坐标，进而基于激光中心坐标和第一照片的相对宽度来拍摄后续的一张或多张照片，并使得激光中心坐标在拍摄对象图像的同时保持不变，所述第一照片的相对宽度是指对象在第一张照片中的宽度。
2.根据权利要求1所述的基于视觉反馈的三维扫描系统，其特征在于：所述深度传感器包括RGB-D摄像机、TOF摄像机、测距摄像机和闪光激光雷达中的至少一个。
3.根据权利要求1所述的基于视觉反馈的三维扫描系统，其特征在于：所述用户提供的输入包括对象渲染的一个或多个属性信息。
4.根据权利要求1所述的基于视觉反馈的三维扫描系统，其特征在于：还包括激光，所述激光用于通过转向绿色来指示所述拍摄对象的至少一张照片的精确位置。
5.基于视觉反馈的三维扫描系统，其特征在于：包括扫描仪和基于云网络的处理器，其中，所述扫描仪包括：
深度传感器，用于创建对象的点云；
一个或多个摄像机，用于拍摄对象的至少一张照片以进行扫描；
第一反馈模块，用于实时在显示模块上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；
所述基于云网络的处理器，用于依次执行以下操作：
接收来自扫描仪的点云和至少一张照片；
将视觉反馈内容实时发送给第二反馈模块以展示给用户；
通过将摄像机拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量；
将对象的扫描图像发送给扫描仪以向用户显示；
所述一个或多个摄像机具体用于在对象的第一次照片拍摄之后确定激光中心坐标，进而基于激光中心坐标和第一照片的相对宽度来拍摄后续的一张或多张照片，并使得激光中心坐标在拍摄对象图像的同时保持不变，所述第一照片的相对宽度是指对象在第一张照片中的宽度。
6.根据权利要求5所述的基于视觉反馈的三维扫描系统，其特征在于：所述对象包括对称对象和不对称对象中的至少一个。
7.一种基于视觉反馈的三维扫描方法，其特征在于：包括以下步骤：
拍摄对象的至少一张照片以进行扫描；
创建对象的点云；
实时在反馈模块的显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；
通过将拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量，此时相应的反馈内容会被实时地发送到反馈模块以展示给用户；
所述拍摄对象的至少一张照片以进行扫描，具体包括：在对象的第一次照片拍摄之后确定激光中心坐标，进而基于激光中心坐标和第一照片的相对宽度来拍摄后续的一张或多张照片，并使得激光中心坐标在拍摄对象图像的同时保持不变，所述第一照片的相对宽度是指对象在第一张照片中的宽度。
8.一种基于视觉反馈的三维扫描方法，其特征在于：包括以下步骤：
通过扫描仪的深度传感器创建对象的点云；
通过扫描仪的一个或多个摄像机拍摄对象的至少一张照片以进行扫描；
通过扫描仪的第一反馈模块实时在显示屏上提供反馈内容，使得用户可以实时查看对象的渲染和扫描过程中的至少一个；
由基于云网络的处理器接收来自扫描仪的点云和至少一张照片；
基于云网络的处理器将视觉反馈内容实时发送给第二反馈模块以展示给用户；
基于云网络的处理器通过将拍摄的至少一张照片与点云进行合并和处理来对对象进行实时渲染和生成对象的三维扫描图像，其中，若需要对对象的渲染进行任何调整，则用户可在对象的渲染和处理期间提供相应的输入来实时地增强扫描图像的质量；
由基于云网络的处理器将对象的三维扫描图像发送给扫描仪以向用户展示；
通过扫描仪的一个或多个摄像机拍摄对象的至少一张照片以进行扫描，具体包括：通过扫描仪的一个或多个摄像机在对象的第一次照片拍摄之后确定激光中心坐标，进而基于激光中心坐标和第一照片的相对宽度来拍摄后续的一张或多张照片，并使得激光中心坐标在拍摄对象图像的同时保持不变，所述第一照片的相对宽度是指对象在第一张照片中的宽度。
9.根据权利要求8所述的一种基于视觉反馈的三维扫描方法，其特征在于：还包括确定用于拍摄所述至少一张照片的精确位置坐标的步骤。
CN201810083121.5A 2017-11-10 2018-01-29 基于视觉反馈的三维扫描系统和方法 Active CN108286945B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762584134P 2017-11-10 2017-11-10
US62/584,134 2017-11-10

Publications (2)

Publication Number Publication Date
CN108286945A CN108286945A (zh) 2018-07-17
CN108286945B true CN108286945B (zh) 2020-05-05

Family

ID=62836128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810083121.5A Active CN108286945B (zh) 2017-11-10 2018-01-29 基于视觉反馈的三维扫描系统和方法

Country Status (3)

Country Link
US (1) US20200226824A1 (zh)
CN (1) CN108286945B (zh)
WO (1) WO2019091116A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3853551B1 (en) * 2018-09-19 2024-02-14 Artec Europe S.à r.l. Three-dimensional scanner with data collection feedback
CN109448128A (zh) * 2018-09-26 2019-03-08 罗源县源林海产品贸易有限公司 基于头戴式mr设备的三维海产品展示方法
CN110288687A (zh) * 2019-06-19 2019-09-27 深圳市福瑞达显示技术有限公司 一种应用于风扇屏的3d建模方法及其系统
US11536843B2 (en) * 2020-02-08 2022-12-27 The Boeing Company De-jitter of point cloud data for target recognition
CN113447954B (zh) * 2020-03-25 2024-06-04 深圳市光鉴科技有限公司 场景深度测量方法、系统、设备及存储介质
CN111948208A (zh) * 2020-08-13 2020-11-17 东风电子科技股份有限公司 实现仪表视觉识别的自动化检测系统
CN112284293B (zh) * 2020-12-24 2021-04-02 中国人民解放军国防科技大学 一种空间非合作目标精细三维形貌测量方法
CN113596278B (zh) * 2021-08-03 2024-01-09 广东时谛智能科技有限公司 一种面料数字化快速扫描系统、方法、介质及设备
CN116109470B (zh) * 2023-04-13 2023-06-20 深圳市其域创新科技有限公司 实时点云数据渲染方法、装置、终端及存储介质
CN116399515B (zh) * 2023-04-21 2024-03-15 苏州亚太精睿传动科技股份有限公司 一种基于机器视觉确定变速箱泄漏工况的方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533449A (zh) * 2012-12-20 2014-01-22 Tcl集团股份有限公司 一种基于智能3d电视的3d试衣的实现方法及系统
CN103500013B (zh) * 2013-10-18 2016-05-11 武汉大学 基于Kinect和流媒体技术的实时三维测图方法
CN106537179B (zh) * 2014-06-30 2019-04-19 博迪戴特股份有限公司 用于确定不规则对象的大小的手持多传感器系统
CN104915986B (zh) * 2015-06-26 2018-04-17 北京航空航天大学 一种实体三维模型自动建模方法

Also Published As

Publication number Publication date
CN108286945A (zh) 2018-07-17
US20200226824A1 (en) 2020-07-16
WO2019091116A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
CN108286945B (zh) 基于视觉反馈的三维扫描系统和方法
US10154246B2 (en) Systems and methods for 3D capturing of objects and motion sequences using multiple range and RGB cameras
AU2017247070B2 (en) Three-dimensional, 360-degree virtual reality camera exposure control
EP3107065A1 (en) Methods and systems for providing virtual lighting
CN108332660B (zh) 机器人三维扫描系统和扫描方法
CN107113415A (zh) 用于多技术深度图获取和融合的方法和设备
CN108340405B (zh) 一种机器人三维扫描系统及方法
EP1074943A2 (en) Image processing method and apparatus
CN108362223B (zh) 一种便携式3d扫描仪、扫描系统和扫描方法
JP2010109783A (ja) 電子カメラ
TW201817220A (zh) 顯示方法及其系統與電腦可讀取記錄媒體
JP2001209827A (ja) 画像処理装置、画像処理サービス提供方法および受注処理方法
CN111724470B (zh) 一种处理方法及电子设备
US10354399B2 (en) Multi-view back-projection to a light-field
US11328436B2 (en) Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map
US20230062973A1 (en) Image processing apparatus, image processing method, and storage medium
US20240244330A1 (en) Systems and methods for capturing and generating panoramic three-dimensional models and images
WO2022142908A1 (zh) 三维模型生成方法、xr设备及存储介质
CN108347561B (zh) 激光引导扫描系统及扫描方法
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP2018050216A (ja) 映像生成装置、映像生成方法、およびプログラム
CN109446945A (zh) 三维模型处理方法和装置、电子设备、计算机可读存储介质
JP6679966B2 (ja) 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム
US20200228784A1 (en) Feedback based scanning system and methods
KR20160073488A (ko) 3d 스캐너

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20220704

Granted publication date: 20200505

PP01 Preservation of patent right