CN115695763B - 一种三维扫描系统 - Google Patents
一种三维扫描系统 Download PDFInfo
- Publication number
- CN115695763B CN115695763B CN202211721160.6A CN202211721160A CN115695763B CN 115695763 B CN115695763 B CN 115695763B CN 202211721160 A CN202211721160 A CN 202211721160A CN 115695763 B CN115695763 B CN 115695763B
- Authority
- CN
- China
- Prior art keywords
- data
- image
- dimensional scanning
- scanning system
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请涉及一种三维扫描系统,该系统包括图像采集模块和数据压缩模块;其中,图像采集模块用于采集扫描对象的原始图像数据;数据压缩模块用于从图像采集模块采集到的原始图像数据中提取出用于三维建模的特征数据,并将提取到的特征数据传输至预先关联的计算单元,以供计算单元进行实时三维建模。通过从原始图像数据中提取出用于三维建模的特征数据,只将提取到的特征数据传输至预先关联的计算单元,在不影响建模结果的前提下,大大减少了数据的传输量和计算量。如此,扫描仪采用高分辨率摄像头获取的数据经过数据压缩模块处理后,可以快速传输到计算单元,从而提高三维扫描效率。
Description
技术领域
本申请涉及三维扫描技术领域,特别是涉及一种三维扫描系统。
背景技术
现有的三维扫描系统,通常利用相机等图像采集模块采集扫描对象的原始图像数据,然后将图像采集模块获取到的原始图像数据传输至PC(个人计算机)等计算单元进行数据处理以及后续识别、匹配、和重建等操作。相机和计算单元之间传输的都是原始图像数据,数据传输量很大。
目前,越来越多的高分辨率相机试图应用在三维扫描系统中,以期实现更清晰的扫描效果。以3D双摄像头扫描仪为例,500万分辨率8bit位宽的单帧图像大小为5MB,用USB3.0的协议传输左右两个相机的原始图像,使用8bit的数据位宽,USB3.0总线估算约70%的带宽利用率,接口传输速度按照400MB/s计算,500万分辨率的双相机只能配置40fps(Frames Per Second,每秒传输帧数)。可见,如此高分辨率的摄像头应用在三维扫描系统中,所获取的原始图像数据以这样的传输速度进行传输的话,会导致三维扫描过程中无法实时进行三维重建,严重制约了三维扫描效率。为了确保扫描效率,实现实时三维重建,现有的三维扫描系统受限于数据传输能力,只能选择牺牲扫描效果,采用较低分辨率的相机。
针对相关技术中存在的扫描仪采用高分辨率摄像头获取的扫描数据,受限于传输帧率而无法快速传输到计算单元进行计算,从而制约三维扫描效率的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种三维扫描系统,以解决现有的扫描仪采用高分辨率摄像头获取的扫描数据,受限于传输帧率而无法快速传输到计算单元进行计算,从而制约三维扫描效率的问题。
第一个方面,在本实施例中提供了一种三维扫描系统,该系统包括图像采集模块和数据压缩模块;
所述图像采集模块,用于采集扫描对象的原始图像数据;
所述数据压缩模块,用于从所述图像采集模块采集到的所述原始图像数据中提取出用于三维建模的特征数据,并将提取到的所述特征数据传输至预先关联的计算单元,以供所述计算单元进行实时三维建模。
在其中的一些实施例中,所述图像采集模块包括相机;
所述相机与所述数据压缩模块一对一配置,或所述相机与所述数据压缩模块多对一配置。
在其中的一些实施例中,所述数据压缩模块通过USB3.0物理传输协议与所述计算单元进行数据传输,所述相机的分辨率*扫描帧率*采样位宽≧5Gbps。
在其中的一些实施例中,所述数据压缩模块通过千兆网络与所述计算单元进行数据传输,所述相机的分辨率*扫描帧率*采样位宽≧1Gbps。
在其中的一些实施例中,所述数据压缩模块通过USB2.0物理传输协议与所述计算单元进行数据传输,所述相机的分辨率*扫描帧率*采样位宽≧480Mbps。
在其中的一些实施例中,所述图像采集模块包括两个相机;所述数据压缩模块将从所述两个相机采集到的所述原始图像数据中提取到的所述特征数据,通过USB3.0物理传输协议传输至所述计算单元;
在所述两个相机均采用500万分辨率进行拍摄的情况下,所述计算单元的触发帧率大于或等于150fps;
在所述两个相机均采用2500万分辨率进行拍摄的情况下,所述计算单元的触发帧率大于或等于100fps。
在其中的一些实施例中,所述图像采集模块包括两个相机;所述数据压缩模块将从所述两个相机采集到的所述原始图像数据中提取到的所述特征数据,通过USB3.0物理传输协议传输至所述计算单元;
在所述两个相机均采用500万分辨率进行拍摄的情况下,所述计算单元的触发帧率大于62.5fps。
在其中的一些实施例中,所述数据压缩模块的数据压缩比为所述数据压缩模块接收到的所述原始图像数据的数据量,与所述数据压缩模块输出的所述特征数据的数据量之比;其中,在所述图像采集模块采集的原始图像数据满足以下条件时,所述数据压缩比为80:所述原始图像数据中包括100个标记点,或所述原始图像数据中包括20线至30线激光线。
在其中的一些实施例中,所述特征数据为所述原始图像数据中的标记点数据和/或激光线数据。
在其中的一些实施例中,所述特征数据为所述原始图像数据中的标记点几何中心坐标和/或激光线几何中心坐标。
在其中的一些实施例中,所述三维扫描系统还包括所述计算单元;
所述计算单元,用于根据所述数据压缩模块传输的所述特征数据进行三维建模。
在其中的一些实施例中,所述数据压缩模块包括ISP单元和特征提取单元;
所述ISP单元,用于对所述图像采集模块采集到的所述原始图像数据进行输出信号处理后,进行缓存;
所述特征提取单元,用于从缓存的所述原始图像数据中提取出用于三维建模的所述特征数据,并将提取到的所述特征数据传输至预先关联的所述计算单元。
在其中的一些实施例中,所述特征数据包括几何特征的坐标数据和像素数据;
所述数据压缩模块实时接收待处理图像,对所述待处理图像进行边沿检测,以获取该待处理图像中存在的几何特征的边沿数据,对所述边沿数据进行连通域处理,以提取所述几何特征的坐标数据;所述数据压缩模块还用于对所述待处理图像进行流水处理,以基于所述坐标数据获取所述待处理图像中对应的像素数据;以及输出所述坐标数据和像素数据用于实时三维建模。
在其中的一些实施例中,所述待处理图像包括连续获取的第一帧图像和第二帧图像;
所述流水处理包括:基于所述第一帧图像的坐标数据获取在所述第二帧图像中对应的像素数据,用做所述第一帧图像的像素数据。
在其中的一些实施例中,所述待处理图像为获取的当前帧图像;其中,所述当前帧图像缓存至存储器中;在进行流水处理前,实时从所述存储器中读取所述当前帧图像;
所述流水处理包括:基于所述当前帧图像的坐标数据获取所述当前帧图像中对应的像素数据,用做所述当前帧图像的像素数据。
在其中的一些实施例中,对所述待处理图像的多个行同步进行边沿检测,以获取所述边沿数据。
在其中的一些实施例中,将所述待处理图像的每一行像素分成多个均等段,并对该多个均等段的边沿数据同步进行连通域处理,以获取所述坐标数据。
在其中的一些实施例中,所述边沿检测包括:遍历每一行的图像数据,记录下每个像素的灰度值;以当前像素为中心,往前以及往后寻找相同个数的像素形成像素群,对像素群的灰度值取均值,以获得像素群均值;实时计算前一像素群均值与后一像素群差值的灰度梯度;以及将所述灰度梯度与梯度阈值比较,以确定所述几何特征的关于上升沿和下降沿的边沿数据。
在其中的一些实施例中,所述连通域处理包括:遍历当前帧图像的所有边沿数据;如果检测到一个边沿数据与另一个边沿数据存在重合,则合并两个边沿,并更新坐标数据;如果检测到有边沿数据不再更新坐标信息,则认为该边沿数据完成了和周围边沿的连通域处理。
有益效果
与相关技术相比,本申请提供的三维扫描系统,通过从原始图像数据中提取出用于三维建模的特征数据,只将提取到的特征数据传输至预先关联的计算单元,在不影响建模结果的前提下,大大减少了数据的传输量和计算量。如此,在图像数据传输速率受限的情况下,扫描仪可以匹配更高分辨率,更高带宽的图像传感器。扫描仪采用高分辨率摄像头获取的数据经过数据压缩模块处理后,可以快速传输到计算单元,从而提高三维扫描效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例一提供的三维扫描系统的结构框图;
图2是本申请实施例二提供的三维扫描系统的结构框图;
图3是本申请实施例提供的三维扫描系统中的数据压缩模块的结构框图;
图4是本申请实施例提供的三维扫描系统中的单个处理器中的算法主要流程示意图;
图5是本申请实施例六提供的三维扫描系统的结构示意图;
图6是本申请实施例七提供的三维扫描系统的结构示意图;
图7是本申请实施例八提供的三维扫描系统的结构示意图;
图8是本申请实施例八提供的三维扫描系统的工作原理示意图;
图9是本申请实施例提供的流水处理的原理示意图;
图10是本申请实施例提供的两帧模式示意图;
图11是本申请实施例提供的两帧模式数据压缩原理示意图;
图12是本申请实施例提供的单帧模式数据压缩原理示意图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
现有的三维扫描系统,通常利用相机等图像采集模块采集扫描对象的原始图像数据,然后将图像采集模块获取到的原始图像数据直接传输至PC等计算机,进行数据处理以及后续识别、匹配、和重建等操作。由于相机和计算机之间传输的都是原始图像数据,数据传输量很大,然而数据传输媒介的传输能力却是有限的。以3D双摄像头扫描仪为例,500万分辨率8bit位宽的单帧图像大小为5MB,用USB3.0的协议传输左右两个相机的原始图像,使用8bit的数据位宽,USB3.0总线估算约70%的带宽利用率,接口传输速度按照400MB/s计算,500万分辨率的双相机只能配置40fps。以这样的传输速度进行传输的话,会导致三维扫描过程中无法实时进行三维重建,严重影响三维扫描效率。
为了解决上述技术问题,本申请实施例一提供了一种三维扫描系统100,如图1所示,该三维扫描系统包括图像采集模块110,图像采集模块110上配置有数据压缩模块120。其中,图像采集模块110用于采集扫描对象的原始图像数据;数据压缩模块120用于对图像采集模块110采集到的原始图像数据进行处理,从图像采集模块110采集到的原始图像数据中提取出用于三维建模的特征数据,并将提取到的特征数据传输至预先关联的计算单元130,以供计算单元130进行实时三维建模。其中,图中的箭头代表数据压缩模块120与计算单元130之间通过传输介质建立连接。不同于传统的对图像传感器采集的原始图像数据的无损压缩,本申请利用三维扫描仪的特定原理,即需要多条激光线或者几何标记点的辅助介入进行三维建模,从而选择合适的处理器对扫描对象的原始图像数据进行处理,从中提取出用于三维建模的特征数据,并将提取到的特征数据传输至预先关联的后端的计算单元130,以供计算单元130进行实时三维建模。
具体地,上述图像采集模块110可以包括一个或多个相机等图像传感器,以及补光设备等,主要用于在三维扫描过程中采集扫描对象的原始图像数据。通常相机采集的原始图像数据中不仅包括扫描对象本身的背景图像数据和特征数据,还可能包括补光灯或者灰尘等拍摄环境中的其他干扰物体的投影图像数据。然而针对扫描对象的后续三维建模,只需要其中的特征数据。本申请中的特征数据指的是原始图像数据中用于后续三维建模的图像数据,比如激光线数据和标记点数据中的一种或多种。例如,针对扫描对象表面贴标记点,依赖标记点数据进行定位的扫描场景,这里的特征数据指的是标记点数据;再例如,针对跟踪扫描仪在进行三维扫描时,扫描对象表面不需要贴标记点,只需在扫描过程中向扫描对象表面打激光线,依赖激光线数据进行三维重建的扫描场景,这里的特征数据指的是激光线数据;又例如,针对扫描对象表面贴标记点,同时在扫描过程中打激光线,同时依赖标记点数据进行定位,依赖激光线数据进行三维重建的扫描场景,这里的特征数据指的是标记点数据和激光线数据。
优选地,上述特征数据还可以为原始图像数据中的标记点几何中心坐标和/或激光线几何中心坐标。根据扫描对象的原始图像数据中的标记点几何中心坐标和激光线几何中心坐标,完全可以实现后续的三维建模。基于此,数据压缩模块120可以从图像采集模块110采集到的原始图像数据中提取出用于三维建模的标记点几何中心坐标和/或激光线几何中心坐标,只将提取到的数据传输至预先关联的计算单元130,以供计算单元130进行实时三维建模,可以最大化的减少需要传输的数据量。
上述实施例中的数据压缩模块120与图像采集模块110设置在前端,计算单元130设置在后端,数据压缩模块120与计算单元130通过有线网络或无线网络连接,进行数据传输。数据压缩模块120从前端图像采集模块110采集到的原始图像数据中直接提取出上述用于三维建模的特征数据,只将提取到的特征数据传输至后端预先关联的计算单元130,以供计算单元130进行实时三维建模。相较于现有技术中直接从前端传输原始图像数据到后端进行计算,本实施例提供的三维扫描系统大大减少了数据传输量。
进一步地,关于特征数据提取,可以选择合适的处理器,对扫描对象的原始图像数据进行激光线的线宽中心点亚像素的提取和标记点的形状几何中心的提取等一系列的前置算法,实现特征数据的提取。例如,可以先从原始图像数据中提取标记点或激光线的边沿信息,通过连通域提取出激光线或标记点的几何特征的完整坐标数据,后续通过得出的坐标数据在原始图片中对应查找相应像素,并将该像素填充至边沿中,即可得到特征数据。也可以采取其他现有的激光线数据或标记点数据提取方法,实现原始图像中的特征数据提取,此处不再冗述。
当前的IC环境下,可以使用FPGA处理器来实现数据压缩模块120,根据不同的图像传感器的需求改变,可以调整FPGA的逻辑规模,也可增加嵌入式IC等硬件部件来协同处理。数据压缩模块120与计算单元130之间的传输手段不局限于USB3.0一种传输手段,由于实际需求带宽跟随分辨率、帧率、标记点大小和数量、激光线线束和长度关联,也可以采用网络、无线等较小带宽传输的物理协议和介质。
图像传感器在帧率越高的配置下,图像输出的并行数据时钟越快。传统的方案是将原始图像数据传输至PC端,在PC端提取原始图像数据的特征数据。例如,现有技术通过USB3.0传输原始图像数据,是无法实现双800万图像传感器100fps的原始数据传输的,即使传输上去,PC端也不具备这样的算力完成相应的三维扫描应用的运算。
为了实现较高帧率的几何标记点和激光线等特征数据的提取,本申请克服了在FPGA上实现原始图像数据的特征数据提取的技术壁垒。不同于传统的PC端的处理方式,本申请利用FPGA并行的特性,在前端高效实现原始图像数据的特征数据提取。具体地,FPGA可以对原始图像数据并行传输处理。例如,原始图像数据进入FPGA后,每个时钟对应32个像素,水平方向上一行4096个像素可以在128个时钟周期内流水处理完。还可以将水平行分成多个区块,每个区块用高速时钟展开后,分别用几何标记点提取算法和激光线提取算法进行处理后,按照先后顺序再重新组合,同时处理分段交接的位置,这样得到特征数据,经过缓存后经USB或者网络接口交互传输到PC端。
为了确保扫描效率,实现实时三维重建,现有的三维扫描系统受限于数据传输能力,只能选择牺牲扫描效果,即采用较低分辨率的相机,以减少采集的原始图像数据的数据量,从而保证传输效率。本申请提供了一种新的解决方案,即在不影响扫描效果的前提下,提高有效数据的传输效率,以满足实时三维重建的需求。本申请提供的三维扫描系统,通过从原始图像数据中提取出用于三维建模的特征数据,只将提取到的特征数据传输至后端进行三维建模,在不影响建模结果的前提下,大大减少了数据的传输量和计算量。如此,在图像数据传输速率受限的情况下,扫描仪可以匹配更高分辨率,更高带宽的图像传感器。扫描仪采用高分辨率摄像头获取的数据经过特征数据提取处理后,用于建模的特征数据可以快速传输到后端进行计算,从而保证三维扫描效率。
参见图2,本申请实施例二提供的三维扫描系统200,在包括上述图像采集模块110和数据压缩模块120的基础上,还包括上述计算单元130。图像采集模块110、数据压缩模块120、以及计算单元130均为三维扫描系统200的组成部分。例如,扫描仪中集成了图像采集模块110和数据压缩模块120,扫描仪通过有线或无线网络连接计算机,计算机中集成了计算单元130。
进一步地,为了更好的说明本申请的发明构思,本申请定义了数据压缩模块120的数据压缩比,该数据压缩比为数据压缩模块120接收到的原始图像数据的数据量,与数据压缩模块120输出的特征数据的数据量之比。其中,数据压缩模块120从原始图像书中提取的特征数据的数据量跟扫描对象上的几何标记点的密度和/或激光线线束数等有关。
以500万像素双摄像头扫描仪为例,采用500万分辨率8bit位宽的单帧图像大小为5MB,利用USB3.0的协议传输左右两个相机的原始图像,使用8bit的数据位宽,按照100%的带宽利用率(未计算有限带宽折算,实际很难达到)计算,500万分辨率的双相机最大只能配置62.5fps。采用本申请,传输的数据从原始图像数据替换成局部标记点数据和/或激光线数据,数据量可以从不小于每秒500MB,减小到几十MB,实现等同于10倍甚至以上的数据压缩比传输效果。同时,由于提前提取了三维建模所需的特征数据,也很大程度上减小了后端计算单元200对于算力的要求,比如cpu的主频、线程数、内存的大小、显卡的性能等,从而实现更高效的建模。
假设拍摄的原始图片大小是20M,其中有100个标记点:设定每个标记点大小为长50像素,宽50像素,则经数据压缩模块120处理后需要传输的特征数据是0.25M,这种情况下数据压缩比为20/0.25=80。
再例如,图像采集模块110采集的原始图像数据中包括100个标记点,或原始图像数据中包括20线激光线至30线激光线,数据压缩比为20M/(2500*100 +25*2000*4)= 45。
本申请提供的三维扫描系统,通过从原始图像数据中提取出用于三维建模的特征数据,只将提取到的特征数据传输至后端进行建模计算,实现传输数据压缩,压缩比最大可达到5000左右,在不影响建模结果的前提下,大大减少了后端数据的传输量和计算量。如此,在图像数据传输速率受限的情况下,扫描仪可以匹配更高分辨率,更高带宽的图像传感器。扫描仪采用高分辨率摄像头获取的数据经过特征数据提取处理后,用于建模的特征数据可以快速传输到后端进行计算,从而保证三维扫描效率。
参见图3,作为一种可实施方式,数据压缩模块120可以包括ISP单元121和特征提取单元122;ISP单元121用于对图像采集模块采集到的原始图像数据进行输出信号处理后,进行缓存;特征提取单元122用于从缓存的原始图像数据中提取出用于三维建模的特征数据,并将提取到的特征数据传输至预先关联的计算单元130。
如上,可以选择合适的处理器对扫描对象的原始图像数据进行激光线线宽中心点亚像素的提取和标记点的形状几何中心的提取等一系列的前置算法,实现特征数据的提取。当然,前置算法也包括必要的ISP(Image Signal Processing)图像信号处理。
参见图4,图4为单个处理器中的算法主要流程示意图,作为一种可实施方式,处理器首先对采集的图像数据进行多通道串行数据解析、黑电平修正、坏点修正、以及线性化校正一系列ISP图像信号处理,之后得到原始图像数据,进而对原始图像数据进行标记点识别和激光线识别,基于识别结果,从中提取特征数据进行DDR缓存,最后通过USB3.0输出。
具体地,关于特征数据提取,可以先从原始图像数据中提取标记点或激光线的边沿信息,通过连通域提取出激光线或标记点的几何特征的完整坐标数据,记为(x,y)。在获取图像传感器传来的原始图片时,同时将原始图片信息存储至如图4所示的DDR缓存器中,后续通过得出的坐标数据(x,y)在原始图片中对应查找相应像素,并将该像素填充至边沿中,即可得到特征数据。也可以采取其他现有的激光线数据或标记点数据提取方法,实现原始图像中的特征数据提取。
现有的三维扫描系统还很大程度依赖于后端计算机来进行特征数据提取,畸变补偿,温度补偿,匹配等,计算机的算力制约着算法的复杂度,从而限制原始图像的分辨率跟传输帧率。本申请将部分算法前置到硬件端,可以大大减小后端计算机的负担,以匹配更高分辨率,更高带宽的图像传感器。同理,利用本申请,前端设备采集到的原始图像数据的数据量,可以远远超过后端传输介质的带宽上限。具体参见图1,举例如下:
本申请实施例三提供的三维扫描系统,包括上述图像采集模块110和配置的数据压缩模块120,图像采集模块110包括一个或多个相机,数据压缩模块120从相机采集到的原始图像数据中提取到特征数据,然后通过USB3.0物理传输协议将特征数据传输至计算单元130。本实施例中,由于相机采集的原始图像经数据压缩模块120提取特征数据后,只将特征数据传输至计算单元130,所以实现了传输数据的压缩。因此,本实施例中的相机采集的原始图像数据的数据量可以超过USB3.0物理传输协议的带宽上限,即相机的分辨率*扫描帧率*采样位宽≧5Gbps。因此,本实施例提供的三维扫描系统,可以匹配更高分辨率,更高带宽的图像传感器。
同理,本申请实施例四提供的三维扫描系统,包括上述图像采集模块110和配置的数据压缩模块120,图像采集模块110包括一个或多个相机,数据压缩模块120从相机采集到的原始图像数据中提取到特征数据,然后通过千兆网络将特征数据传输至计算单元130。本实施例中,由于相机采集的原始图像经数据压缩模块120提取特征数据并只将特征数据传输至计算单元130,所以实现了传输数据的压缩。因此,本实施例中的相机采集的原始图像数据的数据量可以超过通过千兆网络的带宽上限,即相机的分辨率*扫描帧率*采样位宽≧1Gbps。因此,本实施例提供的三维扫描系统,可以匹配更高分辨率,更高带宽的图像传感器。
同理,本申请实施例五提供的三维扫描系统,包括上述图像采集模块110和配置的数据压缩模块120,图像采集模块110包括一个或多个相机,数据压缩模块120从相机采集到的原始图像数据中提取到特征数据,然后通过USB2.0物理传输协议将特征数据传输至计算单元130。本实施例中,由于相机采集的原始图像经数据压缩模块120提取特征数据并只将特征数据传输至计算单元130,所以实现了传输数据的压缩。因此,本实施例中的相机采集的原始图像数据的数据量可以超过通过USB2.0物理传输协议的带宽上限,即相机的分辨率*扫描帧率*采样位宽≧480Mbps。因此,本实施例提供的三维扫描系统,可以匹配更高分辨率,更高带宽的图像传感器。
上述数据压缩模块120与计算单元130之间的传输手段不局限于USB3.0、USB2.0、或千兆网络,可以根据实际需求带宽灵活选择数据传输手段。利用本申请,前端设备采集到的原始图像数据的数据量,可以远远超过数据压缩模块120与计算单元130之间的传输介质的带宽上限。
进一步地,本申请中的图像采集模块110可以包括多个相机,多个相机作为图像传感器获取原始图像数据,多个相机与数据压缩模块120之间可以一对一配置,即一个相机配置一个数据压缩模块;也可以多对一配置,即多个相机配置一个数据压缩模块。
接下来,参见表一,以图像传感器(相当于图像采集模块110)和处理器(相当于数据压缩模块120)为例,说明单图像传感器配单处理器单元和两颗图像传感器配单处理器单元的具体配置选择。当然,本申请对此并不进行限制,可以根据总带宽灵活的选择处理器单元的规模跟算力。
表一
作为一种可实施方式,参见图5,本申请实施例六提供一种三维扫描系统,包括两个图像传感器111和两个处理器单元123,两个图像传感器111中的每个图像传感器均单独配置一个处理器单元123,处理器单元123通过USB3.0与上位计算机131连接。两个图像传感器111采集的扫描对象的原始图像数据分别经对应的两个处理器单元123提取其中的特征数据实现压缩后,将特征数据经USB集线器汇总,传输至上位计算机131。
作为另一种可实施方式,参见图6,本申请实施例七提供一种三维扫描系统,包括两个图像传感器111和一个处理器单元123,两个图像传感器111共享一个处理器单元123,处理器单元123通过USB3.0与上位计算机131连接。两个图像传感器111采集的扫描对象的原始图像数据经共享的处理器单元123提取其中的特征数据实现压缩后,将特征数据通过USB3.0传输至上位计算机131。
上述图5和图6中的两个图像传感器111可以均是双500万分辨率相机,也可以均是双2500万分辨率相机。常规技术中使用USB3.0的物理传输协议进行数据传输时,如果双相机均采用500万分辨率相机,计算机的触发帧率理论值在40fps左右。本实施例将原本需要在上位计算机131上完成的数据提取部分提前至处理器单元123计算,可以实现在两个相机均采用500万分辨率进行拍摄的情况下,上位计算机131的触发帧率不小于150fps;同理在两个相机均采用2500万分辨率进行拍摄的情况下,上位计算机131的触发帧率不小于100fps。
此外,需要补充说明的是,现有的三维扫描系统,以3D双摄像头扫描仪为例,500万分辨率8bit位宽的单帧图像大小为5MB,用USB3.0的协议传输左右两个相机的原始图像,使用8bit的数据位宽,USB3.0总线按照100%的带宽利用率传输,接口传输速度按照400MB/s计算,500万分辨率的双相机最快只能配置62.5fps 。采用本申请提供的三维扫描系统,在上述两个相机均采用500万分辨率进行拍摄的情况下,同等运行环境中,后端计算机可以实现62.5fps以上的触发帧率,将大大提升扫描效率。
作为另一种可实施方式,参见图7,本申请实施例八提供了一种三维扫描系统,包括两个800分辨率的图像传感器111和一个FPGA124,两个800万分辨率的图像传感器111共享该FPGA124,FPGA124通过USB3.0与PC132连接。接下来,以该三维扫描系统为例,说明两个800万分辨率且传输帧率为100帧/秒的图像传感器111,如何利用FPGA124前置计算来实现高速扫描的方法。
如图7所示,该三维扫描系统的扫描仪不再依赖于完整的成品工业相机,而只需要其中的图像传感器模组,图像传感器111产生原始图像数据,使用板对板连接件以及FPC排线,将采集到的原始图像数据传输给FPGA124,稳定并且高速。接下来,FPGA124再对原始图像数据做最基本的ISP图像质量处理。到这一步基本和成品工业相机类似,不同的是,该方案的FPGA124是同时对接两个图像传感器111。然后通过算法实时地识别图像中的几何标记点数据和激光线坐标数据等特征数据,并只将这部分特征数据按照USB3.0通讯协议打包,发送给PC132进行后续处理。
其中,FPGA124的算法模块负责提取原始图像数据中的特征数据进行传输。以几何标记点为例:双相机,4096×2048的原图,标记点大小以2000个像素计算,假设一幅原始图像内存在100个标记点,都以100帧/s运行,所需的传输带宽约为38MB/s;40线激光,每行每个点8字节,需要的带宽为31.5MB/s。
为了能实现较高帧率的几何标记点和激光线的提取,不同于传统的在PC端进行特征数据提取的处理方式,本实施例利用FPGA124并行处理的特性来实现超过100帧/s的图像处理。图像传感器111在帧率越高的配置下,图像输出的并行数据时钟越快。在上述场景中,传统的在PC端进行特征数据提取的处理方式,一方面通过USB3.0不能实现双800万分辨率图像传感器以100fps的帧率进行原始图像数据传输,即使传输上去,PC端也不具备这样的算力完成相应的三维扫描应用的运算。
而本实施例中,参见图7和图8,FPGA124可以将图像传感器111传输的原始图像数据并行传输处理,每个时钟对应32个像素,水平方向上一行4096个像素可以在128个时钟周期内流水处理完。可以将水平行分成4个区块,每个区块用高速时钟展开后,分别用几何标记点提取算法和激光线提取算法进行处理后,按照先后顺序重新整合,同时对分段交接的位置进行处理,得到准确的特征数据。其中,几何标记点数据的整合可以借助DDR缓存实现,整合后的几何标记点数据和整合后的激光线数据作为特征数据,经过USB数据缓存后,通过USB接口交互传输到PC132,实现高效传输。
接下来,对上述数据压缩模块120如何对图像采集模块110采集到的原始图像数据进行处理,从图像采集模块110采集到的原始图像数据中提取出用于三维建模的特征数据进行具体说明。
在其中的一些实施例中,所述特征数据包括几何特征的坐标数据和像素数据;所述数据压缩模块120实时接收待处理图像,对所述待处理图像进行边沿检测,以获取该待处理图像中存在的几何特征的边沿数据,对所述边沿数据进行连通域处理,以提取所述几何特征的坐标数据;所述数据压缩模块还用于对所述待处理图像进行流水处理,以基于所述坐标数据获取所述待处理图像中对应的像素数据;以及输出所述坐标数据和像素数据用于实时三维建模。
本实施例中的几何特征的坐标数据和像素数据,即为上述原始图像数据中用于后续三维建模的特征数据。其中,几何特征可以是标记点图像、激光线图像等具有一定几何形状的特征图像,比如圆形标记点图案、椭圆形标记点图案、线形激光线图案等。例如,针对扫描对象表面贴标记点,依赖标记点数据进行定位的扫描场景,这里的几何特征指的是标记点图像;再例如,针对跟踪扫描仪在进行三维扫描时,扫描对象表面不需要贴标记点,只需在扫描过程中向扫描对象表面打激光线,依赖激光线数据进行三维重建的扫描场景,这里的几何特征指的是激光线图像;又例如,针对扫描对象表面贴标记点,同时在扫描过程中打激光线,同时依赖标记点数据进行定位,依赖激光线数据进行三维重建的扫描场景,这里的几何特征指的是标记点图像和激光线图像。
上述几何特征的坐标数据,指的是该几何特征在图像内的坐标。几何特征的像素数据,指的是该几何特征内的所有像素点。上述提取原始图像数据中的几何特征的坐标数据和像素数据,目的是获取一副图像里面的完整的几何特征。就单个几何特征而言,完整的几何特征,包括该几何特征内的所有像素点以及该几何特征在图像内的坐标。
进一步地,还可以将从图像采集模块中接收到的原始图像数据,逐帧同步输入预设的边沿检测流程、连通域提取流程、以及流水处理流程,实现原始图像数据中的几何特征的坐标数据和像素数据的同步提取。
从图像传感器传输过来的原始图像数据分两条通道走,一条通道是走边沿检测流程和连通域提取流程,识别图像中的几何特征,并把几何特征所在区域的坐标确定出来,即几何特征的坐标数据;另一条通道走流水处理,流水通道走的也是原图。
流水处理的原理:边沿检测和连通域提取通道识别到多少个框,可以在流水通道设置多少个流水模块,每个流水模块将接收并存储边沿检测和连通域提取通道识别出来的框的坐标数据(也就是几何特征的坐标数据)。原始图像数据以流水模块的排布顺序走下去,会经过每个流水模块。例如,如图9所示,为流水处理的原理示意图,图中流水一、流水二、流水三,分别代表三个流水模块。其中,流水一存储的信息就是需要1-10这10个像素,流水二存储的信息需要100-150这50个像素,流水三存储的信息需要500-520这20个像素,而原图拥有完整的数据,例如0至1000的1000个像素,那么这个完整的数据在经过相应的流水模块就会被截取各自所需的数据(存储的几何特征的坐标数据所对应的像素数据)下来,即原图中的几何特征的像素数据,然后与自身存储的几何特征的坐标数据合并在一起送出去传输。这样,从原本很大的原始图像数据中只截取对三维建模有用的数据,进行传输的数据量就会大大缩减。
为了确保扫描效率,实现实时三维重建,现有的三维扫描系统受限于数据传输能力,只能选择牺牲扫描效果,即采用较低分辨率的相机,以减少采集的原始图像数据的数据量,从而保证传输效率。本申请提供了一种新的解决方案,即在不影响扫描效果的前提下,提高有效数据的传输效率,以满足实时三维重建的需求。
本实施例提供的压缩方法,通过对待处理图像,进行边沿检测,以获取该待处理图像中存在的几何特征的边沿数据,对所述边沿数据进行连通域处理,以提取所述几何特征的坐标数据;同步对所述待处理图像进行流水处理,以基于所述坐标数据获取所述待处理图像中对应的几何特征的像素数据;以及输出所述坐标数据和像素数据用于实时三维建模。在不影响建模结果的前提下,相较于现有技术中直接将原始图像数据传输至后端的计算单元,大大减少了数据的传输量和计算单元的计算量。如此,在图像数据传输速率受限的情况下,扫描仪可以匹配更高分辨率,更高带宽的图像传感器。扫描仪采用高分辨率摄像头获取的原始图像数据,经过几何特征的坐标数据和像素数据提取处理后,可以快速传输到后端进行计算,从而保证三维扫描效率。
在其中的一些实施例中,所述待处理图像包括连续获取的第一帧图像和第二帧图像;所述流水处理包括:基于所述第一帧图像的坐标数据获取在所述第二帧图像中对应的像素数据,用做所述第一帧图像的像素数据。
参见图10,两帧模式的原理如图所示,以标记点作为几何特征为例进行说明。相邻两帧图像中的第一帧和第二帧在高帧率模式下,两帧之间的位移非常小,因为两帧的时间差就很小。虽然第一帧和第二帧同一个标记点会产生位移,但是如图实线的标记点和虚线的标记点,位移是比较小的。本实施例提供的几何特征的坐标数据的提取算法可以根据第一帧的标记点位置给出一个比较大的框,这个框可以覆盖到下一帧移动过的标记点。所以只要移动不是很大,这个框是必定能够完整覆盖下一帧的标记点的,就是即便标记点产生了移动,上一帧的区域仍旧能够找到这个标记点。
在本实施例,利用高帧率模式下,相邻两帧原始图像数据的相似性,以第一帧图像处理完成得到的几何特征的坐标数据作为流水模块的依据,第二帧图像将会经过每个流水模块,即每个几何特征的坐标区域,如果当前的传输的数据处于某个几何特征的坐标区域内部,则该流水模块将拷贝下当前的数据,并将其作为第一帧图像中的几何特征的像素数据输出。数据处理效率高,而且无需使用数据缓存,功耗较低。
参见图11,两帧模式的数据压缩原理如下,从图像采集模块中实时传输过来的原始图像数据同步进入两条通道,一条通道是走边沿检测流程和连通域提取流程,提取当前帧图像(相邻两帧的第一帧图像)中的几何特征的坐标数据后,将提取到的当前帧图像的几何特征的坐标数据输入另一条通道的流水处理流程;另一条通道在接收到流水处理流程输入的几何特征的坐标数据过来后,在流水处理的当前帧图像(相邻两帧的第二帧图像)中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。
例如,原始图像数据按帧传输过来,第一帧图像同步进入上述两条通道,分别为通道一和通道二。通道一对第一帧图像进行边沿检测和连通域提取,提取第一帧图像中的几何特征的坐标数据后,将提取到的第一帧图像的几何特征的坐标数据输入通道二的流水处理流程;在通道一对第一帧图像进行边沿检测和连通域提取同时,因为没有缓存,第一帧图像会直接进入流水处理流程,然而此时并没有第一帧图像中的几何特征的坐标数据,所以不会输出结果。等到通道一对第一帧图像进行边沿检测和连通域提取结束后,将提取到的第一帧图像中的几何特征的坐标数据传输至第二通道进行存储。之后继续同步接收第二帧图像,第二帧图像同步进入上述两条通道,通道一继续对第二帧图像进行边沿检测和连通域提取,提取第一帧图像中的几何特征的坐标数据后与此同时,通道二中接收到了第二帧图像,也存储有第一帧图像中的几何特征的坐标数据,于是基于第一帧图像中的几何特征的坐标数据,在第二帧图像中查找对应位置的像素数据,将查找结果确定为第一帧图像中的几何特征的像素数据。
如此类推,等到通道一对第二帧图像进行边沿检测和连通域提取结束后,将提取到的第二帧图像中的几何特征的坐标数据传输至第二通道进行存储。之后继续同步接收第三帧图像,第三帧图像同步进入上述两条通道。通道一继续对第三帧图像进行边沿检测和连通域提取,提取第三帧图像中的几何特征的坐标数据。与此同时,通道二中接收到了第三帧图像,也存储有第二帧图像中的几何特征的坐标数据,于是基于第二帧图像中的几何特征的坐标数据,在第三帧图像中查找对应位置的像素数据,将查找结果确定为第二帧图像中的几何特征的像素数据。
本实施例,以两帧模式分别获得几何特征的坐标数据和原图数据,加快处理效率,将相邻两帧图像中的第一帧图像的几何特征的坐标数据以流水模块形式铺开,不会产生延迟,提升了原始图像数据处理效率。
在其中的一些实施例中,所述待处理图像为获取的当前帧图像;其中,所述当前帧图像缓存至存储器中;在进行流水处理前,实时从所述存储器中读取所述当前帧图像;所述流水处理包括:基于所述当前帧图像的坐标数据获取所述当前帧图像中对应的像素数据,用做所述当前帧图像的像素数据。
本实施例提供一种单帧模式的数据压缩方法,具体地,在实时接收原始图像数据后,可以将当前接收到的原始图像帧依次同步输入至预设的边沿检测流程和流水处理流程。由于流水处理流程要依赖于连通域提取输出的坐标数据,所以在接收到原始图像数据后,可以先对进行边沿检测和连通域提取的当前帧图像的原图进行缓存。接下来,等边沿检测和连通域提取流程完成当前帧图像的几何特征的坐标数据提取后,将当前帧图像的几何特征的坐标数据输入流水处理流程。这样,就可以实现基于当前帧图像的几何特征的坐标数据在当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。最后,将当前帧图像中的几何特征的坐标数据和像素数据合并,按照约定协议将数据传输至预先关联的计算单元。
参见图12,单帧模式的数据压缩原理为:从图像采集模块中实时传输过来的原始图像数据进入两条通道,一条通道是走边沿检测和连通域提取流程,提取当前帧图像中的几何特征的坐标数据后,将提取到的当前帧图像的几何特征的坐标数据输入另一条通道的流水处理流程;另一条通道先对当前帧图像进行DDR缓存,等到流水处理流程获取到几何特征的坐标数据后,在当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。
例如,原始图像数据按帧传输过来,第一帧图像同步进入上述两条通道,分别为通道一和通道二。通道一对第一帧图像进行边沿检测和连通域提取,提取第一帧图像中的几何特征的坐标数据后,将提取到的第一帧图像的几何特征的坐标数据输入另一条通道的流水处理流程;通道二对接收到的第一帧图像进行DDR缓存,等到流水处理流程接收到第一帧图像中的几何特征的坐标数据后,在第一帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为第一帧图像中的几何特征的像素数据。
通道一中,针对第一帧图像进行的边沿检测和连通域提取结束后,就可以继续接收第二帧图像。与此同时,通道二可能还在针对第一帧图像进行流水处理,刚好两个通道相互配合,互不影响。等通道二针对第一帧图像进行流水处理,提取到的第一帧图像的几何特征的像素数据输出后,就可以继续基于接收到的第二帧图像中的几何特征的坐标数据,在缓存的第二帧图像中查找对应位置的像素数据,将查找结果确定为第二帧图像中的几何特征的像素数据。参照此过程,完成每一帧原始图像数据的处理。
本实施例中,借助缓存,分别获得几何特征的坐标数据和像素数据,大大提升了处理效率。
在其中的一些实施例中,对所述待处理图像的多个行同步进行边沿检测,以获取所述边沿数据。
在其中的一些实施例中,将所述待处理图像的每一行像素分成多个均等段,并对该多个均等段的边沿数据同步进行连通域处理,以获取所述坐标数据。
以FPGA作为处理器为例,由于前端图像采集模块采集到的原始图像数据传输一般是多通道并行传输,数据传入FPGA之后通过串并转换,使用单通道进行数据处理,由于前端输入的数据量远大于后端数据处理量,在不把后端数据处理时钟大幅提升的情况下,就需要对数据进行分布式并行处理。
具体地,可以设置四个并行的处理模块,每个处理模块处理一行数据,依次轮询,遍历该行每个像素寻找边沿,寻找到边沿后记录下边沿数据,并标识每行结束信号。需要说明的是,并行处理模块在使用边沿数据进行连通域处理时,不再按照每行进行处理,因为连通域处理需要上下行连续信息,所以可以将每行进行四等分并行处理,连通域处理完成,即可得到特征区域的坐标数据。
在其中的一些实施例中,所述边沿检测包括:遍历每一行的图像数据,记录下每个像素的灰度值;以当前像素为中心,往前以及往后寻找相同个数的像素形成像素群,对像素群的灰度值取均值,以获得像素群均值;实时计算前一像素群均值与后一像素群差值的灰度梯度;以及将所述灰度梯度与梯度阈值比较,以确定所述几何特征的关于上升沿和下降沿的边沿数据。
本实施例以当前像素为中心,往前以及往后寻找相同个数的像素,将该像素群的灰度值取均值,然后计算灰度梯度,最终得到几何特征的上升沿和下降沿,过滤了突变的波动,进一步提高了边沿识别的稳定性。
在其中的一些实施例中,所述连通域处理包括:遍历当前帧图像的所有边沿数据;如果检测到一个边沿数据与另一个边沿数据存在重合,则合并两个边沿,并更新坐标数据;如果检测到有边沿数据不再更新坐标信息,则认为该边沿数据完成了和周围边沿的连通域处理。
本实施例采用二值化数据连通域处理,遍历所有的输入数据,如果检测到边沿数据,记录下该边沿信息并记录为0,之后检测到的边沿数据依次累加,并存储下当前边沿的坐标信息。如果检测到边沿数据与已经检测到的边沿数据有重合,则合并两个边沿,并更新坐标信息。如果检测到一个边沿不再更新新的信息,则认为该边沿完成和周围边沿的连通域处理,输出该连通域。能够准确快读的实现连通域提取。
不同于传统的对图像传感器采集的原始图像数据的无损压缩,本实施例利用三维扫描仪的特定原理,即只需要几何特征的像素数据和坐标数据,作为特征数据,辅助介入进行三维建模,从而选择合适的处理器对扫描对象的原始图像数据进行处理,从中提取出用于三维建模的几何特征的像素数据和坐标数据,传输至预先关联的后端的计算单元,以供计算单元进行实时三维建模。相较于现有技术中直接将原始图像数据传输至后端的计算单元,大大减少了数据的传输量和计算单元的计算量。如此,在图像数据传输速率受限的情况下,扫描仪可以匹配更高分辨率,更高带宽的图像传感器。扫描仪采用高分辨率摄像头获取的原始图像数据,经过几何特征的坐标数据和像素数据提取处理后,可以快速传输到后端进行计算,从而保证三维扫描效率。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (16)
1.一种三维扫描系统,其特征在于,包括图像采集模块和数据压缩模块;
所述图像采集模块,用于采集扫描对象的原始图像数据;
所述数据压缩模块,用于从所述图像采集模块采集到的所述原始图像数据中提取出用于三维建模的特征数据,并将提取到的所述特征数据传输至预先关联的计算单元,以供所述计算单元进行实时三维建模;
所述特征数据包括几何特征的坐标数据和像素数据;
所述数据压缩模块实时接收待处理图像,对所述待处理图像进行边沿检测,以获取该待处理图像中存在的几何特征的边沿数据,对所述边沿数据进行连通域处理,以提取所述几何特征的坐标数据;所述数据压缩模块还用于对所述待处理图像进行流水处理,以基于所述坐标数据获取所述待处理图像中对应的像素数据;以及输出所述坐标数据和像素数据用于实时三维建模;
其中,所述待处理图像包括连续获取的第一帧图像和第二帧图像;所述流水处理包括:基于所述第一帧图像的坐标数据获取在所述第二帧图像中对应的像素数据,用做所述第一帧图像的像素数据;
或,所述待处理图像为获取的当前帧图像;其中,所述当前帧图像缓存至存储器中;在进行流水处理前,实时从所述存储器中读取所述当前帧图像;所述流水处理包括:基于所述当前帧图像的坐标数据获取所述当前帧图像中对应的像素数据,用做所述当前帧图像的像素数据。
2.根据权利要求1所述的三维扫描系统,其特征在于,所述图像采集模块包括相机;
所述相机与所述数据压缩模块一对一配置,或所述相机与所述数据压缩模块多对一配置。
3.根据权利要求2所述的三维扫描系统,其特征在于,所述数据压缩模块通过USB3.0物理传输协议与所述计算单元进行数据传输,所述相机的分辨率*扫描帧率*采样位宽≧5Gbps。
4.根据权利要求2所述的三维扫描系统,其特征在于,所述数据压缩模块通过千兆网络与所述计算单元进行数据传输,所述相机的分辨率*扫描帧率*采样位宽≧1Gbps。
5.根据权利要求2所述的三维扫描系统,其特征在于,所述数据压缩模块通过USB2.0物理传输协议与所述计算单元进行数据传输,所述相机的分辨率*扫描帧率*采样位宽≧480Mbps。
6.根据权利要求1所述的三维扫描系统,其特征在于,所述图像采集模块包括两个相机;所述数据压缩模块将从所述两个相机采集到的所述原始图像数据中提取到的所述特征数据,通过USB3.0物理传输协议传输至所述计算单元;
在所述两个相机均采用500万分辨率进行拍摄的情况下,所述计算单元的触发帧率大于或等于150fps;
在所述两个相机均采用2500万分辨率进行拍摄的情况下,所述计算单元的触发帧率大于或等于100fps。
7.根据权利要求1所述的三维扫描系统,其特征在于,所述图像采集模块包括两个相机;所述数据压缩模块将从所述两个相机采集到的所述原始图像数据中提取到的所述特征数据,通过USB3.0物理传输协议传输至所述计算单元;
在所述两个相机均采用500万分辨率进行拍摄的情况下,所述计算单元的触发帧率大于62.5fps。
8.根据权利要求1所述的三维扫描系统,其特征在于,所述数据压缩模块的数据压缩比为所述数据压缩模块接收到的所述原始图像数据的数据量,与所述数据压缩模块输出的所述特征数据的数据量之比;其中,在所述图像采集模块采集的原始图像数据满足以下条件时,所述数据压缩比为80:所述原始图像数据中包括100个标记点,或所述原始图像数据中包括20线至30线激光线。
9.根据权利要求1至权利要求8任一项所述的三维扫描系统,其特征在于,所述特征数据为所述原始图像数据中的标记点数据和/或激光线数据。
10.根据权利要求1至权利要求8任一项所述的三维扫描系统,其特征在于,所述特征数据为所述原始图像数据中的标记点几何中心坐标和/或激光线几何中心坐标。
11.根据权利要求1至权利要求8任一项所述的三维扫描系统,其特征在于,所述系统还包括所述计算单元;
所述计算单元,用于根据所述数据压缩模块传输的所述特征数据进行三维建模。
12.根据权利要求1至权利要求8任一项所述的三维扫描系统,其特征在于,所述数据压缩模块包括ISP单元和特征提取单元;
所述ISP单元,用于对所述图像采集模块采集到的所述原始图像数据进行输出信号处理后,进行缓存;
所述特征提取单元,用于从缓存的所述原始图像数据中提取出用于三维建模的所述特征数据,并将提取到的所述特征数据传输至预先关联的所述计算单元。
13.根据权利要求1至权利要求8任一项所述的三维扫描系统,其特征在于:
对所述待处理图像的多个行同步进行边沿检测,以获取所述边沿数据。
14.根据权利要求1至权利要求8任一项所述的三维扫描系统,其特征在于:
将所述待处理图像的每一行像素分成多个均等段,并对该多个均等段的边沿数据同步进行连通域处理,以获取所述坐标数据。
15.根据权利要求1至权利要求8任一项所述的三维扫描系统,其特征在于:
所述边沿检测包括:遍历每一行的图像数据,记录下每个像素的灰度值;以当前像素为中心,往前以及往后寻找相同个数的像素形成像素群,对像素群的灰度值取均值,以获得像素群均值;实时计算前一像素群均值与后一像素群差值的灰度梯度;以及将所述灰度梯度与梯度阈值比较,以确定所述几何特征的关于上升沿和下降沿的边沿数据。
16.根据权利要求1至权利要求8任一项所述的三维扫描系统,其特征在于:
所述连通域处理包括:遍历当前帧图像的所有边沿数据;如果检测到一个边沿数据与另一个边沿数据存在重合,则合并两个边沿,并更新坐标数据;如果检测到有边沿数据不再更新坐标信息,则认为该边沿数据完成了和周围边沿的连通域处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211721160.6A CN115695763B (zh) | 2022-12-30 | 2022-12-30 | 一种三维扫描系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211721160.6A CN115695763B (zh) | 2022-12-30 | 2022-12-30 | 一种三维扫描系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115695763A CN115695763A (zh) | 2023-02-03 |
CN115695763B true CN115695763B (zh) | 2023-04-07 |
Family
ID=85056967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211721160.6A Active CN115695763B (zh) | 2022-12-30 | 2022-12-30 | 一种三维扫描系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115695763B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116933445B (zh) * | 2023-09-15 | 2023-12-12 | 工业云制造(四川)创新中心有限公司 | 面向模锻设备的数字孪生模型构建方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016153603A1 (en) * | 2015-03-23 | 2016-09-29 | Intel Corporation | Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes |
WO2017125507A1 (en) * | 2016-01-19 | 2017-07-27 | Zivid Labs As | Imaging unit and system for obtaining a three-dimensional image |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104501740B (zh) * | 2014-12-18 | 2017-05-10 | 杭州鼎热科技有限公司 | 一种基于标记点轨迹跟踪的手持激光三维扫描方法及设备 |
CN114627249B (zh) * | 2022-05-13 | 2022-10-21 | 思看科技(杭州)股份有限公司 | 三维扫描系统及三维扫描方法 |
-
2022
- 2022-12-30 CN CN202211721160.6A patent/CN115695763B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016153603A1 (en) * | 2015-03-23 | 2016-09-29 | Intel Corporation | Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes |
WO2017125507A1 (en) * | 2016-01-19 | 2017-07-27 | Zivid Labs As | Imaging unit and system for obtaining a three-dimensional image |
Non-Patent Citations (2)
Title |
---|
Rui li等.Multi-scale 3D scene flow from binocular stereo sequences.《Computer vision and image understanding》.2007,全文. * |
王琦艺.三维成像技术及其在多核DSP实现的研究.《中国优秀硕士学位论文全文数据库》.2018,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN115695763A (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115695763B (zh) | 一种三维扫描系统 | |
CN115205489A (zh) | 一种大场景下的三维重建方法、系统及装置 | |
CN102510448B (zh) | 多处理器嵌入式图像采集和处理方法和装置 | |
CN102857739A (zh) | 分布式全景监控系统及其方法 | |
CN103279952A (zh) | 一种目标跟踪方法和装置 | |
CN106019307A (zh) | 一种基于阵列光源的单像素成像系统及方法 | |
CN102509255B (zh) | 高速图像采集和处理方法和装置 | |
CN109871813B (zh) | 一种实时图像跟踪方法及系统 | |
CN104992424A (zh) | 一种基于离散余弦变换的单像素快速主动成像系统 | |
KR100461339B1 (ko) | 영상데이터 전송장치 및 방법 | |
KR101083824B1 (ko) | 스테레오 카메라 시스템 및 이를 이용한 시차검출방법 | |
WO2023217036A1 (zh) | 三维扫描系统及三维扫描方法 | |
CN110414558A (zh) | 基于事件相机的特征点匹配方法 | |
CN109660762A (zh) | 智能抓拍装置中大小图关联方法及装置 | |
CN102608579A (zh) | 一种sar数据接收处理系统及方法 | |
CN103167306A (zh) | 一种基于图像匹配的高分辨率深度图实时提取装置及方法 | |
CN214587004U (zh) | 一种立体匹配加速电路、图像处理器及三维成像电子设备 | |
CN105554592A (zh) | 一种实现高帧率视频图像采集传输的方法及系统 | |
JP2001266128A (ja) | 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体 | |
CN116310105B (zh) | 基于多视图的物体三维重建方法、装置、设备及存储介质 | |
CN115690333B (zh) | 一种三维扫描方法及系统 | |
KR100795974B1 (ko) | 스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치 | |
CN106954029A (zh) | 一种全景视频拼接方法及系统 | |
CN115410261A (zh) | 面部识别异构数据关联解析系统 | |
Milani | Compression of multiple user photo galleries |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |