CN115690333B - 一种三维扫描方法及系统 - Google Patents
一种三维扫描方法及系统 Download PDFInfo
- Publication number
- CN115690333B CN115690333B CN202211719890.2A CN202211719890A CN115690333B CN 115690333 B CN115690333 B CN 115690333B CN 202211719890 A CN202211719890 A CN 202211719890A CN 115690333 B CN115690333 B CN 115690333B
- Authority
- CN
- China
- Prior art keywords
- data
- geometric feature
- geometric
- original image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种三维扫描方法及系统,该方法通过对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取所述原始图像数据中的几何特征的坐标数据;对原始图像数据进行流水检测,以基于几何特征的坐标数据,提取原始图像数据中的几何特征的像素数据;最后,将几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供计算单元进行实时三维建模。本申请在不影响建模结果的前提下,相较于现有技术中直接将原始图像数据传输至后端的计算单元,大大减少了数据的传输量和计算单元的计算量,从而保证三维扫描效率。
Description
技术领域
本申请涉及三维扫描技术领域,特别是涉及一种三维扫描方法及系统。
背景技术
现有的三维扫描系统,通常利用前端的相机等图像采集模块采集扫描对象的原始图像数据,然后将图像采集模块获取到的原始图像数据传输至后端PC(个人计算机)等计算单元进行数据处理以及后续识别、匹配、和重建等操作。相机和计算单元之间传输的都是原始图像数据,数据传输量很大。
目前,越来越多的高分辨率相机应用在三维扫描系统中,以实现更清晰的扫描效果。以3D双摄像头扫描仪为例,500万分辨率8bit位宽的单帧图像大小为5MB,用USB3.0的协议传输左右两个相机的原始图像,使用8bit的数据位宽,USB3.0总线估算约70%的带宽利用率,接口传输速度按照400MB/s计算,500万分辨率的双相机只能配置40fps(Frames PerSecond,每秒传输帧数)。可见,在三维扫描系统中,前端所图像采集模块获取的原始图像数据以这样的传输速度至后端PC,无法保证高帧率运行,而且后端PC计算压力大,严重制约了三维扫描效率。
针对相关技术中存在直接将图像采集模块获取的原图数据传输至pc进行数据处理以及后续识别、匹配、重建操作,由于前后端传输的数据量很大,严重制约三维扫描效率的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种三维扫描方法及系统,以解决相关技术中采用高分辨率相机时无法保证三维扫描效率的问题。
第一个方面,在本实施例中提供了一种三维扫描方法,该方法包括以下步骤:
对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取所述原始图像数据中的几何特征的坐标数据;
对所述原始图像数据进行流水检测,以基于所述几何特征的坐标数据,提取所述原始图像数据中的所述几何特征的像素数据;
将所述几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供所述计算单元进行实时三维建模。
在其中的一些实施例中,所述对所述原始图像数据进行流水检测,以基于所述几何特征的坐标数据,提取所述原始图像数据中的所述几何特征的像素数据,包括:
对所述原始图像数据中进行几何特征检测的当前帧图像的原图进行缓存;
基于所述当前帧图像的几何特征的坐标数据,在所述当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为所述当前帧图像中的几何特征的像素数据。
在其中的一些实施例中,所述对所述原始图像数据进行流水检测,以基于所述几何特征的坐标数据,提取所述原始图像数据中的所述几何特征的像素数据,包括:
基于相邻两帧图像中的第一帧图像中的几何特征的坐标数据,在所述相邻两帧图像中的第二帧图像中查找对应位置的像素数据,将查找结果确定为所述第一帧图像中的几何特征的像素数据。
在其中的一些实施例中,所述对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取所述原始图像数据中的几何特征的坐标数据,包括以下步骤:
检测所述原始图像数据中的所述几何特征的边沿信息;
对检测到的所述几何特征的边沿信息,进行连通域提取,以得到所述几何特征的坐标数据。
在其中的一些实施例中,在所述几何特征的边沿信息的检测过程中,针对图像中的多行像素,同步检测所述几何特征的边沿信息。
在其中的一些实施例中,在所述连通域提取的过程中,将图像中的每一行像素划分为均等长度的多段像素,并对所述多段像素中的边沿数据同步进行连通域提取。
在其中的一些实施例中,检测所述原始图像数据中的所述几何特征的边沿信息,包括以下步骤:
遍历当前帧图像中的每一行像素,记录每个像素的灰度值;
以当前像素为中心,往前以及往后寻找相同个数的像素,形成像素群,并对所述像素群的灰度值取均值;
实时计算前一个像素群的灰度值均值与后一个像素群的灰度值均值之间的差值,得到灰度梯度;
如果连续两个所述灰度梯度符合上升沿梯度阈值,则确定为所述几何特征的上升沿;如果连续两个所述灰度梯度符合下降沿梯度阈值,则确定为所述几何特征的下降沿。
在其中的一些实施例中,所述根据检测到的所述几何特征的边沿信息,进行连通域提取,得到所述几何特征的坐标数据,包括以下步骤:
遍历当前帧图像中的图像数据,检测所述图像数据中的所述几何特征的边沿信息,并根据检测结果确定所述几何特征的边沿坐标;
在检测到存在至少两个所述几何特征的边沿坐标发生重合的情况下,对发生重合的所述几何特征的边沿坐标进行合并,并对应更新所述发生重合的几何特征的边沿坐标;在检测到所述几何特征的边沿信息不再更新的情况下,确认所述几何特征的边沿和周围边沿的连通域处理完成,输出连通域;
根据所述几何特征的边沿和周围边沿的连通域,以及所述几何特征的边沿坐标,得到所述前帧图像中的几何特征的坐标数据。
在其中的一些实施例中,对所述原始图像数据,逐帧同步进行所述几何特征检测和所述流水检测。
第二个方面,在本实施例中提供了一种三维扫描系统,包括坐标数据提取模块、像素数据提取模块、以及数据传输模块;
所述坐标数据提取模块,用于对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取所述原始图像数据中的几何特征的坐标数据;
所述像素数据提取模块,用于对所述原始图像数据进行流水检测,以基于所述几何特征的坐标数据,提取所述原始图像数据中的所述几何特征的像素数据;
所述数据传输模块,用于将所述几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供所述计算单元进行实时三维建模。
在其中一些实施例中,所述像素数据提取模块包括缓存单元和第一查找单元;
所述缓存单元,用于对所述原始图像数据中进行几何特征检测的当前帧图像的原图进行缓存;
所述第一查找单元,用于基于所述当前帧图像的几何特征的坐标数据,在所述当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为所述当前帧图像中的几何特征的像素数据。
在其中一些实施例中,所述像素数据提取模块包括第二查找单元;
所述第二查找单元,用于基于相邻两帧图像中的第一帧图像中的几何特征的坐标数据,在所述相邻两帧图像中的第二帧图像中查找对应位置的像素数据,将查找结果确定为所述第一帧图像中的几何特征的像素数据。
在其中一些实施例中,所述坐标数据提取模块包括边沿检测单元和连通域提取单元;
所述边沿检测单元,用于检测所述原始图像数据中的所述几何特征的边沿信息;
所述连通域提取单元,用于对检测到的所述几何特征的边沿信息,进行连通域提取,以得到所述几何特征的坐标数据。
在其中一些实施例中,在所述几何特征的边沿信息的检测过程中,针对图像中的多行像素,同步检测所述几何特征的边沿信息。
在其中一些实施例中,在所述连通域提取的过程中,将图像中的每一行像素划分为均等长度的多段像素,并对所述多段像素中的边沿数据同步进行连通域提取。
在其中一些实施例中,所述边沿检测单元包括第一像素遍历子单元、均值计算子单元、灰度梯度计算子单元、以及边沿确定子单元;
所述第一像素遍历子单元,用于遍历当前帧图像中的每一行像素,记录每个像素的灰度值;
所述均值计算子单元,用于以当前像素为中心,往前以及往后寻找相同个数的像素,形成像素群,并对所述像素群的灰度值取均值;
所述灰度梯度计算子单元,用于实时计算前一个像素群的灰度值均值与后一个像素群的灰度值均值之间的差值,得到灰度梯度;
所述边沿确定子单元,用于如果连续两个所述灰度梯度符合上升沿梯度阈值,则确定为所述几何特征的上升沿;如果连续两个所述灰度梯度符合下降沿梯度阈值,则确定为所述几何特征的下降沿。
在其中一些实施例中,所述连通域提取单元包括第二像素遍历子单元、连通域计算子单元、以及坐标计算子单元;
所述第二像素遍历子单元,用于遍历当前帧图像中的图像数据,检测所述图像数据中的所述几何特征的边沿信息,并根据检测结果确定所述几何特征的边沿坐标;
所述连通域计算子单元,用于在检测到存在至少两个所述几何特征的边沿坐标发生重合的情况下,对发生重合的所述几何特征的边沿坐标进行合并,并对应更新所述发生重合的几何特征的边沿坐标;在检测到所述几何特征的边沿信息不再更新的情况下,确认所述几何特征的边沿和周围边沿的连通域处理完成,输出连通域;
所述坐标计算子单元,用于根据所述几何特征的边沿和周围边沿的连通域,以及所述几何特征的边沿坐标,得到所述前帧图像中的几何特征的坐标数据。
在其中一些实施例中,对所述原始图像数据,逐帧同步进行所述几何特征检测和所述流水检测。
第三个方面,在本实施例中提供了一种三维扫描装置,包括图像采集模块、计算单元、以及上述实施例中提供的三维扫描系统;
所述图像采集模块用于采集扫描对象的原始图像数据;
所述三维扫描系统中的所述坐标数据提取模块和所述像素数据提取模块,集成在所述图像采集模块中;
所述图像采集模块与所述计算单元,通过所述三维扫描系统中的所述数据传输模块连接;
所述计算单元用于接收所述数据传输模块传输的所述几何特征的坐标数据和像素数据,进行实时三维建模。
在其中一些实施例中,所述像素数据提取模块包括缓存单元和第一查找单元;
所述缓存单元,用于对所述原始图像数据中进行几何特征检测的当前帧图像的原图进行缓存;
所述第一查找单元,用于基于所述当前帧图像的几何特征的坐标数据,在所述当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为所述当前帧图像中的几何特征的像素数据。
在其中一些实施例中,所述像素数据提取模块包括第二查找单元;
所述第二查找单元,用于基于相邻两帧图像中的第一帧图像中的几何特征的坐标数据,在所述相邻两帧图像中的第二帧图像中查找对应位置的像素数据,将查找结果确定为所述第一帧图像中的几何特征的像素数据。
在其中一些实施例中,所述坐标数据提取模块包括边沿检测单元和连通域提取单元;
所述边沿检测单元,用于检测所述原始图像数据中的所述几何特征的边沿信息;
所述连通域提取单元,用于对检测到的所述几何特征的边沿信息,进行连通域提取,以得到所述几何特征的坐标数据。
在其中一些实施例中,在所述几何特征的边沿信息的检测过程中,针对图像中的多行像素,同步检测所述几何特征的边沿信息。
在其中一些实施例中,在所述连通域提取的过程中,将图像中的每一行像素划分为均等长度的多段像素,并对所述多段像素中的边沿数据同步进行连通域提取。
在其中一些实施例中,所述边沿检测单元包括第一像素遍历子单元、均值计算子单元、灰度梯度计算子单元、以及边沿确定子单元;
所述第一像素遍历子单元,用于遍历当前帧图像中的每一行像素,记录每个像素的灰度值;
所述均值计算子单元,用于以当前像素为中心,往前以及往后寻找相同个数的像素,形成像素群,并对所述像素群的灰度值取均值;
所述灰度梯度计算子单元,用于实时计算前一个像素群的灰度值均值与后一个像素群的灰度值均值之间的差值,得到灰度梯度;
所述边沿确定子单元,用于如果连续两个所述灰度梯度符合上升沿梯度阈值,则确定为所述几何特征的上升沿;如果连续两个所述灰度梯度符合下降沿梯度阈值,则确定为所述几何特征的下降沿。
在其中一些实施例中,所述连通域提取单元包括第二像素遍历子单元、连通域计算子单元、以及坐标计算子单元;
所述第二像素遍历子单元,用于遍历当前帧图像中的图像数据,检测所述图像数据中的所述几何特征的边沿信息,并根据检测结果确定所述几何特征的边沿坐标;
所述连通域计算子单元,用于在检测到存在至少两个所述几何特征的边沿坐标发生重合的情况下,对发生重合的所述几何特征的边沿坐标进行合并,并对应更新所述发生重合的几何特征的边沿坐标;在检测到所述几何特征的边沿信息不再更新的情况下,确认所述几何特征的边沿和周围边沿的连通域处理完成,输出连通域;
所述坐标计算子单元,用于根据所述几何特征的边沿和周围边沿的连通域,以及所述几何特征的边沿坐标,得到所述前帧图像中的几何特征的坐标数据。
在其中一些实施例中,对所述原始图像数据,逐帧同步进行所述几何特征检测和所述流水检测。
第四个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的三维扫描方法。
第五个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的三维扫描方法。
与相关技术相比,本实施例提供的三维扫描方法及系统,通过对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取所述原始图像数据中的几何特征的坐标数据;对所述原始图像数据进行流水检测,以基于所述几何特征的坐标数据,提取所述原始图像数据中的所述几何特征的像素数据;最后,将所述几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供所述计算单元进行实时三维建模。在不影响建模结果的前提下,相较于现有技术中直接将原始图像数据传输至后端的计算单元,大大减少了数据的传输量和计算单元的计算量。如此,在图像数据传输速率受限的情况下,扫描仪可以匹配更高分辨率,更高带宽的图像传感器。扫描仪采用高分辨率摄像头获取的原始图像数据,经过几何特征的坐标数据和像素数据提取处理后,可以快速传输到后端进行计算,从而保证三维扫描效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例一提供的三维扫描方法的终端的硬件结构框图;
图2是本申请实施例二提供的三维扫描方法的流程示意图;
图3是本申请实施例提供的三维扫描方法中的流水检测原理示意图;
图4是本申请实施例三提供的三维扫描方法的原理示意图;
图5是本申请实施例提供的两帧模式示意图;
图6是本申请实施例四提供的三维扫描方法的原理示意图;
图7是本申请实施例五提供的三维扫描系统的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本实施例一提供的三维扫描方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的三维扫描方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本申请实施例二提供了一种三维扫描方法,图2是本实施例一提供的三维扫描方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取原始图像数据中的几何特征的坐标数据;
步骤S202,对原始图像数据进行流水检测,以基于几何特征的坐标数据,提取原始图像数据中的几何特征的像素数据;
步骤S203,将几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供计算单元进行实时三维建模。
通常相机等图像采集模块采集的原始图像数据中不仅包括扫描对象本身的背景图像数据和用于三维建模的特征数据,还可能包括补光灯或者灰尘等拍摄环境中的其他干扰物体的投影图像数据。然而针对扫描对象的后续三维建模,只需要其中的特征数据。
本实施例中的几何特征的坐标数据和像素数据,即为上述原始图像数据中用于后续三维建模的特征数据。其中,几何特征可以是标记点图像、激光线图像等具有一定几何形状的特征图像,比如圆形标记点图案、椭圆形标记点图案、线形激光线图案等。例如,针对扫描对象表面贴标记点,依赖标记点数据进行定位的扫描场景,这里的几何特征指的是标记点图像;再例如,针对跟踪扫描仪在进行三维扫描时,扫描对象表面不需要贴标记点,只需在扫描过程中向扫描对象表面打激光线,依赖激光线数据进行三维重建的扫描场景,这里的几何特征指的是激光线图像;又例如,针对扫描对象表面贴标记点,同时在扫描过程中打激光线,同时依赖标记点数据进行定位,依赖激光线数据进行三维重建的扫描场景,这里的几何特征指的是标记点图像和激光线图像。
上述几何特征的坐标数据,指的是该几何特征在图像内的坐标。几何特征的像素数据,指的是该几何特征内的所有像素点。上述步骤S201和步骤S202中,提取原始图像数据中的几何特征的坐标数据和像素数据,目的是获取一副图像里面的完整的几何特征。就单个几何特征而言,完整的几何特征,包括该几何特征内的所有像素点以及该几何特征在图像内的坐标。
具体地,在步骤S201中,可以实时接收原始图像数据,利用边沿检测算法得到几何特征的边沿信息,再通过连通域提取出几何特征的完整的坐标数据。进而将得到的每一帧图像的几何特征的坐标数据输入对应的流水检测流程。
具体地,在步骤S202中,可以实时接收原始图像数据以及S201中提取的几何特征的坐标数据,使用几何特征的坐标数据,在对应的原始图像数据的相应位置找出坐标位置处的原图像素数据,实现几何特征的像素数据提取。
最后,在步骤S203中,将几何特征的坐标数据和像素数据合并,按照约定协议将数据传输至预先关联的PC等计算单元,以供计算单元进行实时三维建模。
进一步地,还可以将从图像采集模块中接收到的原始图像数据,逐帧同步输入预设的几何特征检测流程和流水检测流程,实现原始图像数据中的几何特征的坐标数据和像素数据的同步提取。
从图像传感器传输过来的原始图像数据分两条通道走,一条通道是走几何特征检测流程,识别图像中的几何特征,并把几何特征所在区域的坐标确定出来,即几何特征的坐标数据;另一条通道走流水检测,流水通道走的也是原图。
流水检测的原理:几何特征检测通道识别到多少个框,可以在流水通道设置多少个流水模块,每个流水模块将接收并存储几何特征检测通道识别出来的框的坐标数据(也就是几何特征的坐标数据)。原始图像数据以流水模块的排布顺序走下去,会经过每个流水模块。例如,如图3所示,为流水检测的原理示意图,图中流水一、流水二、流水三,分别代表三个流水模块。其中,流水一存储的信息就是需要1-10这10个像素,流水二存储的信息需要100-150这50个像素,流水三存储的信息需要500-520这20个像素,而原图拥有完整的数据,例如0至1000的1000个像素,那么这个完整的数据在经过相应的流水模块就会被截取各自所需的数据(存储的几何特征的坐标数据所对应的像素数据)下来,即原图中的几何特征的像素数据,然后与自身存储的几何特征的坐标数据合并在一起送出去传输。这样,从原本很大的原始图像数据中只截取对三维建模有用的数据,进行传输的数据量就会大大缩减。
为了确保扫描效率,实现实时三维重建,现有的三维扫描系统受限于数据传输能力,只能选择牺牲扫描效果,即采用较低分辨率的相机,以减少采集的原始图像数据的数据量,从而保证传输效率。本申请提供了一种新的解决方案,即在不影响扫描效果的前提下,提高有效数据的传输效率,以满足实时三维重建的需求。
本实施例提供的三维扫描方法,通过对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取原始图像数据中的几何特征的坐标数据;对原始图像数据进行流水检测,以基于几何特征的坐标数据,提取原始图像数据中的几何特征的像素数据;最后,将几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供计算单元进行实时三维建模。在不影响建模结果的前提下,相较于现有技术中直接将原始图像数据传输至后端的计算单元,大大减少了数据的传输量和计算单元的计算量。如此,在图像数据传输速率受限的情况下,扫描仪可以匹配更高分辨率,更高带宽的图像传感器。扫描仪采用高分辨率摄像头获取的原始图像数据,经过几何特征的坐标数据和像素数据提取处理后,可以快速传输到后端进行计算,从而保证三维扫描效率。
在其中一个实施例中,步骤S202包括:
对原始图像数据中进行几何特征检测的当前帧图像的原图进行缓存;基于当前帧图像中的几何特征的坐标数据,在当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。
具体地,在实时接收原始图像数据后,可以将当前接收到的原始图像帧依次同步输入至预设的几何特征检测流程和流水检测流程。由于流水检测流程要依赖于几何特征检测输出的坐标数据,所以在接收到原始图像数据后,可以先对进行几何特征检测的当前帧图像的原图进行缓存。接下来,等几何特征检测流程完成当前帧图像的几何特征的坐标数据提取后,将当前帧图像的几何特征的坐标数据输入流水检测流程。这样,就可以实现基于当前帧图像的几何特征的坐标数据在当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。最后,将当前帧图像中的几何特征的坐标数据和像素数据合并,按照约定协议将数据传输至预先关联的计算单元。
参见图4,本申请实施例三提供了一种三维扫描方法,从图像采集模块中实时传输过来的原始图像数据进入两条通道,一条通道是走几何特征检测流程,提取当前帧图像中的几何特征的坐标数据后,将提取到的当前帧图像的几何特征的坐标数据输入另一条通道的流水检测流程;另一条通道先对当前帧图像进行DDR缓存,等到流水检测流程接收到几何特征的坐标数据后,在当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。
例如,原始图像数据按帧传输过来,第一帧图像同步进入上述两条通道,分别为通道一和通道二。通道一对第一帧图像进行几何特征检测,提取第一帧图像中的几何特征的坐标数据后,将提取到的第一帧图像的几何特征的坐标数据输入另一条通道的流水检测流程;通道二对接收到的第一帧图像进行DDR缓存,等到流水检测流程接收到第一帧图像中的几何特征的坐标数据后,在第一帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为第一帧图像中的几何特征的像素数据。
通道一中,针对第一帧图像进行的几何特征检测结束后,就可以继续接收第二帧图像。与此同时,通道二可能还在针对第一帧图像进行流水检测,刚好两个通道相互配合,互不影响。等通道二针对第一帧图像进行流水检测,提取到的第一帧图像的几何特征的像素数据输出后,就可以继续基于接收到的第二帧图像中的几何特征的坐标数据,在缓存的第二帧图像中查找对应位置的像素数据,将查找结果确定为第二帧图像中的几何特征的像素数据。参照此过程,完成每一帧原始图像数据的处理。
本实施例中,借助缓存,分别获得几何特征的坐标数据和像素数据,大大提升了处理效率。
在其中另一个实施例中,步骤S202包括:
基于相邻两帧图像中的第一帧图像中的几何特征的坐标数据,在相邻两帧图像中的第二帧图像中查找对应位置的像素数据,将查找结果确定为第一帧图像中的几何特征的像素数据。
参见图5,两帧模式的原理如图所示,以标记点作为几何特征为例进行说明。相邻两帧图像中的第一帧和第二帧在高帧率模式下,两帧之间的位移非常小,因为两帧的时间差就很小。虽然第一帧和第二帧同一个标记点会产生位移,但是如图实线的标记点和虚线的标记点,位移是比较小的。本实施例提供的几何特征的坐标数据的提取算法可以根据第一帧的标记点位置给出一个比较大的框,这个框可以覆盖到下一帧移动过的标记点。所以只要移动不是很大,这个框是必定能够完整覆盖下一帧的标记点的,就是即便标记点产生了移动,上一帧的区域仍旧能够找到这个标记点。
在本实施例,利用高帧率模式下,相邻两帧原始图像数据的相似性,以第一帧图像处理完成得到的几何特征的坐标数据作为流水模块的依据,第二帧图像将会经过每个流水模块,即每个几何特征的坐标区域,如果当前的传输的数据处于某个几何特征的坐标区域内部,则该流水模块将拷贝下当前的数据,并将其作为第一帧图像中的几何特征的像素数据输出。数据处理效率高,而且无需使用数据缓存,功耗较低。
参见图6,本申请实施例四提供了一种三维扫描方法,从图像采集模块中实时传输过来的原始图像数据同步进入两条通道,一条通道是走几何特征检测流程,提取几何特征检测的当前帧图像(相邻两帧的第一帧图像)中的几何特征的坐标数据后,将提取到的当前帧图像的几何特征的坐标数据输入另一条通道的流水检测流程;另一条通道在接收到流水检测流程输入的几何特征的坐标数据过来后,在流水检测的当前帧图像(相邻两帧的第二帧图像)中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。
例如,原始图像数据按帧传输过来,第一帧图像同步进入上述两条通道,分别为通道一和通道二。通道一对第一帧图像进行几何特征检测,提取第一帧图像中的几何特征的坐标数据后,将提取到的第一帧图像的几何特征的坐标数据输入通道二的流水检测流程;在通道一对第一帧图像进行几何特征检测同时,因为没有缓存,第一帧图像会直接进入流水检测流程,然而此时并没有第一帧图像中的几何特征的坐标输入,所以不会输出结果。等到通道一对第一帧图像进行几何特征检测结束后,将提取到的第一帧图像中的几何特征的坐标数据传输至第二通道进行存储。之后继续同步接收第二帧图像,第二帧图像同步进入上述两条通道,通道一继续对第二帧图像进行几何特征检测,提取第一帧图像中的几何特征的坐标数据后与此同时,通道二中接收到了第二帧图像,也存储有第一帧图像中的几何特征的坐标数据,于是基于第一帧图像中的几何特征的坐标数据,在第二帧图像中查找对应位置的像素数据,将查找结果确定为第一帧图像中的几何特征的像素数据。
如此类推,等到通道一对第二帧图像进行几何特征检测结束后,将提取到的第二帧图像中的几何特征的坐标数据传输至第二通道进行存储。之后继续同步接收第三帧图像,第三帧图像同步进入上述两条通道。通道一继续对第三帧图像进行几何特征检测,提取第三帧图像中的几何特征的坐标数据。与此同时,通道二中接收到了第三帧图像,也存储有第二帧图像中的几何特征的坐标数据,于是基于第二帧图像中的几何特征的坐标数据,在第三帧图像中查找对应位置的像素数据,将查找结果确定为第二帧图像中的几何特征的像素数据。
本实施例,以两帧模式分别获得几何特征的坐标数据和原图数据,加快处理效率,去除对缓存的依赖,将相邻两帧图像中的第一帧图像的几何特征的坐标数据以流水模块形式铺开,不会产生延迟,提升了原始图像数据处理效率。
在其中另一个实施例中,步骤S201包括:
步骤S301、检测原始图像数据中的几何特征的边沿信息;
步骤S302、对检测到的几何特征的边沿信息,进行连通域提取,以得到几何特征的坐标数据。
优选地,在上述几何特征的边沿信息的检测过程中,可以针对图像中的多行像素,同步检测几何特征的边沿信息。
相应地,在上述连通域提取的过程中,可以将图像中的每一行像素划分为均等长度的多段像素,并对多段像素中的边沿数据同步进行连通域提取。
以FPGA作为处理器为例,由于前端图像采集模块采集到的原始图像数据传输一般是多通道并行传输,数据传入FPGA之后通过串并转换,使用单通道进行数据处理,由于前端输入的数据量远大于后端数据处理量,在不把后端数据处理时钟大幅提升的情况下,就需要对数据进行分布式并行处理。
具体地,可以设置四个并行的处理模块,每个处理模块处理一行数据,依次轮询,遍历该行每个像素寻找边沿,寻找到边沿后记录下边沿数据,并标识每行结束信号。需要说明的是,并行处理模块在使用边沿数据进行连通域处理时,不再按照每行进行处理,因为连通域处理需要上下行连续信息,所以可以将每行进行四等分并行处理,连通域处理完成,即可得到特征区域的坐标数据。
本实施例中的分布式同步数据处理,可以提升图像数据处理效率,降低数据处理时钟频率,可以使得系统更加稳定准确。
进一步地,在其中一个实施例中,步骤S301检测原始图像数据中的几何特征的边沿信息,可以通过以下方法实现:
步骤S401、遍历当前帧图像中的每一行像素,记录每个像素的灰度值;
步骤S402、以当前像素为中心,往前以及往后寻找相同个数的像素,形成像素群,并对像素群的灰度值取均值;
步骤S403、实时计算前一个像素群的灰度值均值与后一个像素群的灰度值均值之间的差值,得到灰度梯度;
步骤S404、如果连续两个灰度梯度符合上升沿梯度阈值,则确定为几何特征的上升沿;如果连续两个灰度梯度符合下降沿梯度阈值,则确定为几何特征的下降沿。
本实施例以当前像素为中心,往前以及往后寻找相同个数的像素,将该像素群的灰度值取均值,然后计算灰度梯度,最终得到几何特征的上升沿和下降沿,过滤了突变的波动,进一步提高了边沿识别的稳定性。
进一步地,步骤S302对检测到的几何特征的边沿信息,进行连通域提取,以得到几何特征的坐标数据,可以通过以下方法实现:
步骤S501、遍历当前帧图像中的图像数据,检测图像数据中的几何特征的边沿信息,并根据检测结果确定几何特征的边沿坐标;
步骤S502、在检测到存在至少两个几何特征的边沿坐标发生重合的情况下,对发生重合的几何特征的边沿坐标进行合并,并对应更新发生重合的几何特征的边沿坐标;在检测到几何特征的边沿信息不再更新的情况下,确认几何特征的边沿和周围边沿的连通域处理完成,输出连通域;
步骤S503、根据几何特征的边沿和周围边沿的连通域,以及几何特征的边沿坐标,得到前帧图像中的几何特征的坐标数据。
本实施例采用二值化数据连通域处理,遍历所有的输入数据,如果检测到边沿数据,记录下该边沿信息并记录为0,之后检测到的边沿数据依次累加,并存储下当前边沿的坐标信息。如果检测到边沿数据与已经检测到的边沿数据有重合,则合并两个边沿,并更新坐标信息。如果检测到一个边沿不再更新新的信息,则认为该边沿完成和周围边沿的连通域处理,输出该连通域。能够准确快读的实现连通域提取。
不同于传统的对图像传感器采集的原始图像数据的无损压缩,本申请利用三维扫描仪的特定原理,即只需要几何特征的像素数据和坐标数据辅助介入进行三维建模,从而选择合适的处理器对扫描对象的原始图像数据进行处理,从中提取出用于三维建模的几何特征的像素数据和坐标数据,传输至预先关联的后端的计算单元,以供计算单元进行实时三维建模。相较于现有技术中直接将原始图像数据传输至后端的计算单元,大大减少了数据的传输量和计算单元的计算量。如此,在图像数据传输速率受限的情况下,扫描仪可以匹配更高分辨率,更高带宽的图像传感器。扫描仪采用高分辨率摄像头获取的原始图像数据,经过几何特征的坐标数据和像素数据提取处理后,可以快速传输到后端进行计算,从而保证三维扫描效率。
进一步地,本申请克服了在FPGA上实现原始图像数据中的几何特征的像素数据和坐标数据提取的技术壁垒。不同于传统的PC端的处理方式,本申请利用FPGA并行的特性,在前端高效实现原始图像数据中的几何特征的像素数据和特征数据提取,经过经USB或者网络接口交互传输到PC端。
参见图7,本申请实施例五提供了一种三维扫描系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
如图7所示,本实施例提供的三维扫描系统,包括坐标数据提取模块71、像素数据提取模块72、以及数据传输模块73;
其中,坐标数据提取模块71,用于对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取原始图像数据中的几何特征的坐标数据;像素数据提取模块72,用于对原始图像数据进行流水检测,以基于几何特征的坐标数据,提取原始图像数据中的几何特征的像素数据;数据传输模块73,用于将几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供计算单元进行实时三维建模。
进一步地,在其中一些实施例中,像素数据提取模块72包括缓存单元和第一查找单元;
缓存单元,用于对原始图像数据中进行几何特征检测的当前帧图像的原图进行缓存;
第一查找单元,用于基于当前帧图像的几何特征的坐标数据,在当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。
进一步地,在其中一些实施例中,像素数据提取模块72包括第二查找单元;
第二查找单元,用于基于相邻两帧图像中的第一帧图像中的几何特征的坐标数据,在相邻两帧图像中的第二帧图像中查找对应位置的像素数据,将查找结果确定为第一帧图像中的几何特征的像素数据。
进一步地,在其中一些实施例中,坐标数据提取模块71包括边沿检测单元和连通域提取单元;
边沿检测单元,用于检测原始图像数据中的几何特征的边沿信息;
连通域提取单元,用于对检测到的几何特征的边沿信息,进行连通域提取,以得到几何特征的坐标数据。
进一步地,在其中一些实施例中,在几何特征的边沿信息的检测过程中,针对图像中的多行像素,同步检测几何特征的边沿信息。
进一步地,在其中一个实施例中,在连通域提取的过程中,将图像中的每一行像素划分为均等长度的多段像素,并对多段像素中的边沿数据同步进行连通域提取。
进一步地,在其中一些实施例中,边沿检测单元包括第一像素遍历子单元、均值计算子单元、灰度梯度计算子单元、以及边沿确定子单元;
第一像素遍历子单元,用于遍历当前帧图像中的每一行像素,记录每个像素的灰度值;
均值计算子单元,用于以当前像素为中心,往前以及往后寻找相同个数的像素,形成像素群,并对像素群的灰度值取均值;
灰度梯度计算子单元,用于实时计算前一个像素群的灰度值均值与后一个像素群的灰度值均值之间的差值,得到灰度梯度;
边沿确定子单元,用于如果连续两个灰度梯度符合上升沿梯度阈值,则确定为几何特征的上升沿;如果连续两个灰度梯度符合下降沿梯度阈值,则确定为几何特征的下降沿。
进一步地,在其中一些实施例中,连通域提取单元包括第二像素遍历子单元、连通域计算子单元、以及坐标计算子单元;
第二像素遍历子单元,用于遍历当前帧图像中的图像数据,检测图像数据中的几何特征的边沿信息,并根据检测结果确定几何特征的边沿坐标;
连通域计算子单元,用于在检测到存在至少两个几何特征的边沿坐标发生重合的情况下,对发生重合的几何特征的边沿坐标进行合并,并对应更新发生重合的几何特征的边沿坐标;在检测到几何特征的边沿信息不再更新的情况下,确认几何特征的边沿和周围边沿的连通域处理完成,输出连通域;
坐标计算子单元,用于根据几何特征的边沿和周围边沿的连通域,以及几何特征的边沿坐标,得到前帧图像中的几何特征的坐标数据。
进一步地,在其中一些实施例中,对原始图像数据,逐帧同步进行几何特征检测和流水检测。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本申请实施例六提供了一种三维扫描装置,该装置包括图像采集模块、计算单元、以及上述任一项的三维扫描系统。
其中,图像采集模块用于采集扫描对象的原始图像数据;三维扫描系统中的坐标数据提取模块和像素数据提取模块,集成在图像采集模块中;图像采集模块与计算单元,通过三维扫描系统中的数据传输模块连接;计算单元用于接收数据传输模块传输的几何特征的坐标数据和像素数据,进行实时三维建模。
以500万像素双摄像头扫描仪为例,采用500万分辨率8bit位宽的单帧图像大小为5MB,利用USB3.0的协议传输左右两个相机的原始图像,使用8bit的数据位宽,按照100%的带宽利用率(未计算有限带宽折算,实际很难达到)计算,500万分辨率的双相机最大只能配置62.5fps。采用本实施例提供的三维扫描装置,传输的数据从原始图像数据替换成几何特征的坐标数据和像素数据,数据量可以从不小于每秒500MB,减小到几十MB,实现等同于10倍甚至以上的数据压缩比传输效果。同时,由于提前提取了三维建模所需的数据,也很大程度上减小了后端计算单元对于算力的要求,比如cpu的主频、线程数、内存的大小、显卡的性能等,从而实现更高效的建模。
假设拍摄的原始图片大小是20M,其中有100个标记点:设定每个标记点大小为长50像素,宽50像素,则经三维扫描系统处理后需要传输的几何特征的坐标数据和像素数据是0.25M,这种情况下数据压缩比为20/0.25=80。
再例如,图像采集模块采集的原始图像数据中包括100个标记点,或原始图像数据中包括20线激光线至30线激光线,数据压缩比为20M/(2500*100 +25*2000*4)= 45。
本申请提供的三维扫描装置,通过从原始图像数据中提取出用于三维建模的数据,只将提取到的数据传输至后端进行建模计算,实现传输数据压缩,压缩比最大可达到5000左右,在不影响建模结果的前提下,大大减少了后端数据的传输量和计算量。如此,在图像数据传输速率受限的情况下,扫描仪可以匹配更高分辨率,更高带宽的图像传感器。扫描仪采用高分辨率摄像头获取的数据经过提取几何特征的坐标数据和像素数据,用于建模的数据可以快速传输到后端进行计算,从而保证三维扫描效率。
本申请实施例七提供了一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行上述任一实施例的三维扫描方法。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取原始图像数据中的几何特征的坐标数据;
对原始图像数据进行流水检测,以基于几何特征的坐标数据,提取原始图像数据中的几何特征的像素数据;
将几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供计算单元进行实时三维建模。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
对原始图像数据中进行几何特征检测的当前帧图像的原图进行缓存;
基于当前帧图像的几何特征的坐标数据,在当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
基于相邻两帧图像中的第一帧图像中的几何特征的坐标数据,在相邻两帧图像中的第二帧图像中查找对应位置的像素数据,将查找结果确定为第一帧图像中的几何特征的像素数据。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
检测原始图像数据中的几何特征的边沿信息;
对检测到的几何特征的边沿信息,进行连通域提取,以得到几何特征的坐标数据。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:在几何特征的边沿信息的检测过程中,针对图像中的多行像素,同步检测几何特征的边沿信息。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:在连通域提取的过程中,将图像中的每一行像素划分为均等长度的多段像素,并对多段像素中的边沿数据同步进行连通域提取。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:遍历当前帧图像中的每一行像素,记录每个像素的灰度值;
以当前像素为中心,往前以及往后寻找相同个数的像素,形成像素群,并对像素群的灰度值取均值;
实时计算前一个像素群的灰度值均值与后一个像素群的灰度值均值之间的差值,得到灰度梯度;
如果连续两个灰度梯度符合上升沿梯度阈值,则确定为几何特征的上升沿;如果连续两个灰度梯度符合下降沿梯度阈值,则确定为几何特征的下降沿。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:遍历当前帧图像中的图像数据,检测图像数据中的几何特征的边沿信息,并根据检测结果确定几何特征的边沿坐标;
在检测到存在至少两个几何特征的边沿坐标发生重合的情况下,对发生重合的几何特征的边沿坐标进行合并,并对应更新发生重合的几何特征的边沿坐标;在检测到几何特征的边沿信息不再更新的情况下,确认几何特征的边沿和周围边沿的连通域处理完成,输出连通域;
根据几何特征的边沿和周围边沿的连通域,以及几何特征的边沿坐标,得到前帧图像中的几何特征的坐标数据。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:对原始图像数据,逐帧同步进行几何特征检测和流水检测。
此外,结合上述实施例中提供的三维扫描方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种三维扫描方法。
本申请实施例八提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例的三维扫描方法。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取原始图像数据中的几何特征的坐标数据;
对原始图像数据进行流水检测,以基于几何特征的坐标数据,提取原始图像数据中的几何特征的像素数据;
将几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供计算单元进行实时三维建模。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
对原始图像数据中进行几何特征检测的当前帧图像的原图进行缓存;
基于当前帧图像的几何特征的坐标数据,在当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为当前帧图像中的几何特征的像素数据。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
基于相邻两帧图像中的第一帧图像中的几何特征的坐标数据,在相邻两帧图像中的第二帧图像中查找对应位置的像素数据,将查找结果确定为第一帧图像中的几何特征的像素数据。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:
检测原始图像数据中的几何特征的边沿信息;
对检测到的几何特征的边沿信息,进行连通域提取,以得到几何特征的坐标数据。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:在几何特征的边沿信息的检测过程中,针对图像中的多行像素,同步检测几何特征的边沿信息。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:在连通域提取的过程中,将图像中的每一行像素划分为均等长度的多段像素,并对多段像素中的边沿数据同步进行连通域提取。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:遍历当前帧图像中的每一行像素,记录每个像素的灰度值;
以当前像素为中心,往前以及往后寻找相同个数的像素,形成像素群,并对像素群的灰度值取均值;
实时计算前一个像素群的灰度值均值与后一个像素群的灰度值均值之间的差值,得到灰度梯度;
如果连续两个灰度梯度符合上升沿梯度阈值,则确定为几何特征的上升沿;如果连续两个灰度梯度符合下降沿梯度阈值,则确定为几何特征的下降沿。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:遍历当前帧图像中的图像数据,检测图像数据中的几何特征的边沿信息,并根据检测结果确定几何特征的边沿坐标;
在检测到存在至少两个几何特征的边沿坐标发生重合的情况下,对发生重合的几何特征的边沿坐标进行合并,并对应更新发生重合的几何特征的边沿坐标;在检测到几何特征的边沿信息不再更新的情况下,确认几何特征的边沿和周围边沿的连通域处理完成,输出连通域;
根据几何特征的边沿和周围边沿的连通域,以及几何特征的边沿坐标,得到前帧图像中的几何特征的坐标数据。
可选地,在本实施例中,上述处理器还可以被设置为通过计算机程序执行以下步骤:对原始图像数据,逐帧同步进行几何特征检测和流水检测。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种三维扫描方法,其特征在于,包括以下步骤:
对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取所述原始图像数据中的几何特征的坐标数据;
对所述原始图像数据进行流水检测,以基于所述几何特征的坐标数据,提取所述原始图像数据中的所述几何特征的像素数据;
将所述几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供所述计算单元进行实时三维建模;
其中,所述对所述原始图像数据进行流水检测,以基于所述几何特征的坐标数据,提取所述原始图像数据中的所述几何特征的像素数据,包括:
对所述原始图像数据中进行几何特征检测的当前帧图像的原图进行缓存;
基于所述当前帧图像的几何特征的坐标数据,在所述当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为所述当前帧图像中的几何特征的像素数据;
或,所述对所述原始图像数据进行流水检测,以基于所述几何特征的坐标数据,提取所述原始图像数据中的所述几何特征的像素数据,包括:
基于相邻两帧图像中的第一帧图像中的几何特征的坐标数据,在所述相邻两帧图像中的第二帧图像中查找对应位置的像素数据,将查找结果确定为所述第一帧图像中的几何特征的像素数据。
2.根据权利要求1所述的三维扫描方法,其特征在于,所述对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取所述原始图像数据中的几何特征的坐标数据,包括以下步骤:
检测所述原始图像数据中的所述几何特征的边沿信息;
对检测到的所述几何特征的边沿信息,进行连通域提取,以得到所述几何特征的坐标数据。
3.根据权利要求2所述的三维扫描方法,其特征在于,在所述几何特征的边沿信息的检测过程中,针对图像中的多行像素,同步检测所述几何特征的边沿信息。
4.根据权利要求2所述的三维扫描方法,其特征在于,在所述连通域提取的过程中,将图像中的每一行像素划分为均等长度的多段像素,并对所述多段像素中的边沿数据同步进行连通域提取。
5.根据权利要求2所述的三维扫描方法,其特征在于,所述检测所述原始图像数据中的所述几何特征的边沿信息,包括以下步骤:
遍历当前帧图像中的每一行像素,记录每个像素的灰度值;
以当前像素为中心,往前以及往后寻找相同个数的像素,形成像素群,并对所述像素群的灰度值取均值;
实时计算前一个像素群的灰度值均值与后一个像素群的灰度值均值之间的差值,得到灰度梯度;
如果连续两个所述灰度梯度符合上升沿梯度阈值,则确定为所述几何特征的上升沿;如果连续两个所述灰度梯度符合下降沿梯度阈值,则确定为所述几何特征的下降沿。
6.根据权利要求2所述的三维扫描方法,其特征在于,根据检测到的所述几何特征的边沿信息,进行连通域提取,得到所述几何特征的坐标数据,包括以下步骤:
遍历当前帧图像中的图像数据,检测所述图像数据中的所述几何特征的边沿信息,并根据检测结果确定所述几何特征的边沿坐标;
在检测到存在至少两个所述几何特征的边沿坐标发生重合的情况下,对发生重合的所述几何特征的边沿坐标进行合并,并对应更新所述发生重合的几何特征的边沿坐标;在检测到所述几何特征的边沿信息不再更新的情况下,确认所述几何特征的边沿和周围边沿的连通域处理完成,输出连通域;
根据所述几何特征的边沿和周围边沿的连通域,以及所述几何特征的边沿坐标,得到所述前帧图像中的几何特征的坐标数据。
7.根据权利要求1所述的三维扫描方法,其特征在于:
对所述原始图像数据,逐帧同步进行所述几何特征检测和所述流水检测。
8.一种三维扫描系统,其特征在于,包括坐标数据提取模块、像素数据提取模块、以及数据传输模块;
所述坐标数据提取模块,用于对图像采集模块采集到的扫描对象的原始图像数据,进行几何特征检测,以提取所述原始图像数据中的几何特征的坐标数据;
所述像素数据提取模块,用于对所述原始图像数据进行流水检测,以基于所述几何特征的坐标数据,提取所述原始图像数据中的所述几何特征的像素数据;
所述数据传输模块,用于将所述几何特征的坐标数据和像素数据,传输至预先关联的计算单元,以供所述计算单元进行实时三维建模;
其中,所述像素数据提取模块包括缓存单元和第一查找单元;
所述缓存单元,用于对所述原始图像数据中进行几何特征检测的当前帧图像的原图进行缓存;
所述第一查找单元,用于基于所述当前帧图像的几何特征的坐标数据,在所述当前帧图像的缓存图像中查找对应位置的像素数据,将查找结果确定为所述当前帧图像中的几何特征的像素数据;
或,所述像素数据提取模块包括第二查找单元;
所述第二查找单元,用于基于相邻两帧图像中的第一帧图像中的几何特征的坐标数据,在所述相邻两帧图像中的第二帧图像中查找对应位置的像素数据,将查找结果确定为所述第一帧图像中的几何特征的像素数据。
9.一种三维扫描装置,其特征在于,包括图像采集模块、计算单元、以及权利要求8所述的三维扫描系统;
所述图像采集模块用于采集扫描对象的原始图像数据;
所述三维扫描系统中的所述坐标数据提取模块和所述像素数据提取模块,集成在所述图像采集模块中;
所述图像采集模块与所述计算单元,通过所述三维扫描系统中的所述数据传输模块连接;
所述计算单元用于接收所述数据传输模块传输的所述几何特征的坐标数据和像素数据,进行实时三维建模。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211719890.2A CN115690333B (zh) | 2022-12-30 | 2022-12-30 | 一种三维扫描方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211719890.2A CN115690333B (zh) | 2022-12-30 | 2022-12-30 | 一种三维扫描方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115690333A CN115690333A (zh) | 2023-02-03 |
CN115690333B true CN115690333B (zh) | 2023-04-28 |
Family
ID=85057460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211719890.2A Active CN115690333B (zh) | 2022-12-30 | 2022-12-30 | 一种三维扫描方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115690333B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113223047A (zh) * | 2021-03-05 | 2021-08-06 | 兰州大学 | 一种基于fpga的模板匹配目标追踪方法及追踪系统 |
CN113409384A (zh) * | 2021-08-17 | 2021-09-17 | 深圳市华汉伟业科技有限公司 | 一种目标物体的位姿估计方法和系统、机器人 |
CN114627249A (zh) * | 2022-05-13 | 2022-06-14 | 杭州思看科技有限公司 | 三维扫描系统及三维扫描方法 |
CN115439607A (zh) * | 2022-09-01 | 2022-12-06 | 中国民用航空总局第二研究所 | 一种三维重建方法、装置、电子设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100177A (ja) * | 2003-09-25 | 2005-04-14 | Sony Corp | 画像処理装置およびその方法 |
CN108510520B (zh) * | 2018-02-13 | 2019-03-08 | 视辰信息科技(上海)有限公司 | 一种图像处理方法、装置及ar设备 |
CN112446229B (zh) * | 2019-08-27 | 2024-07-16 | 北京地平线机器人技术研发有限公司 | 一种标志杆的像素坐标获取方法及装置 |
CN111563919B (zh) * | 2020-04-03 | 2023-12-29 | 深圳市优必选科技股份有限公司 | 目标跟踪方法、装置、计算机可读存储介质及机器人 |
CN114739405A (zh) * | 2022-02-28 | 2022-07-12 | 杭州思看科技有限公司 | 扫描路径调整方法、装置、自动化扫描系统和计算机设备 |
-
2022
- 2022-12-30 CN CN202211719890.2A patent/CN115690333B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113223047A (zh) * | 2021-03-05 | 2021-08-06 | 兰州大学 | 一种基于fpga的模板匹配目标追踪方法及追踪系统 |
CN113409384A (zh) * | 2021-08-17 | 2021-09-17 | 深圳市华汉伟业科技有限公司 | 一种目标物体的位姿估计方法和系统、机器人 |
CN114627249A (zh) * | 2022-05-13 | 2022-06-14 | 杭州思看科技有限公司 | 三维扫描系统及三维扫描方法 |
CN115439607A (zh) * | 2022-09-01 | 2022-12-06 | 中国民用航空总局第二研究所 | 一种三维重建方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
Rui li等.Multi-scale 3D scene flow from binocular stereo sequences.《Computer vision and image understanding》.2007,全文. * |
王琦艺.三维成像技术及其在多核DSP实现的研究.《中国优秀硕士学位论文全文数据库》.2018,全文. * |
雷海军 ; 魏兴华 ; 胡晓鹏 ; 罗秋明 ; 陆克中 ; .可重构三维激光彩色扫描仪.湖南工程学院学报(自然科学版).2008,(03),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN115690333A (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10914576B2 (en) | Handheld large-scale three-dimensional measurement scanner system simultaneously having photogrammetric and three-dimensional scanning functions | |
EP2951788B1 (en) | Real-time 3d reconstruction with power efficient depth sensor usage | |
WO2022021912A1 (zh) | 一种低功耗立体匹配系统及获取深度信息的方法 | |
CN115205489A (zh) | 一种大场景下的三维重建方法、系统及装置 | |
CN108076338A (zh) | 图像视觉处理方法、装置及设备 | |
CN111815742A (zh) | 一种车道线生成方法及系统 | |
CN108234966A (zh) | 一种基于嵌入式平台的实时全景视频拼接系统 | |
CN103279952A (zh) | 一种目标跟踪方法和装置 | |
CN116468786B (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
CN114627249B (zh) | 三维扫描系统及三维扫描方法 | |
CN115695763B (zh) | 一种三维扫描系统 | |
CN110514198B (zh) | 一种基于计算机视觉技术的前后端架构地图定位方法 | |
WO2022237368A1 (zh) | 点云模型处理方法、装置及可读存储介质 | |
CN102608579A (zh) | 一种sar数据接收处理系统及方法 | |
CN110321888B (zh) | 一种基于fpga的星载红外小目标检测方法 | |
CN115690333B (zh) | 一种三维扫描方法及系统 | |
Zhang et al. | MobiDepth: Real-time depth estimation using on-device dual cameras | |
JP2001266128A (ja) | 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体 | |
Ren et al. | Hierarchical prior mining for non-local multi-view stereo | |
CN105554592A (zh) | 一种实现高帧率视频图像采集传输的方法及系统 | |
CN116863083A (zh) | 变电站三维点云数据的处理方法和装置 | |
KR100795974B1 (ko) | 스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치 | |
KR101178015B1 (ko) | 시차 맵 생성 방법 | |
Li et al. | DualBEV: CNN is All You Need in View Transformation | |
CN114419189A (zh) | 地图构建方法及装置、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |