CN113487719A - 基于事件相机的高速结构光三维重建系统及重建方法 - Google Patents

基于事件相机的高速结构光三维重建系统及重建方法 Download PDF

Info

Publication number
CN113487719A
CN113487719A CN202110642890.6A CN202110642890A CN113487719A CN 113487719 A CN113487719 A CN 113487719A CN 202110642890 A CN202110642890 A CN 202110642890A CN 113487719 A CN113487719 A CN 113487719A
Authority
CN
China
Prior art keywords
event
camera
dimensional reconstruction
projector
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110642890.6A
Other languages
English (en)
Other versions
CN113487719B (zh
Inventor
张越一
熊志伟
黄雪岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110642890.6A priority Critical patent/CN113487719B/zh
Publication of CN113487719A publication Critical patent/CN113487719A/zh
Application granted granted Critical
Publication of CN113487719B publication Critical patent/CN113487719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于事件相机的高速结构光三维重建方法，所述三维重建方法包括：产生随机散斑，通过投影仪将所述随机散斑投影到目标物体表面经反射后触发事件，产生事件流；对于事件相机接收到的所述事件流，采用自适应事件帧提取算法，将事件流转化为图片帧的形式；将包含目标物体的数据提取的事件帧作为形变帧；将另一组不包含目标物体的数据提取的事件帧作为参考帧，计算所述参考帧和所述形变帧之间的像素偏移；通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体的三维点云，完成三维重建。

Description

基于事件相机的高速结构光三维重建系统及重建方法
技术领域
本发明涉及计算机图像处理领域，尤其涉及一种基于事件相机的高速 结构光三维重建系统及重建方法。
背景技术
结构光系统通常由投影仪和相机组成，通过投影仪投射含有特定结构 信息的图片模板到物体表面，再由相机同步采集相应的图片。通过对比原 始图片模板与经过物体反射而产生偏移的图片模板，从而计算出物体的位 置和深度信息。传统结构光系统受限于相机的有限传输带宽(扫描速度通 常为每秒30帧到60帧)，远远达不到高速三维测量的要求。而利用了高 速相机的结构光系统虽然能达到高速测量的效果，但是其昂贵的价格和高 功耗的缺点也往往令人诟病。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于事件相机的高速结构 光三维重建系统及重建方法，以期部分地解决上述技术问题中的至少之一。
为了实现上述目的，作为本发明的一方面，提供了一种基于事件相机 的高速结构光三维重建方法，所述三维重建方法包括：
产生随机散斑，通过投影仪将所述随机散斑投影到目标物体表面经反 射后触发事件，产生事件流；
对于事件相机接收到的所述事件流，采用自适应事件帧提取算法，将 事件流转化为图片帧的形式；
将包含目标物体的数据提取的事件帧作为形变帧；将另一组不包含目 标物体的数据提取的事件帧作为参考帧，计算所述参考帧和所述形变帧之 间的像素偏移；
通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体 的三维点云，完成三维重建。
其中，所述事件相机和所述投影仪在使用前需要进行标定。
其中，所述事件相机将事件以事件流的形式存储为二进制文件，其中， 所述事件相机的工作频率为100MHz。
其中，所述参考帧和所述形变帧之间的像素偏移是通过数字图像相关 算法计算得到的。
其中，所述触发事件的关键是在每个投影周期中加入一定比例的非投 影时间，即通过固定频率地开启和关闭投影仪的控制开关，使物体表面产 生亮暗变化，从而触发事件。
其中，所述自适应事件帧提取算法以行为单位，统计事件流中相邻且 行数相同的事件数，当某一行事件数大于给定阈值时，设此行数的时间戳 为初始扫描时间tbegin，行数为r。然后接着扫描直到当前扫描的行数大于r， 记录此时的行时间戳tend。将所有时间戳在范围[tbegin,tend)内的事件进行提取 并转换成图片帧的形式。
其中，所述自适应事件帧提取算法包括：依据事件的二维位置将对应 的像素点设为255，如果某个像素点没有对应的事件则设为0。
作为本发明的另一方面，提供了一种基于事件相机的高速结构光三维 重建系统，包括投影仪和事件相机。
其中，所述投影仪使用型号为德州电子TI-DLP6500的投影仪。
其中，所述事件相机使用型号为芯仑CeleX-V的事件相机。
基于上述技术方案可知，本发明的基于事件相机的高速结构光三维重 建系统及重建方法相对于现有技术至少具有如下有益效果的一部分：
本发明与其他基于事件相机的结构光系统相比，大大提高了系统的扫 描速度和精度，达到了1000fps的扫描速度，在一米的距离上，三维重建 精度为0.27mm。
附图说明
图1为本发明实施例提供的基于事件相机的高速结构光三维重建方法 的流程图。
具体实施方式
事件相机(Event Camera)是一种新型的仿视网膜机制的传感器，它能 响应局部的亮度变化，具有低延迟(1微秒)、高动态范围(140dB)、低 功耗(1mW)等优势。事件相机的这些特性十分适合应用到结构光领域。 然后事件相机独特的成像机制阻碍其进一步应用到结构光系统中。近几年， 国外出现了一些基于事件相机的结构光系统的相关研究：Brandli等人利用 激光以固定频率闪烁地投射到物体表面来触发事件，然后通过激光按行扫 描物体从而恢复物体的三维结果；Mangalore等人利用投影仪连续投影移 动条纹的方式来触发事件，该方法等效于并行地按线扫描。然而这些现有 的基于事件相机的结构光系统并没有利用到事件相机的低延时特性，他们 需要多次投影才能实现一次有效重建，这大大降低了结构光系统的扫描频 率。
本发明的目的在于搭建一套基于事件相机的高速结构光系统并从事 件相机产生的事件流中提取物体的三维信息。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实 施例，并参照附图，对本发明作进一步的详细说明。
如图1所示，为基于事件相机的高速结构光三维重建方法的流程图。 该方法具体包括：
产生随机散斑，通过投影仪将所述随机散斑投影到目标物体表面经反 射后触发事件，产生事件流；
对于事件相机接收到的所述事件流，采用自适应事件帧提取算法，将 事件流转化为图片帧的形式；
将包含目标物体的数据提取的事件帧作为形变帧；将另一组不包含目 标物体的数据提取的事件帧作为参考帧，计算所述参考帧和所述形变帧之 间的像素偏移；
通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体 的三维点云，完成三维重建。
在本发明进一步的实施例中，首先通过业界已有的算法产生随机散斑， 并通过投影仪高速投影该随机散斑到物体表面。其中触发事件的关键是在 每个投影周期中加入一定比例的非投影时间，即通过固定频率地开启和关 闭投影仪的控制开关，使物体表面产生亮暗变化，从而触发事件。
在本发明进一步的实施例中，对于接收到的事件流，本发明提出了一 种自适应事件帧提取算法，将事件流转化为图片帧的形式，便于利用图像 处理算法得到三维信息。由于事件相机容易受到外界噪声干扰，因此其输 出的事件分布往往带有随机性，因此无法利用传统结构光系统常用的触发 线来实现硬同步，而本发明的事件帧提取算法可以实现事件相机与投影仪 的软同步。该算法对事件流定义为Es，Es是事件e＝(x，y，p，t)的集合，其中 (x，y)表示事件触发的二维平面坐标，t代表事件触发的时间戳，p表示触 发事件的极性。本算法以行为单位，统计事件流中相邻且行数相同的事件 数，当某一行事件数大于给定阈值th时，设此行数的时间戳为初始扫描时 间tbegin，行数为r。然后按事件的存储顺序扫描直到当前扫描的行数大于r， 记录此时的行时间戳tend。将所有时间戳在范围[tbegin，tend)内的事件进行提取 并转换成图片帧的形式。具体方法是依据事件的二维位置将对应的像素点 设为255，如果某个像素点没有对应的事件则设为0。该算法可以有效且 快速地将事件提取成事件帧，从而用于后续的三维信息提取算法。
在本发明进一步的实施例中，分别拍摄两组数据，其中一组不包含目 标物体，通过自适应事件帧提取算法提取的事件帧作为参考帧(reference frame)，另一组包含目标物体，其提取的事件帧作为形变帧(deformation frame)。将这两个帧通过数字图像相关算法(Digital Image Correlation)计 算出它们之间的像素偏移。通过偏移量结合相机和投影仪的空间位置进行 三角化(triangulation)得到物体的三维点云。
通过上述技术方案，本系统实现了基于事件相机的高速结构光三维重 建，其中涉及到的具体实施参数将在后续的实施方法部分予以详细说明。
以大卫(David)石膏模型为例子，给出了实施方式和具体操作过程， 但本发明的保护范围不限于下述的实施例。
在本发明进一步的实施例中，本发明使用的事件相机型号为芯仑 CeleX-V事件相机，投影仪型号为德州电子TI-DLP6500。首先，需要对 相机和投影仪进行标定，由于事件相机可以输出灰度图片，因此可以按常 规相机的方法对本系统进行标定。其次，本实例的物体摆放位置为投影仪 正前方1米左右。随后，投影仪投影频率为每秒1000帧，投影的图片模板为块大小为8x8的随机散斑。投影的图片模板经过物体表面反射后会触 发事件，事件相机将事件以事件流的形式存储为二进制文件，其中事件相 机工作频率为100MHz。经过自适应事件帧提取算法软同步提取事件帧后， 经由传统数字图像相关算法得到参考帧和形变帧的像素偏移。为了更好地 评估像素的偏移量，本算法通过腐蚀和膨胀操作得到物体的感兴趣区域 (mask)。得到偏移量后，通过双目系统的三角化操作得到物体的三维点 云。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已， 并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、 等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于事件相机的高速结构光三维重建方法，其特征在于，所述三维重建方法包括：
产生随机散斑，通过投影仪将所述随机散斑投影到目标物体表面经反射后触发事件，产生事件流；
对于事件相机接收到的所述事件流，采用自适应事件帧提取算法，将事件流转化为图片帧的形式；
将包含目标物体的数据提取的事件帧作为形变帧；将另一组不包含目标物体的数据提取的事件帧作为参考帧，计算所述参考帧和所述形变帧之间的像素偏移；
通过偏移量结合事件相机和投影仪的空间位置进行三角化得到物体的三维点云，完成三维重建。
2.根据权利要求1所述的三维重建方法，其特征在于，所述事件相机和所述投影仪在使用前需要进行标定。
3.根据权利要求1所述的三维重建方法，其特征在于，所述事件相机将事件以事件流的形式存储为二进制文件，其中，所述事件相机的工作频率为100MHz。
4.根据权利要求1所述的三维重建方法，其特征在于，所述参考帧和所述形变帧之间的像素偏移是通过数字图像相关算法计算得到的。
5.根据权利要求1所述的三维重建方法，其特征在于，所述触发事件的关键是在每个投影周期中加入一定比例的非投影时间，即通过固定频率地开启和关闭投影仪的控制开关，使物体表面产生亮暗变化，从而触发事件。
6.根据权利要求1所述的三维重建方法，其特征在于，所述自适应事件帧提取算法以行为单位，统计事件流中相邻且行数相同的事件数，当某一行事件数大于给定阈值时，设此行数的时间戳为初始扫描时间tbegin，行数为r；然后接着扫描直到当前扫描的行数大于r，记录此时的行时间戳tend；将所有时间戳在范围[tbegin,tend)内的事件进行提取并转换成图片帧的形式。
7.根据权利要求1所述的三维重建方法，其特征在于，所述自适应事件帧提取算法包括：依据事件的二维位置将对应的像素点设为255，如果某个像素点没有对应的事件则设为0。
8.一种基于事件相机的高速结构光三维重建系统，其特征在于，包括投影仪和事件相机。
9.根据权利要求8所述的三维重建系统，其特征在于，所述投影仪使用型号为德州电子TI-DLP6500的投影仪。
10.根据权利要求8所述的三维重建系统，其特征在于，所述事件相机使用型号为芯仑CeleX-V的事件相机。
CN202110642890.6A 2021-06-09 2021-06-09 基于事件相机的高速结构光三维重建系统及重建方法 Active CN113487719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110642890.6A CN113487719B (zh) 2021-06-09 2021-06-09 基于事件相机的高速结构光三维重建系统及重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110642890.6A CN113487719B (zh) 2021-06-09 2021-06-09 基于事件相机的高速结构光三维重建系统及重建方法

Publications (2)

Publication Number Publication Date
CN113487719A true CN113487719A (zh) 2021-10-08
CN113487719B CN113487719B (zh) 2024-05-17

Family

ID=77935120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110642890.6A Active CN113487719B (zh) 2021-06-09 2021-06-09 基于事件相机的高速结构光三维重建系统及重建方法

Country Status (1)

Country Link
CN (1) CN113487719B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140365A (zh) * 2022-01-27 2022-03-04 荣耀终端有限公司 基于事件帧的特征点匹配方法及电子设备
CN115496920A (zh) * 2022-11-21 2022-12-20 中国科学技术大学 基于事件相机的自适应目标检测方法、系统与设备
WO2023221450A1 (zh) * 2022-05-18 2023-11-23 华为技术有限公司 一种三维信息测量装置、测量方法和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300637A1 (en) * 2010-10-04 2013-11-14 G Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20190197715A1 (en) * 2016-08-24 2019-06-27 Universitat Zurich Simultaneous localization and mapping with an event camera
CN112365585A (zh) * 2020-11-24 2021-02-12 革点科技(深圳)有限公司 一种基于事件相机的双目结构光三维成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300637A1 (en) * 2010-10-04 2013-11-14 G Dirk Smits System and method for 3-d projection and enhancements for interactivity
US20190197715A1 (en) * 2016-08-24 2019-06-27 Universitat Zurich Simultaneous localization and mapping with an event camera
CN112365585A (zh) * 2020-11-24 2021-02-12 革点科技(深圳)有限公司 一种基于事件相机的双目结构光三维成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴成东;耿飞;楚好;张云洲;: "基于彩色条纹结构光的物体三维重建方法", 东北大学学报(自然科学版), no. 07 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140365A (zh) * 2022-01-27 2022-03-04 荣耀终端有限公司 基于事件帧的特征点匹配方法及电子设备
WO2023221450A1 (zh) * 2022-05-18 2023-11-23 华为技术有限公司 一种三维信息测量装置、测量方法和电子设备
CN115496920A (zh) * 2022-11-21 2022-12-20 中国科学技术大学 基于事件相机的自适应目标检测方法、系统与设备
CN115496920B (zh) * 2022-11-21 2023-03-10 中国科学技术大学 基于事件相机的自适应目标检测方法、系统与设备

Also Published As

Publication number Publication date
CN113487719B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN113487719B (zh) 基于事件相机的高速结构光三维重建系统及重建方法
EP2869266B1 (en) Method and apparatus for generating depth map of a scene
US11143879B2 (en) Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
GB2465072A (en) Combining range information with images to produce new images of different perspective
CN112525107B (zh) 一种基于事件相机的结构光三维测量方法
CN108683902B (zh) 目标图像获取系统与方法
JP2021179835A5 (zh)
KR101266362B1 (ko) 카메라 트래킹 시스템, 트래킹 방법 및 이를 이용한 실사영상 합성 시스템
US20020006282A1 (en) Image pickup apparatus and method, and recording medium
CN102270339B (zh) 一种空间各异模糊核三维运动去模糊的方法及系统
JP7421518B2 (ja) 歪みが低減された物体の３次元再構成を生成するための方法及び装置
CN106091986A (zh) 一种适用于光亮表面的三维测量方法
US20220067951A1 (en) Method for Acquiring Image, Electronic Device and Readable Storage Medium
Arbutina et al. Review of 3D body scanning systems
KR101852085B1 (ko) 깊이 정보 획득 장치 및 깊이 정보 획득 방법
Rajan et al. A realistic video avatar system for networked virtual environments
JP2001235819A (ja) カメラのキャリブレーション方法および装置ならびに対応点探索方法
US20240134053A1 (en) Time-of-flight data generation circuitry and time-of-flight data generation method
US11831857B1 (en) Structured light scanning device and method thereof
Ishii Coded structured light projection method for high-frame-rate 3D image acquisition
CN115273064B (zh) 复杂运动背景下稀疏事件点小目标分割方法
CN109831598B (zh) 用于投影光栅建模的相机设置方法及装置
CN117934783B (zh) 增强现实投影方法、装置、ar眼镜及存储介质
CN109917601B (zh) 基于滚动快门的相机设置方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant