CN106846473A - 一种基于红外线扫描的室内三维重建方法 - Google Patents

一种基于红外线扫描的室内三维重建方法 Download PDF

Info

Publication number
CN106846473A
CN106846473A CN201611195816.XA CN201611195816A CN106846473A CN 106846473 A CN106846473 A CN 106846473A CN 201611195816 A CN201611195816 A CN 201611195816A CN 106846473 A CN106846473 A CN 106846473A
Authority
CN
China
Prior art keywords
infrared
indoor
process chip
image data
capture module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611195816.XA
Other languages
English (en)
Inventor
叶伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Century Network Technology Co Ltd
Original Assignee
Shanghai Century Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Century Network Technology Co Ltd filed Critical Shanghai Century Network Technology Co Ltd
Priority to CN201611195816.XA priority Critical patent/CN106846473A/zh
Publication of CN106846473A publication Critical patent/CN106846473A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种基于红外线扫描的室内三维重建方法，采用的重建装置包括：红外发射模块，用于发射多束经过光感技术编码的近红外光束；红外监测/捕捉模块，用于捕捉近红外在物体折射面形成的编码图像数据；处理芯片，用于解密捕捉模块传来的编码图像数据，形成三维重建图像，红外发射模块发射多束近红外光线，红外监测/捕捉模块接收所述从室内物体反射回的，经过编码的载波近红外光束，交由处理芯片解密编码数据形成室内场景的深度图，经过多张深度图配准和优化，形成室内三维重建的图像。

Description

一种基于红外线扫描的室内三维重建方法
技术领域
本发明属于智能家居技术领域，特别涉及一种基于红外线扫描的室内三维重建方法。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。而红外线是不可见光，是电磁波的一种形式，可以用来进行距离的测量，随着微电子学的日益发展，红外测距的距离和精度不断改进和提高。
现有技术中，民用级别室内3D重建技术，包括使用激光扫描仪，和深度摄像设备拍摄的图像进行视觉处理形成3D重建的图像，基本的使用方法都是需要对室内物体和场景，进行多角度和大量的图片拍摄，然后经过复杂的坐标转换、图片配准、位移/噪声优化，才能生成一定精度的3D重建室内图片。
发明内容
本发明提供了一种基于红外线扫描的室内三维重建方法，用以解决现有技术实现较为复杂的问题。
一种基于红外线扫描的室内三维重建方法，采用的重建装置包括：
红外发射模块，用于发射多束经过光感技术编码的近红外光束；
红外监测/捕捉模块，用于捕捉近红外在物体折射面形成的编码图像数据；
处理芯片，用于解密捕捉模块传来的编码图像数据，形成三维重建图像，其特征在于，
红外发射模块发射多束近红外光线，红外监测/捕捉模块接收所述从室内物体反射回的，经过编码的载波近红外光束，交由处理芯片解密编码数据形成室内场景的深度图，经过多张深度图配准和优化，形成室内三维重建的图像。
进一步的，红外发射模块是近红外发射器，用以发射38K载波近红外线，发射覆盖角度大于150度，
红外监测/捕捉模块是包含标准CMOS光感器的红外图像捕捉器，
进一步包括以下步骤：
步骤a，近红外发射器发射出携带处理芯片制定的编码规则的光感数据的近红外光束，在物体表面进行反射；
步骤b，红外图像捕捉器将步骤a中的红外光束以及在物体表面的反射，使用标准CMOS模块光感芯片进行捕捉和成像；
步骤c，红外图像捕捉器将编码图像数据传输给处理芯片；
步骤d，处理芯片将编码图像数据，经过计算和建模生成的室内3D重建图像。
所述处理芯片使用光感编码技术，对收到的编码图像数据进行编码解密，经过计算和模型重建形成单张的室内深度图，通过对超过5张不同时间(生成时间段均在2个小时范围内)的深度图进行批准和校对，生成最终的室内三维扫描重建图像。
本发明从红外线发射器发射出有规律的，经过自主编码的多束近红外线，近红外线束碰到障碍物进行折射并返回，主设备上的红外捕捉仪/光感监测器(含标准CMOS传感器)捕获从障碍物返回的近红外线束及折射面的不规则编码图形，将这些编码图像数据传输给主设备上的处理芯片，处理芯片通过对近红外光束的编码图形数据解密并形成一幅该场景的深度图片，经过多张深度图片的配准和校对后，形成该场内的室内深度图片。本发明的设备包括：红外扫描设备主机，内含近红外发射器、光感监测器、红外光束解码芯片等主要部件。
附图说明
图1本发明的硬件组成图；
图2是本发明的红外发射、捕捉、生成深度图的示意图；
图3是本发明实施例中通过对5张深度图进行配准校对生成最终的3D重建图像。
具体实施方式
如图1，是本发明通过红外扫描进行室内3D重建方法的设备硬件组成示意图。其中①是近红外发射器，②是包含标准CMOS光感器的红外图像捕捉器，③是处理芯片。
近红外发射器可以发射38K载波近红外线。红外图像捕捉器用来获取近红外发射器发出并在物体表面进行折射形成的不规则图像数据，并负责将编码图像数据传给处理芯片。处理芯片负责接收编码图像数据生成深度图片和最终的3D重建室内图像。
如图2是本发明进行红外发射、图像捕获、生成室内3D重建图像的工作流程图，其中，
步骤a是近红外发射器发射出携带处理芯片制定的编码规则的光感数据的近红外光束，在物体表面进行反射；
步骤b是红外图像捕捉器将步骤a中的红外光束以及在物体表面的反射，使用标准CMOS模块光感芯片进行捕捉和成像；
步骤c是红外图像捕捉器将编码图像数据传输给处理芯片；
步骤d是处理芯片将编码图像数据，经过计算和建模生成的室内3D重建图像。
如图3，是上述步骤d中，通过使用SLAM系统中的建图以及对图像位移/噪声优化方法，对5张深度图进行配准校对，生成最终的3D重建图像。

Claims (3)

1.一种基于红外线扫描的室内三维重建方法，采用的重建装置包括：
红外发射模块，用于发射多束经过光感技术编码的近红外光束；
红外监测/捕捉模块，用于捕捉近红外在物体折射面形成的编码图像数据；
处理芯片，用于解密捕捉模块传来的编码图像数据，形成三维重建图像，其特征在于，
红外发射模块发射多束近红外光线，红外监测/捕捉模块接收所述从室内物体反射回的，经过编码的载波近红外光束，交由处理芯片解密编码数据形成室内场景的深度图，经过多张深度图配准和优化，形成室内三维重建的图像。
2.如权利要求1所述的基于红外线扫描的室内三维重建方法，其特征在于，
红外发射模块是近红外发射器，用以发射38K载波近红外线，发射覆盖角度大于150度，
红外监测/捕捉模块是包含标准CMOS光感器的红外图像捕捉器，
进一步包括以下步骤：
步骤a，近红外发射器发射出携带处理芯片制定的编码规则的光感数据的近红外光束，在物体表面进行反射；
步骤b，红外图像捕捉器将步骤a中的红外光束以及在物体表面的反射，使用标准CMOS模块光感芯片进行捕捉和成像；
步骤c，红外图像捕捉器将编码图像数据传输给处理芯片；
步骤d，处理芯片将编码图像数据，经过计算和建模生成的室内3D重建图像。
3.如权利要求1所述的基于红外线扫描的室内三维重建方法，其特征在于，所述处理芯片使用光感编码技术，对收到的编码图像数据进行编码解密，经过计算和模型重建形成单张的室内深度图，通过对超过5张不同时间(生成时间段均在2个小时范围内)的深度图进行批准和校对，生成最终的室内三维扫描重建图像。
CN201611195816.XA 2016-12-22 2016-12-22 一种基于红外线扫描的室内三维重建方法 Pending CN106846473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611195816.XA CN106846473A (zh) 2016-12-22 2016-12-22 一种基于红外线扫描的室内三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611195816.XA CN106846473A (zh) 2016-12-22 2016-12-22 一种基于红外线扫描的室内三维重建方法

Publications (1)

Publication Number Publication Date
CN106846473A true CN106846473A (zh) 2017-06-13

Family

ID=59135911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611195816.XA Pending CN106846473A (zh) 2016-12-22 2016-12-22 一种基于红外线扫描的室内三维重建方法

Country Status (1)

Country Link
CN (1) CN106846473A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784171A (zh) * 2017-10-25 2018-03-09 武汉华酷科技有限公司 一种空间模型构建方法
CN108280405A (zh) * 2017-12-29 2018-07-13 维沃移动通信有限公司 一种车辆避障的方法和装置
CN108303708A (zh) * 2018-01-03 2018-07-20 京东方科技集团股份有限公司 三维重建系统及方法、移动设备、护眼方法、ar设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833487A (zh) * 2012-08-08 2012-12-19 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
CN103325142A (zh) * 2013-05-29 2013-09-25 南京大学 一种基于Kinect的计算机三维模型建模方法
US20130259403A1 (en) * 2012-04-03 2013-10-03 Oluwatosin Osinusi Flexible easy-to-use system and method of automatically inserting a photorealistic view of a two or three dimensional object into an image using a cd,dvd or blu-ray disc
CN103456038A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种井下环境三维场景重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259403A1 (en) * 2012-04-03 2013-10-03 Oluwatosin Osinusi Flexible easy-to-use system and method of automatically inserting a photorealistic view of a two or three dimensional object into an image using a cd,dvd or blu-ray disc
CN102833487A (zh) * 2012-08-08 2012-12-19 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
CN103325142A (zh) * 2013-05-29 2013-09-25 南京大学 一种基于Kinect的计算机三维模型建模方法
CN103456038A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种井下环境三维场景重建方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784171A (zh) * 2017-10-25 2018-03-09 武汉华酷科技有限公司 一种空间模型构建方法
CN108280405A (zh) * 2017-12-29 2018-07-13 维沃移动通信有限公司 一种车辆避障的方法和装置
CN108303708A (zh) * 2018-01-03 2018-07-20 京东方科技集团股份有限公司 三维重建系统及方法、移动设备、护眼方法、ar设备
US11346946B2 (en) 2018-01-03 2022-05-31 Beijing Boe Optoelectronics Technology Co., Ltd. Three-dimensional reconstruction system and method, mobile device, eye protection method, AR device
CN108303708B (zh) * 2018-01-03 2022-07-29 京东方科技集团股份有限公司 三维重建系统及方法、移动设备、护眼方法、ar设备

Similar Documents

Publication Publication Date Title
CN104271046B (zh) 用于跟踪和引导传感器和仪器的方法和系统
Anwer et al. Underwater 3-d scene reconstruction using kinect v2 based on physical models for refraction and time of flight correction
CN109003253A (zh) 神经网络点云生成系统
US20170046865A1 (en) Animation motion capture using three-dimensional scanner data
US20130095920A1 (en) Generating free viewpoint video using stereo imaging
Santoso et al. 3D mapping for visualization of rigid structures: A review and comparative study
CN106846473A (zh) 一种基于红外线扫描的室内三维重建方法
CA2829298A1 (en) Fast image enhancement and three-dimensional depth calculation
CN102982560A (zh) 根据rgb和深度图像的表面分割
Ye et al. 3d reconstruction in the presence of glasses by acoustic and stereo fusion
CN108495113B (zh) 用于双目视觉系统的控制方法和装置
Galanakis et al. A study of 3D digitisation modalities for crime scene investigation
Du et al. Video fields: fusing multiple surveillance videos into a dynamic virtual environment
US20150373320A1 (en) Visual cognition system
KR102265248B1 (ko) 3-d 이미징에 의해 장면의 오브젝트들의 구별 및 식별을 위한 방법
KR20230150867A (ko) 얼굴 표정, 신체 자세 형상 및 의류 퍼포먼스 캡처를 위해 암시적 구별가능 렌더러를 사용하는 멀티뷰 신경 사람 예측
CN203535244U (zh) 人体安全检查设备
CN107749056A (zh) 对放射性物质三维定位追踪方法及装置
CN111192305B (zh) 用于生成三维图像的方法和装置
Li et al. Information hiding based on augmented reality
US20230245396A1 (en) System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications
CN113256773B (zh) 表面网格扫描及显示方法、系统及装置
CN205378133U (zh) 立体显示系统
Deng et al. Reliability-based view synthesis for free viewpoint video
Yoon et al. Learning depth from endoscopic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613