CN107677218A - 双摄像头高速三维信息采集处理装置 - Google Patents
双摄像头高速三维信息采集处理装置 Download PDFInfo
- Publication number
- CN107677218A CN107677218A CN201710949974.8A CN201710949974A CN107677218A CN 107677218 A CN107677218 A CN 107677218A CN 201710949974 A CN201710949974 A CN 201710949974A CN 107677218 A CN107677218 A CN 107677218A
- Authority
- CN
- China
- Prior art keywords
- control circuit
- dmd
- dual camera
- processors
- connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009977 dual effect Effects 0.000 title claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2531—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Image Input (AREA)
Abstract
本发明公开了一种双摄像头高速三维信息采集处理装置，该装置包括PC机、控制电路、数据处理模块、光源、匀光光棒、棱镜透镜组、数字微镜器件、透镜阵列、参考平面及双摄像头。PC机向控制电路下达指令，使光源产生白光，白光通过光棒和棱镜透镜组照射至数字微镜器件，数字微镜器件控制每个镜子开关，产生不同光栅图案，通过透镜阵列照射放置在参考平面的待测物体，经双摄像头分别采集由不同光栅图案照射的图像后，由数据处理模块处理，恢复成三维图像，存储至本地，或在PC机上显示。本发明利用数字微镜的高速开关特性可以高速投射光栅图案。较于传统三维采集装置，本发明利用双摄像头采集图像，采集速度快，不存在盲区，图像处理速度快，灵活性高。
Description
技术领域
本发明涉及三维重建领域及电子技术领域，尤其涉及数字微镜器件在三维信息采集方面应用的一种双摄像头高速三维信息采集处理装置，该装置可用于高速三维信息数据获取。
背景技术
人们生活在三维世界中，为了能更好的表达客观世界，三维信息获取技术变的很重要。在需要捕获动态物体的三维信息时，或存在大量的物体需要获取其三维信息时，需要很高的光栅图案投射速度、图像捕获和处理速度。
传统的三维信息获取装置是通过LCD投影仪投射一系列的光栅图案到待测物体表面，然后通过摄像头拍摄图片，上传至PC机进行处理和显示。而传统的LCD投影仪刷新速率只有30-60fps，投影和采集速度很慢。此外，摄像头采集图片需要使用PC机进行处理和显示，设备笨重，不便携。
发明内容
本发明的目的是针对现有技术的不足而提供的一种双摄像头高速三维信息采集处理装置，通过数字微镜实现对空间光的快速调制，能够快速产生一系列的光栅图案，同时通过双摄像头快速采集下来，交由嵌入式微处理器进行三维信息恢复提取，最后上传至上位机进行显示。具有操作简单、采集处理速度快、设备小巧易携，显示存储方便等特点。
实现本发明目的的具体技术方案是：
一种双摄像头高速三维信息采集处理装置，其特点是该装置包括：PC机、控制电路、数据处理模块、光源、匀光光棒、棱镜透镜组、数字微镜器件、透镜阵列、参考平面及双摄像头，所述PC机与控制电路连接；控制电路分别与光源、数字微镜器件、双摄像头、数据处理模块连接；光源与匀光光棒连接；匀光光棒与棱镜透镜组连接；棱镜透镜组与数字微镜器件连接；数字微镜器件与透镜阵列连接；透镜阵列与参考平面连接；参考平面与双摄像头连接；双摄像头与数据处理模块连接。其中：
所述控制电路包括FPGA、4核Cortex-A9处理器、AS接口、USB接口、LED及按键,所述FPGA分别与AS接口、4核Cortex-A9连接；4核CORTEX-A9处理器分别与USB接口、LED及按键连接；
所述数据处理模块包括4核Cortex-A9处理器、USB接口、DDR3、MIPI接口及eMMC,所述4核Cortex-A9处理器分别与USB接口、DDR3、MIPI接口及eMMC连接。
本发明装置实现三维信息采集处理包括以下具体步骤：
步骤1：PC机控制光源照射到数字微镜器件上
ⅰ）PC机通过控制电路打开光源开关；
ⅱ）照射光通过匀光光棒，使点光源展宽为面光源；
ⅲ）照射光通过棱镜透镜组，使照射光面符合数字微镜器件大小；
步骤2：控制电路控制数字微镜器件对空间光进行调制并照射到待测物体上
ⅰ）控制电路控制数字微镜器件每个镜子的旋转角度，使其呈现出“打开”或者“关断”状态，控制空间光的形状、区域，完成对空间光的调制，连续高速产生一系列光栅图案；
ⅱ）调制后的空间光经过透镜阵列，均匀准确地照射在放置在参考平面的待测物体表面上；
步骤3：控制电路控制双摄像头采集待测物体的图像数据并在数据处理模块中进行处理
ⅰ）控制电路控制双摄像头，在每次数字微镜器件产生的光栅图案照射在放置在参考平面的待测物体上后，立即采集待测物体的图像数据并存储在eMMC存储器中。
ⅱ）在一系列光栅图案照射下的待测物体图片采集完毕后，4核Cortex-A9处理器对图片进行二值化、结构光解码、畸变量提取等操作。
步骤4：控制电路控制4核Cortex-A9处理器将处理结果存储至eMMC存储器或发送至PC机进行显示
ⅰ）在4核Cortex-A9处理器完成对图像的处理后，控制电路控制4核Cortex-A9处理器将结果存储在eMMC存储器或通过USB口上传处理结果至PC机，通过上位机程序显示恢复提取得到的待测物体的三维图像。
本发明解决了目前传统的三维信息获取装置处理速度慢、设备笨重等问题，使用了先进的数字微镜器件对照射光进行调制，可以高速产生三维信息采集所需的光栅图案，用双摄像头采集后使用4核Cortex-A9处理器进行三维信息恢复提取，方便地将结果存储在eMMC存储器或显示在PC机上。
附图说明
图1为本发明结构示意图；
图2为本发明控制电路结构示意图；
图3为本发明数据处理模块结构示意图；
图4为本发明控制电路工作流程图；
图5为为本发明数据处理模块工作流程图；
图6为本发明PC机显示界面示意图。
具体实施方式
下面结合附图及实施例对本发明进行详细描述。
参阅图1，本发明包括PC机1、控制电路2、数据处理模块3、光源4、匀光光棒5、棱镜透镜组6、数字微镜器件7、透镜阵列8、参考平面9及双摄像头10，所述PC机1与控制电路2连接；控制电路2分别与光源4、数字微镜器件7、双摄像头10、数据处理模块3连接；光源4与匀光光棒5连接；匀光光棒5与棱镜透镜组6连接；棱镜透镜组6与数字微镜器件7连接；数字微镜器件7与透镜阵列8连接；透镜阵列8与参考平面9连接；参考平面9与双摄像头10连接；双摄像头10与数据处理模块3连接。PC机1通过控制电路2打开光源4开关，照射光通过匀光光棒5，使点光源展宽为面光源，照射光通过棱镜透镜组6，使照射光面符合数字微镜器件7大小，控制电路2控制数字微镜器件7使其连续高速产生一系列光栅图案，调制后的空间光经过透镜阵列8，均匀准确地照射在放置在参考平面9的待测物体表面上，控制电路2控制双摄像头10，在每次数字微镜器件7产生的光栅图案照射在放置在参考平面9的待测物体上后，立即采集待测物体的图像数据并存储在数据处理模块3中,在一系列光栅图案照射下的待测物体图片采集完毕后，数据处理模块3对图片进行二值化、结构光解码、畸变量提取等操作,控制电路2控制数据处理模块3将处理结果存储至数据处理模块3或发送至PC机1进行显示。
参阅图2，为本发明控制电路2结构示意图。所述控制电路包括FPGA21、4核Cortex-A9处理器22、AS接口23、USB接口24、LED25及按键26,所述FPGA21分别与AS接口23、4核Cortex-A922连接；4核CORTEX-A9处理器22分别与USB接口24、LED25及按键26连接。AS接口23用来烧写FPGA21代码，USB接口24用来接收命令，4核Cortex-A9处理器22通过USB接口接收到，将命令解析后发送相应参数至FPGA21，并同时根据参数设置驱动相应的组件工作。如果控制电路工作异常，则控制LED25进行提示，也可以使用按键26重启设备。
参阅图3，为本发明数据处理模块3结构示意图。所述数据处理模块3包括4核Cortex-A9处理器31、USB接口32、DDR333、MIPI接口34、eMMC35,所述4核Cortex-A9处理器31分别与USB接口32、DDR333、MIPI接口34及eMMC 35连接。USB接口32用来烧写Cortex-A9处理器31代码并接收命令，DDR333用来暂存4核Cortex-A9处理器31运行过程中产生的临时数据，4核Cortex-A9处理器31通过MIPI接口34控制双摄像头采集图片，存储至eMMC35。在所有图片采集完成后，4核Cortex-A9处理器31从eMMC35中取出图片，经过二值化、结构光解码、畸变量提取等操作后，将三维信息恢复提取结果存储在eMMC35中，或者通过USB接口32发送至PC机。
参阅图4，为本发明控制电路工作流程图。用户在PC机1下达开始采集三维信息的指令后，指令通过USB接口发送至控制电路2的4核Cortex-A9处理器；4核Cortex-A9处理器，打开光源4，设置需要投射到参考平面9上的待测物体表面的光栅图案，发送至FPGA，FPGA根据参数驱动数字微镜器件7，使光栅图案投射至参考平面9上的待测物体表面，同时控制电路2控制双摄像头10采集图片，并存储在数据处理模块3，若此时未采集完毕所有不同光栅图案照射下的图片，则设置下一个需要投射的光栅图案，驱动数字微镜器件7和双摄像头10循环上述工作，若已采集完毕，则数据处理模块3开始对图片进行处理，将恢复提取出的三维信息保存在本地，或上传至PC机1进行显示。当模式为连续采集模式时，则继续重复上述过程，可达成动态显示恢复提取的三维信息的效果。
参阅图5，为本发明数据处理模块工作流程图。首先数据处理模块3载入提前拍摄的由不同光栅照射的参考平面图像，而后进行图像二值化、结构光解码、提取畸变量等过程。之后载入待测物体图像，同样进行图像二值化、结构光解码、畸变量提取的过程，而后将提取到的畸变量减去之前得到的参考平面畸变量，去除由参考平面本身造成的畸变。将最终恢复提取的待测物体的畸变量存储在本地或上传至PC机1进行显示。
参阅图6，为本发明的PC机显示界面示意图，在点击单次扫描或连续扫描后，整个系统会提取出待测物体的三维信息，并显示在三维坐标系中方便查看和保存。
实施例
人们生活在三维世界中，为了能更好的表达客观世界，三维信息获取技术变的很重要。以获取动态物体的三维信息为例，需要高速的光栅图案投射速度、图像捕获速度以及图像处理速度。用户在PC机1显示的界面中点击连续扫描，控制电路2中的FPGA21控制数字微镜器件7产生一系列的光栅图案，同时4核Cortex-A9处理器22控制双摄像头10拍摄图片。拍摄完毕后，数据处理模块3将图片进行处理，处理结果发送至PC机1进行显示，并重复上述过程，达到动态显示三维信息的效果。
这种装置相比于传统的三维信息获取装置处理速度快、设备小巧便携，方便显示存储，灵活性高。
Claims (2)
1.一种双摄像头高速三维信息采集处理装置，其特征在于该装置包括：PC机（1）、控制电路（2）、数据处理模块（3）、光源（4）、匀光光棒（5）、棱镜透镜组（6）、数字微镜器件（7）、透镜阵列（8）、参考平面（9）及双摄像头（10），所述PC机（1）与控制电路（2）连接；控制电路（2）分别与光源（4）、数字微镜器件（7）、双摄像头（10）、数据处理模块（3）连接；光源（4）与匀光光棒（5）连接；匀光光棒（5）与棱镜透镜组（6）连接；棱镜透镜组（6）与数字微镜器件（7）连接；数字微镜器件（7）与透镜阵列（8）连接；透镜阵列（8）与参考平面（9）连接；参考平面（9）与双摄像头（10）连接；双摄像头（10）与数据处理模块（3）连接；其中：
所述控制电路（2）包括FPGA（21）、4核Cortex-A9处理器（22）、AS接口（23）、USB接口（24）、LED（25）及按键（26）,所述FPGA（21）分别与AS接口（23）、4核Cortex-A9（22）连接；4核CORTEX-A9处理器（22）分别与USB接口（24）、LED（25）及按键（26）连接；
所述数据处理模块（3）包括4核Cortex-A9处理器（31）、USB接口（32）、DDR3（33）、MIPI接口（34）及eMMC（35）,所述4核Cortex-A9处理器（31）分别与USB接口（32）、DDR3（33）、MIPI接口（34）及eMMC（35）连接。
2.根据权利要求1所述装置，其特征在于所述装置实现三维信息采集处理包括以下具体步骤：
步骤1：PC机控制光源照射到数字微镜器件上
ⅰ）PC机通过控制电路打开光源开关；
ⅱ）照射光通过匀光光棒，使点光源展宽为面光源；
ⅲ）照射光通过棱镜透镜组，使照射光面符合数字微镜器件大小；
步骤2：控制电路控制数字微镜器件对空间光进行调制并照射到待测物体上
ⅰ）控制电路控制数字微镜器件每个镜子的旋转角度，使其呈现出“打开”或者“关断”状态，控制空间光的形状、区域，完成对空间光的调制，连续高速产生一系列光栅图案；
ⅱ）调制后的空间光经过透镜阵列，均匀准确地照射在放置在参考平面的待测物体表面上；
步骤3：控制电路控制双摄像头采集待测物体的图像数据并在数据处理模块中进行处理
ⅰ）控制电路控制双摄像头，在每次数字微镜器件产生的光栅图案照射在放置在参考平面的待测物体上后，立即采集待测物体的图像数据并存储在eMMC存储器中；
ⅱ）在一系列光栅图案照射下的待测物体图片采集完毕后，4核Cortex-A9处理器对图片进行二值化、结构光解码、畸变量提取等操作；
步骤4：控制电路控制4核Cortex-A9处理器将处理结果存储至eMMC存储器或发送至PC机进行显示
ⅰ）在4核Cortex-A9处理器完成对图像的处理后，控制电路控制4核Cortex-A9处理器将结果存储在eMMC存储器或通过USB口上传处理结果至PC机，通过上位机程序显示恢复提取得到的待测物体的三维图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710949974.8A CN107677218A (zh) | 2017-10-13 | 2017-10-13 | 双摄像头高速三维信息采集处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710949974.8A CN107677218A (zh) | 2017-10-13 | 2017-10-13 | 双摄像头高速三维信息采集处理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107677218A true CN107677218A (zh) | 2018-02-09 |
Family
ID=61140768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710949974.8A Pending CN107677218A (zh) | 2017-10-13 | 2017-10-13 | 双摄像头高速三维信息采集处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107677218A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112004000A (zh) * | 2019-05-27 | 2020-11-27 | 三赢科技（深圳）有限公司 | 发光装置及应用其的图像采集装置 |
| CN112825139A (zh) * | 2019-11-20 | 2021-05-21 | 三赢科技（深圳）有限公司 | 结构光发射模组及图像采集装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106767535A (zh) * | 2017-01-10 | 2017-05-31 | 杭州汉振科技有限公司 | 非接触式复合测量仪及其测量方法 |
| CN106772994A (zh) * | 2016-11-28 | 2017-05-31 | 华东师范大学 | 视域可编程显微镜装置 |
| CN207365925U (zh) * | 2017-10-13 | 2018-05-15 | 华东师范大学 | 双摄像头高速三维信息采集处理装置 |
-
2017
- 2017-10-13 CN CN201710949974.8A patent/CN107677218A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106772994A (zh) * | 2016-11-28 | 2017-05-31 | 华东师范大学 | 视域可编程显微镜装置 |
| CN106767535A (zh) * | 2017-01-10 | 2017-05-31 | 杭州汉振科技有限公司 | 非接触式复合测量仪及其测量方法 |
| CN207365925U (zh) * | 2017-10-13 | 2018-05-15 | 华东师范大学 | 双摄像头高速三维信息采集处理装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112004000A (zh) * | 2019-05-27 | 2020-11-27 | 三赢科技（深圳）有限公司 | 发光装置及应用其的图像采集装置 |
| US11102468B2 (en) | 2019-05-27 | 2021-08-24 | Triple Win Technology(Shenzhen) Co.Ltd. | Light emitting device and image capturing device using same |
| CN112825139A (zh) * | 2019-11-20 | 2021-05-21 | 三赢科技（深圳）有限公司 | 结构光发射模组及图像采集装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103945210B (zh) | 一种实现浅景深效果的多摄像头拍摄方法 | |
| CN104980644B (zh) | 一种拍摄方法及装置 | |
| CN109614983A (zh) | 训练数据的生成方法、装置及系统 | |
| CN106296821A (zh) | 基于无人机的多视角三维重建方法及系统 | |
| CN107677218A (zh) | 双摄像头高速三维信息采集处理装置 | |
| CN202309958U (zh) | 一种具有跟踪功能的智能球形教学摄像机 | |
| CN106357966A (zh) | 全景图像拍摄装置及全景图像获取方法 | |
| CN102368137A (zh) | 嵌入式标定立体视觉系统 | |
| CN107180238A (zh) | 一种智能终端的图像预览装置及方法 | |
| CN103926783B (zh) | 用于镜头的转接驱动系统及方法 | |
| CN207365925U (zh) | 双摄像头高速三维信息采集处理装置 | |
| CN111586304B (zh) | 一种基于5g及vr技术的全景摄像系统及方法 | |
| CN104614803A (zh) | 基于arm的一体化保偏光纤定轴仪 | |
| CN106373185A (zh) | 可移动文物的多视角三维重建方法及装置 | |
| CN1595280A (zh) | 旋转平台上的三维人脸重建系统 | |
| CN111598983A (zh) | 动画制作系统、方法、存储介质及程序产品 | |
| JP2007264592A (ja) | ３次元イメージ自動生成装置及び方法 | |
| CN107869955A (zh) | 一种激光三维扫描仪系统及使用方法 | |
| CN104019761A (zh) | 一种玉米植株三维形态获取装置和方法 | |
| CN205812199U (zh) | 高清三维全景信息采集与拼接系统 | |
| CN207515743U (zh) | 基于数字微镜器件的主动式高速三维视觉装置 | |
| CN108897190A (zh) | 一种全息三维立体投影屏 | |
| CN107949103A (zh) | 一种灯效反馈系统 | |
| CN207515742U (zh) | 基于数字微镜器件的闭环式三维视觉装置 | |
| CN107367895A (zh) | 一种自动调节立体投影装置位置的装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |