CN109238167B - 透明物体光线对应关系采集系统 - Google Patents

透明物体光线对应关系采集系统 Download PDF

Info

Publication number
CN109238167B
CN109238167B CN201810833989.2A CN201810833989A CN109238167B CN 109238167 B CN109238167 B CN 109238167B CN 201810833989 A CN201810833989 A CN 201810833989A CN 109238167 B CN109238167 B CN 109238167B
Authority
CN
China
Prior art keywords
coordinate system
preset
camera device
camera
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810833989.2A
Other languages
English (en)
Other versions
CN109238167A (zh
Inventor
黄惠
吴博剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201810833989.2A priority Critical patent/CN109238167B/zh
Publication of CN109238167A publication Critical patent/CN109238167A/zh
Application granted granted Critical
Publication of CN109238167B publication Critical patent/CN109238167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

本申请涉及一种透明物体光线对应关系采集系统。一个实施例中的系统包括摄像装置、显示装置、转台和控制装置，摄像装置、显示装置以及转台分别与控制装置连接，转台用于旋转待测透明物体；控制装置用于控制处于预设第一位置的显示装置显示预设图像，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第一位置的显示装置对应的图像，得到初次图像集合；控制处于预设第一位置的显示装置移动至预设第二位置，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第二位置的显示装置对应的图像，得到二次图像集合；根据初次图像集合以及二次图像集合，得到不同视角下待测透明物体的光线对应关系。

Description

透明物体光线对应关系采集系统
技术领域
本申请涉及计算机图形学技术领域，特别是涉及一种透明物体光线对应关系采集系统。
背景技术
基于视觉的三维重建是指通过摄像机获取场景物体的图像，并对此图像进行分析处理，再结合计算机视觉技术推导出现实环境中物体的三维信息。可以通过全自动扫描、多目立体视觉、光度立体法等技术方案实现对非透明物体的三维重建。实验表明这些技术能够有效地应用在非透明物体上，甚至是半透明物体上。
然而，由于透明物体对光线的作用存在复杂的反射和折射关系，将导致传统的三维重建算法不能有效地采集数据，从而导致无法重建透明物体，比如基于扫描的重建算法、基于图像的重建算法、从阴影恢复形状技术等。即传统获取到的透明物体光线对应关系数据片面，导致存在数据可靠性低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据可靠性的透明物体光线对应关系采集系统。
一种透明物体光线对应关系采集系统，系统包括摄像装置、显示装置、转台和控制装置，摄像装置、显示装置以及转台分别与控制装置连接，转台用于旋转待测透明物体；
控制装置用于控制处于预设第一位置的显示装置显示预设图像，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第一位置的显示装置对应的图像，得到初次图像集合；控制处于预设第一位置的显示装置移动至预设第二位置，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第二位置的显示装置对应的图像，得到二次图像集合；根据初次图像集合以及二次图像集合，得到不同视角下待测透明物体的光线对应关系。
上述透明物体光线对应关系采集系统，控制装置控制处于预设第一位置的显示装置显示预设图像，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第一位置的显示装置对应的图像，得到初次图像集合；控制处于预设第一位置的显示装置移动至预设第二位置，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第二位置的显示装置对应的图像，得到二次图像集合；根据初次图像集合以及二次图像集合，得到不同视角下待测透明物体的光线对应关系。这样能够采集透明物体在不同视角下的光线对应关系，以提高光线对应关系数据可靠性，再通过不同视角下透明物体的光线对应关系对透明物体进行三维建模。
附图说明
图1为一个实施例中透明物体光线对应关系采集系统的结构框图；
图2为一个实施例中透明物体入射光线和出射光线的示意图；
图3为一个实施例中透明物体光线对应关系采集系统示意图；
图4为一个实施例中采用Kitten模型在虚拟采集系统中获取的数据示意图；
图5为一个实施例中待测透明物体基于多视角光线对应关系的优化求解得到的不同视角下点云表示的三维形状示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，一种透明物体光线对应关系采集系统，如图1所示，系统包括摄像装置、显示装置、转台和控制装置，摄像装置、显示装置以及转台分别与控制装置连接，转台用于旋转待测透明物体。控制装置用于控制处于预设第一位置的显示装置显示预设图像，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第一位置的显示装置对应的图像，得到初次图像集合；控制处于预设第一位置的显示装置移动至预设第二位置，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第二位置的显示装置对应的图像，得到二次图像集合；根据初次图像集合以及二次图像集合，得到不同视角下待测透明物体的光线对应关系。其中，控制装置可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
预设图像是用来表征待测透明物体在不同角度的光线与像素点对应关系的图像，预设图像可以是预设二进制格雷码序列图片。初次图像是指显示装置位于预设第一位置，待测透明物体处于某个角度下，待测透明物体和显示装置上预设图像一起形成的图像，初次图像集合包括不同角度下的初次图像。待测透明物体处于不同角度时，显示装置的光线穿过待测透明物体形成的初次图像不同。显示装置固定于某一位置，待测透明物体在显示装置处于该位置前提下，旋转至不同角度，通过摄像装置透过旋转至不同角度的待测透明物体拍摄显示装置上显示的预设图像，得到初次图像集合。
二次图像是指显示装置位于预设第二位置，待测透明物体处于某个角度下，待测透明物体和显示装置上预设图像一起形成的图像，二次图像集合包括不同角度下的二次图像。待测透明物体处于不同角度时，显示装置的光线穿过待测透明物体形成的初次图像不同。显示装置固定于某一位置，待测透明物体在显示装置处于该位置前提下，旋转至不同角度，通过摄像装置透过旋转至不同角度的待测透明物体拍摄显示装置上显示的预设图像，得到二次图像集合。
上述透明物体光线对应关系采集系统，控制装置控制处于预设第一位置的显示装置显示预设图像，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第一位置的显示装置对应的图像，得到初次图像集合；控制处于预设第一位置的显示装置移动至预设第二位置，获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第二位置的显示装置对应的图像，得到二次图像集合；根据初次图像集合以及二次图像集合，得到不同视角下待测透明物体的光线对应关系。这样能够采集透明物体在不同视角下的光线对应关系，以提高光线对应关系数据可靠性，再通过不同视角下透明物体的光线对应关系对透明物体进行三维建模。
在一个实施例中，控制装置还用于获取显示装置坐标系与转台坐标系的对应关系，根据显示装置坐标系与转台坐标系的对应关系、初次图像集合以及二次图像集合，得到不同视角下待测透明物体的光线对应关系。
物体的三维模型是参照其所属的坐标系存在的，同一物体在不同坐标系中的表示不同。显示装置坐标系是指以显示装置作为参照物建立的坐标系，转台坐标系是指以转台作为参照物建立的坐标系，显示装置坐标系与转台坐标系的对应关系是指以显示装置作为参照物建立的坐标系与以转台作为参照物建立的坐标系之间的转换关系。根据显示装置坐标系与转台坐标系的对应关系，将初次图像集合以及二次图像集合中的图像像素点转换至同一坐标系进行分析处理。获取不同视角下待测透明物体的入射光线集合以及对应的出射光线集合，从而得到不同视角下待测透明物体的光线对应关系。
在一个实施例中，控制装置还用于获取显示装置坐标系与摄像装置坐标系的对应关系，以及摄像装置坐标系与转台坐标系的对应关系；根据摄像装置坐标系与转台坐标系的对应关系，以及显示装置与摄像装置坐标系的对应关系，得到显示装置坐标系与转台坐标系的对应关系。
摄像装置坐标系是指以摄像装置作为参照物建立的坐标系，显示装置坐标系与摄像装置坐标系的对应关系是指以显示装置作为参照物建立的坐标系与以摄像装置作为参照物建立的坐标系之间的转换关系。摄像装置坐标系与转台装置坐标系的对应关系是指以摄像装置作为参照物建立的坐标系与以转台作为参照物建立的坐标系之间的转换关系。
在一个实施例中，控制装置还用于控制处于预设第一位置的显示装置显示预设棋盘格，并通过摄像装置拍摄处于预设第一位置的显示装置，得到第一棋盘格图像；控制移动至预设第二位置的显示装置显示预设棋盘格，并通过摄像装置拍摄处于预设第二位置的显示装置，得到第二棋盘格图像；根据第一棋盘格图像和第二棋盘格图像，得到显示装置坐标系与摄像装置坐标系的对应关系。
第一棋盘格图像是指显示装置位于预设第一位置，通过摄像装置拍摄显示装置上显示的内容形成的图像，第二棋盘格图像是指显示装置位于预设第二位置，通过摄像装置拍摄显示装置上显示的内容形成的图像。将显示装置调整至预设第一位置，在显示装置上显示棋盘格以标定此时显示装置对摄像装置的位置。将透明物体放置在转台上，获取初次图像集合和二次图像集合之后，将透明物体从转台上取下，此时，显示装置位于预设第二位置，在显示装置上显示棋盘格以标定该位置对摄像装置的位置。
在一个实施例中，系统还包括与控制装置连接的标定摄像装置，转台还用于放置标定板，控制装置还用于通过标定摄像装置拍摄预设第一标定位置的标定板，得到标定摄像装置坐标系与转台坐标系的对应关系；通过摄像装置和标定摄像装置分别拍摄预设第二标定位置的标定板，得到摄像装置坐标系与标定摄像装置坐标系的对应关系；根据标定摄像装置坐标系与转台坐标系的对应关系，以及摄像装置坐标系与标定摄像装置坐标系的对应关系，得到摄像装置坐标系与转台坐标系的对应关系。
标定板是指带有固定间距图案阵列的平板，标定板在三维重建中，可以实现校正镜头畸变，确定物理尺寸和像素间的换算关系，以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系。通过相机拍摄带有固定间距图案阵列平板，经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。将标定板平放在转台上，此时标定板处于预设第一标定位置，标定摄像装置可以拍摄到标定板，摄像装置无法拍摄到标定板，采用标定摄像装置标定转台的旋转轴。
在一个实施例中，控制装置还用于通过摄像装置和标定摄像装置分别拍摄预设第二标定位置的标定板，得到第一图像和第二图像；获取标定板基于摄像装置坐标系的第一外参矩阵以及标定板基于标定摄像装置坐标系的第二外参矩阵；根据第一图像、第二图像、第一外参矩阵以及第二外参矩阵，得到摄像装置坐标系与标定摄像装置坐标系的对应关系。将标定板倾斜放在转台上，此时标定板处于预设第二标定位置，标定摄像装置和摄像装置均可以拍摄到标定板，采用标定摄像装置辅助摄像装置标定在转台不同位置下的外参矩阵。
在一个实施例中，控制装置还用于根据第一图像以及第一外参矩阵，得到摄像装置坐标系的投影关系；根据第二图像以及第二外参矩阵，得到标定摄像装置坐标系的投影关系；根据摄像装置坐标系的投影关系以及标定摄像装置坐标系的投影关系，得到摄像装置坐标系与标定摄像装置坐标系的对应关系。
通过在转台上倾斜放置标定板，以使摄像装置和标定摄像装置均能拍摄到，采用相机位姿估计算法估算出该标定板在摄像装置坐标系、标定摄像装置坐标系的外参矩阵。该标定板在摄像装置坐标系下的第一外参矩阵为R1、T1，该标定板在标定摄像装置坐标系下的第二外参矩阵为R2，T2。假设此时在世界坐标系下有一任意点P，则该点P在两个坐标系下的投影点分别计算如下：
P1＝[R1|T1]*P＝R1*P+T1
P2＝[R2|T2]*P＝R2*P+T2
基于此可以获得标定摄像装置坐标系下点P2和摄像装置坐标系下点P1的转换关系：
Figure BDA0001744089550000061
Figure BDA0001744089550000062
在一个实施例中，控制装置还用于通过标定摄像装置拍摄预设第一标定位置的标定板，得到标定图像；获取标定板基于标定摄像装置坐标系的外参矩阵；根据标定图像以及外参矩阵，得到标定摄像装置坐标系与转台坐标系的对应关系。
将转台上的标定板平放，此时只有标定摄像装置可以拍摄到标定板。控制转台以旋转标定板至不同的位置，采集相机位姿估计算法估算出该标定板在标定摄像装置坐标系下的外参矩阵分别为R′k、T′k，k表示转台旋转一周的旋转次数，例如每5°转一次，则k＝72。此时假设在转台某位置下的标准坐标系中有一任意点Q，点Q在标定装置坐标系下的投影点表示为：
Q2＝[R′k|T′k]*Q＝R′k*Q+T′k
依据标定摄像装置坐标系和摄像装置坐标系下的转换关系可以换算出点Q在摄像装置坐标系下的投影点表示为：
Figure BDA0001744089550000071
Figure BDA0001744089550000072
Figure BDA0001744089550000073
依据上述公式可将转台坐标系下的点转换至摄像装置坐标系下。
在一个实施例中，控制装置还用于控制处于预设第一位置的显示装置显示预设图像，并控制转台以预设间隔角度持续转动一周；获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第一位置的显示装置对应的图像，得到初次图像集合。显示装置处于预设第一位置，透明物体放置在转台，控制转台旋转透明物体，比如旋转72次，每隔5°旋转一次。在转台每个旋转位置下，显示装置上显示二进制格雷码序列图片，通过摄像装置采集数据。
在一个实施例中，控制装置还用于控制处于预设第一位置的显示装置移动至预设第二位置，并控制转台以预设间隔角度持续转动一周；获取摄像装置透过不同旋转角度下的待测透明物体拍摄的处于预设第二位置的显示装置对应的图像，得到二次图像集合。在转台旋转一周回到起始位置时，调节显示装置至预设第二位置，再控制转台同向旋转透明物体，比如旋转72次，每隔5°旋转一次。在转台每个旋转位置下，显示装置上显示二进制格雷码序列图片，通过摄像装置采集数据。
在一个实施例中，控制装置还用于获取摄像装置坐标系与转台坐标系的对应关系，以及摄像装置的内参矩阵，根据摄像装置坐标系与转台坐标系的对应关系，以及摄像装置的内参矩阵，得到待测透明物体的出射光线集合；根据初次图像集合以及二次图像集合，得到待测透明物体的入射光线集合；根据入射光线集合以及出射光线集合，得到不同视角下待测透明物体的光线对应关系。
从预设第一位置的显示装置对应的像素点到预设第二位置的显示装置对应的像素点，最终到达摄像装置成像平面上像素点和摄像装置投影中心。在入射光线端，第一位置显示装置对应的像素点与第二位置显示装置对应的像素点连接形成入射光线。在出射光线端，摄像装置成像平面像素点与摄像装置投影中心连接形成出射光线。
在一个实施例中，控制装置还用于根据处于预设第一位置的显示装置对应的图像，得到第一位置像素点集合；根据移动至处于预设第二位置的显示装置对应的图像，得到第二位置像素点集合；根据第一像素点集合和第二像素点集合，得到待测透明物体的入射光线集合。
在一个实施例中，在未知透明物体几何信息的情况下，假设相机满足小孔成像的原理，依据光线追踪和环境抠图技术，可以定位出背景屏幕像素点和相机成像平面像素点的对应关系。透明物体入射光线和出射光线的示意图如图2所示，位置1下的背景屏幕像素点Q1和q点对应，位置2下的背景屏幕像素点Q2和q点对应。当背景屏幕作为场景中唯一光源时，依据正向光线追踪原理，连接Q2和Q1点即可得到入射光线Q2Q1。另外，由于从外部射入相机的光线一定经过相机的成像中心c点，所以连接q点和c点即可得到出射光线。从正向光线追踪的角度来看，对于从相机成像平面像素点q点到相机投影中心c点的出射光线，其对应的入射光线可以通过连接屏幕在不同位置下的两个源像素点Q1和Q2得到。在仅有两次折射发生的情况下，假设从Q2Q1出射的光线经过透明物体并相交于p2点和p1点，最终经过q点到达相机投影中心c点，连接相应点之后即可恢复出完整的光线路径为Q2-Q1-p2-p1-q-c。依据斯涅耳定理，光线折射与物体表面法向量有密切关系，所以在假定能恢复出光线路径的情况下，可以推算出物体的几何信息。实际情况下，由于物体几何信息的缺失，并不能准确得到p1点和p2点，只能通过Q2Q1入射光线与qc出射光线的对应关系，在预估的参数下，逐步优化得到估计的p1与p2点，以恢复物体的三维形状。
基于此，提出一种简单有效的多视角下透明物体的光线对应关系采集系统，如图3所示。在实验过程中，使用两个固定位置已经预先标定好内参矩阵的相机来辅助数据采集，其中相机1放置在转台1和背景屏幕的正前方，相机2俯视朝向转台1用以标定该转台的旋转轴。使用液晶显示屏幕作为唯一光源，并将该屏幕放置在转台2上，以实现对屏幕旋转的准确控制。
数据采集时，首先控制转台2将屏幕调整至第一位置，在屏幕上显示棋盘格用以标定此时屏幕相对于相机1的位置。然后将透明物体放置在转台1上，并控制转台1旋转物体，如每隔5°旋转一次。在转台1的每一个位置下，屏幕上显示二进制格雷码序列图片并使用相机1采集数据，同时使用环境抠图技术用以提取该相机视角下的光线与像素点的对应关系。在转台1完整旋转一周之后，继而控制转台2将屏幕调整至第二位置，重复上述采集过程。所有数据采集完成之后，将透明物体从转台1上取下，在屏幕上显示棋盘格用以标定该位置相对于相机1的位置。
数据采集过程包括相机参数标定和计算不同视角下光线对应关系。假设相机1和相机2的内参矩阵预先采用张正友标定法进行标定获得，分别记为K1和K2。如上所述，采用相机2来标定转台1的旋转轴并辅助标定相机1在该旋转平台不同位置下的外参矩阵。通过在转台1上倾斜放置标定板，使得两个相机都能拍摄到，采用相机位姿估计算法估计出该标定板在两个不同的相机坐标系下的外参矩阵分别为R1、T1和R2、T2。假设此时在世界坐标系下有一任意点P，所有计算都假定在齐次坐标系下，并且不考虑三维坐标系到二维像素坐标系的透视除法操作，该点在两个相机坐标系下的投影点分别计算如下：
P1＝[R1|T1]*P＝R1*P+T1 (相机1坐标系下)
P2＝[R2|T2]*P＝R2*P+T2 (相机2坐标系下)
基于此可以获得相机2坐标系下点P2和相机1坐标系下点P1的转换关系，如公式(1)所示：
Figure BDA0001744089550000091
Figure BDA0001744089550000092
得到两个不同相机坐标系下的点位置转换关系后，将转台1上的标定板平放，此时只有相机2能拍摄到标定板，控制转台1以旋转标定板至不同的位置，采用相机位姿估计算法估计出该标定板在相机2坐标系下的外参矩阵分别为R′k、T′k，k表示转台1旋转一周的旋转次数，例如每5度转一次，则k＝72。此时假设在转台1某位置下的标准坐标系中有一任意点Q，该点在相机2坐标系下的投影点为：
Q2＝[R′k|T′k]*Q＝R′k*Q+T′k
依据公式(1)可以换算出该点在相机1坐标系下的投影点为：
Figure BDA0001744089550000093
Figure BDA0001744089550000094
Figure BDA0001744089550000095
依据公式(2)可将转台1坐标系下的点转换至相机1坐标系下，所以转台1位置相对于相机1的外参矩阵可以表示如下：
Figure BDA0001744089550000101
Figure BDA0001744089550000102
如上计算得到转台1的不同位置相对于相机1的外参矩阵之后，需要进一步计算出该位置下光线的对应关系。假设液晶显示屏幕的真实物理尺寸分别为长w和宽h，分辨率为长W和宽H，则水平方向和垂直方向上每个像素点的真实物理尺寸分别为
Figure BDA0001744089550000103
和
Figure BDA0001744089550000104
依据采集的数据，假定已经通过环境抠图技术计算出转台1某位置下光线与像素点对应关系，屏幕坐标系零点位置设置在屏幕中心，保持与屏幕在相机1下的位置标定时选定的屏幕坐标系一致，从位置2屏幕像素点(x2,y2)到位置1屏幕像素点(x1,y1)，最终到达相机成像平面上像素点(x,y)和相机投影中心c。另外，屏幕在转台2的两个不同位置时在相机1下标定得到的外参矩阵分别为M1、N1和M2、N2。
将两个位置的屏幕像素点转换至各自的屏幕坐标系，并表示为齐次坐标形式，如下：
Figure BDA0001744089550000105
Figure BDA0001744089550000106
依据投影矩阵将这两点分别转换至相机1坐标系下，如下：
Figure BDA0001744089550000107
Figure BDA0001744089550000108
依据公式(3)和公式(4)将上述相机1坐标系下的点转换至转台1该位置的标准坐标系下，得到：
Figure BDA0001744089550000109
Figure BDA00017440895500001010
另外，在出射光线端，将相机成像平面上像素点转化为齐次坐标q＝[x,y,1]T，依据相机1的内参矩阵，将该像素点转换至相机1坐标系下
Figure BDA0001744089550000111
由于相机1的投影中心c在相机1坐标系下的坐标为c＝[0,0,0]T，同样依据公式(3)(4)将上述两点转换至转台1该位置的标准坐标系下，得到：
Figure BDA0001744089550000112
R*cw+T＝c→cw＝RT*(c-T)＝-RTT (8)
依据公式(5)、公式(6)、公式(7)和公式(8)可得到在转台1该位置下的光线对应关系如下：
Figure BDA0001744089550000113
当转台1旋转到不同位置时，即对应透明物体在相机1的不同视角下，这样能够计算出在不同相机视角下的入射光线和出射光线对应关系，以用作恢复透明物体不同部分的几何信息。
上述透明物体光线对应关系采集系统和计算方法具有普适性，能够采集透明物体在相机不同视角下的光线对应关系。此外，该数据采集方法是全自动的，在数据采集过程中不需要人为干涉。本申请中采用水平方向绕物体一周获取光线对应关系，可扩展至相机阵列等多相机的数据采集系统。
为了验证上述采集系统的有效性和计算方法的准确性，在虚拟环境中搭建采集系统，并采用POV-Ray渲染图片来模拟相机的拍摄。仿真系统下通过Kitten模型采集数据，图4为采用Kitten模型的渲染结果。通过拍摄背景屏幕上显示的格雷码编码序列，其中，横向和纵向条纹序列分别编码屏幕的行像素和列像素。通过环境抠图技术可以依据这些图片计算得到在不同屏幕位置下的光线与像素点对应关系。在虚拟设置中，将转盘1每隔45°旋转一次，即可依据上述计算方法推算出相机在8个视角下的光线对应关系。将8个视角依据相机的前后对应关系分成4对，并采用预设算法恢复物体的表面几何信息，生成的点云分布如图5所示，能够刻画出原有模型在不同视角下的几何信息。
实际情况下，采用图3所示的装置来搭建采集系统。实验采用猴子模型，该模型表面具有复杂的几何特性。计算光线对应关系是假定相机1满足小孔成像原理，所以在采集数据时将相机1的光圈调小以逼近假设。此外，由于屏幕需要作为场景中唯一的光源，所以在采集数据时，整套实验装置需要放置在黑暗的环境中，以避免环境光的影响。尽管透明物体被放置在背景屏幕前，透明物体上仍然存在一些区域不能被屏幕照亮，在计算光线对应关系时，忽略这些像素点。
本领域普通技术人员可以理解实现上述实施例控制装置中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述控制装置的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种透明物体光线对应关系采集系统，所述系统包括摄像装置、显示装置、转台和控制装置，所述摄像装置、所述显示装置以及所述转台分别与所述控制装置连接，所述转台用于旋转待测透明物体；
所述控制装置用于控制处于预设第一位置的显示装置显示预设图像，获取所述摄像装置透过不同旋转角度下的所述待测透明物体拍摄的所述处于预设第一位置的显示装置对应的图像，得到初次图像集合；控制所述处于预设第一位置的显示装置移动至预设第二位置，获取所述摄像装置透过不同旋转角度下的所述待测透明物体拍摄的处于所述预设第二位置的显示装置对应的图像，得到二次图像集合；根据所述初次图像集合以及所述二次图像集合，得到不同视角下所述待测透明物体的光线对应关系。
2.根据权利要求1所述的系统，其特征在于，所述控制装置还用于获取显示装置坐标系与转台坐标系的对应关系，根据所述显示装置坐标系与转台坐标系的对应关系、所述初次图像集合以及所述二次图像集合，得到不同视角下所述待测透明物体的光线对应关系。
3.根据权利要求2所述的系统，其特征在于，所述控制装置还用于获取显示装置坐标系与摄像装置坐标系的对应关系，以及摄像装置坐标系与转台坐标系的对应关系；根据所述摄像装置坐标系与转台坐标系的对应关系，以及所述显示装置与摄像装置坐标系的对应关系，得到显示装置坐标系与转台坐标系的对应关系。
4.根据权利要求3所述的系统，其特征在于，所述控制装置还用于控制处于所述预设第一位置的显示装置显示预设棋盘格，并通过所述摄像装置拍摄所述处于预设第一位置的显示装置，得到第一棋盘格图像；控制移动至所述预设第二位置的显示装置显示所述预设棋盘格，并通过所述摄像装置拍摄处于所述预设第二位置的显示装置，得到第二棋盘格图像；根据所述第一棋盘格图像和所述第二棋盘格图像，得到显示装置坐标系与摄像装置坐标系的对应关系。
5.根据权利要求3所述的系统，其特征在于，所述系统还包括与所述控制装置连接的标定摄像装置，所述转台还用于放置标定板，所述控制装置还用于通过所述标定摄像装置拍摄预设第一标定位置的标定板，得到标定摄像装置坐标系与转台坐标系的对应关系；通过所述摄像装置和所述标定摄像装置分别拍摄预设第二标定位置的标定板，得到摄像装置坐标系与标定摄像装置坐标系的对应关系；根据所述标定摄像装置坐标系与转台坐标系的对应关系，以及所述摄像装置坐标系与标定摄像装置坐标系的对应关系，得到摄像装置坐标系与转台坐标系的对应关系。
6.根据权利要求5所述的系统，其特征在于，所述控制装置还用于通过所述摄像装置和所述标定摄像装置分别拍摄预设第二标定位置的标定板，得到第一图像和第二图像；获取所述标定板基于摄像装置坐标系的第一外参矩阵以及所述标定板基于标定摄像装置坐标系的第二外参矩阵；根据所述第一图像、所述第二图像、所述第一外参矩阵以及所述第二外参矩阵，得到摄像装置坐标系与标定摄像装置坐标系的对应关系。
7.根据权利要求6所述的系统，其特征在于，所述控制装置还用于根据所述第一图像以及所述第一外参矩阵，得到摄像装置坐标系的投影关系；根据所述第二图像以及所述第二外参矩阵，得到标定摄像装置坐标系的投影关系；根据所述摄像装置坐标系的投影关系以及所述标定摄像装置坐标系的投影关系，得到摄像装置坐标系与标定摄像装置坐标系的对应关系。
8.根据权利要求1所述的系统，其特征在于，所述控制装置还用于控制处于预设第一位置的显示装置显示预设图像，并控制所述转台以预设间隔角度持续转动一周；获取所述摄像装置透过不同旋转角度下的所述待测透明物体拍摄的所述处于预设第一位置的显示装置对应的图像，得到初次图像集合。
9.根据权利要求1所述的系统，其特征在于，所述控制装置还用于控制所述处于预设第一位置的显示装置移动至预设第二位置，并控制所述转台以预设间隔角度持续转动一周；获取所述摄像装置透过不同旋转角度下的所述待测透明物体拍摄的处于所述预设第二位置的显示装置对应的图像，得到二次图像集合。
10.根据权利要求1所述的系统，其特征在于，所述控制装置还用于获取摄像装置坐标系与转台坐标系的对应关系，以及所述摄像装置的内参矩阵，根据所述摄像装置坐标系与转台坐标系的对应关系，以及所述摄像装置的内参矩阵，得到待测透明物体的出射光线集合；根据所述初次图像集合以及所述二次图像集合，得到待测透明物体的入射光线集合；根据所述入射光线集合以及所述出射光线集合，得到不同视角下所述待测透明物体的光线对应关系。
CN201810833989.2A 2018-07-26 2018-07-26 透明物体光线对应关系采集系统 Active CN109238167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810833989.2A CN109238167B (zh) 2018-07-26 2018-07-26 透明物体光线对应关系采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810833989.2A CN109238167B (zh) 2018-07-26 2018-07-26 透明物体光线对应关系采集系统

Publications (2)

Publication Number Publication Date
CN109238167A CN109238167A (zh) 2019-01-18
CN109238167B true CN109238167B (zh) 2020-12-22

Family

ID=65072470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810833989.2A Active CN109238167B (zh) 2018-07-26 2018-07-26 透明物体光线对应关系采集系统

Country Status (1)

Country Link
CN (1) CN109238167B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689514B (zh) * 2019-10-11 2022-11-11 深圳大学 一种透明物体的新视角合成模型的训练方法和计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368137A (zh) * 2011-10-24 2012-03-07 北京理工大学 嵌入式标定立体视觉系统
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
CN106910243A (zh) * 2017-02-09 2017-06-30 景致三维（江苏）股份有限公司 基于转台的自动化数据采集与三维建模的方法及装置
CN108198238A (zh) * 2018-01-30 2018-06-22 北京小米移动软件有限公司 全息投影设备、方法、装置及计算机可读存储介质
CN207541416U (zh) * 2017-12-18 2018-06-26 苏州大学 一种能够表示再现像遮挡关系的计算全息三维显示装置
CN108254954A (zh) * 2016-12-29 2018-07-06 乐金显示有限公司 透明显示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9921425B2 (en) * 2013-04-05 2018-03-20 Jiansheng Wang Switchable projection panel

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
CN102368137A (zh) * 2011-10-24 2012-03-07 北京理工大学 嵌入式标定立体视觉系统
CN108254954A (zh) * 2016-12-29 2018-07-06 乐金显示有限公司 透明显示装置
CN106910243A (zh) * 2017-02-09 2017-06-30 景致三维（江苏）股份有限公司 基于转台的自动化数据采集与三维建模的方法及装置
CN207541416U (zh) * 2017-12-18 2018-06-26 苏州大学 一种能够表示再现像遮挡关系的计算全息三维显示装置
CN108198238A (zh) * 2018-01-30 2018-06-22 北京小米移动软件有限公司 全息投影设备、方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
光学触摸实时处理算法研究;韩龙;《中国优秀硕士学位论文全文数据库信息科技辑》;20160315(第03期);全文 *

Also Published As

Publication number Publication date
CN109238167A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109313814B (zh) 照相机校准系统
CN111857329B (zh) 注视点计算方法、装置及设备
US20050220363A1 (en) Processing architecture for automatic image registration
US10964107B2 (en) System for acquiring correspondence between light rays of transparent object
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
CN106408551B (zh) 一种监控装置控制的方法及装置
CN108830906B (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN108475327A (zh) 三维采集与渲染
CN109615664B (zh) 一种用于光学透视增强现实显示器的标定方法与设备
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
CN108038886B (zh) 双目摄像系统标定方法、装置及其汽车
EP2022007A2 (en) System and architecture for automatic image registration
CN110648274B (zh) 鱼眼图像的生成方法及装置
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
US8687920B2 (en) Method and device for the invariant-affine recognition of shapes
CN113689578A (zh) 一种人体数据集生成方法及装置
CN111080776A (zh) 人体动作三维数据采集和复现的处理方法及系统
CN110312111A (zh) 用于图像装置的自动校准的装置、系统和方法
CN1878318A (zh) 基于双相机的小型场景三维重建方法及其装置
CN113936099A (zh) 基于单目结构光和旋转平台的三维图像重建方法及系统
CN110782498A (zh) 一种视觉传感网络的快速通用标定方法
Krutikova et al. Creation of a depth map from stereo images of faces for 3D model reconstruction
CN109238167B (zh) 透明物体光线对应关系采集系统
CN113963065A (zh) 一种基于外参已知的镜头内参标定方法及装置、电子设备
US11410378B1 (en) Image processing for generating three-dimensional shape and spatially-varying reflectance of the object using a deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant