CN107517366A - 基于rgbd的投影机画面信息自动测量方法 - Google Patents
基于rgbd的投影机画面信息自动测量方法 Download PDFInfo
- Publication number
- CN107517366A CN107517366A CN201710730968.3A CN201710730968A CN107517366A CN 107517366 A CN107517366 A CN 107517366A CN 201710730968 A CN201710730968 A CN 201710730968A CN 107517366 A CN107517366 A CN 107517366A
- Authority
- CN
- China
- Prior art keywords
- picture
- rgbd
- gray code
- camera
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于RGBD的投影机画面信息自动测量方法，包括以下步骤：1)先计算出自动测量中所需要的二进制格雷码模板图；2)再依次通过投影机投射出模板图，并用RGBD摄像头采集对应的彩色图像；3)通过采集到的彩色图像计算出投影画面与摄像头采集画面的映射关系；4)计算投影画面与摄像头采集画面的单应性矩阵；5)用RGBD摄像头采集深度图像，并映射到彩色图像空间；6)计算空间尺寸信息。与现有技术相比，本发明具有执行速度快、测量精度高、后期维护方便等优点。
Description
技术领域
本发明涉及一种投影机画面信息自动测量方法，尤其是涉及一种基于RGBD 的投影机画面信息自动测量方法。
背景技术
随着投影机与摄像头相结合的互动产品快速普及，投影机画面与摄像头采集画面的校准过程成为行业应用中的关键步骤。现阶段大多数的互动产品企业仍使用人 工测量的方式进行该校准工作。采用标尺等工具对投影画面的长宽，以及投影画面 与摄像头的相对空间位置关系进行测量。这种方式容易产生巨大的误差，并且执行 速度较慢，不利于现场的快速施工部署。同时需要测量人员有丰富的经验，无法让 互动产品的用户自行进行校准工作，不利于后期维护。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于RGBD 的投影机画面信息自动测量方法。
本发明的目的可以通过以下技术方案来实现：
一种基于RGBD的投影机画面信息自动测量方法，包括以下步骤：
1)先计算出自动测量中所需要的二进制格雷码模板图；
2)再依次通过投影机投射出模板图，并用RGBD摄像头采集对应的彩色图像；
3)通过采集到的彩色图像计算出投影画面与摄像头采集画面的映射关系；
4)计算投影画面与摄像头采集画面的单应性矩阵；
5)用RGBD摄像头采集深度图像，并映射到彩色图像空间；
6)计算空间尺寸信息。
所述的1)中的二进制格雷码具体如下表所示：
所述的RGBD摄像头采集对应的彩色图像为两张互补的图，若设置X方向格 雷码为9位，则X方向需采集共18张图像。
所述的通过采集到的彩色图像计算出投影画面与摄像头采集画面的映射关系 具体为：
先将一对图根据黑白差值判断是否为投影画面上的点，差值小于设定阈值为画面外的点，若差值正为格雷码位1，若差值负为格雷码位0；
再将每张图的格雷码位合并，利用格雷码反向解析，得到投影画面与摄像头采 集画面的映射关系。
所述的单应性矩阵H采用RANSAC算法计算得到。
所述的步骤5)具体为：深度图像利用已知的摄像头内部参数计算出图像中每 个像素在RGBD摄像头坐标系空间中的空间位置。
所述的步骤6)具体为：
将投影画面空间中的点A(0，0)、点B(0，1)、点C(1，1)和点D(1，0) 四点全部映射至深度图中，从而得到其在RGBD摄像头坐标系中的空间位置，进 一步得到所需测量的尺寸：
其中长度为(|AB|+|CD|)/2
其中宽度为(|AD|+|BC|)/2
其中法线为(AB×AD+BC×DC)/2。
与现有技术相比，本发明采用自动测量方法，具有执行速度快、测量精度高、 后期维护方便等优点。
附图说明
图1为投影机与RGBD摄像头的空间关系主视图；
图2为投影机与RGBD摄像头的空间关系俯视图；
图3为RGBD摄像头坐标系示意图；
图4为X方向粗线编码模板图；
图5为X方向中线编码模板图；
图6为X方向细线编码模板图；
图7为Y方向粗线编码模板图；
图8为Y方向中线编码模板图；
图9为Y方向细线编码模板图；
图10和图11为摄像头实际采集到的一对画面；
图12为投影画面空间中的四点全部映射至深度图示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获 得的所有其他实施例，都应属于本发明保护的范围。
投影机与RGBD摄像头的空间关系如图1和图2中所示。其中RGBD摄像头 的采集画面必须包含整个投影机画面。
投影机画面的测量主要目标是两组数据：1、投影机画面与摄像头画面的单应 性矩阵(homography)。2、投影机画面的空间尺寸(长、宽、法向量)；简单描述 如图3所示。
X1为摄像机采集图像中的一点，X2为投影机画面中的一点，H为单应性矩阵。
测量方法的步骤如下：
1)先计算出自动测量中所需要的二进制格雷码(binary gray code)模板图， 其中二进制格雷码如表1所示。
表1
| 十进制数 | 4位自然二进制码 | 4位典型格雷码 |
| 0 | 0000 | 0000 |
| 1 | 0001 | 0001 |
| 2 | 0010 | 0011 |
| 3 | 0011 | 0010 |
| 4 | 0100 | 0110 |
| 5 | 0101 | 0111 |
| 6 | 0110 | 0101 |
| 7 | 0111 | 0100 |
| 8 | 1000 | 1100 |
| 9 | 1001 | 1101 |
| 10 | 1010 | 1111 |
| 11 | 1011 | 1110 |
| 12 | 1100 | 1010 |
| 13 | 1101 | 1011 |
| 14 | 1110 | 1001 |
| 15 | 1111 | 1000 |
由于格雷码在信号中具有连续性，所以可以消除采集误差带来的数值跳变干扰，广泛应用于数字信号处理领域。例如0100中任何相邻一位变化，所表示的数值仅 加减1。
X方向编码模板图如图4-6所示，Y方向编码模板图如图7-9所示；
2)再依次通过投影机投射出模板图，并用RGBD摄像头采集对应的彩色图像。
图10为摄像头实际采集到的画面示例。两张互补的图为一对，如果设置X方 向格雷码为9位，则X方向需采集共18张图像。
3)通过采集到的彩色图像计算出投影画面与摄像头采集画面的映射关系。
先将一对图根据黑白差值判断是否为投影画面上的点，差值小于设定阈值即为画面外的点，如果差值正为格雷码位1，如果差值负为格雷码位0。
再将每张图的格雷码位合并，利用格雷码反向解析，得到投影画面与摄像头采 集画面的映射关系，如表2所示。
表2
上图位解析后的示例，假设图像仅为3X3的像素，解析后每一个像素都会被 赋予格雷码坐标值x和y。
4)计算投影画面与摄像头采集画面的单应性矩阵
从上一步中，得到了投影画面中的所有像素点和摄像头画面中所有像素点的映射关系。采用RANSAC算法计算得到单应性矩阵H。
5)用RGBD摄像头采集深度图像，并映射到彩色图像空间。
深度图像利用已知的摄像头内参(RGBD摄像头厂商提供参数)可以计算出图 像中每个像素在RGBD摄像头坐标系空间中的空间位置。
上述为摄像头内参矩阵。
6)计算空间尺寸信息
将投影画面空间中的点A(0，0)点B(0，1)点C(1，1)点D(1，0)四 点全部映射至深度图中，如图12所示，从而得到他们在RGBD摄像头坐标系中的 空间位置。从而得到我们所需测量的尺寸：
长度(|AB|+|CD|)/2
宽度(|AD|+|BC|)/2
法线(AB×AD+BC×DC)/2
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效 的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明 的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于RGBD的投影机画面信息自动测量方法，其特征在于，包括以下步骤：
1)先计算出自动测量中所需要的二进制格雷码模板图；
2)再依次通过投影机投射出模板图，并用RGBD摄像头采集对应的彩色图像；
3)通过采集到的彩色图像计算出投影画面与摄像头采集画面的映射关系；
4)计算投影画面与摄像头采集画面的单应性矩阵；
5)用RGBD摄像头采集深度图像，并映射到彩色图像空间；
6)计算空间尺寸信息。
2.根据权利要求1所述的方法，其特征在于，所述的1)中的二进制格雷码具体如下表所示：
3.根据权利要求1所述的方法，其特征在于，所述的RGBD摄像头采集对应的彩色图像为两张互补的图，若设置X方向格雷码为9位，则X方向需采集共18张图像。
4.根据权利要求1所述的方法，其特征在于，所述的通过采集到的彩色图像计算出投影画面与摄像头采集画面的映射关系具体为：
先将一对图根据黑白差值判断是否为投影画面上的点，差值小于设定阈值为画面外的点，若差值正为格雷码位1，若差值负为格雷码位0；
再将每张图的格雷码位合并，利用格雷码反向解析，得到投影画面与摄像头采集画面的映射关系。
5.根据权利要求1所述的方法，其特征在于，所述的单应性矩阵H采用RANSAC算法计算得到。
6.根据权利要求1所述的方法，其特征在于，所述的步骤5)具体为：深度图像利用已知的摄像头内部参数计算出图像中每个像素在RGBD摄像头坐标系空间中的空间位置。
7.根据权利要求1所述的方法，其特征在于，所述的步骤6)具体为：
将投影画面空间中的点A(0，0)、点B(0，1)、点C(1，1)和点D(1，0)四点全部映射至深度图中，从而得到其在RGBD摄像头坐标系中的空间位置，进一步得到所需测量的尺寸。
8.根据权利要求7所述的方法，其特征在于，其中长度为(|AB|+|CD|)/2。
9.根据权利要求7所述的方法，其特征在于，其中宽度为(|AD|+|BC|)/2。
10.根据权利要求7所述的方法，其特征在于，其中法线为(AB×AD+BC×DC)/2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710730968.3A CN107517366A (zh) | 2017-08-23 | 2017-08-23 | 基于rgbd的投影机画面信息自动测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710730968.3A CN107517366A (zh) | 2017-08-23 | 2017-08-23 | 基于rgbd的投影机画面信息自动测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107517366A true CN107517366A (zh) | 2017-12-26 |
Family
ID=60723770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710730968.3A Pending CN107517366A (zh) | 2017-08-23 | 2017-08-23 | 基于rgbd的投影机画面信息自动测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107517366A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112433641A (zh) * | 2020-11-11 | 2021-03-02 | 大庆思特传媒科技有限公司 | 一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法 |
| CN114485388A (zh) * | 2020-10-26 | 2022-05-13 | 成都极米科技股份有限公司 | 投影设备控制方法和装置、投影设备及存储介质 |
| US20220187071A1 (en) * | 2019-09-04 | 2022-06-16 | Lightyx Systems Ltd. | System and method for controlling a light projector in a construction site |
| CN114760450A (zh) * | 2022-04-12 | 2022-07-15 | 昆明云岸数字科技有限公司 | 一种多元素桌面投影互动实现方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110228104A1 (en) * | 2010-03-22 | 2011-09-22 | Steve Nelson | Multi-Projector Display System Calibration |
| CN106371281A (zh) * | 2016-11-02 | 2017-02-01 | 辽宁中蓝电子科技有限公司 | 基于结构光多模块360度空间扫描和定位的3d相机 |
-
2017
- 2017-08-23 CN CN201710730968.3A patent/CN107517366A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110228104A1 (en) * | 2010-03-22 | 2011-09-22 | Steve Nelson | Multi-Projector Display System Calibration |
| CN106371281A (zh) * | 2016-11-02 | 2017-02-01 | 辽宁中蓝电子科技有限公司 | 基于结构光多模块360度空间扫描和定位的3d相机 |
Non-Patent Citations (2)
| Title |
|---|
| SHUNTARO YAMAZAKI等: "Simultaneous self-calibration of a projector and a camera using structured light", 《CVPR 2011 WORKSHOPS》 * |
| 雷震: "单相机单投影仪的编码结构光三维测量方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220187071A1 (en) * | 2019-09-04 | 2022-06-16 | Lightyx Systems Ltd. | System and method for controlling a light projector in a construction site |
| US11725939B2 (en) * | 2019-09-04 | 2023-08-15 | Lightyx Systems Ltd. | System and method for controlling a light projector in a construction site |
| CN114485388A (zh) * | 2020-10-26 | 2022-05-13 | 成都极米科技股份有限公司 | 投影设备控制方法和装置、投影设备及存储介质 |
| CN112433641A (zh) * | 2020-11-11 | 2021-03-02 | 大庆思特传媒科技有限公司 | 一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法 |
| CN114760450A (zh) * | 2022-04-12 | 2022-07-15 | 昆明云岸数字科技有限公司 | 一种多元素桌面投影互动实现方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021115071A1 (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN106683068B (zh) | 一种三维数字化图像采集方法 | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| CN107517366A (zh) | 基于rgbd的投影机画面信息自动测量方法 | |
| CN103606188B (zh) | 基于影像点云的地理信息按需采集方法 | |
| CN103337094A (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
| CN105488775A (zh) | 一种基于六摄像机环视的柱面全景生成装置及方法 | |
| CN109974743A (zh) | 一种基于gms特征匹配及滑动窗口位姿图优化的rgb-d视觉里程计 | |
| CN103903263B (zh) | 一种基于Ladybug全景相机图像的360度全方位测距方法 | |
| CN106875437A (zh) | 一种面向rgbd三维重建的关键帧提取方法 | |
| CN104584032A (zh) | 混合式精确跟踪 | |
| CN110517209A (zh) | 数据处理方法、装置、系统以及计算机可读存储介质 | |
| CN104778675A (zh) | 一种采煤综掘工作面动态视频图像融合方法 | |
| CN106444846A (zh) | 移动终端的定位和控制方法、装置及无人机 | |
| CN112652020B (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
| CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
| CN108022265A (zh) | 红外相机位姿确定方法、设备及系统 | |
| CN110992366A (zh) | 一种图像语义分割方法、装置及存储介质 | |
| CN108629742B (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
| CN116091724A (zh) | 一种建筑数字孪生建模方法 | |
| CN106952262A (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
| CN109345462A (zh) | 图像处理方法、装置及计算机可读存储介质 | |
| CN115880448B (zh) | 基于双目成像的三维测量方法及装置 | |
| CN115631317B (zh) | 隧道衬砌正射影像生成方法及装置、存储介质、终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171226 |