CN114283068A - 一种使用虚拟场景与现实摄制图像进行拼接的方法及系统 - Google Patents
一种使用虚拟场景与现实摄制图像进行拼接的方法及系统 Download PDFInfo
- Publication number
- CN114283068A CN114283068A CN202111659062.XA CN202111659062A CN114283068A CN 114283068 A CN114283068 A CN 114283068A CN 202111659062 A CN202111659062 A CN 202111659062A CN 114283068 A CN114283068 A CN 114283068A
- Authority
- CN
- China
- Prior art keywords
- virtual scene
- camera
- image
- real
- projection image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种使用虚拟场景与现实摄制图像进行拼接的方法及系统，包括：获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将虚拟场景投影图像转到摄像机成像平面上以拼接图像。在虚拟演播室下，解除因屏幕面积大小而受限的摄制区域，使用虚拟场景与现实摄像机拍摄区域相结合的方式，将虚拟场景完全投影到摄像机的投影平面上，成功将现实屏幕所围成的空间与虚拟场景空间相结合，从而做到将有限的现实空间拓展到无限的虚拟空间。
Description
技术领域
本发明涉及一种使用虚拟场景与现实摄制图像进行拼接的方法及系统。
背景技术
使用虚拟场景与现实摄制图像进行拼接的是基于摄像机的姿态将已有的虚拟场景投影到屏幕上，在摄制过程中不需要额外的场景道具，就可以让使用者置身于虚拟场景中。区别于传统的道具场景布局或绿幕布场景，使用虚拟场景与现实摄制图像进行拼接的在不使用道具场景的同时可以为使用者提供场景的互动与反馈。
近几年来，使用虚拟场景与现实摄制图像进行拼接的在节目制作，广告行业有着越来越广泛的应用。使用虚拟场景与现实摄制图像进行拼接的使用多块屏幕搭建出立方体舞台。依据摄像机的位置和投影模型计算出虚拟场景在屏幕位置的投影图像，在不耗费资源搭建出现实场景的同时让使用者和观众有身临其境的互动体验。
而受限于演播室屏幕的面积，如果想要使虚拟场景充满整个摄像机采集的图像，摄像机的活动范围(光学变焦)将被限制在一定的范围内。同时摄像机采集到的虚拟场景范围也将受限。
发明内容
本发明的目的在于克服上述不足，提供一种使用虚拟场景与现实摄制图像进行拼接的方法及系统，解决延伸虚拟演播室空间的问题。
为了实现上述目的，本发明采用的技术方案为：一种使用虚拟场景与现实摄制图像进行拼接的方法，其特征在于，包括：获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将虚拟场景投影图像转到摄像机成像平面上以拼接图像。
进一步地，依据匹配上的特征点计算是根据ORB特征点检测方法。
进一步地，还包括：通过迭代处理使得每一帧的摄像机都与前一帧投影到摄像机成像平面上的虚拟场景投影图像进行匹配。
本发明的另一目的在于提供一种使用虚拟场景与现实摄制图像进行拼接的系统，其特征在于，包括：
获取单元，用于获取摄像机图像与虚拟场景投影图像；
处理单元，用于依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将虚拟场景投影图像转到摄像机成像平面上以拼接图像。
本发明的有益效果为：
实现简单，包括：获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将虚拟场景投影图像转到摄像机成像平面上以拼接图像。在虚拟演播室下，解除因屏幕面积大小而受限的摄制区域，使用虚拟场景与现实摄像机拍摄区域相结合的方式，将虚拟场景完全投影到摄像机的投影平面上，成功将现实屏幕所围成的空间与虚拟场景空间相结合，从而做到将有限的现实空间拓展到无限的虚拟空间。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明的使用虚拟场景与现实摄制图像进行拼接的方法的流程图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
请参照图1，本发明的一种使用虚拟场景与现实摄制图像进行拼接的方法，包括：
步骤S101，获取摄像机图像与虚拟场景投影图像；
步骤S102，依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将虚拟场景投影图像转到摄像机成像平面上以拼接图像。
在本申请的一种实施例中，具体地，依据匹配上的特征点计算是根据ORB特征点检测方法。
在本申请的一种实施例中，具体地，还包括：通过迭代处理使得每一帧的摄像机都与前一帧投影到摄像机成像平面上的虚拟场景投影图像进行匹配。
本发明的另一目的在于提供一种使用虚拟场景与现实摄制图像进行拼接的系统，包括：
获取单元，用于获取摄像机图像与虚拟场景投影图像；
处理单元，用于依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将虚拟场景投影图像转到摄像机成像平面上以拼接图像。
本发明的技术关键点为在使用虚拟场景与现实摄制图像进行拼接的下，使用虚拟场景与现实摄制图像进行拼接的方法将虚拟场景延伸至整个拍摄空间。
作为具体的实施例，本发明的方法包括：
第一步，以第一帧的摄像机图像拍摄位置为原点建立坐标系获取第一帧图像，将虚拟场景投影到当前摄像机的投影平面上获取第一帧的虚拟场景投影图像。
pimage＝K(RP+t)
其中pimage为虚拟场景点在图像中像素点坐标，K为摄像机内参,R为摄像机旋转(在本例中R为单位矩阵I)，t为摄像机位置(在本例中为0向量)，P为虚拟场景中点的位置。
第二步，进行角点与描述子提取，该算法中使用ORB(OrientedFAST andRotatedBRIEF)特征点，并根据汉明距离匹配两组图像的特征点。依据匹配上的特征点计算两个图像单应变换。使用计算出的单应矩阵将虚拟场景投影图像转到摄像机成像平面上(为了消除虚拟场景坐标系与摄像机坐标系的位置误差，以及后续帧的迭代)。
p2＝Hp1
其中p2为虚拟场景在摄像机平面上的投影，p1为虚拟场景在第一帧摄像机平面的投影。H为单应矩阵。
上式：
展开得：
以上式最小二乘法的方式拟合h矩阵。
第三步、之后每一帧的摄像机图像都与前一帧投影到摄像机成像平面上的虚拟场景投影图像进行匹配，并建立对极几何约束，最小化对极误差。得到优化后的摄像机位姿。
第四步、将虚拟场景投影到当前摄像机位姿上，重复步骤二得到拼接后的图像。后续图像帧均重复步骤三，四得到拼接后的图像。
试验：在测试场地搭建长度为576米，高3.86米的LED屏幕作为测试环境。拍摄的摄像机放置于距离正面大屏外5米远的位置，运行程序获得摄像机的图像，程序将屏幕外的区域使用虚拟场景进行填充后，通过sdi返送给pc。使用的大屏服务器采用惠普的大屏服务器型号为HP Z440，测试摄像机使用的是索尼的高清摄像机型号为PXW-280，LED大屏为利亚德屏幕，点间距为P1.576，大屏服务器为利亚德MVC-2-203。试验结果，完全将虚拟场景延伸至整个拍摄空间。
本发明的有益效果为：
实现简单，包括：获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将虚拟场景投影图像转到摄像机成像平面上以拼接图像。在虚拟演播室下，解除因屏幕面积大小而受限的摄制区域，使用虚拟场景与现实摄像机拍摄区域相结合的方式，将虚拟场景完全投影到摄像机的投影平面上，成功将现实屏幕所围成的空间与虚拟场景空间相结合，从而做到将有限的现实空间拓展到无限的虚拟空间。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。
Claims (4)
1.一种使用虚拟场景与现实摄制图像进行拼接的方法，其特征在于，包括：获取摄像机图像与虚拟场景投影图像；依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将虚拟场景投影图像转到摄像机成像平面上以拼接图像。
2.根据权利要求1所述的使用虚拟场景与现实摄制图像进行拼接的方法，其特征在于，依据匹配上的特征点计算是根据ORB特征点检测方法。
3.根据权利要求1所述的使用虚拟场景与现实摄制图像进行拼接的方法，其特征在于，还包括：通过迭代处理使得每一帧的摄像机都与前一帧投影到摄像机成像平面上的虚拟场景投影图像进行匹配。
4.一种使用虚拟场景与现实摄制图像进行拼接的系统，其特征在于，包括：
获取单元，用于获取摄像机图像与虚拟场景投影图像；
处理单元，用于依据匹配上的特征点计算所述摄像机图像与虚拟场景投影图像单应变换矩阵，使用计算出的单应变换矩阵将虚拟场景投影图像转到摄像机成像平面上以拼接图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111659062.XA CN114283068A (zh) | 2021-12-31 | 2021-12-31 | 一种使用虚拟场景与现实摄制图像进行拼接的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111659062.XA CN114283068A (zh) | 2021-12-31 | 2021-12-31 | 一种使用虚拟场景与现实摄制图像进行拼接的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283068A true CN114283068A (zh) | 2022-04-05 |
Family
ID=80878990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111659062.XA Pending CN114283068A (zh) | 2021-12-31 | 2021-12-31 | 一种使用虚拟场景与现实摄制图像进行拼接的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283068A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038758A (zh) * | 2016-10-14 | 2017-08-11 | 北京联合大学 | 一种基于orb算子的增强现实三维注册方法 |
| CN107665507A (zh) * | 2016-07-29 | 2018-02-06 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
| CN110956585A (zh) * | 2019-11-29 | 2020-04-03 | 深圳市英博超算科技有限公司 | 全景图像拼接方法、装置以及计算机可读存储介质 |
| WO2021227360A1 (zh) * | 2020-05-14 | 2021-11-18 | 佳都新太科技股份有限公司 | 一种交互式视频投影方法、装置、设备及存储介质 |
| CN113763440A (zh) * | 2021-04-26 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
-
2021
- 2021-12-31 CN CN202111659062.XA patent/CN114283068A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107665507A (zh) * | 2016-07-29 | 2018-02-06 | 成都理想境界科技有限公司 | 基于平面检测实现增强现实的方法及装置 |
| CN107038758A (zh) * | 2016-10-14 | 2017-08-11 | 北京联合大学 | 一种基于orb算子的增强现实三维注册方法 |
| CN110956585A (zh) * | 2019-11-29 | 2020-04-03 | 深圳市英博超算科技有限公司 | 全景图像拼接方法、装置以及计算机可读存储介质 |
| WO2021227360A1 (zh) * | 2020-05-14 | 2021-11-18 | 佳都新太科技股份有限公司 | 一种交互式视频投影方法、装置、设备及存储介质 |
| CN113763440A (zh) * | 2021-04-26 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| US11270460B2 (en) | Method and apparatus for determining pose of image capturing device, and storage medium | |
| Raskar et al. | Multi-projector displays using camera-based registration | |
| CN109076200B (zh) | 全景立体视频系统的校准方法和装置 | |
| KR100796849B1 (ko) | 휴대 단말기용 파노라마 모자이크 사진 촬영 방법 | |
| KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
| CN112767542A (zh) | 一种多目相机的三维重建方法、vr相机和全景相机 | |
| US20120098937A1 (en) | Markerless Geometric Registration Of Multiple Projectors On Extruded Surfaces Using An Uncalibrated Camera | |
| CN110769224B (zh) | 投影区域获取方法及投影方法 | |
| US20090052743A1 (en) | Motion estimation in a plurality of temporally successive digital images | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| US20210082086A1 (en) | Depth-based image stitching for handling parallax | |
| CA2464569A1 (en) | Single or multi-projector for arbitrary surfaces without calibration nor reconstruction | |
| CN111445537B (zh) | 一种摄像机的标定方法及系统 | |
| CN112734860A (zh) | 一种基于弧形幕先验信息的逐像素映射投影几何校正方法 | |
| CN103500471A (zh) | 实现高分辨率增强现实系统的方法 | |
| Resch et al. | On-site semi-automatic calibration and registration of a projector-camera system using arbitrary objects with known geometry | |
| CN111476876B (zh) | 一种三维影像渲染方法、装置、设备及可读存储介质 | |
| CN114913308A (zh) | 摄像机跟踪方法、装置、设备及存储介质 | |
| CN106997366B (zh) | 数据库构建方法、增强现实融合追踪方法及终端设备 | |
| KR101529820B1 (ko) | 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치 | |
| CN113112404A (zh) | 一种基于滑动窗口的图像拼接方法及装置 | |
| CN116912331A (zh) | 标定数据生成方法、装置、电子设备及存储介质 | |
| CN114283068A (zh) | 一种使用虚拟场景与现实摄制图像进行拼接的方法及系统 | |
| US11758101B2 (en) | Restoration of the FOV of images for stereoscopic rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |