CN111726566A - 一种实时校正拼接防抖的实现方法 - Google Patents
一种实时校正拼接防抖的实现方法 Download PDFInfo
- Publication number
- CN111726566A CN111726566A CN201910218150.2A CN201910218150A CN111726566A CN 111726566 A CN111726566 A CN 111726566A CN 201910218150 A CN201910218150 A CN 201910218150A CN 111726566 A CN111726566 A CN 111726566A
- Authority
- CN
- China
- Prior art keywords
- splicing
- shake
- data
- cpu
- lut
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种实时校正拼接防抖的实现方法，涉及嵌入式领域，所述方法包括以下步骤：S1：利用CPU采集外部输入数据，所述外部输入数据包括三种，分别是拼接源、位姿信息、LUT；S2：利用LUT进行鱼眼展开和球面建模；S3：利用GPU进行贴图渲染，所述贴图渲染包括拼缝融合、双线性插值、色度空间降转、姿态融合；S4：利用VPU进行编码输出，利用CPU进行推流；S5：按照全景视频或者图像的需求，进行循环迭代。本发明综合CPU、GPU、VPU、陀螺仪等与VR相关的公共属性，针对通用手持设备的芯片进行系统级的优化，在实现实时拼接的同时做到防抖补偿、编码输出和推流，适用于一般全景模式的拼接或者是3D模式的拼接。
Description
技术领域
本发明涉及嵌入式领域，尤其涉及一种实时校正拼接防抖的实现方法。
背景技术
随着VR(虚拟现实)的兴起，怎样使得最常用的手持设备支持VR全景的生成和输出成为热门的研究问题。传统的VR全景生成和输出是基于SIFT算法进行CPU(通用计算处理单元)级别的常规运算得到的，且常用的电脑基本不能做到实时拼接运算，这极大的限制了VR全景设备的应用和推广。
常用的拼接融合是在数据采集后通过高性能服务器在后台进行的线下拼接，此种拼接方式非常耗时，但是这样非实时的方式可以做出拼接后的全景，此种拼接方式是将数据采集、拼接运算、编码、推流等分离开来；为了应对实时拼接的需求，将采集的数据上传到服务器上，在云上采用高性能服务器进行后台接近实时的拼接运算、编码、推流，最后将拼接结果发送给用户，此方式在数据的上传、云上的运算都是存在延时的，所有虽然是端到端的方式，但是端到端的延时也非常长，且整个系统较为复杂。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种实时校正拼接防抖的实现方法，用于解决实时拼接的问题，综合CPU(通用计算处理单元)、GPU(图像处理单元)、VPU(视频处理单元)、陀螺仪等与VR相关的公共属性，针对通用手持设备的芯片进行系统级的优化，在实现实时拼接的同时做到防抖补偿、编码输出和推流。
本发明提供一种实时校正拼接防抖的实现方法，所述方法包括以下步骤：
S1：利用CPU采集外部输入数据，所述外部输入数据包括三种，分别是拼接源、位姿信息、LUT；
S2：利用LUT进行鱼眼展开和球面建模；
S3：利用GPU进行贴图渲染，所述贴图渲染包括拼缝融合、双线性插值、色度空间降转、姿态融合；
S4：利用VPU进行编码输出，利用CPU进行推流；
S5：按照全景视频或者图像的需求，进行循环迭代；
进一步的，所述拼接源为视频或图像，所述视频和图像为2～N个摄像头的输出数据或本地的存储数据；所述位姿信息为能够提供三维位姿信息设备的输出数据；所述LUT为自行标定后的输出数据或第三方工具的生成数据，是特征匹配后用来展开具体位置的查找表。
进一步的，所述贴图渲染包括以下步骤：
步骤3.1：根据外部输入数据，对GPU进行初始化；
步骤3.2：根据定制顶点着色器来计算球面XYZ坐标、2～N个拼接源的UV坐标、顶点顺序坐标，并对拼接源进行拼接融合；
步骤3.3：根据定制片元着色器来对拼接源进行加权处理、双线性插值处理，并配置YUV空间到RGB空间的变换矩阵，将每一帧的YUV数据，转换成适合LCD显示的RGB数据；
步骤3.4：根据输入的位姿信息，基于配置好的防抖补偿矩阵，进行姿态融合，得到最终投影。
进一步的，所述双线性插值的每个新的UV坐标位置(u,v)和周围四个位置(u1,v1)，(u1,v2)，(u2,v1)，(u2,v2)进行浮点运算得到。
如上所述，本发明的一种实时校正拼接防抖的实现方法，具有以下有益效果：本发明充分利用手持设备的CPU、VPU、GPU、陀螺仪等与VR相关的公共属性来完成全景视频和图片的拼接融合和全景输出，在全景视频和图片的拼接融合和全景输出之前，将相应的算法集成到通用的手持设备的芯片中，结合嵌入式应用和2～N个摄像头的输出数据，可以做到2K、4K或更高分辨率的实时拼接融合、全景输出和推流，可以做VR180的实时输出，且对手持设备的抖动进行补偿；由于充分利用了通用设备的硬件能力，极大地降低了全景拼接输出对硬件的需求。
附图说明
图1显示为本发明实施例中公开的实现方法的整体流程图；
图2显示为本发明实施例中公开的CPU、GPU、VPU三者之间的关系图；
图3显示为本发明实施例中公开的全景模式属性配置流程图；
图4显示为本发明实施例中公开的边界融合矩阵属性配置流程图；
图5显示为本发明实施例中公开的防抖补偿矩阵属性配置流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1和图2所示，本发明提供一种实时校正拼接防抖的实现方法，所述方法包括以下步骤：
S1：利用CPU采集外部输入数据，所述外部输入数据包括三种，分别是拼接源、位姿信息、LUT(查找表)；
其中，所述拼接源可以是视频或者图像，所述视频和图像可以是2～N个摄像头的输出数据，也可以是本地存储的数据；所述位姿信息是能够提供三维位姿信息设备的输出数据，比如：thetas/Phi/Gamma(三维空间沿着XYZ方向的转角)，一般是陀螺仪的输出数据，但是不限制于陀螺仪；所述LUT可以是自行标定后的输出数据，也可以是第三方工具如PT-GUI生成的，是特征匹配后用来展开具体位置的查找表；
S2：利用LUT进行鱼眼展开和球面建模；
S3：利用GPU进行贴图渲染，包括拼缝融合、色度空间降转、双线性插值以及姿态融合；
具体如下：
S3.1：根据外部输入数据，对GPU进行初始化；
S3.2：全景模式属性配置：根据定制顶点着色器来计算球面XYZ坐标，2～N个拼接源的UV(纹理)坐标、顶点顺序坐标、并对拼接源进行拼接融合；如图3所示，每一行和每一列的单元数都是通过LUT从拼接源的原图上得到的，通过对行数和列数的配置，可以对渲染的质量和效率进行平衡；
S3.3：边界融合矩阵属性配置：如图4所示，根据定制片元着色器来对外部输入源进行加权处理、双线性插值处理；并配置YUV空间到RGB空间的变换矩阵，将每一帧的YUV数据，转换成适合LCD显示的RGB信息；
其中，对于最耗时的双线性插值，每个新的UV坐标位置(u,v)，都需要周围四个位置(u1,v1)，(u1,v2)，(u2,v1)，(u2,v2)及其对应的值来参与运算，而且是浮点运算，所述浮点运算公式：
f(u,v)＝f(u1v1)*(u2-u)*(v2-v)/(u2-u)/(v2-v)+
f(u2v1)*(u-u1)*(v2-v)/(u2-u1)/(v2-v1)+
f(u1v2)*(u2-u)*(v-v1)/(u2-u1)/(v2-v1)+
f(u2v2)*(u-u1)*(v-v1)/(u2-u1)/(v2-v1)；
S3.4：防抖补偿矩阵属性配置：如图5所示，根据输入的位姿信息，基于配置好的防抖补偿矩阵，进行姿态融合，得到最终投影；
S4：利用VPU进行编码输出，利用CPU进行推流；
在传统的视频制作中，视频编码是重中之重，但是对于全景模式或3D模式的制作，视频编码不是最重要的，但也是很重要的环节，本发明利用VPU进行硬件编码，并按需对输出进行流媒体推流。
S5：按照全景视频或者图像的需求，进行循环迭代；
对于反畸变、Logo、水印可以看作是常用渲染的一种特殊形式，也是同样的逻辑，通过顶点着色器配置和片元着色器的定制，只是在常用渲染的同时，做反畸变处理，水印、Logo做渲染输出。
对于3D，只是把左右双眼的数据分别做一次上述的姿态融合，最后按照左右式或上下式进行封装输出。
综上所述，本发明解决了实时拼接的问题，综合CPU、GPU、VPU、陀螺仪等与VR相关的公共属性，针对通用手持设备的芯片进行系统级的优化，在实现实时拼接的同时做到防抖补偿、编码输出和推流。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (4)
1.一种实时校正拼接防抖的实现方法，其特征在于，所述方法包括以下步骤：
S1：利用CPU采集外部输入数据，所述外部输入数据包括三种，分别是拼接源、位姿信息、LUT；
S2：利用LUT进行鱼眼展开和球面建模；
S3：利用GPU进行贴图渲染，所述贴图渲染包括拼缝融合、双线性插值、色度空间降转、姿态融合；
S4：利用VPU进行编码输出，利用CPU进行推流；
S5：按照全景视频或者图像的需求，进行循环迭代。
2.根据权利要求1所述的实时校正拼接防抖的实现方法，其特征在于：所述拼接源为视频或图像，所述视频和图像为2～N个摄像头的输出数据或本地的存储数据；所述位姿信息为能够提供三维位姿信息设备的输出数据；所述LUT为自行标定后的输出数据或第三方工具的生成数据，是特征匹配后用来展开具体位置的查找表。
3.根据权利要求1所述的实时校正拼接防抖的实现方法，其特征在于，所述贴图渲染包括以下步骤：
步骤3.1：根据外部输入数据，对GPU进行初始化；
步骤3.2：根据定制顶点着色器来计算球面XYZ坐标、2～N个拼接源的UV坐标、顶点顺序坐标，并对拼接源进行拼接融合；
步骤3.3：根据定制片元着色器来对拼接源进行加权处理、双线性插值处理，并配置YUV空间到RGB空间的变换矩阵，将每一帧的YUV数据，转换成适合LCD显示的RGB数据；
步骤3.4：根据输入的位姿信息，基于配置好的防抖补偿矩阵，进行姿态融合，得到最终投影。
4.根据权利要求2所述的实时校正拼接防抖的实现方法，其特征在于：所述双线性插值的每个新的UV坐标位置(u,v)和周围四个位置(u1,v1)，(u1,v2)，(u2,v1)，(u2,v2)进行浮点运算得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910218150.2A CN111726566A (zh) | 2019-03-21 | 2019-03-21 | 一种实时校正拼接防抖的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910218150.2A CN111726566A (zh) | 2019-03-21 | 2019-03-21 | 一种实时校正拼接防抖的实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111726566A true CN111726566A (zh) | 2020-09-29 |
Family
ID=72563460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910218150.2A Pending CN111726566A (zh) | 2019-03-21 | 2019-03-21 | 一种实时校正拼接防抖的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111726566A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225491A (zh) * | 2021-04-01 | 2021-08-06 | 桂林电子科技大学 | 一种嵌入式多镜头全景视频成像方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105933695A (zh) * | 2016-06-29 | 2016-09-07 | 深圳市优象计算技术有限公司 | 基于多gpu高速互联的全景摄像机成像装置与方法 |
| CN106210535A (zh) * | 2016-07-29 | 2016-12-07 | 北京疯景科技有限公司 | 全景视频实时拼接方法及装置 |
| CN106897976A (zh) * | 2015-12-23 | 2017-06-27 | 中国人民解放军海军航空工程学院 | 基于gpu的单显卡三通道立体视景投影软件校正融合方法 |
| CN107027042A (zh) * | 2017-04-19 | 2017-08-08 | 中国电子科技集团公司电子科学研究院 | 一种基于多gpu的全景实时视频流处理方法及装置 |
| KR20170096071A (ko) * | 2016-02-15 | 2017-08-23 | 동국대학교 산학협력단 | 3d vr 영상 제작 방법 및 장치 |
| CN107274346A (zh) * | 2017-06-23 | 2017-10-20 | 中国科学技术大学 | 实时全景视频拼接系统 |
| WO2018076154A1 (zh) * | 2016-10-25 | 2018-05-03 | 成都通甲优博科技有限责任公司 | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 |
| CN108234820A (zh) * | 2016-12-21 | 2018-06-29 | 上海杰图软件技术有限公司 | 基于单路图像信号处理的实时拼接全景影像的方法及系统 |
-
2019
- 2019-03-21 CN CN201910218150.2A patent/CN111726566A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897976A (zh) * | 2015-12-23 | 2017-06-27 | 中国人民解放军海军航空工程学院 | 基于gpu的单显卡三通道立体视景投影软件校正融合方法 |
| KR20170096071A (ko) * | 2016-02-15 | 2017-08-23 | 동국대학교 산학협력단 | 3d vr 영상 제작 방법 및 장치 |
| CN105933695A (zh) * | 2016-06-29 | 2016-09-07 | 深圳市优象计算技术有限公司 | 基于多gpu高速互联的全景摄像机成像装置与方法 |
| CN106210535A (zh) * | 2016-07-29 | 2016-12-07 | 北京疯景科技有限公司 | 全景视频实时拼接方法及装置 |
| WO2018076154A1 (zh) * | 2016-10-25 | 2018-05-03 | 成都通甲优博科技有限责任公司 | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 |
| CN108234820A (zh) * | 2016-12-21 | 2018-06-29 | 上海杰图软件技术有限公司 | 基于单路图像信号处理的实时拼接全景影像的方法及系统 |
| CN107027042A (zh) * | 2017-04-19 | 2017-08-08 | 中国电子科技集团公司电子科学研究院 | 一种基于多gpu的全景实时视频流处理方法及装置 |
| CN107274346A (zh) * | 2017-06-23 | 2017-10-20 | 中国科学技术大学 | 实时全景视频拼接系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225491A (zh) * | 2021-04-01 | 2021-08-06 | 桂林电子科技大学 | 一种嵌入式多镜头全景视频成像方法及装置 |
| CN113225491B (zh) * | 2021-04-01 | 2023-01-31 | 桂林电子科技大学 | 一种嵌入式多镜头全景视频成像方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI578266B (zh) | 藉由近似頂點至彎曲視埠上的投影在圖形處理中隨螢幕位置變化有效解析度 | |
| CN106558017B (zh) | 球形显示图像处理方法及系统 | |
| CN107924556B (zh) | 图像生成装置和图像显示控制装置 | |
| TW201541403A (zh) | 用於紋理映射至非正交網格的梯度調整 | |
| JP5061227B2 (ja) | 映像信号処理装置及び仮想現実感生成システム | |
| JP2007251914A (ja) | 映像信号処理装置、仮想現実感生成システム | |
| US11670207B2 (en) | Two-dimensional compositing | |
| CN113643414B (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
| US20200118253A1 (en) | Environment map generation and hole filling | |
| US20200380744A1 (en) | Variable Rasterization Rate | |
| JP2023552538A (ja) | 画像処理方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム | |
| CN111726594A (zh) | 一种高效优化渲染及与位姿反畸变融合的实现方法 | |
| CN114375464A (zh) | 使用边界体积表示对虚拟空间中的动态单元进行光线追踪 | |
| US7907147B2 (en) | Texture filtering apparatus, texture mapping apparatus, and method and program therefor | |
| JP2006350852A (ja) | 画像生成システム | |
| CN111726566A (zh) | 一种实时校正拼接防抖的实现方法 | |
| CN116977532A (zh) | 立方体纹理生成方法、装置、设备、存储介质和程序产品 | |
| US20230106679A1 (en) | Image Processing Systems and Methods | |
| US20220108420A1 (en) | Method and system of efficient image rendering for near-eye light field displays | |
| KR101748397B1 (ko) | OpenGL을 이용한 AVM용 LUT 생성 방법 | |
| US20220245890A1 (en) | Three-dimensional modelling from photographs in series | |
| JP2007312420A (ja) | 映像信号処理装置、仮想現実感生成システム | |
| CN117896507A (zh) | 一种全景视频柱面投影方法 | |
| CN115643391A (zh) | 热力图生成方法、装置、电子设备和存储介质 | |
| JP5898109B2 (ja) | 画像合成装置、画像合成方法及び画像合成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230519 Address after: 200136 Room 2903, 29th Floor, No. 28 Xinjinqiao Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Applicant after: Shanghai taojinglihua Information Technology Co.,Ltd. Address before: 200126 building 13, 728 Lingyan South Road, Pudong New Area, Shanghai Applicant before: Shanghai flying ape Information Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right |