CN112233048A - 一种球形视频图像校正方法 - Google Patents
一种球形视频图像校正方法 Download PDFInfo
- Publication number
- CN112233048A CN112233048A CN202011438776.3A CN202011438776A CN112233048A CN 112233048 A CN112233048 A CN 112233048A CN 202011438776 A CN202011438776 A CN 202011438776A CN 112233048 A CN112233048 A CN 112233048A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- correction
- spherical
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003702 image correction Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 239000011324 bead Substances 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 abstract description 8
- 108091006146 Channels Proteins 0.000 description 73
- 238000013461 design Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
Abstract
本发明公开了一种球形视频图像校正方法，属于视频处理技术领域，其特征在于，包括以下步骤：a、确定每个通道的显示视场角参数；b、生成多通道矩形图形，并同步输出给后端图形校正器进行图形从平面到球面的几何校正；c、图形校正器将每一个通道图像转换为曲面图像；d、图形校正参数保存在FLASH中；e、投影仪模型将预变形图像投影到半球形投影幕上，用于呈现真实目标图像。本发明通过硬件上电加载该参数即可实现平面图像到球面图像的几何变换，无需图像采集、校正网格和特征点获取以及有限显示区域的计算；充分利用了视频图像有效像素，实现了视频图像的实时校正处理，增强了通道间参数的可复用性，避免了后期维护的二次校正。
Description
技术领域
本发明涉及到视频处理技术领域，尤其涉及一种球形视频图像校正方法。
背景技术
沉浸式球幕显示皆采用投影显示技术，通过多台投影仪采用图像拼接和融合的方式实现球幕显示功能，这种方式一方面很难做到全视场显示，尤其在实像显示系统中，因为一旦有观察者或物体在系统内部，就会对部分显示区域产生遮挡；另一方面该显示方式除了进行图像几何校正以外，还需要进行图像拼接和图像融合，由于拼接和融合区域较大，实际每台投影仪的像素利用率非常小。
为了解决投影仪视场角小、对比度低、寿命短、价格昂贵和维护困难的诸多问题，LED视景球幕显示方案被提出，该方案具有高刷新率、高清晰度、大视场角、长寿命、易维护、易运输安装及低成本的优点，因此采用LED作为视景球幕显示系统具有重大研究意义。
目前LED球形领域的应用主要有LED外球面显示、LED穹顶显示和LED半球面显示，且这些应用主要集中于商业广告宣传和科技馆展览，由于该类显示系统没有硬件图形实时校正设备，其播放的视频源需要根据球形形状定制，极大的限制了显示内容的灵活多变和球形LED显示屏的应用。此外，目前LED球形显示技术中，并未重视视频信号的同步性要求，影响了LED球形显示终端在飞行仿真领域的应用。
公开号为CN 107481207A，公开日为2017年12月15日的中国专利文献公开了一种视频图像的几何校正方法，其特征在于，包括：
数码相机拍摄每台投影仪单独投影的图像；对所述图像进行处理和矩阵变换计算，得到每台投影仪在投影幕布上畸变后的投影区域；
计算整个投影墙的外包围盒；
根据所述外包围盒计算每台投影仪的投影区域在所述外包围盒中的相对位置，并得到所述相对位置的位置坐标；
根据所述位置坐标将待显示视频图像映射到所述相对位置，投影出来的视频图像正确拼接。
该专利文献公开的视频图像的几何校正方法，能对视频图像进行几何校正，实现自动将投影出来的视频图像正确拼接。但是，该方法的视频图像校正过程较繁琐，首先，在校正之前需要进行图像获取，即通过数码相机拍摄每台投影仪单独投影的图像，再对获取的图像进行处理和矩阵变换计算，其图像处理又包含校正网格的获取和特征点的获取，矩阵变换也包括有效显示区域的计算和映射矩阵的计算。最后，由于投影仪布置位置及方位角皆不同，为了使图像拼接成连续的球面，还需要计算整个投影墙的外包围盒及每台投影仪的投影区域在所述外包围盒中的相对位置。
发明内容
本发明为了克服上述现有技术的缺陷，提供一种球形视频图像校正方法，本发明通过硬件上电加载该参数即可实现平面图像到球面图像的几何变换，无需图像采集、校正网格和特征点获取以及有限显示区域的计算；充分利用了视频图像有效像素，实现了视频图像的实时校正处理，增强了通道间参数的可复用性，避免了后期维护的二次校正。
本发明通过下述技术方案实现：
一种球形视频图像校正方法，包括以下步骤：
a、设置LED灯珠沿球形经纬线布置于内表面形成显示面，并沿经线方向划分成多个显示通道，极点区域沿纬线划分为单独显示通道，球形显示面划分为侧面通道和顶部或底部通道，根据显示球面直径及眼点位置确定每个通道的显示视场角参数；
b、视频图像生成装置根据显示视场角参数生成多通道矩形图形，并同步输出给后端图形校正器进行图形从平面到球面的几何校正；
c、图形校正器将视频图像生成装置生成的每一个通道图像转换为曲面图像；
d、通过图形校正器将视频图像生成装置输出的平面图形进行几何校正，校正为球幕正常显示的图形，并处理每个通道间边缘图像以及通道与通道之间的关系；图形校正参数保存在FLASH中，上电加载到静态随机存储器或动态随机存储器对应的储存空间；
e、几何校正模型包括相机模型和投影仪模型，相机模型为目标投影图像通过透视变换后而成的平面透视图；投影仪模型将预变形图像投影到半球形投影幕上，用于呈现真实目标图像。
所述几何校正包括：
S1、设定坐标系，设半球体球心O1为坐标系原点(0,0,0)，投影光心空间坐标为(xp, yp,zp)，取投影平面的法向量为(0,0,1)，投影机焦距设为 f，光心(xp, yp, zp)与半球面上一点i连线的方向向量为(xi - xp, yi - yp, zi- zp)，(x, y, z)为球面空间点坐标，R为球体半径，联立球面方程为式1；
S2、等分圆弧，在球面上找一段垂直于y轴的水平圆弧，并将其沿 x 轴方向n等分，标出n等分点，dx为每等分长度，则第j个点的空间坐标(xj, yj, zj)为式2；
S3、预变形网格节点坐标，根据球幕上的第j个点的空间坐标(xj, yj, zj)与光心(xp,yp, zp)，f为投影机焦距，通过式3求得在投影机投影平面上对应的网格节点坐标(
,
,
)；
S4、表面失真处理，在进行图像校正时，通过直接显示网格线的方式进行图形校正验证，当网络曲线出现错位或拼接图像经纬线未配准时，通过微调图形校正器的硬件参数处理；
S5、图像同步实现，视频图像生成装置生成视频图像并以多通道方式输出，每个通道间通过同轴线缆或以太网连接并接收同一个“帧同步”信号，使多通道视频图像同步输出。
所述步骤b中，图形校正器进行图形从平面到球面的几何校正是通过视频校正电路完成的，视频校正电路包括图形校正卡和X86主板。
所述图形校正卡采集各类视频输入接口的视频信号，将视频信号解码转换为数字信号，接收来自各类控制接口输入的控制信号，按照接收到的控制信号的要求，对接收到的视频信号进行图形校正处理，当校正图形满足显示要求后，将接收到的控制信号进行存储，每次启动时，X86主板读取储存的控制信号并对视频信号进行相应处理，最后再将处理后的视频信号进行视频编码输出；当视频输入接口收到视频信号后，再进行硬件解码，并获取输入视频的同步信号，并根据同步信号产生内部处理时钟信号，当完成视频信号的计算处理后，基于内部处理时钟信号进行视频编码，编码后的视频信号通过输出接口输出。
所述视频校正电路用于实现视频采集步骤、控制管理步骤和视频处理步骤；
视频采集步骤，将输入的视频信号进行采样转换，转换为数字信号送处理器进行处理；
控制管理步骤，将输入的控制信号进行接收处理；
视频处理步骤，接收控制管理步骤处理后的控制信号及经处理器处理后的数字信号，根据控制信号对数字信号进行计算处理。
本发明所述PCIE是指总线接口。本发明所述FLASH是指快闪存储器。
本发明的有益效果主要表现在以下方面：
1、本发明，采用LED显示技术代替传统投影仪显示技术并应用于球幕显示系统中，由于LED显示属于主动显示技术，即传统的投影幕布变成了实际的球形显示面，当对球形显示面进行通道划分后，每个通道的显示参数即可确定，通过硬件上电加载该参数即可实现平面图像到球面图像的几何变换，无需图像采集、校正网格和特征点获取以及有限显示区域的计算；采用基于FPGA或GPU或DSP的硬件实现视频图像校正，简化了视频图像校正步骤，充分利用了视频图像有效像素，实现了视频图像的实时校正处理，增强了通道间参数的可复用性，避免了后期维护的二次校正。
2、本发明，根据显示面直径、眼点位置和每个显示通道实际的显示视场角参数即可提前完成显示图像从平面到曲面的几何变形，校正步骤简便，无需另外的图像采集、校正网格的获取和特征点的获取、有效显示面积计算以及每个通道坐标计算。
3、本发明，通道边缘只存在图像裁剪和拼接，无图像融合，亮度和色彩的一致性校正。且校正参数只需首次校正并固化，无需后期维护时再进行几何校正或亮度色彩校正，且同类产品参数可共用，通用性、维护性和兼容性都更好。
4、本发明，图形校正采用基于FPGA或GPU或DSP的硬件实时图像校正方式，保证了图像显示的实时性；图形校正器采用X86主板和图形校正卡的构架，有利于图形校正卡之间进行图像同步处理，保证了多通道显示画面的同步。
5、本发明，球形显示面是拼接而成的光滑曲面，视频图像像素对应每一颗LED灯珠，因此像素分布均匀无变形，显示面光滑无物理变形，图像校正只需处理像素错位或通道间像素配准对齐问题，无需扭曲变形校正，校正更加简单。
附图说明
下面将结合说明书附图和具体实施方式对本发明作进一步的具体说明，其中：
图1为本发明的流程框图。
具体实施方式
实施例1
参见图1，一种球形视频图像校正方法，包括以下步骤：
a、设置LED灯珠沿球形经纬线布置于内表面形成显示面，并沿经线方向划分成多个显示通道，极点区域沿纬线划分为单独显示通道，球形显示面划分为侧面通道和顶部或底部通道，根据显示球面直径及眼点位置确定每个通道的显示视场角参数；
b、视频图像生成装置根据显示视场角参数生成多通道矩形图形，并同步输出给后端图形校正器进行图形从平面到球面的几何校正；
c、图形校正器将视频图像生成装置生成的每一个通道图像转换为曲面图像；
d、通过图形校正器将视频图像生成装置输出的平面图形进行几何校正，校正为球幕正常显示的图形，并处理每个通道间边缘图像以及通道与通道之间的关系；图形校正参数保存在FLASH中，上电加载到静态随机存储器或动态随机存储器对应的储存空间；
e、几何校正模型包括相机模型和投影仪模型，相机模型为目标投影图像通过透视变换后而成的平面透视图；投影仪模型将预变形图像投影到半球形投影幕上，用于呈现真实目标图像。
本实施例为最基本的实施方式，采用LED显示技术代替传统投影仪显示技术并应用于球幕显示系统中，由于LED显示属于主动显示技术，即传统的投影幕布变成了实际的球形显示面，当对球形显示面进行通道划分后，每个通道的显示参数即可确定，通过硬件上电加载该参数即可实现平面图像到球面图像的几何变换，无需图像采集、校正网格和特征点获取以及有限显示区域的计算；采用基于FPGA或GPU或DSP的硬件实现视频图像校正，简化了视频图像校正步骤，充分利用了视频图像有效像素，实现了视频图像的实时校正处理，增强了通道间参数的可复用性，避免了后期维护的二次校正。
实施例2
参见图1，一种球形视频图像校正方法，包括以下步骤：
a、设置LED灯珠沿球形经纬线布置于内表面形成显示面，并沿经线方向划分成多个显示通道，极点区域沿纬线划分为单独显示通道，球形显示面划分为侧面通道和顶部或底部通道，根据显示球面直径及眼点位置确定每个通道的显示视场角参数；
b、视频图像生成装置根据显示视场角参数生成多通道矩形图形，并同步输出给后端图形校正器进行图形从平面到球面的几何校正；
c、图形校正器将视频图像生成装置生成的每一个通道图像转换为曲面图像；
d、通过图形校正器将视频图像生成装置输出的平面图形进行几何校正，校正为球幕正常显示的图形，并处理每个通道间边缘图像以及通道与通道之间的关系；图形校正参数保存在FLASH中，上电加载到静态随机存储器或动态随机存储器对应的储存空间；
e、几何校正模型包括相机模型和投影仪模型，相机模型为目标投影图像通过透视变换后而成的平面透视图；投影仪模型将预变形图像投影到半球形投影幕上，用于呈现真实目标图像。
所述几何校正包括：
S1、设定坐标系，设半球体球心O1为坐标系原点(0,0,0)，投影光心空间坐标为(xp, yp,zp)，取投影平面的法向量为(0,0,1)，投影机焦距设为 f，光心(xp, yp, zp)与半球面上一点i连线的方向向量为(xi - xp, yi - yp, zi- zp)，(x, y, z)为球面空间点坐标，R为球体半径，联立球面方程为式1；
S2、等分圆弧，在球面上找一段垂直于y轴的水平圆弧，并将其沿 x 轴方向n等分，标出n等分点，dx为每等分长度，则第j个点的空间坐标(xj, yj, zj)为式2；
S3、预变形网格节点坐标，根据球幕上的第j个点的空间坐标(xj, yj, zj)与光心(xp,yp, zp)，f为投影机焦距，通过式3求得在投影机投影平面上对应的网格节点坐标(
,
,
)；
S4、表面失真处理，在进行图像校正时，通过直接显示网格线的方式进行图形校正验证，当网络曲线出现错位或拼接图像经纬线未配准时，通过微调图形校正器的硬件参数处理；
S5、图像同步实现，视频图像生成装置生成视频图像并以多通道方式输出，每个通道间通过同轴线缆或以太网连接并接收同一个“帧同步”信号，使多通道视频图像同步输出。
本实施例为一较佳实施方式，根据显示面直径、眼点位置和每个显示通道实际的显示视场角参数即可提前完成显示图像从平面到曲面的几何变形，校正步骤简便，无需另外的图像采集、校正网格的获取和特征点的获取、有效显示面积计算以及每个通道坐标计算。
实施例3
参见图1，一种球形视频图像校正方法，包括以下步骤：
a、设置LED灯珠沿球形经纬线布置于内表面形成显示面，并沿经线方向划分成多个显示通道，极点区域沿纬线划分为单独显示通道，球形显示面划分为侧面通道和顶部或底部通道，根据显示球面直径及眼点位置确定每个通道的显示视场角参数；
b、视频图像生成装置根据显示视场角参数生成多通道矩形图形，并同步输出给后端图形校正器进行图形从平面到球面的几何校正；
c、图形校正器将视频图像生成装置生成的每一个通道图像转换为曲面图像；
d、通过图形校正器将视频图像生成装置输出的平面图形进行几何校正，校正为球幕正常显示的图形，并处理每个通道间边缘图像以及通道与通道之间的关系；图形校正参数保存在FLASH中，上电加载到静态随机存储器或动态随机存储器对应的储存空间；
e、几何校正模型包括相机模型和投影仪模型，相机模型为目标投影图像通过透视变换后而成的平面透视图；投影仪模型将预变形图像投影到半球形投影幕上，用于呈现真实目标图像。
所述几何校正包括：
S1、设定坐标系，设半球体球心O1为坐标系原点(0,0,0)，投影光心空间坐标为(xp, yp,zp)，取投影平面的法向量为(0,0,1)，投影机焦距设为 f，光心(xp, yp, zp)与半球面上一点i连线的方向向量为(xi - xp, yi - yp, zi- zp)，(x, y, z)为球面空间点坐标，R为球体半径，联立球面方程为式1；
S2、等分圆弧，在球面上找一段垂直于y轴的水平圆弧，并将其沿 x 轴方向n等分，标出n等分点，dx为每等分长度，则第j个点的空间坐标(xj, yj, zj)为式2；
S3、预变形网格节点坐标，根据球幕上的第j个点的空间坐标(xj, yj, zj)与光心(xp,yp, zp)，f为投影机焦距，通过式3求得在投影机投影平面上对应的网格节点坐标(
,
,
)；
S4、表面失真处理，在进行图像校正时，通过直接显示网格线的方式进行图形校正验证，当网络曲线出现错位或拼接图像经纬线未配准时，通过微调图形校正器的硬件参数处理；
S5、图像同步实现，视频图像生成装置生成视频图像并以多通道方式输出，每个通道间通过同轴线缆或以太网连接并接收同一个“帧同步”信号，使多通道视频图像同步输出。
所述图形校正器包括安装在机箱内的X86主板、图形校正卡、电源和底板，形成视频校正电路；X86主板，用于单端数据编解码；图形校正卡，用于单通道图形校正设计和接口一进一出设计。
本实施例为又一较佳实施方式，通道边缘只存在图像裁剪和拼接，无图像融合，亮度和色彩的一致性校正。且校正参数只需首次校正并固化，无需后期维护时再进行几何校正或亮度色彩校正，且同类产品参数可共用，通用性、维护性和兼容性都更好。
实施例4
参见图1，一种球形视频图像校正方法，包括以下步骤：
a、设置LED灯珠沿球形经纬线布置于内表面形成显示面，并沿经线方向划分成多个显示通道，极点区域沿纬线划分为单独显示通道，球形显示面划分为侧面通道和顶部或底部通道，根据显示球面直径及眼点位置确定每个通道的显示视场角参数；
b、视频图像生成装置根据显示视场角参数生成多通道矩形图形，并同步输出给后端图形校正器进行图形从平面到球面的几何校正；
c、图形校正器将视频图像生成装置生成的每一个通道图像转换为曲面图像；
d、通过图形校正器将视频图像生成装置输出的平面图形进行几何校正，校正为球幕正常显示的图形，并处理每个通道间边缘图像以及通道与通道之间的关系；图形校正参数保存在FLASH中，上电加载到静态随机存储器或动态随机存储器对应的储存空间；
e、几何校正模型包括相机模型和投影仪模型，相机模型为目标投影图像通过透视变换后而成的平面透视图；投影仪模型将预变形图像投影到半球形投影幕上，用于呈现真实目标图像。
所述几何校正包括：
S1、设定坐标系，设半球体球心O1为坐标系原点(0,0,0)，投影光心空间坐标为(xp, yp,zp)，取投影平面的法向量为(0,0,1)，投影机焦距设为 f，光心(xp, yp, zp)与半球面上一点i连线的方向向量为(xi - xp, yi - yp, zi- zp)，(x, y, z)为球面空间点坐标，R为球体半径，联立球面方程为式1；
S2、等分圆弧，在球面上找一段垂直于y轴的水平圆弧，并将其沿 x 轴方向n等分，标出n等分点，dx为每等分长度，则第j个点的空间坐标(xj, yj, zj)为式2；
S3、预变形网格节点坐标，根据球幕上的第j个点的空间坐标(xj, yj, zj)与光心(xp,yp, zp)，f为投影机焦距，通过式3求得在投影机投影平面上对应的网格节点坐标(
,
,
)；
S4、表面失真处理，在进行图像校正时，通过直接显示网格线的方式进行图形校正验证，当网络曲线出现错位或拼接图像经纬线未配准时，通过微调图形校正器的硬件参数处理；
S5、图像同步实现，视频图像生成装置生成视频图像并以多通道方式输出，每个通道间通过同轴线缆或以太网连接并接收同一个“帧同步”信号，使多通道视频图像同步输出。
所述图形校正器包括安装在机箱内的X86主板、图形校正卡、电源和底板，形成视频校正电路；X86主板，用于单端数据编解码；图形校正卡，用于单通道图形校正设计和接口一进一出设计。
所述图形校正卡采集各类视频输入接口的视频信号，将视频信号解码转换为数字信号；接收来自各类控制接口输入的控制信号；按照接收到的控制信号的要求，对接收到的输入视频信号进行图形校正处理，当校正图形满足显示要求后，将接收到的控制信号进行存储；每次启动时，主处理器读取储存的控制信号并对视频信号进行相应处理，最后再将处理后的视频图像信号进行视频编码输出；接收视频输入端的同步信号，当视频输入接口收到视频信号后，通过硬件解码模块对视频信号进行硬件解码，并获取输入视频的同步信号，并根据同步信号产生内部处理时钟信号；当完成视频信号的计算处理后，输出通道的编码模块，基于处理时钟信号进行视频编码，编码后的视频信号通过输出接口输出。
本实施例为又一较佳实施方式，图形校正采用基于FPGA或GPU或DSP的硬件实时图像校正方式，保证了图像显示的实时性；图形校正器采用X86主板和图形校正卡的构架，有利于图形校正卡之间进行图像同步处理，保证了多通道显示画面的同步。
实施例5
参见图1，一种球形视频图像校正方法，包括以下步骤：
a、设置LED灯珠沿球形经纬线布置于内表面形成显示面，并沿经线方向划分成多个显示通道，极点区域沿纬线划分为单独显示通道，球形显示面划分为侧面通道和顶部或底部通道，根据显示球面直径及眼点位置确定每个通道的显示视场角参数；
b、视频图像生成装置根据显示视场角参数生成多通道矩形图形，并同步输出给后端图形校正器进行图形从平面到球面的几何校正；
c、图形校正器将视频图像生成装置生成的每一个通道图像转换为曲面图像；
d、通过图形校正器将视频图像生成装置输出的平面图形进行几何校正，校正为球幕正常显示的图形，并处理每个通道间边缘图像以及通道与通道之间的关系；图形校正参数保存在FLASH中，上电加载到静态随机存储器或动态随机存储器对应的储存空间；
e、几何校正模型包括相机模型和投影仪模型，相机模型为目标投影图像通过透视变换后而成的平面透视图；投影仪模型将预变形图像投影到半球形投影幕上，用于呈现真实目标图像。
所述几何校正包括：
S1、设定坐标系，设半球体球心O1为坐标系原点(0,0,0)，投影光心空间坐标为(xp, yp,zp)，取投影平面的法向量为(0,0,1)，投影机焦距设为 f，光心(xp, yp, zp)与半球面上一点i连线的方向向量为(xi - xp, yi - yp, zi- zp)，(x, y, z)为球面空间点坐标，R为球体半径，联立球面方程为式1；
S2、等分圆弧，在球面上找一段垂直于y轴的水平圆弧，并将其沿 x 轴方向n等分，标出n等分点，dx为每等分长度，则第j个点的空间坐标(xj, yj, zj)为式2；
S3、预变形网格节点坐标，根据球幕上的第j个点的空间坐标(xj, yj, zj)与光心(xp,yp, zp)，f为投影机焦距，通过式3求得在投影机投影平面上对应的网格节点坐标(
,
,
)；
S4、表面失真处理，在进行图像校正时，通过直接显示网格线的方式进行图形校正验证，当网络曲线出现错位或拼接图像经纬线未配准时，通过微调图形校正器的硬件参数处理；
S5、图像同步实现，视频图像生成装置生成视频图像并以多通道方式输出，每个通道间通过同轴线缆或以太网连接并接收同一个“帧同步”信号，使多通道视频图像同步输出。
所述图形校正器包括安装在机箱内的X86主板、图形校正卡、电源和底板，形成视频校正电路；X86主板，用于单端数据编解码；图形校正卡，用于单通道图形校正设计和接口一进一出设计。
所述图形校正卡采集各类视频输入接口的视频信号，将视频信号解码转换为数字信号；接收来自各类控制接口输入的控制信号；按照接收到的控制信号的要求，对接收到的输入视频信号进行图形校正处理，当校正图形满足显示要求后，将接收到的控制信号进行存储；每次启动时，主处理器读取储存的控制信号并对视频信号进行相应处理，最后再将处理后的视频图像信号进行视频编码输出；接收视频输入端的同步信号，当视频输入接口收到视频信号后，通过硬件解码模块对视频信号进行硬件解码，并获取输入视频的同步信号，并根据同步信号产生内部处理时钟信号；当完成视频信号的计算处理后，输出通道的编码模块，基于处理时钟信号进行视频编码，编码后的视频信号通过输出接口输出。
所述视频校正电路包括视频校正模块和通道交互管理模块，视频校正模块包括视频采集单元、控制管理单元、视频处理单元和视频输出单元；
视频采集单元，将输入的视频信号进行采样转换，转换为数字信号送处理器进行处理；
控制管理单元，将输入的控制信号进行接收处理，将接收的控制信号通过PCIE送通道交互管理模块进行集中处理；
视频处理单元，接收来自视频采集单元的数字视频信号和来自控制管理单元的控制信号，根据控制信号对数字视频信号进行计算与处理，将处理完成的视频数据送到视频输出单元；
通道交互管理模块，用于数据交互；采用FPGA或GPU或DSP为控制核心的架构，以FPGA或GPU或DSP为核心处理器，视频输入端采用DVI、HDMI和DP视频解码器芯片，输出端采用DVI、HDMI和DP编码芯片进行视频输出，存储端采用静态随机存储器和动态随机存储器分别进行数据缓存。
本实施例为最佳实施方式，球形显示面是拼接而成的光滑曲面，视频图像像素对应每一颗LED灯珠，因此像素分布均匀无变形，显示面光滑无物理变形，图像校正只需处理像素错位或通道间像素配准对齐问题，无需扭曲变形校正，校正更加简单。
Claims (5)
1.一种球形视频图像校正方法，其特征在于，包括以下步骤：
a、设置LED灯珠沿球形经纬线布置于内表面形成显示面，并沿经线方向划分成多个显示通道，极点区域沿纬线划分为单独显示通道，球形显示面划分为侧面通道和顶部或底部通道，根据显示球面直径及眼点位置确定每个通道的显示视场角参数；
b、视频图像生成装置根据显示视场角参数生成多通道矩形图形，并同步输出给后端图形校正器进行图形从平面到球面的几何校正；
c、图形校正器将视频图像生成装置生成的每一个通道图像转换为曲面图像；
d、通过图形校正器将视频图像生成装置输出的平面图形进行几何校正，校正为球幕正常显示的图形，并处理每个通道间边缘图像以及通道与通道之间的关系；图形校正参数保存在FLASH中，上电加载到静态随机存储器或动态随机存储器对应的储存空间；
e、几何校正模型包括相机模型和投影仪模型，相机模型为目标投影图像通过透视变换后而成的平面透视图；投影仪模型将预变形图像投影到半球形投影幕上，用于呈现真实目标图像。
2.根据权利要求1所述的一种球形视频图像校正方法，其特征在于：所述几何校正包括：
S1、设定坐标系，设半球体球心O1为坐标系原点(0,0,0)，投影光心空间坐标为(xp, yp,zp)，取投影平面的法向量为(0,0,1)，投影机焦距设为 f，光心(xp, yp, zp)与半球面上一点i连线的方向向量为(xi - xp, yi - yp, zi- zp)，(x, y, z)为球面空间点坐标，R为球体半径，联立球面方程为式1；
S2、等分圆弧，在球面上找一段垂直于y轴的水平圆弧，并将其沿 x 轴方向n等分，标出n等分点，dx为每等分长度，则第j个点的空间坐标(xj, yj, zj)为式2；
S3、预变形网格节点坐标，根据球幕上的第j个点的空间坐标(xj, yj, zj)与光心(xp,yp, zp)，f为投影机焦距，通过式3求得在投影机投影平面上对应的网格节点坐标(
,
,
)；
S4、表面失真处理，在进行图像校正时，通过直接显示网格线的方式进行图形校正验证，当网络曲线出现错位或拼接图像经纬线未配准时，通过微调图形校正器的硬件参数处理；
S5、图像同步实现，视频图像生成装置生成视频图像并以多通道方式输出，每个通道间通过同轴线缆或以太网连接并接收同一个“帧同步”信号，使多通道视频图像同步输出。
3.根据权利要求1所述的一种球形视频图像校正方法，其特征在于：所述步骤b中，图形校正器进行图形从平面到球面的几何校正是通过视频校正电路完成的，视频校正电路包括图形校正卡和X86主板。
4.根据权利要求3所述的一种球形视频图像校正方法，其特征在于：所述图形校正卡采集各类视频输入接口的视频信号，将视频信号解码转换为数字信号，接收来自各类控制接口输入的控制信号，按照接收到的控制信号的要求，对接收到的视频信号进行图形校正处理，当校正图形满足显示要求后，将接收到的控制信号进行存储，每次启动时，X86主板读取储存的控制信号并对视频信号进行相应处理，最后再将处理后的视频信号进行视频编码输出；当视频输入接口收到视频信号后，再进行硬件解码，并获取输入视频的同步信号，并根据同步信号产生内部处理时钟信号，当完成视频信号的计算处理后，基于内部处理时钟信号进行视频编码，编码后的视频信号通过输出接口输出。
5.根据权利要求3所述的一种球形视频图像校正方法，其特征在于：所述视频校正电路用于实现视频采集步骤、控制管理步骤和视频处理步骤；
视频采集步骤，将输入的视频信号进行采样转换，转换为数字信号送处理器进行处理；
控制管理步骤，将输入的控制信号进行接收处理；
视频处理步骤，接收控制管理步骤处理后的控制信号及经处理器处理后的数字信号，根据控制信号对数字信号进行计算处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011438776.3A CN112233048B (zh) | 2020-12-11 | 2020-12-11 | 一种球形视频图像校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011438776.3A CN112233048B (zh) | 2020-12-11 | 2020-12-11 | 一种球形视频图像校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112233048A true CN112233048A (zh) | 2021-01-15 |
| CN112233048B CN112233048B (zh) | 2021-03-02 |
Family
ID=74124004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011438776.3A Active CN112233048B (zh) | 2020-12-11 | 2020-12-11 | 一种球形视频图像校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112233048B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702539A (zh) * | 2021-03-24 | 2021-04-23 | 成都成电光信科技股份有限公司 | 一种led球形屏幕的驱动方法 |
| CN112933599A (zh) * | 2021-04-08 | 2021-06-11 | 腾讯科技（深圳）有限公司 | 三维模型渲染方法、装置、设备及存储介质 |
| US11640776B1 (en) | 2022-04-25 | 2023-05-02 | AUO Corporation | Arcuate display device and driving method thereof |
| CN117557446A (zh) * | 2023-11-24 | 2024-02-13 | 北京同步风云科技有限公司 | 一种球幕led实时图像处理与软件控制方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010056574A1 (en) * | 2000-06-26 | 2001-12-27 | Richards Angus Duncan | VTV system |
| CN102819177A (zh) * | 2012-08-27 | 2012-12-12 | 深圳市远望淦拓科技有限公司 | 一种球幕装置及其图像生成方法 |
| CN103310712A (zh) * | 2013-07-02 | 2013-09-18 | 深圳市洲明科技股份有限公司 | 球形显示屏及其制作方法 |
| CN105608665A (zh) * | 2015-12-23 | 2016-05-25 | 中国人民解放军海军航空工程学院 | 多通道球面立体视景视觉感知深度精确计算方法 |
| CN106408542A (zh) * | 2016-10-10 | 2017-02-15 | 四川大学 | 一种穹顶可视化场景的快速几何校正方法 |
| CN107864360A (zh) * | 2017-11-15 | 2018-03-30 | 秦广民 | 监控型收音机数据存储方法 |
| CN108055411A (zh) * | 2017-12-29 | 2018-05-18 | 努比亚技术有限公司 | 柔性屏显示方法、移动终端及计算机可读存储介质 |
| CN108062920A (zh) * | 2017-12-29 | 2018-05-22 | 北京利亚德装备技术有限公司 | 球面显示结构及具有其的cave系统 |
| CN108737799A (zh) * | 2017-04-24 | 2018-11-02 | 中兴通讯股份有限公司 | 一种投影方法、装置及系统 |
| CN109300082A (zh) * | 2017-07-25 | 2019-02-01 | 中兴通讯股份有限公司 | 图像采集方法装置、采集设备及计算机存储介质 |
| CN110400277A (zh) * | 2019-07-30 | 2019-11-01 | 北京天耀未来文旅科技有限责任公司 | 一种球幕几何校正系统 |
| CN110706604A (zh) * | 2019-11-20 | 2020-01-17 | 成都成电光信科技股份有限公司 | 一种沉浸式全视景led球幕显示及控制系统 |
| CN111192552A (zh) * | 2019-12-13 | 2020-05-22 | 南京乐飞航空技术有限公司 | 一种多通道led球幕几何校正方法 |
-
2020
- 2020-12-11 CN CN202011438776.3A patent/CN112233048B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010056574A1 (en) * | 2000-06-26 | 2001-12-27 | Richards Angus Duncan | VTV system |
| CN102819177A (zh) * | 2012-08-27 | 2012-12-12 | 深圳市远望淦拓科技有限公司 | 一种球幕装置及其图像生成方法 |
| CN103310712A (zh) * | 2013-07-02 | 2013-09-18 | 深圳市洲明科技股份有限公司 | 球形显示屏及其制作方法 |
| CN105608665A (zh) * | 2015-12-23 | 2016-05-25 | 中国人民解放军海军航空工程学院 | 多通道球面立体视景视觉感知深度精确计算方法 |
| CN106408542A (zh) * | 2016-10-10 | 2017-02-15 | 四川大学 | 一种穹顶可视化场景的快速几何校正方法 |
| CN108737799A (zh) * | 2017-04-24 | 2018-11-02 | 中兴通讯股份有限公司 | 一种投影方法、装置及系统 |
| CN109300082A (zh) * | 2017-07-25 | 2019-02-01 | 中兴通讯股份有限公司 | 图像采集方法装置、采集设备及计算机存储介质 |
| CN107864360A (zh) * | 2017-11-15 | 2018-03-30 | 秦广民 | 监控型收音机数据存储方法 |
| CN108062920A (zh) * | 2017-12-29 | 2018-05-22 | 北京利亚德装备技术有限公司 | 球面显示结构及具有其的cave系统 |
| CN108055411A (zh) * | 2017-12-29 | 2018-05-18 | 努比亚技术有限公司 | 柔性屏显示方法、移动终端及计算机可读存储介质 |
| CN110400277A (zh) * | 2019-07-30 | 2019-11-01 | 北京天耀未来文旅科技有限责任公司 | 一种球幕几何校正系统 |
| CN110706604A (zh) * | 2019-11-20 | 2020-01-17 | 成都成电光信科技股份有限公司 | 一种沉浸式全视景led球幕显示及控制系统 |
| CN111192552A (zh) * | 2019-12-13 | 2020-05-22 | 南京乐飞航空技术有限公司 | 一种多通道led球幕几何校正方法 |
Non-Patent Citations (4)
| Title |
|---|
| B. SAJADI等: "Automatic Registration of Multi‐Projector Domes Using a Single Uncalibrated Camera", 《COMPUTER GRAPHICS》 * |
| 冯春东等: "多通道曲面投影的B样条几何校正", 《计算机仿真》 * |
| 覃丹等: "基于经纬映射与透视投影的球形图像校正", 《计算机技术与发展》 * |
| 郭成玉: "半球幕几何校正与标定方法的研究", 《计算机工程》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112702539A (zh) * | 2021-03-24 | 2021-04-23 | 成都成电光信科技股份有限公司 | 一种led球形屏幕的驱动方法 |
| CN112702539B (zh) * | 2021-03-24 | 2021-11-19 | 成都成电光信科技股份有限公司 | 一种led球形屏幕的驱动方法 |
| CN112933599A (zh) * | 2021-04-08 | 2021-06-11 | 腾讯科技（深圳）有限公司 | 三维模型渲染方法、装置、设备及存储介质 |
| CN112933599B (zh) * | 2021-04-08 | 2022-07-26 | 腾讯科技（深圳）有限公司 | 三维模型渲染方法、装置、设备及存储介质 |
| US11640776B1 (en) | 2022-04-25 | 2023-05-02 | AUO Corporation | Arcuate display device and driving method thereof |
| CN117557446A (zh) * | 2023-11-24 | 2024-02-13 | 北京同步风云科技有限公司 | 一种球幕led实时图像处理与软件控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112233048B (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233048B (zh) | 一种球形视频图像校正方法 | |
| CN107678722B (zh) | 多屏幕拼接方法、装置以及多投影拼接大屏幕 | |
| US10958834B2 (en) | Method to capture, store, distribute, share, stream and display panoramic image or video | |
| JP4425673B2 (ja) | 複数の出力画像を表示面上に投影するシステム | |
| JP4425672B2 (ja) | 画像を表示面上に表示する方法 | |
| CN112259047A (zh) | 一种led球幕显示方法 | |
| CN102821285A (zh) | 一种数字电影放映方法、优化装置和放映系统 | |
| CN105137705B (zh) | 一种虚拟球幕的创建方法和装置 | |
| US20200413015A1 (en) | Information processing apparatus, computation method of information processing apparatus, and program | |
| CN106604003B (zh) | 一种短焦投影实现曲面幕布投影的方法及系统 | |
| EP1876814A1 (en) | Non-linear image mapping using a plurality of non-coplanar clipping planes | |
| CN113271447B (zh) | 激光投影设备及图像校正系统 | |
| CN110706604A (zh) | 一种沉浸式全视景led球幕显示及控制系统 | |
| CN111294580B (zh) | 基于gpu的摄像头视频投影方法、装置、设备及存储介质 | |
| US20200413029A1 (en) | System for projecting naked-eye 3d image from selected 2d image | |
| CN112435627A (zh) | 一种led显示控制系统 | |
| US20240037856A1 (en) | Walkthrough view generation method, apparatus and device, and storage medium | |
| CN112770095B (zh) | 全景投影方法、装置及电子设备 | |
| CN112702539B (zh) | 一种led球形屏幕的驱动方法 | |
| CN111862240B (zh) | 全景相机及其标定方法、全景图像的拼接方法及存储介质 | |
| CN202841396U (zh) | 一种数字电影优化装置和放映系统 | |
| CN214278623U (zh) | 一种高速公路隧道监控全景相机 | |
| KR20160014288A (ko) | 360도 원형 디스플레이의 3차원 영상 렌더링 방법 | |
| CN210777623U (zh) | 一种沉浸式全视景led球幕显示及控制系统 | |
| US11388378B2 (en) | Image processing apparatus, image processing method and projection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A spherical video image correction method Effective date of registration: 20220719 Granted publication date: 20210302 Pledgee: Jinniu sub branch of Bank of Chengdu Co.,Ltd. Pledgor: CHENGDU UESTC OPTICAL COMMUNICATION CO.,LTD. Registration number: Y2022980010627 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |