CN116915965B - 一种不同格式3d视频同屏显示的系统、方法及电子设备 - Google Patents
一种不同格式3d视频同屏显示的系统、方法及电子设备 Download PDFInfo
- Publication number
- CN116915965B CN116915965B CN202311153049.6A CN202311153049A CN116915965B CN 116915965 B CN116915965 B CN 116915965B CN 202311153049 A CN202311153049 A CN 202311153049A CN 116915965 B CN116915965 B CN 116915965B
- Authority
- CN
- China
- Prior art keywords
- video
- image
- format
- eye frame
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000005538 encapsulation Methods 0.000 claims description 13
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 239000011521 glass Substances 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明属于视频数据的处理与显示领域,具体涉及了一种不同格式3D视频同屏显示的系统、方法及电子设备,旨在解决现有技术无法将多个不同格式、帧率、分辨率的3D视频同屏显示的问题。本发明系统包括:视频获取模块,配置为获取输入视频;视频解析模块,配置对输入视频进行解析并提取视频信息;根据视频信息,对解析后的输入视频拆分成左眼帧图像和右眼帧图像;视频传输和交换模块,配置为接收视频解析模块传输的图像,基于设定的显示格式对接收的图像进行交换处理;视频生成和输出模块,配置为结合视频信息,对交换处理后的图像进行预处理,预处理后发送至显示装置进行显示。本发明实现在一组大屏上同时显示多个不同格式、不同帧率的3D视频。
Description
技术领域
本发明属于视频数据的处理与显示领域,具体涉及一种不同格式3D视频同屏的显示系统、方法及电子设备。
背景技术
在当前视频数据的处理与显示设备,如PC机,LCD显示屏等设备中,主流3D视频显示方法有左右格式(side-by-side),上下格式(top-bottom)以及帧封装格式(frame-packing)。
3D视频源(PC或视频播放器)以左右格式、上下格式或帧封装格式输出3D视频信号,通过HDMI线连接到3D显示屏上,如图2所示,3D显示屏根据输入的视频分辨率以及3D信号格式,将视频内容显示到屏幕上,并通过红外信号控制3D 快门眼镜的左右眼镜片不断开启和关闭,当屏幕显示左眼图像时眼镜左眼镜片打开右眼镜片关闭,显示右眼图像时眼镜右眼镜片打开左眼镜片关闭。
现有3D显示技术由于显示屏的刷新、眼镜的镜片开关都是需要与信号源同步的,导致只能在一组大屏幕上播放一个3D视频,无法实现多个3D视频内容的同屏显示。
发明内容
为了解决现有技术中的上述问题,即为了解决现有技术无法将多个不同格式、帧率、分辨率的3D视频同屏显示的问题,本发明的第一方面,提供了一种不同格式3D视频同屏显示的系统,该系统包括:视频获取模块、视频解析模块、视频传输和交换模块、视频生成和输出模块;
所述视频获取模块,配置为通过多路信号输入源获取待同屏显示的视频输入数据,作为输入视频;
所述视频解析模块,配置为对所述输入视频进行解析,并提取视频信息;所述视频信息包括视频格式、视频分辨率、帧率及色深;根据所述视频信息,对解析后的输入视频拆分成左眼帧图像和右眼帧图像,进而通过对应的链路将拆分的图像发送至所述视频传输和交换模块;
所述视频传输和交换模块,配置为根据设定的网络传输协议接收所述视频解析模块传输的图像,并基于设定的显示格式对接收的图像进行交换处理,交换后,发送至所述视频生成和输出模块;
所述视频生成和输出模块,配置为结合所述视频信息,对交换处理后的图像进行预处理,预处理后发送至显示装置进行显示;所述预处理包括图像帧率转换、图像叠加、3D视频合成。
在一些优选的实施例中,所述视频格式包括左右格式3D视频、上下格式3D视频、帧封装格式3D视频以及2D格式视频。
在一些优选的实施例中,若所述输入视频对应的视频格式为左右格式3D视频,则沿所述输入视频的视频帧的分辨率的水平方向进行等长拆分,左半边为左眼帧图像,右半边为右眼帧图像;
若所述输入视频对应的视频格式为上下格式3D视频,则沿所述输入视频的视频帧的分辨率的垂直方向进行等长拆分,上半边为左眼帧图像,下半边为右眼帧图像;
若所述输入视频对应的视频格式为帧封装格式3D视频,则获取视频帧中的空白行,作为活动空白区域,将所述活动空白区域上侧的图像作为左眼帧图像,将所述活动空白区域下侧的图像作为右眼帧图像;
若所述输入视频对应的视频格式为2D格式视频,则将各视频帧分别作为左眼帧图像、右眼帧图像。
在一些优选的实施例中,所述图像帧率转换,其方法为:
获取所述输入视频对应的场同步信号以及所述显示装置对应的场同步信号,计算所述输入视频中的视频帧与所述显示装置输出的视频帧的时间间隔,生成所述显示装置显示所需图像。
在一些优选的实施例中,所述图像叠加,其方法为:
获取所述显示装置同步显示的显示区域的坐标,进而得到各显示区域的分辨率;
根据所述显示区域的分辨率,对图像帧率转换处理后的左眼帧图像/右眼帧图像进行缩放处理,缩放处理后填充至对应的显示区域。
在一些优选的实施例中,所述3D视频合成,其方法为:
获取所述显示装置输出的视频格式;
若所述显示装置输出的视频格式为左右格式3D视频,则将图像叠加处理后的左眼帧图像的分辨率、图像叠加处理后的右眼帧图像的分辨率分别在水平方向缩小至原来的1/2、帧率不变,然后,缩小后的左眼帧图像在左侧、缩小后的右眼帧图像在右侧,合并为一幅图像发送至所述显示装置;
若所述显示装置输出的视频格式为上下格式3D视频,则将图像叠加处理后的左眼帧图像的分辨率、图像叠加处理后的右眼帧图像的分辨率分别在垂直方向缩小至原来的1/2、帧率不变,然后,缩小后的左眼帧图像在上侧、缩小后的右眼帧图像在下侧,合并为一幅图像发送至所述显示装置;
若所述显示装置输出的视频格式为帧封装格式3D视频,则根据高清多媒体接口标准,对输出像素时钟进行设定倍频处理后,将图像叠加处理后的左眼帧图像放在上侧、图像叠加处理后的右眼帧图像放在下侧,中间插入设定行的空白区域,合并为一幅图像发送至所述显示装置。
在一些优选的实施例中,所述显示装置包括3D显示屏;
所述显示装置与3D快门眼镜连接,二者信号同步。
本发明的第二方面,提供了一种不同格式3D视频同屏显示的方法,基于上述的一种不同格式3D视频同屏显示的系统,该方法包括以下步骤:
步骤S10,通过多路信号输入源获取待同屏显示的视频输入数据,作为输入视频;
步骤S20,对所述输入视频进行解析,并提取视频信息;所述视频信息包括视频格式、视频分辨率、帧率及色深;根据所述视频信息,对解析后的输入视频拆分成左眼帧图像和右眼帧图像;
步骤S30,基于设定的显示格式对所述左眼帧图像、所述右眼帧图像进行交换处理;
步骤S40,结合所述视频信息,对交换处理后的左眼帧图像和交换处理后的右眼帧图像进行预处理,预处理后发送至显示装置进行显示;所述预处理包括图像帧率转换、图像叠加、3D视频合成。
本发明的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以上述的一种不同格式3D视频同屏显示的方法。
本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现上述的一种不同格式3D视频同屏显示的方法。
本发明的有益效果:
本发明实现在一组大屏上同时显示多个不同格式、不同帧率的3D视频。
本发明通过不同的视频源获取多个不同格式的输入视频,然后对输入视频拆分成左眼帧图像和右眼帧图像;根据设定的网络传输协议接收视频解析模块传输的左眼帧图像和右眼帧图像,并基于设定的显示格式对接收的左眼帧图像和右眼帧图像进行交换处理,交换处理后,结合视频信息,对交换处理的左眼帧图像和右眼帧图像进行图像帧率转换、图像叠加、3D视频合成,然后发送至显示装置进行显示,进而实现了在一组大屏上同时显示多个不同格式、不同帧率的3D视频。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明一种实施例的一种不同格式3D视频同屏显示的系统的框架示意图;
图2是本发明一种实施例的现有的3D视频显示系统的框架示意图;
图3是本发明一种实施例的视频格式为左右格式3D视频的视频帧拆分过程的示意图;
图4是本发明一种实施例的视频格式为上下格式3D视频的视频帧拆分过程的示意图;
图5是本发明一种实施例的视频格式为帧封装格式3D视频的视频帧拆分过程的示意图;
图6是本发明一种实施例的视频格式为2D格式视频的视频帧拆分过程的示意图;
图7是本发明一种实施例的图像帧率变换过程的简略示意图;
图8是本发明一种实施例的图像帧率变换过程的详细示意图;
图9是本发明一种实施例的图像叠加处理过程的示意图;
图10是本发明一种实施例的输出的视频格式为左右格式3D视频的3D视频合成过程的示意图;
图11是本发明一种实施例的输出的视频格式为上下格式3D视频的3D视频合成过程的示意图;
图12是本发明一种实施例的输出的视频格式为帧封装格式3D视频的3D视频合成过程的示意图;
图13是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种不同格式3D视频同屏显示的系统,如图1所示,该系统包括:视频获取模块、视频解析模块、视频传输和交换模块、视频生成和输出模块;
所述视频获取模块,配置为通过多路信号输入源获取待同屏显示的视频输入数据,作为输入视频;
所述视频解析模块,配置为对所述输入视频进行解析,并提取视频信息;所述视频信息包括视频格式、视频分辨率、帧率及色深;根据所述视频信息,对解析后的输入视频拆分成左眼帧图像和右眼帧图像,进而通过对应的链路将拆分的图像发送至所述视频传输和交换模块;
所述视频传输和交换模块,配置为根据设定的网络传输协议接收所述视频解析模块传输的图像,并基于设定的显示格式对接收的图像进行交换处理,交换后,发送至所述视频生成和输出模块;
所述视频生成和输出模块,配置为结合所述视频信息,对交换处理后的图像进行预处理,预处理后发送至显示装置进行显示;所述预处理包括图像帧率转换、图像叠加、3D视频合成。
为了更清晰地对本发明一种不同格式3D视频同屏显示的系统进行说明,下面结合图对本发明系统实施例中各模块展开详述。
本发明的一种不同格式3D视频同屏显示的系统,能够满足在一组大屏上同时显示多个不同格式、不同帧率的3D视频的需要,如图1所示,本发明的一种不同格式3D视频同屏显示的系统包括:视频获取模块、视频解析模块、视频传输和交换模块、视频生成和输出模块;
所述视频获取模块,配置为通过多路信号输入源获取待同屏显示的视频输入数据,作为输入视频;
在本实施例中,通过多路3D信号源获取视频输入数据,作为待同屏显示的输入视频。
所述视频解析模块,配置为对所述输入视频进行解析,并提取视频信息;所述视频信息包括视频格式、视频分辨率、帧率及色深;根据所述视频信息,对解析后的输入视频拆分成左眼帧图像和右眼帧图像,进而通过对应的链路将拆分的图像发送至所述视频传输和交换模块;
在本实施例中,对输入视频进行解析,提取视频信息;视频信息包括视频格式、视频分辨率、帧率及色深;视频格式包括左右格式3D视频、上下格式3D视频、帧封装格式3D视频以及2D格式视频。
根据视频信息,将输入视频的视频帧拆分成左眼帧图像、右眼帧图像,并通过对应的链路将拆分的图像发送至视频传输和交换模块。具体如下:
若所述输入视频对应的视频格式为左右格式3D视频,则沿所述输入视频的视频帧的分辨率的水平方向进行等长拆分,左半边为左眼帧图像,右半边为右眼帧图像;然后将左眼帧图像和右眼帧图像分别在左眼链路和右眼链路上发送给视频传输和交换模块。
如图3所示,假设输入的视频帧的分辨率为1920x1080,则图像的左侧一半(1-960列)为左眼帧图像,右侧一半(961-1920列)为右眼帧图像。
若所述输入视频对应的视频格式为上下格式3D视频,则沿所述输入视频的视频帧的分辨率的垂直方向进行等长拆分,上半边为左眼帧图像,下半边为右眼帧图像;然后将左眼帧图像和右眼帧图像分别在左眼链路和右眼链路上发送给视频传输和交换模块。
如图4所示,假设输入的视频帧的分辨率1920x1080,则图像的上一半(1-540行)为左眼帧图像,右侧一半(541-1080行)为右眼帧图像。
若所述输入视频对应的视频格式为帧封装格式3D视频,则获取视频帧中的空白行,作为活动空白区域,将所述活动空白区域上侧的图像作为左眼帧图像,将所述活动空白区域下侧的图像作为右眼帧图像;然后将左眼帧图像和右眼帧图像分别在左眼链路和右眼链路上发送给视频传输和交换模块。
如图5所示,假设输入的视频帧的分辨率1920x1080,根据设定的高清多媒体接口标准,本发明优选为<HDMI1.4B>标准,帧封装格式3D的左眼帧图像分辨率和右眼帧图像分辨率分别为1920x1080,在传输时候,左右图像中间会以45行空白行进行分割。所以,第1-1080行为左眼帧图像,第1081-1125行为空白行,第 1126-2205行为右眼帧图像。
若所述输入视频对应的视频格式为2D格式视频,则将各视频帧分别作为左眼帧图像、右眼帧图像。
如图6所示,假设输入的视频帧为2D视频,分辨率为1920x1080,则将该2D视频同时当做左眼帧图像和右眼帧图像进行处理。
所述视频传输和交换模块,配置为根据设定的网络传输协议接收所述视频解析模块传输的图像,并基于设定的显示格式对接收的图像进行交换处理,交换后,发送至所述视频生成和输出模块;
在一般视频系统中,视频传输介质采用网线或者光纤。视频交换则采用交换机等信息交换设备。
在本实施例中,根据预定义的网络传输协议,视频传输和交换模块接收视频解析模块所发出的数据(包括左眼帧图像和右眼帧图像),并根据输出显示需要进行交换以及传输给视频生成和输出模块。
所述视频生成和输出模块,配置为结合所述视频信息,对交换处理后的图像进行预处理,预处理后发送至显示装置进行显示;所述预处理包括图像帧率转换、图像叠加、3D视频合成。
在本实施例中,对交换处理后的图像进行图像帧率转换、图像叠加、3D视频合成处理后,发送至显示装置进行显示。
1)图像帧率转换
由于需要将多个不同分辨率,帧率,帧格式的3D视频进行同屏显示,需要对这些不同的3D视频进行帧率变换以满足显示的需要。
首先,根据显示屏的需要,生成视频时序。具体为:假设显示屏(即显示装置)的分辨率为1920x1080,帧率50帧/s,根据设定的视频时序标准,本发明优选为《CEA861-G》标准中的参数,基于交换处理后的左眼帧图像和右眼帧图像,生成预显示图像时序(即与显示装置帧率相同的图像内容)。
然后,根据显示时序进行帧率变换;具体为:
根据输入视频(即信号源输入的视频)的场同步信号(i_VSYNC)和输出视频(即显示装置输出的视频,视频装置包括3D显示屏,3D显示屏与3D快门眼镜连接,二者信号同步)的场同步信号(o_VSYNC),计算输出图像(即显示装置输出的视频帧)与输入图像(即输入视频中的视频帧)的对应关系。如图7所示:
假设某个输入信号源(即图1中的3D信号源)的两个i_VSYNC之间的间隔为1,输出的o_VSYNC到来时刻输入i_VSYNC的时间间隔为α;视频中,两帧之间时间间隔很短,所以视频内的物体运动可以近似看做匀速运动,则根据输出图像帧与输入图像帧的时间关系,生成显示所需图像,即获取所述输入视频对应的场同步信号以及所述显示装置对应的场同步信号,计算所述输入视频中的视频帧与所述显示装置输出的视频帧的时间间隔,生成与所述显示装置帧率相同的图像内容。
假设:输入1的帧率为60帧/s,则输入1的两个i_VSYNC之间的时间间隔为16.667ms;如图8所示,在A时刻的前一帧中和后一帧中都有一辆向右行驶的小汽车,在前一帧的小汽车位置横坐标为100,后一帧的小汽车位置横坐标为1800,则在A时刻,小汽车所在位置可以通过下面方法计算得到:
X=(后帧的图像位置-前帧的图像位置)*α+前帧的图像位置=(1800-100)*0.35999= 611.983≈612。所以小汽车在A时刻的位置横坐标应为612,根据运动图像在目标帧中的位置进行补偿,将行驶中的小汽车在目标帧中,移动到坐标为612的位置;然后,处理图像中的非运动部分,具体为:目标帧所在时刻的前一帧和后一帧图像中,未发生相对运动的部分图像进行处理;在前一帧图像中小汽车位于坐标100的位置,而后一帧中,小汽车位于坐标1800的位置,根据计算得到的目标帧中小汽车在坐标612的位置,因此需要根据前一帧和后一帧,对原来小汽车所在位置的图像进行修补,避免出现,将小汽车移动到612后,原来的位置出现空白或者重复;最后,通过一个3x3的滤波算子对生成的新图像进行滤波,优化新生成的图像显示效果。
当视频内容移动方向为上下,或者前后,计算方法类似,此处不再一一陈述。
2)图像叠加
由于存在多画面显示的需要,需要进行图像的叠加处理。具体为:
假设在大屏幕上需要同时播放4个3D视频源,4个视频所在图像的区域:
第一路视频区域:[(1,1),(960,540)],信号源720x480;
第二路视频区域:[(961,1),(1920,540)],信号源1024x768;
第三路视频区域:[(1,541),(960,1080)],信号源1920x1080;
第四路视频区域:[(961,541),(1920,1080)], 信号源1600x1200。
根据每个视频需要显示的分辨率要求,将重建时序后的视频(即图像帧率转换的视频序列)的视频帧进行缩放至所在区域大小:
第一路视频,将720x480放大到960x540大小;
第二路视频,将1024x768缩小到960x540大小;
第三路视频,将1920x1080缩小到960x540大小;
第四路视频,将1600x1200缩小到960x540大小。
然后将缩放处理后的视频填充到相应的显示位置:
优选基于《CEA861-G》标准,生成的视频显示时序中,设输出像素的坐标为(x,y);
在x∈[1,960]且y∈[1,540]时,显示第一路视频内容;
在x∈[961,1920]且y∈[1,540]时,显示第二路视频内容;
在x∈[1,960]且y∈[541,1080]时,显示第三路视频内容;
在x∈[961,1920]且y∈[541,1080]时,显示第四路视频内容,如图9所示。
需要注意的是,左眼帧图像、右眼帧图像要独立处理。
3)3D视频合成
根据显示屏所需要的3D显示格式,将生成的左眼帧图像、右眼帧图像按照设定的视频时序标准,本发明优选《HDMI1.4-b》标准中的要求进行处理。具体如下:
获取所述显示装置输出的视频格式;
若所述显示装置输出的视频格式为左右格式3D视频,则将图像叠加处理后的左眼帧图像的分辨率、图像叠加处理后的右眼帧图像的分辨率分别在水平方向缩小至原来的1/2、帧率不变,然后,缩小后的左眼帧图像在左侧、缩小后的右眼帧图像在右侧,合并为一幅图像发送至所述显示装置;
如图10所示,假设输出分辨率为1920x1080,帧率为50,则左右眼图像均缩小到960x1080,然后左右眼图像拼到一起形成1920x1080的分辨率,帧率不变。
若所述显示装置输出的视频格式为上下格式3D视频,则将图像叠加处理后的左眼帧图像的分辨率、图像叠加处理后的右眼帧图像的分辨率分别在垂直方向缩小至原来的1/2、帧率不变,然后,缩小后的左眼帧图像在上侧、缩小后的右眼帧图像在下侧,合并为一幅图像发送至所述显示装置;
如图11所示,假设输出分辨率为1920x1080,帧率为50,则左右眼图像均缩小到1920x540,然后左右眼图像拼到一起形成1920x1080的分辨率,帧率不变。
若所述显示装置输出的视频格式为帧封装格式3D视频,则根据高清多媒体接口标准,对输出像素时钟进行设定倍频处理后,将图像叠加处理后的左眼帧图像放在上侧、图像叠加处理后的右眼帧图像放在下侧,中间插入设定行的空白区域(即活动空白区域),合并为一幅图像发送至所述显示装置。
如图12所示,假设输出分辨率为1920x1080,帧率为50,根据《HDMI1.4-b》标准,需要将输出像素时钟由148.5Mhz倍频为297Mhz,然后生成帧封装所需要的显示时序;
若所述显示装置输出的视频格式为2D视频,将图像叠加处理后的左眼帧图像或图像叠加处理后的右眼帧图像发送至显示装置。
需要说明的是,上述实施例提供的一种不同格式3D视频同屏显示的系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第二实施例的一种不同格式3D视频同屏显示的方法,基于上述的一种不同格式3D视频同屏显示的系统,该方法包括以下步骤:
步骤S10,通过多路信号输入源获取待同屏显示的视频输入数据,作为输入视频;
步骤S20,对所述输入视频进行解析,并提取视频信息;所述视频信息包括视频格式、视频分辨率、帧率及色深;根据所述视频信息,对解析后的输入视频拆分成左眼帧图像和右眼帧图像;
步骤S30,基于设定的显示格式对所述左眼帧图像、所述右眼帧图像进行交换处理;
步骤S40,结合所述视频信息,对交换处理后的左眼帧图像和交换处理后的右眼帧图像进行预处理,预处理后发送至显示装置进行显示;所述预处理包括图像帧率转换、图像叠加、3D视频合成。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的方法的具体工作过程及有关说明,可以参考系统实施例中的对应过程,在此不再赘述。
本发明第三实施例的一种电子设备,包括:至少一个处理器;以及与至少一个所述处理器通信连接的存储器,其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述的一种不同格式3D视频同屏显示的方法。
本发明第四实施例的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现上述的一种不同格式3D视频同屏显示的方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
下面参考图13,其示出了适于用来实现本申请系统、方法、电子设备和计算机可读存储介质实施例的服务器的计算机系统的结构示意图。图13示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图13所示,计算机系统包括中央处理单元(CPU,Central Processing Unit)1301,其可以根据存储在只读存储器(ROM,Read Only Memory)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM,Random Access Memory) 1303中的程序而执行各种适当的动作和处理。在RAM1303中,还存储有系统操作所需的各种程序和数据。CPU1301、ROM1302以及RAM1303通过总线1304彼此相连。输入/输出(I/O,Input/Output)接口1305也连接至总线1304。
以下部件连接至I/O接口1305:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(CRT,Cathode Ray Tube)、液晶显示器(LCD,Liquid Crystal Display)等以及扬声器等的输出部分1307;包括硬盘等的存储部分1308;以及包括诸如LAN(局域网,Local AreaNetwork)卡、调制解调器等的网络接口卡的通讯部分1309。通讯部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
需要说明的是,本申请上述的计算机可读介质(即可拆卸介质1311)可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的框图,图示了按照本申请各种实施例的系统或计算机程序产品的可能实现的体系架构、功能和操作。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图中的每个方框、以及框图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、 “第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种不同格式3D视频同屏显示的系统,其特征在于,所述系统包括视频获取模块、视频解析模块、视频传输和交换模块、视频生成和输出模块;
所述视频获取模块,配置为通过多路信号输入源获取待同屏显示的视频输入数据,作为输入视频;
所述视频解析模块,配置为对所述输入视频进行解析,并提取视频信息;所述视频信息包括视频格式、视频分辨率、帧率及色深;根据所述视频信息,对解析后的输入视频拆分成左眼帧图像和右眼帧图像,进而通过对应的链路将拆分的图像发送至所述视频传输和交换模块;
所述视频传输和交换模块,配置为根据设定的网络传输协议接收所述视频解析模块传输的图像,并基于设定的显示格式对接收的图像进行交换处理,交换后,发送至所述视频生成和输出模块;
所述视频生成和输出模块,配置为结合所述视频信息,对交换处理后的图像进行预处理,预处理后发送至显示装置进行显示;所述预处理包括图像帧率转换、图像叠加、3D视频合成;
所述图像帧率转换,其方法为:
获取所述输入视频对应的场同步信号以及所述显示装置对应的场同步信号,计算所述输入视频中的视频帧与所述显示装置输出的视频帧的时间间隔,生成与所述显示装置帧率相同的图像内容;
其中,基于所述时间间隔,生成与所述显示装置帧率相同的图像内容,其方法为:
基于所述时间间隔,计算出视频帧中物体的所在位置并对所述物体进行移动;移动后,对所述物体原来所在的位置进行修补;
修补后,通过3x3的滤波算子对生成的新图像进行滤波,将滤波后的图像作为与所述显示装置帧率相同的图像内容;所述生成的新图像即修补物体原位置后的图像;
3D视频合成时,若获取所述显示装置输出的视频格式为帧封装格式3D视频,则根据高清多媒体接口标准,对输出像素时钟进行设定倍频处理后,将图像叠加处理后的左眼帧图像放在上侧、图像叠加处理后的右眼帧图像放在下侧,中间插入设定行的空白区域,合并为一幅图像发送至所述显示装置。
2.根据权利要求1所述的一种不同格式3D视频同屏显示的系统,其特征在于,所述视频格式包括左右格式3D视频、上下格式3D视频、帧封装格式3D视频以及2D格式视频。
3.根据权利要求2所述的一种不同格式3D视频同屏显示的系统,其特征在于,若所述输入视频对应的视频格式为左右格式3D视频,则沿所述输入视频的视频帧的分辨率的水平方向进行等长拆分,左半边为左眼帧图像,右半边为右眼帧图像;
若所述输入视频对应的视频格式为上下格式3D视频,则沿所述输入视频的视频帧的分辨率的垂直方向进行等长拆分,上半边为左眼帧图像,下半边为右眼帧图像;
若所述输入视频对应的视频格式为帧封装格式3D视频,则获取视频帧中的空白行,作为活动空白区域,将所述活动空白区域上侧的图像作为左眼帧图像,将所述活动空白区域下侧的图像作为右眼帧图像;
若所述输入视频对应的视频格式为2D格式视频,则将各视频帧分别作为左眼帧图像、右眼帧图像。
4.根据权利要求3所述的一种不同格式3D视频同屏显示的系统,其特征在于,所述图像叠加,其方法为:
获取所述显示装置同步显示的显示区域的坐标,进而得到各显示区域的分辨率;
根据所述显示区域的分辨率,对图像帧率转换处理后的左眼帧图像/右眼帧图像进行缩放处理,缩放处理后填充至对应的显示区域。
5.根据权利要求4所述的一种不同格式3D视频同屏显示的系统,其特征在于,所述3D视频合成,其方法为:
获取所述显示装置输出的视频格式;
若所述显示装置输出的视频格式为左右格式3D视频,则将图像叠加处理后的左眼帧图像的分辨率、图像叠加处理后的右眼帧图像的分辨率分别在水平方向缩小至原来的1/2、帧率不变,然后,缩小后的左眼帧图像在左侧、缩小后的右眼帧图像在右侧,合并为一幅图像发送至所述显示装置;
若所述显示装置输出的视频格式为上下格式3D视频,则将图像叠加处理后的左眼帧图像的分辨率、图像叠加处理后的右眼帧图像的分辨率分别在垂直方向缩小至原来的1/2、帧率不变,然后,缩小后的左眼帧图像在上侧、缩小后的右眼帧图像在下侧,合并为一幅图像发送至所述显示装置。
6.根据权利要求1所述的一种不同格式3D视频同屏显示的系统,其特征在于,所述显示装置包括3D显示屏;
所述显示装置与3D快门眼镜连接,二者信号同步。
7.一种不同格式3D视频同屏显示的方法,基于权利要求1-6任一项所述的一种不同格式3D视频同屏显示的系统,其特征在于,该方法包括以下步骤:
步骤S10,通过多路信号输入源获取待同屏显示的视频输入数据,作为输入视频;
步骤S20,对所述输入视频进行解析,并提取视频信息;所述视频信息包括视频格式、视频分辨率、帧率及色深;根据所述视频信息,对解析后的输入视频拆分成左眼帧图像和右眼帧图像;
步骤S30,基于设定的显示格式对所述左眼帧图像、所述右眼帧图像进行交换处理;
步骤S40,结合所述视频信息,对交换处理后的左眼帧图像和交换处理后的右眼帧图像进行预处理,预处理后发送至显示装置进行显示;所述预处理包括图像帧率转换、图像叠加、3D视频合成;
所述图像帧率转换,其方法为:
获取所述输入视频对应的场同步信号以及所述显示装置对应的场同步信号,计算所述输入视频中的视频帧与所述显示装置输出的视频帧的时间间隔,生成与所述显示装置帧率相同的图像内容;
其中,基于所述时间间隔,生成与所述显示装置帧率相同的图像内容,其方法为:
基于所述时间间隔,计算出视频帧中物体的所在位置并对所述物体进行移动;移动后,对所述物体原来所在的位置进行修补;
修补后,通过3x3的滤波算子对生成的新图像进行滤波,将滤波后的图像作为与所述显示装置帧率相同的图像内容;所述生成的新图像即修补物体原位置后的图像;
3D视频合成时,若获取所述显示装置输出的视频格式为帧封装格式3D视频,则根据高清多媒体接口标准,对输出像素时钟进行设定倍频处理后,将图像叠加处理后的左眼帧图像放在上侧、图像叠加处理后的右眼帧图像放在下侧,中间插入设定行的空白区域,合并为一幅图像发送至所述显示装置。
8.一种电子设备,其特征在于,包括:
至少一个处理器;以及与至少一个所述处理器通信连接的存储器;
其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求7所述的一种不同格式3D视频同屏显示的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求7所述的一种不同格式3D视频同屏显示的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311153049.6A CN116915965B (zh) | 2023-09-08 | 2023-09-08 | 一种不同格式3d视频同屏显示的系统、方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311153049.6A CN116915965B (zh) | 2023-09-08 | 2023-09-08 | 一种不同格式3d视频同屏显示的系统、方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116915965A CN116915965A (zh) | 2023-10-20 |
CN116915965B true CN116915965B (zh) | 2023-12-22 |
Family
ID=88368050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311153049.6A Active CN116915965B (zh) | 2023-09-08 | 2023-09-08 | 一种不同格式3d视频同屏显示的系统、方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116915965B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158718A (zh) * | 2010-01-27 | 2011-08-17 | 联发科技股份有限公司 | 视频处理装置及方法 |
CN102426829A (zh) * | 2011-09-30 | 2012-04-25 | 冠捷显示科技(厦门)有限公司 | 双画面显示装置及实现方法 |
CN105812765A (zh) * | 2016-03-10 | 2016-07-27 | 青岛海信电器股份有限公司 | 分屏图像显示方法与装置 |
CN111273875A (zh) * | 2018-12-05 | 2020-06-12 | 舜宇光学(浙江)研究院有限公司 | 一种多屏显示方法及其系统以及分屏装置和电子设备 |
WO2023138226A1 (zh) * | 2022-01-18 | 2023-07-27 | 深圳市洲明科技股份有限公司 | 显示系统的发送卡、接收卡、显示控制方法及存储介质 |
-
2023
- 2023-09-08 CN CN202311153049.6A patent/CN116915965B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158718A (zh) * | 2010-01-27 | 2011-08-17 | 联发科技股份有限公司 | 视频处理装置及方法 |
CN102426829A (zh) * | 2011-09-30 | 2012-04-25 | 冠捷显示科技(厦门)有限公司 | 双画面显示装置及实现方法 |
CN105812765A (zh) * | 2016-03-10 | 2016-07-27 | 青岛海信电器股份有限公司 | 分屏图像显示方法与装置 |
CN111273875A (zh) * | 2018-12-05 | 2020-06-12 | 舜宇光学(浙江)研究院有限公司 | 一种多屏显示方法及其系统以及分屏装置和电子设备 |
WO2023138226A1 (zh) * | 2022-01-18 | 2023-07-27 | 深圳市洲明科技股份有限公司 | 显示系统的发送卡、接收卡、显示控制方法及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116915965A (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102187680B (zh) | 用于确定图像序列的二维或三维显示模式的方法和设备 | |
CN105872419B (zh) | 一种显示方法、装置及液晶电视 | |
US20040252756A1 (en) | Video signal frame rate modifier and method for 3D video applications | |
US9832421B2 (en) | Apparatus and method for converting a frame rate | |
CN103021378A (zh) | 一种多屏拼接显示装置和方法 | |
CN105094289B (zh) | 一种实现图形用户交互界面的方法、设备及系统 | |
US20110164118A1 (en) | Display apparatuses synchronized by one synchronization signal | |
US7405738B2 (en) | System and method for generating and processing a stream of video data having multiple data streams | |
CN102291587B (zh) | 全高清3d视频处理方法 | |
CN108156511B (zh) | 一种实现双屏或多屏拼接显示的方法和系统 | |
US20120256962A1 (en) | Video Processing Apparatus and Method for Extending the Vertical Blanking Interval | |
CN110798682B (zh) | 一种延时测试系统 | |
US20120154558A1 (en) | Display apparatus and method for processing image thereof | |
US20120120190A1 (en) | Display device for use in a frame sequential 3d display system and related 3d display system | |
CN102036090B (zh) | 一种用于数字电视终端的电视信号转换装置 | |
US20130314444A1 (en) | Image data transmitting device, image data receiving device, image data transmitting system, image data transmitting method, image data receiving method, transmission image data, and computer product | |
CN114217752B (zh) | 多屏同步显示的控制方法、装置、电子设备和存储介质 | |
US20160078664A1 (en) | Image synthesizing apparatus and method | |
CN116915965B (zh) | 一种不同格式3d视频同屏显示的系统、方法及电子设备 | |
US9888223B2 (en) | Display processing system, display processing method, and electronic device | |
US7034819B2 (en) | Apparatus and method for generating an interleaved stereo image | |
CN105847730A (zh) | 一种视频码流输出的控制及处理方法、芯片、系统 | |
CN206575517U (zh) | 一种高清图像处理拼接器 | |
CN102096572A (zh) | 多屏幕信号处理装置以及多屏幕系统 | |
CN102426829A (zh) | 双画面显示装置及实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |