CN113542723A - 嵌入式自由立体显示器 - Google Patents
嵌入式自由立体显示器 Download PDFInfo
- Publication number
- CN113542723A CN113542723A CN202110607086.4A CN202110607086A CN113542723A CN 113542723 A CN113542723 A CN 113542723A CN 202110607086 A CN202110607086 A CN 202110607086A CN 113542723 A CN113542723 A CN 113542723A
- Authority
- CN
- China
- Prior art keywords
- module
- video
- video source
- electrically connected
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 22
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 14
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 14
- 239000004973 liquid crystal related substance Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 9
- 238000009877 rendering Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000011165 3D composite Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003534 oscillatory effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了嵌入式自由立体显示器，包括视频解码模块、数据接口、视频源模块、深度图生成模块、虚拟视点绘制模块、视频图像帧存储控制模块、并行图像缩放模块、多视点合成模块、3D合成视频输出接口和可配置图像分解模块；本发明通过深度图生成模块、虚拟视点绘制模块、可配置图像分解模块、视频图像帧存储控制模块、并行图像缩放模块和多视点合成模块配合，构建合适的视频信息网络，分别提取单目图像和双目图像的有效特征，实现深度图的准确获取，并进一步研究基于深度图像的空域匹配和空洞填补方法，实现高质量的虚拟视点绘制，获得立体显示视频数据，从而提升自由立体显示分辨率，提高立体显示的清晰度。
Description
技术领域
本发明涉及自由立体显示器技术领域，具体为嵌入式自由立体显示器。
背景技术
立体显示器具有信息量大、能将实际场景的三维信息全部再现出来的特点，使观看者可以从显示器上直接看出图像中各物体的远近、纵深，因此观看者能获得更加全面而直观的信息。传统的立体显示器需要观看者佩带偏振眼镜、互补色眼镜或者液晶开关眼镜之类辅助工具，尽管具有很好的立体效果，但不适用于公共场所，特别是广告的展示。
近几年，自由立体终端技术日渐成熟，软硬件的设备都不断完善，3D观看效果也比过去有了很大的提高；显示终端有着真实感、立体感、无需佩戴专用眼镜等优势，所以在用途方面也不仅仅局限于家庭娱乐，广告应用方面也取得极为出色的宣传效果；作为电子设备发展的必然趋势，自由立体显示终端的应用未来几年预计将会在市场上形成爆发式增长。
目前常见的视频图像大多数为2D视频或两视点（也称双目）视频，影响了柱镜光栅式自由立体显示算法的成像效果；因此，如何攻克2D视频、两视点视频转换成多视点视频的技术难题，是提升柱镜光栅自由立体显示效果的关键。
发明内容
本发明的目的在于提供嵌入式自由立体显示器，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：嵌入式自由立体显示器，包括视频解码模块、数据接口、视频源模块、深度图生成模块、虚拟视点绘制模块、视频图像帧存储控制模块、并行图像缩放模块、多视点合成模块、3D合成视频输出接口和可配置图像分解模块，所述数据接口输出端与所述视频解码模块输入端之间电性连接，所述视频解码模块输出端与所述视频源模块输入端之间电性连接，所述视频源模块第一输出端与所述视频图像帧存储控制模块第一输入端之间电性连接，所述视频源模块第二输出端与所述虚拟视点绘制模块第一输入端之间电性连接，所述视频源模块第三输出端与所述深度图生成模块输入端之间电性连接，所述视频源模块第四输出端与所述可配置图像分解模块输入端之间电性连接，所述深度图生成模块输出端与所述虚拟视点绘制模块第二输入端之间电性连接，所述虚拟视点绘制模块输出端与所述视频图像帧存储控制模块第二输入端之间电性连接，所述可配置图像分解模块输出端与所述视频图像帧存储控制模块第三输入端之间电性连接，所述视频图像帧存储控制模块输出端与所述并行图像缩放模块输入端之间电性连接，所述并行图像缩放模块输出端与所述多视点合成模块输入端之间电性连接，所述多视点合成模块输出端与所述3D合成视频输出接口输入端之间电性连接。
其中，所述数据接口包括USB接口、SD卡接口和type-c接口。
其中，所述视频源模块包括2D视频源、双目3D视频源、V+D视频源和多视点3D视频源，所述视频解码模块第一输出端与所述2D视频源输入端之间电性连接，所述视频解码模块第二输出端与所述双目3D视频源输入端之间电性连接，所述视频解码模块第三输出端与所述V+D视频源输入端之间电性连接，所述视频解码模块第四输出端与所述多视点3D视频源输入端之间电性连接。
其中，所述2D视频源第一输出端与所述视频图像帧存储控制模块第一输入端之间电性连接。
其中，所述双目3D视频源输出端与所述深度图生成模块输入端之间电性连接。
其中，所述V+D视频源第一输出端与所述虚拟视点绘制模块第一输入端之间电性连接。
其中，所述2D视频源第二输出端、V+D视频源第二输出端和多视点3D视频源输出端均与所述可配置图像分解模块输入端之间电性连接。
其中，所述3D合成视频输出接口包括液晶显示屏V-by-One输出接口和液晶显示屏LVDS输出接口。
其中，所述视频图像帧存储控制模块包括SDRAM存储器、DDR2 SDRAM存储器和DDR3SDRAM存储器。
与现有技术相比，本发明的有益效果是：
本发明通过深度图生成模块、虚拟视点绘制模块、可配置图像分解模块、视频图像帧存储控制模块、并行图像缩放模块和多视点合成模块配合，构建合适的视频信息网络，分别提取单目图像和双目图像的有效特征，实现深度图的准确获取，并进一步研究基于深度图像的空域匹配和空洞填补方法，实现高质量的虚拟视点绘制，获得立体显示视频数据，从而提升自由立体显示分辨率，提高立体显示的清晰度；同时该显示器能够支持2D视频源、双目3D视频源、V+D视频源和多视点3D视频源多种视频信息内容的实时播放，有效降低自由立体产品的运行成本。
附图说明
图1为本发明数字立体影像2D转制3D数据处理模组功能结构示意图。
图1中：10、视频解码模块；11、数据接口；20、视频源模块；21、2D视频源；22、双目3D视频源；23、V+D视频源；24、多视点3D视频源；30、深度图生成模块；40、虚拟视点绘制模块；50、视频图像帧存储控制模块；60、并行图像缩放模块；70、多视点合成模块；71、3D合成视频输出接口；80、可配置图像分解模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：嵌入式自由立体显示器，包括视频解码模块10、数据接口11、视频源模块20、深度图生成模块30、虚拟视点绘制模块40、视频图像帧存储控制模块50、并行图像缩放模块60、多视点合成模块70、3D合成视频输出接口71和可配置图像分解模块80。
其中，数据接口11输出端与视频解码模块10输入端之间电性连接，视频解码模块10输出端与视频源模块20输入端之间电性连接，视频源模块20第一输出端与视频图像帧存储控制模块50第一输入端之间电性连接，视频源模块20第二输出端与虚拟视点绘制模块40第一输入端之间电性连接，视频源模块20第三输出端与深度图生成模块30输入端之间电性连接，视频源模块20第四输出端与可配置图像分解模块80输入端之间电性连接，深度图生成模块30输出端与虚拟视点绘制模块40第二输入端之间电性连接，虚拟视点绘制模块40输出端与视频图像帧存储控制模块50第二输入端之间电性连接，可配置图像分解模块80输出端与视频图像帧存储控制模块50第三输入端之间电性连接，视频图像帧存储控制模块50输出端与并行图像缩放模块60输入端之间电性连接，并行图像缩放模块60输出端与多视点合成模块70输入端之间电性连接，多视点合成模块70输出端与3D合成视频输出接口71输入端之间电性连接。
其中，数据接口11包括USB接口、SD卡接口和type-c接口；通过数据接口11能够将视频信息输送给该显示器。
其中，视频解码模块10是对已编码的数字视频进行还原解码操作，将不同格式的视频信息进行还原解码。
其中，视频源模块20包括2D视频源21、双目3D视频源22、V+D视频源23和多视点3D视频源24，视频解码模块10第一输出端与2D视频源21输入端之间电性连接，视频解码模块10第二输出端与双目3D视频源22输入端之间电性连接，视频解码模块10第三输出端与V+D视频源23输入端之间电性连接，视频解码模块10第四输出端与多视点3D视频源24输入端之间电性连接。
其中，经过视频解码模块10进行还原解码的视频信息包括2D视频源21、双目3D视频源22、V+D视频源23和多视点3D视频源24。
其中，2D视频源21第一输出端与视频图像帧存储控制模块50第一输入端之间电性连接，经过还原解码后的2D视频源21传输给视频图像帧存储控制模块50直接储存。
其中，双目3D视频源22输出端与所述深度图生成模块30输入端之间电性连接，经过还原解码后的双目3D视频源22传输给深度图生成模块30，通过深度图生成模块30将双目3D视频源22生成深度图，并将生成的深度图传送给虚拟视点绘制模块40。
其中，V+D视频源23第一输出端与虚拟视点绘制模块40第一输入端之间电性连接，通过虚拟视点绘制模块40对深度图生成模块30上传的生成深度图和还原解码后的V+D视频源23进行深度图预处理和图像修复。
其中，2D视频源21第二输出端、V+D视频源23第二输出端和多视点3D视频源24输出端均与可配置图像分解模块80输入端之间电性连接，通过可配置图像分解模块80将2D视频源21、V+D视频源23和多视点3D视频源24进行分解筛选。
其中，图像分解是把原始图像f看成两部分，即f=u+v；u是结构部分，也就是这个图像中较大尺度的对象；v是纹理部分，是包含细小的尺度的细节，这些细节通常具有周期性和振荡性；然而，对于结构和纹理的定义是不明确的，因为它很大程度上取决于图像内容的尺度；也就是说，在一个图像中的结构部分也可以在与之相比结构部分尺度更大的图像中被认为是纹理部分；图像的分解方法好比是一个筛子，图像中结构纹理的分解就靠分解方法来筛滤。
其中，3D合成视频输出接口71包括液晶显示屏V-by-One输出接口和液晶显示屏LVDS输出接口。
其中，视频图像帧存储控制模块50包括SDRAM存储器、DDR2 SDRAM存储器和DDR3SDRAM存储器。
工作原理：在使用时，通过数据接口11将视频信息传送给该显示器，然后通过视频解码模块10将上传的视频信息进行还原解码，得到2D视频源21、双目3D视频源22、V+D视频源23和多视点3D视频源24，然后经过还原解码后的2D视频源21传输给视频图像帧存储控制模块50直接储存，经过还原解码后的双目3D视频源22传输给深度图生成模块30，通过深度图生成模块30将双目3D视频源22生成深度图，并将生成的深度图传送给虚拟视点绘制模块40，通过虚拟视点绘制模块40对深度图生成模块30上传的生成深度图和还原解码后的V+D视频源23进行深度图预处理和图像修复，同时通过可配置图像分解模块80将2D视频源21、V+D视频源23和多视点3D视频源24进行分解筛选，然后依次经过并行图像缩放模块60和多视点合成模块70处理，将2D视频源21、双目3D视频源22、V+D视频源23和多视点3D视频源24整合到一起，该显示器构建合适的视频信息网络，分别提取单目图像和双目图像的有效特征，实现深度图的准确获取，并进一步研究基于深度图像的空域匹配和空洞填补方法，实现高质量的虚拟视点绘制，获得立体显示视频数据，从而提升自由立体显示分辨率，提高立体显示的清晰度。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.嵌入式自由立体显示器，包括视频解码模块（10）、数据接口（11）、视频源模块（20）、深度图生成模块（30）、虚拟视点绘制模块（40）、视频图像帧存储控制模块（50）、并行图像缩放模块（60）、多视点合成模块（70）、3D合成视频输出接口（71）和可配置图像分解模块（80），其特征在于：所述数据接口（11）输出端与所述视频解码模块（10）输入端之间电性连接，所述视频解码模块（10）输出端与所述视频源模块（20）输入端之间电性连接，所述视频源模块（20）第一输出端与所述视频图像帧存储控制模块（50）第一输入端之间电性连接，所述视频源模块（20）第二输出端与所述虚拟视点绘制模块（40）第一输入端之间电性连接，所述视频源模块（20）第三输出端与所述深度图生成模块（30）输入端之间电性连接，所述视频源模块（20）第四输出端与所述可配置图像分解模块（80）输入端之间电性连接，所述深度图生成模块（30）输出端与所述虚拟视点绘制模块（40）第二输入端之间电性连接，所述虚拟视点绘制模块（40）输出端与所述视频图像帧存储控制模块（50）第二输入端之间电性连接，所述可配置图像分解模块（80）输出端与所述视频图像帧存储控制模块（50）第三输入端之间电性连接，所述视频图像帧存储控制模块（50）输出端与所述并行图像缩放模块（60）输入端之间电性连接，所述并行图像缩放模块（60）输出端与所述多视点合成模块（70）输入端之间电性连接，所述多视点合成模块（70）输出端与所述3D合成视频输出接口（71）输入端之间电性连接。
2.根据权利要求1所述的嵌入式自由立体显示器，其特征在于：所述数据接口（11）包括USB接口、SD卡接口和type-c接口。
3.根据权利要求2所述的嵌入式自由立体显示器，其特征在于：所述视频源模块（20）包括2D视频源（21）、双目3D视频源（22）、V+D视频源（23）和多视点3D视频源（24），所述视频解码模块（10）第一输出端与所述2D视频源（21）输入端之间电性连接，所述视频解码模块（10）第二输出端与所述双目3D视频源（22）输入端之间电性连接，所述视频解码模块（10）第三输出端与所述V+D视频源（23）输入端之间电性连接，所述视频解码模块（10）第四输出端与所述多视点3D视频源（24）输入端之间电性连接。
4.根据权利要求3所述的嵌入式自由立体显示器，其特征在于：所述2D视频源（21）第一输出端与所述视频图像帧存储控制模块（50）第一输入端之间电性连接。
5.根据权利要求4所述的嵌入式自由立体显示器，其特征在于：所述双目3D视频源（22）输出端与所述深度图生成模块（30）输入端之间电性连接。
6.根据权利要求5所述的嵌入式自由立体显示器，其特征在于：所述V+D视频源（23）第一输出端与所述虚拟视点绘制模块（40）第一输入端之间电性连接。
7.根据权利要求6所述的嵌入式自由立体显示器，其特征在于：所述2D视频源（21）第二输出端、V+D视频源（23）第二输出端和多视点3D视频源（24）输出端均与所述可配置图像分解模块（80）输入端之间电性连接。
8.根据权利要求7所述的嵌入式自由立体显示器，其特征在于：所述3D合成视频输出接口（71）包括液晶显示屏V-by-One输出接口和液晶显示屏LVDS输出接口。
9.根据权利要求8所述的嵌入式自由立体显示器，其特征在于：所述视频图像帧存储控制模块（50）包括SDRAM存储器、DDR2 SDRAM存储器和DDR3 SDRAM存储器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110607086.4A CN113542723A (zh) | 2021-06-01 | 2021-06-01 | 嵌入式自由立体显示器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110607086.4A CN113542723A (zh) | 2021-06-01 | 2021-06-01 | 嵌入式自由立体显示器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113542723A true CN113542723A (zh) | 2021-10-22 |
Family
ID=78124544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110607086.4A Pending CN113542723A (zh) | 2021-06-01 | 2021-06-01 | 嵌入式自由立体显示器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113542723A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945205A (zh) * | 2014-04-04 | 2014-07-23 | 西安交通大学 | 兼容2d与多视点裸眼3d显示的视频处理装置及方法 |
| CN112543317A (zh) * | 2020-12-03 | 2021-03-23 | 东南大学 | 高分辨率单目2d视频到双目3d视频的转制方法 |
-
2021
- 2021-06-01 CN CN202110607086.4A patent/CN113542723A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103945205A (zh) * | 2014-04-04 | 2014-07-23 | 西安交通大学 | 兼容2d与多视点裸眼3d显示的视频处理装置及方法 |
| CN112543317A (zh) * | 2020-12-03 | 2021-03-23 | 东南大学 | 高分辨率单目2d视频到双目3d视频的转制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI807286B (zh) | 用於全視差壓縮光場三維成像系統之方法 | |
| EP2873241B1 (en) | Methods and arrangements for supporting view synthesis | |
| CN102439976B (zh) | 重构深度图像的方法和重构深度图像的解码器 | |
| JP6644979B2 (ja) | ３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス | |
| Zaharia et al. | Adaptive 3D-DCT compression algorithm for continuous parallax 3D integral imaging | |
| CN102932662B (zh) | 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法 | |
| US20100103249A1 (en) | Stereoscopic image format with depth information | |
| US20120014590A1 (en) | Multi-resolution, multi-window disparity estimation in 3d video processing | |
| Morvan et al. | System architecture for free-viewpoint video and 3D-TV | |
| CN102868893A (zh) | 一种裸眼3d图像的形成方法、装置及3d显示系统 | |
| Fan et al. | The novel non-hole-filling approach of depth image based rendering | |
| KR20220011180A (ko) | 체적 비디오 인코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램 | |
| CN110505465A (zh) | 数据传输方法、三维图像显示方法、装置及电子设备 | |
| Feng et al. | Asymmetric bidirectional view synthesis for free viewpoint and three-dimensional video | |
| CN103002295A (zh) | 多视点裸眼三维显示设备的二维图像显示方法及系统 | |
| CN113542723A (zh) | 嵌入式自由立体显示器 | |
| Bourge et al. | MPEG-C part 3: Enabling the introduction of video plus depth contents | |
| Akin et al. | Real-time free viewpoint synthesis using three-camera disparity estimation hardware | |
| KR101289269B1 (ko) | 영상 시스템에서 영상 디스플레이 장치 및 방법 | |
| Ramachandran et al. | Multiview synthesis from stereo views | |
| Vázquez et al. | 3D-TV: Coding of disocclusions for 2D+ depth representation of multiview images | |
| Lüke et al. | Near Real‐Time Estimation of Super‐resolved Depth and All‐In‐Focus Images from a Plenoptic Camera Using Graphics Processing Units | |
| Jung et al. | Virtual view synthesis using temporal hole filling with bilateral coefficients | |
| Jung et al. | A hole filling technique in the temporal domain for stereoscopic video generation | |
| Limbachiya | 2D to 3D video conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211022 |
|
| RJ01 | Rejection of invention patent application after publication |