CN104243965A - 一种提升自由立体显示分辨率的方法 - Google Patents
一种提升自由立体显示分辨率的方法 Download PDFInfo
- Publication number
- CN104243965A CN104243965A CN201410523577.0A CN201410523577A CN104243965A CN 104243965 A CN104243965 A CN 104243965A CN 201410523577 A CN201410523577 A CN 201410523577A CN 104243965 A CN104243965 A CN 104243965A
- Authority
- CN
- China
- Prior art keywords
- video
- display
- width
- disparity map
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出一种提升自由立体显示分辨率的方法，记录显示场景信息的视差图以多路视频的格式存储，在合成图的生成过程中，通过分离和并行解码，即可每次得到n幅视差图，进而可生成一幅多视点合成图像。与多宫格视频源生成合成图的方法相比，本发明无需缩放步骤，即合成图中每一个子像素的显示值均能准确反映记录场景信息，从而提升显示分辨率。
Description
技术领域
本发明涉及自由立体显示技术，更具体地说，本发明涉及提升自由立体显示分辨率的技术。
背景技术
自由立体显示器由2D显示器和分光元件耦合而成，根据分光元件的不同，可分为狭缝光栅自由立体显示器和柱透镜光栅自由立体显示器两类。自由立体技术不需要观看者佩戴辅助设备即可提供震撼的立体效果，是未来电视行业发展的主流方向。对于n视点的自由立体显示器，所显示的任意一幅合成图片是由n幅视差图组成。目前自由立体显示技术常用的视频源格式为多宫格，如四川大学申请的专利“三维自由立体显示器的子像素排列方法”（公开号：CN 101150741A）所述，每一帧多宫格视频被均匀的分成n份，每一份记录一幅视差图信息。由多宫格视频生成一幅显示合成图的步骤为：1）解码：从多宫格视频中每次解码出一帧视频；2）分图：将一帧多宫格视频分成n幅视差图，每一幅视差图的像素数为多宫格视频的1/n；3）缩放：将步骤2中分出的每一幅视差图进行放大，保证放大后的视差图分辨率与显示器的物理分辨率相同；4）合成：使用步骤3中n幅放大后的视差图，根据视差图和合成图之间的子像素映射关系，生成一幅合成图。以视点数为4、多宫格视频分辨率为1920*1080，显示器物理分辨率为1920*1080为例，一幅合成图的生成流程如附图1所示，其中从一帧多宫格视频中分离出的4幅视差图的分辨率均为960*540，缩放后视差图的分辨率为1920*1080，合成图的分辨率为1920*1080。相对于同分辨的2D显示，一幅合成图的生成过程中有两个步骤会导致显示分辨率下降，其中“缩放”步骤所生成的每一幅视差图中仅有1/n的信息精确，其它信息是由插值算法而得；另外，在“合成”步骤中，合成图中只利用了每一幅视差图的1/n信息，从而造成自由立体显示的分辨率比较低，影响观看质量。因此，提升显示分辨率是自由立体显示技术中亟需解决的关键问题。
本发明提出一种可提升自由立体显示分辨率的方法，该方法使用的视频源为多路格式，相比多宫格的方式，在合成图的生成过程中无需缩放步骤，从而可增加显示像素值的精准度，提升显示分辨率。
发明内容
鉴于现有自由立体显示分辨率较低的问题，本方面的目的在于提出一种可提升自由立体显示分辨率的方法，其特征在于，至少包括
a、多路视频的制作；
b、利用多路视频中的视差图进行多视点合成图像的生成；
c、用于将所述多视点合成图像进行立体显示的自由立体显示器，其包括2D显示器和分光器件光栅，2D显示器的像素在水平方向上有红、绿、蓝三色子像素组成并呈周期分布，光栅在竖直方向呈光学设计角度向右方或左方倾斜，假设视点数为n，2D显示器的物理分辨率为H*V。
其中，可利用动画制作软件或多路摄像机制作多路视频，分别记录同一场景不同角度处的信息，多路视频的路数与立体显示器的视点数保持一致，即为n路，且n路视频必须保持时间同步性，即同一时刻的n幅图片为同时刻场景的n幅视差图，另外，多路视频中任意一帧的分辨率均为H*V。当n路视频制作完成后，采用混流编码方式对其进行压缩编码。
本发明利用多路视频制作多视点合成图像的步骤如附图2所示。1）分离：将多路视频源进行分离，共可分离出n路独立视频；2）并行解码：将步骤1分离出的n路视频进行并行解码，每一路视频每次仅解码出一帧视频，然后暂停，根据多路视频的制作特性，n路视频共解码出的n幅图片对应同一时刻，为同一场景的n幅视差图。当n幅视差图的解码完成后，视差图进入步骤3，并返回执行命令给步骤2，再次执行步骤2，直到每一路视频完全解码；3）合成：根据自由立体显示器的参数，包括光栅在竖直方向的倾斜角度、视点数n和光栅的节距，计算出n幅视差图和合成图的子像素映射关系，进而利用n幅视差图生成一幅合成图，合成图的分辨率为H*V。
如上所述，本发明中记录显示场景信息的视差图以多路视频的格式存储，在合成图的生成过程中，通过分离和并行解码，即可每次得到n幅视差图，进而可生成一幅多视点合成图像。与多宫格视频源生成合成图的方法相比，本发明无需缩放步骤，即合成图中每一个子像素的显示值均能准确反映记录场景信息。因此，本发明方法生成的合成图在对应的自由立体显示器上进行显示时，可提升显示分辨率。
附图说明
附图1为多宫格视频源生成合成图的流程示意图。
附图2为多路视频源生成合成图的流程示意图。
上述附图中的图示标号为：
001多宫格视频源，002解码出的一帧多宫格视频，003分图出的视差图，004缩放后的视差图，005多宫格视频源产生的合成图，006多路视频源，007分离出的单路视频，008并行解码出的单幅视差图，009多路视频源产生的合成图。
应该理解上述附图只是示意性的，并没有按比例绘制。
具体实施方式
下面详细说明利用本发明一种提升自由立体显示分辨率的方法的一个典型实施例，对本发明进行进一步的具体描述。
选择一台自由立体显示器，该显示器中2D显示器的物理分辨率为1920*1080，像素排布规整，在水平方向上由红绿蓝三色子像素组成；该显示器的分光器件为柱透镜光栅，与竖直方向呈光学设计角度向右倾斜，光学参数为8视点。当然，在其它的实施例中，可以采用一切预期的自由立体显示器，并不限于此处所列举的种类，其分辨率、子像素的周期排布方向、光栅的设计参数也可以根据不同的需求而进行选择。
然后，利用动画制作软件如Maya或多路摄像机制作视频，视频的路数与视点数保持一致，此处取8路，它们分别记录着同一显示场景不同角度处的信息，且8路视频必须保持时间同步性，即8路视频中同一时刻的8幅图片为同时刻场景的8幅视差图，另外，保证多路视频中任意一帧的分辨率为1920*1080。当8路视频制作完成后，采用混流编码方式对其进行压缩编码。
按照以下步骤，利用8路视频源制作8视点合成图像。 1）分离：将8路视频源进行分离，共可分离出8路独立视频；2）并行解码：将步骤1分离出的8路视频进行并行解码，每一路视频每次仅解码出一帧视频，然后暂停，根据多路视频的制作特性，8路视频共解码出的8幅图片对应同一时刻，为同一场景的8幅视差图。当8幅视差图的解码完成后，视差图进入步骤3，并返回执行命令给步骤2，再次执行步骤2，直到每一路视频完全解码；3）合成：根据自由立体显示器的参数，包括光栅在竖直方向的倾斜角度、视点数8和光栅的节距，计算出8幅视差图和合成图的子像素映射关系，进而利用8幅视差图生成一幅合成图，合成图的分辨率为1920*1080。
由于记录显示场景信息的视差图以多路视频的格式存储，在合成图的生成过程中，通过分离和并行解码，即可每次得到8幅视差图，进而可生成8视点合成图像。与多宫格视频源生成合成图的方法相比，本发明无需缩放步骤，即合成图中每一个子像素的显示值均能准确反映记录场景信息。因此，本发明生成的合成图在对应的自由立体显示器上显示时，可提升显示分辨率。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (4)
1.一种提升自由立体显示分辨率的方法，其特征在于，至少包括
a、多路视频的制作；
b、利用多路视频中的视差图进行多视点合成图像的生成；
c、将多视点合成图像进行立体显示的多视点自由立体显示器。
2.如权利要求1所述的一种提升自由立体显示分辨率的方法，其特征在于多视点自由立体显示器包括2D显示器和分光器件光栅，2D显示器的像素在水平方向上有红、绿、蓝三色子像素组成并呈周期分布，分光器件光栅在竖直方向呈光学设计角度向右方或左方倾斜，假设视点数为n，2D显示器的物理分辨率为H*V。
3.如权利要求1所述的一种提升自由立体显示分辨率的方法，其特征在于多路视频的制作方法为：可利用动画制作软件或多路摄像机制作多路视频，分别记录同一场景不同角度处的信息，多路视频的路数与立体显示器的视点数保持一致，即为n路，且n路视频必须保持时间同步性，即同一时刻的n幅图片为同时刻场景的n幅视差图，另外，多路视频中任意一帧的分辨率均为H*V，当n路视频制作完成后，采用混流编码方式对其进行压缩编码。
4.如权利要求1所述的一种提升自由立体显示分辨率的方法，其特征在于多视点合成图的生成步骤为：1）分离，将多路视频源进行分离，共可分离出n路独立视频；2）并行解码，将步骤1分离出的n路视频进行并行解码，每一路视频每次仅解码一帧视频，然后暂停，根据多路视频的制作特性，n路视频共解码出的n幅图片对应同一时刻，为同一场景的n幅视差图，当n幅视差图的解码完成后，视差图进入步骤3，并返回执行命令给步骤2，再次执行步骤2，直到每一路视频完全解码；3）合成，根据自由立体显示器的参数，包括光栅在竖直方向的倾斜角度、视点数n和光栅的节距，计算出n幅视差图和合成图的子像素映射关系，进而利用n幅视差图生成一幅合成图，合成图的分辨率为H*V。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410523577.0A CN104243965B (zh) | 2014-10-08 | 2014-10-08 | 一种提升自由立体显示分辨率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410523577.0A CN104243965B (zh) | 2014-10-08 | 2014-10-08 | 一种提升自由立体显示分辨率的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104243965A true CN104243965A (zh) | 2014-12-24 |
| CN104243965B CN104243965B (zh) | 2016-08-17 |
Family
ID=52231191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410523577.0A Active CN104243965B (zh) | 2014-10-08 | 2014-10-08 | 一种提升自由立体显示分辨率的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104243965B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779020A (zh) * | 2011-05-12 | 2012-11-14 | 北京牡丹电子集团有限责任公司 | 超高清液晶显示设备 |
| CN202975533U (zh) * | 2012-12-26 | 2013-06-05 | 黑龙江省四维影像数码科技有限公司 | 带有柱镜光栅的多视点立体成像ips液晶显示设备 |
| WO2014050681A1 (ja) * | 2012-09-26 | 2014-04-03 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム、プリンタ、表示装置 |
| CN103813153A (zh) * | 2014-01-27 | 2014-05-21 | 北京乐成光视科技发展有限公司 | 一种基于加权求和的裸眼3d多视点图像合成方法 |
| CN103957400A (zh) * | 2014-05-09 | 2014-07-30 | 北京乐成光视科技发展有限公司 | 一种基于Unity3D游戏引擎的裸眼3D显示系统 |
-
2014
- 2014-10-08 CN CN201410523577.0A patent/CN104243965B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779020A (zh) * | 2011-05-12 | 2012-11-14 | 北京牡丹电子集团有限责任公司 | 超高清液晶显示设备 |
| WO2014050681A1 (ja) * | 2012-09-26 | 2014-04-03 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム、プリンタ、表示装置 |
| CN202975533U (zh) * | 2012-12-26 | 2013-06-05 | 黑龙江省四维影像数码科技有限公司 | 带有柱镜光栅的多视点立体成像ips液晶显示设备 |
| CN103813153A (zh) * | 2014-01-27 | 2014-05-21 | 北京乐成光视科技发展有限公司 | 一种基于加权求和的裸眼3d多视点图像合成方法 |
| CN103957400A (zh) * | 2014-05-09 | 2014-07-30 | 北京乐成光视科技发展有限公司 | 一种基于Unity3D游戏引擎的裸眼3D显示系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104243965B (zh) | 2016-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2306729B1 (en) | Video encoding device, video encoding method, video reproduction device, video recording medium, and video data stream | |
| KR101651442B1 (ko) | 이미지 기반 ３ｄ 비디오 포맷 | |
| US9083963B2 (en) | Method and device for the creation of pseudo-holographic images | |
| JP5584292B2 (ja) | 相対的奥行きを持たせた立体画像への３ｄオブジェクトの組み入れ | |
| US8488869B2 (en) | Image processing method and apparatus | |
| KR101185870B1 (ko) | 3ｄ 입체 영상 처리 장치 및 방법 | |
| US20140111627A1 (en) | Multi-viewpoint image generation device and multi-viewpoint image generation method | |
| JP5544361B2 (ja) | 三次元ビデオ信号を符号化するための方法及びシステム、三次元ビデオ信号を符号化するための符号器、三次元ビデオ信号を復号するための方法及びシステム、三次元ビデオ信号を復号するための復号器、およびコンピュータ・プログラム | |
| TWI651960B (zh) | 編碼/解碼視訊資料信號之方法與編碼器/解碼器及相關之視訊資料信號、視訊資料載體及電腦程式產品 | |
| KR20120049292A (ko) | ３ｄ 비디오 및 보조 데이터의 결합 | |
| CN101513077A (zh) | 用于经编码的立体图像/视频数据的文件格式 | |
| JP2008109267A (ja) | 立体画像生成装置及び立体画像復号装置 | |
| KR101834934B1 (ko) | ３ｄ 이미지 데이터의 전송 | |
| US9723290B2 (en) | Method for generating, transmitting and receiving stereoscopic images and relating devices | |
| CN102340678A (zh) | 一种景深可调的立体显示装置及其景深调整方法 | |
| CN103561255A (zh) | 一种裸眼立体显示方法 | |
| JP2011259317A (ja) | 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 | |
| CN107483913A (zh) | 一种多维度画中画显示方法 | |
| CN103369336A (zh) | 一种设备和方法 | |
| CN103533339A (zh) | 裸眼3d显示设备及其显示方法 | |
| CN102447863A (zh) | 一种多视点立体视频字幕处理方法 | |
| JP4892105B1 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
| CN104243965A (zh) | 一种提升自由立体显示分辨率的方法 | |
| CN104270625B (zh) | 一种减弱自由立体显示赝立体像的合成图生成方法 | |
| WO2011114745A1 (ja) | 映像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP02 | Change in the address of a patent holder |
Address after: Two, 4, 610041 mansion, 468 mansion, 999 Cherry Blossom Street, Sichuan, Chengdu, Jinjiang District Patentee after: CHENGDU SEEFELD SCIENCE & TECHNOLOGY CO., LTD. Address before: 610041 Sichuan province Chengdu Tianfu four Street No. 199 Changhong Technology Building 35 floor Patentee before: CHENGDU SEEFELD SCIENCE & TECHNOLOGY CO., LTD. |
|
| TR01 | Transfer of patent right |
Effective date of registration: 20181229 Address after: Room 109, Room No. 1, 268 Dengyun Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province Patentee after: Kunshan Hui Ren Corelle Intelligent Technology Co., Ltd. Address before: 610041 Chengdu City, Sichuan Province, Jinjiang District Cherry Blossom Street 999 Green Space 468 Mansion Phase II 4 Patentee before: CHENGDU SEEFELD SCIENCE & TECHNOLOGY CO., LTD. |
|
| TR01 | Transfer of patent right | ||
| CP03 | Change of name, title or address |
Address after: 215300 room 105, 202, 203, No. 268, Dengyun Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province Patentee after: Huirenkangning (Suzhou) Health Technology Co., Ltd Address before: Room 109, Room No. 1, 268 Dengyun Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province Patentee before: Kunshan Hui Ren Corelle Intelligent Technology Co., Ltd. |
|
| CP03 | Change of name, title or address |