CN105681777A - 一种裸眼3d显示方法及系统 - Google Patents

一种裸眼3d显示方法及系统 Download PDF

Info

Publication number
CN105681777A
CN105681777A CN201610036403.0A CN201610036403A CN105681777A CN 105681777 A CN105681777 A CN 105681777A CN 201610036403 A CN201610036403 A CN 201610036403A CN 105681777 A CN105681777 A CN 105681777A
Authority
CN
China
Prior art keywords
image
signal
bore hole
brightness
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610036403.0A
Other languages
English (en)
Other versions
CN105681777B (zh
Inventor
徐遥令
侯志龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN201610036403.0A priority Critical patent/CN105681777B/zh
Priority to PCT/CN2016/073084 priority patent/WO2017124586A1/zh
Priority to AU2016304612A priority patent/AU2016304612B2/en
Priority to US15/507,494 priority patent/US10326974B2/en
Publication of CN105681777A publication Critical patent/CN105681777A/zh
Application granted granted Critical
Publication of CN105681777B publication Critical patent/CN105681777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L13/00Details of the apparatus or circuits covered by groups H04L15/00 or H04L17/00
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种裸眼3D显示方法及系统,通过对3D信号进行解码得到原始3D视频信号;对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像;获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器对应显示;实现了裸眼3D视点的高效转换、占用资源少,3D显示清晰度高、播放平稳流畅,成本低、应用广泛。

Description

一种裸眼3D显示方法及系统
技术领域
本发明涉及裸眼3D显示领域,尤其涉及的是一种裸眼3D显示方法及系统。
背景技术
一般来说,3D(three-dimensional,三维)图像通常由两路图像组成,对应于某一特定的观看角度在人眼中便可实现3D效果,形成立体感,让人眼看上去就像真的一样。根据这两路视频所包含的视差信息,可以生成新的观看角度所对应的图像,这是裸眼3D电视的关键所在。
裸眼3D显示技术是不通过任何工具就能让左右两只眼睛从显示屏幕上看到两幅具有视差的、有所区别的画面,将它们反射到大脑,人就会产生立体感。它也利用了人眼的视差原理,通过给观看者左右两眼分别送去不同的画面,从而达到立体的视觉效果。由于裸眼3D电视的观察者可以不佩戴眼镜来进行3D显示体验,符合3D显示的市场需求,具有较大的市场和商机。目前3D信号源设备输出的3D信号一般都是左右(L/R)2视点,而裸眼3D电视需要较多视点以便在大范围进行3D体验,因此需要将2个视点转换成多个视点,而视点转换需要占用额外的电视资源,以及视点转换会降低观看的清晰度等。
因此,现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于,提供一种裸眼3D显示方法及系统,旨在解决现有3D视点转换需要占用额外的电视资源,降低清晰度的问题。
本发明解决技术问题所采用的技术方案如下:
一种裸眼3D显示方法,其中,包括以下步骤:
S1、对3D信号进行解码得到原始3D视频信号;
S2、对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像;
S3、获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;
S4、对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器,以实现裸眼3D显示。
所述的裸眼3D显示方法,其中,所述步骤S2具体包括:
S21、对所述原始3D视频信号进行信号分离,得到对应的L图像信号和R图像信号;对L图像信号和R图像信号进行图像提升及分类插帧,得到对应的L图像序列和R图像序列;对L图像序列和R图像序列进行格式编织得到对应的LVDS信号格式图像信号。
所述的裸眼3D显示方法,其中,所述步骤S21具体包括:
S211、对原始3D视频信号进行信号分离,将原始3D图像信号转换成左图像信号、右图像信号及与左图像信号和右图像对应的L/R同步信号;
S212、将L图像和R图像的色彩空间图像转换为YUV色彩空间,对YUV色彩空间的L图像和R图像采用亮度分区缩放和分级插值来进行图像提升,转换成像素为M*N阵列的L和R图像;其中,M和N为正整数;
S213、在L/R同步信号控制下,对像素为M*N的L图像和R图像进行分类,依次将L图像缓存在一起形成L图像集,将R图像缓存在一起形成R图像集;分别对L图像集和R图像集进行插帧,形成帧频为f1的L图像集和帧频为f1的R图像集;将L图像集和R图像集中的图像依次输出、以及输出对应R标识信号和L标识信号;其中,f1为正整数;
S214、对L图像和R图像进行RGB图像转换,将YUV色彩空间的L图像和R图像对应转换成RGB色彩空间的L图像和R图像;
S215、对RGB色彩空间的L图像和R图像中的像素按规律排列,对像素中的R、G、B分量按规则编织成LVDS信号格式,并在L图像的最早传输的四个像素中插入L标识,在R图像的最早传输的四个像素中插入R标识,以帧频为2f1的速度交替输出。
所述的裸眼3D显示方法,其中,所述步骤S212具体包括:
S2121、将L图像和R图像的色彩空间图像转换成YUV色彩空间,将L图像和R图像的像素转化成YUV4:2:2的像素;
S2122、对YUV色彩空间的图像信号中亮度Y进行分析归类,按照亮度值高低分为低亮度区域、中亮度区域及高亮度区域;所述低亮度区域的亮度小于第一临界值,所述中亮度区域的亮度在第一临界值和第二临界值之间,所述高亮度区域的亮度大于第二临界值;所述第一临界值小于第二临界值;
S2123、采用亮度分区缩放来提升对比度,对低亮区域的图像进行亮度压缩,对中亮区域的图像进行亮度增强,高亮度区域的亮度保持不变;
S2124、采用分级插值来提升分辨率,对不同的亮度区域来采用不同的插值算法,将图像分辨率转换为固定分辨率,转换后L图像和R图像的像素为M*N阵列。
所述的裸眼3D显示方法,其中,所述步骤S3具体包括:
S31、对所述LVDS信号格式图像信号进行解编织及图像分离,分离出L图像序列和R图像序列;获取L图像序列和R图像序列中物体对象的深度信息及估算出每个像素点的深度信息,形成连续平滑的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;对所述合成图像进行格式编织得到对应的VBO信号格式图像信号。
所述的裸眼3D显示方法,其中,所述步骤S31具体包括:
S311、将LVDS信号格式图像信号转换成RGB图像信号、分离出L图像和R图像;
S312、获取L图像和R图像中相似的物体对象,根据L图像和R图像中相似物体对象的水平位移,计算出L图像和R图像中相似物体对象的视差;根据L图像和R图像物体对象的色彩、纹理及光影信息进行处理,估算出每个像素点的深度信息,形成连续平滑的深度图;
S313、采用内插视点或外延视点的方式,根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;
S314、根据裸眼3D显示器的物理像素排列情况,对多个L视点图像及多个R视点图像进行交织处理后合成包括多个视点信息的合成图像;
S315、对包含多个视点信息的合成图像进行格式编织,将其编织成对应的VBO信号格式图像信号,以频率为f2的速度输出,所述f2为正整数。
所述的裸眼3D显示方法,其中,所述步骤S4包括:
S41、对所述VBO信号格式图像信号进行解编织,将VBO信号格式的图像信号转换成RGB信号格式的合成图像;
S42、对合成图像进行插帧和倍频处理,将一帧图像进行重复后变为相同的T帧图像,从而得到频率为Tf2的合成图像,其中,T大于1;
S43、根据裸眼3D显示器的电气特性及显示效果要求,对合成图像进行图像校准;
S44、将校准后的合成图像编织为对应的VBO信号格式图像信号,以频率为Tf2的速度传输给裸眼3D显示器,以实现裸眼3D显示。
一种裸眼3D显示系统,其中,包括:
解码模块,用于对3D信号进行解码得到原始3D视频信号;
第一3D视频处理模块,用于对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像;
第二3D视频处理模块,用于获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;
第三3D视频处理模块,用于对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器,以实现裸眼3D显示。
所述的裸眼3D显示系统,其中,所述第一3D视频处理模块包括:
第一3D视频处理单元,用于对所述原始3D视频信号进行信号分离,得到对应的L图像信号和R图像信号;对L图像信号和R图像信号进行图像提升及分类插帧,得到对应的L图像序列和R图像序列;对L图像序列和R图像序列进行格式编织得到对应的LVDS信号格式图像信号。
所述的裸眼3D显示系统,其中,所述第一3D视频处理单元包括:
信号分离单元,用于对原始3D视频信号进行信号分离,将原始3D图像信号转换成左图像信号、右图像信号及与左图像信号和右图像对应的L/R同步信号;
色彩转换及图像提升单元,用于将L图像和R图像的色彩空间图像转换成YUV色彩空间,对YUV色彩空间的L图像和R图像采用亮度分区缩放和分级插值来进行图像提升,转换成像素为M*N阵列的L和R图像;其中,M和N为正整数;
分类插帧单元,用于在L/R同步信号控制下,对像素为M*N的L图像和R图像进行分类,依次将L图像缓存在一起形成L图像集,将R图像缓存在一起形成R图像集;分别对L图像集和R图像集进行插帧,形成帧频为f1的L图像集和帧频为f1的R图像集;将L图像集和R图像集中的图像依次输出、以及输出对应R标识信号和L标识信号;其中,f1为正整数;
RGB图像转换单元,用于对L图像和R图像进行RGB图像转换,将YUV色彩空间的L图像和R图像对应转换成RGB色彩空间的L图像和R图像;
第一编织输出单元,用于对RGB色彩空间的L图像和R图像中的像素按规律排列,对像素中的R、G、B分量按规则编织成LVDS信号格式,并在L图像的最早传输的四个像素中插入L标识,在R图像的最早传输的四个像素中插入R标识,以帧频为2f1的速度交替输出。
所述的裸眼3D显示系统,其中,所述色彩转换及图像提升单元包括:
色彩转换单元,用于将L图像和R图像的色彩空间图像转换成YUV色彩空间,将L图像和R图像的像素转化成YUV4:2:2的像素;
亮度分类单元,用于对YUV色彩空间的图像信号中亮度Y进行分析归类,按照亮度值高低分为低亮度区域、中亮度区域及高亮度区域;所述低亮度区域的亮度小于第一临界值,所述中亮度区域的亮度在第一临界值和第二临界值之间,所述高亮度区域的亮度大于第二临界值;所述第一临界值小于第二临界值;
分区缩放单元,用于采用亮度分区缩放来提升对比度,对低亮区域的图像进行亮度压缩,对中亮区域的图像进行亮度增强,高亮度区域的亮度保持不变;
分级插值单元,用于采用分级插值来提升分辨率,对不同的亮度区域来采用不同的插值算法,将图像分辨率转换为固定分辨率,转换后L图像和R图像的像素为M*N阵列。
所述的裸眼3D显示系统,其中,所述第二3D视频处理模块包括:
第二3D视频处理单元,用于对所述LVDS信号格式图像信号进行解编织及图像分离,分离出L图像序列和R图像序列;获取L图像序列和R图像序列中物体对象的深度信息及估算出每个像素点的深度信息,形成连续平滑的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;对所述合成图像进行格式编织得到对应的VBO信号格式图像信号。
所述的裸眼3D显示系统,其中,所述第二3D视频处理单元包括:
解编织及图像分离单元,用于将LVDS信号格式图像信号转换成RGB图像信号、分离出L图像和R图像;
深度图生成单元,用于获取L图像和R图像中相似的物体对象,根据L图像和R图像中相似物体对象的水平位移,计算出L图像和R图像中相似物体对象的视差;根据L图像和R图像物体对象的色彩、纹理及光影信息进行处理,估算出每个像素点的深度信息,形成连续平滑的深度图;
多视点生成单元,用于采用内插视点或外延视点的方式,根据L图像和深度图估算出多个L视点图像,根据R图像和深度图估算出多个R视点图像;
视点合成单元,用于根据裸眼3D显示器的物理像素排列情况,对多个L视点图像及多个R视点图像进行交织处理后合成包括多个视点信息的合成图像;
第二编织输出单元,用于对包含多个视点信息的合成图像进行格式编织,将其编织成对应的VBO信号格式图像信号,以频率为f2的速度输出,所述f2为正整数。
所述的裸眼3D显示系统,其中,所述第三3D视频处理模块包括:
解编织单元,用于对所述VBO信号格式图像信号进行解编织,将VBO信号格式的图像信号转换成RGB信号格式的合成图像;
插帧倍频单元,用于对合成图像进行插帧和倍频处理,将一帧图像进行重复后变为相同的T帧图像,从而得到频率为Tf2的合成图像,其中,T大于1;
图像校准单元,用于根据裸眼3D显示器的电气特性及显示效果要求,对合成图像进行图像校准;
编织输出及显示单元,用于将校准后的合成图像编织为对应的VBO信号格式图像信号,以频率为Tf2的速度传输给裸眼3D显示器,以实现裸眼3D显示。
本发明所提供的一种裸眼3D显示方法及系统,有效地解决了现有3D视点转换需要占用额外的电视资源,降低清晰度的问题,通过对3D信号进行解码得到原始3D视频信号;对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像;获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器,以实现裸眼3D显示;高效实现了裸眼3D视点的转换、占用资源少,3D显示清晰度高、播放平稳流畅,成本低、应用广泛,带来了大大的方便。
附图说明
图1为本发明提供的裸眼3D显示方法第一实施例的流程图。
图2为本发明提供的裸眼3D显示方法第二实施例的方法流程图。
图3为本发明提供的裸眼3D显示方法第二实施例中步骤S210的方法流程示意图。
图4为本发明提供的裸眼3D显示方法第二实施例中步骤S310的方法流程示意图。
图5为本发明提供的裸眼3D显示方法第二实施例中步骤S410的方法流程示意图。
图6为本发明提供的裸眼3D显示系统较佳实施例的结构框图。
图7为本发明提供的裸眼3D显示系统应用实施例中3D视频信号示意图。
图8为本发明提供的裸眼3D显示系统应用实施例中LVDS信号格式示意图。
图9为本发明提供的裸眼3D显示系统应用实施例中裸眼3D显示示意图。
具体实施方式
本发明提供一种裸眼3D显示方法及系统,为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,图1为本发明提供的裸眼3D显示方法第一实施例的流程图,如图所示,所述方法包括以下步骤:
步骤S100、对3D信号进行解码得到原始3D视频信号;
步骤S200、对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像;
步骤S300、获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;
步骤S400、对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器,以实现裸眼3D显示。
下面结合具体的实施例对上述步骤进行详细的描述。
在步骤S100中,对3D信号进行解码得到原始3D视频信号。具体来说裸眼3D可应用于如电视、手机、平板电脑等具有显示屏的终端中。现有应用最广泛的还是裸眼3D电视,以裸眼3D电视为例对本发明说明如下。3D信号为3D电视信号,裸眼3D电视的接口电路接收外部3D信号源设备输出的3D电视信号,对其进行幅度限制、格式识别等处理,将处理后的3D电视信号输出给信号解码部分;解码部分对3D电视信号进行解码得到原始3D视频信号。
在步骤S200中,对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像。具体来说,请一并参阅图1和图2,图2为本发明提供的裸眼3D显示方法第二实施例的方法流程图,如图2所示,所述步骤S200包括:S210、对所述原始3D视频信号进行信号分离,得到对应的L图像信号和R图像信号;对L图像信号和R图像信号进行图像提升及分类插帧,得到对应的L图像序列和R图像序列;对L图像序列和R图像序列进行格式编织得到对应的LVDS信号格式图像信号。
具体来说,对原始3D视频信号进行信号分离,得到原始L(左眼)图像信号和R(右眼)图像信号、L/R同步信号;对L和R图像信号进行色彩转换、采用亮度分区缩放和分级插值来进行图像提升,转换成像素为M*N阵列的L和R图像;对像素为M*N的L和R图像进行分类和插图,将其转换成频率为f1的L图像序列和频率为f1的R图像序列;对图像序列中的L图像和R图像进行RGB图像转换、图像中的像素由R、G、B组成,以及进一步对L图像序列和R图像序列进行格式编织,将L图像及其L标识编织成LVDS(LowVoltageDifferentialSignaling,低压差分信号技术接口)信号格式、同样将R图像及其R标识编织成LVDS信号格式,以帧频为2f1的速度交替输出。其中,M、N及f1为正整数,具体取值可进行设置。其中,L图像表示左图像,R图像表示右图像,关于L图像、R图像及L/R标识在3D显示技术领域中乃常用技术词语表达。
优选地,所述步骤S210具体包括:
S211、对原始3D视频信号进行信号分离,将原始3D图像信号转换成左图像信号、右图像信号及与左图像信号和右图像对应的L/R同步信号;
S212、将L图像和R图像的色彩空间图像转换成YUV色彩空间,对YUV色彩空间的L图像和R图像采用亮度分区缩放和分级插值来进行图像提升,转换成像素为M*N阵列的L和R图像;其中,M和N为正整数;
S213、在L/R同步信号控制下,对像素为M*N的L图像和R图像进行分类,依次将L图像缓存在一起形成L图像集,将R图像缓存在一起形成R图像集;分别对L图像集和R图像集进行插帧,形成帧频为f1的L图像集和帧频为f1的R图像集;将L图像集和R图像集中的图像依次输出、以及输出对应R标识信号和L标识信号;其中,f1为正整数;
S214、对L图像和R图像进行RGB图像转换,将YUV色彩空间的L图像和R图像对应转换成RGB色彩空间的L图像和R图像;
S215、对RGB色彩空间的L图像和R图像中的像素按规律排列,对像素中的R、G、B分量按规则编织成LVDS信号格式,并在L图像的最早传输的四个像素中插入L标识,在R图像的最早传输的四个像素中插入R标识,以帧频为2f1的速度交替输出。
请参阅图3,图3为本发明提供的裸眼3D显示方法第二实施例中步骤S210的方法流程示意图,在实际应用时,接收到原始3D视频信号后,对原始3D视频信号进行信号分离,将原始3D图像信号转换成左(L)图像信号和右(R)图像信号、以及与L图像信号和R图像对应的L/R同步信号。
然后进行色彩转换:将L图像和R图像的色彩空间图像转换成YUV(颜色编码方法,此乃现有技术名词)色彩空间,即将L图像和R图像的像素P(此处像素P代表图像中任意一像素点)转化成YUV4:2:2的像素,节省后续图像处理的带宽等资源及提高处理效率。对YUV色彩空间的L图像和R图像采用亮度分区缩放和分级插值来进行图像提升,转换成像素为M*N阵列的L和R图像;其中,M和N为正整数。
再在L/R同步信号控制下,对L图像和R图像进行分类,依次将L图像缓存在一起形成L图像集、将R图像缓存在一起形成R图像集;分别对L图像集和R图像集进行插帧,形成帧频为f1的L图像集和帧频为f1的R图像集。将L图像集和R图像集中的图像依次输出、以及输出对应R和L标识信号。其中,f1为频率值,为正整数。
再对L图像和R图像进行RGB图像转换,将YUV色彩空间的图像转换成RGB色彩空间的图像,RGB图像中的像素由R、G、B组成。
然后进行编织输出,对L图像和R图像中的像素按规律排列,以及对像素中的R、G、B分量按规则编织成LVDS(低压差分信号)传输格式,并在L图像的最早传输的四个像素中插入L标识、在R图像的最早传输的四个像素中插入R标识,最后以帧频为2f1的速度交替输出。如图3所示,可将输出的LVDS图像信号记为第一3D视频信号。然后对第一3D视频信号进行如步骤S300所述的处理。
优选地,在实际应用时,所述步骤S212具体包括:
S2121、将L图像和R图像的色彩空间图像转换成YUV色彩空间,将L图像和R图像的像素转化成YUV4:2:2的像素;
S2122、对YUV色彩空间的图像信号中亮度Y进行分析归类,按照亮度值高低分为低亮度区域、中亮度区域及高亮度区域;所述低亮度区域的亮度小于第一临界值,所述中亮度区域的亮度在第一临界值和第二临界值之间,所述高亮度区域的亮度大于第二临界值;所述第一临界值小于第二临界值;
S2123、采用亮度分区缩放来提升对比度,对低亮区域的图像进行亮度压缩,对中亮区域的图像进行亮度增强,高亮度区域的亮度保持不变;
S2124、采用分级插值来提升分辨率,对不同的亮度区域来采用不同的插值算法,将图像分辨率转换为固定分辨率,转换后L图像和R图像的像素为M*N阵列。
具体来说,对YUV色彩空间的L图像和R图像进行图像提升,包括以下步骤:
首先对YUV色彩空间的图像信号中亮度Y进行分析归类,分为:低亮度区域(亮度小于第一临界值Yd)、高亮度区域(亮度大于第二临界值Yh)、中亮度区域(亮度在第一临界值Yd和第二临界值Yh之间)。其中,第一临界值Yd小于第二临界值Yh,具体可根据实际需要进行设置。
然后,采用亮度分区缩放来提升对比度:对低亮区域的图像进行亮度压缩、即低亮区域的像素的亮度Pd(Pd为低亮区域的像素的亮度值)变为Pd*Cd,Cd是变量、且Cd不大于1;对中亮区域的图像进行亮度增强、即中亮区域的像素的亮度Pz(Pz为中亮区域的像素的亮度值)变为Pz*Cz,Cz是变量、且Cz不小于1并且Pz*Cz不大于高亮区域的临界值Yh。而高亮度区域的亮度保持不变。
由于低亮度区域亮度降低、中亮度区域亮度抬高,使得对比度提升,同时高亮度区域亮度不变、保证图像不失真。
然后,采用分级插值来提升分辨率,即对不同的亮度区域来采用不同的插值算法,将图像分辨率转换为固定分辨率,转换后L图像和R图像的像素为M*N阵列。具体为:
低亮度区域和高亮度区域、采用四点平均算法来进行插值,即:设待插值像素Px周围相邻的四个像素分别为Pa(Ya,Ua,Va)、Pb(Yb,Ub,Vb)、Pm(Ym,Um,Vm)、Pn(Yn,Un,Vn),则插入的像素Px为(Yx,Ux,Vx),其中Yx=(Ya+Yb+Ym+Yn)/4、Ux=(Ua+Ub+Um+Un)/4、Vx=(Va+Vb+Vm+Vn)/4。其中,Y,U,V等分别表示四个像素在YUV色彩空间的分量值,此乃现有技术,本领域普通技术人员很容易理解,不作赘述。
而中亮度区域采用紧密关联算法来进行插值,即待插值像素Px周围相邻的已知的四个像素分别为Pa(Ya,Ua,Va)、Pb(Yb,Ub,Vb)、Pm(Ym,Um,Vm)、Pn(Yn,Un,Vn),则插入的像素Px为(Yx,Ux,Vx)。
其中,Yx、Ux、Vx计算过程为:以Yx值为例,
1)先计算相邻四个像素的亮度平均值Ye、Ye=(Ya+Yb+Ym+Yn)/4;
2)分别计算出Ya、Yb、Ym、Yn与Ye的方差Wa、Wb、Wm和Wn,以及方差和W=Wa+Wb+Wm+Wn;其中,Wa、Wb、Wm和Wn表示Ya、Yb、Ym、Yn与Ye对应的方差值;
3)计算权重系数Ka=1-Wa/W、Kb=1-Wb/W、Km=1-Wm/W、Kn=1-Wn/W;
4)Yx=Ka×Ya+Kb×Yb+Km×Ym+Kn×Yn。Ux、Vx的计算过程与Yx相同,不再赘述。
在步骤S300中,获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像。
具体来说,请参阅图2,所述步骤S300具体包括:S310、对所述LVDS信号格式图像信号进行解编织及图像分离,分离出L图像序列和R图像序列;获取L图像序列和R图像序列中物体对象的深度信息及估算出每个像素点的深度信息,形成连续平滑的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;对所述合成图像进行格式编织得到对应的VBO信号格式图像信号。
在实际应用时,对所述LVDS信号格式图像信号(也就是第一3D视频信号)进行解编织及L/R图像分离处理,分离出L图像和R图像;对L图像和R图像进行处理,获取图像中物体对象的深度信息以及估算出每个像素点的深度信息,形成连续平滑的深度图;采用内插视点或外延视点的方式,根据L图像和深度图、估算出多个L视点图像,以及根据R图像和深度图、估算出多个R视点图像,形成多个视点图像;根据超高清裸眼3D屏的物理像素排列情况,对多个视点图像进行交织处理后形成包含多个视点信息的合成图像,合成图像的像素数为H*V,其中H/M的值为整数、V/N的值为整数。以及进一步对包含多视点信息的合成图像进行格式编织,将其编织成VBO(V-by-One,此乃现有技术名词)信号格式、以频率为f2的速度输出。
优选地,所述步骤S310具体包括:
S311、将LVDS信号格式图像信号转换成RGB图像信号、分离出L图像和R图像;
S312、获取L图像和R图像中相似的物体对象,根据L图像和R图像中相似物体对象的水平位移,计算出L图像和R图像中相似物体对象的视差;根据L图像和R图像物体对象的色彩、纹理及光影信息进行处理,估算出每个像素点的深度信息,形成连续平滑的深度图;
S313、采用内插视点或外延视点的方式,根据L图像和深度图估算出多个L视点图像,根据R图像和深度图估算出多个R视点图像;
S314、根据裸眼3D显示器的物理像素排列情况,对多个L视点图像及多个R视点图像进行交织处理后合成包括多个视点信息的合成图像;
S315、对包含多个视点信息的合成图像进行格式编织,将其编织成对应的VBO信号格式图像信号,以频率为f2的速度输出,所述f2为正整数。
请参阅图4,图4为本发明提供的裸眼3D显示方法第二实施例中步骤S310的方法流程示意图。在实际应用时,先进行解编织及L/R图像分离:接收LVDS信号格式图像信号,将其LVDS传输格式的信号转换成RGB图像信号、并在此过程中获取到L标识或R标识,通过L标识分离出L图像、和通过R标识分离出R图像。
然后进行深度图生成:获取L图像和R图像中相似的物体对象,根据L图像和R图像中相似物体对象的水平位移,计算出L图像和R图像中相似物体对象的深度(或称为视差);然后根据L图像和R图像对象的色彩、纹理、光影等信息进行处理,估算出每个像素点的深度信息,进一步形成连续平滑的深度图。
然后进行多视点生成:多视点生成可采用内插视点的方式、或外延视点的方式。内差视点的方式即:将L图像作为最左边的L视点,并根据L图像和深度图、估算出多个L视点图像;将R图像作为最右边的R视点,并根据R图像和深度图、估算出多个R视点图像。外延视点的方式即:将L图像和R图像作为最中间的一对视点;并根据L图像和深度图、相左右方向估算出多个L视点图像,根据R图像和深度图、向左右方向估算出多个R视点图像。
然后进行视点合成,根据超高清裸眼3D屏的物理像素排列情况,对多个视点图像进行交织处理后合成一副图像;通过视点合成处理的图像包括多个视点信息,合成图像的像素数为H*V,其中H/M的值为整数、V/N的值为整数。
然后进行编织输出,对包含多个视点信息的合成图像进行格式编织,将其编织成VBO(V-by-One)信号格式、以频率为f2的速度输出。如图4所示,将输出的VBO信号格式记为第二3D视频信号,步骤S400是对第二3D视频信号再进行处理。
在步骤S400中,对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器,以实现裸眼3D显示。具体来说,请参阅图2,所述步骤S400具体包括:S410、对所述VBO信号格式图像信号进行解编织,得到包含多个视点的合成图像;对所述合成图像进行插帧倍频及图像校准,将校准后的合成图像编织为对应的VBO信号格式图像信号并发送给裸眼3D显示器,以实现裸眼3D显示。
在实际应用时,对所述VBO信号格式图像信号(也就是第二3D视频信号)进行解编织处理,得到包含多个视点的合成图像;对合成图像进行插帧和倍频处理,将一帧图像进行重复后变为相同的T帧图像,从而得到频率为Tf2的合成图像;对合成图像进行图像校准,包括Gamma、信号幅度等校准;以及进一步将校准后的合成图像编织为VBO信号格式、以频率为Tf2的速度传输给超高清裸眼3D屏,实现高清晰度裸眼3D显示。其中,T大于1,且T为正整数。
优选地,所述步骤S410包括:
S411、对所述VBO信号格式图像信号进行解编织,将VBO信号格式的图像信号转换成RGB信号格式的合成图像;
S412、对合成图像进行插帧和倍频处理,将一帧图像进行重复后变为相同的T帧图像,从而得到频率为Tf2的合成图像,其中,T大于1;
S413、根据裸眼3D显示器的电气特性及显示效果要求,对合成图像进行图像校准;
S414、将校准后的合成图像编织为对应的VBO信号格式图像信号,以频率为Tf2的速度传输给裸眼3D显示器,以实现裸眼3D显示。上述步骤是对本发明步骤S400及S410的细化。
请参阅图5,图5为本发明提供的裸眼3D显示方法第二实施例中步骤S410的方法流程示意图。在实际应用时,先进行解编织:接收第二3D视频信号,将其VBO传输格式的信号转换成RGB信号格式的合成图像。然后进行插帧倍频:对合成图像进行插帧和倍频处理,将一帧图像进行重复后变为相同的T帧图像,从而得到频率为Tf2的合成图像(T大于1)。然后,进行图像校准:根据超高清裸眼3D屏的电气特性、以及显示效果的要求,对合成图像进行图像校准,包括Gamma、信号幅度等校准。最后,进行编织输出:将校准后的合成图像编织为VBO信号格式、以频率为Tf2的速度传输给超高清裸眼3D屏,实现高清晰度裸眼3D显示。如图5所示,可将步骤S400中编织输出的VBO信号格式图像信号记为第三3D视频信号。裸眼3D显示器(譬如超高清裸眼3D屏)接收步骤S400输出的VBO信号格式的包含多个视点信息的合成图像,便可实现高清晰度裸眼3D显示。
需要说明的是,本发明采用图1所示的方法流程便可实现裸眼3D显示,图2所示的方法流程是对图1所示的方法流程的进一步阐述,也就是说第二实施例是对第一实施例的进一步细化说明。关于LVDS信号格式图像信号及VBO信号格式图像信号等具体格式的图像信号限定,这是为了方便图像数据的传输与接收,本领域普通技术人员在研究本发明之后还可采用其它格式图像信号传输图像数据从而实现本发明的目的,因此这些变换属于本发明所附权利要求的保护范围之内。
本发明提出一种裸眼3D显示方法,对3D信号源设备输出的左右眼图像进行图像提升和插帧等处理后,将左右图及其标识信号编织成LVDS信号;获取深度信号,采用内插视点或外延视点的方式,通过左眼图像及深度信息来生成多个左眼视点,通过右眼图像及深度信息来生成多个右眼视点,将多个左右视点交织排列后编织成VBO信号;对VBO信号进行插帧倍频等处理后同样以VBO信号输出给超高清裸眼3D屏,驱动超高清裸眼3D屏来实现高清晰度裸眼3D显示,从而高效实现了裸眼3D视点的转换、占用资源少,3D显示清晰度高、播放平稳流畅,以及成本低、应用广泛。
基于上述裸眼3D显示方法,本发明还提供了一种裸眼3D显示系统,如图6所示,所述系统包括:
解码模块10,用于对3D信号进行解码得到原始3D视频信号;具体如步骤S100所述;
第一3D视频处理模块20,用于对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像;具体如步骤S200所述;
第二3D视频处理模块30,用于获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;具体如步骤S300所述;
第三3D视频处理模块40,用于对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器,以实现裸眼3D显示;具体如步骤S400所述。
进一步地,所述第一3D视频处理模块20包括:
第一3D视频处理单元,用于对所述原始3D视频信号进行信号分离,得到对应的L图像信号和R图像信号;对L图像信号和R图像信号进行图像提升及分类插帧,得到对应的L图像序列和R图像序列;对L图像序列和R图像序列进行格式编织得到对应的LVDS信号格式图像信号,具体如步骤S210所述。
进一步地,所述第一3D视频处理单元包括:
信号分离单元,用于对原始3D视频信号进行信号分离,将原始3D图像信号转换成左图像信号、右图像信号及与左图像信号和右图像对应的L/R同步信号;
色彩转换及图像提升单元,用于将L图像和R图像的色彩空间图像转换成YUV色彩空间,对YUV色彩空间的L图像和R图像采用亮度分区缩放和分级插值来进行图像提升,转换成像素为M*N阵列的L和R图像;其中,M和N为正整数;
分类插帧单元,用于在L/R同步信号控制下,对像素为M*N的L图像和R图像进行分类,依次将L图像缓存在一起形成L图像集,将R图像缓存在一起形成R图像集;分别对L图像集和R图像集进行插帧,形成帧频为f1的L图像集和帧频为f1的R图像集;将L图像集和R图像集中的图像依次输出、以及输出对应R标识信号和L标识信号;其中,f1为正整数;
RGB图像转换单元,用于对L图像和R图像进行RGB图像转换,将YUV色彩空间的L图像和R图像对应转换成RGB色彩空间的L图像和R图像;
第一编织输出单元,用于对RGB色彩空间的L图像和R图像中的像素按规律排列,对像素中的R、G、B分量按规则编织成LVDS信号格式,并在L图像的最早传输的四个像素中插入L标识,在R图像的最早传输的四个像素中插入R标识,以帧频为2f1的速度交替输出。
进一步地,所述色彩转换及图像提升单元包括:
色彩转换单元,用于将L图像和R图像的色彩空间图像转换成YUV色彩空间,将L图像和R图像的像素转化成YUV4:2:2的像素;
亮度分类单元,用于对YUV色彩空间的图像信号中亮度Y进行分析归类,按照亮度值高低分为低亮度区域、中亮度区域及高亮度区域;所述低亮度区域的亮度小于第一临界值,所述中亮度区域的亮度在第一临界值和第二临界值之间,所述高亮度区域的亮度大于第二临界值;所述第一临界值小于第二临界值;
分区缩放单元,用于采用亮度分区缩放来提升对比度,对低亮区域的图像进行亮度压缩,对中亮区域的图像进行亮度增强,高亮度区域的亮度保持不变;
分级插值单元,用于采用分级插值来提升分辨率,对不同的亮度区域来采用不同的插值算法,将图像分辨率转换为固定分辨率,转换后L图像和R图像的像素为M*N阵列。
进一步地,所述第二3D视频处理模块30包括:
第二3D视频处理单元,用于对所述LVDS信号格式图像信号进行解编织及图像分离,分离出L图像序列和R图像序列;获取L图像序列和R图像序列中物体对象的深度信息及估算出每个像素点的深度信息,形成连续平滑的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;对所述合成图像进行格式编织得到对应的VBO信号格式图像信号,具体如步骤S310所述。
进一步地,所述第二3D视频处理单元包括:
解编织及图像分离单元,用于将LVDS信号格式图像信号转换成RGB图像信号、分离出L图像和R图像;
深度图生成单元,用于获取L图像和R图像中相似的物体对象,根据L图像和R图像中相似物体对象的水平位移,计算出L图像和R图像中相似物体对象的视差;根据L图像和R图像物体对象的色彩、纹理及光影信息进行处理,估算出每个像素点的深度信息,形成连续平滑的深度图;
多视点生成单元,用于采用内插视点或外延视点的方式,根据L图像和深度图估算出多个L视点图像,根据R图像和深度图估算出多个R视点图像;
视点合成单元,用于根据裸眼3D显示器的物理像素排列情况,对多个L视点图像及多个R视点图像进行交织处理后合成包括多个视点信息的合成图像;
第二编织输出单元,用于对包含多个视点信息的合成图像进行格式编织,将其编织成对应的VBO信号格式图像信号,以频率为f2的速度输出,所述f2为正整数。
进一步地,所述第三3D视频处理模块40包括:
解编织单元,用于对所述VBO信号格式图像信号进行解编织,将VBO信号格式的图像信号转换成RGB信号格式的合成图像;
插帧倍频单元,用于对合成图像进行插帧和倍频处理,将一帧图像进行重复后变为相同的T帧图像,从而得到频率为Tf2的合成图像,其中,T大于1;
图像校准单元,用于根据裸眼3D显示器的电气特性及显示效果要求,对合成图像进行图像校准;
编织输出及显示单元,用于将校准后的合成图像编织为对应的VBO信号格式图像信号,以频率为Tf2的速度传输给裸眼3D显示器,以实现裸眼3D显示。
以下以一应用实施例对本发明详细说明如下。
假设3D信号源设备输出的3D信号为L/R格式720P24Hz信号、第一3D视频信号为1920×1080120Hz信号、第二3D视频信号为3840×216030Hz信号、超高清屏幕为3840×216060Hz。
请参阅图7,3D信号源设备输出的L/R720P24Hz3D视频信号,经过接口电路及解码模块处理后输出的原始3D视频信号如图7中a)所示:单位时间(1s)为24帧,视频帧的像素分辨率为1366×768,每一帧是L图像和R图像的拼合图像,L图像和R图像的像素分辨率为683×768。
第一3D视频处理模块从原始3D视频信号中分别获取独立的L图像和R图像,L图像和R图像的像素分辨率为683×768,分别对L图像和R图像进行色彩转换、亮度分区缩放和分级插值,转换成像素分辨率为1920×1080的L图像和像素分辨率为1920×1080的R图像;以及根据原始3D视频信号来生成L/R同步信号如图7中b)所示:同步信号为高点平时为L图像、为低电平时为R图像。
进一步进行分类插帧:在L/R同步信号高电平时则为L图像、将L图像缓存在一起形成L图像集,在L/R同步信号低电平时则为R图像、将R图像缓存在一起形成R图像集,单位时间(1s)的L图像集中有24副L图像、R图像集中有24副R图像;以L图像集中的L图像为参照进行插帧、使得单位时间内的L图像集中的L图像变为60副,同样使得单位时间内的R图像集中的R图像变为60副;以及生成频率为60Hz同步信号,如图7中c)所示;在同步信号的控制下交替依次输出L图像集和R图像集中的图像,即同步信号为高电平则输出L图像、同步信号为低电平则输出R图像,形成了帧频为120Hz的第一3D视频信号如图7中c)所示,其中L图像和R图像的帧频为60Hz。
以及第一3D视频处理模块对120Hz的序列帧进行RGB图像转换后,编织成LVDS(低压差分信号)传输格式,并在L图像的最早传输的四个像素中插入L标识、在R图像的最早传输的四个像素中插入R标识,最后以帧频为120Hz的速度传输给第二3D视频处理模块。
请参阅图8,其中,第一3D视频处理模块采用四组LVDS信号线,编织的LVDS传输信号如图8中(a)所示:每一帧的像素数为tot=1920×1080,第一组LVDS信号线传输像素P1、P5、...、Ptot-3,第二组LVDS信号线传输像素P2、P6、...、Ptot-2,第三组LVDS信号线传输像素P3、P7、...、Ptot-1,第四组LVDS信号线传输像素P4、P8、...、Ptot;传输的像素结构如8中(b)所示:最早传输的四个像素P1、P2、P3、P4包括RGB图像数据、Hsyn和Vsyn同步数据、L/R标识、及其它数据,其它像素没有L/R标识。
第二3D视频处理模块接收第一3D视频信号后进行处理,通过L/R标识来分离出L图像和R图像,获取L图像和R图像间的视差、以及进一步估算各个像素间的深度信息、形成连续平滑的深度图。以及采用内插视点或外延视点的方式,根据L图像和深度图、估算出多个L视点图像,以及根据R图像和深度图、估算出多个R视点图像,形成多个视点图像。根据超高清裸眼3D屏的物理像素排列情况,对多个视点图像进行交织处理后形成包含多个视点信息的合成图像,合成图像的像素数为3840×2160;以及进一步对包含多视点信息的合成图像进行格式编织,将其编织成VBO(V-by-One)信号格式、以频率为30Hz的速度(如图7中d)所示)传输给第三3D视频处理模块。
以6个视点内插视点为例,多视点图像如图9所示:L图像作为最左边的L视点,并且L图像+深度图内插出L+1视点和L+2视点;同样R图像作为最右的R视点,并且R图像+深度图内插出R-1视点和R-2视点;6个视点按照超高清裸眼3D屏的物理像素的排列来交织成3840×2160的合成图像,并以频率为30Hz的速度传输给第三3D视频处理模块;第三3D视频处理模块进行插帧倍频等处理,转换频率为60Hz的速度来驱动超高清裸眼3D屏;超高清裸眼3D屏投射出光线,形成图9所示依次排列的L、R-2、L+1、R-1、L+2、R视点图像,实现高清晰度裸眼3D显示。
本发明提出一种裸眼3D系统,第一3D视频处理模块对3D信号源设备输出的左右眼图像进行图像提升和插帧等处理后,将左右图及其标识信号编织成LVDS信号一起传输给第二3D视频处理模块;第二3D视频处理模块获取深度信号,采用内插视点或外延视点的方式,通过左眼图像及深度信息来生成多个左眼视点、通过右眼图像及深度信息来生成多个右眼视点,将多个左右视点交织排列后编织成VBO信号传输给第三3D视频处理模块;第三3D视频处理模块进行插帧倍频等处理后同样以VBO信号输出给超高清裸眼3D屏,驱动超高清裸眼3D屏来实现高清晰度裸眼3D显示。本发明能够高效实现裸眼3D视点的转换、占用资源少,3D显示清晰度高、播放平稳流畅,以及成本低、应用广泛。
本发明采用亮度分区缩放和分级插值来进行图像提升,在节省裸眼3D电视资源的情况下进行高效率图像处理,提高裸眼3D显示的图像清晰度。将L/R同步标识与L/R图像信号一起编织成LVDS信号进行传输,节省连接线以及CPUI/O口,节省资源。本发明通过获取L/R图像的视差,然后估算各个像素的深度信息形成深度图;采用内插视点或外延视点的方式,通过L图像+深度图形成多个L视点、通过R图像+深度图形成多个R视点。本发明采用超高清裸眼3D屏,实现高清晰度裸眼3D显示。
综上所述,本发明提供的一种裸眼3D显示方法及系统,通过对3D信号进行解码得到原始3D视频信号;对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像;获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器对应显示;高效实现了裸眼3D视点的转换、占用资源少,3D显示清晰度高、播放平稳流畅,成本低、应用广泛,带来了大大的方便。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (14)

1.一种裸眼3D显示方法,其特征在于,包括以下步骤:
S1、对3D信号进行解码得到原始3D视频信号;
S2、对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像;
S3、获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;
S4、对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器,以实现裸眼3D显示。
2.根据权利要求1所述的裸眼3D显示方法,其特征在于,所述步骤S2具体包括:
S21、对所述原始3D视频信号进行信号分离,得到对应的L图像信号和R图像信号;对L图像信号和R图像信号进行图像提升及分类插帧,得到对应的L图像序列和R图像序列;对L图像序列和R图像序列进行格式编织得到对应的LVDS信号格式图像信号。
3.根据权利要求2所述的裸眼3D显示方法,其特征在于,所述步骤S21具体包括:
S211、对原始3D视频信号进行信号分离,将原始3D图像信号转换成左图像信号、右图像信号及与左图像信号和右图像对应的L/R同步信号;
S212、将L图像和R图像的色彩空间图像转换为YUV色彩空间,对YUV色彩空间的L图像和R图像采用亮度分区缩放和分级插值来进行图像提升,转换成像素为M*N阵列的L和R图像;其中,M和N为正整数;
S213、在L/R同步信号控制下,对像素为M*N的L图像和R图像进行分类,依次将L图像缓存在一起形成L图像集,将R图像缓存在一起形成R图像集;分别对L图像集和R图像集进行插帧,形成帧频为f1的L图像集和帧频为f1的R图像集;将L图像集和R图像集中的图像依次输出、以及输出对应R标识信号和L标识信号;其中,f1为正整数;
S214、对L图像和R图像进行RGB图像转换,将YUV色彩空间的L图像和R图像对应转换成RGB色彩空间的L图像和R图像;
S215、对RGB色彩空间的L图像和R图像中的像素按规律排列,对像素中的R、G、B分量按规则编织成LVDS信号格式,并在L图像的最早传输的四个像素中插入L标识,在R图像的最早传输的四个像素中插入R标识,以帧频为2f1的速度交替输出。
4.根据权利要求3所述的裸眼3D显示方法,其特征在于,所述步骤S212具体包括:
S2121、将L图像和R图像的色彩空间图像转换成YUV色彩空间,将L图像和R图像的像素转化成YUV4:2:2的像素;
S2122、对YUV色彩空间的图像信号中亮度Y进行分析归类,按照亮度值高低分为低亮度区域、中亮度区域及高亮度区域;所述低亮度区域的亮度小于第一临界值,所述中亮度区域的亮度在第一临界值和第二临界值之间,所述高亮度区域的亮度大于第二临界值;所述第一临界值小于第二临界值;
S2123、采用亮度分区缩放来提升对比度,对低亮区域的图像进行亮度压缩,对中亮区域的图像进行亮度增强,高亮度区域的亮度保持不变;
S2124、采用分级插值来提升分辨率,对不同的亮度区域来采用不同的插值算法,将图像分辨率转换为固定分辨率,转换后L图像和R图像的像素为M*N阵列。
5.根据权利要求2所述的裸眼3D显示方法,其特征在于,所述步骤S3具体包括:
S31、对所述LVDS信号格式图像信号进行解编织及图像分离,分离出L图像序列和R图像序列;获取L图像序列和R图像序列中物体对象的深度信息及估算出每个像素点的深度信息,形成连续平滑的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;对所述合成图像进行格式编织得到对应的VBO信号格式图像信号。
6.根据权利要求5所述的裸眼3D显示方法,其特征在于,所述步骤S31具体包括:
S311、将LVDS信号格式图像信号转换成RGB图像信号、分离出L图像和R图像;
S312、获取L图像和R图像中相似的物体对象,根据L图像和R图像中相似物体对象的水平位移,计算出L图像和R图像中相似物体对象的视差;根据L图像和R图像物体对象的色彩、纹理及光影信息进行处理,估算出每个像素点的深度信息,形成连续平滑的深度图;
S313、采用内插视点或外延视点的方式,根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;
S314、根据裸眼3D显示器的物理像素排列情况,对多个L视点图像及多个R视点图像进行交织处理后合成包括多个视点信息的合成图像;
S315、对包含多个视点信息的合成图像进行格式编织,将其编织成对应的VBO信号格式图像信号,以频率为f2的速度输出,所述f2为正整数。
7.根据权利要求6所述的裸眼3D显示方法,其特征在于,所述步骤S4包括:
S41、对所述VBO信号格式图像信号进行解编织,将VBO信号格式的图像信号转换成RGB信号格式的合成图像;
S42、对合成图像进行插帧和倍频处理,将一帧图像进行重复后变为相同的T帧图像,从而得到频率为Tf2的合成图像,其中,T大于1;
S43、根据裸眼3D显示器的电气特性及显示效果要求,对合成图像进行图像校准;
S44、将校准后的合成图像编织为对应的VBO信号格式图像信号,以频率为Tf2的速度传输给裸眼3D显示器,以实现裸眼3D显示。
8.一种裸眼3D显示系统,其特征在于,包括:
解码模块,用于对3D信号进行解码得到原始3D视频信号;
第一3D视频处理模块,用于对所述原始3D视频信号进行信号分离、图像提升及分类插帧,得到对应的L图像和R图像;
第二3D视频处理模块,用于获取L图像和R图像中物体对象的深度信息并估算出每个像素点的深度信息,形成对应的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;
第三3D视频处理模块,用于对所述合成图像进行插帧倍频及图像校准,并发送给裸眼3D显示器,以实现裸眼3D显示。
9.根据权利要求8所述的裸眼3D显示系统,其特征在于,所述第一3D视频处理模块包括:
第一3D视频处理单元,用于对所述原始3D视频信号进行信号分离,得到对应的L图像信号和R图像信号;对L图像信号和R图像信号进行图像提升及分类插帧,得到对应的L图像序列和R图像序列;对L图像序列和R图像序列进行格式编织得到对应的LVDS信号格式图像信号。
10.根据权利要求9所述的裸眼3D显示系统,其特征在于,所述第一3D视频处理单元包括:
信号分离单元,用于对原始3D视频信号进行信号分离,将原始3D图像信号转换成左图像信号、右图像信号及与左图像信号和右图像对应的L/R同步信号;
色彩转换及图像提升单元,用于将L图像和R图像的色彩空间图像转换成YUV色彩空间,对YUV色彩空间的L图像和R图像采用亮度分区缩放和分级插值来进行图像提升,转换成像素为M*N阵列的L和R图像;其中,M和N为正整数;
分类插帧单元,用于在L/R同步信号控制下,对像素为M*N的L图像和R图像进行分类,依次将L图像缓存在一起形成L图像集,将R图像缓存在一起形成R图像集;分别对L图像集和R图像集进行插帧,形成帧频为f1的L图像集和帧频为f1的R图像集;将L图像集和R图像集中的图像依次输出、以及输出对应R标识信号和L标识信号;其中,f1为正整数;
RGB图像转换单元,用于对L图像和R图像进行RGB图像转换,将YUV色彩空间的L图像和R图像对应转换成RGB色彩空间的L图像和R图像;
第一编织输出单元,用于对RGB色彩空间的L图像和R图像中的像素按规律排列,对像素中的R、G、B分量按规则编织成LVDS信号格式,并在L图像的最早传输的四个像素中插入L标识,在R图像的最早传输的四个像素中插入R标识,以帧频为2f1的速度交替输出。
11.根据权利要求10所述的裸眼3D显示系统,其特征在于,所述色彩转换及图像提升单元包括:
色彩转换单元,用于将L图像和R图像的色彩空间图像转换成YUV色彩空间,将L图像和R图像的像素转化成YUV4:2:2的像素;
亮度分类单元,用于对YUV色彩空间的图像信号中亮度Y进行分析归类,按照亮度值高低分为低亮度区域、中亮度区域及高亮度区域;所述低亮度区域的亮度小于第一临界值,所述中亮度区域的亮度在第一临界值和第二临界值之间,所述高亮度区域的亮度大于第二临界值;所述第一临界值小于第二临界值;
分区缩放单元,用于采用亮度分区缩放来提升对比度,对低亮区域的图像进行亮度压缩,对中亮区域的图像进行亮度增强,高亮度区域的亮度保持不变;
分级插值单元,用于采用分级插值来提升分辨率,对不同的亮度区域来采用不同的插值算法,将图像分辨率转换为固定分辨率,转换后L图像和R图像的像素为M*N阵列。
12.根据权利要求9所述的裸眼3D显示系统,其特征在于,所述第二3D视频处理模块包括:
第二3D视频处理单元,用于对所述LVDS信号格式图像信号进行解编织及图像分离,分离出L图像序列和R图像序列;获取L图像序列和R图像序列中物体对象的深度信息及估算出每个像素点的深度信息,形成连续平滑的深度图;根据L图像和对应的深度图估算出多个L视点图像,根据R图像和对应的深度图估算出多个R视点图像;对多个L视点图像和多个R视点图像进行交织处理后形成包含多个视点的合成图像;对所述合成图像进行格式编织得到对应的VBO信号格式图像信号。
13.根据权利要求12所述的裸眼3D显示系统,其特征在于,所述第二3D视频处理单元包括:
解编织及图像分离单元,用于将LVDS信号格式图像信号转换成RGB图像信号、分离出L图像和R图像;
深度图生成单元,用于获取L图像和R图像中相似的物体对象,根据L图像和R图像中相似物体对象的水平位移,计算出L图像和R图像中相似物体对象的视差;根据L图像和R图像物体对象的色彩、纹理及光影信息进行处理,估算出每个像素点的深度信息,形成连续平滑的深度图;
多视点生成单元,用于采用内插视点或外延视点的方式,根据L图像和深度图估算出多个L视点图像,根据R图像和深度图估算出多个R视点图像;
视点合成单元,用于根据裸眼3D显示器的物理像素排列情况,对多个L视点图像及多个R视点图像进行交织处理后合成包括多个视点信息的合成图像;
第二编织输出单元,用于对包含多个视点信息的合成图像进行格式编织,将其编织成对应的VBO信号格式图像信号,以频率为f2的速度输出,所述f2为正整数。
14.根据权利要求13所述的裸眼3D显示系统,其特征在于,所述第三3D视频处理模块包括:
解编织单元,用于对所述VBO信号格式图像信号进行解编织,将VBO信号格式的图像信号转换成RGB信号格式的合成图像;
插帧倍频单元,用于对合成图像进行插帧和倍频处理,将一帧图像进行重复后变为相同的T帧图像,从而得到频率为Tf2的合成图像,其中,T大于1;
图像校准单元,用于根据裸眼3D显示器的电气特性及显示效果要求,对合成图像进行图像校准;
编织输出及显示单元,用于将校准后的合成图像编织为对应的VBO信号格式图像信号,以频率为Tf2的速度传输给裸眼3D显示器,以实现裸眼3D显示。
CN201610036403.0A 2016-01-20 2016-01-20 一种裸眼3d显示方法及系统 Active CN105681777B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610036403.0A CN105681777B (zh) 2016-01-20 2016-01-20 一种裸眼3d显示方法及系统
PCT/CN2016/073084 WO2017124586A1 (zh) 2016-01-20 2016-02-01 一种裸眼3d显示方法及系统
AU2016304612A AU2016304612B2 (en) 2016-01-20 2016-02-01 Naked-eye 3D display method and system thereof
US15/507,494 US10326974B2 (en) 2016-01-20 2016-02-01 Naked-eye 3D display method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610036403.0A CN105681777B (zh) 2016-01-20 2016-01-20 一种裸眼3d显示方法及系统

Publications (2)

Publication Number Publication Date
CN105681777A true CN105681777A (zh) 2016-06-15
CN105681777B CN105681777B (zh) 2017-09-05

Family

ID=56301974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610036403.0A Active CN105681777B (zh) 2016-01-20 2016-01-20 一种裸眼3d显示方法及系统

Country Status (4)

Country Link
US (1) US10326974B2 (zh)
CN (1) CN105681777B (zh)
AU (1) AU2016304612B2 (zh)
WO (1) WO2017124586A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106888373A (zh) * 2017-03-29 2017-06-23 京东方科技集团股份有限公司 一种三维图像的处理装置及处理系统
CN107229337A (zh) * 2017-06-16 2017-10-03 上海闻泰电子科技有限公司 Vr显示系统及方法
CN108765485A (zh) * 2018-04-10 2018-11-06 深圳康得新智能显示科技有限公司 图像的展示、处理方法及装置
CN108881878A (zh) * 2018-05-28 2018-11-23 上海玮舟微电子科技有限公司 一种裸眼3d显示设备和方法
CN110113596A (zh) * 2018-02-01 2019-08-09 上海济丽信息技术有限公司 一种可切换光栅式裸眼3d显示系统及显示方法
CN110187858A (zh) * 2016-09-28 2019-08-30 华为技术有限公司 图像显示方法及系统
CN111741303A (zh) * 2020-06-09 2020-10-02 Oppo广东移动通信有限公司 深度视频处理方法、装置、存储介质与电子设备
CN112188182A (zh) * 2019-07-02 2021-01-05 西安诺瓦星云科技股份有限公司 立体显示控制系统、立体显示系统及立体显示控制器
CN115941925A (zh) * 2023-03-14 2023-04-07 江西科骏实业有限公司 3d显示方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110022452B (zh) * 2019-05-16 2021-04-30 深圳市芯动电子科技有限公司 一种适于全息显示装置的视频抽帧方法及系统
CN112584125A (zh) * 2019-09-30 2021-03-30 北京芯海视界三维科技有限公司 三维图像显示设备及其显示方法
US11923070B2 (en) 2019-11-28 2024-03-05 Braid Health Inc. Automated visual reporting technique for medical imaging processing system
CN115442580B (zh) * 2022-08-17 2024-03-26 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702780A (zh) * 2009-09-07 2010-05-05 无锡景象数字技术有限公司 多视点立体内容的参数化合成方法
CN102215405A (zh) * 2011-06-01 2011-10-12 深圳创维-Rgb电子有限公司 3d视频信号压缩编解码方法、装置及系统
CN102752616A (zh) * 2012-06-20 2012-10-24 四川长虹电器股份有限公司 双目立体视频转换多目立体视频的方法
CN102932657A (zh) * 2011-08-08 2013-02-13 索尼公司 图像处理装置、图像处理方法和程序
CN104702935A (zh) * 2015-03-31 2015-06-10 王子强 一种基于视差补偿的裸眼3d显示方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
KR20050100895A (ko) * 2004-04-16 2005-10-20 한국전자통신연구원 영상시점 변환 기능을 이용한 입체영상 변환 표시장치 및그 방법과 그를 이용한 다시점 입체영상 디스플레이 시스템
US7733421B1 (en) * 2005-12-05 2010-06-08 Marvell International Ltd. Vector interpolator
CN102196294A (zh) * 2010-03-16 2011-09-21 康佳集团股份有限公司 立体电视的信号处理方法及立体电视
US20120098942A1 (en) * 2010-10-26 2012-04-26 Thomas John Meyer Frame Rate Conversion For Stereoscopic Video
JP5002702B2 (ja) * 2010-12-03 2012-08-15 株式会社東芝 視差画像生成装置、立体映像表示装置及び視差画像生成方法
JP2012138655A (ja) * 2010-12-24 2012-07-19 Sony Corp 画像処理装置及び画像処理方法
JP2013005259A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2013112796A1 (en) * 2012-01-25 2013-08-01 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses
CN102802004B (zh) * 2012-08-15 2016-06-01 上海易维视科技有限公司 裸眼3d模组
CN103260044B (zh) * 2013-05-10 2015-05-20 深圳创维-Rgb电子有限公司 3d超高清信号处理方法和装置
US9756316B2 (en) * 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
KR101980275B1 (ko) * 2014-04-14 2019-05-20 삼성전자주식회사 다시점 영상 디스플레이 장치 및 디스플레이 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702780A (zh) * 2009-09-07 2010-05-05 无锡景象数字技术有限公司 多视点立体内容的参数化合成方法
CN102215405A (zh) * 2011-06-01 2011-10-12 深圳创维-Rgb电子有限公司 3d视频信号压缩编解码方法、装置及系统
CN102932657A (zh) * 2011-08-08 2013-02-13 索尼公司 图像处理装置、图像处理方法和程序
CN102752616A (zh) * 2012-06-20 2012-10-24 四川长虹电器股份有限公司 双目立体视频转换多目立体视频的方法
CN104702935A (zh) * 2015-03-31 2015-06-10 王子强 一种基于视差补偿的裸眼3d显示方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187858A (zh) * 2016-09-28 2019-08-30 华为技术有限公司 图像显示方法及系统
CN110187858B (zh) * 2016-09-28 2022-10-18 华为技术有限公司 图像显示方法及系统
CN106888373A (zh) * 2017-03-29 2017-06-23 京东方科技集团股份有限公司 一种三维图像的处理装置及处理系统
CN107229337A (zh) * 2017-06-16 2017-10-03 上海闻泰电子科技有限公司 Vr显示系统及方法
CN107229337B (zh) * 2017-06-16 2020-08-18 上海闻泰电子科技有限公司 Vr显示系统及方法
CN110113596A (zh) * 2018-02-01 2019-08-09 上海济丽信息技术有限公司 一种可切换光栅式裸眼3d显示系统及显示方法
CN110113596B (zh) * 2018-02-01 2021-04-27 上海济丽信息技术有限公司 一种可切换光栅式裸眼3d显示系统及显示方法
CN108765485A (zh) * 2018-04-10 2018-11-06 深圳康得新智能显示科技有限公司 图像的展示、处理方法及装置
CN108881878A (zh) * 2018-05-28 2018-11-23 上海玮舟微电子科技有限公司 一种裸眼3d显示设备和方法
CN112188182A (zh) * 2019-07-02 2021-01-05 西安诺瓦星云科技股份有限公司 立体显示控制系统、立体显示系统及立体显示控制器
CN111741303A (zh) * 2020-06-09 2020-10-02 Oppo广东移动通信有限公司 深度视频处理方法、装置、存储介质与电子设备
CN115941925A (zh) * 2023-03-14 2023-04-07 江西科骏实业有限公司 3d显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
AU2016304612A1 (en) 2017-08-03
CN105681777B (zh) 2017-09-05
WO2017124586A1 (zh) 2017-07-27
US20180109772A1 (en) 2018-04-19
US10326974B2 (en) 2019-06-18
AU2016304612B2 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
CN105681777A (zh) 一种裸眼3d显示方法及系统
US11961431B2 (en) Display processing circuitry
US5737027A (en) Pixel interlacing apparatus and method
US20160156898A1 (en) Parallel scaling engine for multi-view 3DTV display and method thereof
KR100720722B1 (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
CN103081476A (zh) 利用深度图信息转换三维图像的方法和设备
CN102291587B (zh) 全高清3d视频处理方法
CN102256143A (zh) 视频处理装置及方法
JP2012070032A5 (zh)
EP1520400B1 (en) Method and apparatus for conversion of video formats to 120 hz 4 to 1 interlaced formats
EP2326096A2 (en) 3D Image Display Apparatus and Display Method
US20120120190A1 (en) Display device for use in a frame sequential 3d display system and related 3d display system
CN103546737A (zh) 图像数据缩放方法以及图像显示装置
CN105611270A (zh) 一种双目视觉自由立体显示系统
WO2011061973A1 (ja) 立体映像表示装置および動きベクトル導出方法
US10122987B2 (en) 3D system including additional 2D to 3D conversion
US20130050183A1 (en) System and Method of Rendering Stereoscopic Images
US20120120191A1 (en) Image processor for use in a frame sequential 3d display system and related 3d display system
WO2016004715A1 (zh) 显示处理系统、方法及电子设备
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
KR101336956B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
CN111212278B (zh) 一种预测位移帧的方法与系统
CN103260044A (zh) 3d超高清信号处理方法和装置
TWI499279B (zh) 影像處理裝置及其方法
CN102427550A (zh) 一种实现2d转3d的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant