CN104519337A - 包装彩色图框及原始景深图框的方法、装置及系统 - Google Patents

包装彩色图框及原始景深图框的方法、装置及系统 Download PDF

Info

Publication number
CN104519337A
CN104519337A CN201410519493.XA CN201410519493A CN104519337A CN 104519337 A CN104519337 A CN 104519337A CN 201410519493 A CN201410519493 A CN 201410519493A CN 104519337 A CN104519337 A CN 104519337A
Authority
CN
China
Prior art keywords
picture frame
depth
size
field picture
colored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410519493.XA
Other languages
English (en)
Other versions
CN104519337B (zh
Inventor
杨家辉
王泓民
曾喜骏
廖恪应
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yang Jiahui
Original Assignee
Weicheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weicheng Technology Co ltd filed Critical Weicheng Technology Co ltd
Publication of CN104519337A publication Critical patent/CN104519337A/zh
Application granted granted Critical
Publication of CN104519337B publication Critical patent/CN104519337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals

Abstract

本发明公开一种包装彩色图框及原始景深图框以得到包装图框的方法、装置及系统。彩色图框与原始景深图框对应,包装图框可于显示屏幕中显示,包装彩色图框及原始景深图框的方法包括:重调原始景深图框的尺寸,以得到尺寸重调景深图框;以及组合彩色图框及尺寸重调景深图框,以得到包装图框,彩色图框的中心显示于显示屏幕的中央区域。本发明不仅得到的包装图框可直接于2D显示屏幕中显示,而且人眼实际看到的2D影像相当自然,不会产生不舒服的感觉。

Description

包装彩色图框及原始景深图框的方法、装置及系统
技术领域
本发明涉及一种包装彩色图框(color frame)及原始景深图框(originaldepth frame)以得到包装图框(packed frame)的方法、装置及系统。
背景技术
由于科技的进步,如今电子产品的发展,没有不以提升产品的性能及质量为优先考虑。其中,有关显示装置的设置,除了提供使用者更清晰、更舒适的显示画面之外,各家厂商不断推出多种三维(three-dimensional,3D)的显示装置,其可提供多视点的3D影像,以提供使用者另一种拟实境的视觉感受。
以现阶段来说,一种3D影像生成系统是透过由原始的2D影像数据,即彩色图框产生与该彩色图框对应的景深图框(depth frame),并透过现有的传输设备将彩色图框与景深图框传送至使用者的3D显示装置。当3D显示装置接收到彩色图框与景深图框之后可透过景深影像绘图法(Depth-Image-basedRendering,DIBR)而得到可供任何裸眼3D显示装置使用的两个以上多视点影像,或是眼镜式3D显示装置的左眼影像及右眼影像。
然而,目前接收端方面普遍的家用电视还是以2D显示装置为主,并无处理多视点影像或左右眼影像的功能,因此一般2D显示装置接受到3D影像讯号时,会显示出左眼影像及右眼影像减半并拼接在一起的结果,或显示出单视点单深度左右排列的结果。目前正值3D影像的发展期,广播上述拼接方式或排列方式而于一般2D显示装置上直接显示左、右眼影像减半拼接方式或单视点单深度左右排列的彩色图框与景深图框时,人眼实际看到的2D影像(彩色图框)不仅相当不自然,也会因无法专心聚焦于彩色图框,产生不舒服的感觉。
发明内容
本发明的目的为提供一种包装彩色图框及原始景深图框以得到包装图框的方法、装置及系统,不仅得到的包装图框可直接于2D显示屏幕中显示,而且人眼实际看到的2D影像相当自然,不会产生不舒服的感觉。
为了达到上述目的,依据本发明的一种包装彩色图框及原始景深图框以得到包装图框的方法,彩色图框与原始景深图框对应,包装图框可于显示屏幕中显示,该方法包括:重调原始景深图框的尺寸,以得到尺寸重调景深图框;以及组合彩色图框及尺寸重调景深图框,以得到包装图框,其中,彩色图框的中心是显示于显示屏幕的中央区域。
为了达到上述目的,依据本发明的一种包装彩色图框及原始景深图框以得到包装图框的装置,彩色图框与原始景深图框对应,包装图框可于显示屏幕中显示,装置包括尺寸处理单元以及组合处理单元。尺寸处理单元重调景深图框的尺寸,以得到尺寸重调景深图框。组合处理单元组合彩色图框及尺寸重调景深图框,以得到包装图框,其中,彩色图框的中心是显示于显示屏幕的中央区域。
为了达到上述目的,依据本发明的一种包装彩色图框及原始景深图框以得到包装图框的系统,彩色图框与原始景深图框对应,包装图框可于显示屏幕中显示,系统包括存储单元以及处理单元。存储单元储存彩色图框及原始景深图框。处理单元重调原始景深图框的尺寸,以得到尺寸重调景深图框,并组合彩色图框及尺寸重调景深图框,以得到包装图框,其中,彩色图框的中心是显示于显示屏幕的中央区域。
承上所述,本发明的包装彩色图框及原始景深图框以得到包装图框的方法、装置及系统中,是借助组合彩色图框及尺寸重调景深图框,以得到中心显示于显示屏幕的中央区域的包装图框。借此,不仅将包装图框经还原程序还原而得到原始彩色图框或原始影深图框后,再透过景深影像绘图法就可提供3D显示装置正确产生例如裸眼多视点立体影像或眼镜式双视点立体影像,同时更重要的是,由于彩色图框的中心显示于显示屏幕的中央区域,优选是彩色图框的中心点与显示屏幕的中心点重叠,进一步优选是完全重叠,使得包装图框不仅可直接于2D显示屏幕中显示,且经人眼实际观看证明,看到的2D影像(即彩色图框)也相当自然,不会产生不舒服的感觉。
另外,因本发明公开的方法、装置及系统中,包含重调原始景深图框的尺寸以得到尺寸重调景深图框,并组合彩色图框及尺寸重调景深图框,以得到精简的包装图框,因此适合配合其它视讯压缩系统而有提高压缩效率的功效,并可将3D立体视讯所需频宽要求降低,更有利于3D频道的推广。
附图说明
图1A为本发明优选实施例的一种包装彩色图框及原始景深图框的方法的流程示意图。
图1B为本发明优选实施例的一种包装彩色图框及原始景深图框的装置的功能方块示意图。
图2A至图2D为第一实施例的一种原始景深图框的处理过程示意图。
图3A及图3B为第一实施例的一种原始彩色图框的处理过程示意图。
图4A为第一实施例的包装图框的示意图。
图4B为将第一实施例的包装图框显示于2D显示装置时,彩色图框与显示屏幕的相对示意图。
图4C为以包装彩色图框及原始景深图框的方法及装置所得到的另一个包装图框的影像示意图。
图4D为本发明实施例中显示屏幕的中央区域的示意图。
图5A至图5D为第二实施例的一种原始景深图框的处理过程示意图。
图6A及图6B为第二实施例的一种原始彩色图框的处理过程示意图。
图7A为第二实施例的包装图框的示意图。
图7B为将第二实施例的包装图框显示于2D显示装置时,彩色图框与显示屏幕的相对示意图。
图7C为以包装彩色图框及原始景深图框的方法及装置所得到的另一个包装图框的影像示意图。
图8为本发明优选实施例另一个态样的包装彩色图框及原始景深图框的装置的功能方块示意图。
图9A至图9D为第三实施例的一种原始景深图框的处理过程示意图。
图10A及图10B为第三实施例的一种原始彩色图框的处理过程示意图。
图11A为第三实施例的包装图框的示意图。
图11B为将第三实施例的包装图框显示于2D显示装置时,彩色图框与显示屏幕的相对示意图。
图11C为以包装彩色图框及原始景深图框的方法及装置所得到的另一个包装图框的影像示意图。
图12为本发明优选实施例的一种包装彩色图框及原始景深图框的系统的功能方块示意图。
具体实施方式
以下将参照相关附图,说明依本发明优选实施例的包装彩色图框及原始景深图框的方法、装置及系统,其中相同的组件将以相同的参照符号加以说明。
请参照图1A及图1B所示,其中,图1A为本发明优选实施例的一种包装彩色图框及原始景深图框以得到包装图框的方法的流程示意图,而图1B为本发明优选实施例的一种包装彩色图框及原始景深图框以得到包装图框的装置1(以下简称装置1)的功能方块示意图。应用本发明所得到的包装图框可直接于显示屏幕中显示。在此,显示屏幕为2D显示装置的显示屏幕,而2D显示装置的分辨率例如但不限于为1920×1080画素(pixels)。
如图1A所示,包装彩色图框及原始景深图框以得到包装图框的方法包括步骤S01及步骤S02。另外,如图1B所示,装置1包括尺寸处理单元11以及组合处理单元12。此外,装置1进一步包括分割处理单元13及翻转处理单元14。以下,请配合参照图2A至图4B,以说明包装彩色图框及原始景深图框以得到包装图框的方法及装置1的详细内容。
图2A至图2D为第一实施例的一种原始景深图框的处理过程示意图。其中,图2A为原始景深图框,图2B为中间景深图框,图2C为尺寸重调景深图框,而图2D为分割及翻转后的两部分的尺寸重调景深图框。另外,请参照图3A至图3B所示,图3A及图3B为第一实施例的一种原始彩色图框的处理过程示意图。其中,图3A为原始彩色图框,而图3B为图3A重调尺寸后的彩色图框。
在本实施例中,彩色图框是借助重调(resized)原始彩色图框的尺寸而得到。其中,原始彩色图框具有预设图框尺寸,并例如但不限于为1920×1080画素,此与目前高画质2D显示装置的影像分辨率相同。在此,原始景深图框与原始彩色图框的尺寸相同,均具有预设图框尺寸。当然,在其它的实施态样中,预设图框尺寸可以为不同数值。另外,图标中显示列方向D1及行方向D2,列方向D1为显示的图框影像的水平方向,而行方向D2为显示的图框影像的垂直方向。此外,特别注意的一点是,虽然图3A、图3B显示为黑白的影像,但实际上,图3A及图3B在彩色显示装置上可显示为彩色影像。
原始景深图框与原始彩色图框对应。在此,“对应”表示,除了两者的尺寸或分辨率相同之外,原始景深图框是根据原始彩色图框的所有对象的景深值而得到的,而且,将原始彩色图框与原始景深图框透过景深影像绘图法(DIBR)便可合成可供3D显示装置播放的3D影像。由于原始景深图框与原始彩色图框对应,因此原始景深图框也与彩色图框对应。
首先,如图1A所示,包装彩色图框及原始景深图框以得到包装图框的方法的步骤S01为:重调原始景深图框的尺寸,以得到尺寸重调景深图框(即由图2A调整为图2B)。其中,图2A的原始景深图框为灰阶图框,因此其各画素的次画素值均具有相等的数值(具有相同灰阶值)。其中,各画素的数量可大于或等于2个。在此,各画素例如分别具有三个次画素R、G、B为例。
在步骤S01中,在得到图2C的尺寸重调景深图框之前,本实施例在先重调图2A的原始景深图框的尺寸而得到图2B的中间景深图框之后,再将图2B的中间景深图框进行次画素重排列(subpixel rearrangement)而得到图2C的尺寸重调景深图框。其中,重调原始景深图框的尺寸而得到中间景深图框,是透过将原始景深图框的尺寸降低比例,或透过将原始景深图框的分辨率降低来达成。在本实施例中,是借助尺寸处理单元11按比例缩小(downscaling)图2A的原始景深图框而得到图2B的中间景深图框。在此,中间景深图框的尺寸沿行方向D2缩小为原始景深图框的四分之三,因此,中间景深图框的尺寸为1920×810(810=1080×3/4)。
接着,进行次画素重排列。次画素重排列取得中间景深图框的三个画素的两个次画素值,并分别将该等次画素值对应储存于尺寸重调景深图框的一个画素的三个次画素内。在此,由于原始景深图框为灰阶图框,因此每一画素中的三个次画素值均相同,因此,各画素可取其中的任意次画素值为代表。
次画素重排列是将中间景深图框的三个画素的次画素值分别对应储存于尺寸重调景深图框的一个画素的三个次画素内。换句话说,是将中间景深图框的第一画素的次画素值储存于尺寸重调景深图框的第一画素的第一次画素内,并将中间景深图框的第二画素的次画素值储存于尺寸重调景深图框的第一画素的第二次画素内,再将中间景深图框的第三画素的次画素值储存于尺寸重调景深图框的第一画素的第三次画素内,以此类推。在此,可将图2B的中间景深图框沿行方向D2缩小尺寸为原来的三分之一,而得到图2C的尺寸重调景深图框,其分辨率为1920×270(270=810×1/3)。
因此,本实施例图2C的尺寸重调景深图框的尺寸沿行方向D2为原始景深图框的四分之一(3/4×1/3)。由于使用次画素重排列的技术,使得中间景深图框的三行画素的灰阶值可以储存于尺寸重调景深图框的一个画素的三个次画素内,因此相较于原始景深图框,尺寸重调景深图框具有编码效率高的优点,同时也可降低数据量,应用于传输时,可提高传输效率。
因为次画素重排列会使得图框缩小,因此也可以称之为“次画素压缩重排列(subpixel packing rearrangement)”。
另外,重调原始彩色图框的尺寸而得到彩色图框,是透过将原始彩色图框的尺寸降低比例,或透过将原始彩色图框的分辨率降低来达成。在本实施例中,是由尺寸处理单元11缩小图3A的原始彩色图框而得到图3B的彩色图框。在此,图3B的彩色图框的尺寸沿行方向D2按比例缩小尺寸为原始彩色图框的四分之三。换句话说,本实施例中,是将图3A的原始彩色图框沿行方向D2等比例缩小尺寸为原来的四分之三,而得到图3B的彩色图框,因此,彩色图框的分辨率为1920×810(810=1080×3/4)。不过,在其它的实施例中,缩小尺寸可以为其它不同比例,或者也可沿列方向D1缩小尺寸,或同时沿行方向D2及列方向D1缩小尺寸,本发明并不特别限制。
在得到彩色图框及尺寸重调景深图框之后,再进行步骤S02:组合彩色图框及尺寸重调景深图框,以得到包装图框。不过,在借助组合处理单元12组合彩色图框及尺寸重调景深图框的步骤S02中,本实施例需先利用分割处理单元13将尺寸重调景深图框水平平均分割(splitting)为两部分(沿列方向D1分割),之后,再利用翻转处理单元14分别翻转(flipping)此两部分,而得到图2D的两部分(每一部分的尺寸为1920×135),再将经翻转后的尺寸重调景深图框的两部分透过组合处理单元12分别组合于彩色图框的上侧及下侧,而得到图4A的包装图框。在此,翻转是表示转动180度,使上下颠倒。本实施例分割后的尺寸重调景深图框的两部分的尺寸相同。
请参照图4B所示,其是将第一实施例的包装图框显示于2D显示装置时,彩色图框与显示屏幕的相对示意图。
如果将包装图框经还原程序还原而得到原始彩色图框或原始影深图框后,再透过景深影像绘图法就可提供3D显示装置正确产生裸眼多视点立体影像或眼镜式双视点立体影像之外,同时,如图4B所示,包装图框可直接显示于2D显示装置的显示屏幕中,且彩色图框的中心点(即彩色图框对角线的交点)与显示屏幕的中心点(即显示屏幕对角线的交点)为重叠(均为中心点O)。因此,包装图框不仅可直接于2D显示屏幕中显示,且如图4A所示,经由人眼实际观看证明,看到的彩色图框(即2D影像)相当的自然,比较不会产生不舒服的感觉。当然,为达到人眼观看2D显示屏幕不会有不舒服感觉,除上述中心点重叠之外,经试验结果得知,当彩色图框的中心显示于显示屏幕的中央区域时,即可提供一定的效果。在此,所称的中央区域包括显示屏幕的中心点及其向外延伸一定画素数量所成的范围。中央区域可以例如为圆形或四边形。举例来说,请参考图4C所示,其为本发明实施例中将包装图框显示于2D显示装置时,显示屏幕的中央区域的示意图。在图4D中,显示屏幕的中央区域CA为包括其屏幕中心点O并向外延伸而达屏幕尺寸的例如三分之一的范围,当彩色图框的中心落于此区域时,对于观看者不会产生不舒适的感觉。
另外,再一提的是,在第一实施例中,图4A的包装图框的尺寸与图3A的原始彩色图框的预设图框尺寸相同,都是1920×1080(1080=135+810+135)。由于现有的技术在原始彩色图框与原始景深图框的排列上都是使用单视点单深度左右排列方式,因此会使排列后的影像分辨率为原来的2倍而造成传输频宽上的负担,但是经上述包装彩色图框及原始景深图框所得到包装图框的方法及装置1所包装后的包装图框的尺寸与原始彩色图框(或原始景深图框)相同,都是1920×1080。另外,上述包装彩色图框及原始景深图框以得到包装图框的方法、装置可配合任何视讯压缩方法,以具有优选压缩效率,应用于传输时,包装图框不会造成传输频宽上负担,也不会因解压缩运算量过大而造成使用者的3D显示装置无法负荷。
另外,请参照图5A至图5D所示,图5A至图5D为第二实施例的一种原始景深图框的处理过程示意图。其中,图5A为原始景深图框,图5B为中间景深图框,图5C为尺寸重调景深图框,而图5D为分割及翻转后的两部分的尺寸重调景深图框。另外,请参照图6A至图6B所示,图6A及图6B为第二实施例的一种原始彩色图框的处理过程示意图。其中,图6A为原始彩色图框,而图6B为图6A重调尺寸后的彩色图框。
图5A至图5D的处理程序与图2A至图2D相同,但保持图框的高度(1080)不变,并沿列方向D1进行图框的尺寸重调。其中,图5C的尺寸重调景深图框的尺寸沿列方向D1为图5A的原始景深图框的四分之一(480×1080),再将经垂直平均分割及翻转后的尺寸重调景深图框的两部分(240×1080,图5D)透过组合处理单元12分别组合于图6B的水平方向缩小四分之三的彩色图框(1440×1080)的左侧及右侧,而得到图7A的包装图框以及图7B的包装图框于显示屏幕中的显示情形。
在其它的实施例中,也可同时沿行方向D2及列方向D1缩小尺寸。另外,景深图框及彩色图框缩小尺寸也可以为其它不同比例。此外,如果彩色图框的尺寸沿方向缩小为原始彩色图框的a倍,而中间景深图框的尺寸沿同一方向缩小为原始景深图框的b倍时,则只要满足a+b/3=1即可,本发明并不特别限制a及b的值。前述第一实施例中,中间景深图框沿行方向D2的缩小比例与彩色图框沿行方向D2的缩小比例相同,即a=b=3/4,而第二实施例中,中间景深图框沿列方向D1的缩小比例与彩色图框沿列方向D1的缩小比例也相同,也为a=b=3/4。
特别一提的是,上述实施例的彩色图框是由重调原始彩色图框的尺寸而得到。不过,在其它的实施例中,也可直接将彩色图框与尺寸重调景深图框的两部分进行组合,而得到不同尺寸的包装图框。另外,上述的尺寸处理单元11、组合处理单元12、分割处理单元13及翻转处理单元14可以软件程序来实现其功能,并借助处理器(例如MCU)来执行。
上述的软件程序只是举例,相关的技术人员可依照上述的说明写出不同的程序组合。或者,也可应用硬件或固件的方式来实现上述的尺寸处理单元11、组合处理单元12、分割处理单元13及翻转处理单元14的功能,本发明并不限制。
另外,请参照图4C或图7C所示,其为以包装彩色图框及原始景深图框的方法及装置1所得到的另一个包装图框的影像示意图。其尺寸分别为1920×1080。
由图4C或图7C可看出,经由人眼实际观看证明,看到的彩色图框中的人物影像相当的自然,不会产生不舒服的感觉。
另外,请参照图8所示,其为本发明优选实施例另一态样的包装彩色图框及原始景深图框的装置1a(以下简称装置1a)的功能方块示意图。
与图1B的装置1主要的不同在于,装置1a包括转动处理单元14a,不包括翻转处理单元14。
请再参照图1A及图8,并配合图9A至图11A所示,以说明包装彩色图框及原始景深图框以得到包装图框的方法及装置的第三实施例的详细内容。图9A至图9D为第三实施例的一种原始景深图框的处理过程示意图。其中,图9A为原始景深图,图9B为中间景深图框,图9C为尺寸重调景深图框,而图9D为分割及旋转后的两部分的尺寸重调景深图框。另外,图10A及图10B为第三实施例的一种原始彩色图框的处理过程示意图。其中,图10A为原始彩色图框,而图10B为图10A重调尺寸后的彩色图框。在第三实施例中,仍以与第一实施例相同的原始景深图框与原始彩色图框来说明,因此图9A与图2A相同、图10A与图3A相同。
在步骤S01中,重调原始景深图框的尺寸,以得到尺寸重调景深图框(由图9A至图9C)。在步骤S01中,在得到图9C的尺寸重调景深图框之前,本实施例在先重调图9A的原始景深图框的尺寸而得到图9B的中间景深图框之后,再将中间景深图框进行次画素重排列而得到图9C的尺寸重调景深图框。在此,是借助尺寸处理单元11按比例缩小图9A的原始景深图框而得到图9B的中间景深图框。其中,是将图9A的原始景深图框沿行方向D2的尺寸缩小为原来的三分之二,并沿列方向D1的尺寸缩小为原来的十六分之九,以得到图9B的中间景深图框,因此中间景深图框的分辨率为1080×720(1080=1920×9/16,720=1080×2/3)。另外,次画素重排列的内容已于上述中详述,不再赘述。因此,本实施例经由次画素重排列后,可将图9B的中间景深图框的尺寸沿行方向D2缩小为原来的三分之一,以得到图9C的尺寸重调景深图框的分辨率为1080×240(240=720×1/3)。因此图9C的尺寸重调景深图框的尺寸沿行方向D2为原始景深图框的九分之二(1/3×1/3),沿列方向D1为原始景深图框的十六分之九。
另外,本实施例是由尺寸处理单元11将图10A的原始彩色图框缩小而得到图10B的彩色图框。在此,图10B的彩色图框的尺寸沿列方向D1按比例缩小尺寸为图10A的原始彩色图框的八分之七,因此,彩色图框的分辨率为1680×1080(1680=1920×7/8)。
在得到彩色图框及尺寸重调景深图框之后,再进行步骤S02:组合彩色图框及尺寸重调景深图框,以得到包装图框。不过,在借助组合处理单元12组合彩色图框及尺寸重调景深图框的步骤S02中,本实施例需先利用分割处理单元13将图9C的尺寸重调景深图框水平平均分割为两部分(在此是沿列方向D1分割)之后,再利用转动处理单元14a分别旋转(rotating)此两部分,而得到如图9D的两部分(每一部分的尺寸均为120×1080),再将经旋转后的尺寸重调景深图框的两部分透过组合处理单元12分别组合于彩色图框的左侧及右侧,而得到图11A的包装图框。在此,旋转为顺时针旋转90度。因此,由图11A的包装图框可看出,本实施例的包装图框的尺寸与原始彩色图框的预设图框尺寸相同,仍是1920×1080(1920=120+1680+120)。
另外,请参照图11B所示,其是将第三实施例的包装图框显示于2D显示装置时,彩色图框与显示屏幕的相对示意图。
如果将包装图框经还原程序还原而得到原始彩色图框或原始影深图框后,再透过景深影像绘图法就可提供3D显示装置正确产生裸眼多视点立体影像或眼镜式双视点立体影像之外,同时,如图11B所示,包装图框可直接显示于2D显示装置的显示屏幕中,且彩色图框的中心点(即彩色图框对角线的交点)与显示屏幕的中心点(即显示屏幕对角线的交点)为重叠(均为中心点O)。因此,包装图框不仅可直接于2D显示屏幕中显示,且如图11A所示,经由实际的人眼观看证明,看到的彩色图框(即2D影像)相当的自然,也比较不会产生不舒服的感觉。当然,如前述实施例,为了达到相同的效果,也可以使彩色图框的中心被显示于显示屏幕的中央区域即可,不以中心点重叠为限。
另外,再一提的是,在第三实施例中,图11A的包装图框的尺寸与图10A的原始彩色图框的预设图框尺寸相同,都是1920×1080(1080=135+810+135),因此与第一实施例相同,经包装彩色图框及原始景深图框的方法及装置1a所包装后的包装图框可配合任何视讯压缩方法,并具有优选压缩效率,应用于传输时,不会造成传输频宽上负担,也不会因解压缩运算量过大而造成使用者的3D显示装置无法负荷。
另外,在第三实施例中,是将图9A的原始景深图框沿列方向D1重调与其高度相同(宽度由1920调整为1080)。如果原始彩色图框沿列方向D1的缩小比例为c,原始彩色图框的高度不调整,而原始景深图框沿行方向D2的缩小比例为d时,需满足c+(原始高度/原始宽度)×(d/3)=1即可,本发明并不特别限制缩小比例c及d的值。在上述第三实施例中,c=7/8,且d=2/3。
另外,请参照图11C所示,其为以包装彩色图框及原始景深图框的方法及装置1a所得到的另包装图框的影像示意图。
图11C的尺寸仍为1920×1080。由图11C可看出,经由人眼实际观看证明,看到的彩色图框中的人物影像相当的自然,不会产生不舒服的感觉。
接着,请参照图12所示,其为本发明优选实施例的一种包装彩色图框及原始景深图框的系统2(以下简称系统2)的功能方块示意图。
系统2包括存储单元21以及处理单元22,存储单元21与处理单元22电性连接。存储单元21储存彩色图框及原始景深图框,当然,存储单元21也可用以储存尺寸重调景深图框及其两部分、中间景深图框、包装图框或原始彩色图框。其中,存储单元21可为非瞬时计算机可读取记录介质(non-transitorycomputer readable storage medium),并例如可为内存、记忆卡、光盘片、录像带、计算机磁带,或其任意组合,以储存信息。其中,内存可包含只读存储器(ROM)、随机存取存储器(RAM)、闪存(Flash)、或现场可编程门阵列(Field-Programmable Gate Array,FPGA),或其它形式的内存,并不限定。
处理单元22可包含系统2的核心控制组件,例如可包含至少一个中央处理器及内存,或包含其它控制硬件、软件或固件。其中,处理单元22重调原始景深图框的尺寸,以得到中间景深图框,并将中间景深图框进行次画素重排列,以得到尺寸重调景深图框。另外,在实施例中,处理单元22进一步分割尺寸重调景深图框为两部分,并将尺寸重调景深图框的两部分分别组合于彩色图框的上侧及下侧,以得到包装图框。在此,在将尺寸重调景深图框的两部分分别组合于彩色图框的上侧及下侧之前,处理单元22进一步分别翻转尺寸重调景深图框的两部分。
另外,在另一个实施例中,处理单元22进一步分割尺寸重调景深图框为两部分,且将尺寸重调景深图框的两部分分别组合于彩色图框的左侧及右侧,以得到包装图框。在此,在将尺寸重调景深图框的两部分分别组合于彩色图框的左侧及右侧之前,处理单元22进一步分别旋转尺寸重调景深图框的两部分。此外,处理单元22进一步重调原始彩色图框的尺寸而得到彩色图框。
另外,彩色图框的中心是显示于显示屏幕的中央区域,且优选是彩色图框的中心点与显示屏幕的中心点重叠。其中,显示屏幕为2D显示屏幕。此外,原始景深图框、中间景深图框、尺寸重调景深图框、彩色图框、原始彩色图框及包装图框的其它技术特征已于上述中详述,不再赘述。
综上所述,因本发明的包装彩色图框及原始景深图框以得到包装图框的方法、装置及系统中,组合彩色图框及尺寸重调景深图框,以得到彩色图框的中心被显示于显示屏幕的中央区域的包装图框。借此,不仅将包装图框经还原程序还原而得到原始彩色图框或原始影深图框后,再透过景深影像绘图法就可提供3D显示装置正确产生例如裸眼多视点立体影像或眼镜式双视点立体影像,同时更重要的是,由于彩色图框的中心显示于显示屏幕的中央区域,优选的是彩色图框的中心点与显示屏幕的中心点重叠,进一步优选的是完全重叠,使得包装图框不仅可直接于2D显示屏幕中显示,且经人眼实际观看证明,看到的2D影像(即彩色图框)也相当自然,不会产生不舒服的感觉。
另外,因本发明公开的方法、装置及系统中,包含重调原始景深图框的尺寸以得到尺寸重调景深图框,并组合彩色图框及尺寸重调景深图框,以得到精简的包装图框,因此适合配合其它视讯压缩系统而有提高压缩效率的功效,并可将3D立体视讯所需频宽要求降低,更有利于3D频道的推广。
以上所述仅为举例性,而不是限制性的。任何未脱离本发明的精神与范围,而对其进行的等效修改或变更,均应包含于随附的权利要求范围中。

Claims (42)

1.一种包装彩色图框及原始景深图框以得到包装图框的方法,所述彩色图框与所述原始景深图框对应,所述包装图框可于显示屏幕中显示,所述方法包括:
重调所述原始景深图框的尺寸,以得到尺寸重调景深图框;以及
组合所述彩色图框及所述尺寸重调景深图框,以得到所述包装图框,
其中,所述彩色图框的中心是显示于所述显示屏幕的中间区域。
2.根据权利要求1所述的方法,其中所述彩色图框的中心点与所述显示屏幕的中心点重叠。
3.根据权利要求1所述的方法,进一步包括:
重调所述原始景深图框的尺寸,以得到中间景深图框;及
将所述中间景深图框进行次画素重排列,以得到所述尺寸重调景深图框。
4.根据权利要求3所述的方法,其中所述尺寸重调景深图框的尺寸沿行方向为所述中间景深图框的三分之一。
5.根据权利要求3所述的方法,其中所述尺寸重调景深图框具有多个画素,各所述画素具有三个次画素,所述等次画素分别对应储存所述中间景深图框的三个画素的次画素值。
6.根据权利要求1所述的方法,其中所述组合步骤包括:
将所述尺寸重调景深图框分割为两部分;以及
分别组合所述两部份于所述彩色图框的上侧及下侧。
7.根据权利要求6所述的方法,其中所述组合所述两部份于所述彩色图框的上侧及下侧的步骤包括:
相对于所述尺寸重调景深图框翻转所述两部份。
8.根据权利要求1所述的方法,其中所述组合步骤包括:
将所述尺寸重调景深图框分割为两部分;以及
分别组合所述两部份于所述彩色图框的左侧及右侧。
9.根据权利要求8所述的方法,其中所述组合所述两部份于所述彩色图框的左侧及右侧的步骤包括:
相对于所述尺寸重调景深图框旋转所述两部份。
10.根据权利要求3所述的方法,进一步包含:
重调原始彩色图框的尺寸以得到所述彩色图框。
11.根据权利要求10所述的方法,其中所述原始彩色图框具有预设图框尺寸,所述包装图框的尺寸与所述预设图框尺寸相同。
12.根据权利要求10所述的方法,其中所述彩色图框的尺寸沿方向缩小为所述原始彩色图框的a倍,所述中间景深图框的尺寸沿所述方向缩小为所述原始景深图框的b倍。
13.根据权利要求12所述的方法,其中a与b需满足a+b/3=1。
14.根据权利要求12所述的方法,其中a与b的值分别为四分之三。
15.一种包装彩色图框及原始景深图框以得到包装图框的装置,所述彩色图框与所述原始景深图框对应,所述包装图框可于显示屏幕中显示,所述装置包括:
尺寸处理单元,重调所述景深图框的尺寸,以得到尺寸重调景深图框;以及
组合处理单元,组合所述彩色图框及所述尺寸重调景深图框,以得到所述包装图框,
其中,所述彩色图框的中心是显示于所述显示屏幕的中央区域。
16.根据权利要求15所述的装置,其中所述彩色图框的中心点与所述显示屏幕的中心点重叠。
17.根据权利要求15所述的装置,其中所述尺寸处理单元是重调所述原始景深图框的尺寸,以得到中间景深图框,并将所述中间景深图框进行次画素重排列,以得到所述尺寸重调景深图框。
18.根据权利要求17所述的装置,其中所述尺寸重调景深图框的尺寸沿行方向为所述中间景深图框的三分之一。
19.根据权利要求17所述的装置,其中所述尺寸重调景深图框具有多个画素,各所述画素具有三个次画素,所述等次画素分别对应储存所述中间景深图框的三个画素的次画素值。
20.根据权利要求15所述的装置,进一步包括:
分割处理单元,分割所述尺寸重调景深图框为两部分,且所述组合处理单元将所述尺寸重调景深图框的所述两部分分别组合于所述彩色图框的上侧及下侧,以得到所述包装图框。
21.根据权利要求20所述的装置,进一步包括:
翻转处理单元,是于将所述尺寸重调景深图框的所述两部分分别组合于所述彩色图框的上侧及下侧之前,分别翻转所述尺寸重调景深图框的所述两部分。
22.根据权利要求15所述的装置,进一步包括:
分割处理单元,分割所述尺寸重调景深图框为两部分,且所述组合处理单元是将所述尺寸重调景深图框的所述两部分分别组合于所述彩色图框的左侧及右侧,以得到所述包装图框。
23.根据权利要求22所述的装置,进一步包括:
转动处理单元,是于将所述尺寸重调景深图框的所述两部分分别组合于所述彩色图框的左侧及右侧之前,分别旋转所述尺寸重调景深图框的所述两部分。
24.根据权利要求17所述的装置,其中所述尺寸处理单元更重调原始彩色图框的尺寸而得到所述彩色图框。
25.根据权利要求24所述的装置,其中所述原始彩色图框具有预设图框尺寸,所述包装图框的尺寸与所述预设图框尺寸相同。
26.根据权利要求24所述的装置,其中所述彩色图框的尺寸沿方向缩小为所述原始彩色图框的a倍,所述中间景深图框的尺寸沿所述方向缩小为所述原始景深图框的b倍。
27.根据权利要求26所述的装置,其中a与b需满足a+b/3=1。
28.根据权利要求26所述的装置,其中a与b的值分别为四分之三。
29.一种包装彩色图框及原始景深图框以得到包装图框的系统,所述彩色图框与所述原始景深图框对应,所述包装图框可于显示屏幕中显示,所述系统包括:
存储单元,储存所述彩色图框及所述原始景深图框;以及
处理单元,重调所述原始景深图框的尺寸,以得到尺寸重调景深图框,并组合所述彩色图框及所述尺寸重调景深图框,以得到所述包装图框,
其中,所述彩色图框的中心是显示于所述显示屏幕的中央区域。
30.根据权利要求29所述的系统,其中所述彩色图框的中心点与所述显示屏幕的中心点重叠。
31.根据权利要求29所述的系统,其中所述处理单元是重调所述原始景深图框的尺寸,以得到中间景深图框,并将所述中间景深图框进行次画素重排列,以得到所述尺寸重调景深图框。
32.根据权利要求31所述的系统,其中所述尺寸重调景深图框的尺寸沿行方向为所述中间景深图框的三分之一。
33.根据权利要求31所述的系统,其中所述尺寸重调景深图框具有多个画素,各所述画素具有三个次画素,所述等次画素分别对应储存所述中间景深图框的三个画素的次画素值。
34.根据权利要求29所述的系统,其中所述处理单元进一步分割所述尺寸重调景深图框为两部分,并将所述尺寸重调景深图框的所述两部分分别组合于所述彩色图框的上侧及下侧,以得到所述包装图框。
35.根据权利要求34所述的系统,其中在将所述尺寸重调景深图框的所述两部分分别组合于所述彩色图框的上侧及下侧之前,所述处理单元进一步分别翻转所述尺寸重调景深图框的所述两部分。
36.根据权利要求29所述的系统,其中所述处理单元进一步分割所述尺寸重调景深图框为两部分,且将所述尺寸重调景深图框的所述两部分分别组合于所述彩色图框的左侧及右侧,以得到所述包装图框。
37.根据权利要求36所述的系统,其中在将所述尺寸重调景深图框的所述两部分分别组合于所述彩色图框的左侧及右侧之前,所述处理单元进一步分别旋转所述尺寸重调景深图框的所述两部分。
38.根据权利要求31所述的系统,其中所述处理单元进一步重调原始彩色图框的尺寸而得到所述彩色图框。
39.根据权利要求38所述的系统,其中所述原始彩色图框具有预设图框尺寸,所述包装图框的尺寸与所述预设图框尺寸相同。
40.根据权利要求38所述的系统,其中所述彩色图框的尺寸沿方向缩小为所述原始彩色图框的a倍,所述中间景深图框的尺寸沿所述方向缩小为所述原始景深图框的b倍。
41.根据权利要求40所述的系统,其中a与b需满足a+b/3=1。
42.根据权利要求40所述的系统,其中a与b的值分别为四分之三。
CN201410519493.XA 2013-10-02 2014-09-30 包装彩色图框及原始景深图框的方法、装置及系统 Active CN104519337B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102135714 2013-10-02
TW102135714A TWI602144B (zh) 2013-10-02 2013-10-02 包裝彩色圖框及原始景深圖框之方法、裝置及系統

Publications (2)

Publication Number Publication Date
CN104519337A true CN104519337A (zh) 2015-04-15
CN104519337B CN104519337B (zh) 2019-03-22

Family

ID=51743265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410519493.XA Active CN104519337B (zh) 2013-10-02 2014-09-30 包装彩色图框及原始景深图框的方法、装置及系统

Country Status (4)

Country Link
US (1) US9832446B2 (zh)
EP (1) EP2858360B1 (zh)
CN (1) CN104519337B (zh)
TW (1) TWI602144B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105807952A (zh) * 2016-03-07 2016-07-27 联想(北京)有限公司 一种信息处理方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI629892B (zh) 2016-05-09 2018-07-11 國立成功大學 景深包裝及解包裝之rgb格式與yuv格式的轉換與反轉換的方法及電路

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010108024A1 (en) * 2009-03-20 2010-09-23 Digimarc Coporation Improvements to 3d data representation, conveyance, and use
CN101904176A (zh) * 2007-12-20 2010-12-01 皇家飞利浦电子股份有限公司 用于立体再现的图像编码方法
WO2012014171A1 (en) * 2010-07-28 2012-02-02 Sisvel Technology S.R.L. Method for combining images relating to a three-dimensional content
US20130076739A1 (en) * 2011-09-27 2013-03-28 Realtek Semiconductor Corp. Method and apparatus for transmitting three-dimensional image

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7110459B2 (en) * 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
US7116831B2 (en) * 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
KR101235273B1 (ko) * 2005-07-07 2013-02-20 삼성전자주식회사 다수의 투명한 플렉시블 디스플레이 패널을 이용한 체적형3차원 디스플레이 시스템
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
JP4569561B2 (ja) 2006-12-01 2010-10-27 富士フイルム株式会社 画像ファイル作成装置
TWI358716B (en) * 2007-01-15 2012-02-21 Hon Hai Prec Ind Co Ltd Electronic album with function of optimizing backg
US20120269458A1 (en) * 2007-12-11 2012-10-25 Graziosi Danillo B Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers
TWI399701B (zh) * 2008-07-11 2013-06-21 Hon Hai Prec Ind Co Ltd 數位相框之照片自動分級方法
US9124870B2 (en) * 2008-08-20 2015-09-01 Samsung Electronics Co., Ltd. Three-dimensional video apparatus and method providing on screen display applied thereto
KR101619448B1 (ko) * 2008-11-18 2016-05-10 엘지전자 주식회사 영상 신호 처리 방법 및 장치
KR101324440B1 (ko) * 2009-02-11 2013-10-31 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
MX2011008609A (es) * 2009-02-17 2011-09-09 Koninklije Philips Electronics N V Combinar datos de imagen tridimensional y graficos.
US8189943B2 (en) * 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
EP3258688A2 (en) 2010-02-09 2017-12-20 Koninklijke Philips N.V. 3d video format detection
US9256974B1 (en) * 2010-05-04 2016-02-09 Stephen P Hines 3-D motion-parallax portable display software application
JP2012010085A (ja) * 2010-06-24 2012-01-12 Sony Corp 立体表示装置及び立体表示装置の制御方法
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
US9357196B2 (en) 2011-03-07 2016-05-31 Lg Electronics Inc. Method and device for transmitting/receiving digital broadcast signal
TW201237773A (en) * 2011-03-15 2012-09-16 Wistron Corp An electronic system, image adjusting method and computer program product thereof
JP5250070B2 (ja) * 2011-03-15 2013-07-31 富士フイルム株式会社 画像処理装置および画像処理方法、ならびに、画像処理システム
US8982117B2 (en) * 2011-06-22 2015-03-17 Samsung Display Co., Ltd. Display apparatus and method of displaying three-dimensional image using same
US20130050415A1 (en) * 2011-08-30 2013-02-28 Himax Technologies Limited System and Method of Handling Data Frames for Stereoscopic Display
TW201312498A (zh) * 2011-09-07 2013-03-16 Yi-Lin Chen 多人共同公共數位相片編輯系統
CA2855190C (en) * 2011-10-05 2017-02-07 Bitanimate, Inc. Resolution enhanced 3d video rendering systems and methods
CN102868899A (zh) * 2012-09-06 2013-01-09 华映光电股份有限公司 一种三维图像处理方法
TWI531213B (zh) * 2013-01-18 2016-04-21 國立成功大學 應用於裸視3d顯示之影像轉換方法與模組

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101904176A (zh) * 2007-12-20 2010-12-01 皇家飞利浦电子股份有限公司 用于立体再现的图像编码方法
WO2010108024A1 (en) * 2009-03-20 2010-09-23 Digimarc Coporation Improvements to 3d data representation, conveyance, and use
WO2012014171A1 (en) * 2010-07-28 2012-02-02 Sisvel Technology S.R.L. Method for combining images relating to a three-dimensional content
US20130076739A1 (en) * 2011-09-27 2013-03-28 Realtek Semiconductor Corp. Method and apparatus for transmitting three-dimensional image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105807952A (zh) * 2016-03-07 2016-07-27 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
TWI602144B (zh) 2017-10-11
US20150092029A1 (en) 2015-04-02
EP2858360A1 (en) 2015-04-08
US9832446B2 (en) 2017-11-28
CN104519337B (zh) 2019-03-22
EP2858360B1 (en) 2018-09-19
TW201514913A (zh) 2015-04-16

Similar Documents

Publication Publication Date Title
Schmidt et al. Multiviewpoint autostereoscopic dispays from 4D-Vision GmbH
US7558420B2 (en) Method and apparatus for generating a stereographic image
US9185432B2 (en) Method and system for encoding a 3D image signal, encoded 3D image signal, method and system for decoding a 3D image signal
CA2572085A1 (en) Method for creating artifact free three-dimensional images converted from two-dimensional images
CN108076208B (zh) 一种显示处理方法及装置、终端
US20120075291A1 (en) Display apparatus and method for processing image applied to the same
JP2009516205A (ja) オートステレオスコープ表示装置上で少なくとも1つの画像領域をモノスコープ方式で表現するための方法および機構ならびに該機構を有する情報再現装置
TWI602145B (zh) 包裝圖框之解包裝方法、裝置及系統
CN104519337A (zh) 包装彩色图框及原始景深图框的方法、装置及系统
JP5016648B2 (ja) 多層構造を持つ3次元表示装置のための画像処理方法
KR101679122B1 (ko) 컬러 프레임과 오리지널 심도 프레임을 패키징 및 언패키징하는 방법, 장치 및 시스템
CN110913198B (zh) 一种vr图像传输方法
TWI530155B (zh) 包裝多視角圖框的方法、裝置及儲存包裝圖框之非暫態儲存媒體
TW201514923A (zh) 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
TWI512678B (zh) 非暫態儲存媒體
Canessa et al. Morpholo: a hologram generator algorithm
EP3598271A1 (en) Method and device for disconnecting user's attention
US20220122216A1 (en) Generating and processing an image property pixel structure
KR20160102953A (ko) 오리지널 심도 프레임을 리사이징 및 복원하는 방법, 장치 및 시스템
Sawahata et al. Depth-compressed expression for providing natural, visual experiences with integral 3D displays
TWI547141B (zh) 包裝圖框的解包裝方法、裝置及儲存解包裝指令之非暫態儲存媒體
CN106231281A (zh) 一种显示转换方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170614

Address after: Taiwan District of Tainan City, China China Street No. 176 3 floor

Applicant after: Yang Jiahui

Address before: Chinese Taiwan New Taipei City Central Road Tucheng four paragraph 62 No. 2 12 floor

Applicant before: UNIV NAT CHENG KUNG

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant