CN102348124B - 显示三维图像的方法和装置 - Google Patents

显示三维图像的方法和装置 Download PDF

Info

Publication number
CN102348124B
CN102348124B CN201110278772.8A CN201110278772A CN102348124B CN 102348124 B CN102348124 B CN 102348124B CN 201110278772 A CN201110278772 A CN 201110278772A CN 102348124 B CN102348124 B CN 102348124B
Authority
CN
China
Prior art keywords
view
image
pixel
sighting distance
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110278772.8A
Other languages
English (en)
Other versions
CN102348124A (zh
Inventor
李同夏
朴泰守
郑东满
李庆一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN102348124A publication Critical patent/CN102348124A/zh
Application granted granted Critical
Publication of CN102348124B publication Critical patent/CN102348124B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N2013/40Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Abstract

本发明提供了显示三维图像的方法和装置。三维(3D)图像显示设备可以显示感知到的3D图像。位置跟踪单元可以确定从屏幕到观看者的视距。图像处理单元可以基于被确定的视距来计算3D图像像素周期,可以基于计算出的3D图像像素周期来确定显示3D图像的像素和子像素中的至少一项的颜色,并可以基于确定的颜色来控制对3D图像进行显示。

Description

显示三维图像的方法和装置
技术领域
实施方式涉及显示三维图像。
背景技术
已经对显示三维(3D)图像的显示技术进行了研究和使用。能够显示3D图像的电子设备使用3D图像显示技术来吸引公众的注意。
3D图像显示技术可以利用人类双眼之间的时间差原理,时间差原理为观看者提供了立体感。3D图像显示技术可被分类为快门眼镜法、非眼镜法、和/或完全3D(complete-3D)法。快门眼镜法有着用户不得不配带辅助的偏光眼镜的缺点。非眼镜法有着用户不得不在特定位置观看3D图像的缺点。快门眼镜法和非眼镜法有着上述缺点。
发明内容
实施方式可针对基本上避免了由于不利的结构的缺点和限制而导致的一个或多个问题的立体图像显示系统、立体显示设备和/或用于显示立体图像的方法。
实施方式可提供能够延长视距的立体图像显示系统、立体图像显示设备和/或用于显示立体图像的方法。
实施方式可提供能够基于视距显示合适的立体图像的立体图像显示系统、立体图像显示设备和/或用于显示立体图像的方法。
可提供一种用于显示立体图像的方法。该方法可以包括以下步骤:识别(或确定)视距的步骤;计算立体图像像素周期的步骤,所述计算立体图像像素周期的步骤基于识别出的视距来计算立体图像像素周期;确定颜色的步骤,所述确定颜色的步骤基于计算出的立体图像像素周期来确定显示立体图像的像素和子像素中的至少一项的颜色;以及显示立体图像的步骤,所述显示立体图像的步骤基于被确定的颜色来显示立体图像。可以通过拍摄到的图像帧来识别视距。
确定颜色的步骤可以包括以下步骤:生成视图掩模的步骤,所述生成视图掩模的步骤通过使用计算出的立体像素周期来生成立体图像的视图掩模;以及通过使用生成的视图掩模来确定颜色的步骤。
生成视图掩模的步骤可以包括以下步骤:计算视图号码的步骤,所述计算视图号码的步骤基于计算出的立体图像像素周期来计算像素和子像素中的至少一项的视图号码;以及基于计算出的视图号码生成视图掩模的步骤。
可以基于计算出的立体图像像素周期、初始立体图像像素周期和/或初始视图号码来计算所述视图号码。
所述视图号码的范围可以在预先确定的视图数量的范围内。
该方法还可以包括以下步骤:拍摄观看者的图像的步骤;通过使用在所拍摄到的图像中所包括的图像帧来检测(或确定)所述观看者的位置的步骤;以及基于检测出的所述观看者的位置来计算立体图像变化的量的步骤。显示立体图像的步骤可基于立体图像变化的量来对将要显示已确定的颜色的位置进行调整,以显示立体图像。
立体图像可以是多视角图像。
该方法还可以包括以下步骤:接收RF广播信号(包括立体图像)的步骤;对接收到的RF广播信号进行解调的步骤;将已解调的RF广播信号解复用为立体图像信号、音频信号和数据信号的步骤;以及对已解复用的立体图像信号进行解码的步骤。
该方法还可以包括以下步骤:接收包括立体图像的网际协议(IP)包的步骤;以及对该立体图像进行解码的步骤。
立体图像显示设备可以包括:位置跟踪单元,用于识别(或确定)视距;以及图像处理单元,基于识别出的视距来计算立体图像像素周期,基于计算出的立体图像像素周期来确定显示立体图像的像素和子像素中的至少一项的颜色,并基于被确定的颜色来控制对所述立体图像进行显示。位置跟踪单元可以通过使用拍摄到的图像帧来识别(或确定)所述视距。
图像处理单元可以包括:像素周期计算器,基于识别出的视距来计算(或确定)立体像素周期;掩模生成器,基于计算出的立体像素周期来生成立体图像的视图掩模;以及复用器,通过使用生成的视图掩模来确定所述颜色。
掩模生成器可以通过使用计算出的立体图像像素周期来计算像素和子像素中的至少一项的视图号码,并且掩模生成器基于计算出的视图号码来生成视图掩模。
可以基于计算出的立体图像像素周期、初始立体图像像素周期和/或初始视图号码来计算所述视图号码。
所述视图号码的范围可以在预先确定的视图数量的范围内。
位置跟踪单元可以包括:位置检测器,通过使用在所拍摄到的观看者图像中所包括的图像帧来检测(或确定)所述观看者的位置;以及变化量计算器,基于检测出的所述观看者的位置来计算立体图像变化的量。
图像处理单元可以基于立体图像变化的量来对将要显示已确定颜色的位置进行调整。
立体图像可以是多视角图像。
立体图像显示设备还可以包括:调谐器,用于接收RF广播信号(包括立体图像);解调器,对接收到的RF广播信号进行解调;解复用器,将已解调的RF广播信号解复用为立体图像信号、音频信号和数据信号;以及解码器,对已解复用的立体图像信号进行解码。
立体图像显示设备还可以包括:网络接口,用于接收包括立体图像的IP(网际协议)包;以及解码器,被配置为解码所述立体图像。
立体图像显示系统可以包括:照相机,用于拍摄观看者的图像;位置跟踪单元,用于通过使用在所拍摄到的图像中所包括的图像帧来识别(或确定)视距;图像处理单元,用于基于识别出的视距来计算立体图像像素周期,基于计算出的立体图像像素周期来确定显示立体图像的像素和子像素中的至少一项的颜色,并且基于被确定的颜色来控制对所述立体图像进行显示;以及显示设备,用于显示立体图像。
在立体图像显示设备和用于显示立体图像的方法中,识别(或确定)显示面板和观看者之间的距离,并且基于识别出的视距来调整像素周期。因此,观看者可以不受距离限制地观看立体图像。
附图说明
参照下面的附图来详细描述结构和实施方式,在下面的附图中相同的标号指代相似的元件,其中:
图1是根据一示例性实施方式的立体显示系统的框图;
图2是根据一示例性实施方式说明用于显示立体图像的方法的流程图;
图3A至图3C示出了由立体显示系统拍摄到的观众的图像帧;
图4A至图4C是示出了根据视距而需要的立体图像像素周期的示图;
图5A至图5C是示出了基于视距而变化的像素周期的示图;
图6是根据一示例性实施方式的位置跟踪单元的框图;
图7是根据一示例性实施方式的立体图像处理设备的框图;和
图8是函数W(x)的图。
具体实施方式
详细参见具体实施方式,在附图中示出具体实施方式的示例。在所有附图中尽可能地使用相同的标号来指代相同或相似的部件。
尽管可从公知公用的术语中选择术语,但说明书中提到的一部分术语已经由申请人自行斟酌选择,在此可在说明书的相关部分说明术语的含义。另外,不应通过所使用的实际术语来简单地理解实施方式,而是应该通过实施方式中的每个术语的含义来理解实施方式。
如后面所使用的,三维(3D)图像可被认为是被感知到的或明显的3D图像和/或立体图像。
图1是根据一示例性实施方式的立体显示系统的框图。还可以提供其它实施方式和结构。
图1示出了立体图像显示系统100(或图像显示系统),立体图像显示系统100包括照相机110、立体图像处理系统120(或图像处理系统)、和显示设备130。图像显示系统100可以是个人计算机系统,诸如台式计算机、笔记本计算机、平板计算机和/或便携式电脑。图像显示系统100可以是移动终端(诸如蜂窝电话、智能电话、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航和/或类似产品)或家用电器(诸如数字电视等)。
照相机110可以拍摄观看者(或用户)的图像。照相机110可以具有多种赫兹(Hz),并可基于预设的或给定的Hz将具有在此拍摄到的观看者的图像帧输出到立体图像处理系统120(或图像处理系统)。当照相机110被预设为具有‘25Hz’时,照相机110可以每秒拍摄25个图像帧并且照相机110可以将拍摄到的图像帧输出到图像处理系统120。
图像处理系统120可以基于从照相机110输出的图像帧来识别(或确定)视距,图像处理系统120可以基于识别出的视距(或确定的视距)来控制对立体图像进行显示。图像处理系统120可以包括位置跟踪单元121和立体图像处理单元122。图像处理系统120可以被实现为单个产品,例如机顶盒。
位置跟踪单元121可以从照相机110接收被拍摄到的观看者的图像帧。位置跟踪单元121可以基于接收到的图像帧来检测观看者的位置。之后,位置跟踪单元121可以基于检测到的观看者的位置来计算立体图像变化的量。位置跟踪单元121可以通过对检测到的观看者的位置与基于之前的图像帧或参考图像帧检测到的观看者的位置进行比较来识别视距。
位置跟踪单元121可以是单个模块,或者被调制的位置跟踪单元可以被设置在立体图像处理单元122中以作为单个产品。图像处理系统120可以实现程序,所述程序通过控制器执行位置跟踪单元121的功能,并且/或者执行位置跟踪单元121的功能。
图像处理单元122可以基于由位置跟踪单元121识别出的(或确定的)视距来计算立体像素周期,并且立体图像处理单元122可以确定显示立体图像的像素和子像素中的至少一项的颜色。立体图像处理单元122可以基于由位置跟踪单元121计算出的立体图像变化的量来调整在将要显示被确定的颜色的位置。立体图像处理单元122可以是广播接收器,广播接收器对接收到的立体图像信号或存储的立体图像文件进行编码。广播接收器可以接收通过地面、卫星和线缆传送的广播内容和/或通过互联网传送的广播内容。
广播接收器可以为观看者提供互联网服务。互联网服务可以是通过互联网提供的服务,例如,诸如内容按需(COD)服务、YouTube服务之类的信息服务,用于天气、新闻、社区信息和搜索的信息服务,用于游戏和/或卡拉OK的娱乐服务,和用于电视邮件和电视短消息服务(SMS)的通信服务。数字广播接收器可以包括网络电视、网页电视和/或宽带电视。
广播接收器可以是能够从服务器接收应用并且能够安装和实现所接收的应用的智能电视。
由立体图像处理单元122接收到的广播服务可包括互联网服务和通过地面、卫星和/或线缆提供的广播服务。广播服务不仅可以提供二维图像还可以提供立体图像。立体图像可以是多视角(multiview)图像。多视角图像可以是由多个相机对单个对象拍摄而获得的多个图像,并且从各个照相机获得的图像可被定义为视图图像。
显示设备130可以基于图像处理系统120的控制来显示立体图像。显示设备130可以是两视角(或更多视角)屏障型非眼镜3D显示器或透镜型非眼镜3D显示器。显示设备130可以是独立的产品或可以和图像处理系统120或立体图像处理单元122一起整体形成。可选的,显示设备130可以是具有子像素单元或像素单元视点格式(view-point-format)的非眼镜3D显示器。
图2是说明根据一示例性实施方式的一种用于显示立体图像的方法的流程图。还可提供其它操作、操作次序和实施方式。
如图2所示,照相机110拍摄观看者的图像(S200)。例如,照相机110可以基于预设的或给定的Hz拍摄观看者的图像,并且照相机110可以将所拍摄到的图像实时地连续输出到图像处理系统120。照相机110可以是深度相机。深度相机可获得(或获取)激光或红外光照射到对象后反射的光,并且深度相机可以获得(或获取)对象的深度图像。深度可以是从深度相机到对象(或观看者)的距离。
图像处理系统120可以基于在由照相机110拍摄到的图像中所包括的图像帧来检测观看者的位置(S210)。图像处理系统120可以基于检测到的观看者的位置来识别(或确定)观看者的视距。图像处理系统120可以基于观看者与图像帧的比例和二维平面上观看者的位置来识别(或确定)视距。图像处理系统120可以将检测到的观看者的位置与从之前的图像帧或参考图像帧中检测到的观看者的位置进行比较,从而识别(或确定)视距。图像处理系统120可以接收来自照相机110的深度值或者可以从由照相机110拍像的深度图像获取深度值,从而图像处理系统120可以基于深度值来识别(或确定)视距。
图像处理系统120可以基于检测到的观看者的位置来计算立体图像变化的量(S220)。立体图像变化的量可以是移动的像素或移动的子像素的量。
图像处理系统120可以基于识别出的视距来计算立体图像像素周期(S230)。
图像处理系统120可以基于计算出的立体像素周期来生成所述立体图像的视图掩模(S240)。
图像处理系统120可以基于在立体图像和生成的视图掩模中所包括的每个视图图像的像素或子像素的颜色来确定像素的最终颜色或子像素的最终颜色(S250)。
图像处理系统120可以基于被确定的最终颜色来控制显示设备130显示立体图像(S260)。图像处理系统120可以基于计算出的立体图像的量来调整可被显示的已确定的最终颜色的位置。换言之,显示设备130可以基于计算出的立体图像变化量使像素位置从原始位置移动,在所述像素位置可显示形成了立体图像的像素颜色。显示设备130可以基于计算出的立体图像变化量使子像素位置从原始位置移动,在所述子像素位置可显示形成了立体图像的子像素颜色。
图3A至图3C示出了由立体显示系统所拍摄到的观看者的图像帧。
参照3A至图3C,图像处理系统120可以通过使用图像帧310来检测观看者的位置311。图像处理系统120可以从图像帧310中识别(或确定)脸部区域,从而图像处理系统120可以检测(或确定)观看者的位置311。图像处理系统120可以基于使用脸部对称的算法、使用头发颜色或脸部颜色的算法、和/或使用脸部线条的算法来识别(或确定)脸部区域。图像处理系统120可以从图像帧310确定(或计算)皮肤颜色信息,并且图像处理系统120可以识别(或确定)脸部区域。
图像处理系统120可以基于检测到的观看者的位置311来识别(或确定)视距。例如,图像处理系统120可以基于图像帧中的观看者的图像比例和图像位置来计算视距。可选的,图像处理系统120可以从深度图像获取(或确定)脸部区域的深度值,并且图像处理系统120可以基于获取的深度值来计算视距。
图像处理系统120可以将参考图像帧与当前图像帧进行比较,以计算视距。例如,图像处理系统120可以对来自参考图像帧的观看者的比例与来自当前图像帧的观看者的比例进行比较,使得图像处理系统120可以基于所述图像比例之间的差来计算视距。也就是说,当图像比例相同时,参考图像帧的视距可被识别为当前图像帧的视距。
可选的,图像处理系统120可以对参考图像帧的观看者图像尺寸和当前图像帧的观看者图像尺寸进行比较,以计算视距。当在参考图像帧是图像帧310的情况下当前图像帧是图像帧310时,图像311的尺寸与参考图像帧的图像尺寸相同。因此,图像处理系统120可以将参考图像帧的视距识别(或确定)为当前视距。在当前图像帧是图像帧320时,图像的尺寸小于参考图像帧的图像尺寸。因此,图像处理系统120可以识别(或确定)当前视距比参考图像帧的视距长,并且图像处理系统120可以基于图像的尺寸比例来从参考图像帧的视距计算当前视距。在当前图像帧是图像帧330时,图像331的尺寸比参考图像帧的图像尺寸大。因此,图像处理系统120可以识别(或确定)当前视距比参考图像帧的视距短,并且图像处理系统120可以基于图像的尺寸比例来从参考图像帧的视距计算当前视距。
可选的,图像处理系统120可以将当前图像帧与之前的图像帧进行比较,以计算视距。比较方法可以使用与针对参考图像帧的比较方法相同的比较方法。
图4A至图4C是示出了根据视距所需的立体图像像素周期的图。
参考图4A至图4C,图像处理系统120可以基于下式计算立体图像像素周期“Q”:
[式1]
Q=(D+d)*R/D
在式1中,‘D’是视距,‘d’是显示面板410和立体图像滤波器420之间的距离,‘R’是立体图像滤波器420的图案周期。
如图4A所示,当视距‘D’是参考视距‘Dopt’时,立体像素周期‘Q’即为参考立体图像像素周期‘Qopt’。参考立体图像像素周期‘Qopt’可以是初始立体图像像素周期。如图4B所示,当识别出(或确定)视距是比参考视距‘Dopt’长的视距‘Dfar’时,立体图像像素周期‘Q’是比参考立体图像像素周期‘Qopt’短的立体图像像素周期‘Qfar’。如图4C所示,当识别出(或确定)视距是比参考视距‘Dopt’短的视距‘Dnear’时,立体图像像素周期是比参考立体图像像素周期‘Qopt’长的立体图像像素周期‘Qnear’。
图5A至图5C是示出了基于视距而改变的立体图像像素周期。
参考图5A至图5C,基于下面的‘式2’,图像处理系统120可以根据立体图像像素周期‘Q’来确定包括每个子像素的十进制小数点的视图号码‘Vi’。
[式2]
V i = Mod ( V i 0 * Q 0 / Q , N )
在式2中,‘i’是子像素水平号码(0,1,2...),‘Vi 0’是在最佳视距处的子像素视图号码,‘Q0’是在最佳视距处的立体图像像素周期,‘N’是立体图像视图号码。最佳视距可以是图5A至图5C的视距‘Dopt’。
图像处理系统120可以基于下面的‘式3’来计算与子像素视图号码相对应的每一视点处的掩模‘α’:
[式3]
α(i,k)=W(k-Vi)
在式3中,‘k’是视图号码,并且在图8中示出了函数‘W(k-Vi)’的图。
图像处理系统120可以从下面的‘式4’基于计算出的视图掩模‘α’来计算子像素的最终颜色‘MCi’:
[式4]
MC i = Σ k = 0 N - 1 α ( i , k ) * C ( i , k )
在式4中,‘C(i,k)’是‘i’子像素在‘k’视角的颜色。
如图5A所示,当识别出(或确定)的视距‘D’是最佳视距‘Dopt’时,图像处理系统120可以确定子像素的最终颜色MC0,MC1,…,MCN,MCN+1,以使立体图像像素周期‘Q’能够维持为在最佳视距情况下的像素周期‘Q0’。
如图5B所示,当识别出(或确定)的视距‘Dfar’比最佳视距‘Dopt’长时,图像处理系统120可以确定子像素的最终颜色MC0,MC1,…,MCN,MCN+1,以使立体图像像素周期‘Q’为比在最佳视距‘Dopt’情况下的像素周期‘Q0’短的‘Qfar’。可以通过确定的像素周期的最终颜色MC0,MC1,…,MCN,MCN+1来将立体图像像素周期缩短为比像素周期‘Q0’短。
如图5C所示,当识别出(或确定)的视距‘D’是比最佳视距‘Dopt’短的‘Dnear’时,图像处理系统120可以确定子像素的最终颜色MC0,MC1,…,MCN,MCN+1,以使立体图像像素周期‘Q’为比在最佳视距‘Dopt’情况下的像素周期‘Q0’长的‘Qnear’。可以通过确定的像素周期的最终颜色MC0,MC1,…,MCN,MCN+1来将立体图像像素周期延长为比像素周期‘Q0’长。
图6是根据一示例性实施方式的位置跟踪单元的框图。还可以提供其它实施方式和结构。
如图6所示,位置跟踪单元121可以包括位置检测器610和变化量计算器620。位置检测器610可以接收被拍摄到的观看者的图像帧,并且位置检测器610可以基于接收到的图像帧来检测(或确定)观看者的位置。位置检测器610可以识别(或确定)脸部区域以检测观看者的位置。位置检测器610可以基于使用脸部对称的算法、使用头发颜色或脸部颜色的算法、和/或使用脸部线条的算法来识别(或确定)脸部区域。位置检测器610可以从图像帧310计算皮肤颜色信息,从而位置检测器610可以识别(或确定)脸部区域。
位置检测器610可以基于检测到的观看者的位置来识别(或确定)视距。例如,位置检测器610可以基于图像帧中的观看者的图像比例和图像位置来计算视距。可选的,位置检测器610可以从深度图像获取(或获得)脸部区域的深度值,并且位置检测器610可以基于获取的深度值来计算视距。
位置检测器610可以通过对参考图像帧与当前图像帧进行比较来计算视距。例如,位置检测器610可以对来自参考图像帧的观看者的比例与来自当前图像帧的观看者的比例进行比较,从而位置检测器610可以基于图像比例之间的差来计算视距。也就是说,当图像比例相同时,参考图像帧的视距可以被识别(或确定)为当前图像帧的视距。可选的,位置检测器610可以对参考图像帧的观看者图像尺寸与当前图像帧的观看者图像尺寸进行比较以计算视距。观看者图像可以是图像帧中的脸部区域或皮肤区域。
位置检测器610可以对之前的图像帧与当前图像帧进行比较以计算视距。比较方法可以使用与针对参考图像帧的比较方法相同的比较方法。
变化量计算器620可以基于检测到的观看者位置(或确定的观看者位置)来计算立体图像变化量,并且变化量计算器620可以输出计算出的立体图像变化量。当观看者平行于显示面板移动时,变化量计算器620可以基于下面的‘式5’来计算显示面板上的眼睛位置的移动量‘h’:
[式5]
h=H*d/D
在式5中,‘H’是观看者的头部移动量,‘D’是作为从立体图像滤波器到观看者眼睛的距离的视距,并且‘d’是显示面板和立体图像滤波器之间的距离。
当观看者平行于显示面板移动时,变化量计算器620可以基于下面的‘式6’来计算像素移动量‘P’,像素移动量‘P’是立体图像变化量的一个示例。
[式6]
P=Mod(h,Q)
在式6中,‘Q’是立体图像像素周期。
图7是根据一示例性实施方式的立体图像处理设备的框图。还可以提供其它实施方式和结构。
图7是示出了立体图像处理单元122可以包括调谐器705,解调器710,解复用器715,网络接口720,外部信号输入单元725,视频解码器730,音频解码器735,控制器740,存储器745,缓冲器750,图形处理器760和图像驱动器770。还可以提供其他组件。
调谐器705可对应于用户选择的频道来选择通过天线接收的射频(RF)广播信号之一,并且调谐器705可将选择的RF广播信号转换为中频信号、或者基带视频或音频信号。调谐器705可以根据先进电视制式委员会(ATSC)接收具有单载波的RF广播,或根据数字视频广播(DVB)接收具有多载波的RF广播信号。
根据一实施方式,立体图像处理单元122可以包括至少两个调谐器。当包括至少两个调谐器时,第二调谐器可以选择与用户所选择的频道相对应的通过天线(例如第一调谐器)接收到的RF广播信号之一,并且第二调谐器可以将所选择的RF广播信号转换为中频信号或基带视频或音频信号。
第二调谐器可以顺序地选择接收到的RF信号的RF广播信号,所述RF广播信号对应于全部的通过频道存储功能存储的广播频道,并且第二调谐器可以将所选择的RF广播信号转换为中频信号或基带视频/音频信号。第二调谐器可以周期性执行对全部广播频道的转换。因此,立体图像处理单元122可以提供由第一调谐器转换的广播信号的图像,并可以同时提供由第二调谐器转换的缩略类型的图像。在这个例子中,第一调谐器可以将用户选择的主RF广播信号转换为中频信号或基带视频/音频信号,并且第二调谐器可以顺序地和周期性地选择其它RF广播信号(除主RF广播信号外)并将所选择的其它RF广播信号转换为中频信号或基带视频/音频信号。
解调器710可以接收由调谐器705转换的数字IF信号(DIF),并且解调器710可以执行DIF的解调。例如,当从调谐器705输出的数字IF信号是ATSC制式的信号时,解调器710可以执行8-VBS(8-残留边带)解调。可选的,当从调谐器705输出的数字IF信号是DVB制式的信号时,解调器710可以执行编码正交频分调制(COFDMA)。
解调器710可以执行频道解码。解调器710可以包括格子解码器、解交织器和里德索罗门(reed Solomon)解码器来执行格子解码、解交织和里德索罗门解码。
在执行了解调和频道解码后,解调器710可以输出流信号(TS)。流信号可以是视频、音频和数据信号的复用信号。例如,流信号可以是由MPEG-2格式视频信号、杜比AC-3格式音频信号复用而成的MPEG-2传输流(Ts)。更具体地讲,MPEG-2Ts可以包括4字节的头和184字节的有效载荷。
解复用器715可以从解调器710、网络接口720和外部信号输入单元725接收流信号。解复用器715可以将接收到的流信号解复用为视频信号、音频信号和/或数据信号,并可以将解复用后的信号分别输出到视频解码器730、音频解码器735和/或控制器740。
视频解码器730可以接收来自解复用器715的视频信号,并且视频解码器730可以重构接收到的视频信号以将重构的视频信号存储在缓冲器750中。视频信号可包括立体图像信号。
音频解码器735可以接收并重构来自解复用器715的音频信号,并且音频解码器735可以将重构的音频信号输出到显示设备130。
网络接口720可以接收来自网络的包,并可向网络发送接收到的包。也就是说,网络接口720可以通过网络接收IP包,所述IP包被配置为传送来自服务提供服务器的广播数据。广播数据可以包括内容、被配置为通知内容更新的更新消息、元数据、服务信息、软件代码和A/V数据。服务信息可以包括与实时广播服务有关的服务信息和与互联网服务有关的服务信息。互联网服务可以是经由互联网包括的服务,例如,内容按需(COD)服务,YouTube服务,用于天气、新闻、社区信息和搜索的信息服务,用于游戏和/或卡拉OK的娱乐服务,和/或用于电视邮件和电视短消息服务(SMS)的通信服务。因此,数字广播接收器可以包括网络电视、网页电视和/或宽带电视。广播服务可以包括互联网服务、以及经由地面、卫星和线缆包括的广播服务。
当IP包包括流信号时,网络接口720可以从IP包中提取流信号,并且网络接口720可将提取出的流信号输出到解复用器715。
外部信号输入单元725可以提供可将外部设备与立体图像处理单元122与连接起来的接口。外部设备可以是数字多功能盘(DVD)、蓝光、游戏单元、摄影机、计算机(笔记本)和/或各种视频或音频输出单元。立体图像处理单元122可以控制对从外部信号接收器135接收到的视频信号和音频信号进行显示,并可以存储或使用数据信号。
控制器740可以实现命令并执行与立体图像处理单元122相关的操作。例如,使用在存储器745中搜索到的命令,控制器740可以控制在立体图像处理单元122的组件之间进行的数据的输入和输出、以及接收和处理。控制器740可以体现在单个芯片、多个芯片或多个电子部件上。例如,对于控制器740,各种包括专用或嵌入式处理器、单用途处理器、控制器、ASIC等的架构都是可用的。
控制器740可以与操作系统一起实现计算机代码,控制器740可以执行数据的生成和使用。操作系统可以是现有技术中公知的,并且可以省略对操作系统的全部描述。例如,操作系统可以是Window系列的OS、Uni、Linux、Palm OS、DOS、Android和Macintosh等。操作系统、另一计算机代码和数据可以存在于与控制器740相连的存储器中。
存储器745可以提供对由透明显示设备100使用的程序代码和数据的存储。例如,存储器745可以是ROM(只读存储器),RAM(随机存取存储器)和/或硬盘驱动。程序代码和数据可以存在于可分离的存储介质中或可被装载或安装在立体图像处理单元122上。可分离的存储器介质可包括CD-ROM、PC-CARD、存储卡、软盘、磁盘和/或网络组件。
图形处理器760可以控制显示设备130来显示存储在缓冲器750中的图像数据。图形处理器760可以包括像素周期计算器761、掩模生成器762和/或复用器763。
像素周期计算器761可以从‘式1’基于从位置跟踪单元121接收到的视距来计算或确定立体图像像素周期‘Q’。
掩模生成器762可以基于由像素周期计算器761计算出的立体图像像素周期来生成立体图像的视图掩模。掩模生成器762可以从‘式2’基于立体图像像素周期‘Q’来确定包括每个子像素的十进制小数点的视图号码‘Vi’。之后,掩模生成器762可以从‘式3’为每个子像素生成对应于视图号码的视图掩模。
复用器763可以基于由掩模生成器762生成的视图掩模来确定像素的最终颜色。复用器763可以基于‘式4’来确定最终颜色‘MCi’。
图像驱动器770可以基于由位置跟踪单元121计算出的立体图像变化量来确定可显示最终颜色MCi的子像素,并且图像驱动器770可以将控制信号输出到显示设备130以使得被确定的子像素能够显示最终MCi。最终颜色MCi可以在位于预先确定位置的子像素上显示,被预先确定的位置是基于立体图像变化的量移动的‘i’子像素的位置。
实施方式可以被实现为计算机可读的记录介质中的计算机可读代码。记录介质可以包括全部种类的能够存储计算机设备可读的数据的记录设备。例如,计算机可读的记录介质可以是ROM、RAM、CD-ROM、磁带、软盘,和/或光学数据存储设备,并且存储介质可以被实现为载波型的存储介质(例如,通过互联网发送)。计算机可读的记录介质可以分布于通过网络连接的计算机单元中,并且分布式计算机可读的代码可以被存储在记录介质中来被实现。
该说明书中的所提及的任何“一种实施方式”、“实施方式”、“示例性实施方式”等的意思是与所述实施方式相关联地描述的特征、结构或特性被包括在本发明的至少一种实施方式中。在说明书各个位置出现的这些措词未必指的是同一实施方式。此外,当与任一实施方式相关联地描述了特定的特征、结构或特性时,可以认为在本领域技术人员的能力范围内可将这样的特征、结构或特性与其它实施方式一起使用。
虽然已经参考本发明的多个说明性实施方式描述了实施方式,但是应该理解可由本领域技术人员进行的多种其它修改和实施方式也落入本公开的原理的精神和范围内。更具体地讲,各种变型和修改在本公开、附图和所附权利要求的范围内的对象组合结构的组件部分和/或结构中都是可用的。除了在组件部分和/或结构中的变型和修改,替代的使用对本领域技术人员来说也是显而易见的。

Claims (14)

1.一种用于显于感知到的三维图像的方法,该方法包括以下步骤:
确定视距的步骤,所述确定视距的步骤确定从屏幕到观看者的视距;
计算图像像素周期的步骤,所述计算图像像素周期的步骤基于所确定的视距来计算图像像素周期;
生成视图掩模的步骤,所述生成视图掩模的步骤使用计算出的像素周期来生成所述感知到的三维图像的视图掩模;
确定颜色的步骤,所述确定颜色的步骤基于生成的视图掩模来确定用于显示感知到的三维图像的像素和子像素中的至少一项的颜色;以及
显示感知到的三维图像的步骤,所述显示感知到的三维图像的步骤基于所确定的颜色来显示感知到的三维图像,其中
当确定的视距大于参考视距时,所述感知到的三维图像的所述像素周期被计算成小于与所述参考视距相对应的参考像素周期,以及
当确定的视距小于所述参考视距时,所述感知到的三维图像的所述像素周期被计算成大于与所述参考视距相对应的参考像素周期。
2.如权利要求1所述的方法,其中,所述确定视距的步骤包括:通过使用拍摄到的图像帧来确定所述视距的步骤。
3.如权利要求2所述的方法,其中,所述确定视图掩模的步骤包括:
计算视图号码的步骤,所述计算视图号码的步骤基于计算出的图像像素周期来计算像素和子像素中的至少一项的视图号码;以及
基于计算出的视图号码来确定所述视图掩模的步骤。
4.如权利要求3所述的方法,其中,所述计算视图号码的步骤包括:基于计算出的图像像素周期、初始图像像素周期和初始视图号码来计算所述视图号码的步骤。
5.如权利要求3所述的方法,其中,所述视图号码的范围在预先确定的视图数量的范围内。
6.如权利要求1所述的方法,该方法还包括:
拍摄观看者的图像的步骤;
通过使用所拍摄到的图像的图像帧来确定所述观看者的位置的步骤;以及
基于所确定的所述观看者的位置来计算图像变化的量的步骤,
其中,所述显示感知到的三维图像的步骤包括:基于计算出的所述图像变化的量来对将要显示已确定的颜色的位置进行调整的步骤。
7.如权利要求1所述的方法,其中,所述图像是多视角图像。
8.如权利要求1所述的方法,该方法还包括:
接收包括所述三维图像的射频广播信号的步骤;
对接收到的射频广播信号进行解调的步骤;
将已解调的射频广播信号解复用为三维图像信号、音频信号和数据信号的步骤;以及
对已解复用的图像信号进行解码的步骤。
9.如权利要求1所述的方法,该方法还包括:
接收包括所述三维图像的网际协议包的步骤;以及
对所述三维图像进行解码的步骤。
10.一种图像显示设备,该图像显示设备包括:
位置跟踪单元,其确定从屏幕到观看者的视距;以及
图像处理单元,其基于所确定的视距来计算三维图像像素周期,使用计算出的像素周期来生成感知到的三维图像的视图掩模,基于生成的视图掩模来确定用于显示所述感知到的三维图像的像素和子像素中的至少一项的颜色,并基于所确定的颜色来控制对所述感知到的三维图像进行显示,其中
当确定的视距大于参考视距时,所述图像的所述像素周期被计算成小于与所述参考视距相对应的参考像素周期,以及
当确定的视距小于所述参考视距时,所述图像的所述像素周期被计算成大于与所述参考视距相对应的参考像素周期。
11.如权利要求10所述的图像显示设备,其中,所述图像处理单元包括:
像素周期计算器,其基于所确定的视距来计算所述三维图像像素周期;
掩模生成器,其基于计算出的三维图像像素周期来确定所述感知到的三维图像的所述视图掩模;以及
复用器,其基于所生成的视图掩模来确定所述颜色。
12.如权利要求11所述的图像显示设备,其中,所述掩模生成器基于计算出的三维图像像素周期来计算像素和子像素中的至少一项的视图号码,并且所述掩模生成器基于计算出的视图号码来确定所述视图掩模。
13.如权利要求12所述的图像显示设备,其中,基于计算出的三维图像像素周期、初始三维图像像素周期和初始视图号码来计算所述视图号码。
14.如权利要求10所述的图像显示设备,其中,所述位置跟踪单元包括:
位置检测器,其基于在拍摄到的观看者的图像中所包括的图像帧来确定所述观看者的位置;以及
变化量计算器,其基于所确定的所述观看者的位置来计算三维图像变化的量。
CN201110278772.8A 2010-07-29 2011-07-28 显示三维图像的方法和装置 Expired - Fee Related CN102348124B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100073473A KR101685981B1 (ko) 2010-07-29 2010-07-29 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
KR10-2010-00073473 2010-07-29

Publications (2)

Publication Number Publication Date
CN102348124A CN102348124A (zh) 2012-02-08
CN102348124B true CN102348124B (zh) 2014-05-21

Family

ID=44991053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110278772.8A Expired - Fee Related CN102348124B (zh) 2010-07-29 2011-07-28 显示三维图像的方法和装置

Country Status (4)

Country Link
US (1) US8942427B2 (zh)
EP (1) EP2413610B1 (zh)
KR (1) KR101685981B1 (zh)
CN (1) CN102348124B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI530154B (zh) * 2011-03-17 2016-04-11 群邁通訊股份有限公司 3d可視視角自動調整系統及方法
KR101911250B1 (ko) 2012-03-19 2018-10-24 엘지전자 주식회사 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
US9367914B2 (en) 2012-05-16 2016-06-14 The Johns Hopkins University Imaging system and method for use of same to determine metric scale of imaged bodily anatomy
CN102802000A (zh) * 2012-08-09 2012-11-28 冠捷显示科技(厦门)有限公司 一种追踪式多视角立体显示器影像质量提升方法
US9883171B2 (en) 2012-08-10 2018-01-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Autostereoscopic screen and method for the simultaneous reproduction of more than two different pictures
US20140313580A1 (en) * 2013-04-17 2014-10-23 Firsthand Technology Inc. Immersive display apparatus
US20150052008A1 (en) * 2013-08-16 2015-02-19 iWeave International Mobile Application For Hair Extensions
US10652525B2 (en) 2013-10-31 2020-05-12 3Di Llc Quad view display system
US9986228B2 (en) 2016-03-24 2018-05-29 3Di Llc Trackable glasses system that provides multiple views of a shared display
US11343487B2 (en) 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
US9883173B2 (en) 2013-12-25 2018-01-30 3Di Llc Stereoscopic display
WO2016007976A1 (de) 2014-07-15 2016-01-21 Novomatic Ag Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5936774A (en) * 1995-08-29 1999-08-10 Street; Graham S. B. Autostereoscopic display

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5349379A (en) * 1992-09-09 1994-09-20 Dimension Technologies Inc. Autostereoscopic display illumination system allowing viewing zones to follow the observer's head
US5712732A (en) * 1993-03-03 1998-01-27 Street; Graham Stewart Brandon Autostereoscopic image display adjustable for observer location and distance
JP2718401B2 (ja) * 1995-08-25 1998-02-25 日本電気株式会社 線対称図形整形装置及び任意の数の対称軸の全てについて線対称な図形を生成する方法
US7190518B1 (en) * 1996-01-22 2007-03-13 3Ality, Inc. Systems for and methods of three dimensional viewing
GB2309609A (en) * 1996-01-26 1997-07-30 Sharp Kk Observer tracking autostereoscopic directional display
US5832115A (en) * 1997-01-02 1998-11-03 Lucent Technologies Inc. Ternary image templates for improved semantic compression
US7224526B2 (en) * 1999-12-08 2007-05-29 Neurok Llc Three-dimensional free space image projection employing Fresnel lenses
US7463823B2 (en) * 2003-07-24 2008-12-09 Brainlab Ag Stereoscopic visualization device for patient image data and video images
JP3944188B2 (ja) * 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
US7860280B2 (en) * 2006-06-09 2010-12-28 Samsung Electronics Co., Ltd. Facial feature detection method and device
US8068278B2 (en) * 2007-09-19 2011-11-29 The Aerospace Corporation Photostructured imaging display panels
US9185426B2 (en) 2008-08-19 2015-11-10 Broadcom Corporation Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
JP5356952B2 (ja) * 2009-08-31 2013-12-04 レムセン イノベーション、リミティッド ライアビリティー カンパニー 表示装置
US20110234605A1 (en) * 2010-03-26 2011-09-29 Nathan James Smith Display having split sub-pixels for multiple image display functions
JP5050120B1 (ja) * 2011-08-31 2012-10-17 株式会社東芝 立体画像表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5936774A (en) * 1995-08-29 1999-08-10 Street; Graham S. B. Autostereoscopic display

Also Published As

Publication number Publication date
EP2413610A2 (en) 2012-02-01
CN102348124A (zh) 2012-02-08
KR20120011573A (ko) 2012-02-08
US8942427B2 (en) 2015-01-27
US20120027257A1 (en) 2012-02-02
EP2413610B1 (en) 2022-07-13
EP2413610A3 (en) 2014-01-22
KR101685981B1 (ko) 2016-12-13

Similar Documents

Publication Publication Date Title
CN102348124B (zh) 显示三维图像的方法和装置
KR101729556B1 (ko) 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
KR101695819B1 (ko) 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법
CN102300109B (zh) 输出音频信号的显示装置和方法
US8488869B2 (en) Image processing method and apparatus
CA2795021C (en) 3d disparity maps
CN102823260B (zh) 视差值指示
US9395546B2 (en) Stereoscopic image processing system and device and glasses
CN103202026A (zh) 图像转换设备及使用其的显示设备和方法
TWI651960B (zh) 編碼/解碼視訊資料信號之方法與編碼器/解碼器及相關之視訊資料信號、視訊資料載體及電腦程式產品
EP2850592A2 (en) Processing panoramic pictures
EP2670149A2 (en) Apparatus and method for providing image in terminal
CN103327349A (zh) 三维图像处理装置和调整显示图像的最佳点的位置的方法
KR101867815B1 (ko) 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법
Chauvier et al. Does size matter? The impact of screen size on stereoscopic 3DTV
KR101758274B1 (ko) 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치
KR101746538B1 (ko) 입체영상 처리 시스템, 입체영상 처리 방법 및 액정 안경
KR101746539B1 (ko) 입체영상 처리 시스템, 입체영상 처리 방법 및 안경
KR101804912B1 (ko) 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법
KR20130016685A (ko) 셔터 안경, 셔터 안경을 제어하기 위한 방법 및 3차원 영상 처리 장치
KR20120087736A (ko) 안경, 안경의 셔터 동기화 방법 및 셔터 동기화 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140521

Termination date: 20210728