CN102804792A - 立体视频处理设备、方法和程序 - Google Patents

立体视频处理设备、方法和程序 Download PDF

Info

Publication number
CN102804792A
CN102804792A CN2011800101825A CN201180010182A CN102804792A CN 102804792 A CN102804792 A CN 102804792A CN 2011800101825 A CN2011800101825 A CN 2011800101825A CN 201180010182 A CN201180010182 A CN 201180010182A CN 102804792 A CN102804792 A CN 102804792A
Authority
CN
China
Prior art keywords
frame
maximum disparity
parallax
disparity value
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800101825A
Other languages
English (en)
Inventor
兵头克也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102804792A publication Critical patent/CN102804792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Abstract

本发明涉及能减轻观看立体视频时的视觉疲劳的立体视频处理设备、方法和程序。场景变化检测单元(61)在内部缓冲器等等中累积与从立体视频信号提取的三秒立体视频相对应的帧,并且指定场景变化帧。视差调整单元(62)基于由场景变化检测单元(61)指定的场景变化帧的帧编号,获取领先于所指定的场景变化帧三秒的帧和落后于场景变化帧三秒的帧,并且通过指定两个帧中的最大视差值来计算视差系数α。这样,通过使用视差系数来调整视差平面的最大视差的值。

Description

立体视频处理设备、方法和程序
技术领域
本发明涉及立体视频处理设备、方法和程序,特别涉及能减轻观看立体视频时的视觉疲劳的立体视频处理设备、方法和程序。
背景技术
人通过使用右眼捕获的图像与左眼捕获的图像之间的差别(视差)来立体地识别物体。眼球的旋转运动改变收敛角并且人将此识别为到物体的距离。收敛角是由彼此交叉的两条视线形成的角。
当其间具有视差的用于左眼和右眼的两个二维图像是通过使用人眼的特性而准备的并且然后分开地投射于左眼和右眼上时,由于收敛角而迷惑了到物体的距离。这赋予了人立体感知。此处,视差是用于左眼的图像与用于右眼的图像之间的差异。
通过显示用于左眼的图像和用于右眼的图像而得到的图像被称作立体图像。通过准备用于左眼的多个图像和用于右眼的多个图像且连续地改变所准备的图像而得到的图像被称作立体视频。此外,可显示立体视频的设备被称作立体视频显示设备。
另外,提出了一种立体视频显示设备,其在显示器上以通过使用其中一对左右透镜单元在透视状态和遮光状态之间交替地切换的快门眼镜而在用于左眼的图像和用于右眼的图像之间存在视差的方式交替地显示用于右眼的图像和用于左眼的图像。这种设备并不需要快门眼镜的切换操作,因为左透镜单元和右透镜单元被控制成与用于右眼的图像和用于左眼的图像被交替切换的时序同步地在透视状态与遮光状态之间交替切换(例如,参考专利文献1)。
引用列表
专利文献
专利文献1:日本专利申请特开No.2001-320734
发明内容
待由本发明解决的问题
但是,例如,当发生场景变化时,在立体视频中倾向于发生视差变化中的时间不连续性,因为显著不同的图像被连续地显示。
例如,假定在场景变化之前显示无视差的二维物体且在场景变化之后显示具有视差的立体物体。在此情况下,由于观看二维物体的收敛角α和观看立体物体的收敛角β十分不同,因此需要观察者旋转眼球且快速地改变收敛角。
在视差的快速变化之后对收敛角的调整被认为是视觉疲劳的原因,并且传统的技术不能解决这个问题,例如,可归因于场景变化的视觉疲劳。
本发明是鉴于这种情形做出的,且旨在减轻观看立体视频时的视觉疲劳。
问题的解决方案
本发明的一个方面是一种立体视频处理设备,包括:帧指定单元,其在包括单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧;最大视差指定单元,其在所指定的帧被设置为基准帧时指定在基准帧之前预定时间的第一帧的最大视差值,和在基准帧之后预定时间的第二帧的最大视差值;视差系数计算单元,其将第一帧与第二帧之间的帧设置为处理目标帧,并且基于第一帧的最大视差值、第二帧的最大视差值和处理目标帧的最大视差值来计算视差系数,该视差系数是这样的系数:该系数用于调整处理目标帧的最大视差值以使得最大视差值的变化在时间上是连续的;以及视差调整单元,其通过将最大视差值乘以计算出的视差系数来调整处理目标帧的最大视差值。
立体视频信号的每一个帧的视差可以是包含在立体视频信号的该每一个帧中的信息,并且可以基于指示每个像素的视差的视差平面来指定。
立体视频信号的每一个帧的视差可以通过计算在立体视频信号的这每一个帧中所包含的右眼图像数据与左眼图像数据之间的像素差异来指定。
帧指定单元可以通过检测立体视频信号的视频中的场景变化帧来指定在最大视差值的变化中引起时间上的不连续性的帧。
帧指定单元可以基于在时间上连续的两个帧之间的最大视差值中的差异来指定在最大视差值的变化中引起时间上的不连续性的帧。
本发明的一个方面是一种处理立体视频的方法,该方法包括:在帧指定单元处,在具有每单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧;在最大视差指定单元处,将所指定的帧设置为基准帧,并且指定在基准帧之前预定时间的第一帧的最大视差值和在基准帧之后预定时间的第二帧的最大视差值;在视差系数计算单元处,将第一帧与第二帧之间的帧设置为处理目标帧,并且基于第一帧的最大视差值、第二帧的最大视差值和处理目标帧的最大视差值来计算视差系数,该视差系数是这样的系数:该系数用于调整处理目标帧的最大视差值以使得最大视差值的变化在时间上是连续的;以及在视差调整单元处,通过将处理目标帧的最大视差值乘以计算出的视差系数来调整处理目标帧的最大视差值。
本发明的一个方面是一种使得计算机用作立体视频处理设备的程序,所述立体视频处理设备包括:帧指定单元,其在包括单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧;最大视差指定单元,其在所指定的帧被设置为基准帧时,指定在基准帧之前预定时间的第一帧的最大视差值,和在基准帧之后预定时间的第二帧的最大视差值;视差系数计算单元,其将第一帧与第二帧之间的帧设置为处理目标帧,并且基于第一帧的最大视差值、第二帧的最大视差值和处理目标帧的最大视差值来计算视差系数,该视差系数是这样的系数:该系数用于调整处理目标帧的最大视差值以使得最大视差值的变化在时间上是连续的;以及视差调整单元,其通过将最大视差值乘以计算出的视差系数来调整处理目标帧的最大视差值。
根据本发明的一个方面,在包括单位时间的帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧,将所指定的帧设置为基准帧,指定在基准帧之前预定时间的第一帧的最大视差值和在基准帧之后预定时间的第二帧的最大视差值,将第一帧与第二帧之间的帧设置为处理目标帧,基于第一帧的最大视差值、第二帧的最大视差值和处理目标帧的最大视差值来计算视差系数,其中视差系数是用于调整处理目标帧的最大视差值以使得最大视差值的变化在时间上连续的系数,并且通过乘以计算出的相应系数来调整处理目标帧的最大视差值。
发明的效果
根据本发明,可减轻在观看立体视频时的视觉疲劳。
附图说明
图1是描述人眼识别立体视频的机制的示图。
图2是示出用于左眼的图像与用于右眼的图像的示例的示图,在用于左眼的图像与用于右眼的图像之间具有视差。
图3是示出人观察图2所示的立体视频的示例的示图。
图4是以曲线图示出视差随时间的变化的示图。
图5是描述当观察立体视频时视线的收敛角的变化的示图。
图6是示出根据本发明的实施例的立体视频显示系统的配置示例的方框图。
图7是示出图6所示的视差处理单元的详细配置的示例的方框图。
图8是示出立体视频信号的帧的配置示例的示图。
图9是示出场景变化标志序列的示例的示图。
图10是示出帧编号为P-180的帧和帧编号为P+180的帧的右眼平面、左眼平面和视差平面的示图。
图11是示出在由视差处理单元执行处理之前立体视频信号的最大视差值的变化的曲线图。
图12是示出在由视差处理单元执行处理之后立体视频信号的最大视差值的变化的曲线图。
图13是示出在由视差处理单元执行处理之前的右眼平面、左眼平面和视差平面的示例的示图。
图14是示出在由视差处理单元执行处理之后的右眼平面、左眼平面和视差平面的示例的示图。
图15是描述校正立体视频信号的处理的示例的流程图。
图16是示出个人计算机的配置示例的方框图。
具体实施方式
将在下文中参考附图来描述本发明的实施例。
首先,描述立体视频的显示机制。
图1是描述人类的眼睛识别立体视频的机制的示图。
如该图所示,人使用左眼捕获的图像与右眼捕获的图像之间的差别(视差)来立体地识别物体。在图1的示例中,圆形的同一物体出现在左眼捕获的图像和右眼捕获的图像二者中,但是显示于图像中的不同位置。
为了将视线聚焦在人所关注的物体上,要旋转右眼眼球和左眼眼球。眼球的旋转运动改变收敛角,且人通过收敛角识别到物体的距离。结果,人识别立体视频。此处,收敛角是由彼此交叉的视线形成的角。
因此,例如,当立体视频显示在二维显示单元上时,可通过准备在其间具有视差的用于右眼的图像和用于左眼的图像来实现该显示。如图2所示,例如,当其间具有视差的用于右眼的图像和用于左眼的图像同时显示在二维显示单元上时,图中的三角形物体由于视差而能立体地显示(例如,物体表现为从显示单元突出)。
另外,因为用于右眼的图像和用于左眼的图像分别用例如红光和蓝光以重叠方式显示并且由眼镜(红色滤光片和蓝色滤光片分别附连到眼镜上)分离,所以用于右眼的图像和用于左眼的图像被人的左眼和右眼观察到。
图3是示出人观察图2所示的立体视频的示例的示图。如该图所示,左眼的视线聚焦于用于左眼的图像中物体的大致中心上且右眼的视线聚焦于用于右眼的图像中物体的大致中心上。这给出了物体看起来在左眼视线和右眼视线(其以虚线示出)彼此交叉的位置处突出的感觉。
但是,例如当在立体视频中发生场景变化时,有可能发生视差变化的时间不连续性,这是因为连续显示显著不同的图像。
图4是以曲线图示出视差随时间的变化的示图,其中,横轴指示时间,且纵轴表示在立体视频中的每个时间点的最大视差值。在该图的示例中,在时间点t1发生场景变化。
在图4中的曲线图中,在时间点t1发生不连续变化。即,在立体视频中发生视差变化的时间不连续性。
认为可归因于这种快速视差变化的收敛角调整伴有视觉疲劳。为了简化说明,假定场景变化使得例如在视频中,以二维方式显示所关注的物体的场景被改变为立体显示该物体的场景。
例如,如图5所示,在以二维方式显示物体的场景中,人的左眼和右眼的眼球在视线之间的收敛角成为α的方向上转动。当紧接在此之后发生场景变化且因此场景被切换到立体显示物体的场景时,左眼和右眼的眼球旋转,使得视线之间的收敛角变成β。以此方式,眼球的快速旋转引起视觉疲劳。
对于收敛角变化和视觉疲劳的研究在诸如下列的文章中报告:“岸信介等人的《双眼式立体图像的人类环境改造学评价系统的尝试》(2眼式立体映像のコンテンツ評価システムの試作),图像信息和电视工程师协会杂质,第60卷(2006)No.6pp.934-942”和“原岛博等人的《3-D图像和人类科学》(3次元画像と人間の科学),Ohmsha公司,2000”。
因此,本发明防止在立体视频中发生视差变化的时间不连续性。
图6是示出了根据本发明的实施例的立体视频显示系统的配置示例的方框图。如该图中所图示的,立体视频显示系统10被配置成包括立体视频显示装置21和显示器22。
立体视频显示装置21被配置成在其内部包括立体视频信号获取单元41和视差处理单元42。
立体视频信号获取单元41被配置成包括诸如调谐器之类的单元,该单元接收作为广播波而发送的立体视频信号。此外,立体视频信号获取单元41可通过使用诸如驱动器之类的单元来配置而成,该单元读取在诸如DVD或HDD之类的记录介质中记录的立体视频信号。
假定视差处理单元42为功能块,其执行校正信号(例如,由立体视频信号获取单元41获取的立体视频信号)的处理,使得在立体视频中不存在视差变化上的时间不连续性。随后参考图7来详细地描述视差处理单元42的配置。
显示器22是通过使用LCD(液晶显示器)等等来配置的并且假定具有二维图像显示区。假定使用者在例如佩戴具有滤色片的眼镜等等时观看在显示器22上显示的立体视频。
此外,显示器22可被配置成包括屏幕等等,并且从立体视频显示装置21投射的立体视频可在屏幕上显示。此外,立体视频显示系统10可被按照如下形式来配置:一体地形成立体视频显示装置21和显示器22。
图7是示出图6的视差处理单元42的详细配置的示例的方框图。如在该图中所示的,视差处理单元42被配置成包括场景变化检测单元61和视差调整单元62。
场景变化检测单元61从立体视频信号中指定场景变化帧,在该帧处场景改变。场景变化检测单元61在内部缓冲器等等中累积例如与三秒的立体视频相对应的立体视频信号的帧,并且指定场景变化帧。
图8是描述立体视频信号的帧的配置的示图。立体视频信号包括多个帧。图8示出包含于立体视频信号的一个帧中的信息。此外,假定作为显示移动图像的信号的立体视频信号在一秒中包括60帧。即,一秒的立体视频可由对应于60帧的立体视频信号显示。
在图8的示例中,立体视频信号的帧包括右眼平面、左眼平面、视差平面和场景变化标志。而且,除了这些之外,还适当地包括诸如帧头、差错检测比特等信息。
右眼平面和左眼平面被认为是将在显示器22上显示的一个画面的图像数据。此外,在图8的示例中,为了简化描述,假定将在显示器22上显示的一个画面的图像包括64(=8×8)个像素,并且右眼平面和左眼平面中的每个矩形表示一个像素。
右眼平面和左眼平面中的每一个均包括64个矩形,且“0”或“1”记录于每个矩形中。此处,为了简化描述,假定图中带有“0”的矩形表示黑色像素并且假定图中带有“1”的矩形表示白色像素。
在图8的示例中,示出了这样的图像:其中2×4白色像素的物体在黑色背景上显示,并且2×4白色像素的物体在右眼平面和左眼平面中的不同位置处显示。即,如参照图3在先前描述的那样,显示具有视差的图像并且因此获得物体看起来从屏幕突出的感觉。
可由视差平面来指定右眼平面与左眼平面之间的显示位置的差异。视差平面具有与右眼平面和左眼平面中每一个的各个像素相对应的64个矩形,并且假定为表示右眼平面从左眼平面移动了多少个像素的信息。在图8的示例中,在形成物体的2×4白色像素在右眼平面中显示的位置处的各个矩形中记录“2”。这意味着右眼平面中的2×4白色像素的物体相对于左眼平面移位了两个像素。
场景变化标志是确认场景变化的发生的标志。例如,场景变化标志由表示“0”或“1”的位构成。当场景变化标志表示“1”时,这意味着在后面的帧中发生场景变化。在图8的示例中,由于“0”被记录为场景变化标志,因此该示例意味着在后面的帧中并不发生场景变化。
尽管在图8中未示出,但是立体视频信号的帧中的每一个都被给予了帧编号,该帧编号示出当从前导帧计数时帧的次序。
如上文所述,场景变化检测单元61在内部缓冲器等等中累积例如与三秒的立体视频相对应的立体视频信号的帧,并且指定场景变化帧。即,图8所示的帧在180(=3×60)个缓冲器中累积。场景变化检测单元61从所累积的180个帧中提取场景变化检测标志,并且生成场景变化标志序列。图9是示出场景变化标志序列的示例的示图。
在图9的示例中,通过使场景变化检测标志分别与帧编号相关联来生成场景变化标志序列。此外,假定前导帧(即,在图像的开始处的帧)被命名为帧编号0。在此示例中,以命名为帧编号0至179的180个帧(对应于三秒)的场景变化检测标志来生成场景变化标志序列。
在图9的示例中,由于对应于帧编号8的场景变化检测标志被设置为“1”,因此能了解到场景在帧编号为9的帧处变化。即,在帧编号为0至8的帧的图像中所示的场景不同于在帧编号为9至179的帧的图像中所示的场景。
视差调整单元62基于给予由场景变化检测单元61指定的场景变化帧的帧编号来获取立体视频信号的帧,并且在内部缓冲器等等中对这些帧进行累积。此处,由场景变化检测单元61指定的场景变化帧是场景变化检测标志为“1”的帧并且在图9的示例中是帧编号为8的帧。
例如,当假定给予由场景变化检测单元61指定的帧的帧编号为P时,获取并累积(存储)帧编号为P-180的帧和帧编号为P+180的帧。即,获取领先于场景变化帧三秒的帧和落后于场景变化帧三秒的帧。
此外,例如,如在图9所示的示例中,当帧编号为P-180的帧并不存在时,例如,可作为该帧的替代来获取帧编号为0的帧。
视差调整单元62指定在上文所提到的两个帧中的最大视差值。即,指定了在各个帧的视差平面中的数值当中的最大值。此处,假定帧编号为P-180的帧的最大视差值为Db,并且假定帧编号为P+180的帧的最大视差值为Da。
接下来,视差调整单元62通过使用式(1)来计算视差系数α,视差系数α是用于调整信号校正处理的处理目标帧的最大视差值以使得在视差变化中没有时间不连续性的系数。
【式1】
α = ( Pc - ( P - 3 F ) ) ( Da - Db ) + 6 FDb 6 FDc . . . ( 1 )
其中,在式(1)中,Pc是处理目标帧的帧编号,且Dc是帧编号为Pc的帧的最大视差值。此外,式(1)中的F是表示一秒的帧数,且在先前所述示例中的F值变为60。
对于每个处理目标帧计算视差系数α。即,对于从帧编号为P-180的帧到帧编号为P+180的帧的各个帧,个体地计算视差系数α。
例如,假定帧编号为P-180的帧和帧编号为P+180的帧的右眼平面、左眼平面和视差平面在图10中示出。视差处理单元42将这两个帧的视差平面的数值中的最大值指定为最大视差值。在此情况下,Da的值变为4且Db的值变为2。
当这些值被代入式(1)中的F、Da和Db时,得到式(2)。
【式2】
α = 2 ( Pc - ( P - 180 ) ) + 720 360 Dc . . . ( 2 )
视差调整单元62通过使用以先前所述方式计算出的视差系数α,调整从帧编号为P-180的帧到帧编号为P+180的帧的每一个帧的最大视差。例如,实际发生场景变化的帧的帧编号被代入到上述式(2)中的P,处理目标帧的帧编号被代入Pc且最大视差值被代入Dc,使得对于分别为处理目标帧提供的帧编号中的每一个来计算α。
接下来,视差调整单元62通过将α乘以Dc的值来调整(校正)帧编号为Pc的帧的最大视差。此外,假定从帧编号为P-180的帧到帧编号为P+180的帧的这些帧是处理目标帧,并且将个体地计算出的每个视差系数α乘以每个帧的最大视差值。
参照图11和图12,进一步详细地进行描述。为了简化描述,假定从帧编号为0的帧到帧编号为P的帧的这些帧中每个帧的最大视差值总是为2,并且假定从帧编号为P+1的帧到最后一个帧的这些帧中每一个帧的最大视差值总是为4。
图11是示出在由视差处理单元42执行的处理被执行之前立体视频信号的最大视差值的变化的曲线图。在该图中,横轴指示帧编号,纵轴指示视差值,且场景变化帧是帧编号为P的帧。如在该图中所示的那样,最大视差值的变化在帧编号为P的帧与帧编号为P+1的帧之间是不连续的。
图12是示出在由视差处理单元42执行处理之后立体视频信号的最大视差值的变化的曲线图。在该图中,类似于图11的情况,横轴指示帧编号,纵轴指示视差值,且假定场景变化帧是帧编号为P的帧。在该图的曲线图中,用实线来指示经历了视差处理单元42的处理的立体视频信号的最大视差值的变化,并且用虚线来指示未经历视差处理单元42的处理的立体视频信号的最大视差值的变化。
如在图12中所示的那样,通过视差处理单元42所执行的处理,个体地调整从帧编号为P+180的帧到帧编号为P-180的帧的这些帧中每一个的最大视差。即,调整从帧编号为P-180的帧到帧编号为P的帧的这些帧的最大视差以与原始值相比增大,并且调整从帧编号为P+1的帧到帧编号为P+180的帧的这些帧的最大视差以与原始值相比减小。结果,调整了最大视差以便在从帧编号为P-180的帧到帧编号为P+180的帧的方向逐渐地增大。
即,已执行了使得视差变化没有时间不连续性的校正信号的处理。
例如,当处理目标帧是场景变化帧时,该情况变得使得Pc=P。接下来,假定帧编号为P的帧的右眼平面、左眼平面和视差平面如图13所示。如在图13中所示,帧编号为P的帧的最大视差值为2。
如果图13所示的帧编号和最大视差值被代入式(2)中的变量,则α的值变成1.5。
视差调整单元62将图13的视差平面中的最大视差值乘以α。在此情况下,调整最大视差值以变成2×1.5=3。因此,在图14中示出经历了视差处理单元42的处理的帧编号为P的帧的右眼平面、左眼平面和视差平面。
之后,将经历了视差调整的校正的立体视频信号输出到显示器22。
以此方式,可以防止在立体视频中发生视差变化的时间不连续性,并因此能减轻使用者的视觉疲劳。由于调整校正后的立体视频信号的最大视差值以便从发生场景变化的时间点逐渐改变,因此可能不会给予使用者不自然的印象。
接下来,将参照图15来描述由视差处理单元42执行的校正立体视频信号的处理的示例。
在步骤S21,场景变化检测单元61基于从立体视频信号获取单元41提供的立体视频信号来指定场景变化帧的帧编号。在此情况下,场景变化检测单元61在内部缓冲器等等中累积例如与三秒的立体视频相对应的立体视频信号的帧,并且生成场景变化标志序列,如在上文中参考图9所述。然后,基于场景变化标志序列来指定场景变化帧的帧编号P。
在步骤S22,视差调整单元62基于在步骤S21的处理期间由场景变化检测单元61指定的场景变化帧的帧编号来获取立体视频信号的帧。在此情况下,获取帧编号为P-180的帧和帧编号为P+180的帧。
在步骤S23,视差调整单元62为上文所提到的两个帧指定最大视差值。即,指定了这两个帧的视差平面的数值中的最大值。
在步骤S24,视差调整单元62通过式(1)来计算视差系数α。
在步骤S25,视差调整单元62调整视差平面的最大视差的值。
另外,对设置为处理目标帧的帧编号为P-180的帧到帧编号为P+180的帧的这些帧中的每一个来执行步骤S24和步骤S25的处理。即,循序计数式(1)中的变量Pc,例如从P-180到P+180,并且因此执行步骤S24和步骤S25的处理。
在步骤S26,视差调整单元62输出已通过步骤S25的处理进行校正从而调整了视差的立体视频信号。
以此方式,执行了校正立体视频信号的处理。
上文的说明是基于以下前提做出的:视差平面包含于立体视频信号的帧中。但是,本发明甚至可应用于视差平面不包含于立体视频信号的帧中的情况。当不包含视差平面时,可例如由视差处理单元42使用块匹配处理等等来指定在左眼平面和右眼平面中物体的移动,结果,可获得类似于视差平面的信息。
此外,上文的说明是基于以下前提做出的:场景变化检测标志包含于立体视频信号的帧中。但是,本发明甚至可应用于场景变化检测标志不包含于立体视频信号的帧中的情况。当不包含场景变化检测标志时,例如基于预先从立体视频信号获得的图像数据的像素的亮度的直方图来检测场景变化,结果,可获得类似于场景变化检测标志的信息。
此外,上文的说明是结合以下示例做出的:使用场景变化帧作为基准帧来执行对视差的调整。即,上文的说明是在假定式(1)中的帧编号P表示场景变化帧的情况下做出的。但是,例如,可基于每个帧的视差的最大值的变化来指定用作基准帧的帧。例如,检测帧编号为P的帧和帧编号为P+1的帧,其满足以下条件:帧之间最大视差值的差异的绝对值等于或大于阈值。在该检测之后,可基于用作基准帧的帧编号为P的帧来执行视差调整。
上文所述的一系列处理可由硬件来执行,也可由软件来执行。当上文所述的一系列处理由软件执行时,形成软件的程序将从网络或记录介质安装到内置于专门硬件的计算机内。此外,其可从网络或记录介质安装到图16中示出的通用个人计算机700等等中,各种类型的程序安装于通用个人计算机700内,并且因此计算机能执行各种功能。
在图16中,CPU(中央处理单元)701根据存储于ROM(只读存储器)702中的程序或者从存储单元708加载到RAM(随机存取存储器)703的程序来执行各种处理。RAM 703还适当地存储CPU 701以执行各种处理所必需的数据等等。
CPU 701、ROM 702和RAM 703经由总线704而彼此连接。I/O接口705也连接到总线704。
I/O接口705还连接到被配置成包括键盘、鼠标等等的输入单元706,被配置成包括LCD(液晶显示器)的显示器和被配置成包括扬声器等等的输出单元707。此外,I/O接口705甚至连接到被配置成包括硬盘等等的存储单元708,被配置成包括调制解调器或网络接口卡(例如LAN卡)的通信单元709。通信单元709通过包括因特网的网络来执行通信处理。
若有必要,I/O接口705还连接到驱动器710,并且适当地安装诸如磁盘、光盘、磁光盘、半导体存储器之类的可移除的介质711。而且,若有必要,从可移除的介质读取的计算机程序被安装到存储单元708内。
当通过使用软件来执行上文所述的一系列处理时,从诸如因特网之类的网络或者诸如可移除的介质711之类的记录介质安装构成软件的程序。
此外,通过使用磁盘(包括软盘(floppy disk,注册商标)、光盘(包括CD-ROM(光盘-只读存储器)和DVD(数字多功能光盘)、磁光盘(包括MD(小型光盘)(注册商标))或利用半导体存储器等等配置而成的可移除的介质711来配置记录介质,在其中的每一个中存储程序,且其中的每一个从图16所示的设备主体被分别地分配以将程序递送给使用者。此外,记录介质可使用ROM 702、包含于存储单元708中的硬盘或者其中记录了程序且在嵌入设备的主体中的状态下被递送给使用者的类似物来配置。
此外,在本申请的说明书中在上文描述的一系列处理不仅包括按描述次序以时间序列执行的处理,而且也包括彼此并行或个体地执行的处理。
此外,本发明的实施例并不限于上文所述的实施例,而是可以在不偏离本发明的精神的范围内以各种形进行修改。
标号列表
10立体视频显示系统
21立体视频显示设备
22显示器
41立体视频信号获取单元
42视差处理单元
61场景变化检测单元
62视差调整单元

Claims (7)

1.一种立体视频处理设备,包括:
帧指定单元,其在包括单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧;
最大视差指定单元,其在所指定的帧被设置为基准帧时指定领先于所述基准帧预定时间的第一帧的最大视差值,和落后于所述基准帧预定时间的第二帧的最大视差值;
视差系数计算单元,其将所述第一帧与所述第二帧之间的帧设置为处理目标帧,并且基于所述第一帧的最大视差值、所述第二帧的最大视差值和所述处理目标帧的最大视差值来计算视差系数,所述视差系数是这样的系数:该系数用于调整所述处理目标帧的最大视差值以使得所述最大视差值的变化在时间上是连续的;以及
视差调整单元,其通过将所述最大视差值乘以计算出的视差系数来调整所述处理目标帧的最大视差值。
2.根据权利要求1所述的立体视频处理设备,其中,所述立体视频信号的每一个帧的视差是包含在所述立体视频信号的每一个帧中的信息,并且是基于指示每个像素的视差的视差平面来指定的。
3.根据权利要求1所述的立体视频处理设备,其中,所述立体视频信号的每一个帧的视差是通过计算包含在所述立体视频信号的每一个帧中的右眼图像数据与左眼图像数据之间的像素差异来指定的。
4.根据权利要求1所述的立体视频处理设备,其中,所述帧指定单元通过检测所述立体视频信号的视频中的场景变化帧来指定在所述最大视差值的变化中引起时间上的不连续性的帧。
5.根据权利要求1所述的立体视频处理设备,其中,所述帧指定单元基于在时间上连续的两个帧之间的最大视差值的差异来指定在所述最大视差值的变化中引起时间上的不连续性的帧。
6.一种处理立体视频的方法,所述方法包括:
在帧指定单元处,在具有每单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧;
在最大视差指定单元处,将所指定的帧设置为基准帧,并且指定领先于所述基准帧预定时间的第一帧的最大视差值,和落后于所述基准帧预定时间的第二帧的最大视差值;
在视差系数计算单元处,将所述第一帧与所述第二帧之间的帧设置为处理目标帧,并且基于所述第一帧的最大视差值、所述第二帧的最大视差值和所述处理目标帧的最大视差值来计算视差系数,所述视差系数是这样的系数:该系数用于调整所述处理目标帧的最大视差值以使得所述最大视差值的变化在时间上是连续的;以及
在视差调整单元处,通过将所述处理目标帧的最大视差值乘以计算出的视差系数来调整所述处理目标帧的最大视差值。
7.一种使得计算机用作立体视频处理设备的程序,所述立体视频处理设备包括:
帧指定单元,其在包括单位时间帧速率的立体视频信号的帧中指定在最大视差值的变化中引起时间上的不连续性的帧;
最大视差指定单元,其在所指定的帧被设置为基准帧时,指定领先于所述基准帧预定时间的第一帧的最大视差值和落后于所述基准帧预定时间的第二帧的最大视差值;
视差系数计算单元,其将所述第一帧与所述第二帧之间的帧设置为处理目标帧,并且基于所述第一帧的最大视差值、所述第二帧的最大视差值和所述处理目标帧的最大视差值来计算视差系数,所述视差系数是这样的系数:该系数用于调整所述处理目标帧的最大视差值以使得所述最大视差值的变化在时间上是连续的;以及
视差调整单元,其通过将所述最大视差值乘以计算出的视差系数来调整所述处理目标帧的最大视差值。
CN2011800101825A 2010-02-24 2011-02-10 立体视频处理设备、方法和程序 Pending CN102804792A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010038382A JP2011176541A (ja) 2010-02-24 2010-02-24 立体映像処理装置および方法、並びにプログラム
JP2010-038382 2010-02-24
PCT/JP2011/052806 WO2011105220A1 (ja) 2010-02-24 2011-02-10 立体映像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN102804792A true CN102804792A (zh) 2012-11-28

Family

ID=44506634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800101825A Pending CN102804792A (zh) 2010-02-24 2011-02-10 立体视频处理设备、方法和程序

Country Status (8)

Country Link
US (1) US9013561B2 (zh)
EP (1) EP2541949A4 (zh)
JP (1) JP2011176541A (zh)
KR (1) KR20130040771A (zh)
CN (1) CN102804792A (zh)
BR (1) BR112012020774A2 (zh)
RU (1) RU2012135485A (zh)
WO (1) WO2011105220A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104104935A (zh) * 2013-04-11 2014-10-15 索尼公司 图像处理装置、图像处理方法和电子装置
CN104253928A (zh) * 2013-06-26 2014-12-31 鸿富锦精密工业(深圳)有限公司 基于场景侦测的实时影像记录系统及方法
CN106651833A (zh) * 2016-10-12 2017-05-10 成都西纬科技有限公司 一种确定最大视差的方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011172172A (ja) 2010-02-22 2011-09-01 Sony Corp 立体映像処理装置および方法、並びにプログラム
WO2011162209A1 (ja) * 2010-06-25 2011-12-29 富士フイルム株式会社 画像出力装置、方法およびプログラム
WO2012049848A1 (ja) * 2010-10-14 2012-04-19 パナソニック株式会社 ステレオ画像表示装置
JP5127973B1 (ja) * 2011-10-21 2013-01-23 株式会社東芝 映像処理装置、映像処理方法および映像表示装置
JP5323165B2 (ja) * 2011-11-07 2013-10-23 シャープ株式会社 立体画像処理装置および立体画像処理方法
JP5450908B1 (ja) 2012-03-26 2014-03-26 パナソニック株式会社 立体映像処理装置および立体映像処理方法
KR20130117693A (ko) * 2012-04-17 2013-10-28 한국전자통신연구원 입체 영상 시스템에서 좌우영상 프레임간 동기를 보정하기 위한 방법 및 장치 및 재생 장치 및 방법
CN104967837A (zh) * 2015-06-30 2015-10-07 西安三星电子研究有限公司 用于调整三维显示效果的设备和方法
JP2017211694A (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
CN1956555A (zh) * 2005-10-12 2007-05-02 三星电子株式会社 三维图像处理设备和方法
JP2009239388A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 立体動画像処理装置および方法並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01194114A (ja) * 1988-01-29 1989-08-04 Hitachi Ltd 磁気記録再生方式
JPH11164328A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP4146955B2 (ja) * 1999-02-15 2008-09-10 キヤノン株式会社 画像処理方法及び画像処理装置
JP2001320734A (ja) 2000-05-12 2001-11-16 Sony Corp 立体画像表示装置
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
JP5434231B2 (ja) * 2009-04-24 2014-03-05 ソニー株式会社 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム
JP5361618B2 (ja) * 2009-09-04 2013-12-04 キヤノン株式会社 画像処理装置及びその制御方法
US8798160B2 (en) * 2009-11-06 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus for adjusting parallax in three-dimensional video
JP2011172172A (ja) 2010-02-22 2011-09-01 Sony Corp 立体映像処理装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1040420A (ja) * 1996-07-24 1998-02-13 Sanyo Electric Co Ltd 奥行き感制御方法
CN1956555A (zh) * 2005-10-12 2007-05-02 三星电子株式会社 三维图像处理设备和方法
JP2009239388A (ja) * 2008-03-26 2009-10-15 Fujifilm Corp 立体動画像処理装置および方法並びにプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104104935A (zh) * 2013-04-11 2014-10-15 索尼公司 图像处理装置、图像处理方法和电子装置
CN104104935B (zh) * 2013-04-11 2017-09-12 索尼公司 图像处理装置、图像处理方法和电子装置
CN104253928A (zh) * 2013-06-26 2014-12-31 鸿富锦精密工业(深圳)有限公司 基于场景侦测的实时影像记录系统及方法
CN104253928B (zh) * 2013-06-26 2018-02-13 中山市云创知识产权服务有限公司 基于场景侦测的实时影像记录系统及方法
CN106651833A (zh) * 2016-10-12 2017-05-10 成都西纬科技有限公司 一种确定最大视差的方法
CN106651833B (zh) * 2016-10-12 2020-07-03 成都西纬科技有限公司 一种确定最大视差的方法

Also Published As

Publication number Publication date
US20120293622A1 (en) 2012-11-22
US9013561B2 (en) 2015-04-21
RU2012135485A (ru) 2014-02-27
WO2011105220A1 (ja) 2011-09-01
JP2011176541A (ja) 2011-09-08
KR20130040771A (ko) 2013-04-24
BR112012020774A2 (pt) 2016-05-03
EP2541949A1 (en) 2013-01-02
EP2541949A4 (en) 2014-03-12

Similar Documents

Publication Publication Date Title
CN102804792A (zh) 立体视频处理设备、方法和程序
US11694353B2 (en) Single depth tracked accommodation-vergence solutions
US8791989B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
US9355455B2 (en) Image data processing method and stereoscopic image display using the same
CN101646095B (zh) 图像处理装置、图像处理方法
US9838673B2 (en) Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal
EP2532166B1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
US8564647B2 (en) Color management of autostereoscopic 3D displays
CN104954777A (zh) 一种显示视频数据的方法和装置
US8368696B2 (en) Temporal parallax induced display
US20120313930A1 (en) Dual view display method and dual view driving method for providing plural images to plural users and display apparatus and dual view glasses using the same
EP2541948A1 (en) Stereoscopic image display method and display timing controller
Shao et al. Visual discomfort relaxation for stereoscopic 3D images by adjusting zero-disparity plane for projection
US20120154381A1 (en) Method and apparatus for providing 3-dimensional image
US20140118506A1 (en) Methods and systems for synthesizing stereoscopic images
KR100439341B1 (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
US20140043451A1 (en) Image processing apparatus, image processing method, display system, video generation appartus, and reproduction apparatus
US20120120191A1 (en) Image processor for use in a frame sequential 3d display system and related 3d display system
CN101854559A (zh) 多模式立体三维摄像头系统
Lee et al. Eye tracking based glasses-free 3D display by dynamic light field rendering
TWI493960B (zh) 用於場序式三維顯示系統之影像處理器及相關三維顯示系統
WO2018027015A1 (en) Single depth tracked accommodation-vergence solutions
KR20040018858A (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
WO2013015217A1 (ja) 立体画像処理装置および立体画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121128