CN102740103B - 图像处理设备、图像处理方法 - Google Patents

图像处理设备、图像处理方法 Download PDF

Info

Publication number
CN102740103B
CN102740103B CN201210094555.8A CN201210094555A CN102740103B CN 102740103 B CN102740103 B CN 102740103B CN 201210094555 A CN201210094555 A CN 201210094555A CN 102740103 B CN102740103 B CN 102740103B
Authority
CN
China
Prior art keywords
image
display
eye
processing equipment
stereoeffect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210094555.8A
Other languages
English (en)
Other versions
CN102740103A (zh
Inventor
山口广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102740103A publication Critical patent/CN102740103A/zh
Application granted granted Critical
Publication of CN102740103B publication Critical patent/CN102740103B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/007Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及图像处理设备、图像处理方法和程序。一种图像处理设备,包括:立体效果调节单元,接收用于三维图像显示的左眼图像和右眼图像,并通过校正作为输入图像的接收图像来执行立体效果调节;其中,所述立体效果调节单元对所述左眼图像和右眼图像中的至少任意图像执行横向方向上的缩小处理或放大处理,并生成调节了视差的校正图像。

Description

图像处理设备、图像处理方法
技术领域
本公开涉及图像处理设备、图像处理方法和程序。具体来说,本公开涉及执行三维图像显示的图像处理设备、图像处理方法和程序。
背景技术
最近,已经开发并使用能够显示称为立体图像的三维图像(3D图像)的显示装置(如电视和PC)以及能够记录三维图像(3D图像)的摄像机和静止图像照相机。为了显示3D图像,有必要从不同视角拍摄两个图像。即,这两个图像是从左眼视点拍摄的左眼图像和从右眼视点拍摄的右眼图像。
当显示从不同视点拍摄的两个图像时,执行控制,使得左眼图像只被观赏者的左眼看到,右眼图像只被观赏者的右眼看到,从而观赏者能够感觉到立体效果。此外,记录、传送以及显示3D图像的方法包括多种方法。
作为显示3D图像的方法之一,一种方法是:在显示装置上交替显示左眼图像和右眼图像,观赏者戴上快门型眼镜;针对左眼图像显示时段和右眼图像显示时段中的每一个执行快门转换;以及每个图像只被一只眼睛观看到。
例如,在显示3D图像的情况下,显示左眼图像和右眼图像,使得同一显示对象的显示位置在左右方向上偏离。通过显示具有这种视差的图像,观赏者能够感到具有深度感的立体图像。以下将参照图1A到2描述设定视差的示例。
图1A示出了不存在视差的图像的显示图像和感受图像,图1B示出了存在视差的图像的显示图像和感受图像,这两个图彼此平行布置。
在图1A中,在不存在视差的图像的显示图像的情况下,在左眼图像和右眼图像中,对象(苹果)在图像显示表面上的显示位置相同。
在此情况下,如图1A所示,在观赏者的左眼观看到的左眼图像和观赏者的右眼观看到的右眼图像两者中,完全在显示表面上的同一位置处看到显示对象(苹果)。
结果,观赏者感觉到显示对象(苹果)位于显示表面位置处。
另一方面,如图1B的显示图像所示,在图1B中的存在视差的情况(视差设置示例1)示出了一种视差设置示例,其中显示在显示面上的左眼图像向左(从观赏者观看时的左侧)偏离,并且右眼图像向右(从观赏者观看时的右侧)偏离。
在该设置中,如图1B的感觉到的图像所示,观赏者感觉到与图像对应的对象比显示面更靠内侧(更远的位置)。
此外,如图2的显示图像所示,图2中存在视差的情况(视差设置示例2)示出了一种视差设置示例,其中显示在显示面上的左眼图像向右(从观赏者观看时的右侧)偏离,并且右眼图像向左(从观赏者观看时的左侧)偏离。在该设置中,如图2的感觉到的图像所示,观赏者感觉到与图像对应的对象比显示面更靠前侧(更近的位置)。
这样,观赏者能够通过左眼图像和右眼图像的视差设置,感觉到位于各种位置处的显示对象的位置。
然而,存在如下情况:如果显示存在视差的图像,一些观赏者会感觉到不适或者眼睛疲劳。为了解决该问题,提出了能够调节视差的结构。例如,日本专利No.3749227公开了一种在整个画面均匀偏离的情况下调节视差的结构。然而,如果整体移动图像,会存在如下问题:原本要显示在显示单元上的图像的端部会被略去。
发明内容
期望提供一种图像处理设备、图像处理方法和程序,其在整个图像不偏移的情况下实现视差调节。
此外,期望提供一种图像处理设备、图像处理方法和程序,其能 够在减轻图像略去或者没有图像略去的情况下执行视差调节。
根据本公开的一个实施例,提供了一种图像处理设备,包括:立体效果调节单元,接收用于三维图像显示的左眼图像和右眼图像,并通过校正作为输入图像的接收图像来执行立体效果调节;其中,所述立体效果调节单元对所述左眼图像和右眼图像中的至少任意图像执行横向方向上的缩小处理或放大处理,并生成调节了视差的校正图像。
所述立体效果调节单元可以确定通过对所述左眼图像和右眼图像中的至少任意图像进行缩小或放大而生成的校正图像在显示单元上的显示位置。
所述图像处理设备还可以包括:输入单元,能够向所述输入单元输入图像设置信息;和立体效果调节量确定单元,根据从所述输入单元输入的图像设置信息确定用于确定图像校正类型的控制参数。其中,所述立体效果调节单元可以根据由所述立体效果调节量确定单元确定的控制参数,执行图像校正处理和显示位置确定处理。
从所述输入单元输入的图像设置信息可以是显示图像的左端部深度信息ZL和右端部深度信息ZR,并且,在此情况下,所述立体效果调节量确定单元可以基于所述深度信息ZL和ZR,确定所述左眼图像和右眼图像的缩放率及其在所述显示单元上的显示位置。
此外,所述立体效果调节量确定单元可以基于附加到所述输入图像的元数据,确定所述左眼图像和右眼图像的缩放率及其在所述显示单元上的显示位置。
所述图像处理设备还可以包括显示单元,所述显示单元执行应用了作为由所述立体效果调节单元生成的校正图像的左眼图像和右眼图像的3D图像显示。
根据本公开的另一实施例,提供了一种在图像处理设备中执行的图像处理方法,包括:使立体效果调节单元接收用于三维图像显示的左眼图像和右眼图像,并通过校正作为输入图像的接收图像来执行立体效果调节;其中,立体效果的调节包括对所述左眼图像和右眼图像中的至少任意图像执行横向方向上的缩小处理或放大处理,并生成调 节了视差的校正图像。
根据本公开的还一实施例,提供了一种使图像处理设备能够执行包括以下步骤的图像处理的程序:使立体效果调节单元接收用于三维图像显示的左眼图像和右眼图像,并通过校正作为输入图像的接收图像来执行立体效果调节;其中,立体效果的调节包括对所述左眼图像和右眼图像中的至少任意图像执行横向方向上的缩小处理或放大处理,并生成调节了视差的校正图像。
此外,根据本公开的还一实施例的程序例如是可以由存储介质或通信介质提供的程序,以计算机可读格式将存储介质或通信介质提供给能够执行各种程序或代码的信息处理设备或计算机系统。以计算机可读格式提供这种程序,从而在信息处理设备或计算机系统上实现与程序对应的处理。
将基于以下描述的本公开的实施例或附图,通过更详细的描述来给出本公开的其他目的、特征或优点。此外,在本说明书中,系统是多个组成装置的逻辑集合并且并不限于在同一机壳内的各个组成装置。
根据本公开的实施例的结构,能够提供一种能够通过简单的处理来调节立体效果的设备和方法。
具体来说,提供了一种立体效果调节单元,其接收用于三维图像显示的左眼图像和右眼图像,并通过校正作为输入图像的接收图像来执行立体效果调节。所述立体效果调节单元根据例如从用户输入的设置信息,对所述左眼图像和右眼图像中的至少任意图像执行横向方向上的缩小处理或放大处理,并生成调节了视差的校正图像。此外,所述立体效果调节单元确定校正图像在显示单元上的显示位置,并将所确定的显示位置输出到显示单元以执行3D图像显示处理。
在本结构中,例如,可以仅通过对图像的缩小处理来调节视差,因此可以执行用于在任意深度位置处显示对象的控制。
附图说明
图1A和1B是图解说明视差设置和观赏者感觉到的图像的示例的图。
图2是图解说明视差设置和观赏者感觉到的图像的示例的图。
图3A和3B是图解说明根据本公开的一个实施例的图像处理设备执行的处理的示例的图。
图4A和4B是图解说明根据本公开的一个实施例的图像处理设备执行的处理的示例的图。
图5A和5B是图解说明根据本公开的一个实施例的图像处理设备执行的处理的示例的图。
图6A和6B是图解说明根据本公开的一个实施例的图像处理设备执行的处理的示例的图。
图7是图解说明根据本公开的一个实施例的图像处理设备的结构示例的图。
图8A到8C是图解说明输入到根据本公开的一个实施例的图像处理设备的图像的示例的图。
图9是图解说明根据本公开的一个实施例的图像处理设备执行的处理的示例的图。
图10是图解说明根据本公开的一个实施例的图像处理设备执行的处理的示例的图。
图11是图解说明根据本公开的一个实施例的图像处理设备执行的处理的示例的图。
图12是图解说明根据本公开的一个实施例的图像处理设备执行的处理的示例的图。
图13是图解说明根据本公开的一个实施例的图像处理设备执行的处理序列的流程图。
具体实施方式
以下,参照附图描述根据本公开的实施例的图像处理设备、图像处理方法以及程序。将按以下顺序进行描述。
1.根据本公开的一个实施例的图像处理设备执行的处理
1-1.处理示例1:感觉到显示对象比显示表面更靠前方的显示处理示例
1-2.处理示例2:感觉到显示对象比显示表面更靠内侧的显示处理示例
1-3.处理示例3:感觉到左显示对象比显示表面更靠前方并且右显示对象比显示表面更靠内侧的显示处理示例
1-4.处理示例4:感觉到左显示对象比显示表面更靠内侧并且右显示对象比显示表面更靠前方的显示处理示例
2.图像处理设备的结构和处理
3.图像处理设备执行的处理序列
4.根据本公开的结构的结论
1.根据本公开的一个实施例的图像处理设备执行的处理
首先,参照图3A和3B以及之后的图描述根据本公开的一个实施例的成像设备执行的处理的详细示例。
在本公开的一个实施例的成像设备中,输入预先生成的3D图像显示用左眼图像(L图像)和右眼图像(R图像),并对LR图像执行例如图像校正处理,从而生成调节了视差的左眼图像(L图像)和右眼图像(R图像)。将所生成的图像输出到例如显示装置,并显示为3D图像。
将参照图3A和3B以及之后的图描述详细处理示例。将顺序描述以下四个详细处理示例。
1-1.处理示例1:感觉到显示对象比显示表面更靠前方的显示处理示例
1-2.处理示例2:感觉到显示对象比显示表面更靠内侧的显示处理示例
1-3.处理示例3:感觉到左显示对象比显示表面更靠前方并且右显示对象比显示表面更靠内侧的显示处理示例
1-4.处理示例4:感觉到左显示对象比显示表面更靠内侧并且右 显示对象比显示表面更靠前方的显示处理示例
1-1.处理示例1:感觉到显示对象比显示表面更靠前方的显示处理示例
首先,作为处理示例1,将参照图3A和3B描述感觉到显示对象比显示表面更靠前方的显示处理示例。
图3A示出了显示图像生成示例1,图3B示出了显示图像感觉示例1(全部都向前突出)。
图3A的显示图像生成示例1示出了由根据本公开的实施例的图像处理设备执行的图像处理的详细示例。
在根据本公开的实施例的图像处理设备中,输入预先生成的3D图像显示用左眼图像(L图像)和右眼图像(R图像);对LR图像中的至少一个执行图像缩小处理以生成校正LR图像;以及确定生成的校正LR的显示位置。
输入图像处理设备的3D图像显示用左眼图像(L图像)和右眼图像(R图像)是从不同视点拍摄的图像,并且是如参照图1A到2所描述的那样设定了与对象距离相应的视差的图像。
当在显示单元上原样显示这种图像时,可以感受到与视差相应的立体效果(深度感)。
图像处理设备接收从不同视点拍摄的3D图像显示用LR图像(例如,由3D摄像机拍摄的LR图像或从广播站接收的3D广播LR图像),并且图像处理设备对LR图像进行再处理以生成校正的LR图像,以供输出到显示单元。
根据本公开的实施例的图像处理设备以下对输入的LR图像中的至少一个图像执行水平方向(左右方向)上的图像缩小处理,从而实现视差调节。
图3A所示的示例示出了一个处理示例,其中作为输入图像的左眼图像(L图像)和右眼图像(R图像)两者均在水平方向上被缩小,从而产生左眼校正图像111和右眼校正图像112。
将左眼校正图像111和右眼校正图像112输出到显示装置,该显示 装置能够将3D图像显示为3D显示图像113。
例如,交替输出缩小的左眼校正图像111和缩小的右眼校正图像112,进行设定,使得佩戴快门型眼镜的观赏者的左眼仅观看到左眼校正图像111并且右眼仅观看到右眼校正图像112,从而能够观看到3D图像。
以下将详细描述图3A所示的图像校正处理。
输入到图像处理设备的原始输入LR图像的宽度由W来表示。
图像处理设备将输入的L图像的水平宽度缩小L×1,由此执行缩小处理,其中L图像在水平方向上的图像宽度从W减小到(W-L×1)。
换句话说,如果L图像在水平方向上的缩小比例是Lm,Lm=(W-L×1)/W。
按设定的缩小比例执行图像水平方向上的图像缩小处理,从而生成左眼校正图像111。
此外,图像处理设备将输入的R图像的水平宽度缩小R×2,由此执行缩小处理,其中R图像在水平方向上的图像宽度从W减小到(W-R×2)。
换句话说,如果R图像在水平方向上的缩小比例是Rm,Rm=(W-R×2)/W。
按设定的缩小比例执行图像水平方向上的图像缩小处理,从而生成右眼校正图像112。
此外,在该处理示例中,假设
图像处理设备确定所生成的左眼校正图像111和右眼校正图像112在显示单元上的显示位置。
在显示单元上的显示位置是图3A所示的左眼校正图像111和右眼校正图像112的位置。
也就是说,如果针对图3A中的左眼校正图像111和右眼校正图像112中的每一个所示的横向范围=W(x=0到w)的虚线范围是显示单元的显示画面区域,那么左眼校正图像111以x=L×1到w的位置为显示位置。
右眼校正图像112以x=0到(w-R×2)的位置为显示位置。
如上所述,图像处理设备确定所生成的左眼校正图像111和右眼校正图像112在显示单元上的显示位置。
如在图3A的左端所示,将描述左眼校正图像111和右眼校正图像112在水平方向是x并且垂直方向是y的坐标上的显示位置。
在校正前的输入LR图像在不校正的情况下显示在显示装置上的情况下,L图像和R图像均显示在x=0到w的位置。
与此对照,通过缩小处理生成的左眼校正图像111的水平方向宽度=(W-L×1)。
图像处理设备执行显示位置确定处理,使得左眼校正图像111的显示位置是x=L×1到w的位置。
此外,通过缩小处理生成的右眼校正图像112的水平方向宽度=(W-R×2)。
图像处理设备执行显示位置确定处理,使得右眼校正图像112的显示位置是x=0到(w-R×2)的位置。
图3B是图解说明在根据上述图像缩小处理和显示位置确定处理的处理结果来显示3D图像的情况下观赏者感觉到的图像的图。
为便于说明,将在如下假设下进行说明:图像没有视差,即,将校正前的作为输入图像的LR图像原样显示为3D图像,执行设定,从而在显示单元上将对象图像(即,输入的LR图像中包括的对象(苹果)和对象(桔子))显示在与它们在LR图像上的位置相同的位置。
换句话说,假设在显示单元上原样显示输入的LR图像的情况下,观赏者将对象(苹果)和对象(桔子)感觉成位于显示单元的显示表面的深度位置处的对象。
已经参照图1A描述了该设置。
根据上述图像缩小处理和显示位置确定处理的处理结果显示3D图像,从而观赏者感觉到对象好像位于图3B所示的感觉表面122处一样。
换句话说,对象(苹果)和对象(桔子)看起来好像它们两者都位于从显示表面121往前突出的感觉表面122上一样。
这基于参照图2描述的原理。
图3B示出了在感觉表面122与显示表面121之间的距离是深度距离,并且左端深度和右端深度分别被设定为左端深度=ZL和右端深度 =ZR的情况下,显示表面与感觉图像之间的距离信息。
此外,在该图所示的示例中,将作为产生每个对象的视差的因素的画面上的偏差量表示成如下。
左对象(苹果)的对象偏差量=(L×1)
右对象(桔子)的对象偏差量=(R×2)
此外,
均这种偏差是通过对输入LR图像的缩小和显示位置控制而产生的,通过这些处理产生了视差,并且感觉每个对象好像它位于在比显示表面121位于更前方的感觉表面122上一样。
由于 因此显示图像中的左端深度和右端深度ZL和ZR是
这样,在该处理示例1中,执行显示处理,其中感觉到总体显示图像比显示表面更靠前方。
在该示例中,如上所述,在校正前的输入LR图像中,如果原样观赏未对对象(苹果和桔子)设定视差的图像(即,输入LR图像),那么感觉到这些对象(苹果和桔子)位于显示表面上。
图像处理设备通过在水平方向上对输入LR图像执行缩小处理和显示位置控制,来控制视差控制,由此可以显示具有与输入LR图像的视差不同的视差的3D图像。
在本示例中,实现了这样的设置:可以感觉到整个显示画面在屏幕的前方。
此外,在本处理示例中,执行处理,从而在横向方向上缩小左眼图像和右眼图像中的至少一个,并且没有图像在显示表面以外的图像略去,因此可以在显示表面上显示期望显示的总体图像。
1-2.处理示例2:感觉到显示对象比显示表面更靠内侧的显示处理示例
接下来,作为处理示例2,参照图4A和4B描述感觉到显示对象比显示表面更靠内侧的显示处理示例。
类似于图3A和3B,图4A示出了显示图像生成示例2,图4B 示出了显示图像感觉示例2(全部都向内凹进)。
图4A的显示图像生成示例2示出了由根据本公开的实施例的图像处理设备执行的图像处理的详细示例。
如上所述,在根据本公开的实施例的图像处理设备中,输入预先生成的3D图像显示用左眼图像(L图像)和右眼图像(R图像);对LR图像中的至少一个执行图像缩小处理以生成校正LR图像;以及确定生成的校正LR的显示位置。
图像处理设备接收从不同视点拍摄的3D图像显示用LR图像(例如,由3D摄像机拍摄的LR图像或从广播站接收的3D广播LR图像),并且图像处理设备对LR图像进行再处理以生成校正的LR图像,以供输出到显示单元。
类似于参照图3A描述的处理示例,图4A所示的示例示出了一个处理示例,其中作为输入图像的左眼图像(L图像)和右眼图像(R图像)两者均在水平方向上被缩小,从而产生左眼校正图像131和右眼校正图像132。
将左眼校正图像131和右眼校正图像132输出到显示装置,该显示装置能够将3D图像显示为3D显示图像133。
例如,交替输出缩小的左眼校正图像131和缩小的右眼校正图像132,进行设定,使得佩戴快门型眼镜的观赏者的左眼仅观看到左眼校正图像131并且右眼仅观看到右眼校正图像132,从而能够观看到3D图像。
以下将详细描述图4A所示的图像校正处理。
输入到图像处理设备的原始输入LR图像的宽度由W来表示。
图像处理设备将输入的L图像的水平宽度缩小L×2,由此执行缩小处理,其中L图像在水平方向上的图像宽度从W减小到(W-L×2)。
换句话说,如果L图像在水平方向上的缩小比例是Lm,Lm=(W-L×2)/W。
按设定的缩小比例执行图像水平方向上的图像缩小处理,从而生成左眼校正图像131。
此外,图像处理设备将R图像的水平宽度缩小R×1,由此执行缩小 处理,其中R图像在水平方向上的图像宽度从W减小到(W-R×1)。
换句话说,如果R图像在水平方向上的缩小比例是Rm,Rm=(W-R×1)/W。
按设定的缩小比例执行图像水平方向上的图像缩小处理,从而生成右眼校正图像132。
此外,在该处理示例中,假设
图像处理设备确定所生成的左眼校正图像131和右眼校正图像132在显示单元上的显示位置。
在显示单元上的显示位置是图4A所示的左眼校正图像131和右眼校正图像132的位置。
也就是说,如果针对图4A中的左眼校正图像131和右眼校正图像132中的每一个所示的横向范围=W(x=0到w)的虚线范围是显示单元的显示画面区域,那么左眼校正图像131以x=0到(w-L×2)的位置为显示位置。
右眼校正图像132以x=R×1到w的位置为显示位置。
如上所述,图像处理设备确定所生成的左眼校正图像131和右眼校正图像132在显示单元上的显示位置。
如在图4A的左端所示,将描述左眼校正图像131和右眼校正图像132在水平方向是x并且垂直方向是y的坐标上的显示位置。
在校正前的输入LR图像在不校正的情况下显示在显示装置上的情况下,L图像和R图像均显示在x=0到w的位置。
与此对照,通过缩小处理生成的左眼校正图像131的水平方向宽度=(W-L×2)。
图像处理设备执行显示位置确定处理,使得左眼校正图像131的显示位置是x=0到(w-L×2)的位置。
此外,通过缩小处理生成的右眼校正图像132的水平方向宽度=(W-R×1)。
图像处理设备执行显示位置确定处理,使得右眼校正图像132的显示位置是x=R×1到w的位置。
图4B是图解说明在根据上述图像缩小处理和显示位置确定处理的处理结果来显示3D图像的情况下观赏者感觉到的图像的图。
为便于说明,将在如下假设下进行说明:图像没有视差,即,将校正前的作为输入图像的LR图像原样显示为3D图像,执行设定,从而在显示单元上将对象图像(即,输入的LR图像中包括的对象(苹果)和对象(桔子))显示在与它们在LR图像上的位置相同的位置。
换句话说,假设在显示单元上原样显示输入的LR图像的情况下,观赏者将对象(苹果)和对象(桔子)感觉成位于显示单元的显示表面的深度位置处的对象。
已经参照图1A描述了该设置。
根据上述图像缩小处理和显示位置确定处理的处理结果显示3D图像,从而观赏者感觉到对象好像位于图4B所示的感觉表面142处一样。
换句话说,对象(苹果)和对象(桔子)看起来好像它们两者都位于从显示表面141往内凹进的感觉表面142上一样。
这基于参照图1B描述的原理。
图4B示出了在感觉表面142与显示表面141之间的距离是深度距离,并且左端深度和右端深度分别被设定为左端深度=ZL和右端深度=ZR的情况下,显示表面与感觉图像之间的距离信息。
此外,在该图所示的示例中,将作为产生每个对象的视差的因素的画面上的偏差量表示成如下。
左对象(苹果)的对象偏差量=(R×1)
右对象(桔子)的对象偏差量=(L×2)
此外,
的这种偏差是通过对输入LR图像的缩小和显示位置控制而产生的,通过这些处理产生了视差,并且感觉每个对象好像它位于在比显示表面141更远离观赏者的感觉表面142上一样。
由于 因此显示图像中的左端深度和右端深度ZL和ZR是
这样,在该处理示例2中,执行显示处理,其中感觉到总体显示图 像比显示表面位于更远的位置。
在该示例中,如上所述,在校正前的输入LR图像中,如果原样观赏未对对象(苹果和桔子)设定视差的图像(即,输入LR图像),那么感觉到这些对象(苹果和桔子)位于显示表面上。
图像处理设备通过在水平方向上对输入LR图像执行缩小处理和显示位置控制,来控制视差控制,由此可以显示具有与输入LR图像的视差不同的视差的3D图像。
在本示例中,实现了这样的设置:可以感觉到整个显示画面在比屏幕更远的位置。
此外,在本处理示例中,执行处理,从而在横向方向上缩小左眼图像和右眼图像中的至少一个,并且没有图像在显示表面以外的图像略去,因此可以在显示表面上显示期望显示的总体图像。
1-3.处理示例3:感觉到左显示对象比显示表面更靠前方并且右显示对象比显示表面更靠内侧的显示处理示例
接下来,作为处理示例3,参照图5A和5B描述感觉到左显示对象比显示表面更靠前方并且右显示对象比显示表面更靠内侧的显示处理示例。
类似于图3A到4B,图5A示出了显示图像生成示例3,图5B示出了显示图像感觉示例3(左显示对象向前突出,右显示对象向内凹进)。
图5A的显示图像生成示例3示出了由根据本公开的实施例的图像处理设备执行的图像处理的详细示例。
如上所述,在根据本公开的实施例的图像处理设备中,输入预先生成的3D图像显示用左眼图像(L图像)和右眼图像(R图像);对LR图像中的至少一个执行图像缩小处理以生成校正LR图像;以及确定生成的校正LR的显示位置。
图像处理设备接收从不同视点拍摄的3D图像显示用LR图像(例如,由3D摄像机拍摄的LR图像或从广播站接收的3D广播LR图像),并且图像处理设备对LR图像进行再处理以生成校正的LR图像,以供 输出到显示单元。
在图5A所示的示例中,仅对作为输入图像的左眼图像(L图像)在水平方向上进行缩小,然后生成左眼校正图像151。
在不缩小的情况下,使用输入的右眼图像(R图像)作为右眼图像152。
将左眼校正图像151和右眼图像152输出到显示装置,该显示装置能够将3D图像显示为3D显示图像153。
例如,交替输出缩小的左眼校正图像151和右眼图像152,进行设定,使得佩戴快门型眼镜的观赏者的左眼仅观看到左眼校正图像151并且右眼仅观看到右眼图像152,从而能够观看到3D图像。
以下将详细描述图5A所示的图像校正处理。
输入到图像处理设备的原始输入LR图像的宽度由W来表示。
图像处理设备将输入的L图像的水平宽度缩小(L×1+L×2),由此执行缩小处理,其中L图像在水平方向上的图像宽度从W减小到(W-(L×1+L×2))。
换句话说,如果L图像在水平方向上的缩小比例是Lm,Lm=(W-(L×1+L×2))/W。
按设定的缩小比例执行图像水平方向上的图像缩小处理,从而生成左眼校正图像151。
此外,在该处理示例中,假设
在不缩小的情况下,使用输入的右眼图像(R图像)作为右眼图像152。
图像处理设备确定所生成的左眼校正图像151和右眼图像152在显示单元上的显示位置。
在显示单元上的显示位置是图5A所示的左眼校正图像151和右眼图像152的位置。
也就是说,如果针对图5A中的左眼校正图像151和右眼图像152中的每一个所示的横向范围=W(x=0到w)的虚线范围是显示单元的显示画面区域,那么左眼校正图像151以x=L×1到(w-L×2)的位置为显示 位置。
右眼图像152以x=0到w的位置为显示位置。
如上所述,图像处理设备确定所生成的左眼校正图像151和右眼图像152在显示单元上的显示位置。
如在图5A的左端所示,将描述左眼校正图像151和右眼图像152在水平方向是x并且垂直方向是y的坐标上的显示位置。
在校正前的输入LR图像在不校正的情况下显示在显示装置上的情况下,L图像和R图像均显示在x=0到w的位置。
与此对照,通过缩小处理生成的左眼校正图像151的水平方向宽度=(W-(L×1+L×2))。
图像处理设备执行显示位置确定处理,使得左眼校正图像151的显示位置是x=L×1到(w-L×2)的位置。
此外,通过缩小处理生成的右眼图像152的水平方向宽度=0到w。
图像处理设备执行显示位置确定处理,使得右眼校正图像152的显示位置是x=0到w的位置。
图5B是图解说明在根据上述图像缩小处理和显示位置确定处理的处理结果来显示3D图像的情况下观赏者感觉到的图像的图。
为便于说明,将在如下假设下进行说明:图像没有视差,即,将校正前的作为输入图像的LR图像原样显示为3D图像,执行设定,从而在显示单元上将对象图像(即,输入的LR图像中包括的对象(苹果)和对象(桔子))显示在与它们在LR图像上的位置相同的位置。
换句话说,假设在显示单元上原样显示输入的LR图像的情况下,观赏者将对象(苹果)和对象(桔子)感觉成位于显示单元的显示表面的深度位置处的对象。
已经参照图1A描述了该设置。
根据上述图像缩小处理和显示位置确定处理的处理结果显示3D图像,从而观赏者感觉到对象好像位于图5B所示的感觉表面162处一样。
换句话说,左对象(苹果)看起来好像它比显示表面161更靠前方一样,而右对象(桔子)看起来好像它位于从显示表面161往内凹进的 感觉表面162上一样。
这基于参照图1B和2描述的原理。
图5B示出了在感觉表面162与显示表面161之间的距离是深度距离,并且左端深度和右端深度分别被设定为左端深度=ZL和右端深度=ZR的情况下,显示表面与感觉图像之间的距离信息。
此外,在该图所示的示例中,将作为产生每个对象的视差的因素的画面上的偏差量表示成如下。
左对象(苹果)的对象偏差量=(L×1)
右对象(桔子)的对象偏差量=(L×2)
此外,
的这种偏差是通过对输入LR图像的缩小和显示位置控制而产生的,通过这些处理产生了视差。
结果,感觉左对象(苹果)比显示表面161更靠前方,而感觉右对象(桔子)位于比显示表面161更远离观赏者的位置处。
换句话说,感觉各个对象好像位于感觉表面162上一样,该感觉表面162倾斜,使得左侧位于比显示表面161更靠前的位置处,而右侧位于比显示表面162更靠内的位置处。
由于 因此显示图像中的左端深度和右端深度ZL和ZR是
这样,在该处理示例3中,执行显示处理,其中感觉各个对象好像位于感觉表面162上一样,该感觉表面162倾斜,使得左侧位于比显示表面161更靠前的位置处,而右侧位于比显示表面162更靠内的位置处。
在该示例中,如上所述,在校正前的输入LR图像中,如果原样观赏未对对象(苹果和桔子)设定视差的图像(即,输入LR图像),那么感觉到这些对象(苹果和桔子)位于显示表面上。
图像处理设备通过在水平方向上对输入LR图像执行缩小处理和显示位置控制,来控制视差控制,由此可以显示具有与输入LR图像的视差不同的视差的3D图像。
在本示例中,执行显示处理,其中感觉各个对象好像位于感觉表面 上一样,该感觉表面倾斜,使得左侧位于比显示表面更靠前的位置处,而右侧位于比显示表面更靠内的位置处。
此外,在本处理示例中,执行处理,从而在横向方向上缩小左眼图像和右眼图像中的至少一个,并且没有图像在显示表面以外的图像略去,因此可以在显示表面上显示期望显示的总体图像。
1-4.处理示例4:感觉到左显示对象比显示表面更靠内侧并且右显示对象比显示表面更靠前方的显示处理示例
接下来,作为处理示例4,参照图6A和6B描述感觉到左显示对象比显示表面更靠内侧并且右显示对象比显示表面更靠前方的显示处理示例。
类似于图3A到5B,图6A示出了显示图像生成示例4,图6B示出了显示图像感觉示例4(左显示对象向内凹进,右显示对象向前突出)。
图6A的显示图像生成示例4示出了由根据本公开的实施例的图像处理设备执行的图像处理的详细示例。
如上所述,在根据本公开的实施例的图像处理设备中,输入预先生成的3D图像显示用左眼图像(L图像)和右眼图像(R图像);对LR图像中的至少一个执行图像缩小处理以生成校正LR图像;以及确定生成的校正LR的显示位置。
图像处理设备接收从不同视点拍摄的3D图像显示用LR图像(例如,由3D摄像机拍摄的LR图像或从广播站接收的3D广播LR图像),并且图像处理设备对LR图像进行再处理以生成校正的LR图像,以供输出到显示单元。
在图6A所示的示例中,仅对作为输入图像的右眼图像(R图像)在水平方向上进行缩小,然后生成右眼校正图像172。
在不缩小的情况下,使用输入的左眼图像(L图像)作为左眼图像171。
将左眼图像171和右眼校正图像172输出到显示装置,该显示装置能够将3D图像显示为3D显示图像173。
例如,交替输出左眼图像171和缩小的右眼校正图像172,进行设定,使得佩戴快门型眼镜的观赏者的左眼仅观看到左眼图像171并且右眼仅观看到右眼校正图像172,从而能够观看到3D图像。
以下将详细描述图6A所示的图像校正处理。
输入到图像处理设备的原始输入LR图像的宽度由W来表示。
在不缩小的情况下,图像处理设备使用输入的左眼图像(L图像)作为左眼图像171。
图像处理设备将输入的R图像的水平宽度缩小(R×1+R×2),由此执行缩小处理,其中R图像在水平方向上的图像宽度从W减小到(W-(R×1+R×2))。
换句话说,如果R图像在水平方向上的缩小比例是Rm,Rm=(W-(R×1+R×2))/W。
按设定的缩小比例执行图像水平方向上的图像缩小处理,从而生成右眼校正图像172。
此外,在该处理示例中,假设
图像处理设备确定所生成的左眼图像171和右眼校正图像172在显示单元上的显示位置。
在显示单元上的显示位置是图6A所示的左眼图像171和右眼校正图像172的位置。
也就是说,如果针对图6A中的左眼图像171和右眼校正图像172中的每一个所示的横向范围=W(x=0到w)的虚线范围是显示单元的显示画面区域,那么左眼图像171以x=0到w的位置为显示位置。
右眼校正图像172以x=R×1到(w-R×2)的位置为显示位置。
如上所述,图像处理设备确定所生成的左眼图像171和右眼校正图像172在显示单元上的显示位置。
如在图6A的左端所示,将描述左眼图像171和右眼校正图像172在水平方向是x并且垂直方向是y的坐标上的显示位置。
在校正前的输入LR图像在不校正的情况下显示在显示装置上的情况下,L图像和R图像均显示在x=0到w的位置。
与此对照,通过缩小处理生成的右眼校正图像172的水平方向宽度=(W-(R×1+R×2))。
图像处理设备执行显示位置确定处理,使得右眼校正图像172的显示位置是x=R×1到(w-R×2)的位置。
此外,通过缩小处理生成的左眼图像171的水平方向宽度W=0到w。
图像处理设备执行显示位置确定处理,使得左眼图像171的显示位置是x=0到w的位置。
图6B是图解说明在根据上述图像缩小处理和显示位置确定处理的处理结果来显示3D图像的情况下观赏者感觉到的图像的图。
为便于说明,将在如下假设下进行说明:图像没有视差,即,将校正前的作为输入图像的LR图像原样显示为3D图像,执行设定,从而在显示单元上将对象图像(即,输入的LR图像中包括的对象(苹果)和对象(桔子))显示在与它们在LR图像上的位置相同的位置。
换句话说,假设在显示单元上原样显示输入的LR图像的情况下,观赏者将对象(苹果)和对象(桔子)感觉成位于显示单元的显示表面的深度位置处的对象。
已经参照图1A描述了该设置。
根据上述图像缩小处理和显示位置确定处理的处理结果显示3D图像,从而观赏者感觉到对象好像位于图6B所示的感觉表面182处一样。
换句话说,感觉左对象(苹果)位于比显示表面181更凹进(更远)的位置,而感觉右对象(桔子)比显示表面161更靠前方。也就是说,看起来对象好像位于感觉表面182一样。
这基于参照图1B和2描述的原理。
图6B示出了在感觉表面182与显示表面181之间的距离是深度距离,并且左端深度和右端深度分别被设定为左端深度=ZL和右端深度=ZR的情况下,显示表面与感觉图像之间的距离信息。
此外,在该图所示的示例中,将作为产生每个对象的视差的因素的画面上的偏差量表示成如下。
左对象(苹果)的对象偏差量=(R×1)
右对象(桔子)的对象偏差量=(R×2)
此外,
的这种偏差是通过对输入LR图像的缩小和显示位置控制而产生的,通过这些处理产生了视差。
结果,感觉左对象(苹果)比显示表面181更靠内侧,而感觉右对象(桔子)比显示表面181更靠前方。
换句话说,感觉各个对象好像位于感觉表面182上一样,该感觉表面182倾斜,使得左侧位于比显示表面181更靠内的位置处,而右侧位于比显示表面182更靠前的位置处。
由于 因此显示图像中的左端深度和右端深度ZL和ZR是
这样,在该处理示例4中,执行显示处理,其中感觉各个对象好像位于感觉表面182上一样,该感觉表面182倾斜,使得左侧位于比显示表面181更靠内的位置处,而右侧位于比显示表面181更靠前的位置处。
在该示例中,如上所述,在校正前的输入LR图像中,如果原样观赏未对对象(苹果和桔子)设定视差的图像(即,输入LR图像),那么感觉到这些对象(苹果和桔子)位于显示表面上。
图像处理设备通过在水平方向上对输入LR图像执行缩小处理和显示位置控制,来控制视差控制,由此可以显示具有与输入LR图像的视差不同的视差的3D图像。
在本示例中,执行显示处理,其中感觉各个对象好像位于感觉表面上一样,该感觉表面倾斜,使得左侧位于比显示表面更靠内的位置处,而右侧位于比显示表面更靠前的位置处。
此外,在本处理示例中,执行处理,从而在横向方向上缩小左眼图像和右眼图像中的至少一个,并且没有图像在显示表面以外的图像略去,因此可以在显示表面上显示期望显示的总体图像。
此外,图5A和5B或6A和6B所示的感觉表面显示成倾斜的并且斜地观看,从而显示在立体图像显示装置上的诸如时间码或菜单的屏上 显示(OSD)可以显示成倾斜的并且斜地观看。例如,在显示表面由触摸面板形成的情况下,可以将倾斜显示应用于触摸UI的显示方法,或者,在非接触触摸面板的情况下,可以执行触摸向前浮起的按钮的操作。此外,在3D游戏中,可以将倾斜显示用于各种图像显示。
2.图像处理设备的结构和处理
接下来,参照图7以及之后的图描述根据本公开一个实施例的图像处理设备中的结构和处理。
图7所示的图像处理设备300接收3D图像显示用左眼图像(L图像)201和右眼图像(R图像)202,对输入图像执行图像处理,并生成输出到能够显示3D图像的显示单元(如电视机)的输出图像251。
图像处理设备300包括L图像视角转换单元311和R图像视角转换单元321,其将输入LR图像的视角调节到输出显示表面的允许显示区域的大小。
此外,图像处理设备300包括对输入L图像201执行处理的L图像立体效果调节单元350和输入R图像202执行处理的R图像立体效果调节单元360,作为如参照图3A到6B描述的对输入LR图像执行缩小处理或显示位置确定处理的处理单元。
L图像立体效果调节单元350具有缩小处理执行部件351、显示位置确定部件352以及图像调节部件353。
R图像立体效果调节单元360具有缩小处理执行部件361、显示位置确定部件362以及图像调节部件363。
此外,图像处理设备300包括显示单元370和立体图像合成部件371,显示单元370具有显示表面372,显示表面372实际上利用背光或者自发光材料发光,并显示视差栅栏式或偏振式立体图像。
此外,图像处理设备300包括:输入单元330,从用户向其输入信息;和立体效果调节量确定单元340,其响应于来自输入单元330的输入信息或预先设定的缺省信息,确定立体效果调节量。
尽管图中未示出,但是图像处理设备300包括控制各个组成单元的处理的控制单元,和存储在控制单元中执行的程序、处理参数等的存储 器。
将描述图7所示的图像处理设备300执行的处理。
首先,将参照图8A到8C描述作为输入图像的左眼图像(L图像)201和右眼图像(R图像)202的示例。
如上所述,图像处理设备300接收预先生成的3D图像显示用左眼图像(L图像)201和右眼图像(R图像)202。换句话说,输入到图像处理设备300的3D图像显示用左眼图像(L图像)201和右眼图像(R图像)202是从不同视点拍摄的图像,并且是如参照图1A到2描述的那样根据对象距离设定了视差的图像。例如,3D图像显示用左眼图像(L图像)201和右眼图像(R图像)202是由3D摄像机从不同视点拍摄的3D图像显示用LR图像(如LR图像),或从广播站接收的3D广播用LR图像。
图8A到8C是图解说明LR图像的传输形式的示例的图,其中图8A示出了对每个帧交替传输LR图像的帧顺序方案;图8B示出了并排方案,其中将帧分成左右区域并传输,在左右区域中存储LR图像;图8C示出了上下方案,其中将帧分成上下区域并传输,在上下区域中存储LR图像。
例如,将按这种传输方案传输的LR图像输入到图像处理设备300。
图像处理设备300的L图像视角转换单元311和R图像视角转换单元321首先将输入的LR图像调节成适合于显示单元370的显示表面372的显示区域的尺寸。
具体来说,例如,在参照图3A到6B描述的示例中,执行处理,其中将图像宽度调节成W=0到w。还将图像高度调节成适合于显示表面372的高度。
接下来,参照图9描述来自输入单元330的输入信息的示例。
用户向输入单元330输入用于设定例如立体效果的信息。具体来说,例如,输入以下信息。
输入左深度信息ZL和右深度信息ZR。
深度信息ZL和ZR对应于参照图3A到6B描述的深度信息,并且对应于离显示表面的距离。
也就是说,如图9所示,深度信息ZL和ZR是对应于显示表面611与感觉表面612之间的距离的值。
在以下实施例中,将描述以下示例:相对于显示表面的位置0,将显示表面的前方(靠近观赏者)设定为负(-),将显示表面的内侧(远离观赏者)设定为正(+)。
例如,假设参数的允许设定范围是ZL=-50到+50,并且ZR=-50到+50,并且设定这些允许值。
在该设定中,如果用户输入ZL=-50和ZR=-50的参数,如参照图3A和3B描述的,执行3D图像显示控制,从而将感觉表面设定成比显示表面更靠前方(位于靠近观赏者的位置)。
此外,如果用户输入ZL=+50和ZR=+50的参数,如参照图4A和4B描述的,执行3D图像显示控制,从而将感觉表面设定成比显示表面更靠内侧(位于远离观赏者的位置)。
此外,如果用户输入ZL=-50和ZR=+50的参数,如参照图5A和5B描述的,执行3D图像显示控制,从而将感觉表面的左侧设定成比显示表面更靠前方(位于靠近观赏者的位置),并且将其右侧设定成比显示表面更靠内侧(位于远离观赏者的位置)。
将参照图10描述参数ZL和ZR的设定形式之间的对应关系和感觉表面的控制示例。图10示出了以下参数设定示例。
也就是说,图10的(1)示出了当ZL和ZR是0时的典型立体显示。
图10的(2)示出了当ZL和ZR是正数时将整个感觉表面设定成比显示表面更靠内侧(远离观赏者的位置)。
图10的(3)示出了当ZL和ZR是负数时将整个感觉表面设定成比显示表面更靠前方(靠近观赏者的位置)。
图10的(4)示出了当ZL是负数并且ZR是正数时将感觉表面的左侧(L)设定成比显示表面更靠前方(靠近观赏者的位置),而将右侧(R)设定成比显示表面更靠内侧(远离观赏者的位置)。
图10的(5)示出了当ZL是0并且ZR是负数时将感觉表面的左 侧(L)设定成位于显示表面的位置,而将其右侧(R)设定成比显示表面更靠前方(靠近观赏者的位置)。例如,对这些设置的控制是可以的。
接下来,参照图11描述立体效果调节量确定单元340执行的处理示例。
立体效果调节量确定单元340响应于从输入单元330输入的信息或预先设定的缺省信息来确定立体效果调节量。
如上所述,从输入单元330输入左深度信息ZL和右深度信息ZR。
立体效果调节量确定单元340基于所述信息确定如参照图3A到6B描述的用于执行各种图像校正和用于设定图像显示位置的调节量(控制参数)。
具体来说,如图11所示,立体效果调节量确定单元340确定L图像显示位置L×1和L×2、R图像显示位置R×1和R×2、L图像缩小比例Lm以及R图像缩小比例Rm的调节量(控制参数)。
此外,L×1表示左眼图像(L图像)的左端的显示位置;L×2表示左眼图像(L图像)的右端的显示位置;R×1表示右眼图像(R图像)的左端的显示位置;R×2表示右眼图像(R图像)的右端的显示位置。
换句话说,左眼图像(L图像)的横向宽度是(L×2-L×1),右眼图像(R图像)的横向宽度是(R×2-R×1)。
因此,如果显示表面的宽度表示为W,那么通过(W-(L×2-L×1))/W计算L图像缩小比例Lm,通过(W-(R×2-R×1))/W计算R图像缩小比例Rm。
根据从输入单元330输入的以下深度信息来确定L图像显示位置L×1和L×2以及R图像显示位置R×1和R×2中的每一个位置。
左深度信息ZL和右深度信息ZR
如参照图3A到6B以及10描述的,例如,在感觉表面的左侧显示在显示表面(屏幕)的前方的情况下,ZL<0,并且,在此情况下,可以执行设定,以满足L×1>R×1的条件。
这对应于图3A和3B以及图5A和5B中的设置。
此外,在感觉表面的左侧显示在内侧的情况下,ZL>0,并且,在此 情况下,可以执行设定,以满足L×1<R×1的条件。
这对应于图4A和4B以及图6A和6B中的设置。
此外,在感觉表面的右侧显示在显示表面(屏幕)的前方的情况下,ZR<0,并且,在此情况下,可以执行设定,以满足L×2<R×2的条件。
这对应于图3A和3B以及图6A和6B中的设置。
此外,在感觉表面的右侧显示在内侧的情况下,ZR>0,并且,在此情况下,可以执行设定,以满足L×2>R×2的条件。
这对应于图4A和4B以及图5A和5B中的设置。
立体效果调节量确定单元340根据从输入单元330输入的例如左深度信息ZL和右深度信息ZR确定L图像显示位置L×1和L×2以及R图像显示位置R×1和R×2的显示位置,以满足上述条件。
此外,立体效果调节量确定单元340存储被设定成满足上述条件的计算公式、算法或表,并基于所存储的日期,根据从输入单元330输入的深度信息ZL和ZR来计算L图像显示位置L×1和L×2以及R图像显示位置R×1和R×2。
此外,立体效果调节量确定单元340应用所计算出的L图像显示位置L×1和L×2以及R图像显示位置R×1和R×2的值,从而计算L图像缩小比例Lm和R图像缩小比例Rm。
将由立体效果调节量确定单元340生成的参数(即,图像显示位置L×1和L×2、R图像显示位置R×1和R×2、L图像缩小比例Lm以及R图像缩小比例Rm)提供给L图像立体效果调节单元350和R图像立体效果调节单元360。
L图像立体效果调节单元350和R图像立体效果调节单元360对左眼图像和右眼图像中的至少任意图像执行横向方向的缩小处理和放大处理,并生成调节了视差的校正图像。
以下将参照图12描述该处理。
将由立体效果调节量确定单元340生成的L图像相关控制参数(即,L图像显示位置L图像显示位置L×1和L×2以及L图像缩小比例Lm)输入到L图像立体效果调节单元350。
L图像立体效果调节单元350的缩小处理执行部件351根据L图像缩小比例Lm对L图像执行横向方向的缩小处理。
此外,L图像立体效果调节单元350的显示位置确定部件352根据L图像显示位置L×1和L×2确定L图像的显示位置。
此外,图像调节部件353执行要将缩小的L图像显示在所确定的位置处所需的其他图像调节,以输出到显示单元370的立体图像合成部件371。
按相同的方式,将由立体效果调节量确定单元340生成的R图像相关控制参数(即,R图像显示位置R图像显示位置R×1和R×2以及R图像缩小比例Rm)输入到R图像立体效果调节单元360。
R图像立体效果调节单元360的缩小处理执行部件361根据R图像缩小比例Rm对R图像执行横向方向的缩小处理。
此外,R图像立体效果调节单元360的显示位置确定部件362根据R图像显示位置R×1和R×2确定R图像的显示位置。
此外,图像调节部件363执行要将缩小的R图像显示在所确定的位置处所需的其他图像调节,以输出到显示单元370的立体图像合成部件371。
显示单元370的立体图像合成部件371根据预定3D图像显示格式执行用于将从L图像立体效果调节单元350输入的L图像和从R图像立体效果调节单元360输入的R图像显示在显示表面372上的处理。
例如,交替输出左眼校正图像和右眼校正图像(其中至少一个被缩小了),执行设定,使得佩戴快门型眼镜的观赏者的左眼仅观看到左眼校正图像且右眼仅观看到右眼校正图像,从而在感觉表面上观看到作为3D图像的校正图像,如参照图3A到图6B描述的。
3.图像处理设备执行的处理序列
接下来,将参照图13所示的流程图描述图像处理设备执行的处理序列。
在步骤S101中,对输入的LR图像执行视角转换,以适合于显示单 元。
该处理是由图7所示的L图像视角转换单元311和R图像视角转换单元321执行的处理。L图像视角转换单元311和R图像视角转换单元321将输入的LR图像的视角调节成输出显示表面的允许显示区域的尺寸。
此外,可以将亮度分量或色度分量调节成适合于显示表面的特征。
接着,在步骤S102中,确定是否通过输入单元输入了来自用户的显示调节请求。这是用于确定是否输入了已经参照图7和9描述的从输入单元330输入的立体效果设定信息(具体来说,左深度信息ZL和右深度信息ZR)的处理。
如果输入了所述信息,那么步骤S102中的确定结果是肯定的(是),并且流程进行到步骤S104。
如果未输入所述信息,那么流程进行到步骤S103。
在步骤S103中,基于输入LR图像中包括的或者设定的元数据(属性信息),或者使用预设值(缺省值),来确定设定值(左深度信息ZL和右深度信息ZR)。
在步骤S103中,例如,可以将对输入图像的亮度分量、色度分量等的检测结果相互比较,并且可以基于左眼图像和右眼图像的特征量(如特征点的偏离)来计算设定值(左深度信息ZL和右深度信息ZR)。
在步骤S104中,在基于用户输入、元数据的设定值或者缺少值的基础上,确定用于图像的缩小校正或者用于设定其显示位置的控制参数(调节量)。
具体来说,如参照图11描述的,确定L图像显示位置L×1和L×2、R图像显示位置R×1和R×2、L图像缩小比例Lm以及R图像缩小比例Rm的调节量(控制参数)。
在步骤S104中,例如,可以利用存储在立体效果调节量确定单元340中的表值、计算算法等,基于预先设定的计算方法,从输入的特征量确定调节立体效果所需的水平方向的缩小比例和水平方向的图像输出位置。
由图7所示的立体效果调节量确定单元340执行步骤S102到S104中的处理。
接着,在步骤S105中,基于控制参数(调节量)执行LR图像的校正及其显示位置的设定。
由图7所示的L图像立体效果调节单元350和R图像立体效果调节单元360执行所述处理。
最后,在步骤S106中,使用校正的LR图像显示3D图像。
由图7所示的显示单元370执行该处理。
交替输出左眼校正图像和右眼校正图像(其中至少一个被缩小了),执行设定,使得佩戴快门型眼镜的观赏者的左眼仅观看到左眼校正图像且右眼仅观看到右眼校正图像,从而在感觉表面上观看到作为3D图像的校正图像,如参照图3A到图6B描述的。
此外,尽管在上述实施例中描述了缩小了左眼图像和右眼图像中的至少任意图像的处理示例,但是,即使在执行放大左眼图像和右眼图像中的至少任意图像的处理的情况下,也可以通过视差调节进行立体效果控制,并且可以执行放大处理而不是缩小处理。作为另一种方式,可以组合使用这两种处理。
4.根据本公开的结构的结论
如上所述,已经参照具体实施例详细描述了本公开的实施例。然而,显然,本领域技术人员可以在不脱离本公开的精神的情况下对实施例进行修改或替换。换句话说,由于作为示例的形式公开了本实施例,因此不应当将其解释成限制了本公开。应当考虑权利要求以判断本公开的精神。
此外,本说明书中公开的技术可以采用以下结构。
(1)一种图像处理设备,包括:立体效果调节单元,接收用于三维图像显示的左眼图像和右眼图像,并通过校正作为输入图像的接收图像来执行立体效果调节;其中,所述立体效果调节单元对所述左眼图像和右眼图像中的至少任意图像执行横向方向上的缩小处理或放大处理,并生成调节了视差的校正图像。
(2)在(1)中所述的图像处理设备,其中所述立体效果调节单元确定通过对所述左眼图像和右眼图像中的至少任意图像进行缩小或放大而生成的校正图像在显示单元上的显示位置。
(3)在(1)或(2)中所述的图像处理设备,还包括:输入单元,能够向所述输入单元输入图像设置信息;和立体效果调节量确定单元,根据从所述输入单元输入的图像设置信息确定用于确定图像校正类型的控制参数,其中,所述立体效果调节单元根据由所述立体效果调节量确定单元确定的控制参数,执行图像校正处理和显示位置确定处理。
(4)在(1)到(3)中的任一项中所述的图像处理设备,其中从所述输入单元输入的图像设置信息是显示图像的左端部深度信息ZL和右端部深度信息ZR,其中所述立体效果调节量确定单元基于所述左端部深度信息ZL和右端部深度信息ZR,确定所述左眼图像和右眼图像的缩放率及其在所述显示单元上的显示位置。
(5)在(1)到(4)中的任一项中所述的图像处理设备,其中所述立体效果调节量确定单元基于附加到所述输入图像的元数据,确定所述左眼图像和右眼图像的缩放率及其在所述显示单元上的显示位置。
(6)在(1)到(5)中的任一项中所述的图像处理设备,还包括显示单元,所述显示单元执行应用了作为由所述立体效果调节单元生成的校正图像的左眼图像和右眼图像的3D图像显示。
在本说明书中描述的处理序列可以由硬件、软件或其组合来执行。当由硬件执行处理序列时,可以通过将记录处理序列的程序安装在嵌入在专用硬件中的计算机的存储器中,或者例如通过在能够执行各种处理的通用个人计算机中安装所述程序,来执行处理序列。例如,可以将程序预先记录在记录介质中。也可以不从记录介质将程序安装在计算机中,而是通过诸如LAN(局域网)或因特网的网络接收程序,并将其安装在诸如嵌入的硬盘的记录介质中。
此外,在本说明书中描述的各种处理不仅可以按照所描述的顺序按时间序列执行,也可以根据执行处理的装置的处理能力或根据需要 并行或者分开地执行。此外,在本说明书中,系统是多个组成装置的逻辑集合并且并不限于在同一机壳内的各个组成装置。
本公开包含与于2011年4月8日在日本专利局提交的日本在先专利申请JP 2011-085994中公开的主题相关的主题,通过引用将其全部内容并入于此。
本领域的技术人员应明白,根据设计要求和其他因素,可以作出各种修改、组合、子组合和变更,只要它们在所附权利要求或其等同物的范围之内即可。

Claims (9)

1.一种图像处理设备,包括:
立体效果调节单元,接收用于三维图像显示的左眼图像和右眼图像;
其中,所述立体效果调节单元基于能够分别对每个图像设定的不同调节量,对所述左眼图像和右眼图像中的至少任意图像执行横向方向上的缩小处理或放大处理,并生成调节了视差的校正图像。
2.根据权利要求1所述的图像处理设备,其中所述立体效果调节单元确定校正图像在显示单元上的显示位置。
3.根据权利要求1所述的图像处理设备,还包括:
输入单元;和
立体效果调节量确定单元,根据从所述输入单元输入的信息确定所述调节量。
4.根据权利要求3所述的图像处理设备,其中从所述输入单元输入的信息是显示图像的左端部深度信息ZL和右端部深度信息ZR,
其中所述立体效果调节量确定单元基于所述左端部深度信息ZL和右端部深度信息ZR,确定所述调节量以及所述左眼图像和右眼图像的在所述显示单元上的显示位置。
5.根据权利要求3所述的图像处理设备,其中所述立体效果调节量确定单元基于附加到所述输入图像的元数据,确定所述调节量以及显示位置。
6.根据权利要求1所述的图像处理设备,还包括显示单元,所述显示单元显示所述校正图像。
7.根据权利要求2所述的图像处理设备,其中所述立体效果调节单元基于所述左眼图像和右眼图像的特征量,确定所述调节量和所述显示位置。
8.根据权利要求7所述的图像处理设备,其中所述特征量是亮度分量或色度分量。
9.一种在图像处理设备中执行的图像处理方法,包括:
使立体效果调节单元接收用于三维图像显示的左眼图像和右眼图像;
其中,立体效果的调节包括基于能够分别对每个图像设定的不同调节量,对所述左眼图像和右眼图像中的至少任意图像执行横向方向上的缩小处理或放大处理,并生成调节了视差的校正图像。
CN201210094555.8A 2011-04-08 2012-04-01 图像处理设备、图像处理方法 Expired - Fee Related CN102740103B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-085994 2011-04-08
JP2011085994A JP6089383B2 (ja) 2011-04-08 2011-04-08 画像処理装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN102740103A CN102740103A (zh) 2012-10-17
CN102740103B true CN102740103B (zh) 2016-12-14

Family

ID=46210073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210094555.8A Expired - Fee Related CN102740103B (zh) 2011-04-08 2012-04-01 图像处理设备、图像处理方法

Country Status (4)

Country Link
US (2) US9041781B2 (zh)
EP (1) EP2509325A3 (zh)
JP (1) JP6089383B2 (zh)
CN (1) CN102740103B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6089383B2 (ja) * 2011-04-08 2017-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5817639B2 (ja) * 2012-05-15 2015-11-18 ソニー株式会社 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
KR101917224B1 (ko) * 2012-09-18 2018-11-13 엘지이노텍 주식회사 영상데이터 전송장치
EP3513380B1 (en) * 2016-10-26 2023-12-27 Huawei Technologies Co., Ltd. Method and device for depth detection using stereo images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956554A (zh) * 2005-09-03 2007-05-02 三星电子株式会社 三维图像处理装置和方法
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06149227A (ja) * 1992-11-07 1994-05-27 Sony Corp 拡大表示装置
JPH0819003A (ja) * 1994-06-29 1996-01-19 Matsushita Electric Ind Co Ltd 立体画像生成装置
JPH08240789A (ja) * 1995-03-03 1996-09-17 Canon Inc 画像表示装置及び画像入力装置
JP3653790B2 (ja) * 1995-05-23 2005-06-02 松下電器産業株式会社 立体電子ズーム装置及び立体画質制御装置
JP3303255B2 (ja) * 1995-12-28 2002-07-15 富士写真光機株式会社 ズームレンズの駆動装置
JP3749227B2 (ja) 2002-03-27 2006-02-22 三洋電機株式会社 立体画像処理方法および装置
JP2004214985A (ja) * 2002-12-27 2004-07-29 Canon Inc 画像処理装置及び画像再生装置
JP4212987B2 (ja) * 2003-08-26 2009-01-21 シャープ株式会社 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP2006221372A (ja) * 2005-02-09 2006-08-24 Namco Bandai Games Inc 立体視用印刷物の製造方法、立体視用印刷物、画像生成方法及びプログラム
KR101719980B1 (ko) * 2010-06-22 2017-03-27 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
JP5430266B2 (ja) * 2009-07-21 2014-02-26 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP2011085994A (ja) 2009-10-13 2011-04-28 Nippon Telegr & Teleph Corp <Ntt> 広告配信装置、広告配信方法および広告配信プログラム
JP4763827B2 (ja) * 2009-11-26 2011-08-31 富士フイルム株式会社 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
EP2355526A3 (en) * 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP2012023676A (ja) * 2010-07-16 2012-02-02 Fujifilm Corp 立体画像処理装置及び立体画像表示装置
JP5059922B2 (ja) * 2010-09-15 2012-10-31 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP6089383B2 (ja) * 2011-04-08 2017-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956554A (zh) * 2005-09-03 2007-05-02 三星电子株式会社 三维图像处理装置和方法
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法

Also Published As

Publication number Publication date
US20120256912A1 (en) 2012-10-11
EP2509325A2 (en) 2012-10-10
US20150229917A1 (en) 2015-08-13
JP2012222588A (ja) 2012-11-12
US9516300B2 (en) 2016-12-06
EP2509325A3 (en) 2015-10-21
US9041781B2 (en) 2015-05-26
JP6089383B2 (ja) 2017-03-08
CN102740103A (zh) 2012-10-17

Similar Documents

Publication Publication Date Title
EP3379525B1 (en) Image processing device and image generation method
CN104010178B (zh) 双目图像视差调节方法及装置和双目相机
CN102177721B (zh) 处理信号中包括的视差信息的方法
EP2448276B1 (en) GUI providing method, and display apparatus and 3D image providing system using the same
CN101587386B (zh) 光标处理方法、装置及系统
US9049435B2 (en) Image providing apparatus and image providing method based on user&#39;s location
EP2378783A1 (en) 3D display apparatus, method for setting display mode, and 3D display system
WO2012036120A1 (ja) 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP2011071898A (ja) 立体映像表示装置および立体映像表示方法
TW201223247A (en) 2D to 3D user interface content data conversion
US20160249043A1 (en) Three dimensional (3d) glasses, 3d display system and 3d display method
CN103404155A (zh) 具有自适应视差的3d显示方法和系统
CN102740103B (zh) 图像处理设备、图像处理方法
CN105723705A (zh) 用于自动立体多视图显示器的图像的生成
WO2020246292A1 (ja) 映像配信システム、映像配信方法、及び表示端末
JP2013128181A (ja) 表示装置、表示方法および表示プログラム
CN103609104A (zh) 用于立体效应调整的交互式用户接口
CN103686118A (zh) 影像深度调整方法与装置
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
CN102802015B (zh) 一种立体图像视差优化方法
US9432654B2 (en) Modifying fusion offset data in sequential stereoscopic image frames
JP5036088B2 (ja) 立体画像処理装置、立体画像処理方法およびプログラム
JP2011223126A (ja) 立体映像表示装置および立体映像表示方法
US20140293027A1 (en) 3D Stereoscopic Image Generating Method, 3D Stereoscopic Image Generating System and Non-Transitory Computer-Readable Medium that Stores 3D Stereoscopic Image Generating Program
TW201327470A (zh) 調整立體影像之景深的方法以及顯示立體影像的方法與相關裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161214

Termination date: 20210401

CF01 Termination of patent right due to non-payment of annual fee