CN103444193A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN103444193A
CN103444193A CN2012800141916A CN201280014191A CN103444193A CN 103444193 A CN103444193 A CN 103444193A CN 2012800141916 A CN2012800141916 A CN 2012800141916A CN 201280014191 A CN201280014191 A CN 201280014191A CN 103444193 A CN103444193 A CN 103444193A
Authority
CN
China
Prior art keywords
image
displacement
horizontal direction
value
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800141916A
Other languages
English (en)
Other versions
CN103444193B (zh
Inventor
森藤孝文
绪形昌美
冈本美树
原雅章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103444193A publication Critical patent/CN103444193A/zh
Application granted granted Critical
Publication of CN103444193B publication Critical patent/CN103444193B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion

Abstract

信息处理设备和方法提供了用于处理信息的逻辑。在一种实施方式中,计算机实现的方法包括:接收与多个图像相关联的空间位置。该方法基于至少一个空间位置来确定图像在相反的第一和第二水平方向上的位移。该方法然后利用处理器,基于所确定的位移来产生所述图像的第一组成部分和第二组成部分。

Description

图像处理设备和图像处理方法
技术领域
本申请基于并且要求于2011年3月28日提交的日本专利申请JP2011-069311的优先权的权益,其全部内容通过引用结合于此。
公开的示例性实施例涉及图像处理设备和图像处理方法。更具体地,公开的示例性实施例涉及处理在深度方向上的不同位置处摄取的多个图像以产生用于立体图像的显示的左眼图像和右眼图像的图像处理设备和图像处理方法。
背景技术
例如,PTL1描述了利用双眼视差的立体图像的显示,如图8中所示。图8示出了对象(例如,物体)的左右图像在屏幕上被显示的位置与在利用双眼视差的立体图像的显示中对象的立体图像在屏幕上被再现的位置之间的关系。例如,就对象A而言,其左图像La为了在屏幕上显示被向右移位,而其右图像Ra为了在屏幕上显示被向左移位,如在图中所示,由于相对于屏幕表面在近侧左右视线彼此交叉,所以相对于屏幕表面在近侧的位置处再现了对象的立体图像。参考字母DPa表示对象A的水平视差矢量。
另外,例如,就对象B而言,其左图像Lb和右图像Rb被显示在屏幕上同一位置处,如图中所示,由于在屏幕表面上左右视线彼此交叉,所以在屏幕表面上的位置处再现了对象的立体图像。此外,例如,就对象C而言,其左图像Lc为了在屏幕上显示被向左移位,而其右图像Rc为了在屏幕上显示被向右移位,如图中所示,由于相对于屏幕表面在远侧左右视线彼此交叉,所以相对于屏幕表面在远侧的位置处再现了对象的立体图像。参考字母DPc表示对象C的水平视差矢量。
例如,目前荧光显微镜已被用于摄取活体(诸如,人的细胞)的在深度方向上的不同位置处的图像。荧光显微镜能用于摄取在每个深度方向位置处的图像,却不会被近侧的物体遮挡。
荧光显微镜是这样一种显微镜,其中,荧光材料被附着至例如要被观察的细胞,荧光材料用激光等来照射以激发该荧光材料,当从激发态回到基态时发出的光被观察到。例如,共聚焦显微镜和双光子激发显微镜作为荧光显微镜是已知的,这里省略它们的详细描述。
引用列表
专利文献
PLT1:日本未审查专利申请公报第2005-6114号
发明内容
技术问题
如上所述,以上面描述的方式经常对在深度方向上的不同位置处摄取的多个图像应用针对每个像素的相加和平均处理以产生用于评价的一个二维图像。图9示出了对二十个图像应用相加和平均处理以产生一个二维图像的示例性应用。参考号“#1”至“#20”表示摄取的图像,而参考号“#1-#20”表示产生的二维图像。在这种情况中,尽管多个图像在不同深度方向位置被摄取并且具有三维信息,但是多个图像在二维状态中退化并且被评价,三维信息未被有效利用。
此外,例如,在现有技术中为了达到立体效果,视点变化并移动,或者执行阴影处理(hatching),以突出层次关系。然而,当视点变化和移动时,需要执行反映用户的视点的操作,因此存在的缺点在于不能关注于评价。另外,用于突出层次关系的阴影处理不足以达到立体效果。
所公开的示例性实施例可有效地使用与在不同深度方向位置处摄取的多个图像相关联的三维信息以允许显示具有充足立体效果的图像。
问题的解决方案
与示例性实施例一致,计算机实现的方法接收与多个图像相关联的数据。该数据指定图像的空间位置。该方法包括至少基于空间位置来确定图像的在第一水平方向和第二水平方向上的位移(displacement)。第一水平方向与第二水平方向相反。该方法包括利用处理器,基于确定的位移产生图像的第一组成(composite)和第二组成部分。
与另一示例性实施例一致,一种信息处理设备,其包括接收单元,被配置成接收与多个图像相关联的数据。该数据指定图像的空间位置。确定单元被配置成至少基于空间位置来确定图像在第一水平方向和第二水平方向上的位移。第一水平方向与第二水平方向相反。产生单元被配置成基于所确定的位移来产生图像的第一组成部分和第二组成部分。
与另一示例性实施例一致,一种有形的、非暂时计算机可读介质,存储了指令,当该指令被至少一个处理器执行时,使该处理器执行一种方法,该方法包括:接收与多个图像相关联的数据。该数据指定图像的空间位置。该方法包括至少基于所述空间位置来确定图像在第一水平方向和第二水平方向上的位移。第一水平方向与第二水平方向相反。该方法包括利用处理器基于确定的位移产生图像的第一组成部分和第二组成部分。
发明的有益效果
根据所公开的示例性实施例,能够有效地使用关于在不同深度方向位置处摄取的多个图像的三维信息以允许显示具有充足立体感的图像。
附图说明
图1是示出根据第一示例性实施例的图像处理设备的构造的示例的框图。
图2是与公开的示例性实施例一致的用于描述在图像产生单元中的图像的移位处理以及相加和平均处理的图。
图3是与公开的示例性实施例一致的示出在真实空间中摄取的图像中的水平尺寸、垂直尺寸以及深度距离和在3D监控显示器上的水平尺寸、垂直尺寸以及深度的示例的图。
图4包括与公开的示例性实施例一致的用于描述深度方向位置与图像的移位量之间的(线性的和非线性的)关系的图。
图5是示出根据第二示例性实施例的图像处理设备的构造的示例的框图。
图6包括与公开的示例性实施例一致的用于描述图像产生单元中的隐藏面消除的图。
图7是与公开的示例性实施例一致的用于描述当仅最近的图像具有有效区域时的隐藏面消除的图。
图8是用于描述对象的左右图像在屏幕上被显示的位置与在利用双眼视差的立体图像的显示中对象立体图像在屏幕上被再现的位置之间的关系的图。
图9是用于描述在现有技术中对在深度方向上的不同位置处摄取的多个图像执行针对每个像素的相加和平均处理以产生一个二维图像的处理的图。
图10是与公开的示例性实施例一致的示例性计算机系统的图。
具体实施方式
下面,将描述本公开的示例性实施例。这里,将按照下面的顺序来进行描述:
1.第一实施例;
2.第二实施例;
3.变形例;以及
4.示例性计算机系统
1.第一实施例
a.图像处理设备的构造
图1示出了根据第一示例性实施例的图像处理设备100的构造的示例。该图像处理设备100包括图像产生单元101、移位量确定单元102、以及图像质量调整单元103。该图像处理设备100基于在不同深度方向位置处摄取的并且在对应的接收单元处被接收的多个(例如,N个)图像(例如,荧光显微镜图像)来产生用于立体图像的显示的左眼图像和右眼图像。
图像产生单元101执行使多个图像(图像数据)基于其深度方向位置相对于参考位置处的图像在相反方向上移位的处理以产生向其提供了视差的一组左眼图像和一组右眼图像。然后,图像产生单元101对各个图像组执行针对每个像素位置的像素的相加和平均处理以产生左眼图像SL和右眼图像SR。
图2示出了与公开的实施例一致的在图像产生单元101中的处理的示例。在此处理的示例中,在深度方向上以固定的间隔在依次变化的位置处摄取的8个图像#1至#8被处理,并且图像#4用作参考位置处的图像。
图像产生单元101执行使八个图像基于其在深度方向位置相对于参考位置处的图像(图像#4)水平地移位的处理,以产生组成左眼图像组的多个图像。具体地,图像产生单元101使在近侧的图像(图像#3至#1)基于其深度方向位置相对于参考位置处的图像在一个水平方向上依次移位并且使在远侧的图像(图像#5至#8)基于其在深度方向上的位置相对于参考位置处的图像在另一水平方向上移位。
在这种情况下,图像产生单元101使近侧的图像相对于参考位置处的图像(图像#4)在水平方向上依次移位“+d’”。这使得最近的图像(图像#1)相对于在参考位置处的图像(图像#4)水平地移位了“+3d’”。另外,在这种情况下,图像产生单元101使远侧的图像相对于参考位置处的图像(图像#4)在水平方向上依次移位“-d’”。这使得最远的图像(图像#8)相对于参考位置处的图像(图像#4)水平地移位了“-4d’”。这里,“d’”指示通过移位量确定单元102基于成像条件和显示条件以下面所描述的方式确定的移位量。
然后,图像产生单元101对组成经历了移位处理的左眼图像组的多个图像(图像#1至#8)执行针对每个像素位置的像素(像素数据)的相加和平均处理,以产生左眼图像SL(#1-#8)。在这种情况下,由于执行了移位处理,所以要经历相加和平均处理的像素的数量是1至8中取决于像素位置的任意一个。
另外,图像产生单元101执行使八个图像基于在深度方向位置相对于参考位置处的图像(图像#4)水平地移位的处理,以产生组成右眼图像组的多个图像。具体地,图像产生单元101使在近侧的图像(图像#3至#1)基于其深度方向位置相对于参考位置处的图像在另一水平方向上依次移位并且使在远侧的图像(图像#5至#8)基于其深度方向位置相对于参考位置处的图像在该一个水平方向上移位。此移位处理是这样的处理,其中在与上面的情况(其中产生了组成左眼图像组的多个图像)中的方向相反的方向上执行对称的移位。
在这种情况下,图像产生单元101使近侧的图像相对于参考位置处的图像(图像#4)在水平方向上依次移位“-d’”。这使得最近的图像(图像#1)相对于在参考位置处的图像(图像#4)水平地移位了“-3d’”。另外,在这种情况下,图像产生单元101使远侧的图像相对于参考位置处的图像(图像#4)在水平方向上依次移位“+d’”。这使得最远的图像(图像#8)相对于参考位置处的图像(图像#4)水平地移位了“+4d’”。
然后,图像产生单元101对组成经历了移位处理的右眼图像组的多个图像(图像#1至#8)执行针对每个像素位置的像素(像素数据)的相加和平均处理以产生右眼图像SR(#1-#8)。在这种情况下,由于执行了移位处理,所以要经历相加和平均处理的像素的数量是1至8中取决于像素位置的任意一个。
再参照图1,移位量确定单元102基于成像条件和显示条件来确定移位量d。现在将详细描述在移位量确定单元102中确定移位量d’的方法。这里,图3示出了在真实空间中摄取的图像中的水平尺寸、垂直尺寸以及深度距离和在3D监控显示器上的水平尺寸、垂直尺寸以及深度的示例。
假定所摄取的图像的点距表示为dps[m],则所摄取的图像上的深度距离通过Zs[pixel]=Zs[m]/dps来计算。相反,在立体显示中再现的深度Ld[m]通过Ld=Ls*de/(de+d)来计算。这里,Ls表示视距,de表示左眼与右眼之间的距离,d表示视差(近侧的值被定义为正值)。为了在摄取的图像被显示时根据视角产生立体图像,d被设定成等于Zs的值。
这里,假定最近的目标图像的视差通过dmax来表示,而最远的目标图像的视差通过dmin来表示,则下面的等式(1)成立:
[数学式1]
Z s [ pixel ] · dp d = L d min - L d max = L s · d e d e + d min - L s · d e d e + d max ≈ L s ( d max - d min ) d e + ( d max - d min ) = L s Δd d e + Δd . . . ( 1 )
这里,dpd表示显示器上的点距。dmax与dmin之间的差Δd通过从等式(1)得到的下面的等式(2)来表示,并且Δd还通过根据等式(3)的像素值来表示。
[数学式2]
Δd = d max - d min = Z s [ pixel ] · dp d · d e L s - Z s [ pixel ] · dp d . . . ( 2 )
[数学式3]
Δd [ pixel ] = Δd [ m ] dp d = Z s [ pixel ] · d e L s - Z s [ pixel ] · dp d . . . ( 3 )
移位量d’[pixel]通过从等式(3)得到的等式(4)来表示,其中,N表示所摄取的图像的数量:
[数学式4]
d ′ = Δd 2 ( N - 1 ) . . . ( 4 )
这里,将等式(3)代入等式(4)并且添加缩放参数s(通常等于1)得到等式(5):
[数学式5]
s · d ′ = s · Z s [ pixel ] · d e 2 ( N - 1 ) ( L s - Z s [ pixel ] · dp d ) . . . ( 5 )
这里,如果不能获得所有的参数,则可以以下面的方式预先设定这些参数:
(1)显示器是1,920*1,080的46V大小面板,点距dpd等于0.053m。
(2)视距LS等于3H(显示器高度的三倍)。
(3)左眼与右眼之间的距离de等于6.5cm。
另外,d’可适当地与一个常数相乘。在这种情况下,调整缩放参数s。此外,如果Δd超过了舒适的视差范围,则降低d’以使d’进入舒适的视差范围。在这种情况下,缩放参数s被调整。可根据(例如)假定的视距或屏幕尺寸来计算舒适的视差范围,而在本文中将省略上面的计算的详细描述。例如,对于46V尺寸TV能实现舒服的观看的范围是在1.7m的视距处深度在0.5m(近侧)至1.5m(远侧)并且在用视差替代时通过-56像素(近侧)至55像素(远侧)来表示。
另外,在上面的描述中,线性地设定深度方向位置与图像的移位量之间的关系,如图4中所示。因此,执行在深度方向上使在以固定的间隔依次变化的位置处摄取的八个图像#1至#8依次移位移位量d’的处理。在这种情况下,通过等分Δd来计算要给出每个图像的视差。
然而,可非线性地设定深度方向位置与图像的移位量之间的关系,如图4(b)中所示。在这种情况下,通过非线性地划分Δd来计算要给出每个图像的视差。由于视差与深度之间的关系本就是非线性的,所以以上面的方式非线性地设定深度方向位置与图像的移位量之间的关系允许深度被合适地再现。
再参照图1,图像质量调整单元103对在图像产生单元101中产生的左眼图像SL和右眼图像SR执行图像质量调整,如对比度调整,以输出经历了图像质量调整的左眼图像SL’和右眼图像SR’。在这种情况下,例如,扩展图像产生单元101中所产生的每个图像的动态范围允许暗图像被调整成亮图像以使图像容易观看。
将描述图1中所示的图像处理设备100的操作。在不同深度方向位置处摄取的多个图像(图像数据)被提供至图像产生单元101。另外,指示成像条件(诸如,所摄取的图像的点距和所摄取的图像的深度距离)和显示条件(诸如,视距和左右眼之间的距离)的参数被提供至移位量确定单元102。然后,在移位量确定单元102中,基于例如等式(5)来确定移位量d’。在图像产生单元101中移位每个图像的处理中使用此移位量d’。
在图像产生单元101中,执行使多个(n个)图像基于其深度方向位置相对于在参考位置处的图像在相反的方向上进行移位的处理,以产生向其给出了视差的左眼图像组和右眼图像组。然后,在图像产生单元101中,对各个图像组执行针对每个像素位置的像素的相加和平均处理以产生左眼图像SL和右眼图像SR。
在图像产生单元101中产生的左眼图像SL和右眼图像SR被提供至图像质量调整单元103。在图像质量调整单元103中,对左眼图像SL和右眼图像SR执行诸如对比度调整的图像质量调整。例如,图像产生单元101中产生的每个图像的动态范围被扩展以将暗图像调整成亮图像。然后,从图像质量调整单元103输出经历了图像质量调整的左眼图像SL’和右眼图像SR’。
如上面所描述的,在图1中所示的图像处理设备100中,在图像产生单元101中基于在深度方向上的不同位置处摄取的多个图像产生了向其给出了视差的左眼图像SL和右眼图像SR。具体地,在图像产生单元101中,执行了使在深度方向上不同位置处摄取的多个图像基于其深度方向位置相对于在参考位置处的图像在相反的方向上移位的处理,以产生向其给出了视差的左眼图像组和右眼图像组。
然后,在该图像产生单元101中,对各个图像组执行针对每个像素位置的像素的相加和平均处理以产生左眼图像SL和右眼图像SR。因此,关于在不同深度方向位置处摄取的多个图像的三维信息被有效地使用,以产生向其给出了视差的左眼图像SL和右眼图像SR,因此,允许显示具有充足立体效果的图像。
此外,在图1中所示的图像处理设备100中,在图像产生单元101中产生的左眼图像SL和右眼图像SR被提供至执行诸如对比度调整的图像质量调整的图像质量调整单元103。因此,例如,图像产生单元101中产生的图像SL和SR中的每一个的动态范围被扩展以允许暗图像被调整成亮图像,因此使立体图像容易观看。
2.第二实施例
a.图像处理设备的构造示例
图5示出了根据第二示例性实施例的图像处理设备100A的构造的示例。该图像处理设备100A包括图像产生单元101A、移位量确定单元102以及图像质量调整单元103。在图5中使用相同的参考号以标识图1中的对应部件。本文中适当地省略这种部件的详细描述。
该图像处理设备100A基于在不同深度方向位置处摄取的多个图像来产生用于立体图像的显示的左眼图像和右眼图像,与在图1中所示的图像处理设备100一样。然而,在该图像处理设备100A中,由于在图像产生单元101A中执行了隐藏面消除,例如,在每个深度方向位置处的图像(其中在近侧的物体无期望地出现)能够作为多个(n个)图像而不是荧光显微镜图像被处理。
图像产生单元101A执行了使多个(n个)图像基于其深度方向位置相对于在参考位置处的图像在相反的方向上移位的处理以产生对其给出了视差的左眼图像组和右眼图像组。然后,图像产生单元101A对各个图像组执行针对每个像素位置的像素的相加和平均处理,以产生左眼图像SL和右眼图像SR。此处理与图1中所示的图像处理设备100中的图像产生单元101中的处理相同。
与图像产生单元101不同,图像产生单元101A在对每个图像组执行相加和平均处理时基于关于有效区域的信息来执行隐藏面消除。这里,有效区域指示在每个图像被摄取的位置处物体实际存在的区域。例如,关于有效区域的信息可由用户手动地提供。可选地,例如,就关于有效区域的信息而言,可在(例如)图像产生单元101A中提取具有较高空间频率的部分或具有较低空间频率的部分,并且所提取的部分可用作有效区域。顺便提及,在图5中,从图像产生单元101A的外部提供了关于有效区域的信息。
现在将描述隐藏面消除。图6(a)示出了与公开的实施例一致的其中未执行隐藏面消除的情况。在这种情况中,在每个像素位置处的累积权重等于“1/像素数”。例如,在八个图像彼此重叠的像素位置处的累积权重等于1/8。相反,图6(b)示出了与公开的实施例一致的其中执行了隐藏面消除的情况。在这种情况中,在无有效区域的每个像素位置处的累积权重等于“1/像素的数量”。然而,有效区域内的累积权重等于1,在远侧的图像的累积权重在与近侧的图像的有效区域的隐藏面对应的部分处等于0。这里,隐藏面消除不限于图6中所示的方法。
图7示出了与公开的实施例一致的在仅最近的图像(图像#1)具有有效区域的情况中的隐藏面消除。这里,为了简化图,图7中仅示出了在左眼图像SL中的处理。这种情况中,在图#1的有效区域内的每个像素位置处,图像#1中的像素直接用作左眼图像SL(#1-#8)中的像素。相反,在图像#1的有效区域外部的每个像素位置处,每个图像中的像素经历相加和平均处理以使用该结果作为左眼图像SL(#1-#8)。
图5中所示的图像处理设备100A的其余构造与图1中所示的图像处理设备100的构造相同,并且图5中所示的图像处理设备100A以与图1中所示的图像处理设备100相同的方式进行操作。
图5中所示的图像处理设备100A具有与图1中所示的图像处理设备100的那些优点相同的优点。此外,在图5中所示的图像处理设备100A中,在图像产生单元101A中,通过对左眼图像组和右眼图像组执行针对每个像素位置的像素的相加和平均处理来执行在左眼图像SL和右眼图像SR的产生过程中的隐藏面消除(参照图6(b))。因此,例如,在每个深度方向位置处的图像(其中,在近侧的物体无预期地出现)能够作为多个(n个)图像而不是荧光显微镜图像被处理。换言之,可执行隐藏面消除以产生左眼图像SL和右眼图像SR,而不利用关于每个图像的错误的三维信息。
3.变形例
在上面描述的实施例中,在不同深度方向位置处摄取的多个图像是通过以荧光显微镜为例的显微镜摄取的图像。然而,本技术还可应用于这样的情况,其中,处理在不同深度方向位置处摄取的其他多个图像,以产生用于立体图像的显示的左眼图像和右眼图像。
4.示例性计算机系统
在一种实施例中,可利用如图10中所示的计算机系统1000来实现上述的设备的功能和与该设备相关联的各种单元。此外,在另外的实施例中,可通过利用被存储在有形的、非暂时计算机可读存储介质中的指令来控制计算机系统1000来实现结构元件、部分以及单元的一个或多个的功能。在这种实施例中,计算机系统1000的示例包括、但不限于个人计算机,膝上型计算机、平板电脑、移动电话、智能电话、个人数字助理(PDA)、移动信息终端和/或移动游戏平台。
如图10中所示,计算机系统1000包括中央处理单元(CPU)1002、主机总线1008、桥1010以及有形的计算机可读存储介质,该存储介质的示例包括只读存储器(ROM)1004、以及随机存取存储器(RAM)1006。此外,计算机系统1000包括外部总线1012、接口1014、输入单元1016、输出单元1018、存储单元1020、驱动器1022、连接端口1024以及通信单元1026。
例如,CPU1002可用作运算处理单元或控制单元,并且基于被存储在ROM1004、RAM1006、存储单元1020或可移动记录介质1028内的各种指令来控制每个结构元件的全部操作或一部分操作。ROM1004可被构造成存储例如要被加载在CPU1002上的指令或在算术运算中使用的数据等。RAM1006暂时地或永久地存储例如要被加载在CPU1002上的指令或在程序的执行中任意变化的各种参数等。
这些结构元件通过例如能够执行高速数据传输的主机总线1008彼此连接。例如,主机总线1008通过桥1010被连接至其数据传输速度相对较低的外部总线1012。此外,输入单元1016可包括例如鼠标、键盘、触摸面板、按钮、开关或杆。另外,输入单元1016可以是能通过利用红外线或其他无线电波传输控制信号的远程控制。
输出单元1018可以是包括但不限于阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器(PDP)、电致发光显示器(ELD)的显示设备,和可向获取信息的用户提供视觉的或听觉的通知的音频输出装置(例如,扬声器或头戴式耳机)、打印机、移动电话和/或传真机。
存储单元1020是有形的、非暂时的计算机可读存储介质或用于存储各种数据的装置的示例。存储单元1020可包括例如诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置。
驱动器1022是读取诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质1028上记录的信息并且将信息写入可移除记录介质1028中的装置。可移除记录介质1028是有形的、非暂时存储介质(例如,DVD介质、蓝光介质、HD-DVD介质、各种类型的半导体存储介质等)的另一示例。可移除记录介质1028可以是(例如)其上安装了非接触IC芯片的电子装置或IC卡。IC是集成电路的缩写。
连接端口1024可以是包括但不限于USB端口、IEEE1394端口、SCSI、RS-232C端口或用于连接外部连接装置1030(诸如光声终端)的端口的端口。外部连接装置1030可以例如是打印机、移动音乐播放器、数码相机、摄像机或IC记录器。
通信单元1026是要被连接至网络1032的通信装置,并且例如是有线的或无线的LAN的通信卡、蓝牙或无线USB、光通信路由器、ADSL路由器或用于各种类型通信的调制解调器。连接至通信单元1026的网络1032根据有线连接的或无线连接的网络来构造,并且例如是因特网、家用LAN、红外通信、可见光通信、广播或卫星通信。
本领域的技术人员应当理解的是,根据设计要求或其他因素,可出现各种变形、组合、子组合以及变化,只要它们在所附权利要求或其等价物的范围内。
应当注意,本公开可采用下面的构造。
(1)一种图像处理设备,包括:
图像产生单元,其处理在深度方向上不同位置处摄取的多个图像,以产生左眼图像和右眼图像,
其中该图像产生单元执行使多个图像根据其深度方向位置相对于在参考位置的图像在相反方向上移位的处理,以产生向其给出了视差的左眼图像组和右眼图像组,并且该图像产生单元对各个图像组执行针对每个像素位置的像素的相加和平均处理,以产生左眼图像和右眼图像。
(2)根据(1)的图像处理设备,
其中该图像产生单元执行如下处理:使多个图像中的在参考位置的近侧的图像基于其深度方向位置相对于在参考位置处的图像在一个水平方向上依次移位并且使多个图像中的在参考位置的远侧的图像基于其深度方向位置相对于在参考位置处的图像在另一水平方向上移位,以产生组成左眼图像组的多个图像,并且对所述多个图像执行针对每个像素位置的像素的相加和平均处理,以产生左眼图像,以及
其中,该图像产生单元执行如下处理:使多个图像中的在参考位置的近侧的图像基于其深度方向位置相对于在参考位置处的图像在另一水平方向上依次移位并且使多个图像中的在参考位置的远侧的图像基于其深度方向位置相对于在参考位置处的图像在该一个水平方向上移位,以产生组成右眼图像组的多个图像,并且对所述多个图像执行针对每个像素位置的像素的相加和平均处理,以产生右眼图像。
(3)根据(1)的图像处理设备,
其中,深度方向位置与图像的移位量之间的关系被线性地设置。
(4)根据(1)图像处理设备,
其中,当对各个图像组执行相加和平均处理时,该图像产生单元执行隐藏面消除。
(5)根据(1)的图像处理设备,进一步包括:
图像质量调整单元,其对在该图像产生单元中产生的各个图像至少执行对比度调整。
(6)根据(1)的图像处理设备,
其中,在深度方向上的不同位置处摄取的多个图像是荧光显微镜图像。
(7)一种图像处理方法,包括:
第一步:执行使在深度方向上不同位置处摄取的多个图像基于其深度方向位置相对于在参考位置处的图像在相反的方向上移位的处理,以产生向其给出了视差的左眼图像组和右眼图像组;以及
第二步:对在第一步中产生的各个图像组执行针对每个像素位置的像素的相加和平均处理,以产生左眼图像和右眼图像。
参考标记列表
100、100A图像处理设备
101、101A图像产生单元
102移位量确定单元
103图像质量调整单元

Claims (20)

1.一种用于产生图像的计算机实现的方法,包括:
接收与多个图像相关联的数据,所述数据指定所述图像的空间位置;
至少基于所述空间位置来确定所述图像在第一水平方向和第二水平方向上的位移,所述第一水平方向与所述第二水平方向相反;以及
利用处理器,基于所确定的位移产生所述图像的第一组成部分和第二组成部分。
2.根据权利要求1所述的方法,进一步包括:基于至第一眼的所述第一组成图像和至第二眼的所述第二组成图像的投影来创建用于被用户感知的立体图像。
3.根据权利要求2所述的方法,其中,所述第一眼对应于人的左眼,所述第二眼对应于人的右眼。
4.根据权利要求2所述的方法,其中,所述立体图像是可经由荧光显微镜感知的。
5.根据权利要求1所述的方法,进一步包括:基于所接收的数据将所述图像中的一个标识为参考图像,所述参考图像与对应的参考空间位置相关联。
6.根据权利要求5所述的方法,其中,所述确定进一步包括:
确定在垂直方向上分开所述图像中的对应图像与所述参考图像的距离;以及
至少基于分开距离的对应值来计算所述图像的所述位移的量值。
7.根据权利要求6所述的方法,其中,
所述确定进一步包括获得成像条件或显示条件中的至少一个;以及
所述计算包括基于所获得的信息来计算所述图像的所述位移的所述量值。
8.根据权利要求6所述的方法,其中,所述图像中的至少一个的所述位移的量值与所述分开距离的所述对应值成正比。
9.根据权利要求6所述的方法,其中,所述图像中的至少一个的所述位移的量值按照非线性关系与所述分开距离的所述对应值相关联。
10.根据权利要求6所述的方法,其中,所述确定进一步包括:
针对所述图像中的至少一个,确定所计算的位移的量值是否超过阈值;以及
当所述位移的量值超过所述阈值时,计算所述位移的修改的量值,所述修改的量值小于所计算的量值。
11.根据权利要求6所述的方法,其中,所述确定进一步包括:确定所述图像的第一组位移和所述图像的第二组位移,所述第一组位移对应于所述第一组成图像,所述第二组位移对应于所述第二组成图像。
12.根据权利要求11所述的方法,所述第一组位移和所述第二组位移与所述位移的对应量值相关联。
13.根据权利要求11所述的方法,其中,确定所述第一组位移包括:
确定所述图像中对应的一个在垂直方向上是否被布置在所述参考图像之上;
当对应图像在垂直方向上被布置在所述参考图像之上时,将所述对应图像的第一位移与所述第一水平方向相关联;以及
当所述对应图像在垂直方向上被布置在所述参考图像之上时,将所述对应图像的第一位移与所述第二水平方向相关联。
14.根据权利要求11所述的方法,其中确定所述第二组位移包括:
确定所述图像中对应的一个是否在垂直方向上被布置在所述参考图像之上;
当对应图像在垂直方向上被布置在所述参考图像之上时,将所述对应图像的第二位移与所述第一水平方向相关联;以及
当所述对应图像在垂直方向上被布置在所述参考图像之上时,将所述对应图像的第二位移与所述第二水平方向相关联。
15.根据权利要求11所述的方法,其中,所述产生进一步包括:
基于所述图像的确定的第一位移来产生所述第一组成图像;以及
基于所述图像的确定的第一位移来产生所述第二组成图像。
16.根据权利要求1所述的方法,其中,所述产生进一步包括:
对被移位的图像中的对应的一个中的像素的值应用相加和平均处理;以及
基于经处理的像素值产生所述第一组成图像和所述第二组成图像。
17.根据权利要求16所述的方法,其中,所述产生进一步包括:获得标识在所述图像中的至少一个内的有效区域的信息,所述有效区域指示在所述图像中的所述至少一个内的物体的出现。
18.根据权利要求17所述的方法,其中,所述应用进一步包括:
对布置在所述有效区域外的一个或多个像素的值应用所述相加和平均处理;以及
在所述第一组成图像和所述第二组成图像内保持在所述有效区域内布置的至少一个像素的值。
19.一种信息处理设备,包括:
接收单元,其被配置成接收与多个图像相关联的数据,所述数据指定所述图像的空间位置;
确定单元,其被配置成至少基于所述空间位置来确定所述图像在第一水平方向和第二水平方向上的位移,所述第一水平方向与所述第二水平方向相反;以及
产生单元,其被配置成基于所确定的位移产生所述图像的第一组成部分和第二组成部分。
20.一种有形的、非暂时计算机可读介质,其存储了当被至少一个处理器执行时使所述至少一个处理器执行如下方法的指令:
接收与多个图像相关联的数据,所述数据指定所述图像的空间位置;
至少基于所述空间位置来确定所述图像在第一水平方向和第二水平方向上的位移,所述第一水平方向与所述第二水平方向相反;以及
基于所确定的位移产生所述图像的第一组成部分和第二组成部分。
CN201280014191.6A 2011-03-28 2012-03-21 图像处理设备和图像处理方法 Expired - Fee Related CN103444193B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-069311 2011-03-28
JP2011069311A JP5987267B2 (ja) 2011-03-28 2011-03-28 画像処理装置および画像処理方法
PCT/JP2012/001960 WO2012132333A1 (en) 2011-03-28 2012-03-21 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
CN103444193A true CN103444193A (zh) 2013-12-11
CN103444193B CN103444193B (zh) 2016-01-20

Family

ID=45937512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280014191.6A Expired - Fee Related CN103444193B (zh) 2011-03-28 2012-03-21 图像处理设备和图像处理方法

Country Status (6)

Country Link
US (1) US9779539B2 (zh)
EP (1) EP2692139A1 (zh)
JP (1) JP5987267B2 (zh)
KR (1) KR20140020921A (zh)
CN (1) CN103444193B (zh)
WO (1) WO2012132333A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507059A (zh) * 2016-12-08 2017-03-15 廖其荣 一种加油站红外成像监测设备
CN110520833A (zh) * 2017-05-09 2019-11-29 华为技术有限公司 一种vr绘图方法、设备及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140118505A1 (en) * 2012-10-26 2014-05-01 Reald Inc. Stereoscopic image capture
CN104378163A (zh) * 2014-11-14 2015-02-25 北京智谷睿拓技术服务有限公司 可见光信号接收控制方法、控制装置及接收设备
CN104393931B (zh) * 2014-11-17 2018-12-25 北京智谷睿拓技术服务有限公司 可见光信号接收控制方法、控制装置及接收设备
US20160313548A1 (en) * 2015-04-21 2016-10-27 Olympus Corporation Method for capturing image of three-dimensional structure of specimen and microscopic device
US20170155886A1 (en) * 2015-06-24 2017-06-01 Derek John Hartling Colour-Z: Low-D Loading to High-D Processing
DE102016101967B9 (de) * 2016-02-04 2022-06-30 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtungen zur Stereobilddarstellung
JP6790544B2 (ja) * 2016-07-21 2020-11-25 コニカミノルタ株式会社 トモシンセシス撮影画像選定装置及びトモシンセシス撮影画像生成システム
EP4006615A1 (en) * 2020-11-30 2022-06-01 Leica Instruments (Singapore) Pte. Ltd. Imaging system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1462416A (zh) * 2000-08-04 2003-12-17 动态数字视距研究有限公司 图像变换和编码技术
EP1598688A2 (en) * 2004-05-21 2005-11-23 Keyence Corporation Fluorescence microscope
US20100021141A1 (en) * 2008-07-24 2010-01-28 Panasonic Corporation Play back apparatus, playback method and program for playing back 3d video

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6108296A (en) * 1995-06-07 1996-12-30 David M. Geshwind An interactive computer system for creating three-dimensiona l image information and for converting two-dimensional image information for three-dimensional display systems
JP4298016B2 (ja) * 1997-09-25 2009-07-15 株式会社東芝 超音波診断装置
US6191809B1 (en) * 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
AU752405B2 (en) * 1998-03-27 2002-09-19 Hideyoshi Horimai Three-dimensional image display
JP3619063B2 (ja) * 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd 2次元映像を3次元映像に変換する装置及びその方法
US7197193B2 (en) * 2002-05-03 2007-03-27 Creatv Microtech, Inc. Apparatus and method for three dimensional image reconstruction
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
WO2005057496A1 (ja) * 2003-12-09 2005-06-23 Japan Science And Technology Agency 画像からの対象物検出方法及び対象物検出装置
JP4707368B2 (ja) * 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3d 입체 영상 처리 장치 및 방법
WO2009020277A1 (en) * 2007-08-06 2009-02-12 Samsung Electronics Co., Ltd. Method and apparatus for reproducing stereoscopic image using depth control
WO2010048632A1 (en) * 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
EP2474167A4 (en) * 2009-09-01 2014-12-10 Prime Focus Vfx Services Ii Inc SYSTEM AND PROCESS FOR TRANSFORMING TWO-DIMENSIONAL IMAGES TO THREE-DIMENSIONAL IMAGES
JP2011069311A (ja) 2009-09-28 2011-04-07 Mitsubishi Heavy Ind Ltd 圧縮機、組立方法
GB2478776B (en) * 2010-03-18 2015-08-19 Snell Ltd Analysis of stereoscopic images
JP5846738B2 (ja) * 2011-01-06 2016-01-20 任天堂株式会社 表示制御プログラム、表示装置、表示システム、および、表示制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1462416A (zh) * 2000-08-04 2003-12-17 动态数字视距研究有限公司 图像变换和编码技术
EP1598688A2 (en) * 2004-05-21 2005-11-23 Keyence Corporation Fluorescence microscope
US20100021141A1 (en) * 2008-07-24 2010-01-28 Panasonic Corporation Play back apparatus, playback method and program for playing back 3d video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507059A (zh) * 2016-12-08 2017-03-15 廖其荣 一种加油站红外成像监测设备
CN110520833A (zh) * 2017-05-09 2019-11-29 华为技术有限公司 一种vr绘图方法、设备及系统
CN110520833B (zh) * 2017-05-09 2020-12-08 华为技术有限公司 一种vr绘图方法、设备及系统

Also Published As

Publication number Publication date
EP2692139A1 (en) 2014-02-05
US9779539B2 (en) 2017-10-03
WO2012132333A1 (en) 2012-10-04
CN103444193B (zh) 2016-01-20
US20130342530A1 (en) 2013-12-26
JP2012205169A (ja) 2012-10-22
JP5987267B2 (ja) 2016-09-07
KR20140020921A (ko) 2014-02-19

Similar Documents

Publication Publication Date Title
CN103444193B (zh) 图像处理设备和图像处理方法
US8884952B2 (en) 3D display apparatus and method for processing image using the same
JP5741683B2 (ja) 立体映像処理装置及び立体映像処理方法
CN102474644B (zh) 立体图像显示系统、视差转换装置、视差转换方法
EP3350989B1 (en) 3d display apparatus and control method thereof
US9177411B2 (en) Display apparatus and display method thereof
EP2849443A1 (en) Display device and method of controlling the same
EP2618584A1 (en) Stereoscopic video creation device and stereoscopic video creation method
US9615084B2 (en) Method and system for reducing stereoscopic display crosstalk
US20110228057A1 (en) Image Processing Apparatus, Image Conversion Method, and Program
EP2373044A1 (en) Stereoscopic image display device
CN102883120A (zh) 一种双画面图像显示装置及控制方法
Shao et al. Visual discomfort relaxation for stereoscopic 3D images by adjusting zero-disparity plane for projection
CN102572463A (zh) 视频信号处理装置、视频信号处理方法和计算机程序
CN106559662B (zh) 多视图图像显示设备及其控制方法
JP6377155B2 (ja) 多視点映像処理装置及びその映像処理方法
CN103067730A (zh) 视频处理装置、视频处理方法以及视频显示装置
JP6025740B2 (ja) エネルギー値を用いたイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法
CN102281423A (zh) 3d视频场频转换系统及场频转换方法
Liu et al. Deinterlacing of depth-image-based three-dimensional video for a depth-image-based rendering system
JP4481275B2 (ja) 3次元映像情報の伝送方法
Tezuka et al. Superpixel-based 3D warping using view plus depth data from multiple viewpoints
US20130127843A1 (en) Display apparatus and display method thereof
TWI463434B (zh) 將2d影像形成3d影像之影像處理方法
WO2012131752A1 (ja) 奥行き情報更新装置、立体映像生成装置および奥行き情報更新方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160120

Termination date: 20210321