CN103181175A - 立体影像转换装置及立体影像显示装置 - Google Patents

立体影像转换装置及立体影像显示装置 Download PDF

Info

Publication number
CN103181175A
CN103181175A CN2011800491169A CN201180049116A CN103181175A CN 103181175 A CN103181175 A CN 103181175A CN 2011800491169 A CN2011800491169 A CN 2011800491169A CN 201180049116 A CN201180049116 A CN 201180049116A CN 103181175 A CN103181175 A CN 103181175A
Authority
CN
China
Prior art keywords
image
convergent angle
convergent
conversion
maximum disparity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800491169A
Other languages
English (en)
Inventor
有田真一
紫村智哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN103181175A publication Critical patent/CN103181175A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种立体影像转换装置,该立体影像转换装置在显示立体观看用的影像时,能够使缩入方向上的视差量为规定视差以下来进行显示,而不依赖于画面尺寸。立体影像转换装置(100)包括:拍摄条件提取部(111),该拍摄条件提取部(111)提取作为拍摄左右影像时的拍摄条件的会聚角转换信息;以及影像转换部(112),该影像转换部(112)改变拍摄左右影像时的会聚角。影像转换部(112)包括:会聚角修正值计算部,该会聚角修正值计算部基于由拍摄条件提取部(111)提取出的会聚角转换信息及显示左右影像的显示画面的显示尺寸信息,来计算左右影像的最大视差量,并计算使所计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值;以及会聚角转换处理部,该会聚角转换处理部基于所计算出的会聚角修正值,来生成改变了拍摄左右影像时的会聚角的影像。

Description

立体影像转换装置及立体影像显示装置
技术领域
本发明涉及一种立体影像转换装置及包括该装置的立体影像显示装置,该立体影像转换装置能够将影像转换成规定视差量以下的立体影像,并将其显示,而与显示画面尺寸无关。
背景技术
为使用立体显示装置来进行立体影像的立体观看,需要对左眼和右眼显示与各自的视点相对应的不同的影像。该不同的影像即为根据两眼视差而拍摄到的左右图像,通过分别对观众的双眼入射左右图像,从而能够实现与左右图像的视差量相对应的立体感。
在进行立体观看时,左右图像的视差量是多大程度地感受到从显示面向观众前方侧跳出、或从显示面向内侧方向缩入的较大因素。例如,在跳出到显示装置的前方的情况下,通过较用于左眼的图像更左侧地显示用于右眼的图像,并较用于右眼的图像更右侧地显示用于左眼的图像来实现。此时,左右图像的视差量越大、跳出的量越大。另外,通过使其具有相反的视差量,可以使其显示成向显示装置的显示面内侧缩入。例如,通过较用于左眼的图像更右侧地显示用于右眼的图像,并较用于右眼的图像更左侧地显示用于左眼的图像,能够感受到向显示面内侧方向缩入的立体感。此时,左右图像的视差量越大,向内侧方向的缩入量也越大。另外,在左右图像不具有视差的情况下,看起来好像显示于显示面上。
也就是说,根据所显示的左右图像的视差量,进行立体观看时的纵深发生变化。由于以较大的视差量来进行显示将导致眼睛疲劳,或可能无法融合(融合限制),因此需要注意所显示的视差量。关于与上述立体显示时的视差量相关的注意事项,提出有由3D协会发行的“3DC安全指南”等。特别地,在向纵深方向缩入而显示的情况下,由于在以观众的瞳孔间距以上的视差来进行显示时,左右眼球面对睁开方向,因此容易导致眼睛疲劳,对此需要注意。这里,在相同的拍摄条件下进行拍摄,并显示所保存的左右图像时,由于因显示装置尺寸的不同而使得视差量有所不同,因此具有在利用大画面来进行收视时、所显示的视差较大的问题。
基于图13、对由于画面尺寸的不同而导致的视差问题进行说明。图13(A)、(B)分别是表示对画面尺寸不同的立体影像显示装置进行收视的情况的概要图,图中,303表示立体影像显示装置。图13(A)、(B)中,显示尺寸以外的收视条件相同,两眼间距300的观众X对一起显示相同的左右影像数据的立体影像显示装置303进行收视。图13(A)中,立体影像显示装置303的画面宽度为Wa,而在图13(B)中,立体影像显示装置303的画面宽度为Wb,并且具有关系Wa<Wb。
由于影像数据相同,因此在图13(B)中,图13(A)中的左右影像中的目标点302L、302R分别被显示于与画面尺寸大小成比例的位置即目标点302L′、302R′上。这里,图13(A)中,目标点的视差量为视差量da,而在图13(B)中,由于画面尺寸有所变化,因此与显示画面尺寸相对应地放大显示成视差量db。因此,产生如图13(B)那样、具有两眼间距300以上的视差的情况。由此,即使左右影像数据相同,以多大的尺寸来进行显示也较为重要。
这里,简单地对拍摄图像的视差进行说明。
对于拍摄左右影像的立体拍摄装置,存在有为使显示立体影像时的立体感发生变化、而使两个拍摄装置的光轴成角度地进行会聚配置的拍摄系统。由此,若将两个拍摄装置进行会聚配置在左右、并使该两个拍摄装置面向内侧,则右侧拍摄装置的拍摄视野与左侧拍摄装置的拍摄视野的关系根据被摄体的纵深而发生改变。在被摄体处于眼前时,右侧拍摄装置的拍摄视野位于右侧,而左侧拍摄装置的拍摄视野位于左侧,但在左右拍摄装置的光轴的交点即会聚点处、右侧拍摄装置的拍摄视野与左侧拍摄装置的拍摄视野相一致。并且,对于处于深处的被摄体,右侧拍摄装置的拍摄视野位于左侧,而左侧拍摄装置的拍摄视野位于右侧,左右关系反转。若使显示装置对右眼显示右侧拍摄装置的图像,而对左眼显示左侧拍摄装置的图像,则观看到眼前的被摄体跳出到显示装置的前方,而会聚点上的被摄体位于与显示装置的显示面相同的位置上,由此,处于深处的被摄体看上去好像比显示装置的显示面要缩入。
在各拍摄装置单体的拍摄条件不发生改变的情况下,根据上述两个拍摄装置的光轴所成的角度即会聚角、会聚点,来规定显示面的位置、视差量。由此,具有如下特征:通过对会聚进行调整,从而易于对所注视的被摄体的纵深感进行调整,另一方面,存在如下问题:在利用产生会聚的拍摄装置拍摄到的图像中,背景等远处被摄体容易产生视差。因此,特别对于利用上述会聚拍摄到的图像而言,需要注意上述所显示的画面图像中的视差量。
关于根据上述显示尺寸来对视差量进行的调整,公开有如下技术,计算左右图像各自对应的区域的视差量,并根据所计算出的视差量来改变由拍摄装置拍摄到的左右图像的水平方向的显示位置即相对位置、来进行显示(例如,参照专利文献1)。由于该专利文献1所记载的技术通过改变所重放的图像的左右相对位置来改变左右图像的视差量,因此可以在各个显示装置的不同显示位置上进行重放,并改变视差量。
现有技术文献
专利文献
专利文献1:日本专利特开平8-9421号公报
发明内容
发明所要解决的技术问题
然而,在专利文献1所记载的技术中,若改变左右图像的相对位置、以使得显示器的内侧方向上所显示的被摄体的视差量变小,则在会聚点前方拍摄到的被摄体(显示为跳出到显示器向前)的视差量将急剧增大。另外,相反的,若改变左右图像的相对位置、以使得前方的视差量变小,则存在如下问题,即,在会聚点后方拍摄到的被摄体(显示为向显示器内侧缩入)的视差量将急剧增大。基于图14对该视差量的变化进行简要说明。
图14是示意性地表示使由产生会聚的2个拍摄装置得到的图像的相对位置发生变化时的视差量变化的图。图14中,将2个拍摄装置311L、311R的光学中心分别设为312L、312R,并将处于距离Lp的位置上的点P设为会聚点。此时处于距离L1、L2的某一点的视差量为314a、314b。在改变相对位置、以使得减小背景的视差量的情况下,左右侧的拍摄装置311L、311R的光学中心分别变为光学中心313L、313R。
此时,可知:视差量314a、314b分别变为视差量315a、315b,并且在会聚点P的后方有所减少,但在会聚点P的前方增大较多。另外,在进行立体观看时、会聚点P的位置看上去像在显示面上,但通过使左右图像的相对位置发生变化,从而使其在显示面上向点Q的位置(距离Lq)变化。因此,在进行立体观看时,会识别为会聚点的位置发生变化,并且显示面上所显示的被摄体的位置也发生变化,从而使得在进行立体显示时,显示图像中的跳出及缩入的比例不同(视差0的位置发生了较大的变化)。并且,需要计算出各个左右影像的区域的视差量,使得处理量非常大。
本发明是鉴于上述问题而得以完成,其目的在于,提供一种立体影像转换装置及包括该装置的立体影像显示装置,能够在显示立体观看用的影像时,使缩入方向上的视差量为规定的视差以下来进行显示,而不依赖于画面尺寸。
为解决问题所采用的技术方案
为了解决上述问题,本发明的第1技术方案是一种立体影像转换装置,该立体影像转换装置输入视点不同的2个以上的影像,改变该输入的2个以上的影像的会聚角并将其输出,其特征在于,包括:拍摄条件提取部,该拍摄条件提取部提取作为拍摄上述2个以上的影像时的拍摄条件的会聚角转换信息;以及影像转换部,该影像转换部改变拍摄上述2个以上的影像时的会聚角,该影像转换部包括:会聚角修正值计算部,该会聚角修正值计算部基于由上述拍摄条件提取部提取出的会聚角转换信息及显示上述2个以上的影像的显示画面的显示尺寸信息,来计算上述2个以上的影像的最大视差量,并计算使该计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值;以及会聚角转换处理部,该会聚角转换处理部基于该计算出的会聚角修正值,来生成改变了拍摄上述2个以上的影像时的会聚角的影像。
第2技术方案的特征在于,在第1技术方案中,上述影像转换部包括相对位置转换处理部,该相对位置转换处理部对利用上述会聚角转换处理部生成的影像的相对位置进行转换,使得上述会聚角改变前的会聚点的位置与上述会聚角改变后的会聚点的位置相一致。
第3技术方案的特征在于,在第1或第2技术方案中,上述会聚角转换处理部使会聚角发生改变,以使得上述2个以上的影像的最大视差量减少。
第4技术方案的特征在于,在第1~第3任一个技术方案中,上述预先指定的最大视差量为观众的眼宽间距。
第5技术方案的特征在于,在第4技术方案中,上述观众的眼宽间距为5cm。
第6技术方案的特征在于,在第1或第2技术方案中,上述会聚角转换处理部使会聚角发生改变,以使得上述2个以上的影像的最大视差量增大。
第7技术方案的特征在于,在第1~第6任一个技术方案中,上述拍摄条件提取部还提取拍摄上述2个以上的影像时的基线长信息及视角信息,以作为上述拍摄条件,上述会聚角修正值计算部基于上述显示尺寸信息、上述会聚角信息、上述基线长信息以及上述视角信息,来计算上述2个以上的影像的最大视差量,并计算使该计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值。
第8技术方案的特征在于,在第1~第7任一个技术方案中,上述拍摄条件提取部从上述2个以上的影像的元数据中提取上述拍摄条件。
第9技术方案的特征在于,在第1~第7任一个技术方案中,上述拍摄条件提取部基于设备信息,参照将该设备信息与上述拍摄条件相关联的表格,来提取上述拍摄条件,其中,该设备信息用于确定分别拍摄上述2个以上的影像的拍摄装置。
第10技术方案是一种立体影像显示装置,该立体影像显示装置包括第1~第9任一个技术方案中的立体影像转换装置。
发明效果
根据本发明,无论利用何种画面尺寸来进行显示,都能减小会聚点的位移及跳出视差的增大,同时还能将缩入方向上的视差量调整到规定的视差量以下来进行显示,因此,不会使观众有眼睛疲劳等负担。
另外,还能在不改变会聚点位置的状态下,将缩入方向上的视差量调整到规定的视差量以下,因此,显示面上所显示的视差0的被摄体位置不发生变化。
附图说明
图1是表示本发明的立体影像转换装置的简要结构示例的图。
图2是从上方观察利用产生会聚的拍摄装置进行拍摄的情况下的光学系统的简图。
图3是用于对进行会聚配置的2个拍摄装置的视差进行说明的图。
图4是表示显示画面上的视差量的图。
图5是表示视差量与显示宽度的比率、和观看距离的对应关系的一个示例的图。
图6是表示本发明的实施例1所涉及的影像转换部的结构例的框图。
图7是用于对会聚角修正值计算部的处理的一个示例进行说明的流程图。
图8是用于对本发明的实施例1中的会聚角转换处理的概要进行说明的图。
图9是用于将会聚角转换的视差量与改变左右图像的相对位置时的视差量进行比较并说明的简图。
图10是表示本发明的实施例2所涉及的影像转换部的结构例的框图。
图11是用于对本发明的实施例2中的会聚角转换处理及影像相对位置转换处理的概要进行说明的图。
图12是用于对仅使单侧拍摄装置产生会聚角时的会聚角转换处理的概要进行说明的图。
图13是用于对由于画面尺寸的不同而导致的视差问题进行说明的图。
图14是示意性地表示使由产生会聚的2个拍摄装置得到的图像的相对位置发生变化时的视差量变化的图。
具体实施方式
下面,例举各实施例并参照附图、对本发明所涉及的立体影像转换装置及包括该装置的立体影像显示装置进行说明。
<实施例1>
图1是表示本发明的立体影像转换装置的简要结构示例的图。图1(A)是显示包含立体影像转换装置的立体影像转换系统的结构例的图,图中,100表示立体影像转换装置,101表示影像输入装置,102表示影像输出装置。另外,图1(B)是表示立体影像转换装置100的结构例的框图。该立体影像转换装置100包括拍摄条件提取部111、影像转换部112,作为从影像输入装置101获取到的2个以上视点的不同影像的一个示例,对拍摄左右影像时的会聚角进行改变(例如,射影转换等),并将改变了该会聚角的左右影像输出到影像输出装置102。
另外,输入到影像输入装置101或立体影像转换装置100中的左右影像例如也包含以并排(side by side)方式、在一张影像(一帧)中混有不同视点的影像的情况,只要2个以上视点的不同影像被输入到影像输入装置101或立体影像转换装置100中即可,而2个以上视点的不同影像的传输方法(格式)则可任选。
影像输入装置101例如是立体影像拍摄装置101a、重放装置101b、通信网络101c等,该影像输入装置101将带有两眼视差的用于左眼、右眼的影像输入到立体影像转换装置100。立体影像转换装置100的影像转换部112基于指定最大视差量、显示画面的显示尺寸信息以及拍摄条件信息,对从影像输入装置101输入的左右影像进行左右影像的例如投影转换,并生成在预先指定的最大视差量内进行显示的左右影像,而与显示画面尺寸的大小无关。由影像转换部112生成的左右影像被传递给影像输出装置102。影像输出装置102是根据目的而输出来自立体影像转换装置100的左右影像的装置,例如是将左右影像作为立体影像来进行显示的立体影像显示装置102a、保存左右影像的记录装置102b、传输左右影像的通信网络102c等。此外,也可以采用使立体影像显示装置102a包括立体影像转换装置100的结构,使其成为一体。
下面,以输入到立体影像转换装置100的输入影像为由产生会聚的拍摄装置拍摄到的、带有双眼视差的立体观看用的影像的情况为代表示例进行说明。
图2是从上方观察利用产生会聚的拍摄装置进行拍摄时的光学系统的简图。图2中,为了简化在平面上进行标记,并仅对两个拍摄装置中单侧的拍摄装置进行记载。两个拍摄装置201L与210R配置成在基准面202上、间隔为距离Wb,并使得左侧拍摄装置201L处于左侧,而右侧拍摄装置201R处于右侧。
拍摄装置201L、201R产生分别向内侧倾斜的会聚,此时的左侧拍摄装置201L的光学中心为中心轴CL。另外,左侧拍摄装置201L以拍摄视角203进行拍摄,该情况下的拍摄范围的两端为左端204a及右端204b。利用拍摄装置201L进行拍摄的影像中,配置于视角203内(左端204a与右端204b之间的区域)的被摄体被拍摄到。这里,与基准面202相距距离Lo的平面205上存在被摄体O,将穿过被摄体O、与中心轴CL垂直且处于视角端204a、204b的范围内的平面设为206,另外,将与中心轴CL垂直且处于与拍摄装置201L的原点(基准面202与中心轴CL的交点)相距焦点距离f的平面上的假想传感器面设为207,在该情况下,被摄体O成像为传感器面207上的成像点O′。
此时,传感器面207上中心轴CL与成像点O′间的距离w′相对于传感器面207的宽度wc的比率等于平面206上中心轴CL与被摄体O的距离dL相对于平面206的宽度w的比率。这里,将该比率、即相对于距离Lo下的图像宽度的视差比率设为DL,视差比率DL如下式所示。
DL=w’/wc=dL/w…式(1)
由此,若原封不动地显示利用拍摄装置201L拍摄到的影像,则被摄体O被显示于相对于显示画面宽度W偏离中心(W×DL)的位置上。
这里,同样考虑右边的拍摄装置。图3中,示出了将左右侧的拍摄装置会聚配置以互相面向内侧的状态。与图2相同的标记表示两者相同。图3中,两个拍摄装置201L与201R以距离Wb的间隔进行配置,而对于各拍摄装置的中心轴,拍摄装置201L的为中心轴CL,而拍摄装置201R的为中心轴CR。两个中心轴CL与CR的交点为会聚点P,从基准面202到会聚点P为止的距离为会聚点距离Lp,光轴CL与CR所成的角为会聚角θ。这里,若在与基准面202相距距离Lo处存在被摄体O,则与图2的说明相同,相对于2个拍摄装置的拍摄图像中的被摄体O的图像宽度的视差比率DL、DR利用穿过被摄体O且分别处于与光轴垂直的面上的距离dL、dR被表示为:
DL=dL/wL…式(2)
DR=dR/wR…式(3)
这里,wL、wR与上述的图2的w相对应,相当于穿过各个摄像机的点O、与光轴垂直且处于拍摄视角内的宽度。
并且,在将利用两个拍摄装置拍摄到的图像作为立体观看用的图像来进行显示时,根据图4所示的显示画面400上的示例,被摄体O在拍摄装置201L的图像中被显示成OL,而在拍摄装置201R的图像中被显示成OR,即、在左右图像上显示于不同的位置上。此时、将显示上的视差量设为视差量d。视差量d由视差比率DL、DR所对应的视差总和决定,例如,在显示画面400的画面宽度为W的情况下,如下式所示:
d=(DL+DR)×W…式(4)
也就是说,由此可知,以画面宽度W来显示存在于距离Lo上的被摄体O时,以视差量d来进行显示。其中,这里,对原封不动地显示来自拍摄装置的获取图像的情况进行说明。在对左右影像进行剪切等的情况下,需要根据剪切位置或尺寸来进行修正。在该情况下,以光学中心与剪切中心的位置或剪切尺寸的比率为系数、来对视差量d进行修正。另外,由于产生会聚,因此基准面202不平行于与各拍摄装置的光轴垂直的平面,但在为了修正由会聚角导致的左右影像间的失真而将其修正到同一平面上时,输入影像可以是转换到平行于基准面202的面上的图像。在该情况下,可以根据转换参数来修正视差量d。另外,严格而言,拍摄装置201的传感器具有像素,因此,像素被摄体的成像点O′被成像为处于传感器面207上的某个像素。因此,根据像素间距或尺寸并以像素为单位来进行位移,然而由于位移量极小,因此这里抛开像素的概念来进行说明。
接下来,对会聚角所对应的远景的最大视差进行说明。
在通常的影像中,包含有视差量较大的被摄体及视差量较小的被摄体,例如,如果输入影像中所包含的某个被摄体的视差量与显示画面宽度W的比为t%,则显示装置所显示的视差量为显示画面宽度W的t%,即、视差量为W×t/100。这里,利用示例对被摄体距离与视差的对应关系进行说明。例如,在上述图3中,在将拍摄装置的间隔Wb设为65mm,将拍摄装置的视角设为52度,并将会聚角θ设为2.5度时,到会聚点的距离约为1.5m,从而使1.5m以后的远处的被摄体具有缩入方向的视差。在上述拍摄条件中,在使被摄体O的距离Lo的值从会聚点变化到远处的情况下,被摄体O处的视差量与画面宽度的比率如何变化如图5所示。如图5所示,在被摄体O处于无限远处时,视差量与显示画面宽度的比率收敛于固定值约4.5%。在该情况下,例如在显示画面宽度为132.9cm的影像显示装置上进行显示时,最大视差量为132.9×4.5/100≈6.0cm,其大于儿童的平均眼宽间距5cm。
一般的,从2个拍摄装置获得的远处的视差比率在无限远处收敛,而该收敛值也会根据拍摄装置间的会聚角或基线长、拍摄装置的视角发生变化。例如,若将2个拍摄装置的视角设为相同值θv,并且2个拍摄装置的光轴所成的角度在垂直于平面202的面上等分,则在O处于无限远处时,可以利用拍摄装置的视角θv及2个会聚角θ近似地将被摄体O的视差比率DL+DR表示成下式:
DL+DR≈α×(Tan(θ/2)/Tan(θv/2))…式(5)
这里,α是由摄像机配置或摄像机参数所决定的、不依赖于视角及会聚角的系数。也就是说,最大视差比率的收敛值能够利用会聚角θ和拍摄装置的视角θv来表示。其中,这里,对于无限远处L0来说,基线长为非常小的值。另外,在θ为0的情况下,即在平行地配置2个拍摄装置的情况下,无限远处的视差比率收敛于0。
若将上述收敛值设为远处的最大视差比率X,则在利用画面宽度为W的显示器显示采用会聚结构拍摄到的影像的情况下,作为缩入方向的视差,有时将产生最大为W×X/100的视差。在如上述那样进行立体观看时,需要将缩入方向的视差抑制到某个规定值以下来进行显示,例如,使缩入方向的视差在观众的眼宽间距以下。由此,可以根据拍摄条件信息来计算最大视差比率X,另外,也可以说作为其对象的图像中、不具有超过所得到的最大视差比率的视差,因此,能够通过将左右影像的最大视差量的比率X作为基准,来规定所显示的最大视差量。如图5所示,一般的,由于视差比率相对于距离急剧增大,因此在用户利用产生会聚的拍摄装置来进行拍摄时,远处的被摄体进入背景的情况较多,使得在体验图像的立体感时、背景的视差成为接近于最大视差比率X的视差的可能性较大,由此即使视作左右影像的最大视差为W×X/100、也问题不大。因此,本发明中,通过将左右影像的最大视差量的比率X作为基准来进行整个画面的视差量控制。
拍摄条件提取部111提取用于计算上述左右影像的最大视差比率的拍摄条件。具体而言,对被输入的左右影像,获取表示拍摄装置的位置关系的参数及拍摄装置的摄像机参数,并将转换所需的信息即会聚角转换信息移交给影像转换部112。提取基线长信息以作为表示拍摄装置的位置关系的参数,该基线长信息表示拍摄到左右影像的2个拍摄装置的光轴间的角度即会聚角信息、或2个拍摄装置的间距(即、2个拍摄装置的光学中心的间距)。也可以根据到会聚点为止的距离信息及基线长来计算该会聚角。另外,提取表示拍摄装置的拍摄范围的视角信息及拍摄分辨率以作为拍摄装置的摄像机参数。也可以通过使用拍摄装置的焦距及传感器尺寸信息来计算视角信息。
作为提取表示上述拍摄装置间的位置关系的参数、或表示各个摄像机拍摄条件的参数的一个方法,考虑从记录左右影像的影像文件的元数据中提取的方法。例如,在静止画面的情况下,保存左右图像的文件格式为经过普通社团法人相机与影像产品协会(CIPA:Camera&Imaging Productsassociation)标准化的“CIPADC-007多图像格式(MPF:Multi-Picture Format)”,在上述文件中存在有将基线长信息或会聚角信息输入元数据的区域。从而能够从上述文件的元数据提取出必需的参数。拍摄视角等拍摄装置的光学信息可以通过各图像的Exif数据来进行提取。例如,也可以根据拍摄图像的Exif数据中的、拍摄时的焦距信息或图像尺寸、像素密度信息等来求出视角。对于拍摄视角,若以3D显示时的视角为基准来进行剪切等,则需要对剪切尺寸进行修正。
如果无法从元数据得到所需信息,则也可以通过基于确定拍摄左右影像的拍摄装置的设备信息,参照如下表格来获取会聚角信息等所需的参数,该表格将该设备信息、与表示位置关系的参数或表示各个摄像机的拍摄条件的参数相关联。例如,拍摄条件提取部111也可以保持有拍摄装置的设备信息(设备的固有设备名等)、以及与上述各参数相关联的参数参照表。若拍摄条件提取部111获取到拍摄左右影像的拍摄装置的设备名,则从参数参照表提取出与该设备名相对应的参数。此外,设备名能够从图像文件的Exif获取、或者在利用HDMI(High Definition Multimedia Interface:高清晰度多媒体接口)进行连接时从EDID(Extended Display Identification Data:扩展显示标识数据)等获取。设备名及参数也可以利用网络或广播波等来进行更新。另外,对于参数参照表,设其保持于拍摄条件提取部111中而进行了说明,然而,该表也可以处于外部,采用通过网络来进行参照的方法。将如上述那样由拍摄条件提取部111得到的用于转换的参数输出给影像转换部112。
接下来,对显示尺寸信息进行说明。这里的显示尺寸信息表示对从影像转换部112输出的左右影像进行显示的显示画面的画面尺寸,是与实际进行显示的画面宽度相关的信息。在与立体影像显示装置102a相连接的情况下,从立体影像显示装置102a获取显示画面尺寸,另外,在保存到记录装置102b、或输出到通信网络102c的情况下,使其为所假定的显示画面尺寸。所假定的显示画面尺寸例如也可以采用由用户指定的方法等。由此,从立体影像显示装置102a获取到的或由用户指定的显示尺寸信息被输入到立体影像转换装置100的影像转换部112。
接下来,对指定最大视差量进行说明。指定最大视差量是在进行立体显示时、实际显示的缩入方向上的最大视差量的值,即观众在观看显示画面时所目测到的视差量(实际值)。例如,若缩入方向上的视差量在眼宽间距以上,则容易成为眼睛疲劳的原因,因此,将最大视差量设定为观众的眼宽间距以下。对于观众的眼宽间距,一般来说,成人为65mm,儿童为50mm。因此,优选为,将儿童观众也考虑在内,将指定最大视差量设定为儿童的平均眼宽间距即50mm以下。因此,在作为指定最大视差量而指定例如50mm的情况下,在与显示尺寸信息相对应的尺寸下、对输出影像进行立体显示时,以缩入方向上的视差为50mm以下来进行显示。此外,这里将指定最大视差量指定为50mm,但也可以由用户适当地进行指定,从而能够以将用户的喜好、个人差异考虑在内的视差量进行显示。由此指定的指定最大视差量被输入到立体影像转换装置100的影像转换部112。
[影像转换部]
图6是表示本发明的实施例1所涉及的影像转换部112的结构例的框图。影像转换部112包括会聚角修正值计算部112a以及会聚角转换处理部112b,该会聚角修正值计算部112a基于由拍摄条件提取部111提取出的会聚角转换信息及显示左右影像的显示画面的显示尺寸信息,来计算左右影像的最大视差量,并计算使所计算出的最大视差量变为预先指定的指定最大视差量以下的会聚角修正值,而该会聚角转换处理部112b基于由会聚角修正值计算部112a计算出的会聚角修正值来生成改变了拍摄左右影像时的会聚角的影像。
即,影像转换部112根据从拍摄条件提取部111输入的左右影像的会聚角转换信息、以及显示左右影像的显示画面的显示尺寸信息,来计算向显示装置的显示画面内侧缩入的方向上的最大视差量,并判定所计算出的最大视差量是否超过指定最大视差量。在超过的情况下,生成对左右影像的会聚角进行调整后的影像,并将其输出,使得向显示装置的显示画面内侧缩入的方向上的最大视差量为指定最大视差量以下的视差量。另外,在所计算出的最大视差量未超过指定最大视差量的情况下,直接输出左右影像。
[会聚角修正值计算部]
接下来,基于图7的流程图来说明会聚角修正值计算部112a的处理的一个示例。会聚角修正值计算部112a将左右输入影像的会聚角转换信息及显示左右输入影像的显示装置的显示尺寸信息输入,并计算出向显示装置的显示画面内侧缩入的方向上的最大视差量(步骤S1)。然后,判定所计算出的最大视差量是否超过由最大视差量信息所示的指定最大视差量(步骤S2)。在超过指定最大视差量的情况下(是的情况下),对各左右输入影像计算用于调整会聚角的会聚角修正值,使得向显示装置的显示画面内侧缩入的方向上的左右输入影像的最大视差量为指定最大视差量以下(步骤S3)。另外,在步骤S2,在未超过指定最大视差量的情况下(否的情况下),将左右输入影像的会聚角修正值均置零(步骤S4)。然后,将所计算得出各左右输入影像的会聚角修正值输出到会聚角转换处理部112b。
如上所述,对步骤S1中的输入图像所对应的最大视差量进行的计算中,使用从拍摄条件提取部111接收到的会聚角信息或拍摄视角信息等会聚角转换信息来计算输入图像的最大视差比率X。在该情况下,由于从显示尺寸信息中得到显示画面的宽度W,因此在以该显示尺寸对输入图像进行显示的情况下,最大视差量d为d=W×X/100。接下来,在步骤S2中,与输入的指定最大视差量d’进行比较,在d>d’的情况下,在S3中计算修正值,以达到指定最大视差量以下。这里,为了使视差量变为d’,需要转换会聚角,使得修正后的视差比率X’为X’=d’/W×100(%)。在拍摄视角不变的情况下,能够利用会聚角来规定最大视差比率,因此,若设在最大视差比率为X的情况下的会聚角为θ,在最大视差比率为X’的情况下的会聚角为θ’,则将会聚角的变化量Δθ=θ’-θ所对应的各左右输入影像的会聚角修正值输出到会聚角转换处理部112b。
在本示例中,例如将指定最大视差量设为5cm,将从显示尺寸信息得到的显示画面宽度设为101.8cm,在该情况下,在根据输入图像的最大视差比率及显示图像宽度101.8cm计算出的视差量超过5cm时,需要进行转换。转换后的最大视差比率X’根据X’=50/1018×100求出,在该情况下,X’=4.9%。通过上述式(5)计算出该情况下的会聚角θ’,并分别求出与从拍摄条件提取部111得到的会聚角θ的差分Δθ所对应的左右图像的会聚角修正值。例如,在左右侧的拍摄装置以相同的会聚角来进行配置的情况下,左右图像的会聚角修正值为Δθ/2。
[会聚角转换处理部]
接下来,对会聚角转换处理部112b进行说明。会聚角转换处理部112b基于由会聚角修正值计算部112a计算出的各左右输入影像的会聚角修正值,来对被输入的左右影像进行转换,并输出对会聚角进行了转换的左右影像,以使得最大视差量为指定最大视差量以下。
下面,基于图8对会聚角转换的图像转换处理进行说明。首先作为基本模型、以不产生会聚的平行配置向产生会聚的配置进行转换为例,对会聚角转换进行阐述。在左侧拍摄装置201L及右侧拍摄装置201R通过平行法来拍摄立体图像时,进行设置使得各拍摄装置的光轴与基线Wb垂直。若设平行法的情况下的左右侧拍摄装置的光轴为ZpL、ZpR,则各光轴平行。另外,在左右侧拍摄装置通过交叉法来拍摄立体图像时,左右侧拍摄装置的光轴具有相交的点(以下称作交点)。设穿过该交点、与平行法的情况下的左右侧拍摄装置的光轴ZpL、ZpR平行的轴为ZC。
这里,为了在左侧拍摄装置201L处产生会聚角、以使得交点位于图8所示的ZC轴上的点P的位置,使光轴ZpL以光学中心OcL为中心向纸面右侧旋转θ。同样的,为了在右侧拍摄装置201R处产生会聚角,使光轴ZpR以光学中心OcR为中心向纸面左侧旋转θ。旋转后的左侧拍摄装置201L的三维坐标系能够表示成以ZcL为光轴(Z轴)、以XcL为X轴、以图8的纸面内侧为Y轴。同样的,旋转后的右侧拍摄装置201R的三维坐标系能够表示成以ZcR为光轴(Z轴)、以XcR为X轴、以图8的纸面内侧为Y轴。若使用左侧拍摄装置201L的会聚角分量θ及右侧拍摄装置201R的会聚角分量θ来表示交点P的会聚角θ,则如下式那样能够以θ与θ的和来进行表示。
θ=θ+θ…式(6)
接下来,对本实施例中的会聚角的转换方法进行详细说明。对于左侧拍摄装置201L及右侧拍摄装置201R各自的三维坐标系,通过以各自的Y轴为中心进行旋转能够转换会聚角。左侧拍摄装置201L以光学中心OcL为中心将光轴ZcL向纸面左侧旋转-θyL。同样地,右侧拍摄装置201R以光学中心O R为中心将光轴ZcR向纸面右侧旋转θyR
旋转后(会聚角转换后)的左侧拍摄装置201L的三维坐标系中,光轴(Z轴)变为ZcL′,X轴变为XcL′,Y轴变为图8的纸面内侧。同样地,右侧拍摄装置201R的三维坐标系中,光轴(Z轴)变为ZcR′,X轴变为X R′,Y轴变为图8的纸面内侧。通过转换会聚角,从而使转换前的交点P移动到P′。交点P′的左侧拍摄装置201L的会聚角分量θ′及右侧拍摄装置201R的会聚角分量θ′可以如下那样进行表示。
θ′=θ-θyL…式(7)
θ′=θ-θyR…式(8)
此外,θyL及θyR相当于会聚角修正值。
并且,交点P′的会聚角θ′可以用θ′与θ′的和进行表示。
θ′=θ′+θ′…式(9)
[生成会聚角转换图像]
接下来,对将以P为交点、以θ为会聚角拍摄到的图像转换成以P′为交点、以θ′为会聚角的图像的方法进行说明。以拍摄装置的三维坐标系的Y轴为中心、使三维上的点X=[X进行旋转得到的点X′=[X’X’X’可以利用由下式(10)所示的Y轴旋转式来进行表示。
X′=RX…式(10)
[数学式1]
R = cos &theta; y O sin &theta; y O 1 O - sin &theta; y O cos &theta; y
R:表示Y轴旋转的旋转矩阵
θ:Y轴的旋转角(旋转方向为右旋方向)
也就是说,通过对旋转前的点X乘上旋转矩阵R来转换(旋转)成点X′。若将Y轴向右旋的方向旋转θy,则旋转矩阵R能够利用θ的sin、cos函数组合来进行表示。
上述说明中,使三维上的点X进行旋转,下面对使拍摄图像上的点x=[X1]进行旋转的方法进行说明。为了将利用左侧拍摄装置201L并以θ为会聚角拍摄到的图像上的点x转换(旋转)成以θ′为会聚角的图像上的点x′=[x’x’1],使用下述式(11)所示的会聚角转换式来实现。
sx′=ARA-1x…式(11)
[数学式2]
A = fx O cx O fy cy O O 1
A:摄像机内部参数
fx,fy:X、Y轴分量的焦距
cx、cy:主点坐标
s:比例系数(右边的z分量的倒数)
若将左侧拍摄装置201L的X轴分量的焦距设为fx,将Y轴分量的焦距设为fy,将拍摄图像面与光轴ZcL相交的点(下面,称作为主点坐标)设为cx、cy,则表示左侧拍摄装置201L的光学特性的参数(下面,称作为内部参数)可以利用3×3的矩阵A来进行表示。这里,表示主点坐标的坐标系处于二维的拍摄图像面上,原点为拍摄图像的左上坐标,拍摄图像的右边方向为X轴的正方向,拍摄图像的下边方向为Y轴的正方向。另外,对于用于旋转至会聚角θ′的旋转矩阵R,能够将以Y轴为中心进行旋转的旋转角-θyL代入到上述式(10)的旋转矩阵R的θ中来进行表示。
通过内部参数A及旋转矩阵R来进行向会聚角θ′的转换。第一,将内部参数A的逆矩阵乘上会聚角为θ的拍摄图像上的点x,从而转换成z分量大小为1的归一化坐标系。第二,在乘上绕着Y轴旋转-θyL的旋转矩阵R以后,通过乘上内部参数A,来旋转(转换)至会聚角为θ′的图像上的点。这里,转换结果坐标(式(11)的右边计算结果)的z分量的大小不为1。因此,第三,对转换结果坐标乘上转换结果坐标的z分量的倒数s并对其进行缩放,使得z分量变为1。
通过上述转换,能够将会聚角为θ的图像上的点x转换成会聚角为θ′的图像上的点x′。通过对左侧拍摄装置201L的会聚角为θ的图像上的所有点进行该转换,能够生成会聚角变为θ′的图像。
接下来,对将利用右拍摄装置201R并以θ为会聚角拍摄到的图像上的点x转换(旋转)成以θ′为会聚角的图像上的点x′=[x’x’1]的方法进行说明。将右侧拍摄装置201R的内部参数设为A,并采用将以Y轴为中心进行旋转的旋转角θyR代入到用于旋转至会聚角θ′的上述式(10)的旋转矩阵R的θ中而求出的值,除此以外,与上述左侧拍摄装置201L的图像生成方法相同。
[会聚角转换与相对位置转换的视差量比较]
图9是用于将由会聚角转换产生的视差量与改变左右图像的相对位置时的视差量进行比较并对其说明的简图。本发明中的左右图像的相对位置是指相对于某一侧的图像使另一侧的图像在水平方向上移动、或者两个图像一起移动,在之后的记载中如此定义相对位置。2个拍摄装置201L、201R配置成分别以C、C为光轴,以Wb为基线长,以θ会聚角。此时,会聚点变为P的位置(与基准面202相距距离Lp)。另外,将与基准面202相距距离Lo处的视差量设为视差量d,并将减小后的视差量设为视差量d′。实际上,利用显示尺寸与视差的比率来规定显示上的视差量,但为了简化说明,这里将显示尺寸、拍摄视角设为相同条件,并直接将视差量d与d’的相对值视作显示上的视差相对值。
通过上述会聚角转换将会聚角θ转换成θ′、以使得收敛于视差量d′,将该情况下的中心轴设为C′、C′,并使此时的会聚点为P′的位置(与基准面202相距距离Lp′)。另外,作为现有技术,在改变左右影像的相对位置、以使视差量d变为视差量d′的情况下,各光轴变为CL0、CR0,其会聚点变为Q的位置。从图9也可知,与改变相对位置的现有技术相比,在进行本发明的会聚角转换的情况下,若使会聚点后方、即背景方向的视差量均为相同的视差量以内,则会聚点前方的视差的扩大量有所减小。另外,与改变相对位置时的位移量(P~Q)相比,从转换前的会聚点P的位移量(P~P′)有所减小。严格来说,由2个拍摄装置的光轴的交点来规定会聚点,但是,这里的会聚点位置为进行立体观看时、视觉上的会聚点的位置(视差变为0的位置)。
由此,根据本实施例,使会聚点前方的被摄体的视差量的增加量有所减小,并且可以使缩入方向的视差量为指定视差量以下来进行显示。另外,由于可以在指定的视差量以下来进行显示,而与所显示的画面尺寸无关,因此可以适用于任何画面尺寸的显示装置中,即使是成为眼睛疲劳原因的视差较大的影像,也能将其转换成所允许的视差量的影像来进行显示。
并且,由于可以进行视差控制,而不使会聚点发生较大的位移,因此,在进行立体观看时,跳出及缩入的位置关系不会产生较大的变化,从而可以进行反映了拍摄者意图的立体显示。
另外,作为调整视差量的方法,具有进行如下动作的方法:从2个拍摄装置得到图像,并根据该图像计算出各个区域的视差信息,使用该视差信息进行图像转换,然而该方法也存在有如下较大的问题:用于计算视差的处理量巨大,在整个图像区域得到高精度的视差信息较为困难等。本发明中,无需进行这样的视差计算,从而可以利用简单且低负荷的处理来进行视差控制,由此可以进行实时的转换处理。
实施例2
图10是表示本发明的实施例2所涉及的影像转换部的结构例的框图。图10的影像转换部112是改变上述实施例1的影像转换部112(图6)的结构的影像转换部,由于除了图6的影像转换部112以外的结构,与实施例1相同,因此这里省去说明。
图10的影像转换部112在上述图6所示的会聚角修正值计算部112a以及会聚角转换处理部112b的基础上,还包含相对位置转换处理部112c而构成。会聚角修正值计算部112a及会聚角转换处理部112b与上述实施例1中记载的处理内容相同,因此这里省略说明。相对位置转换处理部112c对利用会聚角转换处理部112b进行投影转换后的影像的相对位置进行转换,以使得投影转换前的会聚点的位置与投影转换后的会聚点的位置相一致。
图11是用于对会聚角转换处理及影像相对位置转换处理中的视差量控制的一个示例进行说明的图。上述实施例1中的会聚角转换处理中,能够使比显示装置更内侧的最大视差量为指定最大视差量以下。然而,较会聚角转换前、交点向三维中的内侧(从图11的点P至点P′)进行移动,使得向显示装置的显示画面的前方跳出的被摄体发生改变。例如,若使三维中的被摄体的位置处于会聚角转换前的角度P,则会聚角转换前(左右光轴为C及C)左右影像的视差量为0。
但是,在会聚角转换之后(左右光轴为C′及C′),产生视差。由于对左侧拍摄装置201L使点P投影到C′的右侧,并对右侧拍摄装置201R使点P投影到CR′的左侧,因此产生这些投影点间的距离的视差量。因此,会聚角转换前的点P位于显示装置的显示画面上,而通过会聚角转换使点P移动到显示画面的前方侧来进行立体观看。这导致通过实施例1的会聚角转换处理,转换成与影像制作者的意图不同的影像,存在影像转换不适当的情况。
为了不改变应位于显示装置的显示画面的被摄体(交点位置),而使显示面内侧的最大视差量变为指定最大视差量以下,例如,能够通过以会聚角转换前的交点P为中心旋转左右光轴(CL、CR)来实现。通过以图11为例来对此进行说明。在图11的会聚角转换前的光轴C与C处,最大视差量d超过了指定最大视差量Dlimit。为了对此进行修正,以交点P为旋转中心,将光轴C向纸面左转,并将光轴CR向纸面右转,从而可以在不移动交点P的情况下,使显示装置的显示画面内侧的最大视差量为指定最大视差量Dlimit以下。
通过该旋转,使左侧拍摄装置201L的光学中心O移动到O′,并使右侧拍摄装置201R的光学中心OR移动到OR′,使左侧拍摄装置201L的光轴C移动到C′′,并使右侧拍摄装置201R的光轴CR移动到CR′′。旋转后的会聚角变为θ′。
如上所述,通过以交点P为中心来旋转左右影像,从而能够转换成使显示画面内侧的最大视差量变为指定最大视差量以下、且交点不移动的影像。
然而,从左右拍摄影像以交点O为中心旋转各影像并不容易。因此,通过使实施例1中的会聚角转换处理、与对转换后的左右影像的相对位置进行转换的处理相组合,从而实现转换成使显示画面内侧的最大视差量变为指定最大视差量以下、且交点不移动的影像的处理。基于图11对此进行说明。
图11中,会聚角转换前的左右侧拍摄装置201L、201R的光轴分别表示为CL、C,而其会聚角表示为θ。这样,显示装置的显示画面内侧的最大视差量d超过了指定最大视差量Dlimit,因此进行实施例1中进行的会聚角转换处理。在会聚角转换处理中,分别以光学中心O、O为中心旋转左右侧的光轴C、C,以使得变为与以交点P为中心进行旋转时的会聚角θ′相同的会聚角。
对于进行会聚角转换处理后的左右侧的光轴,C变为C′,C变为C′,而此时的会聚角变为θ′。通过该会聚角转换处理,显示画面内侧的最大视差量d′变为小于指定最大视差量Dlimit,而交点P移动到P′。因此,为了使交点P′返回到P的位置,使会聚角转换处理后的左右影像整体进行移动,对于左侧影像,使其朝纸面向右侧移动,对于右侧影像,使其朝纸面向左侧移动。其移动量为使左右影像整体移动,使得三维中的交点P的位置的左右投影点间的视差为0。左右影像的移动结果是,光学中心O、O分别移动到O′、O′,光轴C′、C′分别移动到C′′、C′′。由此,能够视作为进行了与以交点P为中心进行旋转时相同的影像转换处理。
由此,可以在保持会聚角转换后的会聚角θ′的状态下,使会聚角转换后的交点P′返回到会聚角转换前的交点P。通过进行本实施例的处理,仅与实施例1的会聚角转换处理的情况相比,能够进行不增加交点前方的视差量、且不发生交点移动的立体影像转换。
如上所述,参照附图对本发明的实施例进行了详细阐述,然而具体结构并不局限于上述实施例,不脱离于本发明主旨范围的设计等也包含于本发明的适用范围内。
例如,如图12所示那样,即使在2个拍摄装置中的一个拍摄装置的光轴与基准面202垂直的情况下,通过对产生会聚角的另一个拍摄装置的图像进行同样的转换,也能得到相同的效果。
另外,在本发明的实施例1及实施例2中,对减小视差量的处理进行了阐述,然而并不局限于此,也可以在指定最大视差量以内的显示中扩大视差量。例如,在基于上述图11来进行说明的情况下,与上述各实施例相反,使转换前的最大视差量为Dlimit,从而调整会聚角使得转换后变为指定最大视差量d以下。也就是说,通过使用与本实施例所记载的方法相同的方法来进行转换、使得以会聚点P为中心将会聚角从θ′变为θ,能够将视差量扩大到指定最大视差量d为止。
由此,在希望扩大视差量的情况下,能够根据所显示的显示器尺寸容易地将最大视差量扩大到指定最大视差量为止。对于这种视差量的扩大,在例如使用移动的立体影像显示装置来进行收视的情况下,视差量较小、使得难以感受到远离,而通过将最大视差量扩大到指定最大视差量为止,即使显示器较小,也能充分感受到立体感。
另外,在本发明的实施例1及实施例2中,利用带有会聚的输入图像进行了说明,而并不局限于此,也可以对拍摄装置进行平行配置。在该情况下,能够通过设会聚角为0度,以进行同样的处理,从而调整视差。
由此,根据本发明,无论显示尺寸如何,都能简单地进行使最大视差量变为指定最大视差量以内的控制。
标号说明
100…立体影像转换装置、101…影像输入装置、101a…立体影像拍摄装置、101b…重放装置、101c,102c…通信网络、102…影像输出装置、102a…立体影像显示装置、102b…记录装置、111…拍摄条件提取部、112…影像转换部、112a…会聚角修正值计算部、112b…会聚角转换处理部、112c…相对位置转换处理部。

Claims (10)

1.一种立体影像转换装置,该立体影像转换装置输入视点不同的2个以上的影像,改变该输入的2个以上的影像的会聚角并将其输出,其特征在于,包括:
拍摄条件提取部,该拍摄条件提取部提取作为拍摄所述2个以上的影像时的拍摄条件的会聚角转换信息;以及
影像转换部,该影像转换部改变拍摄所述2个以上的影像时的会聚角,
该影像转换部包括:会聚角修正值计算部,该会聚角修正值计算部基于由所述拍摄条件提取部提取出的会聚角转换信息及显示所述2个以上的影像的显示画面的显示尺寸信息,来计算所述2个以上的影像的最大视差量,并计算使该计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值;以及会聚角转换处理部,该会聚角转换处理部基于该计算出的会聚角修正值,来生成改变了拍摄所述2个以上的影像时的会聚角的影像。
2.如权利要求1所述的立体影像转换装置,其特征在于,
所述影像转换部包括相对位置转换处理部,该相对位置转换处理部对利用所述会聚角转换处理部生成的影像的相对位置进行转换,使得所述会聚角改变前的会聚点的位置与所述会聚角改变后的会聚点的位置相一致。
3.如权利要求1或2所述的立体影像转换装置,其特征在于,
所述会聚角转换处理部使会聚角发生改变,以使得所述2个以上的影像的最大视差量减少。
4.如权利要求1至3任一项所述的立体影像转换装置,其特征在于,
所述预先指定的最大视差量为观众的眼宽间距。
5.如权利要求4所述的立体影像转换装置,其特征在于,
所述观众的眼宽间距为5cm。
6.如权利要求1或2所述的立体影像转换装置,其特征在于,
所述会聚角转换处理部使会聚角发生改变,以使得所述2个以上的影像的最大视差量增大。
7.如权利要求1至6任一项所述的立体影像转换装置,其特征在于,
所述拍摄条件提取部还提取拍摄所述2个以上的影像时的基线长信息及视角信息,以作为所述拍摄条件,所述会聚角修正值计算部基于所述显示尺寸信息、所述会聚角信息、所述基线长信息以及所述视角信息,来计算所述2个以上的影像的最大视差量,并计算使该计算出的最大视差量变为预先指定的最大视差量以下的会聚角修正值。
8.如权利要求1至7任一项所述的立体影像转换装置,其特征在于,
所述拍摄条件提取部从所述2个以上的影像的元数据中提取所述拍摄条件。
9.如权利要求1至7任一项所述的立体影像转换装置,其特征在于,
所述拍摄条件提取部基于设备信息,参照将该设备信息与所述拍摄条件相关联的表格,来提取所述拍摄条件,其中,该设备信息用于确定分别拍摄所述2个以上的影像的拍摄装置。
10.一种立体影像显示装置,其特征在于,
该立体影像显示装置包括权利要求1至9任一项所述的立体影像转换装置。
CN2011800491169A 2010-10-12 2011-10-06 立体影像转换装置及立体影像显示装置 Pending CN103181175A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010229607A JP4956658B2 (ja) 2010-10-12 2010-10-12 立体映像変換装置及び立体映像表示装置
JP2010-229607 2010-10-12
PCT/JP2011/073081 WO2012050040A1 (ja) 2010-10-12 2011-10-06 立体映像変換装置及び立体映像表示装置

Publications (1)

Publication Number Publication Date
CN103181175A true CN103181175A (zh) 2013-06-26

Family

ID=45938269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800491169A Pending CN103181175A (zh) 2010-10-12 2011-10-06 立体影像转换装置及立体影像显示装置

Country Status (5)

Country Link
US (1) US20130170737A1 (zh)
EP (1) EP2629536A1 (zh)
JP (1) JP4956658B2 (zh)
CN (1) CN103181175A (zh)
WO (1) WO2012050040A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113426113A (zh) * 2021-07-05 2021-09-24 未来科技(襄阳)有限公司 3d游戏启动器及2d游戏的3d启动方法
CN113645462A (zh) * 2021-08-06 2021-11-12 深圳臻像科技有限公司 一种3d光场的转换方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787369B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
WO2011136137A1 (ja) * 2010-04-28 2011-11-03 富士フイルム株式会社 立体撮像装置及びその制御方法
CN103329549B (zh) 2011-01-25 2016-03-09 富士胶片株式会社 立体视频处理器、立体成像装置和立体视频处理方法
CN102802015B (zh) * 2012-08-21 2014-09-10 清华大学 一种立体图像视差优化方法
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
WO2015100490A1 (en) * 2014-01-06 2015-07-09 Sensio Technologies Inc. Reconfiguration of stereoscopic content and distribution for stereoscopic content in a configuration suited for a remote viewing environment
KR101622344B1 (ko) * 2014-12-16 2016-05-19 경북대학교 산학협력단 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템
US10561304B2 (en) 2015-06-24 2020-02-18 Sony Olympus Medical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, and program
US20190241070A1 (en) 2016-10-28 2019-08-08 Mitsubishi Electric Corporation Display control device and display control method
CN107895399A (zh) * 2017-10-26 2018-04-10 广州市雷军游乐设备有限公司 一种全方位视角切换方法、装置、终端设备及存储介质
KR102113285B1 (ko) * 2018-08-01 2020-05-20 한국원자력연구원 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法
CN101841728A (zh) * 2003-04-17 2010-09-22 夏普株式会社 三维图像处理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3619063B2 (ja) * 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
JP3749227B2 (ja) * 2002-03-27 2006-02-22 三洋電機株式会社 立体画像処理方法および装置
JP4763571B2 (ja) * 2006-10-24 2011-08-31 シャープ株式会社 立体画像生成装置及び立体画像復号装置
JPWO2011086636A1 (ja) * 2010-01-13 2013-05-16 パナソニック株式会社 ステレオ画像用撮像装置、ステレオ画像用撮像方法、ステレオ画像表示装置、および、プログラム
JP5444452B2 (ja) * 2010-03-05 2014-03-19 パナソニック株式会社 立体撮像装置および立体撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
CN101841728A (zh) * 2003-04-17 2010-09-22 夏普株式会社 三维图像处理装置
CN1864415A (zh) * 2003-08-26 2006-11-15 夏普株式会社 立体视频再生装置及立体视频再生方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113426113A (zh) * 2021-07-05 2021-09-24 未来科技(襄阳)有限公司 3d游戏启动器及2d游戏的3d启动方法
CN113426113B (zh) * 2021-07-05 2024-06-25 未来科技(襄阳)有限公司 3d游戏启动器及2d游戏的3d启动方法
CN113645462A (zh) * 2021-08-06 2021-11-12 深圳臻像科技有限公司 一种3d光场的转换方法及装置
CN113645462B (zh) * 2021-08-06 2024-01-16 深圳臻像科技有限公司 一种3d光场的转换方法及装置

Also Published As

Publication number Publication date
JP4956658B2 (ja) 2012-06-20
US20130170737A1 (en) 2013-07-04
EP2629536A1 (en) 2013-08-21
JP2012085102A (ja) 2012-04-26
WO2012050040A1 (ja) 2012-04-19

Similar Documents

Publication Publication Date Title
CN103181175A (zh) 立体影像转换装置及立体影像显示装置
US10523919B2 (en) Apparatus and method for adjusting stereoscopic image parallax and stereo camera
EP2389006A2 (en) A system and method of image processing
WO2012153447A1 (ja) 画像処理装置、映像処理方法、プログラム、集積回路
EP3067866A1 (en) Method and device for converting virtual view into stereoscopic view
KR20160021497A (ko) 포터블 디바이스 및 그 제어 방법
CN106228530B (zh) 一种立体摄影方法、装置及立体摄影设备
CN103109537A (zh) 图像处理设备、成像设备、图像处理方法和程序
JP5220951B1 (ja) 立体映像出力装置及び立体映像出力方法
CN103109538A (zh) 图像处理设备、成像设备、图像处理方法和程序
CN102520970A (zh) 一种立体用户界面的生成方法及装置
WO2018113082A1 (zh) 一种 3d 全景拍摄系统以及方法
Hahne et al. Baseline of virtual cameras acquired by a standard plenoptic camera setup
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
JPWO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
AU2018390994B2 (en) Camera projection technique system and method
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with focus cues
JP2011141381A (ja) 立体画像表示装置及び立体画像表示方法
JP5223096B2 (ja) 3d映像撮影制御システム、3d映像撮影制御方法、およびプログラム
US8773511B2 (en) System and method for generating stereoscopic image with configurable background offset within a system and method for N shooting devices (N&gt;1)
KR102019880B1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
CN103530870B (zh) 用单应变换校正双目摄影的系统和方法
CN104137532A (zh) 图像处理装置
JP2011182003A (ja) パノラマカメラ及び360度パノラマ立体映像システム
TWI530155B (zh) 包裝多視角圖框的方法、裝置及儲存包裝圖框之非暫態儲存媒體

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130626