CN102893616A - 立体影像拍摄装置 - Google Patents

立体影像拍摄装置 Download PDF

Info

Publication number
CN102893616A
CN102893616A CN2011800213233A CN201180021323A CN102893616A CN 102893616 A CN102893616 A CN 102893616A CN 2011800213233 A CN2011800213233 A CN 2011800213233A CN 201180021323 A CN201180021323 A CN 201180021323A CN 102893616 A CN102893616 A CN 102893616A
Authority
CN
China
Prior art keywords
image data
mentioned
image
left eye
right eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800213233A
Other languages
English (en)
Other versions
CN102893616B (zh
Inventor
高见悦也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Victor Company of Japan Ltd
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN102893616A publication Critical patent/CN102893616A/zh
Application granted granted Critical
Publication of CN102893616B publication Critical patent/CN102893616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Abstract

通过适当剪切拍摄部生成的影像数据,维持剪切的部分影像数据的画质。立体影像拍摄装置100具有:拍摄部120,生成右眼用影像数据及左眼用影像数据;信息保持部132,保持表示分别以右眼用影像数据及左眼用影像数据的影像中心点为原点时的、将投影到右眼用影像数据的指标移动差分矢量的右校正点的位置、和将投影到左眼用影像数据的指标移动差分矢量的左校正点的位置的位置信息;剪切控制部154,根据位置信息,从右眼用影像数据以右校正点为剪切中心、从左眼用影像数据以左校正点为剪切中心,分别剪切大小相等的部分影像数据。

Description

立体影像拍摄装置
技术领域
本发明涉及一种生成用于使得感知两眼视差形成的立体影像的影像的立体影像拍摄装置.
背景技术
近年来,下述技术得到普及:在有两眼视差的2个影像中,使右眼识别右眼用影像、左眼识别左眼用影像,从而使视听者感知立体影像(3D影像)。生成使得感知该立体影像的右眼用影像和左眼用影像的立体影像拍摄装置分别生成右眼用影像和左眼用影像,因此大多具有2个拍摄部。
但是,存在如下情况:2个拍摄部、或构成拍摄部的镜头的形成精度、组装精度有个体差异,在2个拍摄部之间进行设计时所设定的拍摄轴和实际的拍摄轴的偏离产生差异,或者在2个拍摄部之间产生倍率误差。因此,存在因由2个拍摄部生成的2个影像数据而使观察者无法正确成像立体图像的问题。其中,拍摄轴表示拍摄方向,是相当于通过拍摄部生成的影像的中心(影像中心)的轴。这样的拍摄轴的偏离的差异、倍率误差可通过直接调节硬件、或调节取得的影像数据的剪切范围来进行校正(补正)。
例如公开了以下技术:对于通过一个拍摄部生成的影像数据,以该拍摄部的实际的拍摄轴为中心设定剪切范围,对通过另一方拍摄部生成的影像数据,错开以另一方拍摄部实际的拍摄轴相对一方拍摄部实际的拍摄轴的偏离程度进行剪切时的中心(剪切中心),设定剪切范围(例如专利文献1)
现有技术文献
专利文献
专利文献1:日本特开2006-162991号公报
发明内容
发明要解决的课题
通过调节从影像数据剪切时的剪切中心和剪切范围来校正拍摄轴的偏离的差异时,剪切范围限定在影像数据的范围内。因此,当上述专利文献1所述的、仅错开单方的拍摄部的影像数据的剪切中心时,通过错开的剪切中心和影像数据的范围,限制了剪切范围。
因此,本发明的目的在于提供一种通过适当剪切拍摄部生成的影像数据,可维持剪切的部分影像数据的画质的立体影像拍摄装置。
用于解决课题的方法
为解决上述课题,本发明的立体影像拍摄装置的特征在于具有:拍摄部,生成具有用于感知立体影像的两眼视差的右眼用影像数据及左眼用影像数据;信息保持部,保持表示分别以右眼用影像数据及左眼用影像数据的影像中心点为原点时的、将投影到右眼用影像数据的指标移动差分矢量的右校正点的位置、和将投影到左眼用影像数据的指标移动差分矢量的左校正点的位置的位置信息,差分矢量是以连接投影到右眼用影像数据的指标及投影到左眼用影像数据的指标的接线的中点为起点、以影像中心点为终点的差分矢量;剪切控制部,根据位置信息,从右眼用影像数据以右校正点为剪切中心、从左眼用影像数据以左校正点为剪切中心,分别剪切大小相等的部分影像数据。
上述拍摄部在用于生成右眼用影像数据的拍摄轴上、及用于生成左眼用影像数据的拍摄轴上,分别具有可放大及缩小拍摄对象的镜头,信息保持部将使镜头设定为不同的多个倍率时的位置信息,与各自的倍率建立关联并保持,剪切控制部取得当前的镜头的倍率,根据与当前的镜头的倍率建立关联的位置信息,从右眼用影像数据及左眼用影像数据分别剪切大小相等的部分影像数据。
上述拍摄部在用于生成右眼用影像数据的拍摄轴上、及用于生成左眼用影像数据的拍摄轴上,分别具有可放大及缩小拍摄对象的镜头,信息保持部保持表示投影到通过拍摄部生成的右眼用影像数据及左眼用影像数据的同一拍摄对象的尺寸比的比率信息,剪切控制部,将保持的比率信息所示的比率加1的和除以2所获得的平均值,乘以右眼用影像数据及左眼用影像数据的任意一个,将平均值除以上述比率的值,乘以未和平均值相乘的影像数据,从乘以平均值的影像数据、及和平均值除以比率的值相乘的影像数据中,分别剪切大小相等的部分影像数据。
上述信息保持部将使镜头设定为不同的多个倍率时的比率信息,与各自的倍率建立关联并保持,剪切控制部取得当前的镜头的倍率,根据与当前的镜头的倍率建立关联的比率信息,从乘以平均值的影像数据、及和平均值除以比率的值相乘的影像数据中,分别剪切大小相等的部分影像数据。
发明效果
如上所述,本发明通过适当剪切拍摄部生成的影像数据,可维持剪切的部分影像数据的画质。
附图说明
图1是表示立体影像拍摄装置的一例的外观图。
图2是表示立体影像拍摄装置的概要性构成的功能框图。
图3是用于说明校正值生成部的位置信息的生成单元的说明图。
图4是用于说明校正值生成部的位置信息的生成单元的说明图。
图5是用于说明校正值生成部的位置信息的生成单元的说明图。
图6是用于说明剪切处理部的拍摄轴校正处理的详细动作的说明图。
图7是表示第2实施方式涉及的立体影像拍摄装置的概要性构成的功能框图。
图8是用于说明校正值生成部的比率信息的计算方法的说明图。
图9是用于说明剪切处理部的缩放校正处理的详细动作的说明图。
图10是用于说明剪切处理部的缩放校正处理的详细动作的说明图。
附图标记
100、300 立体影像拍摄装置
104 拍摄镜头
110a、110b 拍摄轴
120(120a、120b) 拍摄部
126、326 剪切处理部
132、332 信息保持部
140 变焦镜头(可放大或缩小拍摄对象的镜头)
142 聚焦镜头
152、352 校正值生成部
154、354 剪切控制部
具体实施方式
以下参照附图详细说明本发明的优选实施方式。所述实施方式所示的尺寸、材料、其他具体数值等仅是易于理解发明的示例,除特别声明外,不用于限定本发明。此外,在本说明书及附图中,对具有实质上相同的功能、构成的要素附加同样的附图标记,从而省略重复性说明,并且省略和本发明无直接关系的要素。
(第1实施方式:立体影像拍摄装置100)
图1是表示第1实施方式涉及的立体影像拍摄装置100的一例的外观图。图1(a)中作为立体影像拍摄装置100是录像机,图1(b)中作为立体影像拍摄装置100是所谓数字静物相机。立体影像拍摄装置100具有便携性,构成包括主体102、2个拍摄镜头104a、104b、操作部106、显示部(取景器)108。
在作为图1(a)所示的立体影像拍摄装置100的录像机中,显示部108是开关式的,未在拍摄时,可折叠显示部108使之紧凑。其中,通过在该显示部108的背面设置拍摄镜头104b,构成为可在避免立体影像拍摄装置100的大型化的同时,充分确保两个拍摄镜头104a、104b之间的基线长度。
立体影像拍摄装置100的拍摄部的拍摄轴110a、110b如图1所示,当拍摄者水平把持立体影像拍摄装置100的主体102时,各自的拍摄轴110a、110b在同一水平面上大致平行或在拍摄方向相交。其中,拍摄轴110a、110b表示拍摄方向,是从通过拍摄部生成的影像的中心点(影像中心点)向拍摄方向延长的线。
立体影像拍摄装置100将通过2个拍摄镜头104a、104b生成的、具有用于使得感知立体影像的两眼视差的2个影像数据(右眼用影像数据及左眼用影像数据),以并排(side by side)方式、上下(top andbottom)方式、行序(line sequential)方式、帧序方式等用于使得感知立体影像的规定方式进行记录,并且对应拍摄者通过操作部106的操作输入,调节该拍摄时序、视角。并且,立体影像拍摄装置100受理来自拍摄者的野外、室内、夜景等拍摄模式的切换输入,执行与之对应的图像处理。
该立体影像拍摄装置100一般大多具有2个拍摄部,通过一个拍摄部生成使右眼识别的右眼用影像数据,通过另一个拍摄部生成使左眼识别的左眼用影像数据。但是,2个拍摄部及其各自设置的拍摄镜头104的形成精度、组装精度有个体差异,在2个拍摄部之间产生拍摄轴的偏移的差异、倍率误差,当不进行任何处理时,产生通过生成的2个影像数据拍摄者(观察者)无法正确成像立体影像的问题。因此,在本实施方式的立体影像拍摄装置100中,通过适当地剪切拍摄部生成的影像数据,可维持剪切的部分影像数据的画质。以下说明这样的立体影像拍摄装置100。
图2是表示立体影像拍摄装置100的概要构成的功能框图。其中,作为立体影像拍摄装置100,包括图1(a)所示的录像机。如图2所示,立体影像拍摄装置100的构成包括:操作部106、2个拍摄部120(图2中以120a、120b表示)、影像缓冲器122、数据处理部124、剪切处理部126、影像合成部128、显示部108、影像存储部130、信息保持部132、中央控制部134。图2中,实线表示数据的流程,虚线表示控制信号的流程。
操作部106由包括释放开关的操作键、十字键、操纵杆、重叠在显示部108的显示面上的触摸面板等开关构成,接受拍摄者的操作输入。
拍摄部120如上所述,使各自的拍摄轴110a、110b基本并排、或在拍摄方向的任意的收敛点相交地配置。并且,对应操作者通过操作部106的操作输入,当选择了影像数据的生成(录像)时,拍摄部120a生成右眼用影像数据,拍摄部120b生成左眼用影像数据,将该影像数据输出到影像缓冲器122。
具体而言,拍摄部120的构成包括:拍摄镜头104(图2中以104a、104b表示);可放大或缩小拍摄对象的变焦镜头140(变倍镜头);焦点调节中使用的聚焦镜头142;曝光调节中使用的光圈(可变光阑)144;拍摄元件146,其将通过拍摄镜头104入射的光束光电变换为电子数据(影像数据);驱动部148,其对应下述拍摄控制部150的控制信号,分别驱动变焦镜头140、聚焦镜头142、光圈144及拍摄元件146,拍摄部120生成2个拍摄轴110a、110b各自的2个影像数据。此外,在本实施方式中,2个拍摄部120联动,根据拍摄控制部150的控制信号,并行(同步)驱动各自的变焦镜头140、聚焦镜头142、光圈144及拍摄元件146的组合。
影像缓冲器122由闪存、RAM等构成,分别以帧单位暂时保持一个拍摄部120a生成的右眼用影像数据、及另一个拍摄部120b生成的左眼用影像数据。
数据处理部124对从影像缓冲器122输出的右眼用影像数据及左眼用影像数据实施R(红色)G(绿色)B(蓝色)处理(γ校正、颜色校正)、增强处理、噪点降低处理等影像信号处理。
剪切处理部126对应下述剪切控制部154的控制,剪切通过数据处理部124进行了影像信号处理后的影像数据的一部分并执行校正拍摄轴的拍摄轴校正处理、执行校正缩放(放大或缩小)比的缩放校正处理后,输出到影像合成部128。剪切处理部126的拍摄轴校正处理、缩放校正处理的详细动作稍后详述。此外,影像合成部128可位于剪切处理部126的前段。
影像合成部128合并从剪切处理部126输出的右眼用影像数据和左眼用影像数据,例如生成并排方式、上下方式、行序方式、帧序方式等用于使得感知立体影像的规定方式的合成数据,输出到显示部108、影像存储部130。
显示部108由液晶显示器、有机EL(Electro Luminescence/电致发光)显示器等构成,不限于附属于录像机、数字静物相机的显示器、取景器,也可是其他显示器。并且,显示部108显示影像合成部128输出的合成数据。此时,显示部108可分别显示构成合成数据的右眼用影像数据或者左眼用影像数据。
并且,显示部108例如根据偏光显示方式等而每1行偏光不同时,影像合成部128以行序方式输出合成数据,拍摄者安装偏光眼镜等,右眼仅识别右眼用影像、左眼仅识别左眼用影像,将合成数据作为立体影像感知。此外,当是使拍摄者感知立体影像地形成的显示部108时,作为显示方式不限于行序方式,例如也可使用以下方式:按各帧交互显示右眼用影像和左眼用影像,通过电子快门式眼镜进行识别的帧序方式;经由双凸透镜控制右眼用影像和左眼用影像各自的光的行进方向的双凸透镜方式等。
拍摄者识别显示部108上显示的影像的同时操作操作部106,从而可以所需的位置及占有面积捕捉被摄体。
影像存储部130由HDD、闪存、非易失性RAM等构成,对应后述存储控制部156的控制信号,存储从影像合成部128输出的合成数据。并且,影像存储部130也可作为在CD、DVD、BD等光盘介质、或便携存储卡等可装卸的存储介质中存储合成数据的装置构成。此时,影像存储部130可将影像数据以M-JPEG、MPEG-2、H.264等规定的编码方式编码。
信息保持部132由EEPROM、PROM、非易失性RAM等构成,例如在出厂时预先保持由下述校正值生成部152生成的位置信息。其中,信息保持部132将使变焦镜头140及聚焦镜头142设定为不同的多个倍率时的位置信息,与各自的倍率建立关联,预先保持。位置信息表示分别以右眼用影像数据及左眼用影像数据的影像中心点为原点时的、将投影到右眼用影像数据的指标移动差分矢量的右校正点的位置、和将投影到左眼用影像数据的指标移动差分矢量的左校正点的位置。其中,差分矢量是以连接投影到右眼用影像数据的指标及投影到左眼用影像数据的指标的接线的中点为起点、以影像中心点为终点的矢量。稍后详述校正值生成部152的位置信息的生成单元。
中央控制部134通过包括中央处理装置(CPU)、存储了程序等的ROM、作为工作区域的RAM等的半导体集成电路,管理及控制立体影像拍摄装置100整体。并且,在本实施方式中,中央控制部134也作为拍摄控制部150、校正值生成部152、剪切控制部154、存储控制部156起作用。
拍摄控制部150根据拍摄者的操作输入、即由操作部106提供的信息,控制拍摄部120。例如,拍摄控制部150为获得适当的影像数据,使驱动部148驱动变焦镜头140、聚焦镜头142、光圈144及拍摄元件146。并且,拍摄控制部150执行变焦功能(倍率变更功能)时,通过驱动部148使变焦镜头140及聚焦镜头142移动。
校正值生成部152生成剪切控制部154进行拍摄轴校正处理时使用的位置信息,使信息保持部132保持。
图3~图5是用于说明校正值生成部152的位置信息的生成单元的说明图。如上所述,因包括拍摄镜头104、变焦镜头140、聚焦镜头142而构成的2个拍摄部120的形成精度、组装精度、由镜头驱动电机等构成的驱动部148存在个体差异。因此,产生基准拍摄轴、即设计立体影像拍摄装置100时设定的拍摄轴(以下简称为基准轴)和实际的拍摄轴(以下简称实拍摄轴)110a、110b的偏离,该偏离按照各拍摄部120而不同,因此在2个拍摄部120之间,该偏离中产生差异。
因此,为减少一个拍摄部120a的基准轴和实拍摄轴的偏离、与另一个拍摄部120b的基准轴和实拍摄轴的偏离之间的差分,校正值生成部152首先分别计算出分别以右眼用影像数据及左眼用影像数据的影像中心点(表示实拍摄轴的点)为原点时的、投影到右眼用影像数据的指标的位置、和投影到左眼用影像数据的指标的位置。具体而言,如图3(a)、(b)所示,在拍摄部120a、120b的基准轴160a、160b上分别设置图3(c)所示的指标162。并且,将变焦镜头140和聚焦镜头142设定为规定倍率并拍摄,校正值生成部152计算出分别以拍摄部120a、120b各自生成的右眼用影像数据及左眼用影像数据的影像中心点为原点时的、投影到右眼用影像数据的指标的位置、和投影到左眼用影像数据的指标的位置。其中,指标162可设置在基准轴160a、160b上的任意位置,并且,指标162可使用“×”标志,但不限于此,只要可将基准轴的位置以点来表示,则可是任意的指标。
此时,拍摄部120a、120b生成的影像数据是图4(a)所示的右眼用影像数据164a和左眼用影像数据164b时,对作为表示拍摄部120a的实拍摄轴的点的右眼用影像数据164a中的影像中心点M,可知投影到右眼用影像数据164a的指标A(指标162投影到右眼用影像数据164a)在正面视图中向右侧偏离。影像中心点M是右眼用影像数据164a的垂直方向的中心线166a和水平方向的中心线168a的交点。其中,指标162设置在基准轴上,因此对右眼用影像数据164a中的影像中心点M,可以说表示右眼用影像数据164a中的基准轴的点在正面视图中向右侧偏离(正确而言,拍摄部120a的实拍摄轴相对基准轴偏离)。并且,对作为表示拍摄部120b的实拍摄轴的点的左眼用影像数据164b中的影像中心点N,可知投影到左眼用影像数据164b的指标B(指标162投影到左眼用影像数据164b)在正面视图中向左下侧偏离。影像中心点N是左眼用影像数据164b的垂直方向的中心线166b和水平方向的中心线168b的交点。其中,指标162也设置在基准轴上,因此对左眼用影像数据164b中的影像中心点N,可以说表示左眼用影像数据164b中的基准轴的点在正面视图中向左下侧偏离(正确而言,拍摄部120b的实拍摄轴相对基准轴偏离)。
在此校正值生成部152计算出以作为表示图4(a)所示的实拍摄轴的点的右眼用影像数据164a的影像中心点M为原点时的、投影到右眼用影像数据164a的指标A(表示基准轴的点)的位置。同样,校正值生成部152计算出以作为表示图4(a)所示的实拍摄轴的点的左眼用影像数据164b的影像中心点N为原点时的、投影到左眼用影像数据164b的指标B(表示基准轴的点)的位置。其中,以原点为影像中心点、将投影的指标A及投影的指标B的位置用xy坐标值(x,y)表示时,投影到右眼用影像数据164a的指标A(以下简称为基准点A)的xy坐标值是(ax,ay),投影到左眼用影像数据164b的指标B(以下简称为基准点B)的xy坐标值是(bx,by)。其中,x坐标是画面水平方向的坐标,y坐标是画面垂直方向的坐标。
并且如图4(b)所示,校正值生成部152导出以连接计算出的基准点A及基准点B的接线C的中点D为起点、以影像中心点(原点)为终点的差分矢量E。其中,基准点A的xy坐标值是(ax,ay),基准点B是(bx,by)时,以原点为影像中心点,以xy坐标值(x,y)表示的中点D的xy坐标值可表示为((ax+bx)/2,(ay+by)/2)。因此,差分矢量E以xy坐标值表示时,可以说是以((ax+bx)/2,(ay+by)/2)为起点、以原点(0,0)为终点的矢量。
校正值生成部152生成表示将基准点A移动差分矢量E的右校正点的位置、和将基准点B移动差分矢量E的左校正点的位置的位置信息,由信息保持部132保持。其中,基准点A的xy坐标值是(ax,ay),基准点B是(bx,by),差分矢量E的起点是((ax+bx)/2,(ay+by)/2),终点是原点(0,0)时,右校正点F变为(ax-(ax+bx)/2,ay-(ay+by)/2)),左校正点G变为(bx-(ax+bx)/2,by-(ay+by)/2))。
并且,校正值生成部152将变焦镜头140、聚焦镜头142的倍率设定为多次,例如3~4个阶段,按照各倍率分别计算出以设定的不同的多个倍率拍摄的影像数据164的右校正点F的位置及左校正点G的位置。
并且,校正值生成部152与计算右校正点F的位置及左校正点G的位置时利用的、拍摄影像数据时的变焦镜头140、聚焦镜头142的倍率建立关联,使表示计算出的右校正点F的位置及左校正点G的位置的位置信息,由信息保持部132保持。并且,校正值生成部152对未算出右校正点F的位置及左校正点G的位置的倍率相关的位置信息如下求得:对信息保持部132保持的变焦镜头140和聚焦镜头142的多个阶段的倍率中的右校正点F的位置进行线性内插,对信息保持部132保持的变焦镜头140和聚焦镜头142的多个阶段的倍率中的左校正点G的位置进行线性内插。此外,内插方法不限于线性内插,也可是使用了样条函数(spline function)的内插等其他内插处理。
此外,在本实施方式中,校正值生成部152使信息保持部132出厂前预先保持位置信息,使用位置信息校正影像数据的剪切中心,从而使出厂时通过立体影像拍摄装置100生成的右眼用影像数据的基准轴和实拍摄轴的偏离、与左眼用影像数据的基准轴和实拍摄轴的偏离基本一致。
并且,在上述图3中,前提是指标162的设置位置在基准轴上,但不限于此,如图5所示,也可将下述点作为指标162的设置位置:拍摄部120a和拍摄部120b之间的点,是以距各自的拍摄部120的距离相等的点P为中心的、以点P到收敛点Q的距离为半径的圆的圆周170上的点,且是拍摄部120的视角内的点。这种情况下,通过拍摄部120a拍摄时和通过拍摄部120b拍摄时,无需分2次设置指标,因此操作性强,并且可降低基于指标的设置误差的基准轴的两个拍摄部之间的偏离。
剪切控制部154根据由信息保持部132保持的位置信息,控制剪切处理部126,以从右眼用影像数据164a以右校正点F为剪切中心、从左眼用影像数据164b以左校正点G为剪切中心,分别剪切大小相等的部分影像数据。
图6是用于说明剪切处理部126的拍摄轴校正处理的详细动作的说明图。如图6(a)所示,剪切处理部126从右眼用影像数据164a剪切部分影像数据180a时,剪切处理部126对应剪切控制部154的控制,以右校正点F为剪切中心剪切部分影像数据180a。同样,剪切处理部126从左眼用影像数据164b剪切部分影像数据180b时,剪切处理部126对应剪切控制部154的控制,以左校正点G为剪切中心剪切部分影像数据180b。其中,剪切处理部126对部分影像数据180a和部分影像数据180b的大小,使纵横比(例如16:9)相等地进行剪切。
其中,剪切处理部126根据影像合成部128的方式缩放剪切的部分影像数据180。例如,拍摄元件146生成的右眼用影像数据164a及左眼用影像数据164b的像素数是3840×2160,影像合成部128的方式是1920×1080的并排方式时,剪切处理部126分别从右眼用影像数据164a、左眼用影像数据164b剪切1920×1080的部分影像数据180a、部分影像数据180b,进一步压缩水平方向的像素数,生成1920×540的部分影像数据180a、部分影像数据180b。
另一方面,如图6(b)所示,通过2个影像数据独立错开剪切中心时,即在图6(b)中,以右校正点F’、左校正点G’为剪切中心剪切部分影像数据182a、182b时,剪切范围的纵向的允许量或者横向的允许量被限制为单方的影像数据。在图6(b)所示的例子中,通过左眼用影像数据164b限制部分影像数据182b的纵向的剪切范围,为与部分影像数据182b的剪切范围的大小对应,部分影像数据182a的剪切范围的大小也受限,结果部分影像数据182a、182b变小。
本实施方式的剪切控制部154如图6(a)所示,对2个影像数据164(右眼用影像数据164a及左眼用影像数据164b)的任意一个,均以对拍摄部120间的基准轴和实拍摄轴的偏离的差分按比例分配的程度,错开剪切中心,因此剪切范围的横向的允许量和纵向的允许量在2个影像数据164中相等。因此,和图6(b)所示的以2个影像数据164独立错开剪切中心时相比,可最大限度地保持剪切中心和影像数据164的范围的间隔,扩大剪切范围。
存储控制部156将剪切控制部154使剪切处理部126剪切的部分影像数据存储到影像存储部130。
如上所述,本实施方式涉及的立体影像拍摄装置100通过适当剪切拍摄部生成的影像数据,可维持剪切的部分影像数据的画质。
并且,在此以立体影像拍摄装置100设置2个拍摄部120以生成影像数据的例子(双镜头相机)为例进行了说明,但也可使用反光镜等光学方法,使对一个被摄体从二个视点同时拍摄的立体影像拍摄用适配器位于一个拍摄部的光学路径前方,生成影像数据。这种情况下,也可利用本实施方式的位置信息,通过适当剪切拍摄部生成的影像数据,可维持剪切的部分影像数据的画质。
(第2实施方式)
在上述第1实施方式的立体影像拍摄装置100中,剪切控制部154根据信息保持部132中保持的位置信息,调节剪切处理部126剪切影像数据时的剪切中心及剪切范围,从而可减少基准轴和实拍摄轴的偏离的拍摄部12间的差异。在此说明立体影像拍摄装置300,其进一步使用拍摄部120间的实际的倍率误差,可减少生成的右眼用影像数据和左眼用影像数据的倍率差。
图7是表示第2实施方式涉及的立体影像拍摄装置300的概要构成的功能框图。如图7所示,立体影像拍摄装置300的构成包括:操作部106、2个拍摄部120(图7中是120a、120b)、影像缓冲器122、数据处理部124、剪切处理部326、影像合成部128、显示部108、影像存储部130、信息保持部332、中央控制部334。并且,中央控制部334也作为拍摄控制部150、校正值生成部352、剪切控制部354、存储控制部156起作用。作为上述第1实施方式中的构成要素已经说明的操作部106、2个拍摄部120、影像缓冲器122、数据处理部124、影像合成部128、显示部109、影像存储部130、拍摄控制部150、存储控制部156实质上功能相同,因此省略重复性说明,在此以构成不同的剪切处理部326、信息保持部332、校正值生成部352、剪切控制部354为主进行说明。
剪切处理部326对应下述剪切控制部354的控制,剪切通过数据处理部124进行了影像信号处理后的影像数据的一部分并执行拍摄轴校正处理、执行缩放校正处理后,输出到影像合成部128。剪切处理部326的拍摄轴校正处理和上述第1实施方式的拍摄轴校正处理实质相同,稍后详述缩放校正处理的详细动作。并且,在本实施方式中,剪切处理部326首先执行拍摄轴校正处理,接着执行缩放校正处理。此外,拍摄轴校正处理、缩放校正处理的顺序没有特别限定。
信息保持部332和信息保持部132一样,由EEPROM、PROM、非易失性RAM等构成,除了上述位置信息外,例如在出厂时预先保持下述校正值生成部352生成的比率信息。其中,比率信息表示投影到设定为不同的多个倍率时的2个拍摄部120a、120b生成的右眼用影像数据及左眼用影像数据的同一拍摄对象的尺寸比,与各自的倍率建立关联并预先保持。
中央控制部334的校正值生成部352生成剪切控制部354进行缩放校正处理时使用的比率信息,由信息保持部332保持。
图8是用于说明校正值生成部352的比率信息的计算方法的说明图。如上所述,包括拍摄镜头104、变焦镜头140、聚焦镜头142而构成的2个拍摄部120的形成精度、组装精度、镜头驱动电机等驱动部148存在个体差异。因此,产生设计值的倍率(以下简称为设定倍率)和影像数据中的实际倍率(以下简称为实际倍率)的偏离,该偏离因各拍摄部120而不同,因此在2个拍摄部120之间,该偏离产生差异(以下称为尺寸差)。
因此,校正值生成部352计算出用于减少规定的设定倍率下的2个拍摄部120间的尺寸差的比率信息。首先,使用图8(a)所示的指标362,如图8(b)、(c)所示,在距各自的拍摄部120a、120b相等的距离R,与拍摄部120a、120b的基准轴160a、160b垂直地设置指标362,按照各拍摄部120拍摄该指标362。在此作为指标362使用真圆,从而可吸收以基准轴160a、160b为中心的旋转、或以与基准轴160a、160b正交的轴为中心的旋转形成的、拍摄部120和指标362的角度差,可高精度地计算出拍摄部120间的尺寸差。
其中,指标362设置在基准轴160a、160b上,但不限于此,只要设置在距拍摄部120的距离相等、视角相等的位置即可。并且,指标362使用真圆,但不限于此,只要可计算出投影到右眼用影像数据及左眼用影像数据的同一拍摄对象的尺寸比,则可是任意的指标。
校正值生成部352将投影到右眼用影像数据的指标的直径α、和投影到左眼用影像数据的指标的直径β的比率β/α,作为尺寸比计算。并且,校正值生成部352分别算出将设定倍率变更为多个值、例如3~4个阶段而拍摄的影像数据的尺寸比,与拍摄表示该尺寸比的比率信息时的设定倍率建立关联,由信息保持部332保持。此外,校正值生成部352对未算出尺寸比的设定倍率的比率信息,通过对信息保持部332保持的多个设定倍率下的尺寸比进行线性内插而求出。此外,内插方法不限于线性内插,也可是使用了样条函数(spline function)的内插等其他内插处理。
此外,在本实施方式中,校正值生成部352使信息保持部332出厂前预先保持比率信息,使用比率信息校正影像数据,从而使出厂时通过立体影像拍摄装置300生成的影像数据的尺寸差在2个拍摄部120之间基本一致。
剪切控制部354控制剪切处理部326,以便:取得当前的设定倍率,将与当前的设定倍率建立了关联的比率信息所示的比率β/α和1的和除以2所获得的平均值,乘以投影了直径α的指标的影像数据(右眼用影像数据),将平均值除以β/α的值,乘以未和平均值相乘的影像数据、即投影了直径β的指标的影像数据(左眼用影像数据),从乘以平均值的影像数据(右眼用影像数据)及和平均值除以比率的值相乘的影像数据(左眼用影像数据),分别剪切大小相等的部分影像数据。
图9及图10是用于说明剪切处理部326的缩放校正处理的详细动作的说明图。例如,如图9(b)所示,投影到右眼用影像数据364a的拍摄对象的直径α是1、投影到左眼用影像数据364b的拍摄对象的直径β是2时,仅将剪切了右眼用影像数据364a的部分影像数据366放大4倍时,部分影像数据366的3/4的周围的实际信息量(像素)丢失,放大了部分影像数据366的部分影像数据368的画质变得粗糙。其中,实际信息量表示未进行像素内插时的信息量。因此,图9(a)所示的放大的部分影像数据368和左眼用影像数据364b相比,放大的部分影像数据368的实际信息量少至1/4,仅放大的部分影像数据368画质退化。因此,在右眼识别的部分影像数据368和左眼用影像数据364b中画质产生差异(实际信息量变为1和1/4),最终视听者作为立体影像感知时,画质退化变得明显。
另一方面,如图9(c)所示,为使投影到右眼用影像数据364a的拍摄对象的直径α和投影到左眼用影像数据364b的拍摄对象的直径β相等,仅缩小左眼用影像数据364b,作为缩小影像数据370。这种情况下,为成为缩小后在显示部108中显示所需的大小,需要放大,所以虽然左眼用影像数据364b的实际信息量未减少,但剪切了右眼用影像数据364a的部分影像数据366的实际信息量变为1/4,产生画质退化。
因此,剪切处理部326如图10(a)所示,在投影到右眼用影像数据364a的拍摄对象的直径α是1、投影到左眼用影像数据364b的拍摄对象的直径β是2时(比率β/α=2),对应剪切控制部354的控制,如图10(b)所示,生成对右眼用影像数据364a乘以β/α和1的和除以2的平均值、即乘以{(β/α)+1}/2=(α+β)/2α=1.5的缩放影像数据372a,及生成对左眼用影像数据364b乘以β/α和1的和除以2的平均值、即乘以{(β/α)+1}/2=(α+β)/2β即0.75的缩放影像数据372b。由此,缩放影像数据372a、372b均可将实际信息量的减少抑制在1/2。
并且如图10(c)所示,剪切处理部326将缩放影像数据372b作为左眼识别的影像数据直接输出到影像合成部128,从缩放影像数据372a剪切和缩放影像数据372b大小相等的部分影像数据374a作为右眼识别的影像数据,输出到影像合成部128。
因此,剪切控制部354控制剪切处理部326,以按比例分配拍摄对象的尺寸比,对2个影像数据(右眼用影像数据364a、左眼用影像数据364b)的任意一个均实施缩放校正处理,从而可消除仅放大单方影像数据而产生的画质在两个影像数据间的差异,并且可抑制因仅缩小单方的影像数据而产生的明显的实际信息量的减少。因此,本实施方式的立体影像拍摄装置300可在抑制影像数据间的信息的减少的同时,可使画质平均,降低作为最终的立体影像的画质退化。
此外,在本实施方式中,剪切处理部326对应剪切控制部354的控制,对影像数据实施缩放校正处理后剪切部分影像数据,但不限于此,也可首先从影像数据剪切部分影像数据,之后进行缩放校正处理。
以上参照附图说明了本发明的优选实施方式,但本发明当然不限于上述实施方式。本领域技术人员在权利要求记载的范围内当然可推测到各种变形例或修正例,这当然也在本发明的技术范围内。
例如,当基准轴和实拍摄轴的偏离在拍摄部120间的差分在允许范围内时,可不执行第1实施方式所述的拍摄轴校正处理,而仅执行第2实施方式所述的缩放校正处理。
产业可利用性
本发明可用于生成用于使得感知立体影像的影像的立体影像拍摄装置。

Claims (4)

1.一种立体影像拍摄装置,其特征在于具有:
拍摄部,生成具有用于感知立体影像的两眼视差的右眼用影像数据及左眼用影像数据;
信息保持部,保持表示分别以上述右眼用影像数据及左眼用影像数据的影像中心点为原点时的、将投影到上述右眼用影像数据的指标移动差分矢量的右校正点的位置、和将投影到上述左眼用影像数据的指标移动上述差分矢量的左校正点的位置的位置信息,上述差分矢量是以连接投影到上述右眼用影像数据的指标及投影到上述左眼用影像数据的指标的接线的中点为起点、以上述影像中心点为终点的差分矢量;
剪切控制部,根据上述位置信息,从上述右眼用影像数据以上述右校正点为剪切中心、从上述左眼用影像数据以上述左校正点为剪切中心,分别剪切大小相等的部分影像数据。
2.根据权利要求1所述的立体影像拍摄装置,其特征在于,
上述拍摄部在用于生成上述右眼用影像数据的拍摄轴上、及用于生成上述左眼用影像数据的拍摄轴上,分别具有可放大及缩小拍摄对象的镜头,
上述信息保持部将使上述镜头设定为不同的多个倍率时的位置信息,与各自的上述倍率建立关联并保持,
上述剪切控制部取得当前的上述镜头的倍率,根据与上述当前的镜头的倍率建立关联的位置信息,从上述右眼用影像数据及左眼用影像数据分别剪切大小相等的部分影像数据。
3.根据权利要求1所述的立体影像拍摄装置,其特征在于,
上述拍摄部在用于生成上述右眼用影像数据的拍摄轴上、及用于生成上述左眼用影像数据的拍摄轴上,分别具有可放大及缩小拍摄对象的镜头,
上述信息保持部保持表示投影到通过上述拍摄部生成的上述右眼用影像数据及左眼用影像数据的同一拍摄对象的尺寸比的比率信息,
上述剪切控制部,将保持的上述比率信息所示的比率加1的和除以2所获得的平均值,乘以上述右眼用影像数据及左眼用影像数据的任意一个,将上述平均值除以上述比率的值,乘以未和上述平均值相乘的影像数据,从乘以上述平均值的影像数据、及和上述平均值除以上述比率的值相乘的影像数据中,分别剪切大小相等的部分影像数据。
4.根据权利要求3所述的立体影像拍摄装置,其特征在于,
上述信息保持部将使上述镜头设定为不同的多个倍率时的比率信息,与各自的上述倍率建立关联并保持,
上述剪切控制部取得当前的上述镜头的倍率,根据与上述当前的镜头的倍率建立关联的比率信息,从乘以上述平均值的影像数据、及和上述平均值除以上述比率的值相乘的影像数据中,分别剪切大小相等的部分影像数据。
CN201180021323.3A 2010-04-28 2011-02-22 立体影像拍摄装置 Active CN102893616B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010102965A JP5304721B2 (ja) 2010-04-28 2010-04-28 立体映像撮像装置
JP2010-102965 2010-04-28
PCT/JP2011/053859 WO2011135904A1 (ja) 2010-04-28 2011-02-22 立体映像撮像装置

Publications (2)

Publication Number Publication Date
CN102893616A true CN102893616A (zh) 2013-01-23
CN102893616B CN102893616B (zh) 2015-06-17

Family

ID=44861225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180021323.3A Active CN102893616B (zh) 2010-04-28 2011-02-22 立体影像拍摄装置

Country Status (6)

Country Link
US (1) US9154771B2 (zh)
EP (1) EP2566166B1 (zh)
JP (1) JP5304721B2 (zh)
KR (1) KR101385583B1 (zh)
CN (1) CN102893616B (zh)
WO (1) WO2011135904A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581107A (zh) * 2013-10-16 2015-04-29 深圳市云立方信息科技有限公司 一种对3d相机进行校正的装置及方法
CN110692240A (zh) * 2017-06-01 2020-01-14 麦克赛尔株式会社 立体拍摄装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015054507A1 (en) 2013-10-10 2015-04-16 Pronutria, Inc. Nutritive polypeptide production systems, and methods of manufacture and use thereof
US20150103162A1 (en) * 2013-10-14 2015-04-16 Etron Technology, Inc. System of quickly generating a relationship table of distance to disparity of a camera and related method thereof
JP2022168781A (ja) * 2021-04-26 2022-11-08 キヤノン株式会社 電子機器、その制御方法、プログラムおよび記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005072674A (ja) * 2003-08-27 2005-03-17 Sharp Corp 三次元画像生成装置および三次元画像生成システム
JP2006162991A (ja) * 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
US20060215021A1 (en) * 2005-03-22 2006-09-28 Fuji Photo Film Co., Ltd. Multi-eye image pickup device, adjusting method and device therefor, and image-area adjusting system and method
CN101340565A (zh) * 2007-07-04 2009-01-07 索尼株式会社 摄像系统和校正摄像机装配误差的方法
WO2010015499A1 (de) * 2008-08-05 2010-02-11 Robert Bosch Gmbh Mehrkamerasystem und verfahren zu dessen kalibrierung

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4397573B2 (ja) * 2002-10-02 2010-01-13 本田技研工業株式会社 画像処理装置
JP4474312B2 (ja) * 2005-03-30 2010-06-02 富士フイルム株式会社 撮像範囲調整システム、立体撮像装置、調整装置、及び撮像範囲調整方法
KR100834637B1 (ko) * 2006-11-27 2008-06-02 삼성전자주식회사 스테레오 카메라 장치에서 이미지들을 정렬하기 위한 장치및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005072674A (ja) * 2003-08-27 2005-03-17 Sharp Corp 三次元画像生成装置および三次元画像生成システム
JP2006162991A (ja) * 2004-12-07 2006-06-22 Fuji Photo Film Co Ltd 立体画像撮影装置
US20060215021A1 (en) * 2005-03-22 2006-09-28 Fuji Photo Film Co., Ltd. Multi-eye image pickup device, adjusting method and device therefor, and image-area adjusting system and method
CN101340565A (zh) * 2007-07-04 2009-01-07 索尼株式会社 摄像系统和校正摄像机装配误差的方法
WO2010015499A1 (de) * 2008-08-05 2010-02-11 Robert Bosch Gmbh Mehrkamerasystem und verfahren zu dessen kalibrierung

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581107A (zh) * 2013-10-16 2015-04-29 深圳市云立方信息科技有限公司 一种对3d相机进行校正的装置及方法
CN104581107B (zh) * 2013-10-16 2018-07-20 深圳市云立方信息科技有限公司 一种对3d相机进行校正的装置及方法
CN110692240A (zh) * 2017-06-01 2020-01-14 麦克赛尔株式会社 立体拍摄装置

Also Published As

Publication number Publication date
JP2011234151A (ja) 2011-11-17
EP2566166A4 (en) 2014-06-11
KR101385583B1 (ko) 2014-04-15
KR20120139838A (ko) 2012-12-27
US20130038682A1 (en) 2013-02-14
CN102893616B (zh) 2015-06-17
JP5304721B2 (ja) 2013-10-02
EP2566166A1 (en) 2013-03-06
WO2011135904A1 (ja) 2011-11-03
US9154771B2 (en) 2015-10-06
EP2566166B1 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
JP5243663B2 (ja) 画像処理装置、撮像装置、再生装置および画像処理方法
KR101824439B1 (ko) 모바일 스테레오 카메라 장치 및 그 촬영방법
US20090079762A1 (en) Method for producing multi-viewpoint image for three-dimensional image display and program therefor
US10165249B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
JP5296218B2 (ja) 立体映像表示方法及び立体映像表示装置
CN103503434B (zh) 深度扩展装置
JP2007067846A (ja) 立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラム
JP2003209858A (ja) 立体画像生成方法及び記録媒体
CN102893616B (zh) 立体影像拍摄装置
CN102160388A (zh) 三维显示设备和方法及程序
CN102860015A (zh) 立体成像装置、图像再现装置和编辑软件
US20160219258A1 (en) Adjustment Of Perceived Roundness In Stereoscopic Image Of A Head
CN105323423A (zh) 图像处理方法、图像处理装置及摄像装置
KR20160143623A (ko) 무안경 3d 영상을 이용한 적층형 홀로그램 구현 시스템
JP2006285482A (ja) 映像ジオメトリ補正装置
JP2011247965A (ja) ステレオ撮影対応型の交換レンズ、撮像装置本体、および撮像装置
JP2015043187A (ja) 画像生成装置および画像生成プログラム
WO2007029686A1 (ja) 立体画像記録再生システム
CN104041026B (zh) 图像输出装置、方法以及程序及其记录介质
JP2003134534A (ja) 撮像装置
JP2006211383A (ja) 立体画像処理装置、立体画像表示装置、及び立体画像生成方法
KR20160106267A (ko) 무안경 3d 영상을 이용한 적층형 홀로그램 구현 시스템
JP2006184434A (ja) 立体視画像撮影装置および方法
US20230171511A1 (en) Image processing apparatus, imaging apparatus, and image processing method
KR101463778B1 (ko) 다수의 카메라를 이용하여 입체 영상을 제작하는 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant