CN103098479A - 图像处理装置、图像处理方法和图像处理程序 - Google Patents

图像处理装置、图像处理方法和图像处理程序 Download PDF

Info

Publication number
CN103098479A
CN103098479A CN2011800329742A CN201180032974A CN103098479A CN 103098479 A CN103098479 A CN 103098479A CN 2011800329742 A CN2011800329742 A CN 2011800329742A CN 201180032974 A CN201180032974 A CN 201180032974A CN 103098479 A CN103098479 A CN 103098479A
Authority
CN
China
Prior art keywords
parallax
image
image processing
images
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800329742A
Other languages
English (en)
Inventor
樱武仁史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103098479A publication Critical patent/CN103098479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明公开了一种图像处理装置,其适当地调整立体图像的立体效果并进行调整以不使得用户感到不舒适。针对图像上的每个对象计算多个图像之间的视差量,如果绝对视差值等于或大于规定量的对象以等于或大于规定帧数并基于相对于多个图像临时设置的交叉点被连续拍摄,则将对象识别为将进行显示位置调整的对象,并且调整将进行显示位置调整的对象的绝对视差值以便在调整后不超过规定量。

Description

图像处理装置、图像处理方法和图像处理程序
技术领域
本发明涉及如下图像处理装置和图像处理方法以及用于使得计算机执行三维处理方法的程序,该图像处理装置和图像处理方法用于对具有不同视点的多个图像进行三维处理以使得能够对图像进行立体观看,并且用于生成在用于进行立体显示的显示装置上立体显示的立体图像。
背景技术
众所周知,通过组合从不同位置对同一对象进行成像而获得的多个图像以生成立体图像,从而立体显示所生成立体图像,使得能够利用视差进行立体观看。作为用于进行立体显示的具体方法,已知通过将多个图像并排排列来对图像进行立体显示的裸眼平行观看方法。另外,三维显示可以通过组合图像(例如,通过在将图像的颜色改变为诸如红色和蓝色时对图像进行重叠,或者通过在提供图像的不同偏光方向时对图像进行重叠)来实现。在这些情况下,立体观看可以通过使用图像分离眼镜(诸如,红蓝眼镜或偏光眼镜)以提供用于三维观看而显示的图像的合并视图(立体影片系统、偏光滤波系统)来实现。
此外,立体观看可以通过在能够进行立体观看的立体显示监视器(诸如,视差屏障系统或双凸透镜系统的监视器)上显示图像来实现而无需使用偏光眼镜等。在这种情况下,立体观看显示是通过交替地排列图像的垂直条来实现的。此外,提出了用于使用残余图像效果来提供立体显示的方法(扫描背光系统),其中,该残余图像效果是通过在利用图像分离眼镜改变来自左图像和右图像的光束的方向时交替地且快速地显示左图像和右图像或者通过将光学元件附接于液晶显示器上而产生的。
在通过上述方法进行立体显示期间,需要适当地调整立体图像的立体效果。这是因为存在这样的问题:如果对象与交叉点的位置相距过远,则用户将遭受眼部疲劳。因此,提出了基于针对正被立体显示的立体图像判断出的适当视差量来生成立体图像的方法(参见专利文献1~4)。
现有技术文献
专利文献
专利文献1:日本未审查专利公布H08-223609号
专利文献2:日本未审查专利公布H10-048569号
专利文献3:日本未审查专利公布H09-218376号
专利文献4:日本未审查专利公布H08-211332号
发明内容
然而,专利文献1至3的装置中的每一个均检测用户对立体图像的关注点并且适当地控制该关注点的视差。在用户将其关注点放在极其远离交叉点位置的对象上的情况下,聚焦该对象,从而用户将他/她的眼睛注视于该对象,这无法抑制用户的眼部疲劳。应注意,除了本发明要解决的问题外,存在专利文献1至3中对装置的配置和控制由于需要用于检测关注点的装置而变得复杂的问题。
此外,专利文献4的技术根据对象在图像中的安排来适当地控制视差。在对象在图像中的安排的改变在通过透镜图像(through-the-lens image)的状态下相当大的情况下,在视频记录或视频再现期间,频繁地调整视差,这导致引起对用户的眼部的负担增加的问题。
鉴于上述状况而开发了本发明。本发明的目的在于适当地调整立体图像的立体效果。
根据本发明的图像处理设备将在具有不同视点的多个图像内彼此对应的预定点设置为交叉点,并且通过对多个图像执行视差调整以使得视差在交叉点的位置处变为0来生成在用于进行立体显示的显示装置上立体显示的立体图像,该图像处理设备的特征在于,其配备有:视差量计算装置,用于针对图像内的每个对象计算所述多个图像之间的视差量;以用于显示位置调整为目标的对象识别装置,用于在绝对视差值超过预定量的对象以多于预定帧数被连续拍摄的情况下,使用为所述多个图像临时设置的交叉点作为参考来将对象识别为以用于显示位置调整为目标的对象;以及视差调整装置,用于调整视差,以使得以用于显示位置调整为目标的对象的绝对视差值在调整后不超过预定量。
应注意,健康风险根据在近侧或在后侧处的视差量而在利用裸眼观看技术的立体显示与利用眼镜的观看技术的立体显示之间不同。在利用裸眼观看技术的立体显示的情况下,对象越往前突出,施加于用户眼部的负担就越重。在使用眼镜的技术的情况下,对象越往后退,施加于用户眼部的负担就越重。因此,需要根据显示技术确定适当的处理。
在根据本发明的图像处理设备中,所述预定量优选地为屏幕宽度的2.9%,这是用于立体显示的舒适观看范围;更优选地为0。
另外,所述预定帧数优选地不小于3且不大于7,并且更优选地为4或5。
根据本发明的图像处理设备可以还包括:图像获取装置,用于获取具有不同视点的多个图像;移动检测装置,用于检测所述图像获取装置的移动;以及控制装置,用于禁止所述视差调整装置在检测到所述图像获取装置的移动时调整视差。
在这种情况下,根据本发明的图像处理设备还包括用于检测所述图像获取装置的相机抖动量的相机抖动检测装置。优选地使该相机抖动检测装置起到所述移动检测装置的作用。
根据本发明的图像处理方法将具有不同视点的多个图像内彼此对应的预定点设置为交叉点,并且通过对所述多个图像执行视差调整以使得视差在所述交叉点的位置处变为0来生成在用于进行立体显示的显示装置上立体显示的立体图像,所述图像处理方法的特征在于包括:针对所述图像中的每个对象计算所述多个图像之间的视差量;在绝对视差值超过预定量的对象以多于预定帧数被连续拍摄的情况下,使用为所述多个图像临时设置的交叉点作为参考来将对象识别为以用于显示位置调整为目标的对象;以及调整视差,以使得以用于显示位置调整为目标的对象的绝对视差值在调整后不超过预定量。
在根据本发明的图像处理方法中,优选的是在通过使用图像获取装置获取具有不同视点的多个图像时检测所述图像获取装置的移动,并且在检测到所述图像获取装置的移动时停止视差调整。
根据本发明的图像处理方法可以作为用于使计算机执行该方法的程序来提供。
根据本发明,针对图像中的每个对象计算多个图像之间的视差量。在绝对视差值超过预定量的对象以多于预定帧数被连续拍摄的情况下,使用为多个图像临时设置的交叉点作为参考来将对象识别为以用于显示位置调整为目标的对象。然后,调整视差,以使得以用于显示位置调整为目标的对象的绝对视差值在调整后不超过预定量。从而,消除了在立体前后方向上距交叉点位置极远的对象,以使得可以降低对用户的眼部的负担。在这种情况下,仅当绝对视差值超过预定量的对象以多于预定帧数被连续拍摄时,才执行该处理。这使得能够不会由于对例如在片刻间滑过的对象的过度反应而执行视差调整。从而,可以进一步降低对用户的眼部的负担。
这里,如果预定量为屏幕宽度的2.9%,则可以消除能向用户的眼部施加过多负担的对象,这可以减轻对用户的眼部的负担。另外,如果预定量为0,则消除了从交叉点向前突出的对象,这可以进一步减轻对用户的眼部的负担。
另外,在预定帧数小的情况下,将由于对例如在片刻间滑过的对象的过度反应而对这些对象执行交叉点位置调整。这使得用户感到不舒适。反之,在预定帧数大的情况下,即使在对象保持在期望位置时也很少会执行交叉点位置调整,这增加了对用户的眼部的负担。因此,预定帧数优选地不小于3且不大于7,更优选地,为4或5。
此外,当通过使用图像获取装置获取具有不同视点的多个图像时,在检测到图像获取装置的移动的同时停止视差调整,这使得能够在例如进行摇摄等时防止交叉点位置的快速改变。这可以降低对用户的眼部的负担。
在这种情况下,如果图像获取装置(例如,相机)近年来一般包括的相机抖动量检测装置(例如,陀螺传感器)也用作用于检测图像获取装置的移动的移动检测装置,则可以提供本发明而无需添加新的部件。
附图说明
图1是示出应用了根据本发明的第一实施例的图像处理设备的多目镜(polynocular)相机的内部配置的示意性框图;
图2是示出根据本发明的第一实施例的图像处理设备的内部配置的示意性框图;
图3是示出多目镜相机的三维处理单元的配置的示意性框图;
图4是示出第一实施例中在调整立体效果时所执行的处理的流程图;
图5是示出每个对象在成像时的位置与针对每个对象的视差之间的关系的第一示图;
图6是示出在调整之后的显示图像的示例的图;
图7是用于说明调整立体效果的定时的图;
图8是用于说明在通过使用眼镜的技术的情况下的视差调整的图;
图9是示出应用了根据本发明的第二实施例的图像处理设备的多目镜相机的三维处理单元的示意性框图;
图10是示出在第二实施例中在调整立体效果时所执行的处理的流程图;以及
图11是示出每个对象在成像时的位置与针对每个对象的视差之间的关系的第二示图。
具体实施方式
下文中,将参照附图描述本发明的实施例。图1是示出应用了根据本发明的第一实施例的图像处理设备的多目镜相机的内部配置的示意性框图。图2是示出多目镜相机的成像单元的配置的示意性框图。图3是示出多目镜相机的三维处理单元的配置的示意性框图。
如图1所示,根据第一实施例的多目镜相机1包括两个成像单元21A和21B、成像控制单元22、图像处理单元23、压缩/解压缩单元24、帧存储器25、介质控制单元26、内部存储器27、显示控制单元28、三维处理单元30和CPU33。成像单元21A和21B被放置成能够以预定基线长度和会聚角来拍摄对象。这里假设成像单元21A和21B在垂直方向上的位置相同。另外,移动控制单元35在第一实施例中不被使用,而稍后将在第二实施例中描述。
图2示出成像单元21A和21B的配置。如图2所示,成像单元21A和21B分别包括聚焦透镜10A和10B、变焦透镜11A和11B、孔径光阑12A和12B、快门13A和13B、CCD14A和14B、模拟前端(AFE)15A和15B以及A/D转换单元16A和16B。成像单元21A和21B还包括用于驱动聚焦透镜10A和10B的聚焦透镜驱动单元17A和17B以及用于驱动变焦透镜11A和11B的变焦透镜驱动单元18A和18B。
聚焦透镜10A和10B用于聚焦于对象,并且通过聚焦透镜驱动单元17A和17B可沿着光轴方向移动,聚焦透镜驱动单元17A和17B中的每一个由电机和电机驱动器形成。聚焦透镜驱动单元17A和17B基于通过稍后将描述的、由成像控制单元22执行的AF处理而获得的焦点位置数据来控制聚焦透镜10A和10B的移动。
变焦透镜11A和11b用于实现变焦功能,并且通过每一个均由电机和电机驱动器形成的变焦透镜驱动单元18A和18B可沿着光轴方向移动。变焦透镜驱动单元18A和18B基于在操作包括在输入单元34中的变焦杆时在CPU33处所获得的变焦数据来控制变焦透镜11A和11B的移动。
孔径光阑驱动单元(未示出)基于通过成像控制单元22执行的AE处理而获得的孔径值数据来调整孔径光阑12A和12B的孔径直径。
快门13A和13B是机械快门,并且由快门驱动单元(未示出)根据通过AE处理所获得的快门速度来驱动。
CCD14A和14B中的每一个均包括光电面,其中大量光接收元件二维地安排在该光电面上。对象的光图像聚焦于每个光电面上并经受光电转换以获得模拟成像信号。另外,由规则排列的R、G和B滤色器形成的滤色器布置在每个CCD14A、14B的前面。
AFE15A和15B处理从CCD14A和14B馈送的模拟成像信号以从模拟成像信号中去除噪声,并且调整模拟成像信号的增益(该操作在下文中称为“模拟处理”)。
A/D转换单元16A和16B将已经受AFE15A和15B的模拟处理的模拟成像信号转换成数字成像信号。由成像单元21A和21B获取的数字图像数据表示的图像被分别称为图像GL和图像GR。
成像控制单元22包括AF处理单元和AE处理单元(未示出)。当半按包括在输入单元34中的释放按钮时,成像单元21A和21B获取基本图像。然后,AF处理单元基于基本图像确定透镜10A和10B的聚焦区域和焦距,并且将信息输出至成像单元21A和21B。AE处理单元基于根据基本图像的亮度值计算的亮度评估值来确定曝光值,并且还基于曝光值确定孔径值和快门速度,以将信息输出至成像单元21A和21B。
当全按释放按钮时,成像控制单元22指示成像单元21A和21B执行实际图像以获取图像GL和GR的实际图像。应该注意,在操作释放按钮之前,成像控制单元22指示成像单元21A和21B以预定时间间隔(例如,以1/30秒的间隔)连续地获取实时取景图像以检查成像单元21A和21B的成像范围。
图像处理单元23对成像单元21A和21B获取的图像GL和GR的数字图像数据执行图像处理(诸如,白平衡调整、色调校正、锐度校正和颜色校正)。在该描述中,已由图像处理单元23处理的第一图像和第二图像也由用于未处理的第一图像和第二图像的相同附图标记GL和GR表示。
压缩/解压缩处理单元24根据诸如JPEG的特定压缩格式对表示用于三维显示的三维图像的图像数据执行压缩处理,并且生成用于三维显示的三维图像文件,其中三维显示是将稍后描述的、根据图像处理单元23处理的图像GL和GR的实际图像来生成的。三维图像文件包含图像GL和GR的图像数据和三维图像的图像数据。基于例如Exif格式将存储关联信息(诸如,拍摄时间和日期)的标签添加到图像文件。
帧存储器25为对表示成像单元21A和21B获取的图像GL和GR的图像数据执行的各种处理(包括由图像处理单元23进行的处理)提供工作空间。
介质控制单元26访问记录介质29并控制将三维图像文件等写入记录介质29和从记录介质29读取。
内部存储器27存储将在多目镜相机1内设置的各种常数、由CPU33执行的程序等。
显示控制单元28使得在成像期间存储在帧存储器25中的图像GL和GR显示以在监视器20上二维观看,或者使得记录在记录介质29中的图像GL和GR显示以在监视器20上二维观看。另外,显示控制单元28可以使得稍后将描述的、已经受三维处理的图像GL和GR显示以在监视器20上三维观看,或者可以使得记录在记录介质29中的三维图像显示以在监视器20上三维观看。可以自动执行在二维显示与三维显示之间的切换,或者可以根据经由输入单元34接收到的来自拍摄者的指令来执行在二维显示与三维显示之间的切换。在三维显示期间,显示图像GL和GR的实时取景图像以在监视器20上三维观看,直到按压释放按钮为止。
三维处理单元30对图像GR和GL应用三维处理以在监视器20上三维显示图像GR和GL。在该实施例中所使用的三维显示技术可以是任何已知的技术。例如,图像GR和GL可以并排显示以通过用裸眼进行平行观看来实现立体观看,或者双凸透镜系统可以用于实现三维显示,其中双凸透镜附接于监视器20上,并且图像GR和GL显示在监视器20的显示表面上的预定位置处以使得左眼和右眼分别观看图像GR和GL。另外,可以使用扫描背光系统,其通过以交替地方式对应于左眼和右眼来光学分离监视器20的背光的光径、并且根据背光分离到左边或右边的分离在监视器20的显示表面上交替地显示图像GR和GL。
根据由三维处理单元30执行的三维处理的类型修改监视器20。例如,如果利用双凸透镜系统实现三维显示,则将双凸透镜附加于监视器20的显示表面上。如果利用扫描背光系统实现三维显示,则将用于根据左图像和右图像改变光束的方向的光学元件附接于监视器20的显示表面上。
应该注意,在优选实施例的描述中,将描述采用双凸透镜系统(裸眼观看技术)作为立体显示技术的情况。
因此,三维处理单元30将图像GR、GL中的每一个内的预定点设置为交叉点,并且执行用于根据图像GL和GR裁剪监视器20上的显示范围的处理,以使得各个图像GR、GL内的交叉点显示在监视器20上的相同位置处,以便在监视器20上三维显示图像GR、GL。
如图3所示,三维处理单元30包括对应点检测单元41、位置偏移量测量单元42、重像确定单元43和视差调整单元44。对应点检测单元41从图像GR、GL中的任一个图像检测特征点,并且从另一图像检测与该一个图像中的特征点相对应的对应点。位置偏移量测量单元42执行用于测量每个特征点和与其对应的对应点之间的偏移量的处理。重像确定单元43确定对象是从交叉点向前突出的对象还是从交叉点向后移动的对象。视差调整单元44通过控制从图像GR、GL裁剪显示范围的位置来调整每个对象的视差。
CPU33根据经由输入单元34输入的信号来控制多目镜相机1的各个单元,该输入单元34包括释放按钮、箭头键等。
数据总线36连接至形成多目镜相机1的各个单元和CPU33以传送多目镜相机1中的各种数据和信息。
接下来,将描述在第一实施例中所执行的处理。图4是示出第一实施例中在调整立体效果时所执行的处理的流程图。图5是示出在每个对象在拍摄时的位置与针对每个对象的视差之间的关系的第一示图。图6是示出在调整之后的显示图像的示例的图。图7是用于说明调整立体效果的定时的图。图8是用于说明在使用眼镜的技术的情况下的视差调整的图。
这里将描述显示通过透镜图像(through-the-lens image)的立体图像的情况。同样应用于在监视器20上显示实时取景图像和静止图像的情况。首先,通过将交叉点的位置调整为向前限制位置来执行视差调整(步骤S1)。然后,获得用于生成立体图像的两个图像GR、GL(通过透镜图像)(步骤S2)。
接下来,执行确定处理以确定关于成像单元21A和21B是否执行变焦操作(步骤S3)。如果确定结果是肯定的,则处理返回至步骤S1以重新开始。如果在步骤S3中确定结果是否定的,则关于成像单元21A和21B执行聚焦操作(步骤S4)。如图5所示,通过使用两个图像GR、GL中的任一个作为参考以将参考图像的中心设置为临时交叉点位置,来执行视差调整(步骤S5)。
接下来,生成视差偏移分布图(步骤S6),并且识别在最靠前位置处的对象(步骤S7)。然后,作出关于在最靠前位置处的对象是否比在参考图像的中心处的对象更近的确定(步骤S8)。如果确定结果是肯定的,则作为最靠前重像的确定值而获得“1”(步骤S9)。如果确定结果是否定的,则作为最靠前重像的确定值而获得“0”(步骤S10)。
然后,作出关于作为最靠前重像的确定值而获得的“1”连续出现的频率是否超过预定阈值的确定(步骤S11)。如图6所示,如果确定是肯定的,则进行使用最靠前重像作为交叉点位置的视差调整,例如,进行用于防止对象从交叉点位置向前突出的处理(步骤S12)。应该注意,这不仅仅限于上述情况,并且可以执行处理使得最靠前重像的视差量不超过屏幕宽度的2.9%,这是用于立体显示的舒适观看范围。如果在步骤S11中的确定结果是否定的,则执行使用参考图像的中心作为交叉点位置的视差调整(步骤S13)。
在步骤S12或步骤S13之后,只要作为通过透镜图像的状态继续,处理就返回至步骤S2以重复上述处理。应注意,针对每帧执行该处理循环。
在第一处理中,步骤S11中的确定将不会是肯定的。然而,如图7所示,如果重复上述处理循环,则作为最靠前重像的确定值的“1”连续出现的频率可以超过预定阈值,即,在从图像上的临时交叉点位置向前不小于预定距离处的对象可以连续地以多于预定帧数被拍摄。
在该情况下,如果预定帧数太小,则将例如对刚在片刻间滑过来的对象由于对其的过度反应而执行交叉点位置调整。这使得用户感到不舒适。反之,如果预定帧数太大,则即使当对象保持在交叉点位置前面时,也极少执行交叉点位置调整,这增加了对用户的眼部的负担。因此,预定帧数优选地不小于3且不大于7,更优选地为4或5。假设帧数被设置为4来描述该实施例。
如图7所示,如果检测到作为最靠前重像的确定值的“1”连续出现的频率超过阈值3(即,检测到连续的第四个),则通过将最靠前重像设置为交叉点位置来执行视差调整。
根据上述结构,可以适当地调整立体图像的立体效果。在这种情况下,仅在绝对视差值超过预定量的对象以大于预定帧数被连续地拍摄的情况下执行该处理。这使得不会由于例如对在片刻之间滑过的对象的过度反应而执行视差调整。从而,可以进一步降低对用户的眼部的负担。
应该注意,在上述实施例中,描述了采用双凸透镜系统(裸眼观看技术)作为立体显示技术的情况。健康风险在利用裸眼观看技术的立体显示与利用使用眼镜的技术的立体显示之间根据在近侧或后侧处的视差量而不同。在使用眼镜的技术的情况下,对象越后退施加于用户眼部的负担越重。在这种情况下,如图8所示,可以通过将最靠后重像设置为交叉点位置来执行视差调整。
接下来,将描述本发明的第二实施例。应该注意,应用了根据本发明的第二实施例的图像处理设备的多目镜相机具有与根据第一实施例的多目镜相机1的配置基本上相同的配置,因此,这里将省略相同构成元件的详细描述。图9是示出应用了根据本发明的第二实施例的图像处理设备的多目镜相机的三维处理单元的配置的示意性框图。图10是示出在第二实施例中调整立体效果时所执行的处理的流程图,以及图11是示出每个对象在成像时的位置与针对每个对象的视差之间的关系的第二示图。
在上述第一实施例中,对靠前重像自动执行视差调整。然而,如果以此方式跟踪运动对象以对其进行拍摄(在摇摄时进行成像),则成像单元21A、21B与对象之间的距离关系顺序地改变,以使得频繁执行视差调整,这很可能对用户的眼部强加负担。因此,设计根据第二实施例的多目镜相机以防止交叉点位置在摇摄等的情况下快速地改变,并且与根据第一实施例的多目镜相机相比,不同之处在于其使用移动控制单元。
如图9所示,三维处理单元30包括对应点检测单元41、位置偏移量测量单元42、重像确定单元43和视差调整单元44。对应点检测单元41从图像GR、GL中的任一个中检测特征点,并从另一个图像中检测与该一个图像中的特征点相对应的对应点。位置偏移量测量单元42执行用于测量每个特征点和与其相对应的对应点之间的偏移量的处理。重像确定单元43确定对象是从交叉点向前突出的对象还是从交叉点向后移动的对象。视差调整单元44通过控制从图像GR、GL裁剪显示范围的位置来调整每个对象的视差。
另外,移动控制单元35包括相机抖动控制单元51和移动确定单元52。相机抖动控制单元51关于成像单元21A和21B执行相机抖动校正,并且具有用于检测成像单元21A和21B的相机抖动量的陀螺传感器。移动确定单元52接收从陀螺传感器发送的信号以检测成像单元21A和21B的移动。
接下来,将描述第二实施例中所执行的处理。
这里,将描述在可以执行摇摄的情况下的处理。在该实施例中,如图11所示,交叉点位置调整处理在拍摄正常实时取景图像、静止图像和通过透镜图像期间或者在摇摄期间不同。
首先,作出关于是否按压未示出的移动图像拍摄开始按钮(S1)的确定(步骤S101)。如果确定结果是否定的,则执行自动聚焦调整(S106),执行朝前重像确定(S107),执行视差调整以使得将朝前重像设置为交叉点位置(S108),并且处理返回至步骤S101。
如果在步骤S101中的确定是肯定的,则通过使用两个图像GR、GL中的任一个作为参考以将参考图像的中心设置为临时交叉点位置来执行视差调整(步骤S102),然后,在相机抖动控制单元51处对相机抖动信号执行分析(步骤S103)。
接下来,作出关于是否检测到成像单元21A和21B的移动的确定(步骤S104)。如果确定是肯定的,则固定视差直到完成摇摄并且处理终止为止。
如果步骤S104中的确定是否定的,则处理移动至S107以重复处理循环。
即使当采用上述配置时,也可以获得与通过上述第一实施例所获得的效果相同的有益效果,并且即使当执行摇摄时,也可以执行适当处理。
已描述本发明的两个实施例。另外,可以将本发明实现为用于使得计算机起到与上述三维处理单元30对应的装置的作用的程序,以实现每个实施例中的处理。还可以将本发明作为包含这样的程序的计算机可读记录介质来实现。
另外,根据本发明的图像处理设备不限于多目镜相机中的应用,而且可以应用于任何其他设备(诸如,图像显示装置)。

Claims (10)

1.一种图像处理设备,其将与具有不同视点的多个图像中的每一个相对应的预定点设置为交叉点,并且通过对所述多个图像执行视差调整以使得视差在交叉点的位置处变为0来生成在用于进行立体显示的在显示装置上立体显示的立体图像,该图像处理设备包括:
视差量计算装置,用于针对所述图像内的每个对象计算所述多个图像之间的视差量;
用于显示位置调整的对象识别装置,用于在绝对视差值超过预定量的对象以多于预定帧数被连续拍摄的情况下,使用为所述多个图像临时设置的交叉点作为参考来将对象识别为用于显示位置调整的对象;以及
视差调整装置,用于调整视差,以使得用于显示位置调整的对象的绝对视差值在调整后不超过所述预定量。
2.根据权利要求1所述的图像处理设备,其中所述预定量是屏幕宽度的2.9%。
3.根据权利要求1或2所述的图像处理设备,其中所述预定量为0。
4.根据权利要求1至3中任一项所述的图像处理设备,其中所述预定帧数优选地不小于3且不大于7。
5.根据权利要求1至4中任一项所述的图像处理设备,其中所述预定帧数优选地为4或5。
6.根据权利要求1至5中任一项所述的图像处理设备,还包括:
图像获取装置,用于获取具有不同视点的多个图像;
移动检测装置,用于检测所述图像获取装置的移动;
控制装置,用于禁止所述视差调整装置在检测到所述图像获取装置的移动时调整视差。
7.根据权利要求6所述的图像处理设备,还包括:
相机抖动检测装置,用于检测所述图像获取装置的相机抖动量,
其中所述相机抖动检测装置起到所述移动检测装置的作用。
8.一种图像处理方法,用于将与具有不同视点的多个图像中的每一个相对应的预定点设置为交叉点,并且对所述多个图像执行视差调整以使得视差在所述交叉点的位置处变为0,以生成在用于进行立体显示的显示装置上立体显示的立体图像,所述方法包括:
针对所述图像中的每个对象计算所述多个图像之间的视差量;
在绝对视差值超过预定量的对象以多于预定帧数被连续拍摄的情况下,使用为所述多个图像临时设置的交叉点作为参考来将对象识别为用于显示位置调整的对象;以及
调整视差,以使得用于显示位置调整的对象的绝对视差值在调整后不超过所述预定量。
9.根据权利要求8所述的图像处理方法,还包括:
在通过使用图像获取装置获得具有不同视点的多个图像时,检测所述图像获取装置的移动;
在检测到所述图像获取装置的移动时停止视差调整。
10.一种用于使计算机执行根据权利要求8或9所述的图像处理方法的程序。
CN2011800329742A 2010-06-30 2011-06-28 图像处理装置、图像处理方法和图像处理程序 Pending CN103098479A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-148686 2010-06-30
JP2010148686 2010-06-30
PCT/JP2011/003691 WO2012001958A1 (ja) 2010-06-30 2011-06-28 画像処理装置および方法並びにプログラム

Publications (1)

Publication Number Publication Date
CN103098479A true CN103098479A (zh) 2013-05-08

Family

ID=45401699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800329742A Pending CN103098479A (zh) 2010-06-30 2011-06-28 图像处理装置、图像处理方法和图像处理程序

Country Status (4)

Country Link
US (1) US20130120374A1 (zh)
JP (1) JPWO2012001958A1 (zh)
CN (1) CN103098479A (zh)
WO (1) WO2012001958A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6255753B2 (ja) * 2013-07-05 2018-01-10 株式会社ニコン 画像処理装置および撮像装置
EP3278709B1 (en) * 2015-03-31 2020-01-08 Sony Corporation Medical observation device, information processing method, program and video microscope device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
US20080112593A1 (en) * 2006-11-03 2008-05-15 Ratner Edward R Automated method and apparatus for robust image object recognition and/or classification using multiple temporal views
US20090273704A1 (en) * 2008-04-30 2009-11-05 John Pincenti Method and Apparatus for Motion Detection in Auto-Focus Applications
JP2010081010A (ja) * 2008-09-24 2010-04-08 Fujifilm Corp 3次元撮影装置および方法並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP3749227B2 (ja) * 2002-03-27 2006-02-22 三洋電機株式会社 立体画像処理方法および装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
US20080112593A1 (en) * 2006-11-03 2008-05-15 Ratner Edward R Automated method and apparatus for robust image object recognition and/or classification using multiple temporal views
US20090273704A1 (en) * 2008-04-30 2009-11-05 John Pincenti Method and Apparatus for Motion Detection in Auto-Focus Applications
JP2010081010A (ja) * 2008-09-24 2010-04-08 Fujifilm Corp 3次元撮影装置および方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUJI NOJIRI ET AL: "Visual comfort/discomfort and visual fatigue caused by stereoscopic HDTV viewing", 《PROC. OF SPIE-IS&T ELECTRONIC IMAGING》 *

Also Published As

Publication number Publication date
WO2012001958A1 (ja) 2012-01-05
JPWO2012001958A1 (ja) 2013-08-22
US20130120374A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
CN102165785B (zh) 三维成像装置和方法
US9258545B2 (en) Stereoscopic imaging apparatus
CN102959969B (zh) 单眼立体摄像装置
CN103098457B (zh) 立体成像装置和立体成像方法
JP5368350B2 (ja) 立体撮像装置
CN103370943B (zh) 成像装置和成像方法
US9420261B2 (en) Image capturing apparatus, method of controlling the same and program
JP2010068182A (ja) 3次元撮影装置および方法並びにプログラム
JP4895312B2 (ja) 3次元表示装置および方法並びにプログラム
US20130113793A1 (en) Image processing device, image processing method, and image processing program
US8773506B2 (en) Image output device, method and program
CN102986232B (zh) 图像处理装置及方法
CN103782234B (zh) 立体图像捕捉设备和方法
CN103098458B (zh) 立体成像装置和立体成像方法
JP5191864B2 (ja) 3次元表示装置および方法並びにプログラム
US9124866B2 (en) Image output device, method, and recording medium therefor
US9094671B2 (en) Image processing device, method, and recording medium therefor
CN103098479A (zh) 图像处理装置、图像处理方法和图像处理程序
US9025011B2 (en) Image capturing apparatus, playback apparatus, control method, image capturing system and recording medium
JP2012124650A (ja) 撮像装置および撮像方法
JP2011030123A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130508