CN103828363B - 视差调整装置及控制其操作的方法 - Google Patents

视差调整装置及控制其操作的方法 Download PDF

Info

Publication number
CN103828363B
CN103828363B CN201280047443.5A CN201280047443A CN103828363B CN 103828363 B CN103828363 B CN 103828363B CN 201280047443 A CN201280047443 A CN 201280047443A CN 103828363 B CN103828363 B CN 103828363B
Authority
CN
China
Prior art keywords
parallax
image
parallax amount
stereo
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280047443.5A
Other languages
English (en)
Other versions
CN103828363A (zh
Inventor
田中康一
矢作宏一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103828363A publication Critical patent/CN103828363A/zh
Application granted granted Critical
Publication of CN103828363B publication Critical patent/CN103828363B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明有助于视差调整。显示了三维图像,并且计算了组成该三维图像的左视点图像和右视点图像之间的视差。如果该三维图像的视差超过预定的容许视差量,则确定缩小三维图像。基于缩小的三维图像(54)调整视差。由于利用具有处于容许视差范围内的视差的三维图像(54)调整视差,所以视差很容易被调整。

Description

视差调整装置及控制其操作的方法
技术领域
本发明涉及视差调整装置和控制该装置的操作的方法。
背景技术
现有技术包括用于将具有通过所谓的立体摄像机摄影术获得的水平视差的一对左右图像显示为3D图像的装置。近年来已出现了诸如电视、智能电话和数字摄像机这样的开始配备有具有3D显示功能的显示器的家用电器。
由于个体差异影响了3D深度和飞出感,3D显示设备经常具有用户操作的视差(立体效果)调整机构。通常,人们在观察3D图像的同时通过水平地移动左图像和右图像来调整视差。
还可利用的是其中能够调整视点图像的相互视差的立体图像处理装置(专利文献1)、能够调整立体视觉的视差量的立体图像显示装置(专利文献2)以及用于调整会聚点的装置(专利文献3)。
[专利文献1]:日本专利申请特开No.2005-130310
[专利文献2]:日本专利申请特开No.2004-289527
[专利文献3]:日本专利申请特开No.9-201472
发明要解决的问题
然而,由于基于具有大水平视差的左图像和右图像的3D图像应用了过量的3D飞出和深度感,所以难以在观察图像的同时调整视差。
发明内容
本发明的一个目的是将进行布置使得能够实现适当的视差调整。
根据本发明的视差调整装置的特征在于包括:视差计算部件,用于逐像素计算作为基准的第一图像和第二图像之间的视差量,第一和第二图像具有不同的视点;缩小率判定部件,用于基于由视差计算部件计算的视差量和规定的容许视差量来判定第一和第二图像的缩小率(其中,容许视差量是提供使适当的立体视觉成为可能的视差量标准的视差量,并且取决于显示设备的尺寸和立体显示方案);缩小部件,用于以由缩小率判定部件判定的缩小率缩小第一和第二图像;立体图像显示控制部件,用于以使得包含被缩小部件缩小的第一和第二图像的立体图像被显示在显示屏上的方式控制显示单元;以及第一视差调整部件,用于接受视差量调整命令并且根据命令的视差量来调整在已被缩小部件缩小的第一和第二图像之间的视差量。
本发明还提供了一种适合上述视差调整装置的操作控制方法。该方法包括:利用视差计算部件逐像素计算作为基准的第一图像和第二图像之间的视差量,第一和第二图像具有不同的视点;利用缩小率判定部件基于由视差计算部件计算的视差量和规定的容许视差量判定第一和第二图像的缩小率;利用缩小部件以缩小率判定部件判定的缩小率缩小第一和第二图像;利用立体图像显示控制部件以使得包含被缩小部件缩小的第一和第二图像的立体图像被显示在显示屏上的方式控制显示单元;以及利用第一视差调整部件接受视差调整命令并且根据命令的视差量调整在已被缩小部件缩小的第一和第二图像之间的视差量。
根据本发明,具有不同视点的第一和第二图像中的第一图像被采纳为基准,逐像素计算第一和第二图像之间的视差量,并且基于计算的视差量判定第一和第二图像的缩小率(以使得视差量变为容许视差量这样的方式)。以判定的缩小率缩小第一和第二图像的尺寸。在显示屏上显示被缩小的第一和第二图像,并且在观察在显示屏上显示的第一和第二图像的同时调整视差量。
大图像具有大视差量。因此,立体视觉难以实现,并且调整视差量也是困难的。根据本发明,第一和第二图像的尺寸被缩小,并且调整处于缩小状态的第一和第二图像之间的视差量。这使得更容易调整视差量。
优选地,该装置进一步包括第二视差调整部件,用于使不同视点的第一和第二图像之间的像素中的各个像素的、在被缩小部件缩小之前存在的视差量,成为当视差量已被视差量调整部件调整并且已被缩小的第一和第二图像被放大时将存在的视差量,以便呈现被缩小部件缩小之前存在的尺寸。
第二视差调整部件以使得第一和第二图像之间的视差量将下降到容许视差量之下这样的方式调整视差量。
作为示例,缩小率判定部件以使得在第一图像的像素中规定数量以上的像素的视差量将是容许视差量这样的方式来判定缩小率。
作为示例,在第一图像已被分割为规定尺寸的块的情况下,视差计算部件逐块计算作为基准的第一图像和第二图像之间的视差量,并且作为示例,缩小率判定部件以使得在具有容许视差量以上的视差量并且其数量在阈值以上的块的视差量的绝对值中的最大视差量将是容许视差量这样的方式进行缩小。
该装置可以进一步包括:第一对比度调整部件,用于降低已被缩小部件缩小的第一和第二图像的对比度;以及第二对比度调整部件,用于将其视差量已被第二视差调整部件调整的第一和第二图像的对比度恢复至第一对比度调整部件调整对比度之前存在的对比度。
视差计算部件计算第一和第二图像中的例如是位于最前面的图像的被摄体图像的视差量。
视差计算部件可以从第一和第二图像中计算预定的规定被摄体的视差量。在这种情况下,作为示例,缩小率判定部件将计算由视差计算部件计算的规定被摄体的视差量。
可以布置成使得放大部件的放大处理,以在被放大部件放大之后的第一和第二图像的视差量将与被视差调整部件调整后的视差量相同这样的方式来执行。
附图说明
图1是图示了图像观看器的电配置的方框图;
图2是图示了图像观看器的处理过程的流程图;
图3是图示了图像观看器的处理过程的流程图;
图4图示了左视点图像和右视点图像的示例;
图5是立体图像的示例;
图6是视差直方图的示例;
图7是立体图像的示例;
图8是视差直方图的示例;
图9是立体图像的示例;
图10是视差直方图的示例;
图11是立体图像的示例;
图12是视差直方图的示例;
图13是图示了用于确定图像缩小的处理过程的流程图;
图14是图示了用于确定图像缩小的处理过程的流程图;
图15是视差直方图的示例;
图16图示了视差直方图的一部分的放大;
图17图示了视差直方图的一部分的放大;
图18是图示了图像观看器的处理过程的流程图;
图19是图示了图像观看器的处理过程的流程图;
图20是缩小的立体图像的示例;以及
图21是缩小的立体图像的示例。
具体实施方式
示出了本发明的实施例的图1的方框图是图示了图像观看器1的电配置的框图。
根据该实施例的图像观看器1能够显示立体图像,并且使之能够执行视差调整,以便有助于立体视觉。由于当视差太大时难以实现立体视觉,所以在该实施例中,能够在缩小立体图像的尺寸后进行视差调整。
由CPU2控制图像观看器1的整个操作。
图像观看器1包括:用户接口3,具有用于处于调整视差的目的而为图像观看器1提供调整视差的调整量的调整转盘,以及用于施加命令的操作单元;视差调整单元4;图像缩小确定单元5,用于确定图像缩小处理是否是必要的;以及立体匹配单元6,用于区别左视点图像和右视点图像之间的逐像素匹配,以计算立体图像的视差量。
图像观看器1还包括:立体图像显示单元7,用于显示立体图像;图像放大/缩小单元8,用于进行立体图像放大和缩小;存储器9,用于存储规定的数据;压缩/扩展单元10,用于进行图像数据的压缩和扩展;以及外部媒质接口11,用于访问存储器卡12。表示立体图像的立体图像数据(表示左视点图像的图像数据以及表示右视点图像的图像数据)已经被储存在存储器卡12上。
图2和3是图示了图像观看器1的处理过程的流程图。
首先,从存储器卡12读取预期的表示左视点图像的图像数据以及表示右视点图像的图像数据(图2中的步骤21)。
图4是左视点图像40L和右视点图像40R的示例。
参照图4的左侧,左视点图像40L是通过从左视点成像获得的图像。左视点图像40L包括人图像41L和山的背景图像43L。参照图4的右侧,右视点图像40R是通过从右视点成像获得的图像。右视点图像40R包括人图像41R和背景图像43R,人图像41R和背景图像43R分别相应于包括在左视点图像40L中的人图像41L和山的背景图像43L。
在图4的左侧上示出的左视点图像40L和在图4的右侧上示出的右视点图像40R具有视差,这是由于它们从不同的视点被捕获。
在左视点图像40L和右视点图像40R之间进行立体匹配(图2中的步骤22),并且利用左视点图像40L(或者右视点图像40R)作为基准,逐像素计算左视点图像40L(或者右视点图像40R)和右视点图像40R(或者左视点图像40L)之间的视差量。自然,在左视点图像40L(或者右视点图像40R)已被分割为具有规定尺寸的块的情况下,能够进行布置使得逐块而非逐像素地计算左视点图像40L(或者右视点图像40R)和右视点图像40R(或者左视点图像40L)之间的视差量。像素也能够被视为块。除了利用块匹配之外,匹配能够利用Kanade-Lucas-Tomasi的特征点跟踪器、SIFT(尺度不变特征变换)等。
接下来,产生左视点图像40L和右视点图像40R之间的视差直方图,并且基于所产生的视差直方图进行图像缩小确定(图2中的步骤23)。
图5是立体图像52的一个示例。
通过在显示屏50上显示之间具有视差的左视点图像40L和右视点图像40R获得立体图像52。由于立体图像52的尺寸小于显示屏50的尺寸,所以帧51(用阴影指示)出现在立体图像52周围。用人图像41L和41R表示的人存在于由背景图像43L和43R表示的山背景的前面。在该实施例中,调整视差,以便容易观看人。人图像41L和41R之间的视差用d1表示。例如,如果人图像41L和41R之间的视差太大,则将难以实现立体视觉,并且因此,将进行视差调整。如果基于视差直方图认为从左视点图像40L和右视点图像40R形成的立体图像难以观看,则执行图像缩小处理。由于通过执行图像缩小处理缩小左视点图像40L和右视点图像40R之间的视差,所以立体图像变得更容易观看并且也有助于视差调整。如果立体图像易于观看,则不执行图像缩小处理。后面将描述图像缩小处理的细节。
图6为图5所示的立体图像52的视差直方图的一个示例。
在图6中,水平轴指示视差量并且垂直轴指示像素量。在表示视差量的水平轴中央处的“0”是视差为零的交叉点。中央“0”的左侧指示在3D中图像飞出处的视差量,并且中央“0”右侧表示在3D中指示深度的视差量。
左侧上的分布D1指示人图像41L和41R之间的视差量分布,并且右侧上的分布D2指示背景图像43L和43R之间的视差量分布。在该实施例中,限定了将包括在左视点图像40L或右视点图像40R的所有像素Nall中的许多像素的视差范围±dth。此外,限定了容许视差范围±dp。由于人图像41L和41R之间的视差d1(即在人图像41L和41R之间的视差量分布中的峰视差)未落入容许视差范围±dp之内,所以难以实现立体视觉。
如果因此立体视觉难以实现,则确定缩小立体图像是必要的。如果在图像缩小确定步骤中认为缩小立体图像是必要的(在图2的步骤24处为“是”),则执行用于缩小立体图像的处理(图2中的步骤25)。如果判断缩小立体图像是不必要的(在图2的步骤24处为“否”),则利用未缩小其尺寸的立体图像执行视差调整和其它处理。在显示屏50上显示被缩小的立体图像(图3中的步骤26)。
图7为已经历缩小处理的立体图像54的一个示例。
被缩小的立体图像54包括人图像42L和42R,对应于上面提到的尺寸缩小之前存在的人图像41L和41R。还包含了背景图像45L和45R,对应于尺寸缩小之前的背景图像43L和43R。由于立体图像54已被缩小,所以在显示屏50上显示在立体图像54周围的帧53的尺寸(用阴影指示)比之前的尺寸更大。此外,与图5示出的立体图像52相比,由于立体图像54已被缩小,所以与包含在缩小之前存在的立体图像52中的人图像41L和41R之间的视差相比,人图像42L和42R之间的视差d2小。
图8是在图像缩小之后的视差直方图的一个示例。
在图8中,左侧上的分布D1是人图像42L和42R之间的视差分布,并且右侧上的分布D2是背景图像45L和45R之间的视差分布。
由于执行图像缩小处理,所以人图像42L和42R之间的视差分布D1与背景图像45L和45R之间的视差分布D2更加接近。几乎所有像素的视差量落入容许视差范围±dp内。因此,如上所提到的,利用被缩小的立体图像54更容易进行视差调整。人图像42L和42R之间的视差d2也落入容许视差范围±dp内。这是其中立体视觉易于实现的状态。
因此,由于通过缩小立体图像52的尺寸而获得的立体图像54的人图像42L和42R之间的视差(视差不必局限于人图像42L和42R之间的视差)变得更小,所以有助于视差调整。
关于包含在被缩小的立体图像(左视点图像和右视点图像)54中的人图像42L和42R进行视差调整(第一视差调整)(图3中的步骤27),并且完成视差调整(在图3的步骤28处为“是”)。
图9为已经历视差调整的被缩小的图像54A的一个示例。
由于视差调整的实施,人图像42L和42R之间的视差已经从d2变为d3(d3<d2)。
图10为已经历图9所示的视差调整的被缩小的图像54A的视差直方图。
由于执行了关于人图像42L和42R的视差调整,所以如上所提到的,二者之间的视差已变为d3。视差已被调整,以便有助于用户立体观看。
如果关于被缩小的立体图像54A所应用的视差d3,已经根据在立体图像54被放大至缩小之前存在的立体图像52的尺寸的情况下的放大率被放大,并且随后被应用到缩小之前存在的左视点图像40L(图4)以及缩小之前存在的右视点图像40R(图4),那么可能发生的是将超过容许视差量。(容许视差量指提供使适当的立体视觉成为可能的视差量标准的视差量;取决于显示装置的尺寸和立体显示方案)。因此,在该实施例中,利用缩小率,计算与在被缩小的立体图像54A已被放大至缩小之前存在的立体图像52的尺寸的情况下的放大率相符的视差量(图3中的步骤29)。如果计算的视差量不小于容许视差量(图3中的步骤30处为“否”),则为了有助于立体视觉,以视差量将变为容许视差量的方式使左视点图像40L和右视点图像40R经受视差调整(第二视差调整)(图3中的步骤32)。如果计算的视差量小于容许视差量(在图3中的步骤30处为“是”),则利用计算的视差量使左视点图像40L和右视点图像40R经受视差调整(第二视差调整)(图3中的步骤32)。
图11为已经受视差调整的立体图像52A的一个示例,该视差调整以如上描述的方式利用基于通过对缩小的图像的视差调整而获得的视差所计算的视差。该立体图像52A不是通过放大立体图像54A获得的图像,而是通过使左视点图像40L和右视点图像40R以使得立体图像呈现以如上描述的方式计算的视差这样的方式经受视差调整所获得的图像。
立体图像52A包括上面提到的人图像41L和41R。已经基于被缩小的图像54A中的视差d3计算出人图像41L和41R之间的视差d。不用说,如果计算的视差d超过容许视差量,则立体图像所呈现的视差将是如上所述的容许视差量。
如图5所示,在立体图像52中,人图像41L和41R之间的视差d1为d1,并且如图7所示,在通过缩小而获得的立体图像54中,人图像42L和42R之间的视差为d2。令R表示缩小率,我们得到视差d2=d1×R。假定d3=d2+c1(其中c1为视差调整量)保持作为关于被缩小的图像54进行视差调整的结果。计算符合缩小率的视差d,以便将视差d3应用到缩小之前存在的左视点图像40L和右视点图像40R。被应用到缩小之前存在的左视点图像40L和右视点图像40R的人图像41L和41R的视差d为d=d3/R=(d1×R+c1)/R=d1+(c1/R)。如果该视差d超过容许视差量,则它被采纳作为容许视差量。当然,视差d不需要被限制到容许视差量。
图12为立体图像52A的视差直方图的一个示例,已通过应用计算的视差d对该立体图像进行了视差调整。
由于图11中示出的立体图像52A的视差调整量大于图9中示出的被缩小的立体图像54A的视差调整量,所以人图像41L和41R的视差分布D1与背景图像43L和43R的视差分布D2之间的间隙加宽了。
图13是图示了用于确定图像缩小的处理过程(图2中的步骤23的处理过程)的流程图。
如图9中所示,产生表示左视点图像40L的像素(参见图4)和右视点图像40R的像素(参见图4)之间的视差的视差直方图。
首先,视差范围±dth被重置为零(图13中的步骤61)。
接着,计算具有落入视差范围±dth内的视差的像素数Nr(图13中的步骤62)。直到被计算的像素数Nr与所有像素数Nall的比率变得大于规定的阈值th1(例如,0.9)(步骤63),视差范围±dth的宽度逐渐被扩大(图13中的步骤64)。当被计算的像素数Nr与所有像素数Nall的比率变得大于规定的阈值th1时(在图13中的步骤63处为“是”),判定出包含所有像素Nall中的许多像素的视差范围±dth。
如果由此判定的视差范围±dth在容许视差±dp以下(在图13中的步骤65处为“否”),则这种立体图像将容易适用于立体视觉,并且因此判定不执行缩小处理(缩小率=1)(图13中的步骤67)。
如果视差范围±dth大于容许视差±dp(在图13中的步骤65处为“是”),则判定以缩小率R=dp/dth进行缩小(图13中的步骤66)。由于这种图像缩小,能够使视差分布落入容许视差范围±dp内。
可以进行布置以便作为立体视觉的特征的上述视差范围±dth的计算仅利用具有通过边缘检测获得的强边缘(例如,垂直线的像素)的像素的视差来进行,或者可以进行布置以便排除具有低对比度的被摄体的视差。
图14是图示了用于确定图像缩小的处理过程的另一个示例(图2中的步骤23的处理过程)的流程图。
在该实施例中,考虑到立体图像中的过多立体照相飞出视差阻碍了舒适的立体视觉的事实,根据位于前面的被摄体的视差量执行图像缩小率R的设置。以类似于以上描述的方式产生视差直方图。
图15为视差直方图G的一个示例。
以类似于上述直方图的方式,水平轴指示视差量并且垂直轴指示像素数。由于视差直方图指示多少像素拥有视差量,该直方图表示像素数对比视差量。
图16图示了视差直方图G的一部分的放大。
如上所提到的,视差直方图G表示像素数对比视差量。例如,具有视差量P1的像素数为1,并且具有视差量P2的像素数为2。因此,能够从视差直方图G中查明与视差量相对应的像素数。
首先,读取视差直方图中具有第i个视差量的像素数n(开始时,视差量将已被重置为具有最大量的立体图形飞出的像素即位于最前面的像素的视差量)(图14中的步骤71)。如果获得的像素数n不在阈值fth以上(在图14的步骤72处为“否”),则将存在很小的影响。因此,如果未检查所有的视差量(在图14的步骤73处为“否”),则i递增(图14中的步骤74),并且读取在深度侧上具有下一个视差量的像素数n(图14中的步骤71)。
当具有视差量Pn的像素数变成阈值fth以上时(在图14的步骤72处为“是”),如图16中所示,该第i个视差量di被采纳为位于最前面的被摄体的视差量df(图14中的步骤75)。判定以使得视差量df将落入容许视差量dp内这样的方式以缩小率R=dp/df进行缩小(图14中的步骤76)。
图17图示了在超过阈值fth的像素不存在的情况下的视差直方图的放大。
如果即使已经检查了所有像素的视差量也不存在具有超过阈值fth的像素数的部分(在图14中,在步骤72处为“否”,在步骤73处为“是”),则随后容许视差dp被采纳为位于最前面的被摄体的视差量df(图14中的步骤77)并且作出不进行缩小的判定(图14中的步骤78)。将保持缩小率R=dp/df=dp/dp=1。
在前述的实施例中,根据位于前面的被摄体的视差量执行控制。然而,在重点被放在深度方向上更远的被摄体上的情况下,从深度方向上更远的被摄体的视差量按顺序执行类似于上述处理的处理就足够了。
图18至21图示了另一个实施例。
该实施例检测特定的被摄体,诸如面部图像(尽管被摄体不必局限于面部图像)并且如果被检测的特定被摄体的视差大于容许视差,则缩小立体图像的尺寸。此外,当用于缩小立体图像的处理被执行时,用于降低形成立体图像的左视点图像和右视点图像中的至少一个图像的对比度的处理同样被执行。根据视差调整,对比度被恢复至原始的。自然,用于降低对比度的处理不需要必须被执行。可以执行用于降低对比度的处理,而不执行用于缩小立体图像尺寸的处理。
图18和19是图示了图像观看器1的处理过程的流程图。在这些图中与图2或图3中所示的步骤相同的处理步骤用相同的步骤编号指明,并且省略了其描述。
以类似于以上描述的方式,从存储器卡12中读取左视点图像40L和右视点图像40R(图18中的步骤81),并且执行用于检测左视点图像40L中的面部的处理(图18中的步骤82)。如果从左视点图像40L中检测到面部(在图18的步骤83处为“是”),则与在左视点图像40L中检测面部相同,关于右视点图像40R执行用于检测面部的处理(图18中的步骤84)。例如,在左视点图像40L中检测到的面部图像被采纳为模板图像,并且从右视点图像40R中检测与模板图像相同的图像。如果从右视点图像40R中检测到与从左视点图像40L中检测的面部图像相同的面部图像(在图18的步骤85处为“是”),则从面部的位置关系计算面部的视差量dh(图18中的步骤86)。
如果计算的面部的视差量dh大于容许视差量dp(在步骤87处为“是”),则以如上提到的方式将图像缩小应用到立体图像(图18中的步骤88)。如果计算的面部的视差量dh在容许视差量dp以下(在步骤87处为“否”),则不执行图像缩小处理,并且将其它的处理,诸如视差调整的执行,应用到尺寸未被缩小的立体图像。
接下来,关于形成立体图像的左视点图像和右视点图像中的至少一个图像缩小对比度(图19中的步骤91)。不用说,如果立体图像已被缩小,则降低被缩小图像的对比度。如果对比度已被降低,则优选地将此通知用户。例如,显示“由于图像的立体效果不适当,显示模式已被改变”的信息。
当随后利用被缩小的立体图像执行视差调整时,根据该视差调整使对比度恢复至原始的(图19中的步骤27A)。通过对比度改变而指示视差调整的程度变为可能。
可以通过利用统一的值调整整个图像来进行对比度调整,或者可以仅使超过容许视差的区域的对比度降低。
图20和21为立体图像52A的示例。
参照图20,立体图像54A包括从左视点图像获得的人图像44L和从右视点图像获得的人图像44R。相应的人图像44R和44L的对比度用阴影指示。已经以上述方式降低了右视点图像的对比度。
当执行视差调整时对比度改变,并且如图21所示,根据视差调整的完成而恢复原始对比度。
如上所提出的,可以布置为检测对应于位于前面的被摄体的视差量,并且在视差量的绝对值超过容许视差的情况下以上述方式降低对比度。
[附图标记]
1…图像观看器
2…CPU
4…视差调整单元
5…图像缩小确定单元
6…立体匹配单元
7…立体图像显示单元

Claims (2)

1.一种视差调整装置,包括:
视差计算部件,所述视差计算部件用于逐像素计算作为基准的第一图像和第二图像之间的视差量,所述第一和第二图像具有不同的视点;
缩小率判定部件,所述缩小率判定部件用于基于由所述视差计算部件计算的视差量和规定的容许视差量,判定所述第一和第二图像的缩小率;
缩小部件,所述缩小部件用于以由所述缩小率判定部件判定的所述缩小率缩小所述第一和第二图像;
立体图像显示控制部件,所述立体图像显示控制部件用于以使得包含被所述缩小部件缩小的所述第一和第二图像的立体图像被显示在显示屏上这样的方式,来控制显示单元;以及
第一视差调整部件,所述第一视差调整部件用于接受视差调整命令,并且根据命令的视差量来调整在已被所述缩小部件缩小的所述第一和第二图像之间的视差量,
所述视差调整装置进一步包括第二视差调整部件,所述第二视差调整部件用于使在不同视点的所述第一和第二图像之间、在被所述缩小部件缩小之前存在的视差量,成为当它们的视差量已被所述第一视差调整部件调整并且已被缩小的所述第一和第二图像被放大时将存在的视差量,以呈现被所述缩小部件缩小之前存在的尺寸,
其中,所述第二视差调整部件以使得所述第一和第二图像之间的视差量将下降到所述容许视差量之下这样的方式来调整视差量。
2.根据权利要求1所述的视差调整装置,进一步包括:
第一对比度调整部件,所述第一对比度调整部件用于降低已被所述缩小部件缩小的所述第一和第二图像的对比度;以及
第二对比度调整部件,所述第二对比度调整部件用于将其视差量已被所述第二视差调整部件调整的所述第一和第二图像的对比度,恢复至在通过所述第一对比度调整部件调整对比度之前存在的对比度。
CN201280047443.5A 2011-09-29 2012-08-21 视差调整装置及控制其操作的方法 Expired - Fee Related CN103828363B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011214058 2011-09-29
JP2011-214058 2011-09-29
PCT/JP2012/071055 WO2013047007A1 (ja) 2011-09-29 2012-08-21 視差量調整装置およびその動作制御方法

Publications (2)

Publication Number Publication Date
CN103828363A CN103828363A (zh) 2014-05-28
CN103828363B true CN103828363B (zh) 2015-03-18

Family

ID=47995058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280047443.5A Expired - Fee Related CN103828363B (zh) 2011-09-29 2012-08-21 视差调整装置及控制其操作的方法

Country Status (4)

Country Link
US (1) US20140210963A1 (zh)
JP (1) JP5581452B2 (zh)
CN (1) CN103828363B (zh)
WO (1) WO2013047007A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460543B2 (en) 2013-05-31 2016-10-04 Intel Corporation Techniques for stereo three dimensional image mapping
JP6275174B2 (ja) * 2015-03-10 2018-02-07 キヤノン株式会社 画像処理方法、画像処理装置、および、撮像装置
JP6684475B2 (ja) * 2017-03-13 2020-04-22 オムロン株式会社 画像処理装置、画像処理方法及びプログラム
CN109506893A (zh) * 2018-10-16 2019-03-22 中国航空工业集团公司洛阳电光设备研究所 一种车载ar-hud双目显示视差测试方法
CN111225201B (zh) * 2020-01-19 2022-11-15 深圳市商汤科技有限公司 视差校正方法及装置、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0751689A2 (en) * 1995-06-29 1997-01-02 Matsushita Electric Industrial Co., Ltd. Stereoscopic image generating apparatus and display therefor
JP2005073013A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
US7372987B2 (en) * 2001-07-03 2008-05-13 Olympus Corporation Three-dimensional image evaluation unit and display device using the unit

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2848291B2 (ja) * 1995-08-24 1999-01-20 松下電器産業株式会社 立体tv装置
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
JP5243003B2 (ja) * 2007-11-28 2013-07-24 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5491786B2 (ja) * 2009-07-21 2014-05-14 富士フイルム株式会社 画像再生装置及び方法
JP5397190B2 (ja) * 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2012009010A (ja) * 2010-05-25 2012-01-12 Mitsubishi Electric Corp 画像処理装置、画像処理方法および画像表示装置
JP5059922B2 (ja) * 2010-09-15 2012-10-31 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0751689A2 (en) * 1995-06-29 1997-01-02 Matsushita Electric Industrial Co., Ltd. Stereoscopic image generating apparatus and display therefor
US7372987B2 (en) * 2001-07-03 2008-05-13 Olympus Corporation Three-dimensional image evaluation unit and display device using the unit
JP2005073013A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
WO2013047007A1 (ja) 2013-04-04
CN103828363A (zh) 2014-05-28
JPWO2013047007A1 (ja) 2015-03-26
US20140210963A1 (en) 2014-07-31
JP5581452B2 (ja) 2014-08-27

Similar Documents

Publication Publication Date Title
CN101964918B (zh) 图像再现设备和图像再现方法
EP2357838B1 (en) Method and apparatus for processing three-dimensional images
US20120293489A1 (en) Nonlinear depth remapping system and method thereof
WO2011052389A1 (ja) 画像処理装置及び画像処理方法
CN103828363B (zh) 视差调整装置及控制其操作的方法
US10165249B2 (en) Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
US20150334365A1 (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and recording medium
KR100918007B1 (ko) 3차원 모델의 스케일링 방법, 스케일링 유닛 및 화상디스플레이 장치
US10074343B2 (en) Three-dimensional image output apparatus and three-dimensional image output method
CN102572492B (zh) 图像处理设备和方法
US8866881B2 (en) Stereoscopic image playback device, stereoscopic image playback system, and stereoscopic image playback method
US20120008856A1 (en) Automatic Convergence Based on Face Detection for Stereoscopic Imaging
CN101808251B (zh) 立体图像对中遮挡信息的提取方法
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
EP2611173A1 (en) Image processing device, image processing method, and program
US8675042B2 (en) Image processing apparatus, multi-eye digital camera, and program
WO2011125461A1 (ja) 画像生成装置及び方法並びにプリンタ
JP3990271B2 (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
US8072487B2 (en) Picture processing apparatus, picture recording apparatus, method and program thereof
US9554118B2 (en) Image proccessing device, imaging device, and image processing method
US20120007819A1 (en) Automatic Convergence Based on Touchscreen Input for Stereoscopic Imaging
JP5127973B1 (ja) 映像処理装置、映像処理方法および映像表示装置
CN105488845B (zh) 产生三维图像的方法及其电子装置
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
CN115176459B (zh) 虚拟视点合成方法、电子设备和计算机可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150318

Termination date: 20180821