CN103843333A - 控制立体图像的显示的方法、控制立体图像显示的装置以及成像装置 - Google Patents
控制立体图像的显示的方法、控制立体图像显示的装置以及成像装置 Download PDFInfo
- Publication number
- CN103843333A CN103843333A CN201280048161.7A CN201280048161A CN103843333A CN 103843333 A CN103843333 A CN 103843333A CN 201280048161 A CN201280048161 A CN 201280048161A CN 103843333 A CN103843333 A CN 103843333A
- Authority
- CN
- China
- Prior art keywords
- stereo
- picture
- displacement
- region
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Abstract
系统控制部(11)剪切在立体图像(90)中设置并且小于立体图像(90)的尺寸的区域(91)内的立体图像,以及在显示部(23)上显示所剪切的立体图像。当发出移动区域91的指令时,系统控制部(11)计算在移动区域(91)前从区域(91)剪切并且显示的立体图像(92)的视差量与在将区域(91)移动固定移动距离后将从区域(91)剪切并且显示的立体图像(93)的视差量之间的变化量D。当变化量D大于阈值时,系统控制部(11)将根据指令移动区域(91)的移动距离设置为小于固定移动距离的值。当变化量D不大于阈值时,系统控制部(11)将区域(91)的移动距离设置为固定移动距离。然后,系统控制部(11)使区域(91)移动所设置的移动距离。
Description
技术领域
本发明涉及用于控制立体图像的显示的方法、用于控制立体图像的显示的装置、以及成像装置。
背景技术
已经有迹象表明能显示立体图像(3D图像)的电视接收机将会流行以及能拍摄被摄体的立体图像的数码相机(立体成像装置)也将会流行。当从由这样的立体成像装置拍摄的图像获得的立体图像被显示在立体成像装置、外部显示设备(诸如大屏幕电视机)等等的显示部上时,在某些情况下,可能要放大并显示所显示的立体图像的一部分。
已知用于当在显示设备的整个显示表面上显示立体图像90的状态下,例如如图13所示,用户将显示区域91指定为立体图像90的一部分时,在显示设备的整个显示表面上的显示区域91内放大和显示立体图像92的方法。
如图13所示,其间生成视差量d1的被摄体92R和被摄体92L包含在立体图像92中。
当用户将显示区域91移动到由图13的虚线指定的位置时,在显示设备的整个表面上放大和显示移动后的显示区域91内的立体图像93。
如图13所示,其间生成视差量d2的被摄体93R和被摄体93L包含在立体图像93中。
其中,当视差量d1和视差量d2之间存在大的差值时,在显示设备上显示的立体图像的视差在显示区域91的移动前后之间突然改变。当视差因而突然改变时,正立体地观看图像的用户会有疲劳感。
将假定立体图像90的尺寸与显示设备的显示尺寸相同或预先压缩立体图像90的尺寸以便适合显示设备的显示尺寸来描述图13。这里,图像的“尺寸”是指构成图像的像素数。能将图像的尺寸表示为Wx×Wy,其中,Wx指示图像的水平方向上的像素数,以及Wy指示图像的垂直方向上的像素数。此外,显示设备的显示尺寸是指能在该显示设备上显示的像素数。能将显示设备的显示尺寸表示为Hx×Hy,其中,Hx指示屏幕的水平方向上的像素数,以及Hy指示屏幕的垂直方向上的像素数。
除上述假定外,还假定立体图像90的尺寸大于显示设备的显示尺寸,例如,假定图13的区域91内的立体图像的尺寸与显示设备的尺寸相同。在这种情况下,当如上所述移动区域91时,在显示设备上显示的立体图像的视差会突然地改变,由此会给正观看该立体图像的用户带来疲劳感。
已经在专利文献1中公开了用于当改变立体图像的场景时减轻给用户带来的疲劳感的方法。
此外,在专利文献2中已经公开了在立体图像的滚动显示期间将立体图像的移动部分从立体显示模式改变成平面显示模式的方法。
引用列表
专利文献
专利文献1:JP-A-2009-239388
专利文献2:WO2006/19039
发明内容
本发明要解决的问题
然而,根据在专利文献1中所述的方法,当显示局部剪切的立体图像并且移动图像的剪切区域时,不可能减轻带给用户的疲劳感。
此外,根据在专利文献2中所述的方法,在立体显示模式和平面显示模式之间执行频繁切换,使得给用户带来疲劳感。
考虑到上述情况,完成本发明。本发明的目的是提供用于控制立体图像的显示的方法和用于控制立体图像的显示的装置,其当滚动和显示立体图像时会减轻带给观看者的疲劳感,以及提供有用于控制立体图像的显示的方法或装置的成像装置。
解决问题的手段
根据本发明的一种用于控制立体图像的显示的装置包括:
显示控制部,所述显示控制部剪切作为与立体图像的一部分相对应的区域的待显示区域中的立体图像,所述立体图像由具有视差的多个图像构成,以及在显示部上显示所剪切的立体图像;
视差变化量计算部,所述视差变化量计算部计算在发出移动所述待显示区域的指令时在移动所述待显示区域前所述待显示区域内的立体图像的视差量与在将所述待显示区域移动第一移动距离后所述待显示区域内的立体图像的视差量之间的变化量;以及
待显示区域移动控制部,所述待显示区域移动控制部根据由所述视差变化量计算部计算的所述变化量将所述待显示区域移动一移动距离。
根据本发明的一种用于控制立体图像的显示的方法包括:显示控制步骤,所述显示控制步骤剪切作为与立体图像的一部分相对应的区域的待显示区域中的立体图像,所述立体图像由具有视差的多个图像构成,以及在显示部上显示所剪切的立体图像;视差变化量计算步骤,所述视差变化量计算步骤计算当发出移动所述待显示区域的指令时在移动所述待显示区域前所述待显示区域内的立体图像的视差量与在将所述待显示区域移动第一移动距离后所述待显示区域内的立体图像的视差量之间的变化量;以及待显示区域移动控制步骤,所述待显示区域移动控制步骤根据在所述视差变化量计算步骤中计算的变化量将所述待显示区域移动一移动距离。
根据本发明的一种成像装置包括:用于控制立体图像的显示的上述装置;上述的显示部;对被摄体成像的成像部;以及图像处理部,所述图像处理部从通过成像部拍摄获得的多个拍摄图像信号来生成用于显示立体图像的立体图像数据。
本发明的有益效果
根据本发明,可以提供用于控制立体图像的显示的方法,以及用于控制立体图像的显示的装置,其能减轻当滚动和显示立体图像时带给观看者的疲劳感,以及通过有用于控制立体图像的显示的方法或装置的成像装置。
附图说明
图1是示意性示出用于说明本发明的一个实施例的成像装置的构造的图。
图2是用于说明在再现立体图像数据时图1中所示的数码相机1的操作的流程图。
图3是用于说明图2中所示的步骤S6的改进的流程图。
图4是用于说明图2中所示的步骤S6的改进的流程图。
图5是用于说明在再现立体图像时图1中所示的数码相机1的操作的第一改进的流程图。
图6是用于说明图5中的步骤S6的细节的流程图。
图7是用于说明在再现立体图像时图1中所示的相机1的操作的第二改进的流程图。
图8是用于说明图7中的步骤S6的细节的流程图。
图9是用于说明在再现立体图像时图1中所示的数码相机1的操作的第三改进的流程图。
图10是用于说明在再现立体图像时图1中所示的数码相机1的操作的第四改进的流程图。
图11是示出在图10中的步骤S102中显示的图像的示例的视图。
图12是用于说明在再现立体图像时图1中所示的数码相机1的操作的第五改进的流程图。
图13是用于说明当放大和滚动立体图像时立体图像的视差量的变化的视图。
具体实施方式
在下文中将参考附图描述本发明的实施例。
图1是示意性地示出用于说明本发明的一个实施例的成像装置的构造的视图。成像装置的示例包括诸如数码相机和数码摄像机的成像装置、安装在包括相机的手机中的成像模块等等。作为示例,在此将数码相机描述为成像装置。
图中所示的数码相机1具有成像部10、系统控制部11、操作部14、存储器控制部15、主存储器16、数字信号处理部17、压缩/扩展处理部18、外部存储器控制部20、显示驱动器22和显示部(显示设备)23。系统控制部11主要由CPU(中央处理单元;计算机)构成。提供操作部14,用于将来自用户的指令信号输入到系统控制部11。可拆卸记录介质21连接到外部存储器控制部20。
成像部10能够获得具有视差的两个拍摄图像信号。例如,可以将提供有设置在彼此相离一定距离的两个成像元件和分别在两个成像元件前的级中提供的成像光学系统使得成像部能通过一次拍摄从两个成像元件获得具有视差的两个拍摄图像信号的成像部用作成像部10。替选地,可以将提供有一个成像元件以及在成像元件前的级中提供的一个成像光学系统使得成像部能通过在将成像元件和成像光学系统相对于彼此移动时执行的多次拍摄从一个成像元件获得具有视差的两个拍摄图像信号的成像部用作成像部10。成像部10根据系统控制部11的控制来操作。
主存储器16用作工作存储器,使得能通过存储器控制部15的控制将数据写入主存储器16或从其删除数据。
数字信号处理部17对从成像部10输出的拍摄图像信号执行插值操作、伽马校正操作、RGB/YC转换处理等等,由此生成拍摄图像数据。将由数字信号处理部17生成的具有视差的两个拍摄图像数据(通过从不同视点成像而获得的两个拍摄图像数据)彼此相关联,以便将其生成为立体图像数据。例如,立体图像数据是以符合CIPA(相机&影像产品协会)标准的MPO格式的数据。
压缩/扩展处理部18以JPEG格式压缩由数字信号处理部17生成的立体图像数据,或扩展压缩的图像数据。
显示部23组合和显示立体图像数据(具有视差的两个拍摄图像数据),使得能够立体地观看该数据。显示部23由与时分视差图像系统、双凸透镜系统、视差屏障系统等等兼容的液晶显示设备等构成。显示部23由显示驱动器22驱动。
存储器控制部15、数字信号处理部17、压缩/扩展处理部18、外部存储器控制部20和显示驱动器22通过控制总线24和数据总线25彼此连接并且受从系统控制部11发出的指令控制。
当由数码相机1中的成像部10拍摄图像时,由数字信号处理部17生成立体图像数据,以及将立体图像数据记录在记录介质21上。
当发出再现在记录介质21上记录的立体图像数据的指令时,显示驱动器22根据系统控制部11的指令基于立体图像数据来控制在显示部23上显示立体图像。能够在数码相机1中设置能够剪切和显示一部分立体图像并且进一步能够滚动立体图像的剪切区域的剪切模式。在下文中,将描述在再现立体图像数据时数码相机1的操作。
图2是用于说明在再现立体图像数据时图1中所示的数码相机1的操作的流程图。
当在显示部23上显示立体图像后操作该操作部14来设置剪切模式时(步骤S1:是),系统控制部11进行控制,使得能够在正在显示部23上显示的立体图像90的中心位置显示待剪切的区域91,例如如图13中所示。当没有设置剪切模式时(步骤S1:否),在步骤S12中,系统控制部11确定是否终止立体图像的再现。当发出终止再现的指令时,系统控制部11终止该再现。当未发出终止再现的指令时,系统控制部11使处理返回到步骤S1。
通过属于操作部11的十字键等等,用户能够根据期望移动将在显示部23上显示的区域91。当在将区域91移动到预定位置后用户按下属于操作部14的决定按钮时,系统控制部11剪切区域91内的立体图像,使得所剪切的立体图像能够被放大和显示在显示部23的整个显示屏中(步骤S2)。
在步骤S2后,系统控制部11确定是否存在移动区域91的指令(步骤S3)。当不存在移动区域91的指令时(步骤S3:否),系统控制部11执行步骤S11的处理。
当存在移动区域91的指令时(步骤S3:是),系统控制部11计算从还没有移动过并且在显示部23上显示的区域91剪切的立体图像的视差量与将区域91移动固定移动距离后将从区域91剪切并且显示在显示部23上的立体图像的视差量之间的变化量D(步骤S4)。固定移动距离是在数码相机1中预先设置的值。
例如,当存在将区域91从实线位置移动到虚线位置的指令时,如图13所示,系统控制部11计算当区域91位于实线位置中时从区域91剪切并且被放大和显示在显示部23的整个显示表面上的立体图像92的视差量与当区域91位于虚线位置时从区域91剪切并且被放大和显示在显示部23的整个显示表面上的立体图像93的视差量之间的变化量D。
用于计算立体图像92或93的视差量的方法的示例可以包括下述四种。
1.将包含在立体图像92(93)中的主被摄体(例如从立体图像92(93)抽取的被摄体、具有最大尺寸的被摄体、在立体图像92(93)中央的被摄体等)的视差量设置为立体图像的视差量。
2.包含在立体图像92(93)中的被摄体的视差量中,将具有最大值的视差量设置成立体图像的视差量。
3.生成包含在立体图像92(93)中的被摄体的视差量的直方图,以及将直方图中就数量而言最频繁的视差量设置成立体图像的视差量。
4.将包含在立体图像92(93)中的被摄体的视差量的平均值设置成立体图像的视差量。
例如,如图13中所示,立体图像921的视差量对应于被摄体92L和被摄体92R之间的视差量d1,以及立体图像93的视差量对应于被摄体93L和被摄体93R之间的视差量d2。能够将变化量D表达为|d1-d2|。
属于立体图像的每一被摄体在视差量为0的地点出现在显示部的屏幕上,以及随着视差量增加出现为从屏幕凸出或凹进屏幕中。当将凸出侧和凹进侧的视差量的符号(正和负)看作彼此相反时,例如,可以将凸出侧和凹进侧中的一个上的被摄体的视差量的绝对值的最大值、两侧上的被摄体的视差量的绝对值的最大值等等用作在上述段落(2)的计算方法中的、具有最大值的视差量。
此外,例如,可以将在凸出侧和凹进侧中的一个上的被摄体的视差量的平均值、两侧上的被摄体的视差量的绝对值的平均值等等设置为在上述段落(4)的计算方法中的平均值。
当在将区域91移动固定移动距离后从区域91剪切并显示的立体图像93和在移动区域91前从区域91剪切并显示的立体图像92之间存在大的视差变化(对应于上述变化量D)时,会给用户带来疲劳感。
因此,在步骤S4后,系统控制部11将变化量D与阈值进行比较。当变化量D超出阈值时(步骤S5:是),系统控制部11将要根据移动指令移动区域91的移动距离设置为小于固定移动距离的值(例如是固定移动距离的1/2的预定值)(步骤S6)。另一方面,当变化量D不大于阈值时(步骤S5:否),系统控制部11将要根据移动指令移动区域91的移动距离设置为固定移动距离(步骤S7)。
在步骤S6或S7后,系统控制部11使区域91移动在步骤S6或S7设置的移动距离(步骤S8),在移动后剪切区域91内的立体图像(步骤S9),并且在显示部23的整个显示表面中放大和显示所剪切的立体图像(步骤S10)。在步骤S10后,系统控制部11在步骤S11确定是否终止剪切模式。当存在终止剪切模式的指令时,系统控制部11终止剪切模式来执行步骤S12的处理。当不存在终止剪切模式的指令时,系统控制部11返回到步骤S3的处理。
以上述方式,根据数码相机1,当剪切并显示立体图像的一部分时,在其中所剪切和显示的立体图像的视差量在剪切区域移动前和后之间大大地改变的情况下,使所剪切的区域移动小于固定移动距离的移动距离。因此,在立体图像的滚动期间,可以抑制视差的突然改变,使得可以减轻带给用户的疲劳感。
尽管系统控制部11在数码相机1中的显示部23上显示立体图像,但本发明不限于这种方式。例如,数码相机1可以连接到外部显示设备,使得可以在该显示设备上显示立体图像。在这种情况下,除由系统控制部11控制的显示驱动器不是显示驱动器22,而是由安装在外部显示设备上的驱动器代替外,执行与图2所示的相同的过程。
此外,在图2的步骤S6中由系统控制部11设置的区域91的移动距离不限于预定值。在下文中,将描述用于在步骤S6中设置移动距离的方法的改进。
图3是用于说明图2中所示的步骤S6的改进的流程图。
当变化量D超出阈值时(图2的步骤S5:是),系统控制部11基于变化量D来计算区域91的移动距离A(步骤S61),以及将移动距离A设置成要根据移动指令移动区域91的移动距离(步骤S62)。在步骤S62后,执行图2中的步骤S8及其后的处理。
例如,可以以下述公式(1)来计算移动距离A,其中,Mf指示固定移动距离,以及Mmax指示可允许作为立体视觉的视差量的最大值。
A=Mf×{(Mmax-D)/Mmax} (1)
用这种方式,基于变化量D来计算移动距离A,以及使区域91移动该移动距离A,使得根据区域91移动前后之间的视差变化,使区域移动该移动距离。因此,能够有效地减轻带给用户的疲劳感。
图4是用于说明图2中所示的步骤S6的另一改进的流程图。
当变化量D超出阈值时(图2的步骤S5:是),系统控制部11执行与图3的步骤S61相同的处理,以便计算移动距离A。在此之后,系统控制部11获得包含在正在显示部23上放大和显示的立体图像中的主被摄体的显示尺寸(显示像素的数量)(步骤S71)。主被摄体的显示尺寸是指构成在显示部23上显示的主被摄体的显示像素的数量。可以预先将位于所显示的立体图像中央的被摄体、预定被摄体(例如面部)等等设置为主被摄体。
接着,系统控制部11基于在步骤S71中获得的主被摄体的显示尺寸来校正在步骤S61中计算的移动距离,以便计算最终的移动距离B(步骤S72)。系统控制部11将最终的移动距离B设置成要根据移动指令移动区域91的移动距离(步骤S73)。在步骤S73后,执行图2中的步骤S8及其后的处理。
例如,能够以下述公式(2)计算移动距离B,其中Th1指示用于像素的数量的阈值,以及P指示主被摄体的显示尺寸。
B=A×α,α=Th1/(P-Th1) (2)
其中,0≤α≤1
以这种方式,根据该改进,系统控制部11不仅考虑到变化量D,而且考虑到在移动前和显示从区域91剪切的立体图像中的主被摄体的显示尺寸(显示像素的数量),来计算移动距离B。当在显示部23上放大和显示的主被摄体具有大的尺寸时,由于区域91的移动,带给用户的疲劳感易于增加。当根据上述公式(2)计算移动距离B时,可以根据在显示部23上放大和显示的主被摄体的尺寸来调整移动距离B。由此,可以考虑在显示部23上显示的主被摄体的大小来进行最佳控制。
图5是用于说明在再现立体图像时图1中所示的数码相机1的操作的改进的流程图。图5所示的步骤S6的细节在图6中示出。在图5中,相应地,用相同的数字表示与图2所示相同的处理,并且将省略其描述。将连接外部显示设备(例如大屏幕电视机)使得在该显示设备上显示立体图像的数码相机假定为执行图5中所示的操作的数码相机1。
在步骤S1的处理前,系统控制部11获取有关将显示立体图像的显示设备(显示部23或连接到数码相机1的外部显示设备)的显示尺寸和显示面积(面积取决于显示图像的表面的“垂直长度”ד水平长度”)的信息(步骤S80),以及从该信息计算显示设备的每显示像素的面积(步骤S81)。在步骤S81后,系统控制部11执行步骤S1及其后的处理。
当步骤S5的确定为是时,系统控制部11执行与图3的步骤S61相同的处理,以便计算移动距离A(步骤S82)。
接着,系统控制部11执行与图4的步骤S71相同的处理,以便计算主被摄体的显示尺寸(显示像素的数量)(步骤S83)。
接着,系统控制部11将在步骤S83计算的主被摄体的显示尺寸(显示像素的数量)乘以在步骤S81中计算的每像素的面积,以便计算在显示部23或外部显示设备上显示的主被摄体的显示面积(步骤S84)。
接着,系统控制部11基于在步骤S84计算的主被摄体的显示面积来校正在步骤S82中计算的移动距离A,以便计算移动距离C(步骤S85)。
接着,系统控制部11将移动距离C设置为要根据移动指令移动区域91的移动距离(步骤S86)。在步骤S86后,执行图5中的步骤S8及其后的处理。
例如,能够以下述公式(3)计算移动距离C,其中Th2指示表面积阈值,以及S指示主被摄体的显示面积。
C=A×β,β=Th2/(S-Th2) (3)
其中,0≤β≤1
用这种方式,根据该改进,系统控制部11不仅考虑变化量D而且考虑包含在该区域被移动前在显示设备上放大和显示的立体图像中的主被摄体的显示面积来计算移动距离C。即使当主被摄体的显示尺寸大时,只要显示设备具有大的显示尺寸,则减小主被摄体的显示面积与显示设备的显示面积的比率。由此,很难增加带给用户的疲劳感。当根据上述公式(3)计算移动距离C时,不管主被摄体的大的显示尺寸,能够根据显示设备的显示面积来调整移动距离C。因此,能考虑显示立体图像的显示设备的显示面积来进行最佳控制。
图7是用于说明图5中所示的操作的改进的流程图。图7中所示的步骤S6的细节在图8中示出。在图7中,相应地用相同的数字表示与图5相同的处理,以及将省略其描述。此外,在图8中,相应地用相同的数字表示与图6中所示相同的处理,以及将省略其描述。
在步骤S81后,系统控制部11获取有关显示立体图像的显示设备(显示部23或连接到数码相机1的外部显示设备)与正观看显示设备的观看者(用户)之间的距离的信息(步骤S90)。在步骤S90后,系统控制部11执行步骤S1及其后的处理。
关于在步骤S90中由系统控制部11获取的有关距离的信息,例如,能够从数码相机1的操作部14输入有关距离的信息,使得系统控制部11能够获得有关由用户输入的距离的信息。
当图7的步骤S5的确定为是时,系统控制部11执行与图6的步骤S82至S84相同的处理。
在步骤S84后,系统控制部11基于在步骤S84中计算的主被摄体的显示面积和在步骤S90中获得的有关距离的信息,来校正在步骤S82中计算的移动距离A,以便计算移动距离E(步骤S91)。
接着,系统控制部11将移动距离E设置为要根据移动指令移动区域91的移动距离(步骤S92)。在步骤S92后,执行图5中的步骤S8及其后的处理。
例如,能够以下述公式(4)计算移动距离E,其中,Th3指示表面积阈值,Th4指示显示设备与用户的距离阈值,S指示主被摄体的显示面积,以及d指示显示设备与用户的距离。
E=A×γ×θ,γ=Th3/(S-Th3),θ=Th4/(d-Th4) (4)
其中,0≤γ≤1以及0≤θ≤1
用这种方式,根据该改进,系统控制部11不仅考虑变化量D而且考虑在该区域移动前包含在显示设备上放大和显示的立体图像中的主被摄体的显示面积,以及显示设备和正观看它的用户之间的距离,来计算移动距离E。即使当主被摄体的显示面积与显示设备的显示面积的比率大时,只要用户离其长的距离来观看显示设备,主被摄体看起来小。因此,难以增加带给用户的疲劳感。当根据上述公式(4)计算移动距离E时,不管主被摄体的显示面积与显示设备的显示面积的大比率,能根据显示设备和观看者之间的距离来调整移动距离E。由此,能够考虑立体图像的观看情况来进行最佳控制。
图9是用于说明在再现立体图像时图1中所示的数码相机1的操作的第三改进的流程图。在图9中,相应地用相同的数字表示与图2相同的处理,以及省略其说明。在图9所示的流程图中,在图2中的步骤S6和步骤S8之间增加步骤S100。
在步骤S100,系统控制部11在显示部23的期望位置处显示警告信息,以便通知用户已使区域91的移动距离小于固定移动距离的事实。例如,可以将“已降低滚动速度来减轻你的眼睛的疲劳”显示为警告信息。
当以这种方式设置来减小区域91的移动距离时,通过在显示部23上显示的警告消息,能够减轻由滚动速度的突然改变而引起的不舒服感。
图10是用于说明在再现立体图像时图1中所示的数码相机1的操作的改进的流程图。在图10中,相应地用相同的数字表示与图2相同的处理,以及省略其描述。在图10中所示的流程图中,在步骤S1前增加步骤S101,以及在图2的步骤S10和步骤S11之间,进一步增加步骤S102。
在步骤S101,系统控制部11获得包含在显示部23上显示的立体图像(图13中所示的立体图像90)中的每一被摄体的视差量。
在步骤S102,举例来说,如图11中所示,系统控制部11显示缩减的预览图像95,以便叠加在被放大和显示的立体图像93上。缩减的预览图像95不是必须叠加在立体图像93上,只要能同时确认缩减的预览图像95和立体图像93即可。
缩减的预览图像95由其中立体图像90已被缩减的图像90s、其中已经缩减对该立体图像90设置的区域91的框图像91s以及框图像94s组成。
当区域91基于包含在立体图像90中并且在步骤S101中获得的每一被摄体的视差量,通过固定移动距离移入那一区域时,系统控制部11计算在移动前和后上述变化量D超出阈值的区域(例如,图11中的区域94),以及在显示部23上将框图像94s显示为指示区域94的框。例如,当使区域91完全地移动固定移动距离时,计算区域91内和区域91的每一移动位置中的视差量,使得能够从相邻的移动位置之间的视差量的差值分布来获得区域94。
如图11中所示,与所剪切和显示的立体图像93一起,在显示部23上显示缩减的预览图像95,使得用户能够知道当将区域91移动到某一地点时是否将减小区域91的移动距离。因此,可以减轻由滚动速度的突然改变而引起的不舒服感。
图12是用于说明在再现立体图像时图1中所示的数码相机1的操作的改进的流程图。在图12中,相应地用相同的数字指示与图2相同的处理,以及将省略其描述。在图12中所示的流程图中,用步骤S110至S113代替图2中的步骤S7。
在步骤S110,系统控制部11确定是否已经将区域91的移动距离设置为小于固定移动距离的值。
当区域91的移动距离已经被设置为小于固定移动距离的值时(步骤S110:是),系统控制部11设置分成总和对应于固定移动距离的多个移动距离的移动距离(步骤S112)
在步骤S112,例如,系统控制部11设置以下述公式(5)获得的每一移动距离F(x),其中,M指示在图12的步骤S6中设置的移动距离,以及t指示直到使区域91移动固定移动距离Mf为止区域91的移动次数(t是不小于2的自然数)。
F(x)=Mf-(Mf-M)×(t-x)/t (5)
其中,x能取不大于t的任何自然数的值。
在此之后,系统控制部11使区域91逐步移动在步骤S112中设置的移动距离F(x),同时剪切区域91的每一移动部分中的立体图像,以便在显示部23上放大和显示所剪切的立体图像(步骤S113)。此后,执行步骤S11及其后的处理。
当例如公式(5)中t=2时,系统控制部11使区域91移动移动距离F(1),然后剪切区域91中的立体图像,使得在显示部23上放大和显示所剪切的立体图像。此后,系统控制部11使区域91移动移动距离{F(2)-F(1)}并剪切区域91中的立体图像,使得在显示部23上放大和显示所剪切的立体图像。因此,区域91的最终移动距离达到Mf。
当步骤S110中的确定为否时,系统控制部11将区域91的移动距离设置为固定移动距离(步骤S111),然后执行步骤S8及其后的处理。
当在已经将区域91的移动距离设置为小于固定移动距离的值的情况下变化量D不大于阈值时,不使区域91以一次移动来移动固定移动距离,而是以多次移动来移动该固定移动距离,使得能减轻由滚动速度的突然改变而引起的不舒服感。
可以适当地组合迄今所述的实施例。例如,可以将图9至图12中所述的任何改进与图5和图7中所述的任何改进结合。此外,图9或图10中所述的任何改进可以与图12中所述的改进结合。
此外,尽管在每一实施例中将数码相机作为示例,但在实施例中所述的技术可以应用于安装有进行控制来在显示部上再现和显示立体图像数据的显示控制设备的任何电子设备(例如与3D显示兼容的电视机等等)。在这样的电子设备中,安装在电子设备上的CPU(计算机)可以执行图2至图10以及图12中所示的流程图的每一步骤,使得能减轻施加在观看显示部的用户上的负担。
此外,迄今假定被再现和显示的立体图像90的尺寸等于显示部23或外部显示设备的显示尺寸、或预先缩减立体图像90以便适应显示部23或外部显示设备的显示尺寸来进行描述。然而,除上述假定外,即使当立体图像90的大小大于显示部23或外部显示设备的显示尺寸时,例如,即使当区域91内的立体图像的尺寸等于图13中的显示部23或外部显示设备的显示尺寸时,系统控制部11可以响应于移动区域91的指令来执行图2至图8中所述的处理,使得能减轻带给正立体地观看的用户的疲劳感。
如上所述,在此公开了下述项。
在此所公开的一种用于控制立体图像的显示的装置,包括:显示控制部,所述显示控制部剪切作为与立体图像的一部分相对应的区域的待显示区域中的立体图像,所述立体图像由具有视差的多个图像构成,以及在显示部上显示所剪切的立体图像;视差变化量计算部,所述视差变化量计算部计算在发出移动所述待显示区域的指令时在移动所述待显示区域前所述待显示区域内的立体图像的视差量与在将所述待显示区域移动第一移动距离后所述待显示区域内的立体图像的视差量之间的变化量;以及待显示区域移动控制部,所述待显示区域移动控制部根据由所述视差变化量计算部计算的所述变化量将所述待显示区域移动一移动距离。
在此公开的用于控制立体图像的显示的装置进一步包括:移动距离设置部,所述移动距离设置部在所述变化量大于阈值时将小于所述第一移动距离的第二移动距离设置为根据指令移动所述待显示区域的移动距离,以及在所述变化量不大于阈值时将所述第一移动距离设置为根据指令移动所述待显示区域的移动距离;其中所述待显示区域移动控制部使所述待显示区域移动由所述移动距离设置部设置的移动距离。
在此公开的用于控制立体图像的显示的装置进一步包括:移动距离生成部,所述移动距离生成部至少基于所述变化量来获得所述第二移动距离。
在此公开的用于控制立体图像的显示的装置进一步包括:主被摄体检测部,所述主被摄体检测部检测包含在所述立体图像中的主被摄体;以及被摄体显示像素数计算部,所述被摄体显示像素数计算部获得在移动前包含在所述待显示区域内的所述立体图像中的所述主被摄体的显示像素的数量;其中所述移动距离生成部基于所述变化量和所述主被摄体的显示像素的数量来获得所述第二移动距离。
在此公开的用于控制立体图像的显示的装置进一步包括:显示部信息获取部,所述显示部信息获取部获取有关所述显示部的显示面积和显示像素的数量的信息;以及被摄体显示面积计算部,所述被摄体显示面积计算部基于由所述被摄体显示像素数计算部计算的所述主被摄体的显示像素的数量以及有关所述显示部的所述显示面积和所述显示像素的数量的信息,来获得所述显示部上的所述主被摄体的显示面积;其中所述移动距离生成部基于所述变化量和所述主被摄体的所述显示面积来获得所述第二移动距离。
在此公开的用于控制立体图像的显示的装置进一步包括:距离信息获取部,所述距离信息获取部获取有关在所述显示部与观看所述显示部的观看者之间的距离的信息;其中所述移动距离生成部基于所述变化量、所述主被摄体的所述显示面积和所述距离来获得所述第二移动距离。
在此公开的用于控制立体图像的显示的装置进一步包括:移动距离设置信息显示控制部,当所述移动距离已被设置为所述第二移动距离时所述移动距离设置信息显示控制部在所述显示部上显示使得能够识别根据指令移动所述待显示区域的移动距离已被设置为所述第二移动距离的事实的信息。
在此公开的用于控制立体图像的显示的装置进一步包括:视差量计算部,所述视差量计算部获得在由具有视差的多个图像组成的整个立体图像中的被摄体的视差量;区域计算部,所述区域计算部基于由所述视差量计算部获得的视差量,来获得一区域,其中,当所述待显示区域移动所述第一移动距离进入该区域时,所述待显示区域的移动前和后之间的变化量将超出阈值;以及区域图像显示控制部,所述区域图像显示控制部在显示部上与正在所述显示部上显示的所述立体图像一起显示指示由所述区域计算部获得的区域的图像。
在此公开的用于控制立体图像的显示的装置,当在根据指令移动所述待显示区域的移动距离已经设置为所述第二移动距离的状态下所述变化量不大于阈值时,所述移动距离设置部将根据指令移动所述待显示区域的移动距离设置为总和对应于所述第一移动距离的多个移动距离;以及当设置了所述多个移动距离时,所述待显示区域移动控制部使所述待显示区域逐步移动所述多个移动距离。
在此公开的用于控制立体图像的显示的装置,所述视差变化量计算部将所述待显示区域内的所述立体图像的视差量设置为包含在所述待显示区域中的主被摄体的视差量、包含在所述待显示区域中的被摄体的视差量的最大值、包含在所述待显示区域中的被摄体的视差量的直方图的峰值、以及包含在所述待显示区域中的被摄体的视差量的平均值中的一个。
在此公开的用于控制立体图像的显示的方法包括:显示控制步骤,所述显示控制步骤剪切作为与立体图像的一部分相对应的区域的待显示区域中的立体图像,所述立体图像由具有视差的多个图像构成,以及在显示部上显示所剪切的立体图像;视差变化量计算步骤,所述视差变化量计算步骤计算当发出移动所述待显示区域的指令时在移动所述待显示区域前所述待显示区域内的立体图像的视差量与在将所述待显示区域移动第一移动距离后所述待显示区域内的立体图像的视差量之间的变化量;以及待显示区域移动控制步骤,所述待显示区域移动控制步骤根据在所述视差变化量计算步骤中计算的变化量将所述待显示区域移动一移动距离。
在此公开的成像装置包括:用于控制立体图像的显示的装置;显示部;对被摄体成像的成像部;以及图像处理部,所述图像处理部从通过成像部拍摄获得的多个拍摄图像信号来生成用于显示立体图像的立体图像数据。
工业适用性
根据本发明,可以提供一种用于控制立体图像的显示的方法和用于控制立体图像的显示的装置,其在滚动和显示立体图像时能够减轻带给观看者的疲劳感;以及一种提供有用于控制立体图像的显示的方法或装置的成像装置。
尽管详细地并且参考其具体实施例描述了本发明,但是对本领域的技术人员显而易见的是,在不背离本发明的精神和范围的情况下,可以做出各种改变或改进。
本申请基于2011年9月29日提交的日本专利申请(日本专利申请No.2011-215646),其内容在此引入以供参考。
参考符号列表
1 数码相机
11 系统控制部
23 显示部
90 立体图像
91 要剪切的区域
92,93 剪切并显示的立体图像
Claims (12)
1.一种用于控制立体图像的显示的装置,包括:
显示控制部,所述显示控制部剪切作为与立体图像的一部分相对应的区域的待显示区域中的立体图像,所述立体图像由具有视差的多个图像构成,以及在显示部上显示所剪切的立体图像;
视差变化量计算部,所述视差变化量计算部计算在发出移动所述待显示区域的指令时在移动所述待显示区域前所述待显示区域内的立体图像的视差量与在将所述待显示区域移动第一移动距离后所述待显示区域内的立体图像的视差量之间的变化量;以及
待显示区域移动控制部,所述待显示区域移动控制部根据由所述视差变化量计算部计算的所述变化量将所述待显示区域移动一移动距离。
2.根据权利要求1所述的用于控制立体图像的显示的装置,进一步包括:
移动距离设置部,所述移动距离设置部在所述变化量大于阈值时将小于所述第一移动距离的第二移动距离设置为根据指令移动所述待显示区域的移动距离,以及在所述变化量不大于阈值时将所述第一移动距离设置为根据指令移动所述待显示区域的移动距离;其中:
所述待显示区域移动控制部使所述待显示区域移动由所述移动距离设置部设置的移动距离。
3.根据权利要求2所述的用于控制立体图像的显示的装置,进一步包括:
移动距离生成部,所述移动距离生成部至少基于所述变化量来获得所述第二移动距离。
4.根据权利要求3所述的用于控制立体图像的显示的装置,进一步包括:
主被摄体检测部,所述主被摄体检测部检测包含在所述立体图像中的主被摄体;以及
被摄体显示像素数计算部,所述被摄体显示像素数计算部获得在移动前包含在所述待显示区域内的所述立体图像中的所述主被摄体的显示像素的数量;其中:
所述移动距离生成部基于所述变化量和所述主被摄体的显示像素的数量来获得所述第二移动距离。
5.根据权利要求4所述的用于控制立体图像的显示的装置,进一步包括:
显示部信息获取部,所述显示部信息获取部获取有关所述显示部的显示面积和显示像素的数量的信息;
被摄体显示面积计算部,所述被摄体显示面积计算部基于由所述被摄体显示像素数计算部计算的所述主被摄体的显示像素的数量以及有关所述显示部的所述显示面积和所述显示像素的数量的信息,来获得所述显示部上的所述主被摄体的显示面积;其中:
所述移动距离生成部基于所述变化量和所述主被摄体的所述显示面积来获得所述第二移动距离。
6.根据权利要求5所述的用于控制立体图像的显示的装置,进一步包括:
距离信息获取部,所述距离信息获取部获取有关在所述显示部与观看所述显示部的观看者之间的距离的信息;其中:
所述移动距离生成部基于所述变化量、所述主被摄体的所述显示面积和所述距离来获得所述第二移动距离。
7.根据权利要求2至6中的任何一个所述的用于控制立体图像的显示的装置,进一步包括:
移动距离设置信息显示控制部,当所述移动距离已被设置为所述第二移动距离时所述移动距离设置信息显示控制部在所述显示部上显示使得能够识别根据指令移动所述待显示区域的移动距离已被设置为所述第二移动距离的事实的信息。
8.根据权利要求2至6中的任何一个所述的用于控制立体图像的显示的装置,进一步包括:
视差量计算部,所述视差量计算部获得在由具有视差的多个图像组成的整个立体图像中的被摄体的视差量;
区域计算部,所述区域计算部基于由所述视差量计算部获得的视差量,来获得一区域,其中,当所述待显示区域移动所述第一移动距离进入该区域时,所述待显示区域的移动前和后之间的变化量将超出阈值;
区域图像显示控制部,所述区域图像显示控制部在显示部上与正在所述显示部上显示的所述立体图像一起显示指示由所述区域计算部获得的区域的图像。
9.根据权利要求2至8中的任何一个所述的用于控制立体图像的显示的装置,其中:
当在根据指令移动所述待显示区域的移动距离已经设置为所述第二移动距离的状态下所述变化量不大于阈值时,所述移动距离设置部将根据指令移动所述待显示区域的移动距离设置为总和对应于所述第一移动距离的多个移动距离;以及
当设置了所述多个移动距离时,所述待显示区域移动控制部使所述待显示区域逐步移动所述多个移动距离。
10.根据权利要求1至9中的任何一个所述的用于控制立体图像的显示的装置,其中:
所述视差变化量计算部将所述待显示区域内的所述立体图像的视差量设置为包含在所述待显示区域中的主被摄体的视差量、包含在所述待显示区域中的被摄体的视差量的最大值、包含在所述待显示区域中的被摄体的视差量的直方图的峰值、以及包含在所述待显示区域中的被摄体的视差量的平均值中的一个。
11.一种成像装置,包括:
根据权利要求1至10中的任何一个所述的用于控制立体图像的显示的装置;
显示部;
对被摄体成像的成像部;以及
图像处理部,所述图像处理部从通过成像部拍摄获得的多个拍摄图像信号来生成用于显示立体图像的立体图像数据。
12.一种用于控制立体图像的显示的方法,包括:
显示控制步骤,所述显示控制步骤剪切作为与立体图像的一部分相对应的区域的待显示区域中的立体图像,所述立体图像由具有视差的多个图像构成,以及在显示部上显示所剪切的立体图像;
视差变化量计算步骤,所述视差变化量计算步骤计算当发出移动所述待显示区域的指令时在移动所述待显示区域前所述待显示区域内的立体图像的视差量与在将所述待显示区域移动第一移动距离后所述待显示区域内的立体图像的视差量之间的变化量;以及
待显示区域移动控制步骤,所述待显示区域移动控制步骤根据在所述视差变化量计算步骤中计算的变化量将所述待显示区域移动一移动距离。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-215646 | 2011-09-29 | ||
JP2011215646 | 2011-09-29 | ||
PCT/JP2012/070664 WO2013046974A1 (ja) | 2011-09-29 | 2012-08-14 | 立体画像表示制御方法、立体画像表示制御装置、及び撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103843333A true CN103843333A (zh) | 2014-06-04 |
CN103843333B CN103843333B (zh) | 2015-09-16 |
Family
ID=47995026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280048161.7A Expired - Fee Related CN103843333B (zh) | 2011-09-29 | 2012-08-14 | 控制立体图像的显示的方法、控制立体图像显示的装置以及成像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8976234B2 (zh) |
JP (1) | JP5579329B2 (zh) |
CN (1) | CN103843333B (zh) |
WO (1) | WO2013046974A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10469730B2 (en) * | 2016-05-18 | 2019-11-05 | Canon Kabushiki Kaisha | Imaging device and control method for simultaneously outputting an image pickup signal and a parallax image signal |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101720047A (zh) * | 2009-11-03 | 2010-06-02 | 上海大学 | 基于颜色分割的多目摄像立体匹配获取深度图像的方法 |
WO2011013030A1 (en) * | 2009-07-27 | 2011-02-03 | Koninklijke Philips Electronics N.V. | Combining 3d video and auxiliary data |
CN102006494A (zh) * | 2010-11-26 | 2011-04-06 | 北京新岸线网络技术有限公司 | 一种3d视频信号调节方法及装置 |
WO2011115142A1 (ja) * | 2010-03-19 | 2011-09-22 | Okiセミコンダクタ株式会社 | 画像処理装置、方法、プログラム及び記録媒体 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3653790B2 (ja) * | 1995-05-23 | 2005-06-02 | 松下電器産業株式会社 | 立体電子ズーム装置及び立体画質制御装置 |
EP1781046A4 (en) * | 2004-08-18 | 2010-01-20 | Sharp Kk | IMAGE DATA DISPLAY APPARATUS |
JP4695664B2 (ja) | 2008-03-26 | 2011-06-08 | 富士フイルム株式会社 | 立体動画像処理装置および方法並びにプログラム |
JP5222718B2 (ja) * | 2008-12-26 | 2013-06-26 | 富士フイルム株式会社 | 立体画像再生装置、立体画像再生プログラム、撮像装置 |
JP5540746B2 (ja) | 2009-11-20 | 2014-07-02 | ソニー株式会社 | 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム |
-
2012
- 2012-08-14 CN CN201280048161.7A patent/CN103843333B/zh not_active Expired - Fee Related
- 2012-08-14 JP JP2013536057A patent/JP5579329B2/ja not_active Expired - Fee Related
- 2012-08-14 WO PCT/JP2012/070664 patent/WO2013046974A1/ja active Application Filing
-
2014
- 2014-03-28 US US14/228,797 patent/US8976234B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011013030A1 (en) * | 2009-07-27 | 2011-02-03 | Koninklijke Philips Electronics N.V. | Combining 3d video and auxiliary data |
CN101720047A (zh) * | 2009-11-03 | 2010-06-02 | 上海大学 | 基于颜色分割的多目摄像立体匹配获取深度图像的方法 |
WO2011115142A1 (ja) * | 2010-03-19 | 2011-09-22 | Okiセミコンダクタ株式会社 | 画像処理装置、方法、プログラム及び記録媒体 |
CN102006494A (zh) * | 2010-11-26 | 2011-04-06 | 北京新岸线网络技术有限公司 | 一种3d视频信号调节方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20140210962A1 (en) | 2014-07-31 |
CN103843333B (zh) | 2015-09-16 |
US8976234B2 (en) | 2015-03-10 |
WO2013046974A1 (ja) | 2013-04-04 |
JPWO2013046974A1 (ja) | 2015-03-26 |
JP5579329B2 (ja) | 2014-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101964918B (zh) | 图像再现设备和图像再现方法 | |
US8922629B2 (en) | Image processing apparatus, image processing method, and program | |
US8077964B2 (en) | Two dimensional/three dimensional digital information acquisition and display device | |
CN101390131B (zh) | 呈现输出图像 | |
CN102450022B (zh) | 输出三维内容的显示装置的图像处理方法以及采用该方法的显示装置 | |
KR101763592B1 (ko) | 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 출력 방법 및 그 방법을 채용한 디스플레이 기기 | |
EP2285126B1 (en) | 3D image display apparatus and 3D image display method | |
CN102165785A (zh) | 三维成像装置和方法及程序 | |
CN102959973B (zh) | 立体图像重放设备、立体图像重放系统以及立体图像重放方法 | |
CN102740098A (zh) | 3d图像显示设备、3d图像显示方法、以及3d图像显示程序 | |
US10074343B2 (en) | Three-dimensional image output apparatus and three-dimensional image output method | |
CN102111629A (zh) | 图像处理装置、图像捕获装置、图像处理方法和程序 | |
KR101911250B1 (ko) | 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법 | |
KR20120094185A (ko) | 모바일 스테레오 카메라 장치 및 그 촬영방법 | |
JP2012156680A (ja) | 3d画像処理装置 | |
JP5978573B2 (ja) | 映像信号処理装置および映像信号処理方法 | |
CN102547327A (zh) | 图像处理装置、图像处理方法以及程序 | |
CN108076208B (zh) | 一种显示处理方法及装置、终端 | |
US20130128003A1 (en) | Stereoscopic image capturing device, and stereoscopic image capturing method | |
CN103314595A (zh) | 立体图像显示装置及立体视用眼镜 | |
CN102656892B (zh) | 立体图像显示控制设备及其操作控制方法 | |
CN102388617A (zh) | 复眼摄像装置及其视差调整方法和程序 | |
CN103348685A (zh) | 图像处理装置和图像处理方法 | |
CN102972036A (zh) | 重放装置、复眼摄像装置、重放方法及程序 | |
CN103959336A (zh) | 图像处理装置、其方法和非暂时性计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150916 Termination date: 20180814 |