具体实施方式
下面,参照附图,来详细说明本发明所涉及的三维影像处理装置的实施方式。
(实施方式1)
本发明实施方式1所涉及的三维影像处理装置通过在输入影像信号的画面间插入新的画面,生成变换影像信号。再者,本发明实施方式1所涉及的三维影像处理装置利用前后画面的位移量,来计算新插入的画面的位移量。因此,本发明实施方式1所涉及的三维影像处理装置可以生成深度方向的显示位置流畅变换的良好的三维影像信号。
首先,说明包括本发明实施方式1所涉及的三维影像处理装置在内的三维影像显示系统的结构。
图1是表示本发明实施方式1所涉及的三维影像显示系统结构的框图。
图1所示的三维影像显示系统10包含数字电视机20、数字视频录像机30和快门眼镜43。另外,数字电视机20和数字视频录像机30已经通过HDMI(High-DefinitionMultimediaInterface)电缆40进行了连接。
数字视频录像机30处理记录在BD(蓝光光盘)等的光盘41中的三维影像信号,将处理后的三维影像信号,经由HDMI电缆40输出至数字电视机20。
数字电视机20显示由通过数字视频录像机30输出的三维影像信号以及广播波42中包含的三维影像信号所示的三维影像。例如,广播波42是地面数字电视广播及卫星数字电视广播等。
还有,数字视频录像机30还可以处理记录在光盘41以外的记录介质(例如硬盘驱动器及非易失性存储器等)中的三维影像信号。另外,数字视频录像机30还可以处理广播波42中包含的三维影像信号,或者经由因特网等通信网所取得的三维影像信号。另外,数字视频录像机30还可以处理利用外部的装置输入到外部输入端子(未图示)等的三维影像信号。
同样,数字电视机20还可以显示由记录在光盘41及其他的记录介质中的三维影像信号所示的影像。另外,数字电视机20还可以显示由经由因特网等通信网所取得的三维影像信号所示的影像。另外,数字电视机20还可以显示由利用数字视频录像机30以外的外部装置输入到外部输入端子(未图示)等的三维影像信号所示的影像。
另外,数字电视机20也可以对取得的三维图像信号实施规定的处理,显示由实施了处理的三维影像信号所表示的影像。
另外,数字电视机20和数字视频录像机30既可以通过HDMI电缆40以外标准的电缆进行连接,也可以通过无线通信网进行连接。
数字视频录像机30具备输入部31、解码器32、三维影像处理装置100和HDMI通信部33。
输入部31取得记录在光盘41中的编码三维影像信号51。
在解码器32中,通过对由输入部31所取得的编码三维影像信号51进行解码,生成输入影像信号111。
三维影像处理装置100通过处理输入影像信号111,生成输出影像信号117。
HDMI通信部33将由三维影像处理装置100所生成的输出影像信号117,经由HDMI电缆40输出至数字电视机20。
还有,数字视频录像机30既可以将所生成的输出影像信号117存储于该数字视频录像机30具备的存储部(硬盘驱动器及非易失性存储器等)中,也可以将其记录于能对该数字视频录像机30拆装的记录介质(光盘等)中。
数字电视机20具备输入部21、解码器22、HDMI通信部23、三维影像处理装置100B、显示面板26和发射器27。
输入部21取得广播波42中包含的编码三维影像信号55。
在解码器22中,通过对由输入部21所取得的编码三维影像信号55进行解码,生成输入影像信号56。
HDMI通信部23取得由HDMI通信部33所输出的输出影像信号117,作为输入影像信号57进行输出。
三维影像处理装置100B通过处理输入影像信号56或输入影像信号57,生成输出影像信号58。
显示面板26显示由通过三维影像处理装置100B所生成的输出影像信号58所示的影像。
发射器27利用无线通信,来控制快门眼镜43。
图2是表示三维影像数据一例的附图。如图2所示,三维影像数据包含交替配置的左眼用图像170l和右眼用图像170r。
图3是表示左眼用图像170l和右眼用图像170r一例的附图。
如图3所示,左眼用图像170l和右眼用图像170r中包含的目标具有与摄影位置到目标的距离相应的视差。
快门眼镜43例如是视听者佩戴的液晶快门眼镜,具备左眼用液晶快门和右眼用液晶快门。发射器27与左眼用图像170l和右眼用图像170r的显示定时相符,来控制左眼用液晶快门和右眼用液晶快门的开闭。具体而言,发射器27在显示出左眼用图像170l的期间,打开快门眼镜43的左眼用液晶快门,且关闭右眼用液晶快门。另外,发射器27在显示出右眼用图像170r的期间,关闭快门眼镜43的左眼用液晶快门,且打开右眼用液晶快门。这样,就对视听者的左眼和右眼,分别有选择地入射左眼用图像170l和右眼用图像170r。
还有,使之对视听者的左眼及右眼,有选择地入射左眼用图像170l和右眼用图像170r的方法不限定为该方法,也可以使用此外的方法。
例如图4所示,也可以在三维影像数据的各画面内呈条纹状配置左眼用行175l和右眼用行175r。
这种情况下,由于显示面板26具备左眼用的象素上所形成的左眼用偏光膜和右眼用的象素上所形成的右眼用偏光膜,因而在左眼用行175l和右眼用行175r上形成不同的偏光(直线偏光或者圆偏光等)。另外,通过取代快门眼镜43,使用具备与上述偏光分别对应的左眼用及右眼用偏光滤光器的偏光眼镜,就可以使之对视听者的左眼及右眼,入射左眼用行175l及右眼用行175r。
还有,三维影像数据中左眼用影像和右眼用影像的配置图案也可以是横向条纹状以外。例如,也可以在各画面内呈纵向条纹配置左眼用影像和右眼用影像。另外,也可以在1幅画面内呈棋盘状(方格状)配置左眼用影像和右眼用影像。另外,也可以在1幅画面内按垂直方向或者水平方向并排配置左眼用图像170l和右眼用图像170r。
下面,详细说明本发明实施方式1所涉及的三维影像处理装置100。
图5是表示三维影像处理装置100结构的框图。
图5所示的三维影像处理装置100生成表示下述三维影像的输出影像信号117,该三维影像在输入影像信号111中包含的三维的主影像上重叠显示了三维的字幕或者菜单画面。该三维影像处理装置100具备提取部101、变换部103、偏移值补充部104、偏移控制部105和合成部106。
提取部101提取输入影像信号111中包含的偏移信息112。
图6是表示输入影像信号111结构的附图。如图6所示,输入影像信号111包含GOP(GroupOfPictures)单位的作为数据的多个GOP数据130。这里,所谓的GOP指的是,使用于压缩及再现等的多个画面单位。
各GOP数据130包括:GOP头部131,包含每个GOP的控制信息;GOP数据部132,是GOP中包含的多幅画面的数据。
GOP数据部132包括多个画面数据135,各自是1幅画面量的数据。该画面数据135包括:画面头部136,包含每幅画面的控制信息;画面数据部137,是主影像的图像数据。另外,输入影像信号111包含字幕或者菜单画面等作为图像数据的字幕数据。该字幕数据被赋予了和影像数据不同的识别符(PID),在TS(传送/数据流)内和影像数据相区别进行了存储。
GOP头部131包含偏移信息112。该偏移信息112表示字幕或者菜单画面的位移量。换言之,偏移信息112表示将字幕或者菜单画面按三维显示中的深度方向进行位移的量。
图7是表示偏移信息112结构的附图。如图7所示,偏移信息112包括帧速率141、起始的PTS142、偏移值的个数143、帧个数144和多个偏移值145。还有,图7所示的值及位数是一例,也可以是图7所示的值及位数以外。
帧速率141表示该GOP内影像数据的帧速率。
起始的PTS142表示该GOP起始画面的PTS(PresentationTimeStamp)的值。这里,所谓的PTS指的是,表示画面显示时刻的时间戳。
偏移值的个数143表示该偏移信息112中包含的偏移值145的个数。
帧个数144表示该GOP中包含的画面(帧或者场)的个数。
各偏移值145与该GOP中包含的各画面对应。另外,各偏移值145包含偏移方向146和偏移值的绝对值147。另外,在可能按相同时刻显示的字幕及菜单画面存在多个时,偏移值145要按字幕或者菜单画面的每个进行设置。也就是说,这种情况下,偏移值145对于1幅画面设置多个。还有,与1幅画面对应来设置的偏移值145的个数也可以比可能按相同时刻显示的字幕及菜单画面的个数多。
偏移方向146表示使对应的画面的字幕或者菜单画面位移的方向(右方向或者左方向)。换言之,偏移方向146表示使对应的画面的字幕或者菜单画面,向三维显示中深度方向的近前方向位移或者向进深方向位移。
偏移值的绝对值147表示该偏移值145的绝对值。
还有,图7所示的帧速率141及偏移方向146的值用来表示其含意,实际上,帧速率141及偏移方向146的值是与该含意相对应的1位以上的数据值。
另外,偏移值145是为了在各画面上,从主影像往近前显示字幕或者菜单画面而设定的数据。
图8是表示主影像的深度方向的显示范围和字幕及菜单画面深度方向的显示位置的附图。通过如图8所示使字幕或者菜单画面从主影像的显示范围往近前,而可以为用户显示适合的三维影像。
变换部103通过对输入影像信号111进行3:2下拉处理,来生成变换影像信号114。
图9是表示3:2下拉处理的附图。所谓的3:2下拉处理指的是,将24p(帧速率为24fps的逐行方式)的影像数据,变换为60i(帧速率为60fps的隔行方式)的影像数据的处理。
具体而言,变换部103将输入影像信号111中包含的2幅画面(主影像及字幕)变换为5幅画面。换言之,变换部103在输入影像信号111中包含的连续的2幅画面之间,插入1幅或者2幅新的画面。
更为具体而言,变换部103使用输入影像信号111中包含的第1画面120A,生成变换影像信号114中包含的2幅画面121A及122A。这里,画面121A是画面120A中包含的行之中,只复制了奇数行的画面(顶场)。另外,画面122A是画面120A中包含的行之中,只复制了偶数行的画面(底场)。
另外,变换部103使用输入影像信号111中包含的第2画面120B,生成变换影像信号114中包含的3幅画面121B、122B及123B。这里,画面121B及123B是画面120B中包含的行之中,只复制了奇数行的画面(顶场)。另外,画面122B是画面120B中包含的行之中,只复制了偶数行的画面(底场)。
偏移值补充部104使用由提取部101所提取的偏移值145(输入影像信号111中包含的偏移值),补充变换影像信号114中包含的各画面的偏移值145。
图10是表示偏移值补充部104处理的附图。
首先,偏移值补充部104使从1幅原画面所生成的2幅或者3幅画面之中起始的画面121A、121B及121C(下面记为“起始画面”)的偏移值145,成为和对应的原画面120A、120B及120C的偏移值145相同的值。
接下来,偏移值补充部104使用对于该补充画面在时间上位于紧前面的起始画面(下面记为“紧前面起始画面”)的偏移值145和对于该补充画面在时间上位于紧后面的起始画面(下面记为“紧后面起始画面”)的偏移值145,计算从1幅原画面所生成的2幅或者3幅画面之中起始画面以外的画面122A、122B及123B(下面记为“补充画面”)的偏移值145。换言之,偏移值补充部104使用该补充画面的原画面的偏移值145和输入影像信号111的该原画面的下一画面的偏移值145,计算补充画面的偏移值145。
具体而言,偏移值补充部104计算补充画面的偏移值145,以便补充画面的偏移值145对于紧前面起始画面的偏移值145和紧后面起始画面的偏移值145,按等间隔且流畅地进行变化。
更为具体而言,偏移值补充部104使用下述(式1),计算从紧前面起始画面开始位于第i(1≤i≤n)个的补充画面的偏移值O(i)。还有,n是紧前面起始画面和紧后面起始画面之间所插入的补充画面的个数。另外,M1是紧前面起始画面的偏移值145和紧后面起始画面的偏移值145之中较小的偏移值145,M2是紧前面起始画面的偏移值145和紧后面起始画面的偏移值145之中较大的偏移值145。
O(i)=M1+(M2-M1)×i/(n+1)···(式1)
例如,对于图10所示的补充画面122A来说,紧前面起始画面121A的偏移值145是“6”,紧后面起始画面121B的偏移值145是“10”,为n=1及i=1。因而,根据上述(式1),补充画面122A的偏移值145变为“8”。
另外,偏移值补充部104将在变换影像信号114中加上所生成的偏移值145后的补充影像信号115,输出给偏移控制部105。
还有,补充画面、紧前面起始画面及紧后面起始画面分别相当于本发明的第1画面、第2画面及第3画面。
偏移控制部105按由通过偏移值补充部104所生成的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号116。换言之,偏移控制部105按与通过偏移值补充部104所生成的偏移值145相当的距离,使字幕或者菜单画面的三维显示中深度方向的位置位移。据此,偏移控制部105进行调整,以便字幕或者菜单画面的三维显示中深度方向的显示位置从主影像的显示位置往近前侧。
图11是表示偏移控制部105处理的附图。
如图11所示,偏移控制部105使补充影像信号115中包含的字幕图像沿水平方向按偏移值145进行位移。
这里,在图11中,表示出字幕图像原来的深度方向的显示位置为显示面板26上的情形。换言之,表示出在补充影像信号115中,按左眼用及右眼用只包含一个字幕图像(或者相同的字幕图像)的例子。
还有,在补充影像信号115(输入影像信号111)中,也可以包含左眼用字幕图像和右眼用字幕图像。换言之,字幕图像原来的显示位置也可以是显示面板26上以外。这种情况下,如图12所示,偏移控制部105使补充影像信号115中包含的左眼用字幕图像及右眼用字幕图像分别沿水平方向按偏移值145的量进行位移。
另外,由偏移值145中包含的偏移方向146所示的信息既可以表示将图像位移的方向,也可以表示三维显示中的深度方向(进深方向或者近前方向)。也就是说,后者的情况下,偏移控制部105只要判定处理对象的图像是左眼用还是右眼用,按照判定结果,决定将图像位移的方向就可以。例如,偏移控制部105按照处理对象的图像是左眼用还是右眼用,沿相互相反的方向(左方向及右方向)使该图像位移。
合成部106生成在变换影像信号114中包含的主影像上,重叠显示了调整影像信号116中包含的字幕后的输出影像信号117。
下面,说明由三维影像处理装置100做出的处理流程。
图13是表示由三维影像处理装置100做出的处理流程的流程图。三维影像处理装置100按GOP单位执行图13所示的处理。
首先,提取部101提取输入影像信号111中包含的该GOP的偏移信息112(S101)。
另一方面,变换部103通过对解码了输入影像信号111中包含的影像数据后的结果进行3:2下拉处理,来生成变换影像信号114(S102)。
接下来,偏移值补充部104使用由提取部101所提取的偏移值145,计算新的偏移值145(S103)。
接下来,偏移值补充部104补充计算出的偏移值145,来作为变换影像信号114中包含的各画面的偏移值145(S104)。
接下来,偏移控制部105按由通过偏移值补充部104所生成的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号116(S105)。
接下来,合成部106生成在变换影像信号114中包含的主影像上,重叠显示了调整影像信号116中包含的字幕后的输出影像信号117(S106)。
根据上面,本发明实施方式1所涉及的三维影像处理装置100使用前后画面的偏移值145,来计算通过3:2下拉处理所生成的各画面的偏移值145,以此就可以使字幕深度方向的显示位置连续且流畅地产生变化。据此,本发明实施方式1所涉及的三维影像处理装置100对于用户,可以生成更加良好的三维影像。
还有,在上面的说明中,也可以将本发明实施方式1所涉及的三维影像处理装置适用为下述三维影像处理装置100B,该三维影像处理装置100B说明了适用成数字视频录像机30具备的三维影像处理装置100的例子,并且是数字电视机20具备的。
另外,在上面的说明中,虽然三维影像处理装置100具备合成部106,但是也可以不具备合成部106,而输出调整影像信号116来作为输出影像信号117。这种情况下,只要后面的处理装置(例如数字电视机20)具备合成部106就可以。
另外,在上面的说明中,虽然提取部101提取了输入影像信号111中包含的偏移信息112,但是也可以由变换部103生成包括输入影像信号111中包含的偏移信息112在内的变换影像信号114,提取部101提取变换影像信号114中包含的偏移信息112。
另外,在上面的说明中,虽然说明了在每个GOP中包含偏移信息112(偏移值145)的例子,但是偏移信息112(偏移值145)也可以按其他的每个单位包含。例如,偏移信息112(偏移值145)也可以包含于每幅画面中。
另外,图7所示的偏移信息112的结构是一例,偏移信息112只要包含多个偏移值145和能够识别各偏移值145与帧之间的对应关系的信息,就可以。例如,偏移信息112也可以只包含偏移值的个数143及帧个数144之中的一个。另外,偏移信息112也可以取代帧速率141及起始的PTS142,而包含各偏移值145的PTS。
另外,在上面的说明中,虽然说明了变换部103将24p的影像信号变换为60i的例子,但只要是使帧速率增加的变换处理就可以。例如,变换部103既可以将24p的影像信号变换为60p,也可以变换为其他帧速率的信号。另外,由变换部103插入的画面不限于复制了原画面的一部分或者全部的画面,也可以是利用在时间上位于前后的画面所生成的画面。
另外,在上面的说明中,虽然说明了偏移值补充部104使用上述(式1)来计算补充画面的偏移值145的例子,但是补充画面的偏移值145的计算方法也可以是其他方法。具体而言,偏移值补充部104只要使用由提取部101所提取的偏移值145,将与补充画面对应的偏移值补充为下述两个偏移值145之中较小的第1偏移值以上且较大的第2偏移值以下,就可以,上述两个偏移值一是与紧前面起始画面相对应的偏移值145,二是与紧后面起始画面相对应的偏移值145。
例如,偏移值补充部104也可以使补充画面的偏移值145成为紧前面起始画面的偏移值(例如“6”)和紧后面起始画面的偏移值(例如“10”)之间的值(例如“7~9”)。
另外,偏移值补充部104也可以使补充画面的偏移值145成为紧前面起始画面的偏移值(例如“6”)或者紧后面起始画面的偏移值(例如“10”)。
还有,在插入2幅补充画面112B及123B的情况下,优选的是,决定补充画面122B及补充画面123B的偏移值145,以使紧前面起始画面121B、补充画面122B、补充画面123B及紧后面起始画面121C的偏移值145单调增加或者单调减少。据此,三维影像处理装置100可以使字幕深度方向的显示位置连续且流畅地产生变化。
还有,更为优选的是,如上所述,偏移值补充部104使用上述(式1)来计算补充画面的偏移值145。据此,可以更加流畅地使字幕深度方向的显示位置产生变化。
另外,在上面的说明中,虽然表示出偏移值145表示字幕或者菜单画面的位移量的例子,但是偏移值145只要能表示画面至少一部分的位移量就可以。例如,偏移值145也可以表示将副影像重叠显示于主影像上时副影像或者主影像的位移量。
再者,偏移值145也可以表示只显示主影像时该主影像的位移量。
另外,偏移值145也可以对应于三维影像中包含的目标(被拍摄体)的每个,进行设置。或者,在三维影像信号中含有按该三维影像信号中包含的每个目标表示该目标的深度方向位置的信息的情况下,偏移控制部105也可以使用该信息和偏移值145,按每个目标决定位移量。或者,偏移控制部105也可以在从三维影像的左眼用影像及右眼用影像,计算出各目标的视差(深度方向的位置)之后,使用该视差和偏移值145,按每个目标决定位移量。
(实施方式2)
在上述实施方式1中,说明了补充新制作出的画面的偏移值145的例子。本发明实施方式2所涉及的三维影像处理装置200使用前后画面的偏移值145,来补充发生了错误的画面的偏移值145。
还有,本发明实施方式2所涉及的三维影像处理装置200和上述实施方式1相同,可以适用于图1所示的三维影像显示系统10。
图14是表示本发明实施方式2所涉及的三维影像处理装置200结构的框图。还有,对和图5相同的要件附上相同的符号,重复的说明予以省略。
图14所示的三维影像处理装置200生成表示三维影像的输出影像信号217,该三维影像在输入影像信号111中包含的主影像上重叠显示了字幕或者菜单画面。该三维影像处理装置200具备提取部101、偏移值补充部204、偏移控制部105、合成部106和错误判定部207。
提取部101提取输入影像信号111中包含的偏移信息112。
错误判定部207判定偏移信息112是否合适。具体而言,错误判定部207判定偏移值145是否是合适的值。另外,错误判定部207输出表示该判定结果的错误判定信号218。
偏移值补充部204在由错误判定信号218表示偏移值145不合适的情况下,使用由提取部101所提取的偏移值145(输入影像信号111中包含的偏移值),补充输入影像信号111中包含的该画面的偏移值145。
图15是表示偏移值补充部204处理的附图。
例如图15所示,在帧4的偏移值145不合适的情况下,偏移值补充部204补充该帧4的偏移值145。还有,在下面,将偏移值145不合适的画面记为错误画面,将偏移值145合适的画面记为正常画面。
具体而言,偏移值补充部204使用对于错误画面在时间上位于紧前面的正常画面(下面记为“紧前面正常画面”)的偏移值145和对于该帧4在时间上位于紧后面的正常画面(下面记为“紧后面正常画面”)的偏移值145,计算该错误画面的偏移值145。
更为具体而言,偏移值补充部204计算错误画面的偏移值145,以便错误画面的偏移值145对于紧前面正常画面的偏移值145和紧后面正常画面的偏移值,按等间隔且流畅地进行变化。
更为具体而言,偏移值补充部204使用上述(式1),计算从紧前面正常画面开始位于第i(1≤i≤n)个的错误画面的偏移值O(i)。还有,n是紧前面正常画面和紧后面正常画面之间所插入的错误画面的个数。另外,M1是紧前面正常画面的偏移值145和紧后面正常画面的偏移值145之中较小的偏移值145,M2是紧前面正常画面的偏移值145和紧后面正常画面的偏移值145之中较大的偏移值145。
例如,在图15所示的例子中,紧前面正常画面的偏移值145是“2”,紧后面正常画面的偏移值145是“4”,为n=1及i=1。因而,根据上述(式1),错误画面的偏移值145成为“3”。
另外,偏移值补充部204将补充了输入影像信号111的错误画面的偏移值145后的补充影像信号215,输出给偏移控制部105。
还有,错误画面、紧前面正常画面及紧后面正常画面分别相当于本发明的第1画面、第2画面及第3画面。
偏移控制部105按由补充影像信号215中包含的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号216。换言之,偏移控制部105按与通过偏移值补充部204所生成的偏移值145相当的距离,使字幕或者菜单画面的三维显示中深度方向的位置位移。
合成部106生成在输入影像信号111中包含的主影像上,重叠显示了调整影像信号216中包含的字幕后的输出影像信号217。
下面,说明由三维影像处理装置200做出的处理流程。
图16是表示由三维影像处理装置200做出的处理流程的流程图。三维影像处理装置200按GOP单位执行图16所示的处理。
首先,提取部101提取输入影像信号111中包含的GOP单位的偏移信息112(S201)。
接下来,错误判定部207判定偏移值145是否是合适的值(S202)。
图17是表示由错误判定部207做出的错误判定处理(S202)流程的流程图。错误判定部207按帧(画面)单位执行图17所示的处理。
首先,错误判定部207计算处理对象帧的偏移值145和对于该处理对象帧在紧前面的帧的偏移值145之间的差分(S211)。
接下来,错误判定部207判定在步骤S211中计算出的差分是否是预先确定的第1阈值以上(S212)。
在步骤S211中计算出的差分是第1阈值以上时(S212中的是),错误判定部207判定为处理对象帧的偏移值145不合适(S216)。
另一方面,在步骤S211中计算出的差分小于第1阈值时(S211中的否),接下来,错误判定部207计算处理对象帧的偏移值145和对于该处理对象帧在紧后面的帧的偏移值145之间的差分(S213)。
接下来,错误判定部207判定在步骤S213中计算出的差分是否是预先确定的第2阈值以上(S214)。还有,该第2阈值既可以是和上述第1阈值相同的值,也可以是不同的值。
在步骤S213中计算出的差分是第2阈值以上时(S214中的是),错误判定部207判定处理对象帧的偏移值145为不合适(S216)。
另一方面,在步骤S213中计算出的差分小于第2阈值时(S214中的否),错误判定部207判定处理对象帧的偏移值145为合适(S215)。
还有,这里错误判定部207虽然一起实施了处理对象帧和紧前面的帧之间的偏移值145的差分是否为阈值以上的判定(S211及S212)以及处理对象帧和紧后面的帧之间的偏移值145的差分是否为阈值以上的判定(S213及S214),但是也可以只实施某一个。另外,该2个处理的顺序既可以相反,也可以同时实施一部分。
再次,使用图16进行说明。
在步骤S202中,判定为偏移值145不是合适的值时(S202中的是),接下来,偏移值补充部204使用由提取部101所提取的偏移值145,计算新的偏移值145(S203)。
接下来,偏移值补充部204补充计算出的偏移值145,来作为错误画面的偏移值145(S204)。
接下来,偏移控制部105按由通过偏移值补充部204所生成的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号216(S205)。
接下来,合成部106生成在输入影像信号111中包含的主影像上,重叠显示了调整影像信号216中包含的字幕后的输出影像信号217(S206)。
另一方面,在步骤S202中,判定为偏移值145是合适的值时(S202中的否),接下来,偏移控制部105按由输入影像信号111中包含的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号216(S205)。
接下来,合成部106生成在输入影像信号111中包含的主影像上,重叠显示了调整影像信号216中包含的字幕后的输出影像信号217(S206)。
根据上面,本发明实施方式2所涉及的三维影像处理装置200通过使用前后画面的偏移值145,来计算错误画面的偏移值145,就可以使字幕深度方向的显示位置连续且流畅地产生变化。据此,本发明实施方式2所涉及的三维影像处理装置200对于用户,可以生成更加良好的三维影像。
还有,错误判定部207也可以取代图17所示的处理,执行下面所示的处理。
图18是由错误判定部207做出的错误判定处理变形例的流程图。
如图18所示,错误判定部207首先计算处理对象帧和对于该处理对象帧位于紧前面的帧之间的偏移值145的差分Dn(S221)。
接下来,错误判定部207保持在步骤S221中计算出的差分Dn(S222)。
接下来,错误判定部207计算此次的差分Dn和上次的差分Dn-1(2幅前的帧和紧前面的帧之间的偏移值145的差分)之间的差分(S223)。
接下来,错误判定部207判定在步骤S223中计算出的差分是否为预先确定的第3阈值以上(S224)。
在步骤S224中计算出的差分为第3阈值以上时(S224中的是),错误判定部207判定处理对象帧的偏移值145为不合适(S226)。
另一方面,在步骤S224中计算出的差分小于第3阈值时(S224中的否),错误判定部207判定处理对象帧的偏移值145为合适(S225)
通过上面的处理,错误判定部207在从紧前面画面向处理对象画面的偏移值145的变化量相对于最近的偏移值145的变化量,急剧增加时,可以判定该处理对象画面的偏移值145为不合适。
还有,错误判定部207也可以在步骤S223中,计算在步骤S222中所保持的2次量以上的差分的平均值、最大值或者最小值和此次在步骤S221中计算出的差分Dn之间的差分。
另外,错误判定部207也可以对于处理对象帧和紧后面帧之间的偏移值145的差分,进行同样的处理。
再者,错误判定部207也可以取代图17或图18所示的处理,执行下面所示的处理。
图19是由错误判定部207做出的错误判定处理变形例的流程图。另外,错误判定部207按GOP单位执行图19所示的处理。
首先,错误判定部207计算GOP内偏移值145的平均值An(S231)。
接下来,错误判定部207保持在步骤S231中计算出的平均值An(S232)。
接下来,错误判定部207计算处理对象GOP的平均值An和紧前面GOP的平均值An-1之间的差分(S233)。
接下来,错误判定部207判定在步骤S233中计算出的差分是否为预先确定的第4阈值以上(S234)。
在步骤S234中计算出的差分为第4阈值以上时(S234中的是),错误判定部207判定为处理对象GOP的偏移值145不合适(S236)。
另一方面,在步骤S234中计算出的差分小于第4阈值时(S234中的否),错误判定部207判定为处理对象GOP的偏移值145合适(S235)。
通过上面的处理,错误判定部207就可以按GOP单位判定偏移值145是否合适。
还有,错误判定部207也可以不使用GOP中包含的偏移值145的平均值,而使用最大值或者最小值。另外,错误判定部207也可以比较紧前面GOP最后的帧的偏移值145和处理对象GOP最开始的帧的偏移值145。
还有,在错误判定部207中,按GOP单位判定出偏移值145的错误时,偏移值补充部204只要能够使用紧前面的正常GOP最后的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145,和上面相同进行补充,就可以。
另外,错误判定部207也可以实施上述图17~图19所示的错误判定处理及其变形例之中的2个以上。
另外,也可以将和上述实施方式1相同的变形例适用于三维影像处理装置200中。
另外,三维影像处理装置200还可以判定偏移信息112中包含的起始PTS142是否合适,在不合适时,补充起始的PTS142。
图20是表示起始的PTS142为正常时帧的PTS和偏移值145的PTS之间关系的附图。图21是表示起始的PTS142不合适时帧的PTS和偏移值145的PTS之间关系的附图。还有,表示各帧PTS的信息(相当于本发明的第1时间戳信息)包含在输入影像信号111中。另外,起始的PTS142相当于本发明的第2时间戳信息。
这里,偏移控制部105使用起始的PTS142和帧速率141,计算各偏移值145的PTS。另外,偏移控制部105判断出具有同一PTS的帧和偏移值145相互对应。换言之,偏移控制部105通过按具有和各帧的PTS相同的PTS的偏移值145,使该帧位移,来调整该帧深度方向的显示位置。
因而,如图21所示,在起始的PTS142的值不合适时,不存在与GOP中包含的帧对应的偏移值145。
图22是表示此时错误判定部207及偏移值补充部204的处理流程的流程图。
如图22所示,错误判定部207判定和处理对象帧的PTS相同的PTS的偏移值145是否存在于偏移信息112内(S251)。
在步骤S251中不存在偏移值145时(S251中的是),由于在起始PTS142的值中发生了错误,因而偏移值补充部204忽视偏移值145的PTS,给对应的帧分配偏移值145(S252)。
具体而言,偏移值补充部204按GOP中包含的帧顺序,按序号分配从图7所示的ID0的偏移值145到由帧个数144所示的个数的ID为止的偏移值145。换言之,偏移值补充部204从GOP中包含的帧之中,PTS较小的帧开始按顺序,使PTS小的偏移值145依次相对应。另外,偏移控制部105通过按相对应的偏移值145使各帧位移,来调整该画面深度方向的显示位置。
另外,作为步骤S252的处理,既可以在偏移值补充部204将偏移信息112中包含的起始PTS142补充为正确的值之后,由偏移控制部105使用补充后的起始PTS142,执行偏移控制处理,也可以在发生了错误时,由偏移控制部105在进行了上述帧和偏移值145之间的相对应之后,执行偏移控制处理。
还有,在帧速率141不合适时,起始的帧以外也成为不存在PTS一致的偏移值145的状态。这种情况下,三维影像处理装置200也可以执行和上面相同的处理。
另外,错误判定部207在步骤S251中不存在偏移值145时(S251中的是),也可以判定出在该GOP中发生了错误。这种情况下,偏移值补充部204只要使用紧前面的正常GOP最后的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145,和上面相同进行补充,就可以。也就是说,偏移值补充部204只要使用由提取部101所提取的偏移值145,将发生了错误的GOP中包含的偏移值145,补充为紧前面的正常GOP最后的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145之中较小的第1偏移值以上且较大的第2偏移值以下,就可以。
另外,偏移值补充部204在起始的PTS142中发生了错误时,也可以使该GOP内的偏移值145成为预先确定的值(例如0)。
另外,偏移值补充部204在起始的PTS142中发生了错误时,也可以参照该GOP以外的GOP的偏移信息112,检索PTS和处理对象的帧一致的偏移值145。
根据上面,本发明实施方式2所涉及的三维影像处理装置200即便在在偏移信息112中包含的起始PTS142或者帧速率141中发生了错误时,也可以将适合的三维影像提供给用户。
另外,三维影像处理装置200还可以判定偏移信息112中包含的帧个数144是否合适,在不合适时,补充该帧个数144。
图23是表示帧个数144不合适时的帧和偏移值145之间关系的附图。另外,在图23所示的例子中,正确的帧个数144的值是“15”。
如图23所示,在因错误而帧个数144的值变为“13”时,不存在与帧“14”及“15”对应的偏移值145。
图24是表示此时错误判定部207及偏移值补充部204的处理流程的流程图。
首先,错误判定部207通过判定由帧个数144所示的帧的个数是否比实际GOP内包含的帧的个数少,来判定帧个数144是否合适(S261)。
在由帧个数144所示的帧的个数比实际GOP内包含的帧的个数少时(S261中的是),也就是在帧个数144不合适时,偏移值补充部204补充不存在对应的偏移值145的帧的偏移值145。具体而言,如图25所示,偏移值补充部204使不存在对应的偏移值145的帧“14”及“15”的偏移值145的值,成为存在偏移值145的最后的帧“13”的偏移值145的值“20”(S262)。
还有,偏移值补充部204也可以使用前后帧的偏移值145,计算要补充的偏移值145。
图26是表示此时错误判定部207及偏移值补充部204的处理流程的流程图。
首先,错误判定部207通过判定由帧个数144所示的帧的个数是否比实际在GOP内包含的帧的个数少,来判定帧个数144是否合适(S271)。
在由帧个数144所示的帧的个数比实际GOP内包含的帧的个数少时(S271中的是),也就是在帧个数144不合适时,偏移值补充部204补充不存在对应的偏移值145的帧的偏移值145。具体而言,如图27所示,偏移值补充部204使用存在偏移值145的最后的帧“13”的偏移值145的值和下一GOP的最开始的帧的偏移值145,补充不存在对应的偏移值145的帧“14”及“15”的偏移值145的值(S272)。
还有,具体的补充方法和上述在偏移值145中发生了错误的情形相同。也就是说,偏移值补充部204只要使用由提取部101所提取的偏移值145,将发生了错误的GOP中包含的画面之中,从由帧个数144所示的第几个开始位于后面的全部帧的偏移值145,补充为该GOP中包含的由该帧个数144所示的第几个的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145之中较小的第1偏移值以上,且较大的第2偏移值以下,就可以。
还有,偏移值补充部204也可以将不存在偏移值145的帧的偏移值145,补充为预先确定的值(例如0)。
另外,帧个数144相当于本发明的个数信息。
根据上面,本发明实施方式2所涉及的三维影像处理装置200即便在偏移信息112中包含的帧个数144及偏移值的个数143中发生了错误时,也可以将适合的三维影像提供给用户。
(实施方式3)
在本发明的实施方式3中,将说明按照用户的操作来变更偏移值145的三维影像处理装置300。
还有,本发明实施方式3所涉及的三维影像处理装置300和上述实施方式1相同,可以适用于图1所示的三维影像显示系统10中。
图28是表示本发明实施方式3所涉及的三维影像处理装置300结构的框图。
图28所示的三维影像处理装置300生成表示下述三维影像的输出影像信号317,该三维影像在输入影像信号111中包含的主影像上重叠显示了字幕或者菜单画面。该三维影像处理装置300具备提取部101、偏移值补充部304、偏移控制部105、合成部106和用户操作取得部308。
提取部101提取输入影像信号111中包含的偏移信息112。
用户操作取得部308取得用户操作信号319,输出至偏移值补充部304。用户操作信号319是表示根据用户的操作,使三维影像深度方向的显示位置从当前的显示位置位移的方向及位移的量的信号。例如,所谓用户的操作指的是,由用户做出的遥控器等的操作。
还有,在后面为了说明的简单,设为偏移信息112中包含的偏移值145是表示主影像及字幕的位移量(深度方向的显示位置)的信息。
偏移值补充部304按照由用户操作取得部308输出的用户操作信号319,补充由提取部101所提取的偏移值145(输入影像信号111中包含的偏移值)。另外,偏移值补充部304相当于本发明的偏移值生成部。
图29是表示偏移值补充部304处理的附图。
例如图29所示,偏移值补充部304通过变更偏移值145,以使主影像及字幕深度方向的显示范围位移,来生成补充影像信号315。
图30是表示由三维影像处理装置300做出的处理流程的流程图。三维影像处理装置300例如按GOP单位执行图30所示的处理。
首先,用户操作取得部308取得用户操作信号319(S301)。
接下来,偏移值补充部304按照用户操作信号319,补充由提取部101所提取的偏移值145。
具体而言,在用户感觉到三维影像的突出量过大,进行了使该突出量减少的操作时,由用户操作信号319表示,使三维影像深度方向的显示位置从当前的显示位置向进深方向位移的情况(S302中的是)。这种情况下,偏移值补充部304通过使由提取部101所提取的偏移值145减少,生成补充影像信号315(S303)。
另一方面,在用户感觉到三维影像的突出量小,进行了使该突出量增加的操作时,由用户操作信号319表示,使三维影像深度方向的显示位置从当前的显示位置向近前方向位移的情况(S302中的否)。这种情况下,偏移值补充部304通过使由提取部101所提取的偏移值145增加,生成补充影像信号315(S304)。
接下来,偏移控制部105按由在步骤S303或者S304中通过偏移值补充部304所生成的偏移值145所示的值,使主影像及字幕位移,以此生成调整影像信号316(S305)。
接下来,合成部106生成重叠显示了调整影像信号316中包含的主影像及字幕后的输出影像信号217(S306)。
还有,三维影像处理装置300也可以在先进行合成(S306)之后,实施偏移控制(S305)。
根据上面,本发明实施方式3所涉及的三维影像处理装置300可以按照用户的操作,变更三维影像的突出量。据此,本发明实施方式3所涉及的三维影像处理装置300对于用户,可以生成更加良好的三维影像。
还有,在图29所示的例子中,虽然补充前及补充后的显示范围宽度大致相等,但是补充前和补充后的显示范围宽度也可以不同。另外,如图31所示,偏移值补充部304也可以补充偏移值145,以便只有显示范围的近前侧进行位移。
另外,作为变更(增加或减少)显示范围宽度的方法,可以通过使显示于近前的影像(字幕等)显示位置的位移量和显示于里面的影像(主影像等)显示位置的位移量成为不同的值,来变更显示范围的宽度。例如图32所示,可以通过使显示于近前的字幕等显示位置的位移量,比显示于里面的主影像显示位置的位移量大,来减小包含主影像及字幕在内的整体显示范围的宽度。
另外,在三维影像信号中,含有按该三维影像信号中包含的每个目标表示该目标深度方向位置的信息时,三维影像处理装置300可以通过使用该信息,按每个目标决定位移量,来变更显示范围的宽度。
另外,三维影像处理装置300也可以在从三维影像的左眼用影像及右眼用影像,计算出各目标的视差(深度方向的位置)之后,通过使用该视差,按每个目标决定位移量,来变更显示范围的宽度。
还有,三维影像的显示范围是按照显示面板26的大小及用户的视听位置进行变化的,并不是只由影像信号唯一决定。也就是说,图29、图31及图32所示的显示范围用来模式表示三维影像中包含的左眼用影像和右眼用影像之间的位移量(视差)。另外,显示范围里侧的边界也可以定义为无限远。
另外,在上面的说明中,说明了由三维影像处理装置300补充输入影像信号111中包含的偏移值145的例子,但是不在输入影像信号111中包含偏移信息112也可以。这种情况下,偏移值补充部304只要新生成偏移信息112,就可以。
上面,说明了本发明实施方式1~3所涉及的三维影像处理装置100、200及300,但是本发明并不限定为该实施方式。
例如,在上面的说明中,虽然以使用专用眼镜(快门眼镜43)的情形为例进行了说明,但是在不使用专用眼镜的方式下也可以适用本发明。
另外,在上面的说明中,虽然说明了在三维影像中包含相互具有视差的2个影像(左眼用影像及右眼用影像)的例子,但是也可以在三维影像包含相互具有视差的3幅以上的影像。
另外,在上面的说明中,虽然说明了将本发明所涉及的三维影像处理装置100、200及300适用到数字电视机及数字视频录像机中的例子,但是本发明所涉及的三维影像处理装置100、200及300可以适用于数字电视机以外的显示三维影像的三维影像显示装置(例如移动电话设备、个人计算机等)中。另外,本发明所涉及的三维影像处理装置100、200及300可以适用于数字视频录像机以外的输出三维影像的三维影像输出装置(例如BD播放器等)。
另外,上述实施方式1~3所涉及的三维影像处理装置100、200及300典型的是作为下述LSI来实现,该LSI是一种集成电路。它们既可以分别单芯片化,也可以进行单芯片化使之包含一部分或者全部。
另外,集成电路化并不限于LSI,也可以采用专用电路或者通用处理器来实现。还可以利用下述FPGA(FieldProgrammableGateArray)或者可重构·处理器,该FPGA能够在LSI制造后进行编程,该可重构·处理器能够重新构成LSI内部电路单元的连接及设定。
再者,如果因半导体技术的进步或派生的其他技术而替换为LSI的集成电路化技术出现,则当然也可以利用该技术,进行各处理部的集成化。
另外,也可以通过由CPU等的处理器执行程序,来实现本发明实施方式1~3所涉及的三维影像处理装置100、200及300的功能一部分或者全部。
再者,本发明既可以是上述程序,也可以是记录了上述程序的记录介质。另外,不言而喻,上述程序可以经由因特网等的传输介质使之流通。
另外,本发明也可以作为以三维影像处理装置中包含的特征性机构为步骤的三维影像处理方法来实现。另外,本发明可以作为上述具备三维影像处理装置的数字电视机等的三维影像显示装置来实现,或者作为包含这种三维影像显示装置的三维影像显示系统来实现。
另外,也可以组合上述实施方式1~3所涉及的三维影像处理装置100、200、300及其变形例的功能之中的至少一部分。
另外,上面所使用的数字全都是为了具体说明本发明所示例的,本发明不限制为所示例的数字。
另外,上述三维影像处理装置100、200及300的结构是为了具体说明本发明所示例的,本发明所涉及的三维影像处理装置不需要一定具备上述结构的全部。换言之,本发明所涉及的三维影像处理装置可以仅仅具备能实现本发明效果的最小限度的结构。
同样,利用上述三维影像处理装置的三维影像处理方法是为了具体说明本发明所示例的,利用本发明所涉及的三维影像处理装置的三维影像处理方法不需要一定包含上述步骤的全部。换言之,本发明所涉及的三维影像处理方法可以仅仅包含能实现本发明效果的最小限度的步骤。另外,执行上述步骤的顺序是为了具体说明本发明所示例的,也可以是上面以外的顺序。另外,上述步骤的一部分也可以和其他的步骤同时(并行)执行。
再者,在不脱离本发明宗旨的范围内,对于本实施方式实施了从业人员联想到的范围内的变更后的各种变形例也包含于本发明中。
产业上的可利用性
本发明可以适用于三维影像处理装置中,特别是可以适用于数字电视机及数字视频录像机等中。
符号说明
10三维影像显示系统
20数字电视机
21、31输入部
22、32解码器
23、33HDMI通信部
26显示面板
27发射器
30数字视频录像机
40HDMI电缆
41光盘
42广播波
43快门眼镜
51、55编码三维影像信号
56、57、111输入影像信号
58、117、217、317输出影像信号
100、100B、200、300三维影像处理装置
101提取部
103变换部
104、204、304偏移值补充部
105偏移控制部
106合成部
112偏移信息
114变换影像信号
115、215、315补充影像信号
116、216、316调整影像信号
120A、120B、120C、121A、121B、121C、122A、122B、123B画面
130GOP数据
131GOP头部
132GOP数据部
135画面数据
136画面头部
137画面数据部
141帧速率
142起始的PTS
143偏移值的个数
144帧个数
145偏移值
146偏移方向
147偏移值的绝对值
170l左眼用图像
170r右眼用图像
175l左眼用行
175r右眼用行
207错误判定部
218错误判定信号
308用户操作取得部
319用户操作信号