CN102342121A - 三维影像处理装置及三维影像处理方法 - Google Patents

三维影像处理装置及三维影像处理方法 Download PDF

Info

Publication number
CN102342121A
CN102342121A CN2010800099750A CN201080009975A CN102342121A CN 102342121 A CN102342121 A CN 102342121A CN 2010800099750 A CN2010800099750 A CN 2010800099750A CN 201080009975 A CN201080009975 A CN 201080009975A CN 102342121 A CN102342121 A CN 102342121A
Authority
CN
China
Prior art keywords
picture
mentioned
deviant
dimensional image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800099750A
Other languages
English (en)
Other versions
CN102342121B (zh
Inventor
西村宪吾
池内阳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to CN201410482507.5A priority Critical patent/CN104243957B/zh
Publication of CN102342121A publication Critical patent/CN102342121A/zh
Application granted granted Critical
Publication of CN102342121B publication Critical patent/CN102342121B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明所涉及的三维影像处理装置(100)具备:提取部(101),提取偏移值(145),该偏移值与影像数据中包含的画面相对应,是将该画面进行位移的量;偏移值补充部(104),使用由提取部(101)所提取的偏移值(145),将与第1画面对应的偏移值(145)补充为下述两个偏移值之中较小的第1偏移值以上且较大的第2偏移值以下,上述两个偏移值一是与从该第1画面开始在时间上位于前面的第2画面相对应的偏移值(145),二是与从该第1画面开始在时间上位于后面的第3画面相对应的偏移值(145);偏移控制部(105),通过按由偏移值补充部(104)补充后的偏移值(145),将第1画面进行位移,来调整该画面的深度方向的显示位置。

Description

三维影像处理装置及三维影像处理方法
技术领域
本发明涉及三维影像处理装置及三维影像处理方法,特别涉及对包括表示三维影像的影像数据和该影像数据的控制信息在内的影像信号进行处理的三维影像处理装置。
背景技术
三维影像显示装置已为众所周知,该三维影像显示装置显示作为视听者产生立体感觉的二维影像的三维影像(例如参见专利文献1)。
该三维影像显示装置通过显示相互具有视差的右眼用图像和左眼用图像,来显示视听者产生立体感觉的图像。例如,三维影像显示装置按每1帧交替显示右眼用图像和左眼用图像。另外,视听者还要使用按每1帧切换由右眼和左眼的哪一个看到的眼镜。为此,由于视听者可以只用右眼观看右眼用图像,只用左眼观看左眼用图像,因而可以把三维影像显示装置显示的图像当作三维来识别。
现有技术文献
专利文献1:日本特开2005-267655号公报
发明内容
发明解决的课题
但是,期望在这种处理三维影像的三维影像处理装置中,可以生成对于用户来讲更加良好的三维影像。
因此,本发明的目的为,提供三维影像处理装置及三维影像处理方法,对于用户可以提供更加良好的三维影像。
解决课题的手段
为了实现上述目的,本发明的一个方式所涉及的三维影像处理装置对包括表示三维影像的影像数据和该影像数据的控制信息在内的影像信号进行处理,其特征为,具备:提取部,从上述控制信息提取偏移值,该偏移值与上述影像数据中包含的画面相对应,是为了调整该画面的至少一部分的深度方向的显示位置而将该一部分进行位移的量;偏移值补充部,使用由上述提取部所提取的偏移值,将与第1画面对应的偏移值补充为:大于等于在与从该第1画面开始在时间上位于前面的第2画面相对应的偏移值和与从该第1画面开始在时间上位于后面的第3画面相对应的偏移值之中较小的第1偏移值、且小于等于较大的第2偏移值,偏移控制部,通过按由上述偏移值补充部补充后的偏移值,将上述第1画面的至少一部分进行位移,来调整该一部分的深度方向的显示位置。
发明效果
根据上面,本发明能够提供三维影像处理装置及三维影像处理方法,对于用户可以提供更加良好的三维影像。
附图说明
图1是表示本发明实施方式1所涉及的三维影像显示系统结构的框图。
图2是表示本发明实施方式1所涉及的三维影像信号一例的图。
图3是表示本发明实施方式1所涉及的左眼用图像及右眼用图像一例的图。
图4是表示本发明实施方式1所涉及的三维影像信号另一例的图。
图5是表示本发明实施方式1所涉及的三维影像处理装置结构的框图。
图6是表示本发明实施方式1所涉及的输入影像信号结构的图。
图7是表示本发明实施方式1所涉及的偏移信息结构的图。
图8是表示本发明实施方式1所涉及的主影像深度方向的显示范围和字幕及菜单画面深度方向的显示位置的图。
图9是表示由本发明实施方式1所涉及的变换部做出的处理的图。
图10是表示由本发明实施方式1所涉及的偏移值补充部做出的处理的图。
图11是表示由本发明实施方式1所涉及的偏移控制部做出的处理的图。
图12是表示由本发明实施方式1所涉及的偏移控制部做出的处理变形例的图。
图13是表示由本发明实施方式1所涉及的三维影像处理装置做出的处理流程的流程图。
图14是表示本发明实施方式2所涉及的三维影像处理装置结构的框图。
图15是表示由本发明实施方式2所涉及的偏移值补充部做出的处理的图。
图16是表示由本发明实施方式2所涉及的三维影像处理装置做出的处理流程的流程图。
图17是表示由本发明实施方式2所涉及的错误判定部做出的处理流程的流程图。
图18是表示由本发明实施方式2所涉及的错误判定部做出的处理变形例流程的流程图。
图19是表示由本发明实施方式2所涉及的错误判定部做出的处理变形例流程的流程图。
图20是表示本发明实施方式2所涉及的正常时帧的PTS和偏移值的PTS之间关系的图。
图21是表示本发明实施方式2所涉及的在PTS中发生了错误时帧的PTS和偏移值的PTS之间关系的图。
图22是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对PTS错误的处理流程的流程图。
图23是表示本发明实施方式2所涉及的在帧个数中发生了错误时帧和偏移值之间对应关系的图。
图24是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对帧个数错误的处理流程的流程图。
图25是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对帧个数错误的处理的流程图。
图26是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对帧个数错误的处理变形例流程的流程图。
图27是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对帧个数错误的处理变形例的图。
图28是表示本发明实施方式3所涉及的三维影像处理装置结构的框图。
图29是表示由本发明实施方式3所涉及的偏移值补充部做出的处理的图。
图30是表示由本发明实施方式3所涉及的三维影像处理装置做出的处理流程的流程图。
图31是表示由本发明实施方式3所涉及的偏移值补充部做出的处理变形例的流程图。
图32是表示由本发明实施方式3所涉及的偏移值补充部做出的处理变形例的流程图。
具体实施方式
下面,参照附图,来详细说明本发明所涉及的三维影像处理装置的实施方式。
(实施方式1)
本发明实施方式1所涉及的三维影像处理装置通过在输入影像信号的画面间插入新的画面,生成变换影像信号。再者,本发明实施方式1所涉及的三维影像处理装置利用前后画面的位移量,来计算新插入的画面的位移量。因此,本发明实施方式1所涉及的三维影像处理装置可以生成深度方向的显示位置流畅变换的良好的三维影像信号。
首先,说明包括本发明实施方式1所涉及的三维影像处理装置在内的三维影像显示系统的结构。
图1是表示本发明实施方式1所涉及的三维影像显示系统结构的框图。
图1所示的三维影像显示系统10包含数字电视机20、数字视频录像机30和快门眼镜43。另外,数字电视机20和数字视频录像机30已经通过HDMI(High-Definition Multimedia Interface)电缆40进行了连接。
数字视频录像机30处理记录在BD(蓝光光盘)等的光盘41中的三维影像信号,将处理后的三维影像信号,经由HDMI电缆40输出至数字电视机20。
数字电视机20显示由通过数字视频录像机30输出的三维影像信号以及广播波42中包含的三维影像信号所示的三维影像。例如,广播波42是地面数字电视广播及卫星数字电视广播等。
还有,数字视频录像机30还可以处理记录在光盘41以外的记录介质(例如硬盘驱动器及非易失性存储器等)中的三维影像信号。另外,数字视频录像机30还可以处理广播波42中包含的三维影像信号,或者经由因特网等通信网所取得的三维影像信号。另外,数字视频录像机30还可以处理利用外部的装置输入到外部输入端子(未图示)等的三维影像信号。
同样,数字电视机20还可以显示由记录在光盘41及其他的记录介质中的三维影像信号所示的影像。另外,数字电视机20还可以显示由经由因特网等通信网所取得的三维影像信号所示的影像。另外,数字电视机20还可以显示由利用数字视频录像机30以外的外部装置输入到外部输入端子(未图示)等的三维影像信号所示的影像。
另外,数字电视机20也可以对取得的三维图像信号实施规定的处理,显示由实施了处理的三维影像信号所表示的影像。
另外,数字电视机20和数字视频录像机30既可以通过HDMI电缆40以外标准的电缆进行连接,也可以通过无线通信网进行连接。
数字视频录像机30具备输入部31、解码器32、三维影像处理装置100和HDMI通信部33。
输入部31取得记录在光盘41中的编码三维影像信号51。
在解码器32中,通过对由输入部31所取得的编码三维影像信号51进行解码,生成输入影像信号111。
三维影像处理装置100通过处理输入影像信号111,生成输出影像信号117。
HDMI通信部33将由三维影像处理装置100所生成的输出影像信号117,经由HDMI电缆40输出至数字电视机20。
还有,数字视频录像机30既可以将所生成的输出影像信号117存储于该数字视频录像机30具备的存储部(硬盘驱动器及非易失性存储器等)中,也可以将其记录于能对该数字视频录像机30拆装的记录介质(光盘等)中。
数字电视机20具备输入部21、解码器22、HDMI通信部23、三维影像处理装置100B、显示面板26和发射器27。
输入部21取得广播波42中包含的编码三维影像信号55。
在解码器22中,通过对由输入部21所取得的编码三维影像信号55进行解码,生成输入影像信号56。
HDMI通信部23取得由HDMI通信部33所输出的输出影像信号117,作为输入影像信号57进行输出。
三维影像处理装置100B通过处理输入影像信号56或输入影像信号57,生成输出影像信号58。
显示面板26显示由通过三维影像处理装置100B所生成的输出影像信号58所示的影像。
发射器27利用无线通信,来控制快门眼镜43。
图2是表示三维影像数据一例的附图。如图2所示,三维影像数据包含交替配置的左眼用图像170l和右眼用图像170r。
图3是表示左眼用图像170l和右眼用图像170r一例的附图。
如图3所示,左眼用图像170l和右眼用图像170r中包含的目标具有与摄影位置到目标的距离相应的视差。
快门眼镜43例如是视听者佩戴的液晶快门眼镜,具备左眼用液晶快门和右眼用液晶快门。发射器27与左眼用图像170l和右眼用图像170r的显示定时相符,来控制左眼用液晶快门和右眼用液晶快门的开闭。具体而言,发射器27在显示出左眼用图像170l的期间,打开快门眼镜43的左眼用液晶快门,且关闭右眼用液晶快门。另外,发射器27在显示出右眼用图像170r的期间,关闭快门眼镜43的左眼用液晶快门,且打开右眼用液晶快门。这样,就对视听者的左眼和右眼,分别有选择地入射左眼用图像170l和右眼用图像170r。
还有,使之对视听者的左眼及右眼,有选择地入射左眼用图像170l和右眼用图像170r的方法不限定为该方法,也可以使用此外的方法。
例如图4所示,也可以在三维影像数据的各画面内呈条纹状配置左眼用行175l和右眼用行175r。
这种情况下,由于显示面板26具备左眼用的象素上所形成的左眼用偏光膜和右眼用的象素上所形成的右眼用偏光膜,因而在左眼用行175l和右眼用行175r上形成不同的偏光(直线偏光或者圆偏光等)。另外,通过取代快门眼镜43,使用具备与上述偏光分别对应的左眼用及右眼用偏光滤光器的偏光眼镜,就可以使之对视听者的左眼及右眼,入射左眼用行175l及右眼用行175r。
还有,三维影像数据中左眼用影像和右眼用影像的配置图案也可以是横向条纹状以外。例如,也可以在各画面内呈纵向条纹配置左眼用影像和右眼用影像。另外,也可以在1幅画面内呈棋盘状(方格状)配置左眼用影像和右眼用影像。另外,也可以在1幅画面内按垂直方向或者水平方向并排配置左眼用图像170l和右眼用图像170r。
下面,详细说明本发明实施方式1所涉及的三维影像处理装置100。
图5是表示三维影像处理装置100结构的框图。
图5所示的三维影像处理装置100生成表示下述三维影像的输出影像信号117,该三维影像在输入影像信号111中包含的三维的主影像上重叠显示了三维的字幕或者菜单画面。该三维影像处理装置100具备提取部101、变换部103、偏移值补充部104、偏移控制部105和合成部106。
提取部101提取输入影像信号111中包含的偏移信息112。
图6是表示输入影像信号111结构的附图。如图6所示,输入影像信号111包含GOP(Group Of Pictures)单位的作为数据的多个GOP数据130。这里,所谓的GOP指的是,使用于压缩及再现等的多个画面单位。
各GOP数据130包括:GOP头部131,包含每个GOP的控制信息;GOP数据部132,是GOP中包含的多幅画面的数据。
GOP数据部132包括多个画面数据135,各自是1幅画面量的数据。该画面数据135包括:画面头部136,包含每幅画面的控制信息;画面数据部137,是主影像的图像数据。另外,输入影像信号111包含字幕或者菜单画面等作为图像数据的字幕数据。该字幕数据被赋予了和影像数据不同的识别符(PID),在TS(传送/数据流)内和影像数据相区别进行了存储。
GOP头部131包含偏移信息112。该偏移信息112表示字幕或者菜单画面的位移量。换言之,偏移信息112表示将字幕或者菜单画面按三维显示中的深度方向进行位移的量。
图7是表示偏移信息112结构的附图。如图7所示,偏移信息112包括帧速率141、起始的PTS142、偏移值的个数143、帧个数144和多个偏移值145。还有,图7所示的值及位数是一例,也可以是图7所示的值及位数以外。
帧速率141表示该GOP内影像数据的帧速率。
起始的PTS142表示该GOP起始画面的PTS(Presentation Time Stamp)的值。这里,所谓的PTS指的是,表示画面显示时刻的时间戳。
偏移值的个数143表示该偏移信息112中包含的偏移值145的个数。
帧个数144表示该GOP中包含的画面(帧或者场)的个数。
各偏移值145与该GOP中包含的各画面对应。另外,各偏移值145包含偏移方向146和偏移值的绝对值147。另外,在可能按相同时刻显示的字幕及菜单画面存在多个时,偏移值145要按字幕或者菜单画面的每个进行设置。也就是说,这种情况下,偏移值145对于1幅画面设置多个。还有,与1幅画面对应来设置的偏移值145的个数也可以比可能按相同时刻显示的字幕及菜单画面的个数多。
偏移方向146表示使对应的画面的字幕或者菜单画面位移的方向(右方向或者左方向)。换言之,偏移方向146表示使对应的画面的字幕或者菜单画面,向三维显示中深度方向的近前方向位移或者向进深方向位移。
偏移值的绝对值147表示该偏移值145的绝对值。
还有,图7所示的帧速率141及偏移方向146的值用来表示其含意,实际上,帧速率141及偏移方向146的值是与该含意相对应的1位以上的数据值。
另外,偏移值145是为了在各画面上,从主影像往近前显示字幕或者菜单画面而设定的数据。
图8是表示主影像的深度方向的显示范围和字幕及菜单画面深度方向的显示位置的附图。通过如图8所示使字幕或者菜单画面从主影像的显示范围往近前,而可以为用户显示适合的三维影像。
变换部103通过对输入影像信号111进行3:2下拉处理,来生成变换影像信号114。
图9是表示3:2下拉处理的附图。所谓的3:2下拉处理指的是,将24p(帧速率为24fps的逐行方式)的影像数据,变换为60i(帧速率为60fps的隔行方式)的影像数据的处理。
具体而言,变换部103将输入影像信号111中包含的2幅画面(主影像及字幕)变换为5幅画面。换言之,变换部103在输入影像信号111中包含的连续的2幅画面之间,插入1幅或者2幅新的画面。
更为具体而言,变换部103使用输入影像信号111中包含的第1画面120A,生成变换影像信号114中包含的2幅画面121A及122A。这里,画面121A是画面120A中包含的行之中,只复制了奇数行的画面(顶场)。另外,画面122A是画面120A中包含的行之中,只复制了偶数行的画面(底场)。
另外,变换部103使用输入影像信号111中包含的第2画面120B,生成变换影像信号114中包含的3幅画面121B、122B及123B。这里,画面121B及123B是画面120B中包含的行之中,只复制了奇数行的画面(顶场)。另外,画面122B是画面120B中包含的行之中,只复制了偶数行的画面(底场)。
偏移值补充部104使用由提取部101所提取的偏移值145(输入影像信号111中包含的偏移值),补充变换影像信号114中包含的各画面的偏移值145。
图10是表示偏移值补充部104处理的附图。
首先,偏移值补充部104使从1幅原画面所生成的2幅或者3幅画面之中起始的画面121A、121B及121C(下面记为“起始画面”)的偏移值145,成为和对应的原画面120A、120B及120C的偏移值145相同的值。
接下来,偏移值补充部104使用对于该补充画面在时间上位于紧前面的起始画面(下面记为“紧前面起始画面”)的偏移值145和对于该补充画面在时间上位于紧后面的起始画面(下面记为“紧后面起始画面”)的偏移值145,计算从1幅原画面所生成的2幅或者3幅画面之中起始画面以外的画面122A、122B及123B(下面记为“补充画面”)的偏移值145。换言之,偏移值补充部104使用该补充画面的原画面的偏移值145和输入影像信号111的该原画面的下一画面的偏移值145,计算补充画面的偏移值145。
具体而言,偏移值补充部104计算补充画面的偏移值145,以便补充画面的偏移值145对于紧前面起始画面的偏移值145和紧后面起始画面的偏移值145,按等间隔且流畅地进行变化。
更为具体而言,偏移值补充部104使用下述(式1),计算从紧前面起始画面开始位于第i(1≤i≤n)个的补充画面的偏移值O(i)。还有,n是紧前面起始画面和紧后面起始画面之间所插入的补充画面的个数。另外,M1是紧前面起始画面的偏移值145和紧后面起始画面的偏移值145之中较小的偏移值145,M2是紧前面起始画面的偏移值145和紧后面起始画面的偏移值145之中较大的偏移值145。
O(i)=M1+(M2-M1)×i/(n+1)    …(式1)
例如,对于图10所示的补充画面122A来说,紧前面起始画面121A的偏移值145是“6”,紧后面起始画面121B的偏移值145是“10”,为n=1及i=1。因而,根据上述(式1),补充画面122A的偏移值145变为“8”。
另外,偏移值补充部104将在变换影像信号114中加上所生成的偏移值145后的补充影像信号115,输出给偏移控制部105。
还有,补充画面、紧前面起始画面及紧后面起始画面分别相当于本发明的第1画面、第2画面及第3画面。
偏移控制部105按由通过偏移值补充部104所生成的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号116。换言之,偏移控制部105按与通过偏移值补充部104所生成的偏移值145相当的距离,使字幕或者菜单画面的三维显示中深度方向的位置位移。据此,偏移控制部105进行调整,以便字幕或者菜单画面的三维显示中深度方向的显示位置从主影像的显示位置往近前侧。
图11是表示偏移控制部105处理的附图。
如图11所示,偏移控制部105使补充影像信号115中包含的字幕图像沿水平方向按偏移值145进行位移。
这里,在图11中,表示出字幕图像原来的深度方向的显示位置为显示面板26上的情形。换言之,表示出在补充影像信号115中,按左眼用及右眼用只包含一个字幕图像(或者相同的字幕图像)的例子。
还有,在补充影像信号115(输入影像信号111)中,也可以包含左眼用字幕图像和右眼用字幕图像。换言之,字幕图像原来的显示位置也可以是显示面板26上以外。这种情况下,如图12所示,偏移控制部105使补充影像信号115中包含的左眼用字幕图像及右眼用字幕图像分别沿水平方向按偏移值145的量进行位移。
另外,由偏移值145中包含的偏移方向146所示的信息既可以表示将图像位移的方向,也可以表示三维显示中的深度方向(进深方向或者近前方向)。也就是说,后者的情况下,偏移控制部105只要判定处理对象的图像是左眼用还是右眼用,按照判定结果,决定将图像位移的方向就可以。例如,偏移控制部105按照处理对象的图像是左眼用还是右眼用,沿相互相反的方向(左方向及右方向)使该图像位移。
合成部106生成在变换影像信号114中包含的主影像上,重叠显示了调整影像信号116中包含的字幕后的输出影像信号117。
下面,说明由三维影像处理装置100做出的处理流程。
图13是表示由三维影像处理装置100做出的处理流程的流程图。三维影像处理装置100按GOP单位执行图13所示的处理。
首先,提取部101提取输入影像信号111中包含的该GOP的偏移信息112(S101)。
另一方面,变换部103通过对解码了输入影像信号111中包含的影像数据后的结果进行3:2下拉处理,来生成变换影像信号114(S102)。
接下来,偏移值补充部104使用由提取部101所提取的偏移值145,计算新的偏移值145(S103)。
接下来,偏移值补充部104补充计算出的偏移值145,来作为变换影像信号114中包含的各画面的偏移值145(S104)。
接下来,偏移控制部105按由通过偏移值补充部104所生成的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号116(S105)。
接下来,合成部106生成在变换影像信号114中包含的主影像上,重叠显示了调整影像信号116中包含的字幕后的输出影像信号117(S106)。
根据上面,本发明实施方式1所涉及的三维影像处理装置100使用前后画面的偏移值145,来计算通过3:2下拉处理所生成的各画面的偏移值145,以此就可以使字幕深度方向的显示位置连续且流畅地产生变化。据此,本发明实施方式1所涉及的三维影像处理装置100对于用户,可以生成更加良好的三维影像。
还有,在上面的说明中,也可以将本发明实施方式1所涉及的三维影像处理装置适用为下述三维影像处理装置100B,该三维影像处理装置100B说明了适用成数字视频录像机30具备的三维影像处理装置100的例子,并且是数字电视机20具备的。
另外,在上面的说明中,虽然三维影像处理装置100具备合成部106,但是也可以不具备合成部106,而输出调整影像信号116来作为输出影像信号117。这种情况下,只要后面的处理装置(例如数字电视机20)具备合成部106就可以。
另外,在上面的说明中,虽然提取部101提取了输入影像信号111中包含的偏移信息112,但是也可以由变换部103生成包括输入影像信号111中包含的偏移信息112在内的变换影像信号114,提取部101提取变换影像信号114中包含的偏移信息112。
另外,在上面的说明中,虽然说明了在每个GOP中包含偏移信息112(偏移值145)的例子,但是偏移信息112(偏移值145)也可以按其他的每个单位包含。例如,偏移信息112(偏移值145)也可以包含于每幅画面中。
另外,图7所示的偏移信息112的结构是一例,偏移信息112只要包含多个偏移值145和能够识别各偏移值145与帧之间的对应关系的信息,就可以。例如,偏移信息112也可以只包含偏移值的个数143及帧个数144之中的一个。另外,偏移信息112也可以取代帧速率141及起始的PTS142,而包含各偏移值145的PTS。
另外,在上面的说明中,虽然说明了变换部103将24p的影像信号变换为60i的例子,但只要是使帧速率增加的变换处理就可以。例如,变换部103既可以将24p的影像信号变换为60p,也可以变换为其他帧速率的信号。另外,由变换部103插入的画面不限于复制了原画面的一部分或者全部的画面,也可以是利用在时间上位于前后的画面所生成的画面。
另外,在上面的说明中,虽然说明了偏移值补充部104使用上述(式1)来计算补充画面的偏移值145的例子,但是补充画面的偏移值145的计算方法也可以是其他方法。具体而言,偏移值补充部104只要使用由提取部101所提取的偏移值145,将与补充画面对应的偏移值补充为下述两个偏移值145之中较小的第1偏移值以上且较大的第2偏移值以下,就可以,上述两个偏移值一是与紧前面起始画面相对应的偏移值145,二是与紧后面起始画面相对应的偏移值145。
例如,偏移值补充部104也可以使补充画面的偏移值145成为紧前面起始画面的偏移值(例如“6”)和紧后面起始画面的偏移值(例如“10”)之间的值(例如“7~9”)。
另外,偏移值补充部104也可以使补充画面的偏移值145成为紧前面起始画面的偏移值(例如“6”)或者紧后面起始画面的偏移值(例如“10”)。
还有,在插入2幅补充画面112B及123B的情况下,优选的是,决定补充画面122B及补充画面123B的偏移值145,以使紧前面起始画面121B、补充画面122B、补充画面123B及紧后面起始画面121C的偏移值145单调增加或者单调减少。据此,三维影像处理装置100可以使字幕深度方向的显示位置连续且流畅地产生变化。
还有,更为优选的是,如上所述,偏移值补充部104使用上述(式1)来计算补充画面的偏移值145。据此,可以更加流畅地使字幕深度方向的显示位置产生变化。
另外,在上面的说明中,虽然表示出偏移值145表示字幕或者菜单画面的位移量的例子,但是偏移值145只要能表示画面至少一部分的位移量就可以。例如,偏移值145也可以表示将副影像重叠显示于主影像上时副影像或者主影像的位移量。
再者,偏移值145也可以表示只显示主影像时该主影像的位移量。
另外,偏移值145也可以对应于三维影像中包含的目标(被拍摄体)的每个,进行设置。或者,在三维影像信号中含有按该三维影像信号中包含的每个目标表示该目标的深度方向位置的信息的情况下,偏移控制部105也可以使用该信息和偏移值145,按每个目标决定位移量。或者,偏移控制部105也可以在从三维影像的左眼用影像及右眼用影像,计算出各目标的视差(深度方向的位置)之后,使用该视差和偏移值145,按每个目标决定位移量。
(实施方式2)
在上述实施方式1中,说明了补充新制作出的画面的偏移值145的例子。本发明实施方式2所涉及的三维影像处理装置200使用前后画面的偏移值145,来补充发生了错误的画面的偏移值145。
还有,本发明实施方式2所涉及的三维影像处理装置200和上述实施方式1相同,可以适用于图1所示的三维影像显示系统10。
图14是表示本发明实施方式2所涉及的三维影像处理装置200结构的框图。还有,对和图5相同的要件附上相同的符号,重复的说明予以省略。
图14所示的三维影像处理装置200生成表示三维影像的输出影像信号217,该三维影像在输入影像信号111中包含的主影像上重叠显示了字幕或者菜单画面。该三维影像处理装置200具备提取部101、偏移值补充部204、偏移控制部105、合成部106和错误判定部207。
提取部101提取输入影像信号111中包含的偏移信息112。
错误判定部207判定偏移信息112是否合适。具体而言,错误判定部207判定偏移值145是否是合适的值。另外,错误判定部207输出表示该判定结果的错误判定信号218。
偏移值补充部204在由错误判定信号218表示偏移值145不合适的情况下,使用由提取部101所提取的偏移值145(输入影像信号111中包含的偏移值),补充输入影像信号111中包含的该画面的偏移值145。
图15是表示偏移值补充部204处理的附图。
例如图15所示,在帧4的偏移值145不合适的情况下,偏移值补充部204补充该帧4的偏移值145。还有,在下面,将偏移值145不合适的画面记为错误画面,将偏移值145合适的画面记为正常画面。
具体而言,偏移值补充部204使用对于错误画面在时间上位于紧前面的正常画面(下面记为“紧前面正常画面”)的偏移值145和对于该帧4在时间上位于紧后面的正常画面(下面记为“紧后面正常画面”)的偏移值145,计算该错误画面的偏移值145。
更为具体而言,偏移值补充部204计算错误画面的偏移值145,以便错误画面的偏移值145对于紧前面正常画面的偏移值145和紧后面正常画面的偏移值,按等间隔且流畅地进行变化。
更为具体而言,偏移值补充部204使用上述(式1),计算从紧前面正常画面开始位于第i(1≤i≤n)个的错误画面的偏移值O(i)。还有,n是紧前面正常画面和紧后面正常画面之间所插入的错误画面的个数。另外,M1是紧前面正常画面的偏移值145和紧后面正常画面的偏移值145之中较小的偏移值145,M2是紧前面正常画面的偏移值145和紧后面正常画面的偏移值145之中较大的偏移值145。
例如,在图15所示的例子中,紧前面正常画面的偏移值145是“2”,紧后面正常画面的偏移值145是“4”,为n=1及i=1。因而,根据上述(式1),错误画面122A的偏移值145成为“3”。
另外,偏移值补充部204将补充了输入影像信号111的错误画面的偏移值145后的补充影像信号215,输出给偏移控制部105。
还有,错误画面、紧前面正常画面及紧后面正常画面分别相当于本发明的第1画面、第2画面及第3画面。
偏移控制部105按由补充影像信号215中包含的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号216。换言之,偏移控制部105按与通过偏移值补充部204所生成的偏移值145相当的距离,使字幕或者菜单画面的三维显示中深度方向的位置位移。
合成部106生成在输入影像信号111中包含的主影像上,重叠显示了调整影像信号216中包含的字幕后的输出影像信号217。
下面,说明由三维影像处理装置200做出的处理流程。
图16是表示由三维影像处理装置200做出的处理流程的流程图。三维影像处理装置200按GOP单位执行图16所示的处理。
首先,提取部101提取输入影像信号111中包含的GOP单位的偏移信息112(S201)。
接下来,错误判定部207判定偏移值145是否是合适的值(S202)。
图17是表示由错误判定部207做出的错误判定处理(S202)流程的流程图。错误判定部207按帧(画面)单位执行图17所示的处理。
首先,错误判定部207计算处理对象帧的偏移值145和对于该处理对象帧在紧前面的帧的偏移值145之间的差分(S211)。
接下来,错误判定部207判定在步骤S211中计算出的差分是否是预先确定的第1阈值以上(S212)。
在步骤S211中计算出的差分是第1阈值以上时(S212中的是),错误判定部207判定为处理对象帧的偏移值145不合适(S216)。
另一方面,在步骤S211中计算出的差分小于第1阈值时(S211中的否),接下来,错误判定部207计算处理对象帧的偏移值145和对于该处理对象帧在紧后面的帧的偏移值145之间的差分(S213)。
接下来,错误判定部207判定在步骤S213中计算出的差分是否是预先确定的第2阈值以上(S214)。还有,该第2阈值既可以是和上述第1阈值相同的值,也可以是不同的值。
在步骤S213中计算出的差分是第2阈值以上时(S214中的是),错误判定部207判定处理对象帧的偏移值145为不合适(S216)。
另一方面,在步骤S213中计算出的差分小于第2阈值时(S214中的否),错误判定部207判定处理对象帧的偏移值145为合适(S215)。
还有,这里错误判定部207虽然一起实施了处理对象帧和紧前面的帧之间的偏移值145的差分是否为阈值以上的判定(S211及S212)以及处理对象帧和紧后面的帧之间的偏移值145的差分是否为阈值以上的判定(S213及S214),但是也可以只实施某一个。另外,该2个处理的顺序既可以相反,也可以同时实施一部分。
再次,使用图16进行说明。
在步骤S202中,判定为偏移值145不是合适的值时(S202中的是),接下来,偏移值补充部204使用由提取部101所提取的偏移值145,计算新的偏移值145(S203)。
接下来,偏移值补充部204补充计算出的偏移值145,来作为错误画面的偏移值145(S204)。
接下来,偏移控制部105按由通过偏移值补充部204所生成的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号216(S205)。
接下来,合成部106生成在输入影像信号111中包含的主影像上,重叠显示了调整影像信号216中包含的字幕后的输出影像信号217(S206)。
另一方面,在步骤S202中,判定为偏移值145是合适的值时(S202中的否),接下来,偏移控制部105按由输入影像信号111中包含的偏移值145所示的值,使字幕或者菜单画面位移,以此生成调整影像信号216(S205)。
接下来,合成部106生成在输入影像信号111中包含的主影像上,重叠显示了调整影像信号216中包含的字幕后的输出影像信号217(S206)。
根据上面,本发明实施方式2所涉及的三维影像处理装置200通过使用前后画面的偏移值145,来计算错误画面的偏移值145,就可以使字幕深度方向的显示位置连续且流畅地产生变化。据此,本发明实施方式2所涉及的三维影像处理装置200对于用户,可以生成更加良好的三维影像。
还有,错误判定部207也可以取代图17所示的处理,执行下面所示的处理。
图18是由错误判定部207做出的错误判定处理变形例的流程图。
如图18所示,错误判定部207首先计算处理对象帧和对于该处理对象帧位于紧前面的帧之间的偏移值145的差分Dn(S221)。
接下来,错误判定部207保持在步骤S221中计算出的差分Dn(S222)。
接下来,错误判定部207计算此次的差分Dn和上次的差分Dn-1(2幅前的帧和紧前面的帧之间的偏移值145的差分)之间的差分(S223)。
接下来,错误判定部207判定在步骤S223中计算出的差分是否为预先确定的第3阈值以上(S224)。
在步骤S224中计算出的差分为第3阈值以上时(S224中的是),错误判定部207判定处理对象帧的偏移值145为不合适(S226)。
另一方面,在步骤S224中计算出的差分小于第3阈值时(S224中的否),错误判定部207判定处理对象帧的偏移值145为合适(S225)
通过上面的处理,错误判定部207在从紧前面画面向处理对象画面的偏移值145的变化量相对于最近的偏移值145的变化量,急剧增加时,可以判定该处理对象画面的偏移值145为不合适。
还有,错误判定部207也可以在步骤S223中,计算在步骤S222中所保持的2次量以上的差分的平均值、最大值或者最小值和此次在步骤S221中计算出的差分Dn之间的差分。
另外,错误判定部207也可以对于处理对象帧和紧后面帧之间的偏移值145的差分,进行同样的处理。
再者,错误判定部207也可以取代图17或图18所示的处理,执行下面所示的处理。
图19是由错误判定部207做出的错误判定处理变形例的流程图。另外,错误判定部207按GOP单位执行图19所示的处理。
首先,错误判定部207计算GOP内偏移值145的平均值An(S231)。
接下来,错误判定部207保持在步骤S231中计算出的平均值An(S232)。
接下来,错误判定部207计算处理对象GOP的平均值An和紧前面GOP的平均值An-1之间的差分(S233)。
接下来,错误判定部207判定在步骤S233中计算出的差分是否为预先确定的第4阈值以上(S234)。
在步骤S234中计算出的差分为第4阈值以上时(S234中的是),错误判定部207判定为处理对象GOP的偏移值145不合适(S236)。
另一方面,在步骤S234中计算出的差分小于第4阈值时(S234中的否),错误判定部207判定为处理对象GOP的偏移值145合适(S235)。
通过上面的处理,错误判定部207就可以按GOP单位判定偏移值145是否合适。
还有,错误判定部207也可以不使用GOP中包含的偏移值145的平均值,而使用最大值或者最小值。另外,错误判定部207也可以比较紧前面GOP最后的帧的偏移值145和处理对象GOP最开始的帧的偏移值145。
还有,在错误判定部207中,按GOP单位判定出偏移值145的错误时,偏移值补充部204只要能够使用紧前面的正常GOP最后的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145,和上面相同进行补充,就可以。
另外,错误判定部207也可以实施上述图17~图19所示的错误判定处理及其变形例之中的2个以上。
另外,也可以将和上述实施方式1相同的变形例适用于三维影像处理装置200中。
另外,三维影像处理装置200还可以判定偏移信息112中包含的起始PTS142是否合适,在不合适时,补充起始的PTS142。
图20是表示起始的PTS142为正常时帧的PTS和偏移值145的PTS之间关系的附图。图21是表示起始的PTS142不合适时帧的PTS和偏移值145的PTS之间关系的附图。还有,表示各帧PTS的信息(相当于本发明的第1时间戳信息)包含在输入影像信号111中。另外,起始的PTS142相当于本发明的第2时间戳信息。
这里,偏移控制部105使用起始的PTS142和帧速率141,计算各偏移值145的PTS。另外,偏移控制部105判断出具有同一PTS的帧和偏移值145相互对应。换言之,偏移控制部105通过按具有和各帧的PTS相同的PTS的偏移值145,使该帧位移,来调整该帧深度方向的显示位置。
因而,如图21所示,在起始的PTS142的值不合适时,不存在与GOP中包含的帧对应的偏移值145。
图22是表示此时错误判定部207及偏移值补充部204的处理流程的流程图。
如图22所示,错误判定部207判定和处理对象帧的PTS相同的PTS的偏移值145是否存在于偏移信息112内(S251)。
在步骤S251中不存在偏移值145时(S251中的是),由于在起始PTS142的值中发生了错误,因而偏移值补充部204忽视偏移值145的PTS,给对应的帧分配偏移值145(S252)。
具体而言,偏移值补充部204按GOP中包含的帧顺序,按序号分配从图7所示的ID0的偏移值145到由帧个数144所示的个数的ID为止的偏移值145。换言之,偏移值补充部204从GOP中包含的帧之中,PTS较小的帧开始按顺序,使PTS小的偏移值145依次相对应。另外,偏移控制部105通过按相对应的偏移值145使各帧位移,来调整该画面深度方向的显示位置。
另外,作为步骤S252的处理,既可以在偏移值补充部204将偏移信息112中包含的起始PTS142补充为正确的值之后,由偏移控制部105使用补充后的起始PTS142,执行偏移控制处理,也可以在发生了错误时,由偏移控制部105在进行了上述帧和偏移值145之间的相对应之后,执行偏移控制处理。
还有,在帧速率141不合适时,起始的帧以外也成为不存在PTS一致的偏移值145的状态。这种情况下,三维影像处理装置200也可以执行和上面相同的处理。
另外,错误判定部207在步骤S251中不存在偏移值145时(S251中的是),也可以判定出在该GOP中发生了错误。这种情况下,偏移值补充部204只要使用紧前面的正常GOP最后的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145,和上面相同进行补充,就可以。也就是说,偏移值补充部204只要使用由提取部101所提取的偏移值145,将发生了错误的GOP中包含的偏移值145,补充为紧前面的正常GOP最后的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145之中较小的第1偏移值以上且较大的第2偏移值以下,就可以。
另外,偏移值补充部204在起始的PTS142中发生了错误时,也可以使该GOP内的偏移值145成为预先确定的值(例如0)。
另外,偏移值补充部204在起始的PTS142中发生了错误时,也可以参照该GOP以外的GOP的偏移信息112,检索PTS和处理对象的帧一致的偏移值145。
根据上面,本发明实施方式2所涉及的三维影像处理装置200即便在在偏移信息112中包含的起始PTS142或者帧速率141中发生了错误时,也可以将适合的三维影像提供给用户。
另外,三维影像处理装置200还可以判定偏移信息112中包含的帧个数144是否合适,在不合适时,补充该帧个数144。
图23是表示帧个数144不合适时的帧和偏移值145之间关系的附图。另外,在图23所示的例子中,正确的帧个数144的值是“15”。
如图23所示,在因错误而帧个数144的值变为“13”时,不存在与帧“14”及“15”对应的偏移值145。
图24是表示此时错误判定部207及偏移值补充部204的处理流程的流程图。
首先,错误判定部207通过判定由帧个数144所示的帧的个数是否比实际GOP内包含的帧的个数少,来判定帧个数144是否合适(S261)。
在由帧个数144所示的帧的个数比实际GOP内包含的帧的个数少时(S261中的是),也就是在帧个数144不合适时,偏移值补充部204补充不存在对应的偏移值145的帧的偏移值145。具体而言,如图25所示,偏移值补充部204使不存在对应的偏移值145的帧“14”及“15”的偏移值145的值,成为存在偏移值145的最后的帧“13”的偏移值145的值“20”(S262)。
还有,偏移值补充部204也可以使用前后帧的偏移值145,计算要补充的偏移值145。
图26是表示此时错误判定部207及偏移值补充部204的处理流程的流程图。
首先,错误判定部207通过判定由帧个数144所示的帧的个数是否比实际在GOP内包含的帧的个数少,来判定帧个数144是否合适(S271)。
在由帧个数144所示的帧的个数比实际GOP内包含的帧的个数少时(S271中的是),也就是在帧个数144不合适时,偏移值补充部204补充不存在对应的偏移值145的帧的偏移值145。具体而言,如图27所示,偏移值补充部204使用存在偏移值145的最后的帧“13”的偏移值145的值和下一GOP的最开始的帧的偏移值145,补充不存在对应的偏移值145的帧“14”及“15”的偏移值145的值(S272)。
还有,具体的补充方法和上述在偏移值145中发生了错误的情形相同。也就是说,偏移值补充部204只要使用由提取部101所提取的偏移值145,将发生了错误的GOP中包含的画面之中,从由帧个数144所示的第几个开始位于后面的全部帧的偏移值145,补充为该GOP中包含的由该帧个数144所示的第几个的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145之中较小的第1偏移值以上,且较大的第2偏移值以下,就可以。
还有,偏移值补充部204也可以将不存在偏移值145的帧的偏移值145,补充为预先确定的值(例如0)。
另外,帧个数144相当于本发明的个数信息。
根据上面,本发明实施方式2所涉及的三维影像处理装置200即便在偏移信息112中包含的帧个数144及偏移值的个数143中发生了错误时,也可以将适合的三维影像提供给用户。
(实施方式3)
在本发明的实施方式3中,将说明按照用户的操作来变更偏移值145的三维影像处理装置300。
还有,本发明实施方式3所涉及的三维影像处理装置300和上述实施方式1相同,可以适用于图1所示的三维影像显示系统10中。
图28是表示本发明实施方式3所涉及的三维影像处理装置300结构的框图。
图28所示的三维影像处理装置300生成表示下述三维影像的输出影像信号317,该三维影像在输入影像信号111中包含的主影像上重叠显示了字幕或者菜单画面。该三维影像处理装置300具备提取部101、偏移值补充部304、偏移控制部105、合成部106和用户操作取得部308。
提取部101提取输入影像信号111中包含的偏移信息112。
用户操作取得部308取得用户操作信号319,输出至偏移值补充部304。用户操作信号319是表示根据用户的操作,使三维影像深度方向的显示位置从当前的显示位置位移的方向及位移的量的信号。例如,所谓用户的操作指的是,由用户做出的遥控器等的操作。
还有,在后面为了说明的简单,设为偏移信息112中包含的偏移值145是表示主影像及字幕的位移量(深度方向的显示位置)的信息。
偏移值补充部304按照由用户操作取得部308输出的用户操作信号319,补充由提取部101所提取的偏移值145(输入影像信号111中包含的偏移值)。另外,偏移值补充部304相当于本发明的偏移值生成部。
图29是表示偏移值补充部304处理的附图。
例如图29所示,偏移值补充部304通过变更偏移值145,以使主影像及字幕深度方向的显示范围位移,来生成补充影像信号315。
图30是表示由三维影像处理装置300做出的处理流程的流程图。三维影像处理装置300例如按GOP单位执行图30所示的处理。
首先,用户操作取得部308取得用户操作信号319(S301)。
接下来,偏移值补充部304按照用户操作信号319,补充由提取部101所提取的偏移值145。
具体而言,在用户感觉到三维影像的突出量过大,进行了使该突出量减少的操作时,由用户操作信号319表示,使三维影像深度方向的显示位置从当前的显示位置向进深方向位移的情况(S302中的是)。这种情况下,偏移值补充部304通过使由提取部101所提取的偏移值145减少,生成补充影像信号315(S303)。
另一方面,在用户感觉到三维影像的突出量小,进行了使该突出量增加的操作时,由用户操作信号319表示,使三维影像深度方向的显示位置从当前的显示位置向近前方向位移的情况(S302中的否)。这种情况下,偏移值补充部304通过使由提取部101所提取的偏移值145增加,生成补充影像信号315(S304)。
接下来,偏移控制部105按由在步骤S303或者S304中通过偏移值补充部304所生成的偏移值145所示的值,使主影像及字幕位移,以此生成调整影像信号316(S305)。
接下来,合成部106生成重叠显示了调整影像信号316中包含的主影像及字幕后的输出影像信号217(S306)。
还有,三维影像处理装置300也可以在先进行合成(S306)之后,实施偏移控制(S305)。
根据上面,本发明实施方式3所涉及的三维影像处理装置300可以按照用户的操作,变更三维影像的突出量。据此,本发明实施方式3所涉及的三维影像处理装置300对于用户,可以生成更加良好的三维影像。
还有,在图29所示的例子中,虽然补充前及补充后的显示范围宽度大致相等,但是补充前和补充后的显示范围宽度也可以不同。另外,如图31所示,偏移值补充部304也可以补充偏移值145,以便只有显示范围的近前侧进行位移。
另外,作为变更(增加或减少)显示范围宽度的方法,可以通过使显示于近前的影像(字幕等)显示位置的位移量和显示于里面的影像(主影像等)显示位置的位移量成为不同的值,来变更显示范围的宽度。例如图32所示,可以通过使显示于近前的字幕等显示位置的位移量,比显示于里面的主影像显示位置的位移量大,来减小包含主影像及字幕在内的整体显示范围的宽度。
另外,在三维影像信号中,含有按该三维影像信号中包含的每个目标表示该目标深度方向位置的信息时,三维影像处理装置300可以通过使用该信息,按每个目标决定位移量,来变更显示范围的宽度。
另外,三维影像处理装置300也可以在从三维影像的左眼用影像及右眼用影像,计算出各目标的视差(深度方向的位置)之后,通过使用该视差,按每个目标决定位移量,来变更显示范围的宽度。
还有,三维影像的显示范围是按照显示面板26的大小及用户的视听位置进行变化的,并不是只由影像信号唯一决定。也就是说,图29、图31及图32所示的显示范围用来模式表示三维影像中包含的左眼用影像和右眼用影像之间的位移量(视差)。另外,显示范围里侧的边界也可以定义为无限远。
另外,在上面的说明中,说明了由三维影像处理装置300补充输入影像信号111中包含的偏移值145的例子,但是不在输入影像信号111中包含偏移信息112也可以。这种情况下,偏移值补充部304只要新生成偏移信息112,就可以。
上面,说明了本发明实施方式1~3所涉及的三维影像处理装置100、200及300,但是本发明并不限定为该实施方式。
例如,在上面的说明中,虽然以使用专用眼镜(快门眼镜43)的情形为例进行了说明,但是在不使用专用眼镜的方式下也可以适用本发明。
另外,在上面的说明中,虽然说明了在三维影像中包含相互具有视差的2个影像(左眼用影像及右眼用影像)的例子,但是也可以在三维影像包含相互具有视差的3幅以上的影像。
另外,在上面的说明中,虽然说明了将本发明所涉及的三维影像处理装置100、200及300适用到数字电视机及数字视频录像机中的例子,但是本发明所涉及的三维影像处理装置100、200及300可以适用于数字电视机以外的显示三维影像的三维影像显示装置(例如移动电话设备、个人计算机等)中。另外,本发明所涉及的三维影像处理装置100、200及300可以适用于数字视频录像机以外的输出三维影像的三维影像输出装置(例如BD播放器等)。
另外,上述实施方式1~3所涉及的三维影像处理装置100、200及300典型的是作为下述LSI来实现,该LSI是一种集成电路。它们既可以分别单芯片化,也可以进行单芯片化使之包含一部分或者全部。
另外,集成电路化并不限于LSI,也可以采用专用电路或者通用处理器来实现。还可以利用下述FPGA(Field Programmable Gate Array)或者可重构·处理器,该FPGA能够在LSI制造后进行编程,该可重构·处理器能够重新构成LSI内部电路单元的连接及设定。
再者,如果因半导体技术的进步或派生的其他技术而替换为LSI的集成电路化技术出现,则当然也可以利用该技术,进行各处理部的集成化。
另外,也可以通过由CPU等的处理器执行程序,来实现本发明实施方式1~3所涉及的三维影像处理装置100、200及300的功能一部分或者全部。
再者,本发明既可以是上述程序,也可以是记录了上述程序的记录介质。另外,不言而喻,上述程序可以经由因特网等的传输介质使之流通。
另外,本发明也可以作为以三维影像处理装置中包含的特征性机构为步骤的三维影像处理方法来实现。另外,本发明可以作为上述具备三维影像处理装置的数字电视机等的三维影像显示装置来实现,或者作为包含这种三维影像显示装置的三维影像显示系统来实现。
另外,也可以组合上述实施方式1~3所涉及的三维影像处理装置100、200、300及其变形例的功能之中的至少一部分。
另外,上面所使用的数字全都是为了具体说明本发明所示例的,本发明不限制为所示例的数字。
另外,上述三维影像处理装置100、200及300的结构是为了具体说明本发明所示例的,本发明所涉及的三维影像处理装置不需要一定具备上述结构的全部。换言之,本发明所涉及的三维影像处理装置可以仅仅具备能实现本发明效果的最小限度的结构。
同样,利用上述三维影像处理装置的三维影像处理方法是为了具体说明本发明所示例的,利用本发明所涉及的三维影像处理装置的三维影像处理方法不需要一定包含上述步骤的全部。换言之,本发明所涉及的三维影像处理方法可以仅仅包含能实现本发明效果的最小限度的步骤。另外,执行上述步骤的顺序是为了具体说明本发明所示例的,也可以是上面以外的顺序。另外,上述步骤的一部分也可以和其他的步骤同时(并行)执行。
再者,在不脱离本发明宗旨的范围内,对于本实施方式实施了从业人员联想到的范围内的变更后的各种变形例也包含于本发明中。
产业上的可利用性
本发明可以适用于三维影像处理装置中,特别是可以适用于数字电视机及数字视频录像机等中。
符号说明
10    三维影像显示系统
20    数字电视机
21、31    输入部
22、32    解码器
23、33    HDMI通信部
26    显示面板
27    发射器
30    数字视频录像机
40    HDMI电缆
41    光盘
42    广播波
43    快门眼镜
51、55    编码三维影像信号
56、57、111    输入影像信号
58、117、217、317    输出影像信号
100、100B、200、300    三维影像处理装置
101    提取部
103    变换部
104、204、304    偏移值补充部
105    偏移控制部
106    合成部
112    偏移信息
114    变换影像信号
115、215、315    补充影像信号
116、216、316    调整影像信号
120A、120B、120C、121A、121B、121C、122A、122B、123B    画面
130    GOP数据
131    GOP头部
132    GOP数据部
135    画面数据
136    画面头部
137    画面数据部
141    帧速率
142    起始的PTS
143    偏移值的个数
144    帧个数
145    偏移值
146    偏移方向
147    偏移值的绝对值
170l   左眼用图像
170r   右眼用图像
175l   左眼用行
175r   右眼用行
207    错误判定部
218    错误判定信号
308    用户操作取得部
319    用户操作信号

Claims (15)

1.一种三维影像处理装置,对包括表示三维影像的影像数据和该影像数据的控制信息在内的影像信号进行处理,其特征为,
具备:
提取部,从上述控制信息提取偏移值,该偏移值与上述影像数据中包含的画面相对应,是为了调整该画面至少一部分的深度方向的显示位置而使该一部分进行位移的量;
偏移值补充部,使用由上述提取部所提取的偏移值,将与第1画面对应的偏移值补充为:大于等于在与从该第1画面开始在时间上位于前面的第2画面相对应的偏移值和与从该第1画面开始在时间上位于后面的第3画面相对应的偏移值之中较小的第1偏移值、且小于等于较大的第2偏移值;以及
偏移控制部,通过按由上述偏移值补充部补充后的偏移值,使上述第1画面的至少一部分位移,来调整该一部分深度方向的显示位置。
2.如权利要求1所述的三维影像处理装置,其特征为,
上述第2画面和上述第3画面是在上述影像数据中连续的画面,
上述三维影像处理装置,还具备
变换部,通过在上述影像数据中包含的上述第2画面和上述第3画面之间插入新的n幅上述第1画面,来生成变换影像数据,其中n为1以上的整数。
3.如权利要求1所述的三维影像处理装置,其特征为,
上述偏移值补充部补充与上述第1画面对应的偏移值,以使按上述第2画面、上述第1画面及上述第3画面的顺序,对应的偏移值单调增加或者单调减少。
4.如权利要求3所述的三维影像处理装置,其特征为,
在将上述第1偏移值设为M1,将上述第2偏移值设为M2时,上述偏移值补充部把从上述第2画面开始位于第i个的第1画面的偏移值,补充为M1+(M2-M1)×i/(n+1),其中1≤i≤n。
5.如权利要求1所述的三维影像处理装置,其特征为,
上述三维影像处理装置,还具备
错误判定部,判定与上述影像数据中包含的各画面相对应的上述偏移值是否合适;
上述第1画面是由上述错误判定部判定为不合适的画面,
上述第2画面是由上述错误判定部判定为合适的画面之中,位于上述第1画面紧前面的画面,
上述第3画面是由上述错误判定部判定为合适的画面之中,位于上述第1画面紧后面的画面。
6.如权利要求5所述的三维影像处理装置,其特征为,
上述错误判定部在处理对象画面的偏移值和该处理对象画面紧前面的画面的偏移值之间的差分以及该处理对象画面的偏移值和该处理对象画面紧后面的画面的偏移值之间的差分之中的至少一个为规定的阈值以上时,判定该处理对象画面的偏移值为不合适。
7.如权利要求5所述的三维影像处理装置,其特征为,
上述控制信息包含表示各画面第1显示时刻的第1时间戳信息和与多个画面单位的每个相对应的偏移信息,
上述偏移信息包含与对应的多幅画面分别相对应的多个上述偏移值和表示该各偏移值对应的第2显示时刻的第2时间戳信息,
上述偏移控制部通过按与上述各画面的第1显示时刻相同的第2显示时刻所对应的上述偏移值,将该画面的至少一部分进行位移,来调整该一部分的深度方向的显示位置,
上述错误判定部还在与各多个画面单位中包含的多幅画面的上述第1显示时刻相同的第2显示时刻所对应的上述偏移值不包含于上述偏移信息中时,判定该多个画面单位的第2时间戳信息为不合适,
上述偏移控制部通过从由上述错误判定部判定为第2时间戳信息不合适的多个画面单位中包含的画面之中,由上述第1时间戳所示的显示时刻小的画面按顺序,使由上述第2时间戳所示的显示时刻小的偏移值依次相对应,按相对应的上述偏移值将上述各画面的至少一部分进行位移,来调整该画面的深度方向的显示位置。
8.如权利要求5所述的三维影像处理装置,其特征为,
上述控制信息包含表示各画面的显示时刻的第1时间戳信息和与多个画面单位的每个相对应的偏移信息,
上述偏移信息包含对应的多幅画面的上述偏移值和表示该各偏移值对应的上述显示时刻的第2时间戳信息,
上述偏移控制部通过按和表示上述各画面的第1时间戳信息所示的显示时刻的第2时间戳相对应的上述偏移值,将该画面的至少一部分进行位移,来调整该一部分的深度方向的显示位置,
上述错误判定部还在和各多个画面单位中包含的多幅画面的上述第1显示时刻相同的第2显示时刻所对应的上述偏移值不包含于上述偏移信息中时,判定该多个画面单位的第2时间戳信息为不合适,
上述偏移值补充部将由上述错误判定部判定为第2时间戳信息为不合适的多个画面单位的偏移信息中包含的上述偏移值补充为预先确定的值。
9.如权利要求1所述的三维影像处理装置,其特征为,
上述控制信息包含表示各画面的显示时刻的第1时间戳信息和与多个画面单位的每个影像数据相对应的偏移信息,
上述偏移信息包含对应的多幅画面的上述偏移值和表示该偏移值对应的上述显示时刻的第2时间戳信息,
上述偏移控制部通过按和表示上述各画面的第1时间戳信息所示的显示时刻的第2时间戳相对应的上述偏移值,将该画面的至少一部分进行位移,来调整该一部分的深度方向的显示位置,
上述三维影像处理装置,还具备
错误判定部,在和各多个画面单位中包含的多幅画面的上述第1显示时刻相同的第2显示时刻所对应的上述偏移值不包含于上述偏移信息中时,判定该多个画面单位的上述第2时间戳信息为不合适,
上述第1画面是由上述错误判定部判定为第2时间戳信息为不合适的多个画面单位中包含的全部画面,
上述第2画面是由上述错误判定部判定为第2时间戳信息为不合适的位于多个画面单位的紧前面的多个画面单位中包含的最后的画面,
上述第3画面是由上述错误判定部判定为第2时间戳信息为不合适的位于多个画面单位的紧后面的多个画面单位中包含的最开始的画面。
10.如权利要求1所述的三维影像处理装置,其特征为,
上述控制信息包含与多个画面单位的每个影像数据相对应的偏移信息,
上述偏移信息包含对应的多幅画面的上述偏移值和表示该偏移信息中包含的上述偏移值个数的个数信息,
上述三维影像处理装置,还具备
错误判定部,在由上述个数信息所示的上述偏移值的个数比对应的多个画面单位中包含的画面个数少时,判定该个数信息为不合适,
上述第1画面是由上述错误判定部判定为个数信息为不合适的多个画面单位中包含的画面之中,从由该个数信息所示的第几个位于后面的全部画面,
上述第2画面是由上述错误判定部判定为个数信息为不合适的多个画面单位中包含的画面之中,由该个数信息所示的第几个的画面,
上述第3画面是由上述错误判定部判定为个数信息为不合适的位于多个画面单位的紧后面的多个画面单位中包含的最开始的画面。
11.如权利要求1所述的三维影像处理装置,其特征为,
上述影像数据包含表示第1三维影像的第1影像数据和表示第2三维影像的第2影像数据,
上述偏移控制部通过按由上述偏移值补充部补充后的偏移值,使上述第1画面中包含的上述第2三维影像的图像位移,来调整该第2三维影像的图像的深度方向的显示位置,生成调整后的调整第2影像数据,
上述三维影像处理装置,还具备
合成部,合成上述第1影像数据和上述调整第2影像数据。
12.如权利要求11所述的三维影像处理装置,其特征为,
上述第2三维影像是字幕或者菜单显示画面。
13.一种三维影像处理装置,对表示三维影像的影像数据进行处理,其特征为,
具备:
用户操作取得部,取得用户的操作;
偏移值生成部,根据上述用户的操作,生成与上述影像数据中包含的各画面对应的偏移值;以及
偏移控制部,通过按由上述偏移值生成部所生成的上述偏移值,使上述影像数据中包含的画面位移,来调整上述三维影像的深度方向的显示位置。
14.一种三维影像处理方法,对包括表示三维影像的影像数据和该影像数据的控制信息在内的影像信号进行处理,其特征为,
包含:
提取步骤,从上述控制信息提取偏移值,该偏移值与上述影像数据中包含的画面相对应,是为了调整该画面至少一部分的深度方向的显示位置而将该一部分进行位移的量;
偏移值补充步骤,使用由上述提取步骤所提取的偏移值,将与第1画面对应的偏移值补充为:大于等于在与从该第1画面开始在时间上位于前面的第2画面相对应的偏移值和与从该第1画面开始在时间上位于后面的第3画面相对应的偏移值之中较小的第1偏移值、且小于等于较大的第2偏移值;以及
偏移控制步骤,通过按由上述偏移值补充步骤补充后的偏移值,将上述第1画面的至少一部分进行位移,来调整该一部分的深度方向的显示位置。
15.一种三维影像处理方法,对表示三维影像的影像数据进行处理,其特征为,
包含:
用户操作取得步骤,取得用户的操作;
偏移值生成步骤,根据上述用户的操作,生成与上述影像数据中包含的各画面对应的偏移值;以及
偏移控制步骤,通过按由上述偏移值生成步骤所生成的上述偏移值,将上述影像数据中包含的画面进行位移,来调整上述三维影像的深度方向的显示位置。
CN201080009975.0A 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法 Expired - Fee Related CN102342121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410482507.5A CN104243957B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009231003A JP5415217B2 (ja) 2009-10-02 2009-10-02 三次元映像処理装置
JP231003/2009 2009-10-02
PCT/JP2010/004998 WO2011039927A1 (ja) 2009-10-02 2010-08-09 三次元映像処理装置及び三次元映像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410482507.5A Division CN104243957B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法

Publications (2)

Publication Number Publication Date
CN102342121A true CN102342121A (zh) 2012-02-01
CN102342121B CN102342121B (zh) 2014-10-29

Family

ID=43825782

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410482507.5A Expired - Fee Related CN104243957B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法
CN201080009975.0A Expired - Fee Related CN102342121B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410482507.5A Expired - Fee Related CN104243957B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法

Country Status (4)

Country Link
US (1) US8941718B2 (zh)
JP (1) JP5415217B2 (zh)
CN (2) CN104243957B (zh)
WO (1) WO2011039927A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096019A1 (en) * 2013-12-24 2015-07-02 Intel Corporation Techniques for stereo three dimensional video processing

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812711B (zh) * 2010-02-25 2016-11-02 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
KR101917764B1 (ko) 2011-09-08 2018-11-14 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
WO2013108633A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 送信装置、映像表示装置、送信方法、映像処理方法、映像処理プログラム及び集積回路
US10609328B2 (en) * 2013-05-13 2020-03-31 Grass Valley Limited Video processing using a one-dimensional control function to control processing time and error
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104742A (ja) * 2002-09-11 2004-04-02 Remedia:Kk 立体映像データの発生方法と装置
CN1679346A (zh) * 2002-08-29 2005-10-05 夏普株式会社 易于进行可立体视的内容的制作及编辑的装置
US20060203085A1 (en) * 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
US20090142041A1 (en) * 2007-11-29 2009-06-04 Mitsubishi Electric Corporation Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751927A (en) * 1991-03-26 1998-05-12 Wason; Thomas D. Method and apparatus for producing three dimensional displays on a two dimensional surface
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
CN1173296C (zh) * 1997-12-05 2004-10-27 动力数字深度研究有限公司 改进的图像转换和编码技术
US6924799B2 (en) * 2002-02-28 2005-08-02 Hewlett-Packard Development Company, L.P. Method, node, and network for compositing a three-dimensional stereo image from a non-stereo application
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2003284093A (ja) * 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 立体画像処理方法および装置
EP2357835A3 (en) * 2002-03-27 2012-02-22 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2005267655A (ja) * 2002-08-29 2005-09-29 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、コンテンツ再生プログラムを記録した記録媒体、および携帯通信端末
ATE504897T1 (de) * 2004-10-26 2011-04-15 Koninkl Philips Electronics Nv Disparitätskarte
EP1901236A4 (en) * 2005-07-05 2012-11-07 Sanyo Electric Co 3D IMAGE PROCESSING AND 3D PICTURE PROCESSING DEVICE AND PROGRAM AND PROGRAM MEMORY RECORDING MEDIUM
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
KR200423761Y1 (ko) * 2006-05-22 2006-08-10 주식회사 노비타 인체감지거리 자동조절기능을 갖는 비데
EP2105032A2 (en) * 2006-10-11 2009-09-30 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
JP4457316B2 (ja) * 2006-12-01 2010-04-28 富士フイルム株式会社 画像再生装置及び方法
JP5113426B2 (ja) 2007-05-29 2013-01-09 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US8358332B2 (en) * 2007-07-23 2013-01-22 Disney Enterprises, Inc. Generation of three-dimensional movies with improved depth control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1679346A (zh) * 2002-08-29 2005-10-05 夏普株式会社 易于进行可立体视的内容的制作及编辑的装置
JP2004104742A (ja) * 2002-09-11 2004-04-02 Remedia:Kk 立体映像データの発生方法と装置
US20060203085A1 (en) * 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
US20090142041A1 (en) * 2007-11-29 2009-06-04 Mitsubishi Electric Corporation Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015096019A1 (en) * 2013-12-24 2015-07-02 Intel Corporation Techniques for stereo three dimensional video processing

Also Published As

Publication number Publication date
WO2011039927A1 (ja) 2011-04-07
CN104243957B (zh) 2016-04-13
CN104243957A (zh) 2014-12-24
JP2011082631A (ja) 2011-04-21
JP5415217B2 (ja) 2014-02-12
US8941718B2 (en) 2015-01-27
CN102342121B (zh) 2014-10-29
US20110279647A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
CN103024408B (zh) 立体图像转换装置和方法、立体图像输出装置
KR101310212B1 (ko) 입체 상의 3d 객체를 상대적인 깊이로 삽입하는 방법
CN102342121B (zh) 三维影像处理装置及三维影像处理方法
CN102223550B (zh) 图像处理设备、图像处理方法
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
EP2399398B1 (en) Combining 3d image and graphical data
JP5221227B2 (ja) ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置
TWI573434B (zh) 通用的三維圖片格式
JP4875127B2 (ja) 三次元画像処理装置
CN105530504A (zh) 立体视频序列编码系统和方法
JP2005094168A (ja) ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
JP2008109267A (ja) 立体画像生成装置及び立体画像復号装置
US20130010063A1 (en) Disparity value indications
CN102668577A (zh) 影像信号处理装置以及影像信号处理方法
JP2011109294A (ja) 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム
CN102484735A (zh) 用于视频图像的变速再现的方法和设备
CN103348685A (zh) 图像处理装置和图像处理方法
CN102439553B (zh) 用于再现立体图像、提供适于3d图像信号的用户界面的设备和方法
CN104205824A (zh) 产生、传送和重构立体视频流的方法
US20110242292A1 (en) Display control unit, display control method and program
CN102550033B (zh) 显示控制装置、显示控制方法、具备显示控制装置的记录重放装置、音频输出装置、具备音频输出装置的记录重放装置
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법
WO2012165160A1 (ja) 再生装置、再生方法、およびプログラム
WO2013014710A1 (ja) 立体映像調整装置
JPWO2013108307A1 (ja) 映像処理装置および映像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151028

Address after: Kanagawa

Patentee after: Co., Ltd. Suo Si future

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141029

Termination date: 20200809