CN104243957A - 三维影像处理装置及三维影像处理方法 - Google Patents

三维影像处理装置及三维影像处理方法 Download PDF

Info

Publication number
CN104243957A
CN104243957A CN201410482507.5A CN201410482507A CN104243957A CN 104243957 A CN104243957 A CN 104243957A CN 201410482507 A CN201410482507 A CN 201410482507A CN 104243957 A CN104243957 A CN 104243957A
Authority
CN
China
Prior art keywords
picture
deviant
mentioned
unit
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410482507.5A
Other languages
English (en)
Other versions
CN104243957B (zh
Inventor
西村宪吾
池内阳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN104243957A publication Critical patent/CN104243957A/zh
Application granted granted Critical
Publication of CN104243957B publication Critical patent/CN104243957B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明所涉及的三维影像处理装置(100)具备：提取部(101)，提取偏移值(145)，该偏移值与影像数据中包含的画面相对应，是将该画面进行位移的量；偏移值补充部(104)，使用由提取部(101)所提取的偏移值(145)，将与第1画面对应的偏移值(145)补充为下述两个偏移值之中较小的第1偏移值以上且较大的第2偏移值以下，上述两个偏移值一是与从该第1画面开始在时间上位于前面的第2画面相对应的偏移值(145)，二是与从该第1画面开始在时间上位于后面的第3画面相对应的偏移值(145)；偏移控制部(105)，通过按由偏移值补充部(104)补充后的偏移值(145)，将第1画面进行位移，来调整该画面的深度方向的显示位置。

Description

三维影像处理装置及三维影像处理方法
本发明申请是本申请人于2010年8月9日提交的申请号为201080009975.0、发明名称为“三维影像处理装置及三维影像处理方法”的发明专利申请的分案申请。
技术领域
本发明涉及三维影像处理装置及三维影像处理方法，特别涉及对包括表示三维影像的影像数据和该影像数据的控制信息在内的影像信号进行处理的三维影像处理装置。
背景技术
三维影像显示装置已为众所周知，该三维影像显示装置显示作为视听者产生立体感觉的二维影像的三维影像(例如参见专利文献1)。
该三维影像显示装置通过显示相互具有视差的右眼用图像和左眼用图像，来显示视听者产生立体感觉的图像。例如，三维影像显示装置按每1帧交替显示右眼用图像和左眼用图像。另外，视听者还要使用按每1帧切换由右眼和左眼的哪一个看到的眼镜。为此，由于视听者可以只用右眼观看右眼用图像，只用左眼观看左眼用图像，因而可以把三维影像显示装置显示的图像当作三维来识别。
现有技术文献
专利文献1：日本特开2005-267655号公报
发明内容
发明解决的课题
但是，期望在这种处理三维影像的三维影像处理装置中，可以生成对于用户来讲更加良好的三维影像。
因此，本发明的目的为，提供三维影像处理装置及三维影像处理方法，对于用户可以提供更加良好的三维影像。
解决课题的手段
为了实现上述目的，本发明的一个方式所涉及的三维影像处理装置对包括表示三维影像的影像数据和该影像数据的控制信息在内的影像信号进行处理，其特征为，具备：提取部，从上述控制信息提取偏移值，该偏移值与上述影像数据中包含的画面相对应，是为了调整该画面的至少一部分的深度方向的显示位置而将该一部分进行位移的量；偏移值补充部，使用由上述提取部所提取的偏移值，将与第1画面对应的偏移值补充为：大于等于在与从该第1画面开始在时间上位于前面的第2画面相对应的偏移值和与从该第1画面开始在时间上位于后面的第3画面相对应的偏移值之中较小的第1偏移值、且小于等于较大的第2偏移值，偏移控制部，通过按由上述偏移值补充部补充后的偏移值，将上述第1画面的至少一部分进行位移，来调整该一部分的深度方向的显示位置。
发明效果
根据上面，本发明能够提供三维影像处理装置及三维影像处理方法，对于用户可以提供更加良好的三维影像。
附图说明
图1是表示本发明实施方式1所涉及的三维影像显示系统结构的框图。
图2是表示本发明实施方式1所涉及的三维影像信号一例的图。
图3是表示本发明实施方式1所涉及的左眼用图像及右眼用图像一例的图。
图4是表示本发明实施方式1所涉及的三维影像信号另一例的图。
图5是表示本发明实施方式1所涉及的三维影像处理装置结构的框图。
图6是表示本发明实施方式1所涉及的输入影像信号结构的图。
图7是表示本发明实施方式1所涉及的偏移信息结构的图。
图8是表示本发明实施方式1所涉及的主影像深度方向的显示范围和字幕及菜单画面深度方向的显示位置的图。
图9是表示由本发明实施方式1所涉及的变换部做出的处理的图。
图10是表示由本发明实施方式1所涉及的偏移值补充部做出的处理的图。
图11是表示由本发明实施方式1所涉及的偏移控制部做出的处理的图。
图12是表示由本发明实施方式1所涉及的偏移控制部做出的处理变形例的图。
图13是表示由本发明实施方式1所涉及的三维影像处理装置做出的处理流程的流程图。
图14是表示本发明实施方式2所涉及的三维影像处理装置结构的框图。
图15是表示由本发明实施方式2所涉及的偏移值补充部做出的处理的图。
图16是表示由本发明实施方式2所涉及的三维影像处理装置做出的处理流程的流程图。
图17是表示由本发明实施方式2所涉及的错误判定部做出的处理流程的流程图。
图18是表示由本发明实施方式2所涉及的错误判定部做出的处理变形例流程的流程图。
图19是表示由本发明实施方式2所涉及的错误判定部做出的处理变形例流程的流程图。
图20是表示本发明实施方式2所涉及的正常时帧的PTS和偏移值的PTS之间关系的图。
图21是表示本发明实施方式2所涉及的在PTS中发生了错误时帧的PTS和偏移值的PTS之间关系的图。
图22是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对PTS错误的处理流程的流程图。
图23是表示本发明实施方式2所涉及的在帧个数中发生了错误时帧和偏移值之间对应关系的图。
图24是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对帧个数错误的处理流程的流程图。
图25是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对帧个数错误的处理的流程图。
图26是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对帧个数错误的处理变形例流程的流程图。
图27是表示由本发明实施方式2所涉及的三维影像处理装置做出的针对帧个数错误的处理变形例的图。
图28是表示本发明实施方式3所涉及的三维影像处理装置结构的框图。
图29是表示由本发明实施方式3所涉及的偏移值补充部做出的处理的图。
图30是表示由本发明实施方式3所涉及的三维影像处理装置做出的处理流程的流程图。
图31是表示由本发明实施方式3所涉及的偏移值补充部做出的处理变形例的流程图。
图32是表示由本发明实施方式3所涉及的偏移值补充部做出的处理变形例的流程图。
具体实施方式
下面，参照附图，来详细说明本发明所涉及的三维影像处理装置的实施方式。
(实施方式1)
本发明实施方式1所涉及的三维影像处理装置通过在输入影像信号的画面间插入新的画面，生成变换影像信号。再者，本发明实施方式1所涉及的三维影像处理装置利用前后画面的位移量，来计算新插入的画面的位移量。因此，本发明实施方式1所涉及的三维影像处理装置可以生成深度方向的显示位置流畅变换的良好的三维影像信号。
首先，说明包括本发明实施方式1所涉及的三维影像处理装置在内的三维影像显示系统的结构。
图1是表示本发明实施方式1所涉及的三维影像显示系统结构的框图。
图1所示的三维影像显示系统10包含数字电视机20、数字视频录像机30和快门眼镜43。另外，数字电视机20和数字视频录像机30已经通过HDMI(High-Definition Multimedia Interface)电缆40进行了连接。
数字视频录像机30处理记录在BD(蓝光光盘)等的光盘41中的三维影像信号，将处理后的三维影像信号，经由HDMI电缆40输出至数字电视机20。
数字电视机20显示由通过数字视频录像机30输出的三维影像信号以及广播波42中包含的三维影像信号所示的三维影像。例如，广播波42是地面数字电视广播及卫星数字电视广播等。
还有，数字视频录像机30还可以处理记录在光盘41以外的记录介质(例如硬盘驱动器及非易失性存储器等)中的三维影像信号。另外，数字视频录像机30还可以处理广播波42中包含的三维影像信号，或者经由因特网等通信网所取得的三维影像信号。另外，数字视频录像机30还可以处理利用外部的装置输入到外部输入端子(未图示)等的三维影像信号。
同样，数字电视机20还可以显示由记录在光盘41及其他的记录介质中的三维影像信号所示的影像。另外，数字电视机20还可以显示由经由因特网等通信网所取得的三维影像信号所示的影像。另外，数字电视机20还可以显示由利用数字视频录像机30以外的外部装置输入到外部输入端子(未图示)等的三维影像信号所示的影像。
另外，数字电视机20也可以对取得的三维图像信号实施规定的处理，显示由实施了处理的三维影像信号所表示的影像。
另外，数字电视机20和数字视频录像机30既可以通过HDMI电缆40以外标准的电缆进行连接，也可以通过无线通信网进行连接。
数字视频录像机30具备输入部31、解码器32、三维影像处理装置100和HDMI通信部33。
输入部31取得记录在光盘41中的编码三维影像信号51。
在解码器32中，通过对由输入部31所取得的编码三维影像信号51进行解码，生成输入影像信号111。
三维影像处理装置100通过处理输入影像信号111，生成输出影像信号117。
HDMI通信部33将由三维影像处理装置100所生成的输出影像信号117，经由HDMI电缆40输出至数字电视机20。
还有，数字视频录像机30既可以将所生成的输出影像信号117存储于该数字视频录像机30具备的存储部(硬盘驱动器及非易失性存储器等)中，也可以将其记录于能对该数字视频录像机30拆装的记录介质(光盘等)中。
数字电视机20具备输入部21、解码器22、HDMI通信部23、三维影像处理装置100B、显示面板26和发射器27。
输入部21取得广播波42中包含的编码三维影像信号55。
在解码器22中，通过对由输入部21所取得的编码三维影像信号55进行解码，生成输入影像信号56。
HDMI通信部23取得由HDMI通信部33所输出的输出影像信号117，作为输入影像信号57进行输出。
三维影像处理装置100B通过处理输入影像信号56或输入影像信号57，生成输出影像信号58。
显示面板26显示由通过三维影像处理装置100B所生成的输出影像信号58所示的影像。
发射器27利用无线通信，来控制快门眼镜43。
图2是表示三维影像数据一例的附图。如图2所示，三维影像数据包含交替配置的左眼用图像170l和右眼用图像170r。
图3是表示左眼用图像170l和右眼用图像170r一例的附图。
如图3所示，左眼用图像170l和右眼用图像170r中包含的目标具有与摄影位置到目标的距离相应的视差。
快门眼镜43例如是视听者佩戴的液晶快门眼镜，具备左眼用液晶快门和右眼用液晶快门。发射器27与左眼用图像170l和右眼用图像170r的显示定时相符，来控制左眼用液晶快门和右眼用液晶快门的开闭。具体而言，发射器27在显示出左眼用图像170l的期间，打开快门眼镜43的左眼用液晶快门，且关闭右眼用液晶快门。另外，发射器27在显示出右眼用图像170r的期间，关闭快门眼镜43的左眼用液晶快门，且打开右眼用液晶快门。这样，就对视听者的左眼和右眼，分别有选择地入射左眼用图像170l和右眼用图像170r。
还有，使之对视听者的左眼及右眼，有选择地入射左眼用图像170l和右眼用图像170r的方法不限定为该方法，也可以使用此外的方法。
例如图4所示，也可以在三维影像数据的各画面内呈条纹状配置左眼用行175l和右眼用行175r。
这种情况下，由于显示面板26具备左眼用的象素上所形成的左眼用偏光膜和右眼用的象素上所形成的右眼用偏光膜，因而在左眼用行175l和右眼用行175r上形成不同的偏光(直线偏光或者圆偏光等)。另外，通过取代快门眼镜43，使用具备与上述偏光分别对应的左眼用及右眼用偏光滤光器的偏光眼镜，就可以使之对视听者的左眼及右眼，入射左眼用行175l及右眼用行175r。
还有，三维影像数据中左眼用影像和右眼用影像的配置图案也可以是横向条纹状以外。例如，也可以在各画面内呈纵向条纹配置左眼用影像和右眼用影像。另外，也可以在1幅画面内呈棋盘状(方格状)配置左眼用影像和右眼用影像。另外，也可以在1幅画面内按垂直方向或者水平方向并排配置左眼用图像170l和右眼用图像170r。
下面，详细说明本发明实施方式1所涉及的三维影像处理装置100。
图5是表示三维影像处理装置100结构的框图。
图5所示的三维影像处理装置100生成表示下述三维影像的输出影像信号117，该三维影像在输入影像信号111中包含的三维的主影像上重叠显示了三维的字幕或者菜单画面。该三维影像处理装置100具备提取部101、变换部103、偏移值补充部104、偏移控制部105和合成部106。
提取部101提取输入影像信号111中包含的偏移信息112。
图6是表示输入影像信号111结构的附图。如图6所示，输入影像信号111包含GOP(Group Of Pictures)单位的作为数据的多个GOP数据130。这里，所谓的GOP指的是，使用于压缩及再现等的多个画面单位。
各GOP数据130包括：GOP头部131，包含每个GOP的控制信息；GOP数据部132，是GOP中包含的多幅画面的数据。
GOP数据部132包括多个画面数据135，各自是1幅画面量的数据。该画面数据135包括：画面头部136，包含每幅画面的控制信息；画面数据部137，是主影像的图像数据。另外，输入影像信号111包含字幕或者菜单画面等作为图像数据的字幕数据。该字幕数据被赋予了和影像数据不同的识别符(PID)，在TS(传送/数据流)内和影像数据相区别进行了存储。
GOP头部131包含偏移信息112。该偏移信息112表示字幕或者菜单画面的位移量。换言之，偏移信息112表示将字幕或者菜单画面按三维显示中的深度方向进行位移的量。
图7是表示偏移信息112结构的附图。如图7所示，偏移信息112包括帧速率141、起始的PTS142、偏移值的个数143、帧个数144和多个偏移值145。还有，图7所示的值及位数是一例，也可以是图7所示的值及位数以外。
帧速率141表示该GOP内影像数据的帧速率。
起始的PTS142表示该GOP起始画面的PTS(Presentation Time Stamp)的值。这里，所谓的PTS指的是，表示画面显示时刻的时间戳。
偏移值的个数143表示该偏移信息112中包含的偏移值145的个数。
帧个数144表示该GOP中包含的画面(帧或者场)的个数。
各偏移值145与该GOP中包含的各画面对应。另外，各偏移值145包含偏移方向146和偏移值的绝对值147。另外，在可能按相同时刻显示的字幕及菜单画面存在多个时，偏移值145要按字幕或者菜单画面的每个进行设置。也就是说，这种情况下，偏移值145对于1幅画面设置多个。还有，与1幅画面对应来设置的偏移值145的个数也可以比可能按相同时刻显示的字幕及菜单画面的个数多。
偏移方向146表示使对应的画面的字幕或者菜单画面位移的方向(右方向或者左方向)。换言之，偏移方向146表示使对应的画面的字幕或者菜单画面，向三维显示中深度方向的近前方向位移或者向进深方向位移。
偏移值的绝对值147表示该偏移值145的绝对值。
还有，图7所示的帧速率141及偏移方向146的值用来表示其含意，实际上，帧速率141及偏移方向146的值是与该含意相对应的1位以上的数据值。
另外，偏移值145是为了在各画面上，从主影像往近前显示字幕或者菜单画面而设定的数据。
图8是表示主影像的深度方向的显示范围和字幕及菜单画面深度方向的显示位置的附图。通过如图8所示使字幕或者菜单画面从主影像的显示范围往近前，而可以为用户显示适合的三维影像。
变换部103通过对输入影像信号111进行3：2下拉处理，来生成变换影像信号114。
图9是表示3：2下拉处理的附图。所谓的3：2下拉处理指的是，将24p(帧速率为24fps的逐行方式)的影像数据，变换为60i(帧速率为60fps的隔行方式)的影像数据的处理。
具体而言，变换部103将输入影像信号111中包含的2幅画面(主影像及字幕)变换为5幅画面。换言之，变换部103在输入影像信号111中包含的连续的2幅画面之间，插入1幅或者2幅新的画面。
更为具体而言，变换部103使用输入影像信号111中包含的第1画面120A，生成变换影像信号114中包含的2幅画面121A及122A。这里，画面121A是画面120A中包含的行之中，只复制了奇数行的画面(顶场)。另外，画面122A是画面120A中包含的行之中，只复制了偶数行的画面(底场)。
另外，变换部103使用输入影像信号111中包含的第2画面120B，生成变换影像信号114中包含的3幅画面121B、122B及123B。这里，画面121B及123B是画面120B中包含的行之中，只复制了奇数行的画面(顶场)。另外，画面122B是画面120B中包含的行之中，只复制了偶数行的画面(底场)。
偏移值补充部104使用由提取部101所提取的偏移值145(输入影像信号111中包含的偏移值)，补充变换影像信号114中包含的各画面的偏移值145。
图10是表示偏移值补充部104处理的附图。
首先，偏移值补充部104使从1幅原画面所生成的2幅或者3幅画面之中起始的画面121A、121B及121C(下面记为“起始画面”)的偏移值145，成为和对应的原画面120A、120B及120C的偏移值145相同的值。
接下来，偏移值补充部104使用对于该补充画面在时间上位于紧前面的起始画面(下面记为“紧前面起始画面”)的偏移值145和对于该补充画面在时间上位于紧后面的起始画面(下面记为“紧后面起始画面”)的偏移值145，计算从1幅原画面所生成的2幅或者3幅画面之中起始画面以外的画面122A、122B及123B(下面记为“补充画面”)的偏移值145。换言之，偏移值补充部104使用该补充画面的原画面的偏移值145和输入影像信号111的该原画面的下一画面的偏移值145，计算补充画面的偏移值145。
具体而言，偏移值补充部104计算补充画面的偏移值145，以便补充画面的偏移值145对于紧前面起始画面的偏移值145和紧后面起始画面的偏移值145，按等间隔且流畅地进行变化。
更为具体而言，偏移值补充部104使用下述(式1)，计算从紧前面起始画面开始位于第i(1≤i≤n)个的补充画面的偏移值O(i)。还有，n是紧前面起始画面和紧后面起始画面之间所插入的补充画面的个数。另外，M1是紧前面起始画面的偏移值145和紧后面起始画面的偏移值145之中较小的偏移值145，M2是紧前面起始画面的偏移值145和紧后面起始画面的偏移值145之中较大的偏移值145。
O(i)＝M1+(M2-M1)×i/(n+1)···(式1)
例如，对于图10所示的补充画面122A来说，紧前面起始画面121A的偏移值145是“6”，紧后面起始画面121B的偏移值145是“10”，为n＝1及i＝1。因而，根据上述(式1)，补充画面122A的偏移值145变为“8”。
另外，偏移值补充部104将在变换影像信号114中加上所生成的偏移值145后的补充影像信号115，输出给偏移控制部105。
还有，补充画面、紧前面起始画面及紧后面起始画面分别相当于本发明的第1画面、第2画面及第3画面。
偏移控制部105按由通过偏移值补充部104所生成的偏移值145所示的值，使字幕或者菜单画面位移，以此生成调整影像信号116。换言之，偏移控制部105按与通过偏移值补充部104所生成的偏移值145相当的距离，使字幕或者菜单画面的三维显示中深度方向的位置位移。据此，偏移控制部105进行调整，以便字幕或者菜单画面的三维显示中深度方向的显示位置从主影像的显示位置往近前侧。
图11是表示偏移控制部105处理的附图。
如图11所示，偏移控制部105使补充影像信号115中包含的字幕图像沿水平方向按偏移值145进行位移。
这里，在图11中，表示出字幕图像原来的深度方向的显示位置为显示面板26上的情形。换言之，表示出在补充影像信号115中，按左眼用及右眼用只包含一个字幕图像(或者相同的字幕图像)的例子。
还有，在补充影像信号115(输入影像信号111)中，也可以包含左眼用字幕图像和右眼用字幕图像。换言之，字幕图像原来的显示位置也可以是显示面板26上以外。这种情况下，如图12所示，偏移控制部105使补充影像信号115中包含的左眼用字幕图像及右眼用字幕图像分别沿水平方向按偏移值145的量进行位移。
另外，由偏移值145中包含的偏移方向146所示的信息既可以表示将图像位移的方向，也可以表示三维显示中的深度方向(进深方向或者近前方向)。也就是说，后者的情况下，偏移控制部105只要判定处理对象的图像是左眼用还是右眼用，按照判定结果，决定将图像位移的方向就可以。例如，偏移控制部105按照处理对象的图像是左眼用还是右眼用，沿相互相反的方向(左方向及右方向)使该图像位移。
合成部106生成在变换影像信号114中包含的主影像上，重叠显示了调整影像信号116中包含的字幕后的输出影像信号117。
下面，说明由三维影像处理装置100做出的处理流程。
图13是表示由三维影像处理装置100做出的处理流程的流程图。三维影像处理装置100按GOP单位执行图13所示的处理。
首先，提取部101提取输入影像信号111中包含的该GOP的偏移信息112(S101)。
另一方面，变换部103通过对解码了输入影像信号111中包含的影像数据后的结果进行3：2下拉处理，来生成变换影像信号114(S102)。
接下来，偏移值补充部104使用由提取部101所提取的偏移值145，计算新的偏移值145(S103)。
接下来，偏移值补充部104补充计算出的偏移值145，来作为变换影像信号114中包含的各画面的偏移值145(S104)。
接下来，偏移控制部105按由通过偏移值补充部104所生成的偏移值145所示的值，使字幕或者菜单画面位移，以此生成调整影像信号116(S105)。
接下来，合成部106生成在变换影像信号114中包含的主影像上，重叠显示了调整影像信号116中包含的字幕后的输出影像信号117(S106)。
根据上面，本发明实施方式1所涉及的三维影像处理装置100使用前后画面的偏移值145，来计算通过3：2下拉处理所生成的各画面的偏移值145，以此就可以使字幕深度方向的显示位置连续且流畅地产生变化。据此，本发明实施方式1所涉及的三维影像处理装置100对于用户，可以生成更加良好的三维影像。
还有，在上面的说明中，也可以将本发明实施方式1所涉及的三维影像处理装置适用为下述三维影像处理装置100B，该三维影像处理装置100B说明了适用成数字视频录像机30具备的三维影像处理装置100的例子，并且是数字电视机20具备的。
另外，在上面的说明中，虽然三维影像处理装置100具备合成部106，但是也可以不具备合成部106，而输出调整影像信号116来作为输出影像信号117。这种情况下，只要后面的处理装置(例如数字电视机20)具备合成部106就可以。
另外，在上面的说明中，虽然提取部101提取了输入影像信号111中包含的偏移信息112，但是也可以由变换部103生成包括输入影像信号111中包含的偏移信息112在内的变换影像信号114，提取部101提取变换影像信号114中包含的偏移信息112。
另外，在上面的说明中，虽然说明了在每个GOP中包含偏移信息112(偏移值145)的例子，但是偏移信息112(偏移值145)也可以按其他的每个单位包含。例如，偏移信息112(偏移值145)也可以包含于每幅画面中。
另外，图7所示的偏移信息112的结构是一例，偏移信息112只要包含多个偏移值145和能够识别各偏移值145与帧之间的对应关系的信息，就可以。例如，偏移信息112也可以只包含偏移值的个数143及帧个数144之中的一个。另外，偏移信息112也可以取代帧速率141及起始的PTS142，而包含各偏移值145的PTS。
另外，在上面的说明中，虽然说明了变换部103将24p的影像信号变换为60i的例子，但只要是使帧速率增加的变换处理就可以。例如，变换部103既可以将24p的影像信号变换为60p，也可以变换为其他帧速率的信号。另外，由变换部103插入的画面不限于复制了原画面的一部分或者全部的画面，也可以是利用在时间上位于前后的画面所生成的画面。
另外，在上面的说明中，虽然说明了偏移值补充部104使用上述(式1)来计算补充画面的偏移值145的例子，但是补充画面的偏移值145的计算方法也可以是其他方法。具体而言，偏移值补充部104只要使用由提取部101所提取的偏移值145，将与补充画面对应的偏移值补充为下述两个偏移值145之中较小的第1偏移值以上且较大的第2偏移值以下，就可以，上述两个偏移值一是与紧前面起始画面相对应的偏移值145，二是与紧后面起始画面相对应的偏移值145。
例如，偏移值补充部104也可以使补充画面的偏移值145成为紧前面起始画面的偏移值(例如“6”)和紧后面起始画面的偏移值(例如“10”)之间的值(例如“7～9”)。
另外，偏移值补充部104也可以使补充画面的偏移值145成为紧前面起始画面的偏移值(例如“6”)或者紧后面起始画面的偏移值(例如“10”)。
还有，在插入2幅补充画面112B及123B的情况下，优选的是，决定补充画面122B及补充画面123B的偏移值145，以使紧前面起始画面121B、补充画面122B、补充画面123B及紧后面起始画面121C的偏移值145单调增加或者单调减少。据此，三维影像处理装置100可以使字幕深度方向的显示位置连续且流畅地产生变化。
还有，更为优选的是，如上所述，偏移值补充部104使用上述(式1)来计算补充画面的偏移值145。据此，可以更加流畅地使字幕深度方向的显示位置产生变化。
另外，在上面的说明中，虽然表示出偏移值145表示字幕或者菜单画面的位移量的例子，但是偏移值145只要能表示画面至少一部分的位移量就可以。例如，偏移值145也可以表示将副影像重叠显示于主影像上时副影像或者主影像的位移量。
再者，偏移值145也可以表示只显示主影像时该主影像的位移量。
另外，偏移值145也可以对应于三维影像中包含的目标(被拍摄体)的每个，进行设置。或者，在三维影像信号中含有按该三维影像信号中包含的每个目标表示该目标的深度方向位置的信息的情况下，偏移控制部105也可以使用该信息和偏移值145，按每个目标决定位移量。或者，偏移控制部105也可以在从三维影像的左眼用影像及右眼用影像，计算出各目标的视差(深度方向的位置)之后，使用该视差和偏移值145，按每个目标决定位移量。
(实施方式2)
在上述实施方式1中，说明了补充新制作出的画面的偏移值145的例子。本发明实施方式2所涉及的三维影像处理装置200使用前后画面的偏移值145，来补充发生了错误的画面的偏移值145。
还有，本发明实施方式2所涉及的三维影像处理装置200和上述实施方式1相同，可以适用于图1所示的三维影像显示系统10。
图14是表示本发明实施方式2所涉及的三维影像处理装置200结构的框图。还有，对和图5相同的要件附上相同的符号，重复的说明予以省略。
图14所示的三维影像处理装置200生成表示三维影像的输出影像信号217，该三维影像在输入影像信号111中包含的主影像上重叠显示了字幕或者菜单画面。该三维影像处理装置200具备提取部101、偏移值补充部204、偏移控制部105、合成部106和错误判定部207。
提取部101提取输入影像信号111中包含的偏移信息112。
错误判定部207判定偏移信息112是否合适。具体而言，错误判定部207判定偏移值145是否是合适的值。另外，错误判定部207输出表示该判定结果的错误判定信号218。
偏移值补充部204在由错误判定信号218表示偏移值145不合适的情况下，使用由提取部101所提取的偏移值145(输入影像信号111中包含的偏移值)，补充输入影像信号111中包含的该画面的偏移值145。
图15是表示偏移值补充部204处理的附图。
例如图15所示，在帧4的偏移值145不合适的情况下，偏移值补充部204补充该帧4的偏移值145。还有，在下面，将偏移值145不合适的画面记为错误画面，将偏移值145合适的画面记为正常画面。
具体而言，偏移值补充部204使用对于错误画面在时间上位于紧前面的正常画面(下面记为“紧前面正常画面”)的偏移值145和对于该帧4在时间上位于紧后面的正常画面(下面记为“紧后面正常画面”)的偏移值145，计算该错误画面的偏移值145。
更为具体而言，偏移值补充部204计算错误画面的偏移值145，以便错误画面的偏移值145对于紧前面正常画面的偏移值145和紧后面正常画面的偏移值，按等间隔且流畅地进行变化。
更为具体而言，偏移值补充部204使用上述(式1)，计算从紧前面正常画面开始位于第i(1≤i≤n)个的错误画面的偏移值O(i)。还有，n是紧前面正常画面和紧后面正常画面之间所插入的错误画面的个数。另外，M1是紧前面正常画面的偏移值145和紧后面正常画面的偏移值145之中较小的偏移值145，M2是紧前面正常画面的偏移值145和紧后面正常画面的偏移值145之中较大的偏移值145。
例如，在图15所示的例子中，紧前面正常画面的偏移值145是“2”，紧后面正常画面的偏移值145是“4”，为n＝1及i＝1。因而，根据上述(式1)，错误画面的偏移值145成为“3”。
另外，偏移值补充部204将补充了输入影像信号111的错误画面的偏移值145后的补充影像信号215，输出给偏移控制部105。
还有，错误画面、紧前面正常画面及紧后面正常画面分别相当于本发明的第1画面、第2画面及第3画面。
偏移控制部105按由补充影像信号215中包含的偏移值145所示的值，使字幕或者菜单画面位移，以此生成调整影像信号216。换言之，偏移控制部105按与通过偏移值补充部204所生成的偏移值145相当的距离，使字幕或者菜单画面的三维显示中深度方向的位置位移。
合成部106生成在输入影像信号111中包含的主影像上，重叠显示了调整影像信号216中包含的字幕后的输出影像信号217。
下面，说明由三维影像处理装置200做出的处理流程。
图16是表示由三维影像处理装置200做出的处理流程的流程图。三维影像处理装置200按GOP单位执行图16所示的处理。
首先，提取部101提取输入影像信号111中包含的GOP单位的偏移信息112(S201)。
接下来，错误判定部207判定偏移值145是否是合适的值(S202)。
图17是表示由错误判定部207做出的错误判定处理(S202)流程的流程图。错误判定部207按帧(画面)单位执行图17所示的处理。
首先，错误判定部207计算处理对象帧的偏移值145和对于该处理对象帧在紧前面的帧的偏移值145之间的差分(S211)。
接下来，错误判定部207判定在步骤S211中计算出的差分是否是预先确定的第1阈值以上(S212)。
在步骤S211中计算出的差分是第1阈值以上时(S212中的是)，错误判定部207判定为处理对象帧的偏移值145不合适(S216)。
另一方面，在步骤S211中计算出的差分小于第1阈值时(S211中的否)，接下来，错误判定部207计算处理对象帧的偏移值145和对于该处理对象帧在紧后面的帧的偏移值145之间的差分(S213)。
接下来，错误判定部207判定在步骤S213中计算出的差分是否是预先确定的第2阈值以上(S214)。还有，该第2阈值既可以是和上述第1阈值相同的值，也可以是不同的值。
在步骤S213中计算出的差分是第2阈值以上时(S214中的是)，错误判定部207判定处理对象帧的偏移值145为不合适(S216)。
另一方面，在步骤S213中计算出的差分小于第2阈值时(S214中的否)，错误判定部207判定处理对象帧的偏移值145为合适(S215)。
还有，这里错误判定部207虽然一起实施了处理对象帧和紧前面的帧之间的偏移值145的差分是否为阈值以上的判定(S211及S212)以及处理对象帧和紧后面的帧之间的偏移值145的差分是否为阈值以上的判定(S213及S214)，但是也可以只实施某一个。另外，该2个处理的顺序既可以相反，也可以同时实施一部分。
再次，使用图16进行说明。
在步骤S202中，判定为偏移值145不是合适的值时(S202中的是)，接下来，偏移值补充部204使用由提取部101所提取的偏移值145，计算新的偏移值145(S203)。
接下来，偏移值补充部204补充计算出的偏移值145，来作为错误画面的偏移值145(S204)。
接下来，偏移控制部105按由通过偏移值补充部204所生成的偏移值145所示的值，使字幕或者菜单画面位移，以此生成调整影像信号216(S205)。
接下来，合成部106生成在输入影像信号111中包含的主影像上，重叠显示了调整影像信号216中包含的字幕后的输出影像信号217(S206)。
另一方面，在步骤S202中，判定为偏移值145是合适的值时(S202中的否)，接下来，偏移控制部105按由输入影像信号111中包含的偏移值145所示的值，使字幕或者菜单画面位移，以此生成调整影像信号216(S205)。
接下来，合成部106生成在输入影像信号111中包含的主影像上，重叠显示了调整影像信号216中包含的字幕后的输出影像信号217(S206)。
根据上面，本发明实施方式2所涉及的三维影像处理装置200通过使用前后画面的偏移值145，来计算错误画面的偏移值145，就可以使字幕深度方向的显示位置连续且流畅地产生变化。据此，本发明实施方式2所涉及的三维影像处理装置200对于用户，可以生成更加良好的三维影像。
还有，错误判定部207也可以取代图17所示的处理，执行下面所示的处理。
图18是由错误判定部207做出的错误判定处理变形例的流程图。
如图18所示，错误判定部207首先计算处理对象帧和对于该处理对象帧位于紧前面的帧之间的偏移值145的差分Dn(S221)。
接下来，错误判定部207保持在步骤S221中计算出的差分Dn(S222)。
接下来，错误判定部207计算此次的差分Dn和上次的差分Dn-1(2幅前的帧和紧前面的帧之间的偏移值145的差分)之间的差分(S223)。
接下来，错误判定部207判定在步骤S223中计算出的差分是否为预先确定的第3阈值以上(S224)。
在步骤S224中计算出的差分为第3阈值以上时(S224中的是)，错误判定部207判定处理对象帧的偏移值145为不合适(S226)。
另一方面，在步骤S224中计算出的差分小于第3阈值时(S224中的否)，错误判定部207判定处理对象帧的偏移值145为合适(S225)
通过上面的处理，错误判定部207在从紧前面画面向处理对象画面的偏移值145的变化量相对于最近的偏移值145的变化量，急剧增加时，可以判定该处理对象画面的偏移值145为不合适。
还有，错误判定部207也可以在步骤S223中，计算在步骤S222中所保持的2次量以上的差分的平均值、最大值或者最小值和此次在步骤S221中计算出的差分Dn之间的差分。
另外，错误判定部207也可以对于处理对象帧和紧后面帧之间的偏移值145的差分，进行同样的处理。
再者，错误判定部207也可以取代图17或图18所示的处理，执行下面所示的处理。
图19是由错误判定部207做出的错误判定处理变形例的流程图。另外，错误判定部207按GOP单位执行图19所示的处理。
首先，错误判定部207计算GOP内偏移值145的平均值An(S231)。
接下来，错误判定部207保持在步骤S231中计算出的平均值An(S232)。
接下来，错误判定部207计算处理对象GOP的平均值An和紧前面GOP的平均值An-1之间的差分(S233)。
接下来，错误判定部207判定在步骤S233中计算出的差分是否为预先确定的第4阈值以上(S234)。
在步骤S234中计算出的差分为第4阈值以上时(S234中的是)，错误判定部207判定为处理对象GOP的偏移值145不合适(S236)。
另一方面，在步骤S234中计算出的差分小于第4阈值时(S234中的否)，错误判定部207判定为处理对象GOP的偏移值145合适(S235)。
通过上面的处理，错误判定部207就可以按GOP单位判定偏移值145是否合适。
还有，错误判定部207也可以不使用GOP中包含的偏移值145的平均值，而使用最大值或者最小值。另外，错误判定部207也可以比较紧前面GOP最后的帧的偏移值145和处理对象GOP最开始的帧的偏移值145。
还有，在错误判定部207中，按GOP单位判定出偏移值145的错误时，偏移值补充部204只要能够使用紧前面的正常GOP最后的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145，和上面相同进行补充，就可以。
另外，错误判定部207也可以实施上述图17～图19所示的错误判定处理及其变形例之中的2个以上。
另外，也可以将和上述实施方式1相同的变形例适用于三维影像处理装置200中。
另外，三维影像处理装置200还可以判定偏移信息112中包含的起始PTS142是否合适，在不合适时，补充起始的PTS142。
图20是表示起始的PTS142为正常时帧的PTS和偏移值145的PTS之间关系的附图。图21是表示起始的PTS142不合适时帧的PTS和偏移值145的PTS之间关系的附图。还有，表示各帧PTS的信息(相当于本发明的第1时间戳信息)包含在输入影像信号111中。另外，起始的PTS142相当于本发明的第2时间戳信息。
这里，偏移控制部105使用起始的PTS142和帧速率141，计算各偏移值145的PTS。另外，偏移控制部105判断出具有同一PTS的帧和偏移值145相互对应。换言之，偏移控制部105通过按具有和各帧的PTS相同的PTS的偏移值145，使该帧位移，来调整该帧深度方向的显示位置。
因而，如图21所示，在起始的PTS142的值不合适时，不存在与GOP中包含的帧对应的偏移值145。
图22是表示此时错误判定部207及偏移值补充部204的处理流程的流程图。
如图22所示，错误判定部207判定和处理对象帧的PTS相同的PTS的偏移值145是否存在于偏移信息112内(S251)。
在步骤S251中不存在偏移值145时(S251中的是)，由于在起始PTS142的值中发生了错误，因而偏移值补充部204忽视偏移值145的PTS，给对应的帧分配偏移值145(S252)。
具体而言，偏移值补充部204按GOP中包含的帧顺序，按序号分配从图7所示的ID0的偏移值145到由帧个数144所示的个数的ID为止的偏移值145。换言之，偏移值补充部204从GOP中包含的帧之中，PTS较小的帧开始按顺序，使PTS小的偏移值145依次相对应。另外，偏移控制部105通过按相对应的偏移值145使各帧位移，来调整该画面深度方向的显示位置。
另外，作为步骤S252的处理，既可以在偏移值补充部204将偏移信息112中包含的起始PTS142补充为正确的值之后，由偏移控制部105使用补充后的起始PTS142，执行偏移控制处理，也可以在发生了错误时，由偏移控制部105在进行了上述帧和偏移值145之间的相对应之后，执行偏移控制处理。
还有，在帧速率141不合适时，起始的帧以外也成为不存在PTS一致的偏移值145的状态。这种情况下，三维影像处理装置200也可以执行和上面相同的处理。
另外，错误判定部207在步骤S251中不存在偏移值145时(S251中的是)，也可以判定出在该GOP中发生了错误。这种情况下，偏移值补充部204只要使用紧前面的正常GOP最后的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145，和上面相同进行补充，就可以。也就是说，偏移值补充部204只要使用由提取部101所提取的偏移值145，将发生了错误的GOP中包含的偏移值145，补充为紧前面的正常GOP最后的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145之中较小的第1偏移值以上且较大的第2偏移值以下，就可以。
另外，偏移值补充部204在起始的PTS142中发生了错误时，也可以使该GOP内的偏移值145成为预先确定的值(例如0)。
另外，偏移值补充部204在起始的PTS142中发生了错误时，也可以参照该GOP以外的GOP的偏移信息112，检索PTS和处理对象的帧一致的偏移值145。
根据上面，本发明实施方式2所涉及的三维影像处理装置200即便在在偏移信息112中包含的起始PTS142或者帧速率141中发生了错误时，也可以将适合的三维影像提供给用户。
另外，三维影像处理装置200还可以判定偏移信息112中包含的帧个数144是否合适，在不合适时，补充该帧个数144。
图23是表示帧个数144不合适时的帧和偏移值145之间关系的附图。另外，在图23所示的例子中，正确的帧个数144的值是“15”。
如图23所示，在因错误而帧个数144的值变为“13”时，不存在与帧“14”及“15”对应的偏移值145。
图24是表示此时错误判定部207及偏移值补充部204的处理流程的流程图。
首先，错误判定部207通过判定由帧个数144所示的帧的个数是否比实际GOP内包含的帧的个数少，来判定帧个数144是否合适(S261)。
在由帧个数144所示的帧的个数比实际GOP内包含的帧的个数少时(S261中的是)，也就是在帧个数144不合适时，偏移值补充部204补充不存在对应的偏移值145的帧的偏移值145。具体而言，如图25所示，偏移值补充部204使不存在对应的偏移值145的帧“14”及“15”的偏移值145的值，成为存在偏移值145的最后的帧“13”的偏移值145的值“20”(S262)。
还有，偏移值补充部204也可以使用前后帧的偏移值145，计算要补充的偏移值145。
图26是表示此时错误判定部207及偏移值补充部204的处理流程的流程图。
首先，错误判定部207通过判定由帧个数144所示的帧的个数是否比实际在GOP内包含的帧的个数少，来判定帧个数144是否合适(S271)。
在由帧个数144所示的帧的个数比实际GOP内包含的帧的个数少时(S271中的是)，也就是在帧个数144不合适时，偏移值补充部204补充不存在对应的偏移值145的帧的偏移值145。具体而言，如图27所示，偏移值补充部204使用存在偏移值145的最后的帧“13”的偏移值145的值和下一GOP的最开始的帧的偏移值145，补充不存在对应的偏移值145的帧“14”及“15”的偏移值145的值(S272)。
还有，具体的补充方法和上述在偏移值145中发生了错误的情形相同。也就是说，偏移值补充部204只要使用由提取部101所提取的偏移值145，将发生了错误的GOP中包含的画面之中，从由帧个数144所示的第几个开始位于后面的全部帧的偏移值145，补充为该GOP中包含的由该帧个数144所示的第几个的帧的偏移值145和紧后面的正常GOP最开始的帧的偏移值145之中较小的第1偏移值以上，且较大的第2偏移值以下，就可以。
还有，偏移值补充部204也可以将不存在偏移值145的帧的偏移值145，补充为预先确定的值(例如0)。
另外，帧个数144相当于本发明的个数信息。
根据上面，本发明实施方式2所涉及的三维影像处理装置200即便在偏移信息112中包含的帧个数144及偏移值的个数143中发生了错误时，也可以将适合的三维影像提供给用户。
(实施方式3)
在本发明的实施方式3中，将说明按照用户的操作来变更偏移值145的三维影像处理装置300。
还有，本发明实施方式3所涉及的三维影像处理装置300和上述实施方式1相同，可以适用于图1所示的三维影像显示系统10中。
图28是表示本发明实施方式3所涉及的三维影像处理装置300结构的框图。
图28所示的三维影像处理装置300生成表示下述三维影像的输出影像信号317，该三维影像在输入影像信号111中包含的主影像上重叠显示了字幕或者菜单画面。该三维影像处理装置300具备提取部101、偏移值补充部304、偏移控制部105、合成部106和用户操作取得部308。
提取部101提取输入影像信号111中包含的偏移信息112。
用户操作取得部308取得用户操作信号319，输出至偏移值补充部304。用户操作信号319是表示根据用户的操作，使三维影像深度方向的显示位置从当前的显示位置位移的方向及位移的量的信号。例如，所谓用户的操作指的是，由用户做出的遥控器等的操作。
还有，在后面为了说明的简单，设为偏移信息112中包含的偏移值145是表示主影像及字幕的位移量(深度方向的显示位置)的信息。
偏移值补充部304按照由用户操作取得部308输出的用户操作信号319，补充由提取部101所提取的偏移值145(输入影像信号111中包含的偏移值)。另外，偏移值补充部304相当于本发明的偏移值生成部。
图29是表示偏移值补充部304处理的附图。
例如图29所示，偏移值补充部304通过变更偏移值145，以使主影像及字幕深度方向的显示范围位移，来生成补充影像信号315。
图30是表示由三维影像处理装置300做出的处理流程的流程图。三维影像处理装置300例如按GOP单位执行图30所示的处理。
首先，用户操作取得部308取得用户操作信号319(S301)。
接下来，偏移值补充部304按照用户操作信号319，补充由提取部101所提取的偏移值145。
具体而言，在用户感觉到三维影像的突出量过大，进行了使该突出量减少的操作时，由用户操作信号319表示，使三维影像深度方向的显示位置从当前的显示位置向进深方向位移的情况(S302中的是)。这种情况下，偏移值补充部304通过使由提取部101所提取的偏移值145减少，生成补充影像信号315(S303)。
另一方面，在用户感觉到三维影像的突出量小，进行了使该突出量增加的操作时，由用户操作信号319表示，使三维影像深度方向的显示位置从当前的显示位置向近前方向位移的情况(S302中的否)。这种情况下，偏移值补充部304通过使由提取部101所提取的偏移值145增加，生成补充影像信号315(S304)。
接下来，偏移控制部105按由在步骤S303或者S304中通过偏移值补充部304所生成的偏移值145所示的值，使主影像及字幕位移，以此生成调整影像信号316(S305)。
接下来，合成部106生成重叠显示了调整影像信号316中包含的主影像及字幕后的输出影像信号217(S306)。
还有，三维影像处理装置300也可以在先进行合成(S306)之后，实施偏移控制(S305)。
根据上面，本发明实施方式3所涉及的三维影像处理装置300可以按照用户的操作，变更三维影像的突出量。据此，本发明实施方式3所涉及的三维影像处理装置300对于用户，可以生成更加良好的三维影像。
还有，在图29所示的例子中，虽然补充前及补充后的显示范围宽度大致相等，但是补充前和补充后的显示范围宽度也可以不同。另外，如图31所示，偏移值补充部304也可以补充偏移值145，以便只有显示范围的近前侧进行位移。
另外，作为变更(增加或减少)显示范围宽度的方法，可以通过使显示于近前的影像(字幕等)显示位置的位移量和显示于里面的影像(主影像等)显示位置的位移量成为不同的值，来变更显示范围的宽度。例如图32所示，可以通过使显示于近前的字幕等显示位置的位移量，比显示于里面的主影像显示位置的位移量大，来减小包含主影像及字幕在内的整体显示范围的宽度。
另外，在三维影像信号中，含有按该三维影像信号中包含的每个目标表示该目标深度方向位置的信息时，三维影像处理装置300可以通过使用该信息，按每个目标决定位移量，来变更显示范围的宽度。
另外，三维影像处理装置300也可以在从三维影像的左眼用影像及右眼用影像，计算出各目标的视差(深度方向的位置)之后，通过使用该视差，按每个目标决定位移量，来变更显示范围的宽度。
还有，三维影像的显示范围是按照显示面板26的大小及用户的视听位置进行变化的，并不是只由影像信号唯一决定。也就是说，图29、图31及图32所示的显示范围用来模式表示三维影像中包含的左眼用影像和右眼用影像之间的位移量(视差)。另外，显示范围里侧的边界也可以定义为无限远。
另外，在上面的说明中，说明了由三维影像处理装置300补充输入影像信号111中包含的偏移值145的例子，但是不在输入影像信号111中包含偏移信息112也可以。这种情况下，偏移值补充部304只要新生成偏移信息112，就可以。
上面，说明了本发明实施方式1～3所涉及的三维影像处理装置100、200及300，但是本发明并不限定为该实施方式。
例如，在上面的说明中，虽然以使用专用眼镜(快门眼镜43)的情形为例进行了说明，但是在不使用专用眼镜的方式下也可以适用本发明。
另外，在上面的说明中，虽然说明了在三维影像中包含相互具有视差的2个影像(左眼用影像及右眼用影像)的例子，但是也可以在三维影像包含相互具有视差的3幅以上的影像。
另外，在上面的说明中，虽然说明了将本发明所涉及的三维影像处理装置100、200及300适用到数字电视机及数字视频录像机中的例子，但是本发明所涉及的三维影像处理装置100、200及300可以适用于数字电视机以外的显示三维影像的三维影像显示装置(例如移动电话设备、个人计算机等)中。另外，本发明所涉及的三维影像处理装置100、200及300可以适用于数字视频录像机以外的输出三维影像的三维影像输出装置(例如BD播放器等)。
另外，上述实施方式1～3所涉及的三维影像处理装置100、200及300典型的是作为下述LSI来实现，该LSI是一种集成电路。它们既可以分别单芯片化，也可以进行单芯片化使之包含一部分或者全部。
另外，集成电路化并不限于LSI，也可以采用专用电路或者通用处理器来实现。还可以利用下述FPGA(Field Programmable Gate Array)或者可重构·处理器，该FPGA能够在LSI制造后进行编程，该可重构·处理器能够重新构成LSI内部电路单元的连接及设定。
再者，如果因半导体技术的进步或派生的其他技术而替换为LSI的集成电路化技术出现，则当然也可以利用该技术，进行各处理部的集成化。
另外，也可以通过由CPU等的处理器执行程序，来实现本发明实施方式1～3所涉及的三维影像处理装置100、200及300的功能一部分或者全部。
再者，本发明既可以是上述程序，也可以是记录了上述程序的记录介质。另外，不言而喻，上述程序可以经由因特网等的传输介质使之流通。
另外，本发明也可以作为以三维影像处理装置中包含的特征性机构为步骤的三维影像处理方法来实现。另外，本发明可以作为上述具备三维影像处理装置的数字电视机等的三维影像显示装置来实现，或者作为包含这种三维影像显示装置的三维影像显示系统来实现。
另外，也可以组合上述实施方式1～3所涉及的三维影像处理装置100、200、300及其变形例的功能之中的至少一部分。
另外，上面所使用的数字全都是为了具体说明本发明所示例的，本发明不限制为所示例的数字。
另外，上述三维影像处理装置100、200及300的结构是为了具体说明本发明所示例的，本发明所涉及的三维影像处理装置不需要一定具备上述结构的全部。换言之，本发明所涉及的三维影像处理装置可以仅仅具备能实现本发明效果的最小限度的结构。
同样，利用上述三维影像处理装置的三维影像处理方法是为了具体说明本发明所示例的，利用本发明所涉及的三维影像处理装置的三维影像处理方法不需要一定包含上述步骤的全部。换言之，本发明所涉及的三维影像处理方法可以仅仅包含能实现本发明效果的最小限度的步骤。另外，执行上述步骤的顺序是为了具体说明本发明所示例的，也可以是上面以外的顺序。另外，上述步骤的一部分也可以和其他的步骤同时(并行)执行。
再者，在不脱离本发明宗旨的范围内，对于本实施方式实施了从业人员联想到的范围内的变更后的各种变形例也包含于本发明中。
产业上的可利用性
本发明可以适用于三维影像处理装置中，特别是可以适用于数字电视机及数字视频录像机等中。
符号说明
10  三维影像显示系统
20  数字电视机
21、31 输入部
22、32 解码器
23、33 HDMI通信部
26  显示面板
27  发射器
30  数字视频录像机
40  HDMI电缆
41  光盘
42  广播波
43  快门眼镜
51、55 编码三维影像信号
56、57、111 输入影像信号
58、117、217、317 输出影像信号
100、100B、200、300 三维影像处理装置
101 提取部
103 变换部
104、204、304 偏移值补充部
105 偏移控制部
106 合成部
112 偏移信息
114 变换影像信号
115、215、315 补充影像信号
116、216、316 调整影像信号
120A、120B、120C、121A、121B、121C、122A、122B、123B 画面
130 GOP数据
131 GOP头部
132 GOP数据部
135 画面数据
136 画面头部
137 画面数据部
141 帧速率
142 起始的PTS
143 偏移值的个数
144 帧个数
145 偏移值
146 偏移方向
147 偏移值的绝对值
170l 左眼用图像
170r 右眼用图像
175l 左眼用行
175r 右眼用行
207 错误判定部
218 错误判定信号
308 用户操作取得部
319 用户操作信号

Claims (6)

1.一种三维影像处理装置，对包括表示三维影像的影像数据和该影像数据的控制信息在内的影像信号进行处理，其特征为，
具备：
提取部，从上述控制信息提取偏移值，该偏移值与上述影像数据中包含的画面相对应，是为了调整该画面的至少一部分的深度方向的显示位置而将该一部分进行位移的量；
偏移值补充部，使用由上述提取部所提取的偏移值，将与第1画面对应的偏移值补充为：大于等于第1偏移值、且小于等于第2偏移值，该第1偏移值为与在时间上位于该第1画面的前面的第2画面相对应的偏移值和与在时间上位于该第1画面的后面的第3画面相对应的偏移值之中的较小值，该第2偏移值为与在时间上位于该第1画面的前面的第2画面相对应的偏移值和与在时间上位于该第1画面的后面的第3画面相对应的偏移值之中的较大值；以及
偏移控制部，通过按由上述偏移值补充部补充后的偏移值，将上述第1画面的至少一部分进行位移，来调整该一部分的深度方向的显示位置，
上述三维影像处理装置，还具备：
错误判定部，判定与上述影像数据中包含的各画面相对应的上述偏移值是否合适，
上述第1画面是由上述错误判定部判定为不合适的画面，
上述第2画面是由上述错误判定部判定为合适的画面之中，位于上述第1画面紧前面的画面，
上述第3画面是由上述错误判定部判定为合适的画面之中，位于上述第1画面紧后面的画面。
2.如权利要求1所述的三维影像处理装置，其特征为，
上述错误判定部在处理对象画面的偏移值和该处理对象画面紧前面的画面的偏移值之间的差分以及该处理对象画面的偏移值和该处理对象画面紧后面的画面的偏移值之间的差分之中的至少一个为规定的阈值以上时，判定该处理对象画面的偏移值为不合适。
3.如权利要求1所述的三维影像处理装置，其特征为，
上述控制信息包含表示各画面的第1显示时刻的第1时间戳信息和与多个画面单位的每个相对应的偏移信息，
上述偏移信息包含与对应的多幅画面分别相对应的多个上述偏移值和表示该各偏移值对应的第2显示时刻的第2时间戳信息，
上述偏移控制部通过按与上述各画面的第1显示时刻相同的第2显示时刻所对应的上述偏移值，将该画面的至少一部分进行位移，来调整该一部分的深度方向的显示位置，
上述错误判定部还在与各多个画面单位中包含的多幅画面的上述第1显示时刻相同的第2显示时刻所对应的上述偏移值不包含于上述偏移信息中时，判定该多个画面单位的第2时间戳信息为不合适，
上述偏移控制部通过从由上述错误判定部判定为第2时间戳信息为不合适的多个画面单位中包含的画面之中、由上述第1时间戳信息所示的显示时刻小的画面开始按顺序，使由上述第2时间戳信息所示的显示时刻小的偏移值依次相对应，按相对应的上述偏移值将上述各画面的至少一部分进行位移，来调整该画面的深度方向的显示位置。
4.如权利要求1所述的三维影像处理装置，其特征为，
上述控制信息包含表示各画面的第1显示时刻的第1时间戳信息和与多个画面单位的每个相对应的偏移信息，
上述偏移信息包含对应的多幅画面的上述偏移值和表示该偏移值对应的第2显示时刻的第2时间戳信息，
上述偏移控制部通过按与上述各画面的第1显示时刻相同的第2显示时刻所对应的上述偏移值，将该画面的至少一部分进行位移，来调整该一部分的深度方向的显示位置，
上述错误判定部还在与各多个画面单位中包含的多幅画面的上述第1显示时刻相同的第2显示时刻所对应的上述偏移值不包含于上述偏移信息中时，判定该多个画面单位的第2时间戳信息为不合适，
上述偏移值补充部将由上述错误判定部判定为第2时间戳信息为不合适的多个画面单位的偏移信息中包含的上述偏移值补充为预先确定的值。
5.一种三维影像处理装置，对包括表示三维影像的影像数据和该影像数据的控制信息在内的影像信号进行处理，其特征为，
具备：
提取部，从上述控制信息提取偏移值，该偏移值与上述影像数据中包含的画面相对应，是为了调整该画面的至少一部分的深度方向的显示位置而将该一部分进行位移的量；
偏移值补充部，使用由上述提取部所提取的偏移值，将与第1画面对应的偏移值补充为：大于等于第1偏移值、且小于等于第2偏移值，该第1偏移值为与在时间上位于该第1画面的前面的第2画面相对应的偏移值和与在时间上位于该第1画面的后面的第3画面相对应的偏移值之中的较小值，该第2偏移值为与在时间上位于该第1画面的前面的第2画面相对应的偏移值和与在时间上位于该第1画面的后面的第3画面相对应的偏移值之中的较大值；
偏移控制部，通过按由上述偏移值补充部补充后的偏移值，将上述第1画面的至少一部分进行位移，来调整该一部分的深度方向的显示位置，
上述控制信息包含表示各画面的第1显示时刻的第1时间戳信息和与多个画面单位的每个影像数据相对应的偏移信息，
上述偏移信息包含对应的多幅画面的上述偏移值和表示该偏移值对应的第2显示时刻的第2时间戳信息，
上述偏移控制部通过按和上述各画面的第1显示时刻相同的第2显示时刻所对应的上述偏移值，将该画面的至少一部分进行位移，来调整该一部分的深度方向的显示位置，
上述三维影像处理装置，还具备：
错误判定部，在和各多个画面单位中包含的多幅画面的上述第1显示时刻相同的第2显示时刻所对应的上述偏移值不包含于上述偏移信息中时，判定该多个画面单位的上述第2时间戳信息为不合适，
上述第1画面是由上述错误判定部判定为第2时间戳信息为不合适的多个画面单位中包含的全部画面，
上述第2画面是位于由上述错误判定部判定为第2时间戳信息为不合适的多个画面单位的紧前面的多个画面单位中包含的最后的画面，
上述第3画面是位于由上述错误判定部判定为第2时间戳信息为不合适的多个画面单位的紧后面的多个画面单位中包含的最开始的画面。
6.一种三维影像处理装置，对包括表示三维影像的影像数据和该影像数据的控制信息在内的影像信号进行处理，其特征为，
具备：
提取部，从上述控制信息提取偏移值，该偏移值与上述影像数据中包含的画面相对应，是为了调整该画面的至少一部分的深度方向的显示位置而将该一部分进行位移的量；
偏移值补充部，使用由上述提取部所提取的偏移值，将与第1画面对应的偏移值补充为：大于等于第1偏移值、且小于等于第2偏移值，该第1偏移值为与在时间上位于该第1画面的前面的第2画面相对应的偏移值和与在时间上位于该第1画面的后面的第3画面相对应的偏移值之中的较小值，该第2偏移值为与在时间上位于该第1画面的前面的第2画面相对应的偏移值和与在时间上位于该第1画面的后面的第3画面相对应的偏移值之中的较大值；
偏移控制部，通过按由上述偏移值补充部补充后的偏移值，将上述第1画面的至少一部分进行位移，来调整该一部分的深度方向的显示位置，
上述控制信息包含与多个画面单位的每个影像数据相对应的偏移信息，
上述偏移信息包含对应的多幅画面的上述偏移值和表示该偏移信息中包含的上述偏移值个数的个数信息，
上述三维影像处理装置，还具备：
错误判定部，在由上述个数信息所示的上述偏移值的个数比对应的多个画面单位中包含的画面的个数少时，判定该个数信息为不合适，
上述第1画面是由上述错误判定部判定为个数信息为不合适的多个画面单位中包含的画面之中，从由该个数信息所示的第几个开始位于后面的全部画面，
上述第2画面是由上述错误判定部判定为个数信息为不合适的多个画面单位中包含的画面之中，由该个数信息所示的第几个的画面，
上述第3画面是位于由上述错误判定部判定为个数信息为不合适的多个画面单位的紧后面的多个画面单位中包含的最开始的画面。
CN201410482507.5A 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法 Expired - Fee Related CN104243957B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009231003A JP5415217B2 (ja) 2009-10-02 2009-10-02 三次元映像処理装置
JP2009-231003 2009-10-02
CN201080009975.0A CN102342121B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080009975.0A Division CN102342121B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法

Publications (2)

Publication Number Publication Date
CN104243957A true CN104243957A (zh) 2014-12-24
CN104243957B CN104243957B (zh) 2016-04-13

Family

ID=43825782

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410482507.5A Expired - Fee Related CN104243957B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法
CN201080009975.0A Expired - Fee Related CN102342121B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080009975.0A Expired - Fee Related CN102342121B (zh) 2009-10-02 2010-08-09 三维影像处理装置及三维影像处理方法

Country Status (4)

Country Link
US (1) US8941718B2 (zh)
JP (1) JP5415217B2 (zh)
CN (2) CN104243957B (zh)
WO (1) WO2011039927A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812711B (zh) * 2010-02-25 2016-11-02 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
KR101917764B1 (ko) 2011-09-08 2018-11-14 삼성디스플레이 주식회사 입체 영상 표시 장치 및 입체 영상 표시 방법
WO2013108633A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 送信装置、映像表示装置、送信方法、映像処理方法、映像処理プログラム及び集積回路
US10609328B2 (en) * 2013-05-13 2020-03-31 Grass Valley Limited Video processing using a one-dimensional control function to control processing time and error
WO2015096019A1 (en) * 2013-12-24 2015-07-02 Intel Corporation Techniques for stereo three dimensional video processing
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040032980A1 (en) * 1997-12-05 2004-02-19 Dynamic Digital Depth Research Pty Ltd Image conversion and encoding techniques
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
CN1679346A (zh) * 2002-08-29 2005-10-05 夏普株式会社 易于进行可立体视的内容的制作及编辑的装置
US20060203085A1 (en) * 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
CN101060633A (zh) * 2006-04-17 2007-10-24 株式会社日立制作所 图像显示装置
US20090073170A1 (en) * 2004-10-26 2009-03-19 Koninklijke Philips Electronics, N.V. Disparity map

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751927A (en) * 1991-03-26 1998-05-12 Wason; Thomas D. Method and apparatus for producing three dimensional displays on a two dimensional surface
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
US6924799B2 (en) * 2002-02-28 2005-08-02 Hewlett-Packard Development Company, L.P. Method, node, and network for compositing a three-dimensional stereo image from a non-stereo application
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2003284093A (ja) * 2002-03-27 2003-10-03 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2005267655A (ja) * 2002-08-29 2005-09-29 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、コンテンツ再生プログラムを記録した記録媒体、および携帯通信端末
JP2004104742A (ja) * 2002-09-11 2004-04-02 Remedia:Kk 立体映像データの発生方法と装置
EP1901236A4 (en) * 2005-07-05 2012-11-07 Sanyo Electric Co 3D IMAGE PROCESSING AND 3D PICTURE PROCESSING DEVICE AND PROGRAM AND PROGRAM MEMORY RECORDING MEDIUM
KR200423761Y1 (ko) * 2006-05-22 2006-08-10 주식회사 노비타 인체감지거리 자동조절기능을 갖는 비데
EP2105032A2 (en) * 2006-10-11 2009-09-30 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
JP4457316B2 (ja) * 2006-12-01 2010-04-28 富士フイルム株式会社 画像再生装置及び方法
JP5113426B2 (ja) 2007-05-29 2013-01-09 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US8358332B2 (en) * 2007-07-23 2013-01-22 Disney Enterprises, Inc. Generation of three-dimensional movies with improved depth control
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040032980A1 (en) * 1997-12-05 2004-02-19 Dynamic Digital Depth Research Pty Ltd Image conversion and encoding techniques
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
CN1679346A (zh) * 2002-08-29 2005-10-05 夏普株式会社 易于进行可立体视的内容的制作及编辑的装置
US20060203085A1 (en) * 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
US20090073170A1 (en) * 2004-10-26 2009-03-19 Koninklijke Philips Electronics, N.V. Disparity map
CN101060633A (zh) * 2006-04-17 2007-10-24 株式会社日立制作所 图像显示装置

Also Published As

Publication number Publication date
WO2011039927A1 (ja) 2011-04-07
CN104243957B (zh) 2016-04-13
CN102342121A (zh) 2012-02-01
JP2011082631A (ja) 2011-04-21
JP5415217B2 (ja) 2014-02-12
US8941718B2 (en) 2015-01-27
CN102342121B (zh) 2014-10-29
US20110279647A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
CN104243957B (zh) 三维影像处理装置及三维影像处理方法
KR100977193B1 (ko) 화상 데이터 생성 장치, 화상 데이터 재생 장치, 및 화상데이터 기록 매체
CN102342119B (zh) 三维影像解码装置及三维影像解码方法
CN103024408B (zh) 立体图像转换装置和方法、立体图像输出装置
RU2519057C2 (ru) Универсальный формат 3-d изображения
RU2568309C2 (ru) Обнаружение формата трехмерного видео
CN101951527B (zh) 信息处理设备和信息处理方法
RU2552137C2 (ru) Точки входа для ускоренного 3d-воспроизведения
CN102640506B (zh) 生成3d视频信号
US20110249091A1 (en) Video signal processing apparatus and video signal processing method
US20090092311A1 (en) Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
JP4763571B2 (ja) 立体画像生成装置及び立体画像復号装置
CA2380105A1 (en) Process and system for encoding and playback of stereoscopic video sequences
EP2235957A1 (en) Image encoding method for stereoscopic rendering
CN102223550A (zh) 图像处理设备、图像处理方法和程序
WO2011036843A1 (ja) 三次元画像処理装置およびその制御方法
JP2005094168A (ja) ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
CN103354997A (zh) 图像处理设备和图像处理方法
CN103348685A (zh) 图像处理装置和图像处理方法
JPH07322302A (ja) 立体動画像再生装置
CN103026714A (zh) 图像处理设备和方法以及程序
CN103141109A (zh) 重放装置及重放方法
WO2012165160A1 (ja) 再生装置、再生方法、およびプログラム
WO2013108307A1 (ja) 映像処理装置および映像処理方法
JP2004363802A (ja) 立体ディジタル映像情報装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SUOSI FUTURE CO., LTD.

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20150723

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150723

Address after: Kanagawa

Applicant after: Co., Ltd. Suo Si future

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160413

Termination date: 20200809

CF01 Termination of patent right due to non-payment of annual fee